KR20170098017A - 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 - Google Patents

가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 Download PDF

Info

Publication number
KR20170098017A
KR20170098017A KR1020160019863A KR20160019863A KR20170098017A KR 20170098017 A KR20170098017 A KR 20170098017A KR 1020160019863 A KR1020160019863 A KR 1020160019863A KR 20160019863 A KR20160019863 A KR 20160019863A KR 20170098017 A KR20170098017 A KR 20170098017A
Authority
KR
South Korea
Prior art keywords
virtual reality
reality device
image
view
generate
Prior art date
Application number
KR1020160019863A
Other languages
English (en)
Other versions
KR102381370B1 (ko
Inventor
안드리 볼로크니우크
올렉산드르 바에브
이중기
김선경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160019863A priority Critical patent/KR102381370B1/ko
Priority to PCT/KR2016/004343 priority patent/WO2017142130A1/ko
Priority to EP16890722.8A priority patent/EP3404916A4/en
Priority to US15/999,721 priority patent/US10992914B2/en
Publication of KR20170098017A publication Critical patent/KR20170098017A/ko
Application granted granted Critical
Publication of KR102381370B1 publication Critical patent/KR102381370B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H04N13/0242—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H04N13/026—
    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시 예에 따른 가상 현실 디바이스는 다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 수신부; 상기 이미지를 저장하는 메모리; 상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 프로세서; 및 상기 콤플렉스 뷰를 표시하는 디스플레이 장치;를 포함한다.

Description

가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스{VR device and image processing method for providing virtual reality}
가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스에 관한 것이다.
최근 가상 현실 디바이스(Virtual Reality Device)를 이용하여 사용자에게 3차원 이미지를 제공하는 장치들이 개발되고 있다. 가상 현실 디바이스는 사용자의 움직임을 감지하고, 사용자의 움직임에 따라 변경된 이미지를 제공할 수 있다.
사용자에게 3차원 이미지를 제공하기 위해서, 3차원 이미지를 촬영하는 3차원 카메라가 필요하다. 3차원 카메라는 공간에서의 움직임에 따라 이미지를 촬영하고, 촬영된 이미지를 저장한다. 3차원 카메라는 사용자가 움직일 때마다 이미지를 촬영 및 저장해야 하므로 저장 공간을 포함해야 한다.
가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스를 제공하는 데 있다.
일 실시 예에 따른 가상 현실 디바이스는 다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 수신부; 상기 이미지를 저장하는 메모리; 상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 프로세서; 및 상기 콤플렉스 뷰를 표시하는 디스플레이 장치;를 포함한다.
일 실시 예에 따른 가상 현실을 제공하기 위한 이미지 처리 방법은 다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 단계; 상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 단계; 및 상기 콤플렉스 뷰를 사용자에게 표시하는 단계를 포함한다.
다면체의 각 버텍스에 위치한 2차원 카메라들에 의해 촬영된 이미지를 이용하여 사용자에게 가상 현실을 제공할 수 있다.
중복되지 않는 위치에서 촬영된 이미지들만으로 3차원 이미지를 생성할 수 있다.
도 1은 가상 현실의 일 예를 설명하는 도면이다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다.
도 7은 3차원 카메라 및 가상 현실 디바이스의 위치 관계를 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
도 9는 일 실시 예에 따른 인공 신경망을 이용하여 콤플렉스 뷰를 생성하는 방법을 설명하기 위한 도면이다.
도 10은 가상 현실 디바이스의 위치에 따라 인덱스를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 반구형 뷰(hemispherical view)를 생성하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 보간을 수행하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 가상 현실의 일 예를 설명하는 도면이다. 도 1을 참조하면, 사용자는 가상 현실 디바이스(200)를 착용한다. 가상 현실 디바이스(200, VR Device)는 사용자가 있는 공간과 다른 공간의 이미지를 사용자에게 제공한다. 예를 들어, 사용자는 실내에서 가상 현실 디바이스(200)를 착용하고, 가상 현실 디바이스(200)는 외국의 도시를 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 사용자의 움직임에 따라 이미지를 디스플레이 한다. 사용자는 몸 전체를 움직이거나, 머리만 움직일 수 있다. 가상 현실 디바이스(200)는 사용자의 몸 전체가 움직이면 사용자의 이동 방향에 따라 이미지의 크기를 조절할 수 있다. 또한, 가상 현실 디바이스(200)는 사용자의 머리가 움직이면 사용자의 머리의 이동 방향에 따라 다른 이미지를 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 헤드 마운트 디스플레이(Head Mounted Display) 또는 헤드셋(headset) 등으로 명명될 수 있다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다. 도 2를 참조하면, 3차원 카메라(100)는 이미지를 촬영하고, 촬영된 이미지를 가상 현실 디바이스(200)로 전송한다. 또한, 3차원 카메라(100)는 이미지를 촬영할 때 3차원 카메라(100)의 위치, 버텍스들의 위치 및 인덱스를 가상 현실 디바이스(200)로 전송한다. 인덱스는 버텍스들이 구성하는 가상의 다면체를 나타낸다. 또한, 인덱스는 가상의 다면체를 식별하기 위한 기호, 문자 또는 숫자 등의 조합일 수 있다. 3차원 카메라(100)는 인덱스들과 버텍스들의 위치를 포함하는 인덱스 분포 맵을 생성하고, 인덱스 분포 맵을 가상 현실 디바이스(200)로 전송할 수 있다.
3차원 카메라(100)는 인덱스 분포 맵(index distribution map)을 생성하고, 메모리에 저장할 수 있다. 인덱스 분포 맵은 유니크 인덱스(unique index) 및 3차원 카메라(100)의 버텍스들의 위치를 포함한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 변경된 버텍스들의 위치, 및 인덱스를 메모리에 저장한다.
3차원 카메라(100)는 유니크 인덱스만을 메모리에 저장하고, 유일하지 않은 인덱스는 저장하지 않는다. 유니크 인덱스는 메모리에 저장된 또 다른 인덱스에 속하지(belong) 않는 인덱스이다. 다시 말해서, 인덱스는 가상의 다면체를 나타내고, 다면체들은 서로 오버랩 될 수 있다. 오버랩 되지 않는 다면체들을 나타내는 인덱스들은 유니크 인덱스이고, 유니크 인덱스들만이 메모리에 저장될 수 있다. 예를 들어, 제1 다면체가 메모리에 저장된 제2 다면체와 오버랩 되지 않으면 제1 다면체를 나타내는 인덱스는 유니크 인덱스이다. 3차원 카메라(100)는 유니크 인덱스가 나타내는 위치에서 촬영된 이미지만을 메모리에 저장한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 인덱스 분포 맵을 업데이트한다. 3차원 카메라(100)는 인덱스의 위치가 유니크지 판단하고, 유니크 인덱스인 경우에만 인덱스 분포 맵을 업데이트한다. 인덱스 분포 맵은 유니크 인덱스들의 위치 관계를 나타내는 맵이다.
3차원 카메라(100)는 인덱스 분포 맵 및 이미지들을 가상 현실 디바이스(200)로 전송한다.
가상 현실 디바이스(200)는 3차원 카메라(100)로부터 이미지들 및 인덱스 분포 맵을 수신한다. 가상 현실 디바이스(200)는 이미지들을 이용하여 콤플렉스 뷰(complex view)를 생성하고, 사용자에게 콤플렉스 뷰를 디스플레이 한다.
가상 현실 디바이스(200)는 사용자의 위치에 따라 콤플렉스 뷰를 결정한다. 가상 현실 디바이스(200)는 사용자의 현재 위치와 가장 가까운 인덱스 또는 사용자의 현재 위치를 포함하는 인덱스를 검색한다. 가상 현실 디바이스(200)는 검색된 인덱스에서 촬영된 이미지들을 이용하여 콤플렉스 뷰를 생성 및 디스플레이 할 수 있다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 가상 현실을 제공 방법은 이미지를 촬영하는 단계 및 이미지를 제공하는 단계를 포함한다.
3차원 카메라(100)는 카메라 그룹(110), 위치 센서(120), 메모리(130) 및 프로세서(140)를 포함한다. 카메라 그룹(110)는 복수의 카메라들을 포함한다. 카메라 그룹(110)는 3차원 카메라(100)의 각 버텍스들에 위치한다. 카메라 그룹(110)는 적어도 3개의 카메라들을 포함할 수 있다. 3개의 카메라들은 하나의 버텍스에 위치하고, 각각의 카메라들의 시야들(fields of view)은 서로 오버랩 된다. 동일한 버텍스에 위치한 카메라들의 시야들은 서로 오버랩 되고, 서로 다른 버텍스에 위치한 카메라들의 시야들도 서로 오버랩 된다. 오버랩 되는 부분들은 파노라마 뷰를 생성시 이용된다.
위치 센서(120)는 3차원 카메라(100)의 위치를 감지한다. 위치 센서(120)는 3차원 카메라(100)의 이동에 따라 3차원 카메라(100)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(120)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
메모리(130)는 카메라 그룹(110)에 의해 촬영된 이미지 및 위치 센서(120)에 의해 감지된 위치 정보를 저장한다.
프로세서(140)는 카메라 그룹(110)로부터 이미지를 수신하고, 위치 센서(120)로부터 위치 정보를 수신한다. 프로세서(140)는 메모리(130)에 저장할 이미지, 위치 정보 또는 인덱스 등을 결정할 수 있다. 예를 들어, 프로세서(140)는 유니크 이미지 및 유니크 인덱스를 메모리(130)에 저장할 수 있다. 유니크 이미지는 유니크 인덱스의 위치에서 촬영된 이미지이다. 다시 말해서, 유니크 이미지는 3차원 카메라(100)의 버텍스들로 구성된 다면체가 오버랩 되지 않는 위치에서 카메라 그룹(110)들에 의해 촬영된 이미지이다.
프로세서(140)는 인덱스 분포 맵을 생성한다. 인덱스 분포 맵은 3차원 카메라(100)가 이동한 위치를 나타낼 수 있다. 인덱스 분포 맵은 3차원 카메라(100)의 버텍스들의 위치 및 인덱스를 포함한다.
3차원 카메라(100)는 3차원 카메라(100)의 위치 정보 및 이미지들을 가상 현실 디바이스(200)로 전송한다. 3차원 카메라(100)는 인덱스 분포 맵 및 유니크 이미지들을 가상 현실 디바이스(200)로 전송할 수 있다.
가상 현실 디바이스(200)는 위치 센서(210), 회전 센서(220), 프로세서(230), 디스플레이 장치(240) 및 메모리(250)를 포함한다. 위치 센서(210)는 가상 현실 디바이스(200)의 위치를 감지한다. 위치 센서(210)는 가상 현실 디바이스(200)의 이동에 따라 가상 현실 디바이스(200)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(210)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지한다. 사용자는 가상 현실 디바이스(200)를 착용하고 x,y,z 축을 기준으로 머리를 회전할 수 있다. 사용자의 머리가 회전함에 따라 가상 현실 디바이스(200)도 함께 회전한다. 회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지하고, x,y,z 축을 기준으로 회전한 각도를 측정한다. 회전 센서(220)는 측정된 각도를 프로세서(230)로 전송한다.
프로세서(230)는 사용자의 움직임에 따라 사용자에게 표시할 이미지를 생성한다. 프로세서(230)는 위치 센서(210) 및 회전 센서(220)로부터 수신된 데이터에 기초하여 이미지를 생성한다. 프로세서(230)는 사용자의 이동 방향, 이동 거리, 회전 방향, 회전 각도에 기초하여 이미지를 생성할 수 있다.
프로세서(230)는 3차원 카메라(100)로부터 수신된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 프로세서(230)는 사용자의 움직임에 따라 3차원 카메라(100)로부터 수신된 이미지들 중에서 일부 이미지들을 선택하고, 선택된 이미지들을 이용하여 콤플렉스 뷰를 생성한다.
디스플레이 장치(240)는 프로세서(230)에 의해 생성된 콤플렉스 뷰를 디스플레이 한다.
메모리(250)는 3차원 카메라(100)로부터 수신된 이미지들 및 인덱스 분포 맵 등을 저장한다. 또한, 메모리(250)는 콤플렉스 뷰를 저장하고, 사용자의 움직임에 대한 정보를 저장할 수도 있다.
도 4 내지 도 6은 일 실시 예에 따른 인덱스 분포 맵을 생성하는 방법을 설명하기 위한 도면이다. 도 4 내지 도 6을 참조하면, 3차원 카메라(100)는 유니크 인덱스들만으로 구성된 인덱스 분포 맵을 생성할 수 있다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다. 3차원 카메라(100)는 A 지점에서 B 지점까지 연결된 선을 따라 이동할 수 있다. 도 4에 도시된 원들은 서로 오버랩 되지 않는다. 새로운 원은 3차원 카메라(100)의 위치가 변경되고, 기존의 원과 오버랩 되지 않는 위치에 생성된다. 원들은 3차원 카메라(100)가 생성하는 이미지들의 경계를 나타낸다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다. 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지를 저장한다. 버텍스들(p0 내지 p6)는 2차원 카메라들의 위치를 나타낼 수 있다. 2차원 카메라들은 3차원 카메라(100)가 A 지점에서 B 지점으로 이동할 때 이미지를 촬영할 수 있다. 다만, 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지들만 저장할 수 있다. 버텍스들(p0 내지 p6) 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 예를 들어, 사용자들의 두 눈 사이의 평균 거리와 버텍스들(p0 내지 p6) 사이의 거리는 동일할 수 있다.
3차원 카메라(100)는 인덱스들(idx1 내지 idx4)를 생성한다. 인덱스들(idx1 내지 idx4)이 나타내는 사면체들은 서로 오버랩 되지 않는다. 제1 인덱스(idx1)는 가장 왼쪽의 사면체를 식별하기 위한 인덱스이고, 제2 인덱스(idx2)는 가운데 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx3)는 오른쪽 아래의 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx4)는 오른쪽 위의 사면체를 식별하기 위한 인덱스이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다. 도 5에서의 다면체들에 대응하는 원들이 도시되어 있다. 원들은 각각의 인덱스들(idx1 내지 idx4)이 나타내는 위치에서 촬영되는 이미지들의 영역을 나타낸다.
원들은 서로 오버랩 되지 않는다. 원들 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 3차원 카메라(100)는 오버랩 되지 않는 영역의 이미지들만을 저장할 수 있고, 오버랩 되지 않는 영역에 유니크 인덱스를 부여한다.
도 7을 3차원 카메라와 가상 현실 디바이스의 위치 관계를 설명하기 위한 도면이다. 도 7을 참조하면, 가상 현실 디바이스(200)는 3차원 카메라(100)의 내부에 위치한다. 다시 말해서, 3차원 카메라(100)로부터 수신된 이미지들은 가상 현실 디바이스(200)의 외부에 배치된 카메라들(110)에 의해 촬영된 이미지들이다. 가상 현실 디바이스(200)는 사용자의 이동 또는 회전에 따라 이미지를 결정하고, 결정된 이미지를 합성하여 콤플렉스 뷰를 생성한다.
가상 현실 디바이스(200)는 x,y,z 축으로 이동하거나, x,y,z 축을 기준으로 회전할 수 있다. 가상 현실 디바이스(200)가 이동하면, 가상 현실 디바이스(200)는 이동 위치에서 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 또한, 가상 현실 디바이스(200)가 회전하면, 가상 현실 디바이스(200)는 다른 카메라(110)에 의해 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다.
도 8은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
단계 810에서, 가상 현실 디바이스(200)는 다면체인 3차원 카메라(100)로부터 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신한다. 3차원 카메라는 4면체, 5면체, 6면체 등의 다면체이고, 다면체의 각 버텍스에는 적어도 3개의 카메라들이 배치될 수 있다. 동일한 버텍스에 배치된 카메라들은 카메라 그룹으로 지칭될 수 있다.
가상 현실 디바이스(200)는 이미지가 촬영될 때 3차원 카메라(100)의 위치를 나타내는 인덱스 분포 맵을 3차원 카메라(100)로부터 수신한다. 인덱스 분포 맵은 3차원 카메라(100)의 위치가 오버랩 되지 않을 때의 위치를 나타낸다.
구체적으로 설명하면, 가상 현실 디바이스(200)는 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치를 결정하고, 상기 가상 현실 디바이스(200)의 위치에서 촬영된 이미지를 결정하고, 결정된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 가상 현실 디바이스(200)는 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치에 대응되는 유니크 인덱스를 결정한다. 가상 현실 디바이스(200)는 결정된 인덱스에서 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 결정된 인덱스는 다면체를 나타내므로, 가상 현실 디바이스(200)는 가상 현실 디바이스(200)를 포함하는 다면체를 결정하고, 결정된 다면체의 위치에서 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다.
예를 들어, 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치 및 회전에 기초하여 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 이미지를 선택할 수 있다. 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치에 따라 인덱스를 결정하고, 가상 현실 디바이스(200)의 방향에 따라 버텍스를 결정할 수 있다. 가상 현실 디바이스(200)는 결정된 인덱스 및 결정된 버텍스에서 촬영된 이미지를 선택한다.
단계 820에서, 가상 현실 디바이스(200)는 훈련된 인공 신경망에 이미지를 입력하여 콤플렉스 뷰를 생성한다. 가상 현실 디바이스(200)는 인공 신경망을 이용하여 2차원 이미지를 합성하여 3차원 이미지를 생성할 수 있다. 가상 현실 디바이스(200)는 인공 신경망에 이미지를 입력하여 인공 신경망을 훈련시킨다. 인공 신경망은 적어도 하나의 층(layer)를 포함하며, 층들 사이에 웨이트를 포함한다. 인공 신경망을 훈련시킨다는 것은 웨이트를 업데이트한다는 것을 의미한다. 가상 현실 디바이스(200)는 인공 신경망을 초기화하고, 인공 신경망을 훈련시켜, 훈련된 인공 신경망을 준비한다. 콤플렉스 뷰는 사용자에게 표시되는 3차원 이미지를 나타낸다.
가상 현실 디바이스(200)는 사용자의 눈의 위치에 따라 이미지들의 보간을 수행하여 콤플렉스 뷰를 생성한다. 가상 현실 디바이스(200)는 중간 뷰(intermediate view)를 생성하기 위한 2개의 보간 위치들을 결정한다. 가상 현실 디바이스(200)는 이미지를 보간하여 보간 위치들에서의 중간 뷰를 생성하고, 상기 중간 뷰를 이용하여 콤플렉스 뷰를 생성한다.
가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치를 감지하는 위치 센서(210) 및 가상 현실 디바이스(200)의 회전을 감지하는 회전 센서를 더 포함할 수 있다. 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치 및 회전에 기초하여 3차원 카메라에 의해 촬영된 이미지를 선택할 수 있다. 예를 들어, 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치 및 회전에 기초하여 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 이미지를 선택할 수 있다. 가상 현실 디바이스(200)는 가상 현실 디바이스(200)가 이동하면, 이동할 때마다 가상 현실 디바이스(200)를 포함하는 인덱스를 결정하고, 결정된 인덱스에서 촬영된 이미지를 선택할 수 있다. 또한, 가상 현실 디바이스(200)는 가상 현실 디바이스가 회전하면, 회전할 때마다 가상 현실 디바이스(200)가 향하는 방향에 따라 이미지를 선택할 수 있다.
단계 830에서, 가상 현실 디바이스(200)는 생성된 콤플렉스 뷰를 사용자에게 표시한다. 가상 현실 디바이스(200)는 사용자의 두 눈에 별도의 콤플렉스 뷰를 표시할 수도 있다.
도 9는 일 실시 예에 따른 인공 신경망을 이용하여 콤플렉스 뷰를 생성하는 방법을 설명하기 위한 도면이다.
가상 현실 디바이스(200)는 인공 신경망(920)에 입력 데이터로 N개의 이미지들(910)을 입력한다. 이미지들(910)는 3차원 카메라(100)의 각 버텍스에서 촬영된 이미지들 중에서 가상 현실 디바이스(200)의 위치에 따라 선택된 이미지들이다. i번째 이미지(911)는 적어도 3개의 채널들(R,G,B)을 포함한다.
인공 신경망(920)은 복수의 층들을 포함하며, 각 층들을 연결하는 웨이트(940)을 포함한다. 웨이트(940)는 업데이트될 수 있다. 가상 현실 디바이스(200)는 N 개의 이미지들(910)을 인공 신경망(920)에 입력하여 콤플렉스 뷰(930)을 생성할 수 있다. 콤플렉스 뷰(930)는 3차원 이미지일 수 있으며, 인공 신경망(920)에서 출력되는 콤플렉스 뷰(930)는 1차원의 형태로 출력될 수 있다.
도 10은 가상 현실 디바이스의 위치에 따라 인덱스를 결정하는 방법을 설명하기 위한 도면이다. 가상 현실 디바이스(200)는 제1 위치(1010)에 있고, 제1 위치(1010)는 4개의 버텍스들(po, p1, p2, p3)로 구성된 다면체에 포함된다. 제1 위치(1010)를 포함하는 다면체의 인덱스는 idx0 이다. 따라서, 가상 현실 디바이스(200)는 4개의 버텍스들(po, p1, p2, p3)에서 촬영된 이미지들을 3차원 카메라(100)로부터 수신하고, 수신된 이미지들을 합성하여 콤플렉스 뷰를 생성한다.
또한, 가상 현실 디바이스(200)가 제2 위치(1020)에 있고, 제2 위치(1020)는 4개의 버텍스들(p2, p3, p4, p6)로 구성된 다면체에 포함된다. 제2 위치(1020)를 포함하는 다면체의 인덱스는 idx3 이다. 따라서, 가상 현실 디바이스(200)는 4개의 버텍스들(p2, p3, p4, p6)에서 촬영된 이미지들을 3차원 카메라(100)로부터 수신하고, 수신된 이미지들을 합성하여 콤플렉스 뷰를 생성한다.
도 11은 일 실시 예에 따른 반구형 뷰(hemispherical view)를 생성하는 방법을 설명하기 위한 도면이다. 도 11을 참조하면, 가상 현실 디바이스(200)는 각 버텍스에 위치한 카메라들(1110, 1120)을 이용하여 반구형 뷰(1100)를 생성할 수 있다. 도 11은 사용자의 두 눈 중에서 오른쪽 눈의 방향에 따른 반구형 뷰를 생성하는 방법을 설명한다.
카메라들(1110) 및 가상 카메라(1120)는 다면체의 바깥쪽으로 촬영한다. 따라서, 카메라들(1110)은 사용자의 눈의 방향으로 촬영이 가능하고, 가상 카메라(1120)는 사용자의 눈의 방향으로 촬영할 수 없다.
가상 현실 디바이스(200)는 카메라들(1110)에 의해 촬영된 이미지들을 합성하여 반구형 뷰(1100)를 생성한다.
도 12는 일 실시 예에 따른 보간을 수행하는 방법을 설명하기 위한 도면이다. 도 12는 사용자가 제1 버텍스(1210)를 바라볼 때를 나타내는 도면이고, 제1 내지 제3 버텍스들(1210 내지 1230)은 사용자가 바라보는 방향에 위치한다. 따라서, 제1 내지 제3 버텍스들(1210 내지 1230)은 정면 버텍스들이라고 지칭될 수 있다.
제1 보간 위치(R', 1250)는 사용자가 바라보는 정면 페이스(frontal face, 1200)와 뒤쪽 버텍스(back vertex, 1240)로부터 사용자의 오른쪽 눈(R)을 통과하는 광선(ray)이 교차하는 지점이다.
제2 보간 위치(R", 1260)는 제3 버텍스(1230)와 제1 보간 위치(1250)의 연장선이 제1 버텍스(1210)과 제2 버텍스(1220)사이의 모서리와 만나는 지점이다.
가상 현실 디바이스(200)는 제1 버텍스(1210) 및 제2 버텍스(1220)에서 촬영된 이미지를 보간하여 제2 보간 위치(1260)에서의 제1 중간 뷰를 생성한다. 가상 현실 디바이스(200)는 제3 버텍스(1230)에서 촬영된 이미지와 제1 중간 뷰를 보간하여 제1 위치(1250)에서의 제2 중간 뷰를 생성한다. 가상 현실 디바이스(200)는 제4 버텍스(1240)에서 촬영된 이미지와 제2 중간 뷰를 보간하여 사용자의 오른쪽 눈(R)에서의 뷰를 생성한다.
도 13은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
단계 1310에서, 가상 현실 디바이스(200)는 다면체인 3차원 카메라로부터 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신한다. 가상 현실 디바이스(200)는 이미지들을 메모리(250)에 저장한다.
단계 1320에서, 가상 현실 디바이스(200)는 3차원 카메라로부터 인덱스 분포 맵을 수신한다. 가상 현실 디바이스(200)는 인덱스 분포 맵을 메모리(250)에 저장한다. 가상 현실 디바이스(200)는 인덱스 분포 맵과 이미지들의 관계를 나타내는 정보를 메모리(250)에 저장한다. 따라서, 각각의 이미지들이 촬영된 위치는 인덱스 분포 맵에 표시될 수 있다.
단계 1330에서, 가상 현실 디바이스(200)는 센서들로부터 사용자의 위치를 수신한다. 가상 현실 디바이스(200)는 위치 센서(210) 및 회전 센서(220)를 포함한다. 따라서, 사용자의 움직임에 따라 가상 현실 디바이스(200)가 이동하거나 회전하는 것을 감지할 수 있다.
단계 1340에서, 가상 현실 디바이스(200)는 사용자의 위치에 대응되는 인덱스를 결정한다. 다시 말해서, 가상 현실 디바이스(200)는 유니크 인덱스를 결정하고, 유니크 인덱스는 다면체를 식별하기 위한 부호이다. 가상 현실 디바이스(200)는 센서들(210, 220)로부터 수신된 사용자의 움직임에 따라 사용자의 위치를 결정하고, 사용자의 위치를 포함하는 인덱스를 결정한다.
단계 1350에서, 가상 현실 디바이스(200)는 인덱스에 대응되는 이미지들을 메모리(250)로부터 로딩한다. 가상 현실 디바이스(200)는 다면체의 각 버텍스에서 촬영된 이미지들을 메모리(250)로부터 로딩한다.
단계 1360에서, 가상 현실 디바이스(200)는 각 버텍스에서 촬영된 이미지를 합성하여 구형 뷰를 생성한다. 예를 들어, 4면체는 4개의 버텍스들을 포함하고, 가상 현실 디바이스(200)는 4개의 구형 뷰를 생성한다.
가상 현실 디바이스(200)는 이미지들을 인공 신경망(920)에 입력하여, 인공 신경망(920)을 훈련시킨다. 가상 현실 디바이스(200)는 훈련된 인공 신경망(920)에 이미지들을 입력하여 피드 포워드 프로퍼게이션(feed forward propagation)을 수행한다. 180x180 구형 파노라마가 인공 신경망(920)으로부터 1차원 형태로 출력된다. 가상 현실 디바이스(200)는 180x180 구형 파노라마를 훈련된 인공 신경망(920)에 입력하여 270x180 구형 파노라마를 생성한다. 가상 현실 디바이스(200)는 270x180 구형 파노라마를 훈련된 인공 신경망(920)에 입력하여 360x180 구형 파노라마를 생성한다.
단계 1370에서, 가상 현실 디바이스(200)는 사용자의 눈의 위치에 반구형 뷰를 몰핑한다. 가상 현실 디바이스(200)는 사용자의 시선에 따라 보간이 필요한 반구형 뷰를 찾는다. 가상 현실 디바이스(200)는 2개의 버텍스들 사이에 중간 뷰를 생성하는 2차원 보간을 수행한다. 가상 현실 디바이스(200)는 3개의 2차원 보간을 포함하는 3차원 보간을 수행한다. 가상 현실 디바이스(200)는 2개의 보간 위치를 결정하여 3차원 보간을 수행할 수 있다.
단계 1380에서, 가상 현실 디바이스(200)는 사용자의 눈에 반구형 뷰를 표시한다. 가상 현실 디바이스(200)는 사용자의 양쪽 눈의 시선 방향 등에 따라 반구형 뷰를 다르게 표시할 수 있다. 가상 현실 디바이스(200)는 사용자의 위치가 변경되는지를 판단하여, 단계 1340으로 진행한다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (13)

  1. 다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 수신부;
    상기 이미지를 저장하는 메모리;
    상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 프로세서; 및
    상기 콤플렉스 뷰를 표시하는 디스플레이 장치;를 포함하는 가상 현실 디바이스.
  2. 제 1 항에 있어서,
    가상 현실 디바이스의 위치를 감지하는 위치 센서 및
    상기 가상 현실 디바이스의 회전을 감지하는 회전 센서를 더 포함하고,
    상기 프로세서는 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 이미지를 선택하는 것을 특징으로 하는 가상 현실 디바이스.
  3. 제 2 항에 있어서,
    상기 수신부는 상기 이미지가 촬영될 때 상기 3차원 카메라의 위치를 나타내는 인덱스 분포 맵을 상기 3차원 카메라로부터 수신하고,
    상기 프로세서는 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치를 결정하고, 상기 가상 현실 디바이스와 대응되는 위치에서 촬영된 이미지를 결정하고, 결정된 이미지를 합성하여 상기 콤플렉스 뷰를 생성하는 것을 특징으로 하는 가상 현실 디바이스.
  4. 제 3 항에 있어서,
    상기 프로세서는 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 상기 이미지를 선택하는 것을 특징으로 하는 가상 현실 디바이스.
  5. 제1항에 있어서,
    상기 프로세서는 상기 이미지를 인공 신경망에 입력하여, 상기 인공 신경망(neural network)의 웨이트(weight)를 훈련(train) 시키고, 상기 훈련된 인공 신경망에 상기 이미지를 입력하여 상기 콤플렉스 뷰를 생성하는 것을 특징으로 하는 가상 현실 디바이스.
  6. 제1항에 있어서,
    상기 프로세서는 중간 뷰(intermediate view)를 생성하기 위한 2개의 보간 위치들을 결정하고, 상기 이미지를 보간하여 상기 보간 위치들에서의 상기 중간 뷰를 생성하고, 상기 중간 뷰를 이용하여 상기 콤플렉스 뷰를 생성하는 것을 특징으로 하는 가상 현실 디바이스.
  7. 가상 현실을 제공하기 위한 이미지 처리 방법에 있어서,
    다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 단계;
    상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 단계; 및
    상기 콤플렉스 뷰를 사용자에게 표시하는 단계를 포함하는 이미지 처리 방법.
  8. 제 7 항에 있어서,
    가상 현실 디바이스의 위치를 감지하는 단계; 및
    상기 가상 현실 디바이스의 회전을 감지하는 단계를 더 포함하고,
    상기 콤플렉스 뷰를 생성하는 단계는 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 이미지를 선택하는 것을 특징으로 하는 이미지 처리 방법.
  9. 제 8 항에 있어서,
    상기 수신하는 단계는, 상기 이미지가 촬영될 때 상기 3차원 카메라의 위치를 나타내는 인덱스 분포 맵을 상기 3차원 카메라로부터 수신하고,
    상기 콤플렉스 뷰를 생성하는 단계는, 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치를 결정하고, 상기 가상 현실 디바이스의 위치에서 촬영된 이미지를 결정하고, 결정된 이미지를 합성하여 상기 콤플렉스 뷰를 생성하는 것을 특징으로 하는 이미지 처리 방법.
  10. 제 9 항에 있어서,
    상기 콤플렉스 뷰를 생성하는 단계는, 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 상기 이미지를 선택하는 것을 특징으로 하는 이미지 처리 방법.
  11. 제 7 항에 있어서, 상기 콤플렉스 뷰를 생성하는 단계는,
    인공 신경망에 상기 이미지를 입력하여 상기 인공 신경망을 훈련시키는 단계; 및
    상기 훈련된 인공 신경망에 상기 촬영된 이미지를 입력하여 콤플렉스 뷰를 생성하는 단계;를 포함하는 이미지 처리 방법.
  12. 제 17 항에 있어서, 상기 콤플렉스 뷰를 생성하는 단계는,
    중간 뷰(intermediate view)를 생성하기 위한 2개의 보간 위치들을 결정하는 단계; 및
    상기 보간 위치에서의 뷰를 보간하여 상기 중간 뷰를 생성하여 상기 콤플렉스 뷰를 생성;를 포함하는 이미지 처리 방법.
  13. 제 7 항 내지 제 12 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적인(non-transitory) 기록매체.
KR1020160019863A 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 KR102381370B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160019863A KR102381370B1 (ko) 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
PCT/KR2016/004343 WO2017142130A1 (ko) 2016-02-19 2016-04-26 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
EP16890722.8A EP3404916A4 (en) 2016-02-19 2016-04-26 IMAGE PROCESSING METHOD FOR PROVIDING VIRTUAL REALITY, AND VIRTUAL REALITY DEVICE
US15/999,721 US10992914B2 (en) 2016-02-19 2016-04-26 Image processing method for providing virtual reality, and virtual reality device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160019863A KR102381370B1 (ko) 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스

Publications (2)

Publication Number Publication Date
KR20170098017A true KR20170098017A (ko) 2017-08-29
KR102381370B1 KR102381370B1 (ko) 2022-03-31

Family

ID=59625253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160019863A KR102381370B1 (ko) 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스

Country Status (4)

Country Link
US (1) US10992914B2 (ko)
EP (1) EP3404916A4 (ko)
KR (1) KR102381370B1 (ko)
WO (1) WO2017142130A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068162A (ko) * 2017-12-08 2019-06-18 현대자동차주식회사 차량용 디스플레이 시스템 및 그 제어 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230239446A1 (en) * 2020-07-03 2023-07-27 Pfetch, Inc. Remote attendance and participation systems and methods
US20230281913A1 (en) * 2022-03-01 2023-09-07 Google Llc Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088515A (ko) * 2008-10-27 2011-08-03 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
KR20120016896A (ko) * 2010-08-17 2012-02-27 더블유에프지연구소 주식회사 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
KR20140146889A (ko) * 2013-06-18 2014-12-29 엘지전자 주식회사 전자장치 및 전자장치의 동작방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650578B2 (ja) * 2000-09-28 2005-05-18 株式会社立山アールアンドディ 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
US9876953B2 (en) * 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
KR20150027651A (ko) 2013-09-04 2015-03-12 (주)판도라나인 스마트폰이 장착되는 두부 탑재형 장치
KR20150084200A (ko) 2014-01-13 2015-07-22 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088515A (ko) * 2008-10-27 2011-08-03 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
KR20120016896A (ko) * 2010-08-17 2012-02-27 더블유에프지연구소 주식회사 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
KR20140146889A (ko) * 2013-06-18 2014-12-29 엘지전자 주식회사 전자장치 및 전자장치의 동작방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068162A (ko) * 2017-12-08 2019-06-18 현대자동차주식회사 차량용 디스플레이 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
EP3404916A4 (en) 2019-01-09
US10992914B2 (en) 2021-04-27
KR102381370B1 (ko) 2022-03-31
US20200329224A1 (en) 2020-10-15
EP3404916A1 (en) 2018-11-21
WO2017142130A1 (ko) 2017-08-24

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP7349793B2 (ja) 画像処理装置および画像処理方法、プログラム
JP4804256B2 (ja) 情報処理方法
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
US10884576B2 (en) Mediated reality
CN107710108B (zh) 内容浏览
CN108022302A (zh) 一种Inside-Out空间定位的AR立体显示装置
SE527257C2 (sv) Anordning och metod för att presentera en omvärldsbild
US20170078570A1 (en) Image processing device, image processing method, and image processing program
CN110956695A (zh) 信息处理装置、信息处理方法和存储介质
KR102381370B1 (ko) 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
CN107452050A (zh) 用于多感官展示物体的方法和展示系统
CN108629799A (zh) 一种实现增强现实的方法及设备
KR102360179B1 (ko) 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
JP4710081B2 (ja) 画像作成システム及び画像作成方法
EP3547080B1 (en) Rendering anchored objects in a scene
US10650595B2 (en) Mediated reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant