KR20210029523A - 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치 - Google Patents

3d 가상현실 영상에서 객체를 표시하는 방법 및 장치 Download PDF

Info

Publication number
KR20210029523A
KR20210029523A KR1020190110866A KR20190110866A KR20210029523A KR 20210029523 A KR20210029523 A KR 20210029523A KR 1020190110866 A KR1020190110866 A KR 1020190110866A KR 20190110866 A KR20190110866 A KR 20190110866A KR 20210029523 A KR20210029523 A KR 20210029523A
Authority
KR
South Korea
Prior art keywords
eye image
objects
depth
image
virtual reality
Prior art date
Application number
KR1020190110866A
Other languages
English (en)
Inventor
민진석
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190110866A priority Critical patent/KR20210029523A/ko
Publication of KR20210029523A publication Critical patent/KR20210029523A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

객체 표시 방법 및 장치가 개시된다. 일실시예에 따른 객체 표시 방법은
좌안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상 상에서의 하나 이상의 객체의 위치를 획득하는 단계; 3D 가상현실 영상 상에서의 하나 이상의 객체의 심도(depth)를 획득하는 단계; 3D 가상현실 영상에 더 표시하기 위한 제1 객체의 심도를 결정하는 단계; 및 좌안용 영상 및 우안용 영상에 제1 객체를 표시하는 단계를 포함한다.

Description

3D 가상현실 영상에서 객체를 표시하는 방법 및 장치{METHOD FOR DISPLAYING OBJECTS IN 3D VIRTUAL REALITY IMAGE AND APPARATUS THEREOF}
아래 실시예들은 3D 가상현실 영상에서 객체를 표시하는 방법 및 장치에 관한 것으로, 예를 들어 3D 가상현실 영상에 관련된 것이다.
사용자에게 몰입 경험을 제공해 주는 가상현실(VR, Virtual Reality) 및 증강현실(AR, Augmented Reality) 기술은 실감형 미디어로 통칭되며, 확장현실(XR, Extended Reality)이라고 지칭되기도 한다. 가상현실은 컴퓨터가 만든 가상환경 내에서 사용자의 감각 정보를 확장 또는 공유함으로써, 현실 상황과 유사한 감각을 사용자에게 제공하는 기술일 수 있다. 가상현실은 현실 세계를 차단하고 디지털 세계를 구축하며, 컴퓨터 그래픽을 이용하여 입체감 있는 3D 영상을 구현할 수 있다. 증강현실은 현실 세계 및 실제 사물에 가상의 콘텐츠를 합성함으로써 사용자에게 소통 환경, 정보 및 감각 등을 제공하는 기술일 수 있다. 증강현실은 현실 세계에 그래픽을 구현하는 형태로 필요한 정보를 표시하며, 현실과 상호 작용할 수 있다.
과거에는 낮은 기술수준으로 인하여 가상현실 기술의 대중화에 어려움이 있었으나, 근래에는 기술수준이 향상되고 게임 기반의 제품들 및 모바일 제품들 등이 등장하면서 가상현실의 대중화 및 시장의 활성화가 빠르게 이루어지고 있다.
종래에는 사용자가 3차원 가상현실 영상 중 시선 방향에 대응하는 일부 영상만을 감상하기 때문에, 사용자가 전체 영상 중 어느 방향을 볼 것인지를 예측하기 어려웠을 수 있다. 따라서, 종래의 3차원 가상현실 영상 처리 기술에서는, 3차원 가상현실 영상 구동 시 자막과 같은 객체 정보를 표시하고자 할 때, 초점이 영상의 배경에 위치하도록 거리감을 조정하는 것이 일반적이었다.
종래에는 3차원 가상현실 영상 구동 시 시야 영역에 대응하는 일부의 영상 내에 객체정보를 표시하는 경우, 영상 내에서 객체정보의 거리감과 사용자가 응시하는 위치에 존재하는 객체의 거리감이 맞지 않아 어지러움을 유발할 수 있는 문제가 있었다. 또한, 객체의 거리감을 조정하여 3D 자막을 제공하는 경우에도 사전에 동영상 내 객체 정보를 분석하여 자막의 위치를 조정하기 때문에, 근래 제공되는 5G 망에서의 실시간 3D 가상현실 방송(broadcast) 시 자막 및 메뉴를 제공하기 어려울 수 있다.
기존에 사전 제작된 VOD 영상 내 객체를 지정하여 객체의 심도 메타를 추출하여 3D 자막을 제공하던 기술을 채택할 경우, 실시간으로 3D 영상이 생성되어 바로 사용자에게 전달되는 5G 기반의 실시간 3D 가상현실 방송에서는 자막이나 메뉴 등의 새롭게 오버레이(overlay)되는 객체의 거리감을 맞추기 어려워 어지러움증을 유발하였다.
반면, 본 발명은 실시간 3D 영상을 방송하기 위하여 재처리하는 단계에서 영상 내 오브젝트를 추적하고 실시간 메타를 제공함으로써 3D 자막과 메뉴 등의 신규 객체 오버레이 시 어지러움증을 최소화하는 방법을 제공하고자 한다.
일실시예에 따른 객체 표시 장치가 객체 표시 방법을 수행함으로써, 3D 가상현실 영상에 표시되던 하나 이상의 객체 중 적어도 일부의 심도를 고려하여 새로운 객체의 심도가 결정될 수 있다. 일실시예에 따른 객체 표시 장치가 객체 표시 방법을 수행함으로써, 새로운 객체가 3D 가상현실 영상 상에서 사용자에게 자연스럽게 표시될 수 있다. 또한, 일실시예에 따른 객체 표시 장치가 객체 표시 방법을 수행함으로써, 3D 가상현실 영상을 시청하는 사용자가 느끼는 어지러움이 줄어들 수 있다.
일실시예에 따른 3D 가상현실(VR) 영상을 구성하기 위하여 사용자의 왼쪽 눈의 시야 방향으로 출력되는 좌안용 영상 및 상기 사용자의 오른쪽 눈의 시야 방향으로 출력되는 우안용 영상과 관련되는 객체 표시 방법은 상기 좌안용 영상 및 상기 우안용 영상에 표시되는 하나 이상의 객체와 관련하여, 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치를 획득하는 단계; 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치에 기초하여, 상기 3D 가상현실 영상 상에서의 상기 하나 이상의 객체의 심도(depth)를 획득하는 단계; 상기 하나 이상의 객체 중 적어도 일부의 심도에 기초하여, 상기 3D 가상현실 영상에 더 표시하기 위한 제1 객체의 심도를 결정하는 단계; 및 상기 제1 객체의 심도에 기초하여, 상기 좌안용 영상 및 상기 우안용 영상에 상기 제1 객체를 표시하는 단계를 포함한다.
일실시예에 따르면, 상기 제1 객체의 심도를 결정하는 단계는 상기 하나 이상의 객체의 심도에 기초하여, 상기 하나 이상의 객체 중 상기 3D 가상현실 영상 상에서 사용자의 방향으로 가장 돌출되어 보이는 제2 객체를 결정하는 단계; 및 상기 제2 객체의 심도에 대응하도록 상기 제1 객체의 심도를 결정하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 3D 가상현실 영상 상에서, 상기 제2 객체가 상기 3D 가상현실 영상의 화면보다 상기 사용자로부터 멀리 떨어져 보이는 경우, 상기 객체 표시 방법은 상기 제2 객체의 심도 대신 상기 3D 가상현실 영상의 화면의 심도에 대응하도록 상기 제1 객체의 심도를 결정하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 제1 객체는 상기 3D 가상현실 영상에 표시하고자 하는 자막; 및 상기 사용자에게 서비스를 제공하기 위하여 상기 3D 가상현실 영상에 표시하고자 하는 서비스 도메인(Service domain) 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 상기 하나 이상의 객체의 심도는 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 좌안용 영상의 화면의 좌측 경계 간의 거리; 및 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상의 화면의 좌측 경계 간의 거리를 비교함으로써 결정될 수 있다.
일실시예에 따르면, 상기 하나 이상의 객체의 심도는 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 좌안용 영상의 화면의 우측 경계 간의 거리; 및 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상의 화면의 우측 경계 간의 거리를 비교함으로써 결정될 수 있다.
일실시예에 따르면, 상기 제1 객체를 표시하는 단계는 상기 제1 객체의 심도에 기초하여 상기 좌안용 영상 상의 상기 제1 객체의 위치를 결정하는 단계; 상기 제1 객체의 심도에 기초하여 상기 우안용 영상 상의 상기 제1 객체의 위치를 결정하는 단계; 및 상기 좌안용 영상 상의 상기 제1 객체의 위치와 상기 우안용 영상 상의 상기 제1 객체의 위치에 기초하여, 상기 좌안용 영상 및 상기 우안용 영상에 상기 제1 객체를 표시하는 단계를 포함할 수 있다.
일실시예에 따른 3D 가상현실(VR) 영상을 구성하기 위하여 사용자의 왼쪽 눈의 시야 방향으로 출력되는 좌안용 영상 및 상기 사용자의 오른쪽 눈의 시야 방향으로 출력되는 우안용 영상과 관련하여 동작을 수행하는 객체 표시 장치는 프로그램이 기록된 메모리; 및 상기 프로그램을 수행하는 프로세서를 포함하고, 상기 프로그램은, 상기 좌안용 영상 및 상기 우안용 영상에 표시되는 하나 이상의 객체와 관련하여, 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치를 획득하는 단계; 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치에 기초하여, 상기 3D 가상현실 영상 상에서의 상기 하나 이상의 객체의 심도(depth)를 획득하는 단계; 상기 하나 이상의 객체 중 적어도 일부의 심도에 기초하여, 상기 3D 가상현실 영상에 더 표시하기 위한 제1 객체의 심도를 결정하는 단계; 및 상기 제1 객체의 심도에 기초하여, 상기 좌안용 영상 및 상기 우안용 영상에 상기 제1 객체를 표시하는 단계를 수행한다.
도 1은 일실시예에 따른 객체 표시 장치를 설명하기 위한 도면이다.
도 2는 일실시예에 따른 객체 표시 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 좌안용 영상 상에서의 객체의 위치와 우안용 영상 상에서의 객체의 위치에 따라 객체가 사용자로부터 얼마나 떨어져 보이는지를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 좌안용 영상 상에서의 객체의 위치와 우안용 영상 상에서의 객체의 위치에 따른 객체의 심도를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 좌안용 영상 상에서의 객체의 위치와 우안용 영상 상에서의 객체의 위치에 따른 3D 가상현실 상의 객체의 위치와 디스플레이 위치를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 객체 표시 방법을 설명하기 위한 동작 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
아래에서 설명하는 실시예들은 스마트 폰, 스마트 스피커, 스마트 카 등 음성 인식을 지원하는 다양한 사용자 장치에 적용될 수 있고, 사용자 장치에 설치된 어플리케이션, 미들웨어, 혹은 운영체제나 해당 어플리케이션과 연동하는 서버의 프로그램에 의하여 수행될 수 있다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 객체 표시 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 객체 표시 장치(110)는 영상 분석부(120) 및 심도 분석부(130)를 포함할 수 있다. 객체 표시 장치(110)는 사용자의 왼쪽 눈의 시야 방향으로 출력되는 좌안용 영상 및 사용자의 오른쪽 눈의 시야 방향으로 출력되는 우안용 영상을 획득한다. 일실시예에 따르면, 좌안용 영상 및 우안용 영상은 서로 다른 카메라에 의하여 촬영된 영상일 수 있다. 일실시예에 따르면, 좌안용 영상 및 우안용 영상은 양안 카메라에 의하여 촬영된 영상일 수 있다. 일실시예에 따르면, 좌안용 영상 및 우안용 영상 중 적어도 일부는 인공적으로 생성된 영상일 수 있다.
일실시예에 따르면, 객체 표시 장치(110)는 좌안용 영상 및 우안용 영상 중 적어도 일부를 카메라 또는 기타 장치로부터 수신함으로써 획득할 수 있다. 일실시예에 따르면, 객체 표시 장치(110) 좌안용 영상 및 우안용 영상 중 적어도 일부를 스스로 생성할 수 있다.
영상 분석부(120)는 좌안용 영상 및 우안용 영상에 표시되는 하나 이상의 객체와 관련하여, 좌안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상 상에서의 하나 이상의 객체의 위치를 획득한다. 구체적으로, 영상 분석부(120)는 영상 엣지(edge) 분석을 통해 좌안용 영상에 표시되는 이미지 및 우안용 영상에 표시되는 이미지 중 서로 동일한 객체에 대응하는 이미지들을 매칭(matching)시킬 수 있다. 그 후, 영상 분석부(120)는 서로 동일한 객체에 대응하는 이미지들의 위치를 파악 및 저장함으로써, 좌안용 영상 및 우안용 영상 상에서의 객체의 위치를 획득할 수 있다.
이하, 객체의 위치는 영상 화면의 가로축 상에서 객체가 어디에 위치하는지에 기초하여 판단될 수 있다. 예를 들어, 좌안용 영상의 세로축 상에서 객체의 위치 및 우안용 영상의 세로축 상에서 객체의 위치가 상이하더라도, 좌안용 영상의 가로축 상에서 객체의 위치 및 우안용 영상의 가로축 상에서 객체의 위치가 동일하다면, 좌안용 영상 상에서의 객체의 위치 및 우안용 영상 상에서의 객체의 위치가 일치한다고 판단될 수 있다.
일실시예에 따르면, 영상 분석부(120)는 좌안용 영상 상에서의 하나 이상의 객체의 위치와 좌안용 영상의 화면의 좌측 경계 간의 거리 및 우안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상의 화면의 좌측 경계 간의 거리를 더 획득할 수 있다. 일실시예에 따르면, 영상 분석부(120)는 좌안용 영상 상에서의 하나 이상의 객체의 위치와 좌안용 영상의 화면의 우측 경계 간의 거리 및 우안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상의 화면의 우측 경계 간의 거리를 더 획득할 수 있다.
영상 분석부(120)는 획득한 정보들을 심도(depth) 분석부(130)로 전송할 수 있다. 심도 분석부(130)가 영상 분석부(120)로부터 객체와 영상의 경계 간의 거리를 수신하지 않는 경우, 심도 분석부(130)는 영상 분석부(120)로부터 수신하는 하나 이상의 객체의 위치들에 기초하여 좌안용 영상 상에서의 하나 이상이 객체의 위치와 좌안용 영상의 화면의 좌측 경계 간의 거리 및 우안용 영상 상에서의 하나 이상이 객체의 위치와 우안용 영상의 화면의 좌측 경계 간의 거리를 획득할 수 있다. 또는, 심도 분석부(130)는 영상 분석부(120)로부터 수신하는 하나 이상의 객체의 위치들에 기초하여 좌안용 영상 상에서의 하나 이상이 객체의 위치와 좌안용 영상의 화면의 우측 경계 간의 거리 및 우안용 영상 상에서의 하나 이상이 객체의 위치와 우안용 영상의 화면의 우측 경계 간의 거리를 획득할 수 있다.
반대로, 심도 분석부(130)가 영상 분석부(120)로부터 객체와 영상의 경계 간의 거리 중 적어도 일부를 수신하는 경우, 심도 분석부(130)는 영상 분석부(120)로부터 수신한 객체와 영상의 경계 간의 거리를 이용하여 심도를 계산할 수 있다.
심도 분석부(130)는 좌안용 영상 상에서의 하나 이상의 객체의 위치와 좌안용 영상의 좌측 경계 간의 거리 및 우안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상의 좌측 경계 간의 거리에 기초하여 심도를 계산할 수 있다. 또는, 심도 분석부(130)는 좌안용 영상 상에서의 하나 이상의 객체의 위치와 좌안용 영상의 우측 경계 간의 거리 및 우안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상의 우측 경계 간의 거리에 기초하여 심도를 계산할 수 있다.
심도 분석부(130)는 계산된 심도를 대응하는 객체의 위치 정보와 함께 저장할 수 있다.
심도를 계산하는 것과 관련된 보다 상세한 사항은 도 4 및 도 5를 통하여 후술한다.
3D 가상현실 영상에 더 표시하고자 하는 객체(이하, 제1 객체)와 관련된 요청을 수신하는 경우, 객체 표시 장치(110)는 제1 객체의 심도를 결정할 수 있다. 일실시예에 따르면, 제1 객체는 3D 가상현실 영상에 포함하고자 하는 자막을 포함하는 객체일 수 있다. 일실시예에 따르면, 제1 객체는 사용자에게 서비스를 제공하기 위하여 3D 가상현실 영상에 표시하고자 하는 서비스 도메인(Service domain)을 포함하는 객체일 수 있다. 이 경우, 서비스 도메인은 3D 가상현실 영상의 화면에 표시되는 메뉴(Menu)에 대응될 수 있다.
일실시예에 따르면, 제1 객체의 심도는 기존의 3D 가상현실 영상에 표시되던 하나 이상의 객체 중 적어도 일부의 심도에 기초하여 결정될 수 있다. 3D 가상현실 영상에 표시되던 하나 이상의 객체 중 적어도 일부의 심도를 고려하여 제1 객체의 심도를 결정함으로써, 3D 가상현실 영상 상에서 제1 객체가 어색하게 표시되지 않도록 할 수 있고, 3D 가상현실 영상을 시청하는 사용자가 느끼는 어지러움이 줄어들 수 있다.
객체 표시 장치(110)는 하나 이상의 객체의 심도에 기초하여, 하나 이상의 객체 중 3D 가상현실 영상 상에서 사용자의 방향으로 가장 돌출되어 보이는 제2 객체를 결정하고, 결정된 제2 객체의 심도에 대응하도록 제1 객체의 심도를 결정할 수 있다. 다만, 제2 객체가 3D 가상현실 영상 상에서 3D 가상현실 영상의 화면보다 사용자로부터 멀리 떨어져 보이는 경우에는 제2 객체의 심도 대신 3D 가상현실 영상의 화면의 심도에 대응하도록 제1 객체의 심도를 결정할 수 있다.
제1 객체의 심도를 결정하는 것과 관련된 보다 상세한 사항은 도 4 및 도 5를 통하여 후술한다.
제1 객체의 심도는 좌안용 영상 상에서의 제1 객체의 위치 및 우안용 영상 상에서의 제1 객체의 위치를 결정하기 위하여 이용될 수 있다. 일실시예에 따르면, 심도 분석부(130)에서 제1 객체의 심도에 기초하여 좌안용 영상 상에서의 제1 객체의 위치 및 우안용 영상 상에서의 제1 객체의 위치를 결정할 수 있다.
제1 객체의 심도에 기초하여 좌안용 영상 상에서의 제1 객체의 위치 및 우안용 영상 상에서의 제1 객체의 위치를 결정하는 것과 관련된 보다 상세한 사항은 도 4 및 도 5를 통하여 후술한다.
일실시예에 따른 객체 표시 장치(110)가 객체 표시 방법을 수행함으로써, 3D 가상현실 영상에 표시되던 하나 이상의 객체 중 적어도 일부의 심도를 고려하여 새로운 객체의 심도가 결정될 수 있다. 일실시예에 따른 객체 표시 장치(110)가 객체 표시 방법을 수행함으로써, 새로운 객체가 3D 가상현실 영상 상에서 사용자에게 자연스럽게 표시될 수 있다. 또한, 일실시예에 따른 객체 표시 장치(110)가 객체 표시 방법을 수행함으로써, 3D 가상현실 영상을 시청하는 사용자가 느끼는 어지러움이 줄어들 수 있다.
도 2는 일실시예에 따른 객체 표시 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 객체 표시 장치(110)(도 1의 객체 표시 장치(110)에 대응)는 양안 카메라에 의하여 촬영된 좌안용 영상 및 우안용 영상을 수신할 수 있다(210). 객체 표시 장치(110)가 포함하는 영상 분석부(120)(도 1의 영상 분석부(120)에 대응)는 좌안용 영상 및 우안용 영상에 표시되는 하나 이상의 객체를 감지할 수 있다(220). 구체적으로, 영상 분석부(120)는 좌안용 영상에 표시되는 하나 이상의 이미지 및 우안용 영상에 표시되는 하나 이상의 이미지 중 서로 동일한 객체에 대응하는 이미지들을 매칭시킴으로써, 하나 이상의 객체를 감지하고, 하나 이상의 객체의 위치를 획득할 수 있다.
이하, 설명의 편의를 위하여, 하나 이상의 객체에 포함되는 객체 A 및 객체 A에 대응하는 이미지들과 관련된 객체 표시 장치(110)의 동작을 설명한다.
심도 분석부(130)(도 1의 심도 분석부(130)에 대응)는 객체 A에 대응하여 좌안용 영상에 표시되는 이미지의 위치 및 객체 A에 대응하여 우안용 영상에 표시되는 이미지의 위치에 기초하여, 객체 A의 심도를 계산할 수 있다.
심도를 계산하는 것과 관련된 보다 상세한 사항은 도 4 및 도 5를 통하여 후술한다.
객체 표시 장치(110)는 계산된 심도를 대응하는 객체의 위치 정보와 함께 저장할 수 있다(240). 일실시예에 따르면, 계산된 심도는 심도 분석부(130)에 저장될 수 있다.
객체 표시 장치(110)는 좌안용 영상 및 우안용 영상을 3D로 스티칭(Stitching)하고(250), 방송(Broadcast)이 가능한 포맷으로 트랜스코딩(Transcoding)할 수 있다(260). 다만, 단계 250 및 단계 260이 반드시 단계 220 및 단계 230 이후에 수행되어야 하는 것은 아니다. 예를 들어, 단계 250 및 단계 260은 단계 220 및 단계 230과 같은 시간 범위 상에서 수행될 수 있다.
객체 표시 장치(110)는 스티칭 및 트랜스코딩이 수행된 3D 가상현실 영상을 스트리밍할 수 있다(270). 일실시예에 따르면, 객체 표시 장치(110)는 3D 가상현실 영상을 HMD(Head Mounted Display)로 스트리밍할 수 있다. 이 경우, HMD에서 사용자의 왼쪽 눈의 시야 방향으로 좌안용 영상이 송출되고, 사용자의 오른쪽 눈의 시야 방향으로 우안용 영상이 송출될 수 있다.
HMD에서 영상이 재생되던 도중, HMD를 통하여 사용자가 3D 가상현실 영상 중 어느 방향의 영상을 시청하는지와 관련된 정보가 객체 표시 장치(110)로 수신될 수 있다(280). 객체 표시 장치(110)는 HMD가 향하는 영상의 재생중인 부분의 심도 정보를 HMD로 전송할 수 있다(290). 일실시예에 따르면, 객체 표시 장치(110)는 계산된 하나 이상의 객체의 심도 정보에 기초하여, 제1 객체의 심도를 결정하고, 나아가 좌안용 영상 상에서의 제1 객체의 위치 및 우안용 영상 상에서의 제1 객체의 위치를 결정할 수 있다. 일실시예에 따르면, 결정된 제1 객체의 심도에 기초하여 좌안용 영상 상에서의 제1 객체의 위치 및 우안용 영상 상에서의 제1 객체의 위치를 결정하는 동작은 HMD에서 수행될 수 있다. 일실시예에 따르면, 계산된 하나 이상의 객체의 심도 정보에 기초하여 제1 객체의 심도를 결정하는 동작이 HMD에서 수행될 수 있다.
도 3은 일실시예에 따른 좌안용 영상 상에서의 객체의 위치와 우안용 영상 상에서의 객체의 위치에 따라 객체가 사용자로부터 얼마나 떨어져 보이는지를 설명하기 위한 도면이다.
도 3을 참조하면, 좌안용 영상 상에서의 객체의 위치 및 우안용 영상 상에서의 객체의 위치(좌안용 영상 상에서의 객체 A에 대응하는 이미지의 위치 및 우안용 영상 상에서의 객체 A에 대응하는 이미지의 위치라고 표현하는 것이 가장 정확할 것이나, 설명의 편의를 위하여 혼란이 없는 범위 내에서 이와 같이 표현함)가 일치하는 경우(a), 비록 왼쪽 눈과 오른쪽 눈에서 서로 다른 영상을 시청하고 있으나, 사용자는 하나의 영상을 시청하는 것처럼 인식할 수 있다. 따라서, 이 경우, 좌안용 영상 및 우안용 영상을 시청하는 시청자는 물체가 화면과 동일한 거리만큼 떨어진 것으로 인식할 수 있다(즉, 2D 영상과 같이 화면 상에 평평하게 물체가 위치하는 것으로 인식할 수 있다)(310).
좌안용 영상 상에서의 객체의 위치가 우안용 영상 상에서의 객체의 위치보다 오른쪽으로 치우치는 경우(b), 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점은 3D 가상현실 영상의 화면보다 앞에 위치할 수 있다(320). 이 경우, 객체는 사용자의 방향으로 돌출되어 보일 수 있다.
좌안용 영상 상에서의 객체의 위치가 우안용 영상 상에서의 객체의 위치보다 오른쪽으로 치우치면서, 좌안용 영상 상에서의 제1 객체의 위치 및 우안용 영상 상에서의 제1 객체의 위치가 일치하도록 제1 객체가 표시되는 경우(c), 사용자의 눈은 초점이 맺히는 위치와 동일한 위치에 제1 객체가 존재하는 것처럼 인식할 수 있다. 이 경우, 제1 객체가 두 개로 보일 수 있고, 사용자에게 혼란 또는 어지러움을 유발할 수 있다.
도면에는 도시되지 않았으나, 좌안용 영상 상에서의 객체의 위치가 우안용 영상 상에서의 객체의 위치보다 왼쪽으로 치우치는 경우, 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점은 3D 가상현실 영상의 화면보다 뒤에 위치할 수 있다. 이 경우, 객체는 3D 가상현실 영상의 화면보다 사용자로부터 멀리 떨어져 보일 수 있다.
사람의 눈은 가장 가깝다고 인식되는 물체에 우선적으로 초점을 맞추므로, 좌안용 영상 상에서의 모든 객체의 위치가 우안용 영상 상에서의 모든 객체의 위치보다 왼쪽으로 치우치는 경우, 사용자의 눈은 3D 가상현실 영상의 화면보다 뒤에 위치하는 객체가 아닌 3D 가상현실 영상의 화면에 초점을 맞출 수 있다. 따라서, 이 경우, 좌안용 영상 상에서의 제1 객체의 위치 및 우안용 영상 상에서의 제1 객체의 위치가 일치하도록 제1 객체가 표시되더라도 제1 객체가 하나로 분명하게 보일 수 있고, 사용자에게 혼란 또는 어지러움을 유발하지 않을 수 있다.
도 4는 일실시예에 따른 좌안용 영상 상에서의 객체의 위치와 우안용 영상 상에서의 객체의 위치에 따른 객체의 심도를 설명하기 위한 도면이다.
도 4를 참조하면, 일실시예에 따른 객체의 심도는 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 얼마나 멀리 떨어진 곳에 위치하는지를 지시하도록 결정될 수 있다.
일실시예에 따르면, 객체의 심도는 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 떨어진 거리를 그 값으로 가질 수 있다. 이 경우, 객체의 심도는 가장 직관적으로 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 얼마나 멀리 떨어진 곳에 위치하는지를 지시할 수 있다.
구체적으로, 도 5를 참조하면, 객체가 3D 가상현실 영상의 화면으로부터 떨어진 거리는
Figure pat00001
와 같이 표시될 수 있다. 도 5는 돌출 객체의 위치(520)를 도시하고 있으나, 이는 객체가 3D 가상현실 영상의 화면보다 사용자로부터 더 멀리 떨어져 있거나, 혹은 객체가 3D 가상현실 영상의 화면과 같은 거리만큼 사용자로부터 떨어진 경우에도 동일하게 적용될 수 있다.
객체의 심도가 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 떨어진 거리를 그 값으로 가지는 경우,
Figure pat00002
를 계산하기 위하여 삼각함수 공식을 이용해야 할 뿐만 아니라, 사용자로부터 디스플레이 위치가 떨어진 거리를 더 알아야 할 수 있다. 때문에, 이러한 방법에 따라 객체의 심도를 결정하는 경우, 객체의 심도를 계산하는 과정의 연산량이 많다는 단점이 있을 수 있다. 따라서, 본 발명에서 제안하는 심도는 아래의 실시예와 같이 정의 및 계산될 수 있다.
일실시예에 따르면, 좌안용 영상 상에서의 객체의 위치와 좌안용 영상의 화면의 좌측 경계 간의 거리(이하,
Figure pat00003
) 및 우안용 영상 상에서의 객체의 위치와 우안용 영상의 화면의 좌측 경계 간의 거리(이하,
Figure pat00004
)를 비교함으로써, 객체의 심도가 결정될 수 있다.
일 예시로, 객체의 심도는 아래의 수학식 1과 같이 계산될 수 있다.
Figure pat00005
Figure pat00006
는 객체의 심도이다.
일실시예에 따르면, 좌안용 영상 상에서의 객체의 위치와 좌안용 영상의 화면의 우측 경계 간의 거리 및 우안용 영상 상에서의 객체의 위치와 우안용 영상의 화면의 우측 경계 간의 거리를 비교함으로써, 객체의 심도가 결정될 수도 있다. 이 경우, 좌안용 영상 상에서의 객체의 위치와 좌안용 영상의 화면의 우측 경계 간의 거리를
Figure pat00007
로, 우안용 영상 상에서의 객체의 위치와 우안용 영상의 화면의 우측 경계 간의 거리를
Figure pat00008
으로 두면, 이 경우에도 객체의 심도는 마찬가지로 위의 수학식 1과 같이 계산될 수 있다.
이하, 설명의 편의를 위하여 좌안용 영상 상에서의 객체의 위치와 좌안용 영상의 화면의 좌측 경계 간의 거리(
Figure pat00009
) 및 우안용 영상 상에서의 객체의 위치와 우안용 영상의 화면의 좌측 경계 간의 거리(
Figure pat00010
)를 비교함으로써, 객체의 심도가 결정되는 실시예들을 설명한다. 다만, 이하의 설명은 좌안용 영상 상에서의 객체의 위치와 좌안용 영상의 화면의 우측 경계 간의 거리 및 우안용 영상 상에서의 객체의 위치와 우안용 영상의 화면의 우측 경계 간의 거리를 비교함으로써, 객체의 심도가 결정되는 실시예들에도 마찬가지로 적용될 수 있다.
Figure pat00011
및
Figure pat00012
사이의 차이는 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 얼마나 멀리 떨어진 곳에 위치하는지를 지시할 수 있다. 구체적으로,
Figure pat00013
및
Figure pat00014
가 같은 값을 가지는 경우(a), 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 떨어진 거리는 3D 가상현실 영상의 화면이 사용자로부터 떨어진 거리와 같을 수 있다.
Figure pat00015
이
Figure pat00016
보다 큰 값을 가지는 경우(b), 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 떨어진 거리는 3D 가상현실 영상의 화면이 사용자로부터 떨어진 거리보다 짧을 수 있다(즉, 돌출되어 보일 수 있다). 이 경우,
Figure pat00017
의 값이 커질수록, 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 더 짧아질 수 있다.
Figure pat00018
이
Figure pat00019
보다 작은 값을 가지는 경우(c), 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 떨어진 거리는 3D 가상현실 영상의 화면이 사용자로부터 떨어진 거리보다 멀 수 있다(즉, 멀리 떨어져 보일 수 있다). 이 경우,
Figure pat00020
의 값이 작아질수록, 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 더 멀어질 수 있다.
객체의 심도가
Figure pat00021
로 계산되는 경우, 객체를 응시하는 사용자의 왼쪽 눈의 시선 및 오른쪽 눈의 시선이 만나 맺히는 초점이 사용자로부터 떨어진 거리를 잘 반영하면서도, 계산이 매우 단순하다는 장점이 있을 수 있다.
3D 가상현실 영상 화면에 표시되는 하나 이상의 객체의 심도를 계산한 이후, 제1 객체를 3D 가상현실 영상에 더 표시하고자 하는 경우, 도 1의 객체 표시 장치(110)는 계산된 하나 이상의 객체의 심도 정보에 기초하여 제1 객체의 심도를 결정하고, 결정된 제1 객체의 심도에 기초하여 좌안용 영상 및 우안용 영상에서의 제1 객체의 위치를 결정할 수 있다(제1 객체의 심도를 결정하는 방법은 도 1에서 전술하였음).
제1 객체의 심도는 좌안용 영상 상에서의 제1 객체의 위치와 좌안용 영상의 화면의 좌측 경계 간의 거리(
Figure pat00022
) 및 우안용 영상 상에서의 제1 객체의 위치와 우안용 영상의 화면의 좌측 경계 간의 거리(
Figure pat00023
) 사이의 관계를 지시할 수 있다.
Figure pat00024
및
Figure pat00025
사이의 관계는 3D 가상현실 영상 화면에 표시되는 하나 이상의 객체의 심도를 결정한 방법에 대응하여 결정될 수 있다.
일 예시로, 3D 가상현실 영상 화면에 표시되는 하나 이상의 객체의 심도가
Figure pat00026
와 같이 계산된 경우, 제1 객체의 심도는
Figure pat00027
의 값을 가질 수 있다.
따라서, 도 1의 객체 표시 장치(110) 또는 도 2의 HMD는 제1 객체의 심도에 기초하여
Figure pat00028
및
Figure pat00029
사이의 관계에 기초하여 좌안용 영상 상의 제1 객체의 위치 및 우안용 영상 상의 제1 객체의 위치를 결정할 수 있다. 또한, 도 1의 객체 표시 장치(110) 또는 도 2의 HMD는 좌안용 영상 상의 제1 객체의 위치와 우안용 영상 상의 제1 객체의 위치에 기초하여, 좌안용 영상 및 우안용 영상에 제1 객체를 표시할 수 있다.
이 경우, 도 1의 객체 표시 장치(110) 또는 도 2의 HMD는 좌안용 영상 상의 제1 객체의 위치 및 우안용 영상 상의 제1 객체의 위치를 결정하기 위하여 3D 가상현실 영상 상에서 제1 객체를 표시하고자 하는 위치를 더 고려할 수 있다.
도 6은 일실시예에 따른 객체 표시 방법을 설명하기 위한 동작 흐름도이다.
도 6을 참조하면, 일실시예에 따른 3D 가상현실(VR) 영상을 구성하기 위하여 사용자의 왼쪽 눈의 시야 방향으로 출력되는 좌안용 영상 및 사용자의 오른쪽 눈의 시야 방향으로 출력되는 우안용 영상과 관련되는 객체 표시 방법을 수행하기 위하여, 객체 표시 장치는 좌안용 영상 및 우안용 영상에 표시되는 하나 이상의 객체와 관련하여, 좌안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상 상에서의 하나 이상의 객체의 위치를 획득한다(610). 객체 표시 장치는 도 1의 객체 표시 장치(110)에 대응될 수 있다. 좌안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상 상에서의 하나 이상의 객체의 위치는 객체 표시 장치가 포함하는 영상 분석부에 의하여 수행될 수 있다. 영상 분석부는 도 1의 영상 분석부(120)에 대응될 수 있다.
좌안용 영상 상에서의 하나 이상의 객체의 위치와 우안용 영상 상에서의 하나 이상의 객체의 위치에 기초하여, 객체 표시 장치는 3D 가상현실 영상 상에서의 하나 이상의 객체의 심도(depth)를 획득한다(620). 3D 가상현실 영상 상에서의 하나 이상의 객체의 심도는 객체 표시 장치가 포함하는 심도 분석부에 의하여 수행될 수 있다. 심도 분석부는 도 1의 심도 분석부(130)에 대응될 수 있다.
하나 이상의 객체 중 적어도 일부의 심도에 기초하여, 객체 표시 장치는 3D 가상현실 영상에 더 표시하기 위한 제1 객체의 심도를 결정한다(630). 제1 객체의 심도는 하나 이상의 객체 중 3D 가상현실 영상 상에서 사용자의 방향으로 가장 돌출되어 보이는 객체의 심도에 대응하도록 결정될 수 있다. 다만, 3D 가상현실 영상 상에서 사용자의 방향으로 가장 돌출되어 보이는 객체가 3D 가상현실 영상의 화면보다 사용자로부터 멀리 떨어져 보이는 경우에는, 제1 객체의 심도는 3D 가상현실 영상의 화면의 심도에 대응하도록 결정될 수 있다.
제1 객체의 심도에 기초하여, 객체 표시 장치는 좌안용 영상 및 우안용 영상에 제1 객체를 표시한다(640). 구체적으로, 객체 표시 장치는 제1 객체의 심도에 기초하여 좌안용 영상 상의 제1 객체의 위치를 결정하고, 우안용 영상 상의 제1 객체의 위치를 결정하여, 좌안용 영상 및 우안용 영상에 제1 객체를 표시할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 3D 가상현실(VR) 영상을 구성하기 위하여 사용자의 왼쪽 눈의 시야 방향으로 출력되는 좌안용 영상 및 상기 사용자의 오른쪽 눈의 시야 방향으로 출력되는 우안용 영상과 관련되는 객체 표시 방법에 있어서,
    상기 좌안용 영상 및 상기 우안용 영상에 표시되는 하나 이상의 객체와 관련하여, 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치를 획득하는 단계;
    상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치에 기초하여, 상기 3D 가상현실 영상 상에서의 상기 하나 이상의 객체의 심도(depth)를 획득하는 단계;
    상기 하나 이상의 객체 중 적어도 일부의 심도에 기초하여, 상기 3D 가상현실 영상에 더 표시하기 위한 제1 객체의 심도를 결정하는 단계; 및
    상기 제1 객체의 심도에 기초하여, 상기 좌안용 영상 및 상기 우안용 영상에 상기 제1 객체를 표시하는 단계
    를 포함하는,
    객체 표시 방법.
  2. 제1항에 있어서,
    상기 제1 객체의 심도를 결정하는 단계는
    상기 하나 이상의 객체의 심도에 기초하여, 상기 하나 이상의 객체 중 상기 3D 가상현실 영상 상에서 사용자의 방향으로 가장 돌출되어 보이는 제2 객체를 결정하는 단계; 및
    상기 제2 객체의 심도에 대응하도록 상기 제1 객체의 심도를 결정하는 단계
    를 포함하는,
    객체 표시 방법.
  3. 제2항에 있어서,
    상기 3D 가상현실 영상 상에서, 상기 제2 객체가 상기 3D 가상현실 영상의 화면보다 상기 사용자로부터 멀리 떨어져 보이는 경우,
    상기 제2 객체의 심도 대신 상기 3D 가상현실 영상의 화면의 심도에 대응하도록 상기 제1 객체의 심도를 결정하는 단계
    를 더 포함하는,
    객체 표시 방법.
  4. 제1항에 있어서,
    상기 제1 객체는
    상기 3D 가상현실 영상에 표시하고자 하는 자막; 및
    상기 사용자에게 서비스를 제공하기 위하여 상기 3D 가상현실 영상에 표시하고자 하는 서비스 도메인(Service domain)
    중 적어도 하나를 포함하는,
    객체 표시 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 객체의 심도는
    상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 좌안용 영상의 화면의 좌측 경계 간의 거리; 및
    상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상의 화면의 좌측 경계 간의 거리
    를 비교함으로써 결정되는,
    객체 표시 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 객체의 심도는
    상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 좌안용 영상의 화면의 우측 경계 간의 거리; 및
    상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상의 화면의 우측 경계 간의 거리
    를 비교함으로써 결정되는,
    객체 표시 방법.
  7. 제1항에 있어서,
    상기 제1 객체를 표시하는 단계는
    상기 제1 객체의 심도에 기초하여 상기 좌안용 영상 상의 상기 제1 객체의 위치를 결정하는 단계;
    상기 제1 객체의 심도에 기초하여 상기 우안용 영상 상의 상기 제1 객체의 위치를 결정하는 단계; 및
    상기 좌안용 영상 상의 상기 제1 객체의 위치와 상기 우안용 영상 상의 상기 제1 객체의 위치에 기초하여, 상기 좌안용 영상 및 상기 우안용 영상에 상기 제1 객체를 표시하는 단계
    를 포함하는,
    객체 표시 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  9. 3D 가상현실(VR) 영상을 구성하기 위하여 사용자의 왼쪽 눈의 시야 방향으로 출력되는 좌안용 영상 및 상기 사용자의 오른쪽 눈의 시야 방향으로 출력되는 우안용 영상과 관련하여 동작을 수행하는 객체 표시 장치에 있어서,
    프로그램이 기록된 메모리; 및
    상기 프로그램을 수행하는 프로세서
    를 포함하고,
    상기 프로그램은,
    상기 좌안용 영상 및 상기 우안용 영상에 표시되는 하나 이상의 객체와 관련하여, 상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치를 획득하는 단계;
    상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치에 기초하여, 상기 3D 가상현실 영상 상에서의 상기 하나 이상의 객체의 심도(depth)를 획득하는 단계;
    상기 하나 이상의 객체 중 적어도 일부의 심도에 기초하여, 상기 3D 가상현실 영상에 더 표시하기 위한 제1 객체의 심도를 결정하는 단계; 및
    상기 제1 객체의 심도에 기초하여, 상기 좌안용 영상 및 상기 우안용 영상에 상기 제1 객체를 표시하는 단계
    를 수행하는,
    객체 표시 장치.
  10. 제9항에 있어서,
    상기 제1 객체의 심도를 결정하는 단계는
    상기 하나 이상의 객체의 심도에 기초하여, 상기 하나 이상의 객체 중 상기 3D 가상현실 영상 상에서 사용자의 방향으로 가장 돌출되어 보이는 제2 객체를 결정하는 단계; 및
    상기 제2 객체의 심도에 대응하도록 상기 제1 객체의 심도를 결정하는 단계
    를 포함하는,
    객체 표시 장치.
  11. 제10항에 있어서,
    상기 3D 가상현실 영상 상에서, 상기 제2 객체가 상기 3D 가상현실 영상의 화면보다 상기 사용자로부터 멀리 떨어져 보이는 경우,
    상기 제2 객체의 심도 대신 상기 3D 가상현실 영상의 화면의 심도에 대응하도록 상기 제1 객체의 심도를 결정하는 단계
    를 더 포함하는,
    객체 표시 장치.
  12. 제9항에 있어서,
    상기 제1 객체는
    상기 3D 가상현실 영상에 표시하고자 하는 자막; 및
    상기 사용자에게 서비스를 제공하기 위하여 상기 3D 가상현실 영상에 표시하고자 하는 서비스 도메인(Service domain)
    중 적어도 하나를 포함하는,
    객체 표시 장치.
  13. 제9항에 있어서,
    상기 하나 이상의 객체의 심도는
    상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 좌안용 영상의 화면의 좌측 경계 간의 거리; 및
    상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상의 화면의 좌측 경계 간의 거리
    를 비교함으로써 결정되는,
    객체 표시 장치.
  14. 제9항에 있어서,
    상기 하나 이상의 객체의 심도는
    상기 좌안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 좌안용 영상의 화면의 우측 경계 간의 거리; 및
    상기 우안용 영상 상에서의 상기 하나 이상의 객체의 위치와 상기 우안용 영상의 화면의 우측 경계 간의 거리
    를 비교함으로써 결정되는,
    객체 표시 장치.
  15. 제9항에 있어서,
    상기 제1 객체를 표시하는 단계는
    상기 제1 객체의 심도에 기초하여 상기 좌안용 영상 상의 상기 제1 객체의 위치를 결정하는 단계;
    상기 제1 객체의 심도에 기초하여 상기 우안용 영상 상의 상기 제1 객체의 위치를 결정하는 단계; 및
    상기 좌안용 영상 상의 상기 제1 객체의 위치와 상기 우안용 영상 상의 상기 제1 객체의 위치에 기초하여, 상기 좌안용 영상 및 상기 우안용 영상에 상기 제1 객체를 표시하는 단계
    를 포함하는,
    객체 표시 장치.
KR1020190110866A 2019-09-06 2019-09-06 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치 KR20210029523A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190110866A KR20210029523A (ko) 2019-09-06 2019-09-06 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190110866A KR20210029523A (ko) 2019-09-06 2019-09-06 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210029523A true KR20210029523A (ko) 2021-03-16

Family

ID=75223906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190110866A KR20210029523A (ko) 2019-09-06 2019-09-06 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210029523A (ko)

Similar Documents

Publication Publication Date Title
JP7396341B2 (ja) 映像音響処理装置および方法、並びにプログラム
US10074012B2 (en) Sound and video object tracking
CN108605166B (zh) 一种增强现实中呈现替换图像的方法及设备
US10003769B2 (en) Video telephony system, image display apparatus, driving method of image display apparatus, method for generating realistic image, and non-transitory computer readable recording medium
US9460351B2 (en) Image processing apparatus and method using smart glass
US20230402067A1 (en) Integration of audio into a multi-view interactive digital media representation
WO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3693925B1 (en) Information processing device, information processing method, and recording medium
US10846535B2 (en) Virtual reality causal summary content
CN109982036A (zh) 一种全景视频数据处理的方法、终端以及存储介质
EP3276982B1 (en) Information processing apparatus, information processing method, and program
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
US10506211B2 (en) Recording medium, image generation apparatus, and image generation method
EP3096517A1 (en) Wearable smart glasses
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
KR101705988B1 (ko) 가상 현실 장치
KR101856632B1 (ko) 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
KR20210029523A (ko) 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치
KR20120060657A (ko) 전자 장치 및 입체감 조정 방법
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
KR20140118063A (ko) 멀티미디어 콘텐츠 시각화 조정을 위한 사용자 인터페이스 장치 및 그 방법
KR20150012692A (ko) 입체 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
E601 Decision to refuse application