KR20190044884A - 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법 - Google Patents

양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법 Download PDF

Info

Publication number
KR20190044884A
KR20190044884A KR1020170137410A KR20170137410A KR20190044884A KR 20190044884 A KR20190044884 A KR 20190044884A KR 1020170137410 A KR1020170137410 A KR 1020170137410A KR 20170137410 A KR20170137410 A KR 20170137410A KR 20190044884 A KR20190044884 A KR 20190044884A
Authority
KR
South Korea
Prior art keywords
frame
virtual reality
area
moving picture
video
Prior art date
Application number
KR1020170137410A
Other languages
English (en)
Other versions
KR102034825B1 (ko
Inventor
강서연
Original Assignee
강서연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강서연 filed Critical 강서연
Priority to KR1020170137410A priority Critical patent/KR102034825B1/ko
Publication of KR20190044884A publication Critical patent/KR20190044884A/ko
Application granted granted Critical
Publication of KR102034825B1 publication Critical patent/KR102034825B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 서버에 의해 수행되는, 가상 현실 동영상 제공 방법에 있어서, (a) 기준 시점에 기초하여 제 1 동영상 프레임을 복수의 프레임 조각들로 변환하는 단계; (b) 프레임 조각들 중 기준 시점에 대응되는 프레임 조각의 나머지 프레임 조각들에 대해 크롭을 수행하는 단계; 및 (c) 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하는 단계;를 포함하되, 제 1 동영상 프레임은 360도 이미지에 대응되고, 기준 시점은 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점일 수 있다.

Description

양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법 {APPARATUS AND METHOD FOR PROVIDING VIRTUAL REALITY VIDEO CONSIDERING BINOCULAR ANGLE}
본 발명은 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법에 관한 것이다.
종래의 경우, 가상 현실 동영상의 프레임 전체를 사용자 단말에 보내주면, 사용자 단말은 프레임 전체에 해당하는 이미지 중 사용자가 바라보는 방향에 해당하는 부분만을 디스플레이 한다. 이 경우, 서버에서 전송되는 가상 현실 동영상의 각 프레임이 4k의 해상도를 갖더라도, 사용자 단말에서는 540p의 해상도만이 보여지게 된다. 즉, 서버에서 전송되는 동영상 프레임 중 극히 일부만이 디스플레이 되는 문제가 있다.
한국공개특허 제 10-2003-0040808 호 (발명의 명칭: 360도를 동시 촬상 가능한 촬상 장치)
본 발명은, 가상 현실 동영상의 프레임에서 사용자 단말에서 디스플레이 될 가능성이 낮은 부분을 제외하여 전송함으로써, 전송되는 가상 현실 동영상의 전체 프레임 중 디스플레이 되는 부분의 비율을 높이는 것을 목적으로 한다.
또한, 본 발명은, 사용자의 양안 시야각이 좌우로 더 넓은 경우를 고려하여, 좌우로 더 넓은 화각을 갖도록 변환된 가상 현실 동영상을 제공하는 것을 목적으로 한다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 서버에 의해 수행되는, 가상 현실 동영상 제공 방법은, (a) 제 1 동영상 프레임을 정육면체의 각 면에 일대일 대응되는 6개의 프레임 조각들로 변환하는 단계; (b) 상기 프레임 조각들에 대해 직사각형 형태의 크롭 영역에 기초하여 크롭을 수행하는 단계; 및 (c) 상기 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하는 단계; 를 포함하되, 상기 제 1 동영상 프레임은 360도 이미지에 대응되고, 상기 직사각형 형태의 크롭 영역은 상기 정육면체의 면들을 평면 상에 펼친 전개도 상에서 설정되는 영역일 수 있다.
또한, 본 발명의 다른 일 실시예에 따른 가상 현실 동영상 제공 장치는 가상 현실 동영상 제공 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서;를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 제 1 동영상 프레임을 정육면체의 각 면에 일대일 대응되는 6개의 프레임 조각들로 변환하고, 상기 프레임 조각들에 대해 직사각형 형태의 크롭 영역에 기초하여 크롭을 수행하고, 상기 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하되, 상기 제 1 동영상 프레임은 360도 이미지에 대응되고, 상기 직사각형 형태의 크롭 영역은 상기 정육면체의 면들을 평면 상에 펼친 전개도 상에서 설정되는 영역일 수 있다.
본 발명의 일 실시예에 따른 가상 현실 동영상 제공 장치 및 제공 방법에 의하면, 가상 현실 동영상의 프레임에서 사용자 단말에서 디스플레이 될 가능성이 낮은 부분을 제외하여 전송함으로써, 전송되는 가상 현실 동영상의 전체 프레임 중 디스플레이 되는 부분의 비율을 높일 수 있다.
또한, 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 장치 및 제공 방법에 의하면, 사용자의 양안 화각이 좌우로 더 넓은 경우를 고려하여, 좌우로 더 넓은 화각을 갖도록 변환된 가상 현실 동영상을 제공할 수 있다.
본 발명의 일 실시예에 따른 가상 현실 동영상 제공 장치 및 제공 방법에 의하면, 사용자가 바라보는 시점이 기준 시점으로부터 일정 이상 멀어지는 경우, 새로운 기준 시점에 기초하여 변환된 가상 현실 동영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법을 나타낸 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 가상 현실 동영상의 전체 프레임을 프레임 조각으로 분할하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 프레임 조각들을 정육면체에 대응되도록 변환하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 프레임 조각들에 대해 크롭을 수행하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 크롭된 프레임 조각들을 배열하는 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 변환된 가상 현실 동영상의 프레임을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자의 좌우방향 화각의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 사용자의 상하방향 화각의 일 예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서, 서버(100)는 가상 현실 동영상 제공 장치를 의미할 수 있다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 시스템(1)의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 시스템(1)은 서버(100) 및 사용자 단말(200)을 포함한다. 또한, 서버(100)와 복수 개의 사용자 단말들(201 및 202)을 상호 연결하는 통신망(300)을 포함한다.
본 발명의 일 실시예에 따른 서버(100)는 사용자 단말(200)에 가상 현실 동영상을 제공하고, 사용자 단말(200)은 서버(100)로부터 제공받은 가상 현실 동영상을 사용자에게 표시하는 것을 특징으로 한다.
여기서, 가상 현실 동영상은 360도 이미지로 구성된 원본 동영상에서 일부가 서버(100)에 의해 크롭(crop) 수행된 동영상일 수 있다.
여기서, 크롭(crop)은 비디오 또는 이미지의 일부 영역만이 남도록 잘라내는 것을 의미한다. 예컨대, 1920x1080의 해상도를 갖는 비디오 또는 이미지에서 좌측 상단에서부터 960x540의 해상도만큼을 크롭하는 경우, 960x540의 해상도에 해당하는 영역을 제외한 나머지 영역이 제거될 수 있다.
사용자 단말(200)은 서버(100)로부터 제공받은 가상 현실 동영상에서, 사용자가 바라보는 기준 시점에 대응되는 부분을 사용자에게 표시할 수 있다.
여기서, 기준 시점은 3차원 방향 정보를 포함할 수 있다. 예컨대, 기준 시점은 피치(Pitch) 및 요(Yaw) 값을 포함할 수 있다.
선택적 실시예로서, 기준 시점은 롤(Roll) 값을 더 포함할 수 있다.
사용자 단말(200)은 단말 어플리케이션을 통해 가상 현실 동영상을 표시할 수 있다. 단말 어플리케이션은 가상 현실 동영상 재생 전용 어플리케이션일 수 있다.
여기서, 가상 현실 동영상 재생 전용 어플리케이션은 사용자 단말(200)에 내장된 어플리케이션이거나, 어플리케이션 배포 서버로부터 다운로드되어 사용자 단말(200)에 설치된 어플리케이션일 수 있다.
복수 개의 사용자 단말(200)들은 유무선 통신 환경에서 단말 어플리케이션을 이용할 수 있는 통신 단말기를 의미한다. 여기서 사용자 단말(200)은 사용자의 휴대용 단말기일 수 있다. 도 1에서는 사용자 단말(200)이 휴대용 단말기의 일종인 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 아니하며, 상술한 바와 같이 단말 어플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.
이를 더욱 상세히 설명하면, 사용자 단말(200)은 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 헤드 마운티드 디스플레이(Head Mounted Display; HMD) 디바이스 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
한편, 통신망(300)은 서버(100)와 사용자 단말(200)들을 연결하는 역할을 수행한다. 즉, 통신망(300)은 사용자 단말(200)들이 서버(100)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 서버(100)의 구성을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.
상세히, 통신 모듈(110)은 통신망(300)과 연동하여 서버(100)와 사용자 단말(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 사용자 단말(200)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.
여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)는 가상 현실 동영상 제공 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 일종의 중앙처리장치로서 가상 현실 동영상을 제공하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 3을 참조하여 후술하기로 한다.
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)에는 가상 현실 동영상의 전체 프레임 및 사용자 단말(200)에 제공하기 위해 크롭된 동영상 프레임 등이 저장될 수 있다.
비록 도 2에는 도시하지 아니하였으나, 가상 현실 동영상의 전체 프레임 및 크롭된 동영상 프레임 중 일부는 데이터베이스(140)와 물리적 또는 개념적으로 분리된 데이터베이스(미도시)에 저장될 수 있다.
도 3은 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법을 나타낸 동작 흐름도이다.
도 3을 참조하면, 먼저 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은, 서버가 제 1 동영상 프레임을 복수의 프레임 조각들로 변환한다(S310).
단계(S310)에서 서버는, 복수의 프레임 조각들을 정육면체의 각 면에 일대일로 대응되는 6개의 프레임 조각들로 변환할 수 있다.
여기서, 서버는 제 1 동영상 프레임이 분할된 6개의 프레임 조각들이 정육면체의 6면들에 일대일 대응되도록 정사각형 형태로 변환할 수 있다.
여기서, 가상 현실 동영상은 360도 비디오에 대응되고, 제 1 동영상 프레임은 360도 이미지에 대응될 수 있다.
여기서, 서버는 제 1 동영상 프레임에 대응되는 360도 이미지를 90도의 화각을 갖는 6개의 이미지 조각들로 분할하고, 이미지 조각들 각각에 대응되도록 제 1 동영상 프레임을 6개의 프레임 조각들로 분할할 수 있다.
여기서, 6개의 프레임 조각들에는 기준 시점을 중앙점으로 하는 기준 프레임 조각이 포함될 수 있다. 또한, 6개의 프레임 조각들에는 기준 프레임 조각에 대응되는 면을 정면(front face)으로 하였을 때, 우면(right face), 후면(rear face), 좌면(left face), 상면(top face) 및 저면(bottom face)에 대응되는 프레임 조각들이 포함될 수 있다.
여기서, 기준 시점은 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은, 서버가 프레임 조각들에 대해 직사각형 형태의 크롭 영역에 기초하여 크롭을 수행한다(S320).
단계(S320)에서 서버는, 6개의 프레임 조각들을 정육면체의 6면들에 일대일 대응시키고, 정육면체의 면들을 평면 상에 펼쳐 전개도를 생성할 수 있다.
여기서 서버는, 기준 프레임 조각에 대응되는 면을 기준면으로 하였을 때, 기준면에 인접한 4면들이 전개도 상에서도 기준면에 접한 형태의 전개도를 생성할 수 있다.
예컨대, 6개의 프레임 조각들에 대응되는 6면들이 정면, 우면, 후면, 좌면, 상면 및 저면일 때, 정면이 기준면이 되고, 정면에 인접한 우면, 좌면, 상면 및 저면이 전개도 상에서도 기준면에 접하도록 전개도를 생성할 수 있다.
위와 같은 전개도의 형태에 따라, 서버가 전개도 상에서 크롭을 수행하는 경우, 기준면에 접한 4면들(예컨대, 우면, 좌면, 상면 및 저면)에 대해 크롭이 수행될 수 있다.
단계(S320)에서 서버는, 기준면에 대응되는 영역을 기준 영역으로 하여, 기준 영역을 기준면에 접한 4면들 각각에 대한 방향으로 기준 면적 비율만큼 확장한 확장 영역을 크롭 영역으로서 설정할 수 있다.
여기서, 서버는 크롭 영역에 포함되는 4면들 각각의 기준 면적 비율이 서로 다른 비율을 갖도록 크롭 영역을 설정할 수 있다.
예컨대, 서버는 우면 및 좌면의 기준 면적 비율이 100%, 상면 및 저면의 기준 면적 비율이 50%이 되도록 크롭 영역을 설정할 수 있다. 이에 대한 구체적인 내용은 도 6을 참조하여 후술하기로 한다.
이에 따라, 본 발명의 일 실시예에 의하면, 사용자의 양안 화각이 좌우로 더 넓은 경우를 고려하여, 좌우로 더 넓은 화각을 갖도록 프레임 조각들을 크롭할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은, 크롭된 프레임 조각들을 포함하는 제 2 동영상 프레임을 제공한다(S330).
예컨대, 단계(S320)에서 크롭 영역에 포함되는 우면 및 좌면의 면적 비율이 100%, 상면 및 저면의 면적 비율이 50%이 되도록 하여 크롭이 수행된 경우, 단계(S330)에서 서버는 정면(100%), 우면(100%), 좌면(100%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들을 포함하는 제 2 동영상 프레임을 제공할 수 있다.
선택적 실시예로서, 단계(S330)에서 서버는 크롭된 프레임 조각들을 직사각형을 이루도록 배열할 수 있다.
예컨대, 크롭된 프레임 조각들이 정면(100%), 우면(100%), 좌면(100%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들인 경우, 정면(100%)의 모서리 길이가 기준 길이(예컨대, 1)이고, 면적이 기준 면적(예컨대, 1x1)이라고 하였을 때, 면적이 기준 면적의 4배이므로, 기준 면적의 4배인 직사각형이 되도록 크롭된 프레임 조각들을 배열(예컨대, 2x2, 4x1 등)할 수 있다. 이에 대한 구체적인 내용은 도 7을 참조하여 후술하기로 한다.
이에 따라, 본 발명의 일 실시예에 의하면, 가상 현실 동영상의 프레임에서 사용자 단말에서 디스플레이 될 가능성이 낮은 부분을 제외하여 전송함으로써, 전송되는 가상 현실 동영상의 전체 프레임 중 디스플레이 되는 부분의 비율을 높일 수 있다.
비록 도 3에는 도시되지 아니하였으나, 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은 변경된 시점을 수신하는 단계(미도시), 변경된 시점이 기설정된 기준 화각 영역을 벗어나는지 여부를 판단하는 단계(미도시), 및 기준 화각을 벗어나는 경우 변경된 시점을 새로운 기준 시점으로 설정하는 단계(미도시)를 더 포함할 수 있다. 이에 대한 구체적인 내용은 도 9 및 도 10을 참조하여 후술하기로 한다.
도 4는 본 발명의 일 실시예에 따른 가상 현실 동영상의 프레임을 프레임 조각으로 분할하는 방법을 나타낸 도면이다.
도 4를 참조하면, 가상 현실 동영상의 전체 프레임(400)은 기준 시점(410)에 따라 서로 다른 레이아웃(layout)을 갖는 프레임 조각들(420a 내지 420f)로 분할됨을 알 수 있다.
여기서, 도 4(a)는 기준 시점(410)이 전체 프레임(400)의 정중앙에 위치한 경우의 예이며, 도 4(b)는 기준 시점(410)이 전체 프레임(400)의 좌상단에 위치한 경우의 예이다.
여기서 전체 프레임(400)은 360도 이미지에 대응되고, 프레임 조각들(420a 내지 420f) 각각은 90도의 화각을 갖는 이미지 조각에 대응될 수 있다.
또한, 프레임 조각들(420a 내지 420f) 각각은 정면(420a), 우면(420b), 후면(420c), 좌면(420d), 상면(420e) 및 저면(420f)에 대응될 수 있다.
도 5는 본 발명의 일 실시예에 따른 프레임 조각들을 정육면체에 대응되도록 변환하는 방법을 나타낸 도면이다.
여기서, 도 5(a)는 가상 현실 동영상의 전체 프레임(400)을 프레임 조각들로 분할한 결과의 일 예이며, 도 5(b)는 프레임 조각들 중 서로 떨어져 있는 프레임 조각들(423a 및 423b)을 합친 결과(510)의 일 예이며, 도 5(c)는 프레임 조각들을 정육면체의 6면들에 대응되도록 변환하였을 때의 전개도(520)의 일 예이다.
여기서, 전개도(520)는 기준면에 나머지 4면들인 인접하는 형태로 생성될 수 있다.
예컨대, 정육면체의 6면들에 대해, 정면(a)을 기준면으로 하고 나머지 면들을 각각 우면(b), 후면(c), 좌면(d), 상면(e) 및 저면(f)이라고 할 때, 전개도(520)는 정면(a)에 우면(b), 좌면(d), 상면(e) 및 저면(f)이 인접하는 형태로 생성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 프레임 조각들에 대해 크롭을 수행하는 방법을 나타낸 도면이다.
도 6을 참조하면, 프레임 조각들은 전개도(520) 상에서 설정된 크롭 영역(610)에 따라 크롭이 수행됨을 알 수 있다.
여기서, 도 6(a)는 전개도(520) 상에서 크롭 영역(610)이 설정된 경우의 일 예이며, 도 6(b)는 크롭 영역(610)에 따라 크롭이 수행된 결과(620)의 일 예이다.
크롭 영역(610)은 크롭 영역(610)에 포함되는 4면들(b, d, e 및 f) 각각의 면적 비율이 서로 다른 기준 면적 비율을 갖도록 설정될 수 있다.
도 6(a)의 경우, 크롭 영역(610)에 포함되는 우면 및 좌면의 기준 면적 비율이 100%, 상면 및 저면의 기준 면적 비율이 50%인 경우로서, 2면들(b 및 d)의 면적 비율은 100%이 되고, 나머지 2면들(e 및 f)의 면적 비율은 50%이 됨을 알 수 있다.
여기서, 우면 및 좌면의 기준 면적 비율은 100%에 한하는 것은 아니며, 상면 및 저면의 기준 면적 비율보다 크게 설정되는 것일 수 있다.
예컨대, 상면 및 저면의 기준 면적 비율이 50%인 경우, 우면 및 좌면의 면적 비율은 50%을 초과하고, 100% 이하인 어느 하나의 값일 수 있다.
이에 따라, 본 발명의 일 실시예에 의하면, 가상 현실 동영상의 프레임에서 사용자 단말에서 디스플레이 될 가능성이 낮은 부분을 제외하여 전송함에 있어, 전송되는 프레임의 형태를 최적화하여, 전송 효율을 증가시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 크롭된 프레임 조각들을 배열하는 방법을 나타낸 도면이다.
도 7(a)을 참조하면, 크롭된 프레임 조각들이 정면(100%), 우면(100%), 좌면(100%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들인 경우, 정면(100%)의 모서리 길이가 기준 길이(예컨대, 1)이고, 면적이 기준 면적(예컨대, 1x1)이라고 하였을 때, 면적이 기준 면적의 4배이므로, 기준 면적의 4배인 직사각형이 되도록 크롭된 프레임 조각들을 배열(예컨대, 4x1)할 수 있다.
여기서, 우면 및 좌면의 면적 비율은 100%에 한하지 아니하며, 상면 및 저면의 기준 면적 비율이 50%인 경우, 50%을 초과하고, 100% 이하인 어느 하나의 값일 수 있다.
예컨대, 우면 및 좌면의 면적 비율은 75%일 수 있다. 이 경우, 우면 및 좌면의 면적은 0.75(예컨대, 1x0.75)이 되고, 크롭된 프레임 조각들의 전체 면적은 기준 면적의 3.5배가 되고, 도 7(a)와 유사한 방법으로 기준 면적의 3.5배인 직사각형이 되도록 크롭된 프레임 조각들을 배열(예컨대, 3.5x1)할 수 있다.
도 7(b)를 참조하면, 크롭된 프레임 조각들이 정면(100%), 우면(100%), 좌면(100%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들인 경우, 정면(100%)의 모서리 길이가 기준 길이(예컨대, 1)이고, 면적이 기준 면적(예컨대, 1x1)이라고 하였을 때, 면적이 기준 면적의 4배이므로, 기준 면적의 4배인 정사각형이 되도록 크롭된 프레임 조각들을 배열(예컨대, 2x2)할 수 있다.
여기서, 우면 및 좌면의 면적 비율이 75%인 경우, 우면 및 좌면의 면적은 0.75(예컨대, 1x0.75)이 되고, 크롭된 프레임 조각들의 전체 면적은 기준 면적의 3.5배가 되고, 도 7(b)와 유사한 방법으로 기준 면적의 3.5배인 직사각형이 되도록 크롭된 프레임 조각들을 배열(예컨대, 1.75x2)할 수 있다.
도 8은 본 발명의 일 실시예에 따른 변환된 가상 현실 동영상의 프레임(800)을 나타낸 도면이다.
도 8을 참조하면, 변환된 가상 현실 동영상의 프레임(800)은 360도 이미지가 아니라 사용자(810)가 바라보는 기준 시점(410)을 기준으로 화각이 제한된 이미지에 대응됨을 알 수 있다.
특히, 도 8은 우면 및 좌면의 기준 면적 비율이 100%, 상면 및 저면의 기준 면적 비율이 50%이 되도록 크롭 영역을 설정된 경우의 가상 현실 동영상의 프레임(800)으로서, 프레임(800)에는 사용자(810)가 바라보는 기준 시점(410)을 기준으로 좌우 270도, 상하 180도의 화각을 갖는 이미지(820)가 포함될 수 있다.
도 9는 본 발명의 일 실시예에 따른 사용자의 좌우방향 화각의 일 예를 나타낸 도면이다.
특히 도 9는 사용자의 좌우방향 화각을 설명하기 위해, 크롭된 프레임 조각을 포함하는 가상 현실 동영상의 프레임(900)을 x-y축을 기준으로 2차원 상으로 나타낸 것이다.
사용자(810)의 양안 시야각은 상하방향보다 좌우방향이 더 넓을 수 있다. 예컨대, 상하방향의 시야각(1010)은 단안 시야각과 같이 약 60도라고 하면, 좌우방향의 시야각(910)은 양안 시야각으로서 120도일 수 있다.
변환된 가상 현실 동영상의 프레임에 좌우로 다소 좁은 화각을 갖는 이미지(예컨대, 좌우 180도의 화각을 갖는 이미지)가 포함되는 경우, 사용자(810)가 시점을 좌우로 어느 정도 이동시키면 변경된 시점에 대응되는 이미지가 존재하지 않는 경우가 발생할 수 있다.
이를 위해, 본 발명의 일 실시예에 따른 변환된 가상 현실 동영상의 프레임(900)에는 좌우로 넓은 화각을 갖는 이미지(예컨대, 좌우 270도의 화각을 갖는 이미지, 920)가 포함되어, 사용자(810)가 시점을 좌우로 어느 정도 이동시켜도, 변경된 시점에 대응되는 이미지가 표시되도록 할 수 있다.
도 10은 본 발명의 일 실시예에 따른 사용자의 상하방향 화각의 일 예를 나타낸 도면이다.
특히 도 10은 사용자의 좌우방향 화각을 설명하기 위해, 크롭된 프레임 조각을 포함하는 가상 현실 동영상의 프레임(1000)을 x-z축을 기준으로 2차원 상으로 나타낸 것이다.
사용자(810)의 양안 시야각은 상하방향이 좌우방향보다 더 좁을 수 있다.
따라서, 변환된 가상 현실 동영상의 프레임(1000)에는 상하로 다소 좁은 화각을 갖는 이미지(예컨대, 좌우 180도의 화각을 갖는 이미지, 1020)가 포함되어도 사용자(810)가 시점을 상하로 어느 정도 이동시켰을 때, 변경된 시점에 대응되는 이미지가 표시될 수 있다.
다만, 도 9 또는 도 10의 변환된 가상 현실 동영상의 프레임(900 또는 1000)에는 360도 이미지 전체가 포함되어 있지는 않기 때문에, 사용자(810)의 시점이 일정 이상 이동하는 경우, 새로운 기준 시점에 기초하여 변환된 가상 현실 동영상의 프레임(미도시)을 제공할 필요가 있다.
도 9의 경우, 서버(100)는 사용자(810)가 바라보는 방향(930)이 좌 또는 우로 변경되어 기준 화각 영역(940)을 벗어나는 경우, 변경된 시점(미도시)을 새로운 기준 시점으로 설정할 수 있다.
도 10의 경우, 서버(100)는 사용자(810)가 바라보는 방향(1030)이 상 또는 하로 변경되어 기준 화각 영역(940)을 벗어나는 경우, 변경된 시점(미도시)을 새로운 기준 시점으로 설정할 수 있다.
이에 따라, 본 발명의 일 실시예에 의하면, 사용자가 바라보는 시점이 기준 시점으로부터 일정 이상 멀어지는 경우, 새로운 기준 시점에 기초하여 변환된 가상 현실 동영상을 제공할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 가상 현실 동영상 제공 시스템
100: 서버 110: 통신 모듈
120: 메모리 130: 프로세서
140: 데이터베이스 200: 사용자 단말
300: 통신망

Claims (10)

  1. 서버에 의해 수행되는, 가상 현실 동영상 제공 방법에 있어서,
    (a) 제 1 동영상 프레임을 정육면체의 각 면에 일대일 대응되는 6개의 프레임 조각들로 변환하는 단계;
    (b) 상기 프레임 조각들에 대해 직사각형 형태의 크롭 영역에 기초하여 크롭을 수행하는 단계; 및
    (c) 상기 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하는 단계;
    를 포함하되,
    상기 제 1 동영상 프레임은 360도 이미지에 대응되고,
    상기 직사각형 형태의 크롭 영역은 상기 정육면체의 면들을 평면 상에 펼친 전개도 상에서 설정되는 영역인 것인, 가상 현실 동영상 제공 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는
    기준 시점이 상기 프레임 조각들 중 어느 하나의 중앙점이 되도록 분할하고,
    상기 기준 시점은
    상기 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점인 것인, 가상 현실 동영상 제공 방법.
  3. 제 2 항에 있어서,
    상기 전개도는
    상기 기준 시점이 중앙점이 되는 프레임 조각에 대응되는 기준면에 다른 4면들이 접하도록 상기 정육면체의 면들을 평면 상에 펼친 것인, 가상 현실 동영상 제공 방법.
  4. 제 3 항에 있어서,
    상기 직사각형 형태의 크롭 영역은
    상기 기준면에 대응되는 영역을 기준 영역으로 하여, 상기 기준 영역을 상기 기준면에 접한 4면들 각각에 대한 방향으로 기준 면적 비율만큼 확장되도록 설정되는 영역인 것인, 가상 현실 동영상 제공 방법.
  5. 제 4 항에 있어서,
    상기 기준 면적 비율은
    상기 4면들 각각에 대해 서로 다르게 설정되는 것인, 가상 현실 동영상 제공 방법.
  6. 제 5 항에 있어서,
    상기 기준 면적 비율은
    가로 방향에 대응되는 2면의 기준 면적 비율이 세로 방향에 대응되는 2면의 기준 면적 비율보다 큰 값을 갖도록 설정되는 것인, 가상 현실 동영상 제공 방법.
  7. 제 1 항에 있어서,
    상기 프레임 조각들은
    상기 360도 이미지를 90도의 화각을 갖도록 6개로 분할한 이미지 조각들에 대응되는 것인, 가상 현실 동영상 제공 방법.
  8. 제 1 항에 있어서,
    상기 (c) 단계는
    상기 크롭된 프레임 조각들을 직사각형을 이루도록 배열하여 상기 제 2 동영상 프레임을 제공하는 것인, 가상 현실 동영상 제공 방법.
  9. 가상 현실 동영상 제공 장치에 있어서,
    가상 현실 동영상 제공 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서;를 포함하며,
    상기 프로세서는, 상기 프로그램의 실행에 의해,
    제 1 동영상 프레임을 정육면체의 각 면에 일대일 대응되는 6개의 프레임 조각들로 변환하고,
    상기 프레임 조각들에 대해 직사각형 형태의 크롭 영역에 기초하여 크롭을 수행하고,
    상기 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하되,
    상기 제 1 동영상 프레임은 360도 이미지에 대응되고,
    상기 직사각형 형태의 크롭 영역은 상기 정육면체의 면들을 평면 상에 펼친 전개도 상에서 설정되는 영역인 것인, 가상 현실 동영상 제공 장치.
  10. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 가상 현실 동영상 제공 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020170137410A 2017-10-23 2017-10-23 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법 KR102034825B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170137410A KR102034825B1 (ko) 2017-10-23 2017-10-23 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170137410A KR102034825B1 (ko) 2017-10-23 2017-10-23 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법

Publications (2)

Publication Number Publication Date
KR20190044884A true KR20190044884A (ko) 2019-05-02
KR102034825B1 KR102034825B1 (ko) 2019-10-21

Family

ID=66581612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170137410A KR102034825B1 (ko) 2017-10-23 2017-10-23 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법

Country Status (1)

Country Link
KR (1) KR102034825B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040808A (ko) 2001-11-16 2003-05-23 이재신 360도를 동시 촬상 가능한 촬상 장치
KR20080095057A (ko) * 2007-04-23 2008-10-28 주식회사 지니프릭스 디지털 대화형 방송을 위한 3차원 그래픽 형성 방법, 상기방법을 이용한 3차원 그래픽 형성 시스템
KR20170104255A (ko) * 2016-03-07 2017-09-15 주식회사 엘지유플러스 3차원 디스플레이 영상 처리 장치 및 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040808A (ko) 2001-11-16 2003-05-23 이재신 360도를 동시 촬상 가능한 촬상 장치
KR20080095057A (ko) * 2007-04-23 2008-10-28 주식회사 지니프릭스 디지털 대화형 방송을 위한 3차원 그래픽 형성 방법, 상기방법을 이용한 3차원 그래픽 형성 시스템
KR20170104255A (ko) * 2016-03-07 2017-09-15 주식회사 엘지유플러스 3차원 디스플레이 영상 처리 장치 및 동작 방법

Also Published As

Publication number Publication date
KR102034825B1 (ko) 2019-10-21

Similar Documents

Publication Publication Date Title
US11521347B2 (en) Method, apparatus, medium, and device for generating multi-angle free-respective image data
JP5456020B2 (ja) 情報処理装置および方法
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
US8811717B2 (en) Image generating apparatus and computer program
CN112352264A (zh) 图像处理装置和图像处理方法
WO2017118662A1 (en) Spherical virtual reality camera
US11831853B2 (en) Information processing apparatus, information processing method, and storage medium
US9225968B2 (en) Image producing apparatus, system and method for producing planar and stereoscopic images
CN114449303A (zh) 直播画面生成方法和装置、存储介质及电子装置
JP5252703B2 (ja) 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
KR101883981B1 (ko) 가상 현실 동영상 제공 장치 및 제공 방법
US9942540B2 (en) Method and a device for creating images
CN111034193B (zh) 多源视频稳定
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
US20210304494A1 (en) Image processing apparatus, 3d data generation apparatus, control program, and recording medium
KR20190044884A (ko) 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법
KR102034826B1 (ko) 가상 현실 동영상 제공 장치 및 제공 방법
CN111193919B (zh) 一种3d显示方法、装置、设备及计算机可读介质
CN115174994A (zh) 视频处理方法、装置、计算机设备及存储介质
KR20210055381A (ko) 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램
WO2018186168A1 (ja) 映像生成装置、映像生成方法および映像生成プログラム
CN114500971B (zh) 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质
US20240137480A1 (en) Information processing apparatus, information processing method, and display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant