KR20180107271A - 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법 및 장치 - Google Patents

전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR20180107271A
KR20180107271A KR1020187026553A KR20187026553A KR20180107271A KR 20180107271 A KR20180107271 A KR 20180107271A KR 1020187026553 A KR1020187026553 A KR 1020187026553A KR 20187026553 A KR20187026553 A KR 20187026553A KR 20180107271 A KR20180107271 A KR 20180107271A
Authority
KR
South Korea
Prior art keywords
frame
region
geometric
interest
plane
Prior art date
Application number
KR1020187026553A
Other languages
English (en)
Inventor
임영권
마두카 부다가비
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180107271A publication Critical patent/KR20180107271A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스가 제공된다. 상기 디바이스는 송수신기와, 메모리와, 상기 메모리에 연결되는 프로세서를 포함한다. 상기 송수신기는 전자 디바이스로부터 비디오에 대한 기하학적 프레임의 모양과 평면 프레임 상의 관심 영역을 지시하는 신호를 수신하도록 구성된다. 상기 프로세서는 또한 상기 기하학적 프레임의 모양을 기반으로 상기 평면 영역 상의 관심 영역을 상기 기하학적 프레임 상의 관심 영역에 매핑하도록 구성된다. 상기 프로세서는 또한 상기 관심 영역을 가지는 상기 기하학적 프레임을 생성하도록 구성된다.

Description

전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING OMNI MEDIA TEXTURE MAPPING METADATA}
본 개시는 가상 현실 매핑에 관한 것이다. 특히, 본 개시는 전방향 (omni: omnidirectional) 미디어 텍스처 매핑 메타데이터(media texture mapping metadata)에 대한 방법 및 장치에 관한 것이다.
오늘날 VR 미디어는 단일 직사각 비디오를 다양한 3D 기하학적 구조 타입들로 매핑될 텍스처 데이터(texture data)의 소스로서 사용한다. 카메라 구성 및 스티칭(stitching) 방법들에 상관없이 플레이어상의 VR 컨텐트들의 상호 운용 가능 렌더링(rendering)을 보장하기 위해서는, 표준화된 메타데이터(metadata)가 정의될 필요가 있다.
본 개시는 가상 현실 이미지들의 뷰-기반 톤 매핑(view-dependent tone mapping)을 위한 방법 및 장치를 제공한다.
제1 실시 예에서, 전방향(omnidirectional: omni) 미디어 텍스처 매핑 메타데이터(media texture mapping metadata)를 생성하는 전자 디바이스가 제공된다. 상기 전자 디바이스는 송수신기와, 메모리와, 상기 메모리에 연결되는 프로세서를 포함한다. 상기 프로세서는 비디오에 대한 기하학적 프레임의 모양을 식별하고, 상기 기하학적 프레임 상의 관심 영역을 식별하도록 구성된다. 상기 프로세서는 또한 상기 기하학적 프레임을 평면 프레임 상의 관심 영역으로서 지시되는 기하학적 프레임으로부터의 관심 영역을 가지는 상기 평면 프레임에 매핑하도록 구성된다. 상기 프로세서는 또한 상기 모양 및 관심 영역을 지시하는 신호를 생성하도록 구성된다. 상기 송수신기는 상기 신호를 디바이스로 송신하도록 구성된다.
제2 실시 예에서, 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스가 제공된다. 상기 디바이스는 송수신기와, 메모리와, 상기 메모리에 연결되는 프로세서를 포함한다. 상기 송수신기는 전자 디바이스로부터 비디오에 대한 기하학적 프레임의 모양과 평면 프레임 상의 관심 영역을 지시하는 신호를 수신하도록 구성된다. 상기 프로세서는 상기 기하학적 프레임의 모양을 기반으로 상기 평면 영역 상의 관심 영역을 상기 기하학적 프레임 상의 관심 영역에 매핑하도록 구성된다. 상기 프로세서는 또한 상기 관심 영역을 가지는 상기 기하학적 프레임을 생성하도록 구성된다.
제3 실시 예에서, 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 전자 디바이스에 대한 방법이 제공된다. 상기 방법은 비디오에 대한 기하학적 프레임의 모양을 식별하는 과정을 포함한다. 상기 방법은 또한 상기 기하학적 프레임 상의 관심 영역을 식별하는 과정을 포함한다. 상기 방법은 또한 상기 기하학적 프레임을 평면 프레임 상의 관심 영역으로서 지시되는 기하학적 프레임으로부터의 관심 영역을 가지는 상기 평면 프레임에 매핑하는 과정을 포함한다. 상기 방법은 또한 상기 모양 및 관심 영역을 지시하는 신호를 생성하는 과정 및 상기 신호를 디바이스로 송신하는 과정을 포함한다.
제4 실시 예에서, 디바이스에서 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스에 대한 방법이 제공된다. 상기 방법은 전자 디바이스로부터 비디오에 대한 기하학적 프레임의 모양과 평면 프레임 상의 관심 영역을 지시하는 신호를 수신하는 과정을 포함한다. 상기 방법은 또한 상기 기하학적 프레임의 모양을 기반으로 상기 평면 영역 상의 관심 영역을 상기 기하학적 프레임 상의 관심 영역에 매핑하는 과정을 포함한다. 상기 방법은 또한 상기 관심 영역을 가지는 상기 기하학적 프레임을 생성하는 과정을 포함함을 특징으로 한다.
다른 기술적 특징들은 하기의 도면들, 설명들 및 청구항들로부터 당업자에게 쉽게 명백할 수 있을 것이다.
본 개시 및 본 개시의 이점들에 대한 보다 완전한 이해를 위해서, 첨부 도면들을 참조하여 다음과 같은 설명이 이루어질 것이다:
도 1은 본 개시의 다양한 실시 예 들에 따른 예제 컴퓨팅 시스템을 도시하고 있다;
도 2 및 도 3은 본 개시의 다양한 실시 예들에 따른 컴퓨팅 시스템에서 예제 디바이스들을 도시하고 있다;
도 4는 본 개시의 일 실시 예에 따른 예제 스퀴시된(squished) 구 프레임을 도시하고 있다;
도 5는 본 개시의 일 실시 예에 따른 평면 프레임의 원통 프레임으로의 예제 매핑을 도시하고 있다;
도 6A 및 도 6B는 본 개시의 일 실시 예에 따른 평면 프레임의 정육면체 프레임으로의 예제 매핑을 도시하고 있다;
도 7A 및 도 7B는 본 개시의 일 실시 예에 따른 평면 프레임의 피라미드 프레임으로의 예제 매핑을 도시하고 있다;
도 8은 본 개시의 일 실시 예에 따른 평면 프레임의 영역의 구 프레임의 영역으로의 예제 매핑을 도시하고 있다;
도 9는 본 개시의 일 실시 예에 따른 평면 프레임의 영역의 원통 프레임의 영역으로의 예제 매핑을 도시하고 있다;
도 10은 본 개시의 일 실시 예에 따른 평면 프레임의 영역의 정육면체 프레임의 영역으로의 예제 매핑을 도시하고 있다;
도 11A 및 도 11B는 본 개시의 일 실시 예에 따른 구 프레임의 상기 구 프레임을 둘러싸고 있는 정육면체 프레임으로의 예제 투영(projection)를 도시하고 있다;
도 12A 및 도 12B는 본 개시의 일 실시 예에 따른 구 프레임의 상기 구 프레임에 의해 둘러싸인 정육면체 프레임으로의 예제 투영을 도시하고 있다;
도 13은 본 개시의 일 실시 예에 따른 비디오 프로세서에서 전방향 미디어 텍스처 매핑 메타데이터에 대한 예제 프로세스를 도시하고 있다;
도 14는 본 개시의 일 실시 예에 따른 비디오 플레이어에서 전방향 미디어 텍스처 매핑 메타데이터에 대한 예제 프로세스를 도시하고 있다.
이 특허 문서 전체에 걸쳐 사용된 소정 단어들과 어구들의 정의를 설명하는 것이 바람직하다. "연결(조합)한다"는 말과 그 파생어들은 둘 이상의 구성요소들이 서로 물리적 접촉 상태에 있는지 그렇지 않든지, 그들 간의 어떤 직접적이거나 간접적인 통신을 일컫는다. "전송한다", "수신한다", 그리고 "통신한다" 라는 용어들뿐 아니라 그 파생어들은 직간접적 통신 모두를 포함한다. "포함하다" 및 "구비한다"는 용어들 및 그 파생어들은 제한 없는 포함을 의미한다. "또는"이라는 말은 '및/또는'을 의미하는 포괄적인 말이다. "~와 관련된다" 및 그 파생어들은 포함한다, ~ 안에 포함된다, ~와 상호 연결한다, 내포한다, ~안에 내포된다, ~에/와 연결한다, ~에/와 조합한다, ~와 통신할 수 있다, ~와 협력한다, 개재한다, 나란히 놓는다, ~에 근사하다, ~에 속박된다, 가진다, ~의 특성을 가진다, ~와 관계를 가진다는 등의 의미이다. "제어기"라는 용어는 적어도 한 동작을 제어하는 어떤 장치, 시스템, 또는 그 일부를 의미한다. 그러한 제어기는 하드웨어나 하드웨어와 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 어떤 특정 제어기와 관련된 기능은 국지적이든 원격으로든 중앙 집중되거나 분산될 수 있다. "적어도 하나의~"라는 말은 항목들의 리스트와 함께 사용될 때, 나열된 항목들 중 하나 이상의 서로 다른 조합들이 사용될 수 있고, 그 리스트 내 오직 한 항목만이 필요로 될 수 있다는 것을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 다음과 같은 조합들 중 어느 하나를 포함한다: A, B, C, A 및 B, A 및 C, B 및 C, 및 A와 B와 C.
또한, 이하에 기술되는 다양한 기능들은 하나 이상의 컴퓨터 프로그램들에 의해 구현되거나 지원될 수 있으며, 그 프로그램들 각각은 컴퓨터 판독가능 프로그램 코드로 구성되고 컴퓨터 판독가능 매체에서 실시된다. "애플리케이션" 및 "프로그램"이라는 용어는 하나 이상의 컴퓨터 프로그램, 소프트웨어 성분, 명령어 집합, 절차, 함수, 객체, 클래스, 인스턴스, 관련 데이터, 또는 적합한 컴퓨터 판독가능 프로그램 코드의 구현에 적합한 그들의 일부를 일컫는다. "컴퓨터 판독가능 프로그램 코드"라는 말은 소스 코드, 객체 코드, 및 실행 코드를 포함하는 모든 타입의 컴퓨터 코드를 포함한다. "컴퓨터 판독가능 매체"라는 말은 리드 온니 메모리(read only memory: ROM), 랜덤 억세스 메모리(random access memory: RAM), 하드 디스크 드라이브, 컴팩트 디스크(compact disc: CD), 디지털 비디오 디스크(digital video disc: DVD), 또는 어떤 다른 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 모든 유형의 매체를 포함한다. "비일시적" 컴퓨터 판독가능 매체는 일시적인 전기 또는 기타 신호들을 전송하는 유선, 무선, 광학, 또는 기타 통신 링크들을 배제한다. 비일시적 컴퓨터 판독가능 매체는 데이터가 영구적으로 저장될 수 있는 매체, 및 재기록 가능 광학 디스크나 삭제가능 메모리 장치와 같이 데이터가 저장되고 나중에 덮어씌어질 수 있는 매체를 포함한다.
다른 소정 단어들 및 어구들에 대한 정의가 본 특허 문서 전체에 걸쳐 제공된다. 당업자는 대부분의 경우들은 아니어도 많은 경우, 그러한 정의들이 그렇게 정의된 단어들 및 어구들의 이전뿐 아니라 이후 사용에도 적용된다는 것을 알 수 있을 것이다.
하기에서 설명되는 도 1 내지 도 14와 이 특허 문서에서 본 개시의 기본 원칙들을 설명하기 위해 사용되는 다양한 실시 예들은 오직 설명만을 위한 것이며, 본 개시의 범위를 제한하는 방식으로 이해되어서는 안 된다. 해당 기술 분야의 당업자들은 본 개시의 기본 원칙들이 적합하게 배열된 무선 통신 시스템에서 구현될 수 있다는 것을 이해할 것이다
도 1은 본 개시에 따른 컴퓨팅 시스템(computing system)(100)을 도시하고 있다. 도 1에 도시되어 있는 상기 컴퓨팅 시스템(100)의 실시 예는 오직 도시만을 위한 것이다. 상기 컴퓨팅 시스템(100)의 다른 실시 예들은 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
도 1에 도시되어 있는 바와 같이, 상기 시스템(100)은 상기 시스템(100)에서 다양한 컴포넌트들간의 통신을 가능하게 하는 네트워크(102)를 포함한다. 일 예로, 상기 네트워크(102)는 네트워크 어드레스들간에서 인터넷 프로토콜(internet protocol: IP) 패킷들, 프레임 릴레이 프레임들, 비동기 전송 모드(asynchronous transfer mode: ATM) 셀들, 혹은 다른 정보를 통신할 수 있다. 상기 네트워크(102)는 하나 혹은 그 이상의 근거리 통신 네트워크(local area network: LAN)들, 도시권 통신 네트워크(metropolitan area network: MAN)들, 광대역 통신 네트워크(wide area network: WAN)들, 상기 인터넷과 같은 글로벌 네트워크(global network)의 전체 혹은 일부, 혹은 하나 혹은 그 이상의 위치들에서의 다른 어떤 통신 시스템 혹은 시스템들이라도 포함할 수 있다.
상기 네트워크(102)는 적어도 하나의 서버(104) 및 다양한 클라이언트 디바이스들(106-114)간의 통신들을 가능하게 한다. 전자 디바이스인 각 서버(104)는 하나 혹은 그 이상의 클라이언트 디바이스들에 대한 컴퓨팅 서비스들을 제공할 수 있는 어던 적합한 컴퓨팅 디바이스 혹은 프로세싱 디바이스라도 포함할 수 있다. 각 서버(104)는, 일 예로, 하나 혹은 그 이상의 프로세싱 디바이슬, 명령들 및 데이터를 저장하는 하나 혹은 그 이상의 메모리들, 상기 네트워크(102)를 통한 통신을 가능하게 하는, 하나 혹은 그 이상의 네트워크 인터페이스들을 포함할 수 있다.
각 클라이언트 디바이스(106-114)는 상기 네트워크(102)를 통해 적어도 하나의 서버 혹은 다른 컴퓨팅 디바이스(들)과 상호 작용하는, 적합한 컴퓨팅 혹은 프로세싱 디바이스를 나타낸다. 이 예제에서, 상기 클라이언트 디바이스들(106-114)은 데스크탑 컴퓨터(106), 이동 전화기 혹은 스마트 폰(108), 개인용 휴대 정보 단말기(personal digital assistant: PDA)(110), 랩탑 컴퓨터(112), 및 태블릿 컴퓨터(114)를 포함한다. 하지만, 다른 혹은 추가적인 어떤 클라이언트 디바이스들이라도 상기 컴퓨팅 시스템(100)에서 사용될 수 있다.
이 예제에서, 일부 클라이언트 디바이스들(108-114)은 상기 네트워크(102)와 간접적으로 통신한다. 일 예로, 상기 클라이언트 디바이스들(108-110)은 셀룰라 기지국들 혹은 eNodeB들과 같은, 하나 혹은 그 이상의 기지국들(116)을 통해 통신한다. 또한, 상기 클라이언트 디바이스들(112-114)은 IEEE 802.11 무선 억세스 포인트들과 같은, 하나 혹은 그 이상의 무선 억세스 포인트들(118)을 통해 통신한다. 이들은 오직 도시만을 위한 것이고, 각 클라이언트 디바이스는 상기 네트워크(102)와 직접적으로 통신할 수 있거나, 혹은 적합한 중개 디바이스(들) 혹은 네트워크(들)을 통해 상기 네트워크(102)와 간접적으로 통신할 수 있다는 것에 유의하여야만 할 것이다.
이 예시적인 실시 예에서, 컴퓨팅 시스템(100)은 전방향 미디어 텍스처 매핑 메타데이터(omni media texture mapping metadata)를 생성하는 것을 가능하게 한다. 일 예로, 서버(104)는 기하학적 프레임의 모양과 평면 프레임의 관심 영역을 나타내는 신호를 생성 및 제공하는 비디오 프로세서를 나타낼 수 있으며, 스마트 폰(108)은 관심 영역을 가지는 평면 프레임과 관심 영역을 가지는 해당 기하학적 프레임을 매핑하기 위해 상기 신호를 수신하는 비디오 플레이어를 나타낼 수 있다.
도 1이 컴퓨팅 시스템(100)의 일 예를 도시하고 있다고 할지라도, 다양한 변경들이 도 1에 대해서 이루어질 수 있다. 일 예로, 상기 시스템(100)은 적합한 배열로 어떤 개수의 컴포넌트라도 포함할 수 있다. 일반적으로, 컴퓨팅 혹은 통신 시스템들은 매우 다양한 구성들에 참여하게 되고, 도 1은 본 개시의 범위를 특정한 구성으로 한정시키지는 않는다. 도 1이 본 문서에 개시되어 있는 다양한 특징들이 사용될 수 있는 하나의 운영 환경을 도시하고 있을 지라도, 이런 특징들은 다른 적합한 시스템에서도 사용될 수 있다.
도 2 및 도 3은 본 개시에 따른 컴퓨팅 시스템에서 예제 디바이스들을 도시하고 있다. 특히, 도 2는 예제 서버(200)을 도시하고 있고, 도 3은 예제 클라이언트 디바이스(300)를 도시하고 있다. 상기 서버(200)는 도 1에서의 상기 서버(104)를 나타낼 수 있고, 상기 클라이언트 디바이스(300)는 도 1에서의 클라이언트 디바이스들(106-114)들 중 하나 혹은 그 이상을 나타낼 수 있다.
도 2에 도시되어 있는 바와 같이, 상기 서버(200)는 하나 혹은 그 이상의 프로세서들(210), 적어도 하나의 저장 디바이스(215), 적어도 하나의 통신 유닛(220), 및 적어도 하나의 입/출력(input/output: I/O) 유닛(225)간의 통신을 지원하는 버스 시스템(205)을 포함한다. 상기 제어기(210)는 하나 혹은 그 이상의 프로세서들에 의해 구현될 수 있다. 상기 제어기(210)는 도 2에서 상기 하나 혹은 그 이상의 프로세서들로 대체될 수 있다.
상기 프로세서(들)는 전방향 미디어 텍스처 매핑 메타데이터를 생성하기 위한 명령들과 같은 메모리(230)로 로딩될 수 있는 명령들을 실행한다. 상기 프로세서(들)는 적합한 수(들) 및 타입(들)의 프로세서들 혹은 다른 디바이스들을 적합한 배열에 따라 포함할 수 있다. 프로세서(들)의 예제 타입들은 마이크로 프로세서들, 마이크로 제어기들, 디지털 신호 프로세서들, 필드 프로그램 가능 게이트 어레이(field programmable gate array)들, 주문형 반도체(application specific integrated circuit), 및 discreet circuitry를 포함한다. 상기 프로세서(들)는 인증된 웨어러블 디바이스로 전자 디바이스를 언록(unlock)하기 위한 동작들을 수행하도록 구성된다.
상기 메모리(230) 및 영구 저장 장치(235)는 저장 디바이스들(215)의 예들이며, (일시 기반으로 혹은 영구 기반의 데이터, 프로그램 코드, 및/혹은 다른 적합한 정보와 같은) 정보의 저장을 가능하게 하고, 정보의 검색을 가능하게 하는 구조(들)을 나타낸다. 상기 메모리(230)는 랜덤 억세스 메모리 혹은 다른 적합한 휘발성 혹은 비휘발성 저장 디바이스(들)을 나타낼 수 있다. 상기 영구 저장 장치(235)는 레디 온니 메모리, 하드 드라이브, 플래시 메모리, 혹은 광 디스크와 같은, 데이터의 비교적 긴 저장을 지원하는, 하나 혹은 그 이상의 컴포넌트들 혹은 디바이스들을 포함할 수 있다.
상기 통신 유닛(220)은 다른 시스템들 혹은 디바이스들과의 통신들을 지원한다. 일 예로, 상기 통신 유닛(220)은 상기 네트워크(102)를 통한 통신들을 가능하게 하는 네트워크 인터페이스 카드 혹은 무선 송수신기를 포함할 수 있다. 상기 통신 유닛(220)은 적합한 물리 혹은 무선 통신 링크(들)를 통해 통신들을 지원할 수 있다.
상기 I/O 유닛(225)은 데이터의 입력 및 출력을 고려한다. 일 예로, 상기 I/O 유닛(225)은 키보드, 마우스, 키패드, 터치 스크린, 혹은 다른 적합한 입력 디바이스들 통해 사용자 입력에 대한 연결을 제공할 수 있다. 상기 I/O 유닛(225)은 또한 디스플레이, 프린터, 혹은 다른 적합한 출력 디바이스로 출력을 송신할 수 있다.
이 예시적인 실시 예에서, 서버(200)는 하기에서 보다 구체적으로 논의될 것인, 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 것을 가능하게 하는 장치를 구현할 수 있다. 도 2는 도 1의 서버(104)를 나타낼 경우에 대해서 설명되었지만, 동일한 혹은 유사한 구조가 상기 클라이언트 디바이스들(106-114) 중 하나 혹은 그 이상에서 사용될 수 있다는 것에 유의하여야만 할 것이다. 일 예로, 랩탑 혹은 데스크탑 컴퓨터는 도 2에 도시되어 있는 구조와 동일한 혹은 유사한 구조를 가질 수 있다.
도 3에 도시되어 있는 바와 같이, 상기 클라이언트 디바이스(300)는 안테나(305)와, 무선 주파수(radio frequency: RF) 송수신기(310)와, 송신(transmit: TX) 프로세싱 회로(315), 마이크로폰(microphone)(320) 및 수신(receive: RX) 프로세싱 회로(325)를 포함한다. 상기 클라이언트 디바이스(300)는 또한 스피커(330), 하나 혹은 그 이상의 프로세서들(340), 입/출력(input/output: I/O) 인터페이스(interface: IF)(345), 터치 스크린(350), 디스플레이(display)(355) 및 메모리(360)를 포함한다. 상기 메모리(360)는 기본 운영 시스템(operating system: OS) 프로그램(361) 및 하나 혹은 그 이상의 어플리케이션(application)들(362)을 포함한다.
상기 RF 송수신기(310)는 상기 안테나(305)로부터 시스템에 포함되어 있는 다른 구성 요소에 의해 송신된 입력 RF 신호를 수신한다. 상기 RF 송수신기(310)는 상기 입력 RF 신호를 다운 컨버팅하여 중간 주파수(intermediate frequency: IF) 혹은 기저대역 신호로 생성한다. 상기 IF 혹은 기저 대역 신호는 상기 RX 프로세싱 회로(325)로 송신되고, 상기 RX 프로세싱 회로(325)는 상기 기저대역 혹은 IF 신호를 필터링, 디코딩, 및/혹은 디지털화하여 프로세싱된 기저대역 신호를 생성한다. 상기 RX 프로세싱 회로(325)는 추가적인 프로세싱을 위해 상기 프로세싱된 기저대역 신호를 상기 스피커(330)(음성 데이터를 위해서와 같이) 혹은 상기 프로세서(들)(340)(웹 브라우징 데이터(web browsing data)를 위해서와 같이)로 송신한다.
상기 TX 프로세싱 회로(315)는 상기 마이크로폰(320)으로부터의 아날로그 혹은 디지털 음성 데이터 혹은 상기 프로세서(들)(340)로부터의 다른 출력 기저 대역 데이터(웹 데이터, 이메일, 혹은 양방향 비디오 게임 데이터(interactive video game data)와 같은)를 수신한다. 상기 TX 프로세싱 회로(315)는 상기 출력 기저 대역 데이터를 인코딩, 멀티플렉싱 및/혹은 디지털화하여 프로세싱된 기저대역 혹은 IF 신호로 생성한다. 상기 RF 송수신기(310)는 상기 TX 프로세싱 회로(215)로부터 상기 출력 프로세싱된 기저대역 혹은 IF 신호를 수신하고, 상기 기저대역 혹은 IF 신호를 상기 안테나(305)를 통해 송신되는 RF 신호로 업 컨버팅한다.
상기 프로세서(들)(340)는 하나 혹은 그 이상의 프로세서들 혹은 다른 프로세싱 디바이스들을 포함할 수 있으며, 상기 클라이언트 디바이스(300)의 전반적인 동작을 제어하기 위해 상기 메모리(360)에 저장되어 있는 상기 기본 OS 프로그램(361)을 실행할 수 있다. 일 예로, 상기 프로세서(들)(340)는 공지의 원칙들에 따라 상기 RF 송수신기(310), 상기 RX 프로세싱 회로(325) 및 상기 TX 프로세싱 회로(315)에 의한 순방향 채널 신호들의 수신 및 역방향 채널 신호들의 송신을 제어할 수 있다. 일부 실시 예들에서, 상기 프로세서(들)(340)는 적어도 하나의 마이크로 프로세서 혹은 마이크로 제어기를 포함한다.
상기 프로세서(들)(340)는 상기 메모리(360)에 내재되어 있는 다른 프로세스들 및 프로그램들을 실행할 수 있다. 상기 프로세서(들)(340)는 데이터를 실행중인 프로세스에 의해 요구될 경우 상기 메모리(360) 내로 혹은 상기 메모리(360)로부터 이동시킬 수 있다. 일부 실시 예들에서, 상기 프로세서(들)(340)는 상기 OS 프로그램(261)을 기반으로 혹은 외부 디바이스들, 혹은 운영자로부터 수신되는 신호들에 응답하여 상기 어플리케이션들(362)을 실행하도록 구성된다. 또한, 상기 프로세서(들)(340)는 상기 I/O 인터페이스(345)에 연결되고, 상기 I/O 인터페이스(345)는 상기 클라이언트 디바이스(300)에게 랩탑 컴퓨터들 및 핸드헬드(handheld) 컴퓨터들과 같은 다른 디바이스들에 대한 연결 능력을 제공한다. 상기 I/O 인터페이스(345)는 이런 악세사리들과 상기 프로세서(들)(340) 간의 통신 경로이다.
또한, 상기 프로세서(들)(340)는 상기 터치스크린(350) 및 상기 디스플레이 유닛(355)에 연결된다. 상기 클라이언트 디바이스(300)의 운영자는 상기 터치스크린(350)을 사용하여 상기 클라이언트 디바이스(300)에 데이터를 입력할 수 있다. 상기 디스플레이(355)는 웹 사이트(web site)들에서와 같은 텍스트 및/혹은 적어도 제한된 그래픽들을 렌더링(rendering)할 수 있는 액정 크리스탈 디스플레이 혹은 다른 디스플레이가 될 수 있다.
상기 메모리(360)는 상기 프로세서(들)(340)에 연결된다. 상기 메모리(360)의 일부는 랜덤 억세스 메모리(random access memory: RAM)를 포함할 수 있으며, 상기 메모리(360)의 나머지는 부분은 플래시 메모리 혹은 다른 리드 온니 메모리(read-only memory: ROM)를 포함할 수 있다.
하기에서 보다 구체적으로 논의될, 본 예시적인 실시 예에서, 클라이언트 디바이스(300)는 기하학적 프레임의 모양과 평면 프레임에서의 관심 영역을 지시하는 신호를 수신한다. 도 2 및 도 3이 컴퓨팅 시스템에서 디바이스들의 예들을 도시하고 있다고 할지라도, 다양한 변경들이 도 2 및 도 3에 대해서 이루어질 수 있다. 일 예로, 도 2 및 도 3에서의 다양한 컴포넌트들은 조합되거나, 추가적으로 서브 분할 되거나, 혹은 생략될 수 있으며, 다른 컴포넌트들이 특별한 필요들에 따라서 추가될 수 있다. 또한, 특별한 예로서, 상기 프로세서(들)(340)는 하나 혹은 그 이상의 중앙 프로세싱 유닛(central processing unit: CPU)들 및 하나 혹은 그 이상의 그래픽 프로세싱 유닛(graphics processing unit: GPU)들과 같은 다수의 프로세서들로 분할될 수 있다. 또한, 도 3이 이동 전화기 혹은 스마트 폰으로 구성된 클라이언트 디바이스(300)를 도시하고 있다고 할지라도, 클라이언트 디바이스들은 다른 타입들의 이동 혹은 고정 디바이스들로서 동작하도록 구성될 수 있다. 또한, 컴퓨팅 및 통신 네트워크들에서와 같이, 클라이언트 디바이스들 및 서버들은 매우 다양한 구성들에 참여할 수 있고, 도 2 및 도 3은 본 개시를 어떤 특정한 클라이언트 디바이스 혹은 서버로 한정시키지는 않는다.
도 4는 본 개시의 일 실시 예에 따른 예제 노말 구 프레임(400) 및 스퀴시된(squished) 구 프레임(405)을 도시하고 있다. 도 4에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 스퀴시된 구 프레임(400)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 스퀴시된 구 프레임(400)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
상기 구 프레임(400)은 중심 포인트(410)로 정의된다. 상기 중심 포인트(410)는 상기 구 프레임(400)의 관점을 나타낸다. 상기 구 프레임(400)을 볼 때, 특정 영역들은 다른 영역들보다 보다 자세하다. 등방형 투영(equirectangular projection)을 최적화하기 위해, 보다 덜 자세한 영역들은 상기 구 프레임(400)에서 "스퀴시된(squished)" 등방형 프레임으로 압축된다.
구 프레임(400)의 상단 영역(415) 및 하단 영역(420)을 포함하는 일부는 스퀴시되고, 이에 반해 구의 나머지 부분은 변경되지 않는다. 도면에 도시되어 있는 바와 같이, 상기 구 프레임(400)에서의 상단 영역(415)의 상단 높이(425)는 squish_start_pitch_top에 의해 지시되는 적도(equator)(445)로부터의 상단 각도(435)에서 시작된다. 상기 상단 영역(415)은 squish_ratio_top에 의해 주어진 비율로 상기 상단 스퀴시된 높이(460)까지 상기 스퀴시된 상단 영역(450)으로 스퀴시되고, 상기 스퀴시(squish) 비율의 값은 255로 노말라이즈된다(normalized).
상기 구 프레임(400)에서 하단 영역(420)의 하단 높이(430)는 squish_start_pitch_bottom에 의해 지시되는 적도(445)로부터의 하단 각도(440)에서 시작된다. 상기 하단 영역(420)은 squish_ratio_bottom에 의해 주어진 비율로 상기 하단 스퀴시된 높이(465)까지 상기 스퀴시된 하단 영역(455)으로 스퀴시되고, 상기 스퀴시 비율의 값은 255로 노말라이즈된다.
도 4가 전방향 미디어 텍스처 매핑 메타데이터에 대한 스퀴시된 구 프레임(400)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 4에 대해 이루어질 수 있다. 일 예로, 도 4의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 5는 본 개시의 일 실시 예에 따른 평면 프레임(505)의 원통 프레임(510)으로의 예제 매핑(500)을 도시하고 있다. 도 5에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 예제 매핑(500)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 예제 매핑(500)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
원통 프레임(510)에 매핑될 평면 프레임(505)은 상기 평면 프레임(505)의 어느 한 측면 상의 직사각 영역(515)과 상기 평면 프레임(505)의 다른 측면 상의 상단 원 영역(520) 및 하단 원 영역(525)을 포함한다. 상기 직사각 영역(515)은 직사각 폭(530)과 직사각 높이(535)에 의해 정의된다. 상기 상단 원 영역(520) 및 하단 원 영역(525)은 상기 반경 필드의 값인 반경(540)에 의해 정의된다. 상기 평면 프레임(505)은 또한 상기 원통 프레임(510)의 매핑을 위해서 사용되지는 않으나, 다른 목적들을 위해서는 사용될 수 있는 추가 공간(545)을 포함한다.
상기 평면 프레임(505)의 직사각 영역(515)은 상기 폭의 단면이 원을 생성하는 방식으로 상기 원통 프레임(510)의 중심 부분에 매핑된다. 상기 평면 프레임(505)의 상단 원 영역(520)은 상기 원통 프레임(510)의 상단에 매핑되고, 상기 평면 프레임(505)의 하단 원 영역(525)은 상기 원통 프레임(510)의 하단에 매핑된다.
도 5가 예제 매핑(500)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 5에 대해 이루어질 수 있다. 일 예로, 도 5의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 6A 및 도 6B는 본 개시의 일 실시 예에 따른 평면 프레임(600)의 정육면체 프레임(605)으로의 예제 매핑을 도시하고 있다. 도 6A 및 도 6B에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 평면 프레임(600) 및 정육면체 프레임(605)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 평면 프레임(600) 및 정육면체 프레임(605)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
정육면체 프레임(605)에 매핑될 평면 프레임(600)은 전방 영역(610)과, 상단 영역(615)과, 하단 영역(620)과, 좌측 영역(625)과, 우측 영역(630)과, 후방 영역(635) 및 추가 영역(640)을 포함하는 6개의 직사각 영역들을 포함한다. 상기 평면 프레임(600)을 정육면체 프레임(605)에 매핑할 때, 상기 전방 영역(610)은 상기 전방 영역(645)에 매핑되고, 상기 상단 영역(615)은 상기 상단 영역(650)에 매핑되고, 상기 하단 영역(620)은 상기 하단 영역(655)에 매핑되고, 상기 좌측 영역(625)은 상기 좌측 영역(660)에 매핑되고, 상기 우측 영역(630)은 상기 우측 영역(655)에 매핑되고, 상기 후방 영역(635)은 상기 후방 영역(670)에 매핑된다. 상기 추가 영역(640)은 상기 정육면체 프레임(605)의 매핑을 위해서는 사용되지 않지만, 다른 목적들을 위해서는 사용될 수 있다. 상기 정육면체 프레임(605)의 각 영역의 위치들 및 사이즈는 OmniMediaTextureMappingMetadataSampleBox에서 지시된다. 일 예로, 상기 OmniMediaTextureMappingMetadataSampleBox는 다음과 같이 작성될 수 있다:
Figure pct00001
상기 파라미터들 "center_x" 및 "center_y"는 각각 상기 기하학적 프레임의 중심에서 렌더링될 픽셀의 수평 및 수직 좌표들을 지시한다. 상기 참조되는 트랙에서의 평면 프레임의 이 위치에서의 픽셀 데이터는 상기 기하학적 프레임의 타입에 따라 하기의 표 1에서 설명되는 포인트에서 렌더링된다. 상기 기하학적 프레임은 정육면체, 원통, 피라미드 등과 같은 특정 기하학적 구조에 상응하는 3차원 프레임이다.
Figure pct00002
상기 파라미터들 "number_regions"은 상기 참조되는 트랙에서 상기 평면 프레임을 분할하는 영역들의 개수를 지시한다. 상기 참조되는 트랙에서 상기 평면 프레임은 이 필드의 값에 의해 주어지는 바와 같이 다수의 비-오버랩 영역들로 분할되고, 각 영역은 상기 기하학적 프레임의 특정 영역들에 별도로 매핑된다.
상기 파라미터들 "region_top_left_x" 및 "region_top_left_y"는 각각 직사각 프레임에서 상기 참조되는 트랙 상의 상기 평면 프레임의 영역의 상단-왼쪽 코더의 수평 및 수직 좌표를 지시한다.
상기 파라미터들 "region_width" 및 "region_height"는 각각 직사각 프레임에서 상기 참조되는 트랙 상의 상기 평면 프레임의 영역의 폭 및 높이를 지시한다.
상기 파라미터들 "pitch_start" 및 "pitch_end"는 각각 상기 기하학적 프레임의 특정 영역의 시작 및 종료 피치 각도들을 지시한다.
상기 파라미터들 "yaw_start" 및 "yaw_end"는 각각 상기 기하학적 프레임의 특정 영역의 시작 및 종료 요 각도들을 지시한다.
상기 파라미터들 "start_height" 및 "end_height"는 각각 원통 프레임에서 기하학적 구조의 특정 영역의 노말라이즈된 시작 및 종료 높이를 지시한다.
상기 파라미터 "surface_id"는 정육면체 프레임 혹은 피라미드 프레임의 영역의 식별자를 지시한다.
하기 표 2의 파라미터 "virtual_sphere_type"는 상기 평면 프레임을 렌더링하는 3D 기하학 구조 및 상기 3D 영역들을 나타내는 구 프레임간의 관계를 지시한다. 2D 비디오를 렌더링하는 3D 기하학 구조는 삼각 면들의 결합의 리스트로서 정의된다. 3D 표면 상에서 3개의 꼭짓점들에 의해 정의되는 3D 표면에서의 각 삼각 면은 3개의 2D 텍스처 좌표들에 의해 정의되는 2D 비디오 상에서 1개의 해당 삼각형을 가진다.
Figure pct00003
도 6A 및 도 6B가 평면 프레임(600) 및 정육면체 프레임(605)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 6A 및 도 6B에 대해 이루어질 수 있다. 일 예로, 도 6A 및 도 6B의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 7A 및 도 7B는 본 개시의 일 실시 예에 따른 평면 프레임(700)의 피라미드 프레임(705)으로의 예제 매핑을 도시하고 있다. 도 7A 및 도 7B에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 평면 프레임(700) 및 피라미드 프레임(705)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 평면 프레임(700) 및 피라미드 프레임(705)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
피라미드 프레임(705)으로 매핑될 평면 프레임(700)은 상기 전방 영역(735)의 모양을 기반으로 하는 다수의 직사각 영역들을 포함한다. 일 예로, 팔각 전방 영역(735)은 전방 영역(735)와, 상기 전방 영역의 각 측면으로부터의 8개의 삼각 영역들인 총 9개의 영역들을 포함한다. 도시되어 있는 실시 예에서, 상기 전방 영역(735)은 직사각형이고, 상기 피라미드 프레임(705)은 전방 영역(735)과, 상단 영역(740)과, 하단 영역(745)과, 좌측 영역(750) 및 우측 영역(755)인 총 5개의 영역들을 가진다. 상기 피라미드 프레임(705)에 상응하는 상기 평면 프레임(700)은 전방 영역(710)과, 상단 영역(715)과, 하단 영역(720)과, 좌측 영역(725) 및 우측 영역(730)을 가진다. 상기 평면 프레임(700)을 피라미드 프레임(705)에 매핑할 때, 상기 전방 영역(710)은 상기 전방 영역(735)에 매핑되고, 상기 상단 영역(715)은 상기 상단 영역(740)에 매핑되고, 하단 영역(720)은 상기 하단 영역(745)에 매핑되고, 상기 좌측 영역(725)은 상기 좌측 영역(750)에 매핑되고, 상기 우측 영역(730)은 상기 우측 영역(755)에 매핑된다. 상기 피라미드 프레임(705)의 영역들에 매핑될 상기 평면 프레임(700)의 영역들의 위치 및 사이즈는 상기 OmniMediaTextureMappingMetadataSample box에 의해 지시되고, 하기 표 3에서 정의된다.
Figure pct00004
여기서, wv는 상기 평면 프레임(700)의 폭이고, w1은 상기 전방 영역(715)의 폭이고, hv는 상기 평면 프레임(700)의 높이이고, h1은 상기 전방 영역(715)의 높이이다.
도 7A 및 도 7B가 평면 프레임(700) 및 피라미드 프레임(705)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 7A 및 도 7B에 대해 이루어질 수 있다. 일 예로, 도 7A 및 도 7B의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 평면 프레임(805)의 영역(815)의 구 프레임(810)의 영역(820)으로의 예제 매핑(800)을 도시하고 있다. 도 8에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 매핑(800)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 매핑(800)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
평면 프레임(805)의 영역(815)의 구 프레임(810)의 영역(820)으로의 매핑(800)을 위해 상기 위치 및 차원들이 필요로 된다. 상기 영역(815)은 상기 평면 프레임(805)의 다른 부분(825) 보다 더 많은 혹은 더 적은 정의를 필요로 할 수 있는 상기 평면 프레임(805)의 일부에 상응한다. 상기 평면 프레임(805)은 다수의 영역들(815)을 포함할 수 있으며, 각 영역(815)은 다른 영역들(815) 보다 더 많은 혹은 더 적은 정의를 필요로 할 수 있다.
상기 구 프레임(810)이 평평하지 않기 때문에, 상기 평면 프레임(805)의 영역(815)의 부분들은 스퀴시되거나 혹은 스트레치(stretch)된다. 상기 구 프레임(810) 혹은 스퀴시된 구에 대해서, 상기 영역(815)은 폭(835)과 높이(840)를 가지는 위치 포인트(830)에서 식별된다. (top_left_x, top_left_y)로부터 시작되고 (top_left_x+width, top_left_y+height)에서 종료되는 상기 평면 프레임(805)의 일부에 의해 정의되는 영역(815)은 상기 꼭지점들의 요 및 피치 값들이 각각 변수들 "yaw_start" (845)와 "yaw_end" (850) 사이 및 변수들 "pitch_start" (855) 및 "pitch_end" (860) 사이에 존재하는 구 프레임(810) 상의 영역(820)에 매핑된다. 상기 "yaw_start" (845)와 "yaw_end" (850)는 상기 구 프레임(810) 상의 영역(820)의 측면들을 식별하고, 상기 "pitch_start" (855) 및 "pitch_end" (860)는 상기 구 프레임(810) 상의 영역(820)의 상단 및 하단을 식별한다.
도 8이 매핑(800)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 8에 대해 이루어질 수 있다. 일 예로, 도 8의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 9는 본 개시의 일 실시 예에 따른 평면 프레임(905)의 영역(915)의 원통 프레임(910)의 영역(920)으로의 예제 매핑(900)을 도시하고 있다. 도 9에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 매핑(900)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 매핑(900)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
평면 프레임(905)의 영역(915)의 원통 프레임(910)의 영역(920)으로의 매핑(900)을 위해 상기 위치 및 차원들이 필요로 된다. 상기 영역(915)은 상기 평면 프레임(905)의 다른 부분(925) 보다 더 많은 혹은 더 적은 정의를 필요로 할 수 있는 상기 평면 프레임(905)의 일부에 상응한다. 상기 평면 프레임(905)은 다수의 영역들(915)을 포함할 수 있으며, 각 영역(915)은 다른 영역들(915) 보다 더 많은 혹은 더 적은 정의를 필요로 할 수 있다.
상기 원통 프레임(910)이 평평하지 않기 때문에, 상기 평면 프레임(905)의 영역(915)의 부분들은 스퀴시되거나 혹은 스트레치된다. 상기 원통 프레임(910)에 대해서, 상기 영역(915)은 폭(935)과 높이(940)를 가지는 위치 포인트(930)에서 식별된다. (top_left_x, top_left_y)로부터 시작되고 (top_left_x+width, top_left_y+height)에서 종료되는 상기 평면 프레임(905)의 일부에 의해 정의되는 영역(915)은 상기 꼭지점들의 요 및 높이 값들이 각각 변수들 "yaw_start" (945)와 "yaw_end" (950) 사이 및 변수들 "height_start" (955) 및 "height_end" (960) 사이에 존재하는 원통 프레임(910) 상의 영역(920)에 매핑된다. 상기 "yaw_start" (945)와 "yaw_end" (950)는 상기 원통 프레임(910) 상의 영역(920)의 측면들을 식별하고, 상기 "height_start" (955) 및 "height_end" (960)는 상기 원통 프레임(910) 상의 영역(920)의 상단 및 하단을 식별한다.
도 9가 매핑(900)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 9에 대해 이루어질 수 있다. 일 예로, 도 9의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 10은 본 개시의 일 실시 예에 따른 평면 프레임(1005)의 영역(1015)의 정육면체 프레임(1010)의 영역(1020)으로의 예제 매핑(1000)을 도시하고 있다. 도 10에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 매핑(1000)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 매핑(1000)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.
평면 프레임(1005)의 영역(1015)의 정육면체 프레임(1010)의 영역(1020)으로의 매핑(1000)을 위해 상기 위치 및 차원들이 필요로 된다. 상기 영역(1015)은 상기 평면 프레임(1005)의 다른 부분(1025) 보다 더 많은 혹은 더 적은 정의를 필요로 할 수 있는 상기 평면 프레임(1005)의 일부에 상응한다. 상기 평면 프레임(1005)은 다수의 영역들(1015)을 포함할 수 있으며, 각 영역(1015)은 다른 영역들(1015) 보다 더 많은 혹은 더 적은 정의를 필요로 할 수 있다.
상기 정육면체 프레임(1010)에 대해서, 상기 영역(1015)은 폭(1035)과 높이(1040)를 가지는 위치 포인트(1030)에서 식별된다. (top_left_x, top_left_y)로부터 시작되고 (top_left_x+width, top_left_y+height)에서 종료되는 상기 평면 프레임(1005)의 일부에 의해 정의되는 영역(1015)은 위치 포인트(1045)가 상기 변수들 (area_top_left_x, area_top_left_y)에 의해 정의되고, (area_top_left_x+area_width, area_top_left_y+area_height)에서 종료되는 정육면체 프레임(1010) 상의 영역(1020)에 매핑된다. 상기 변수 "width" (1050)는 상기 정육면체 프레임(1010) 상의 영역(1020)의 측면들을 식별하고, 상기 변수 "height" (1055)는 상기 정육면체 프레임(1010) 상의 영역(1020)의 상단 및 하단을 식별한다. 피라미드 프레임에 대해서는, 영역 매핑이 전방 표면에 적용된다.
도 10이 매핑(1000)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 10에 대해 이루어질 수 있다. 일 예로, 도 10의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 11A 및 도 11B는 본 개시의 일 실시 예에 따른 구 프레임의 상기 구 프레임을 둘러싸고 있는 정육면체 프레임으로의 예제 투영(1100)을 도시하고 있다. 도 11A 및 도 11B에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 투영(1100)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 투영(1100)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다. 도 11B는 도 11A의 투영(1100)의 단면(1105)이다. 일 예로, 상기 정육면체 프레임(1115)은 피라미드 형과 같은 어떤 기하학 형태라도 취할 수 있다.
상기 구 프레임(1110)은 상기 구 프레임 (1110)이 상기 정육면체 프레임 (1115)의 적어도 하나의 표면과 접촉할 수 있는 가장 큰 사이즈의 결정을 기반으로 상기 정육면체 프레임 (1115) 내부에 위치된다. 상기 구 프레임(1110)의 중심에 시청자가 상기 비디오를 어떻게 받아들이는지를 의미하는 관점(viewpoint)(1120)이 존재한다. 구 프레임(1110)의 영역(1130)을 상기 정육면체 프레임(1115) 상의 영역(1130)으로 결정하기 위해서, 상기 픽셀들이 상기 관점(1120)을 기반으로 매핑된다. 상기 정육면체 프레임(1115) 상의 픽셀의 위치는 상기 관점으로부터 상기 정육면체 프레임(1115)으로의 가상 직선을 기반으로 결정된다. 상기 정육면체 프레임(1115) 상의 포인트는 상기 직선이 상기 구 프레임(1110)을 가로지르는 포인트에 상응한다.
상기 렌더링 기하학적 구조가 파라미터들의 리스트로 정의되는 경우에 대해서, 상기 (top_left_x, top_left_y)에서 시작되고 (top_left_x+width, top_left_y+height)에서 끝나는 영역은 상기 가상 구의 꼭지점들의 요 및 피치 값이 각각 yaw_start와 yaw_end 사이 및 pitch_start와 pitch_end 사이에 존재하는 구 프레임의 영역에 상응하는 렌더링 기하학적 구조 상의 영역에 매핑된다. 상기 구 프레임은 그 볼륨(volume)이 상기 virtual_sphere_type의 값이 0x02와 동일한 상기 렌더링 기하학적 구조보다 작은 구로 정의된다. 이 경우, 상기 구 프레임은 상기 렌더링 기하학적 구조에 전체적으로 포함되어 있는 가장 큰 구이다. 상기 virtual_sphere_type의 값이 0x02와 동일할 때, 상기 렌더링 기하학적 구조 상의 영역은 상기 구의 중심으로부터의 4개의 선들이 각각 (yaw_start, pitch_start), (yaw_start,pitch_end), (yaw_end, pitch_start), (yaw_end,pitch_end)와 같은 가상 구 상의 4개의 포인트들 중 하나를 패스하고, 상기 선이 교차할 때까지 확장되는 영역으로 정의되며, 상기 렌더링 기하학적 구조는 교차중이다.
도 11A 및 도 11B가 투영(1100)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 11A 및 도 11B에 대해 이루어질 수 있다. 일 예로, 도 11A 및 도 11B의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
도 12A 및 도 12B는 본 개시의 일 실시 예에 따른 구 프레임(1210)의 상기 구 프레임에 의해 둘러싸인 정육면체 프레임(1215)으로의 예제 투영(1200)를 도시하고 있다. 도 12A 및 도 12B에 도시되어 있는 전방향 미디어 텍스처 매핑 메타데이터에 대한 상기 투영(1200)의 실시 예는 오직 예시만을 위한 것이다. 상기 전방향 미디어 텍스처 매핑 메타데이터에 대한 투영(1200)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다. 도 12B는 도 12A의 투영(1200)의 단면(1205)이다. 일 예로, 상기 정육면체 프레임(1215)은 피라미드 형과 같은 어떤 기하학 형태라도 취할 수 있다.
상기 구 프레임(1210)은 상기 구 프레임이 상기 꼭지점들에서 접촉할 방식으로 상기 정육면체 프레임(1215) 상에서 위치되고 있는 가장 큰 엣지(edge)의 결정을 기반으로 상기 정육면체 프레임 (1215) 외부에 위치된다. 상기 구 프레임(1210)의 중심에 시청자가 상기 비디오를 어떻게 받아들이는지를 의미하는 관점(1220)이 존재한다. 구 프레임(1210)의 영역(1230)을 상기 정육면체 프레임(1215) 상의 영역(1230)으로 결정하기 위해서, 상기 픽셀들이 상기 관점(1220)을 기반으로 매핑된다. 상기 정육면체 프레임(1215) 상의 픽셀의 위치는 상기 관점으로부터 상기 정육면체 프레임(1215)으로의 가상 직선을 기반으로 결정된다. 상기 정육면체 프레임(1215) 상의 포인트는 상기 직선이 상기 정육면체 프레임(1215)을 가로지르는 포인트에 상응한다.
도 12A 및 도 12 B가 투영(1200)의 일 예를 도시하고 있을 지라도, 다양한 변경들이 도 12A 및 도 12 B에 대해 이루어질 수 있다. 일 예로, 도 12A 및 도 12 B의 다양한 컴포넌트들이 결합될 수 있거나, 또한 추가적으로 세분화될 수 있거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요에 따라 추가될 수 있다.
상기 렌더링 기하학적 구조가 파라미터들의 리스트로 정의되는 경우에 대해서, (top_left_x, top_left_y)로부터 시작되고 (top_left_x+width, top_left_y+height)에서 종료되는 영역은 상기 가상 구의 꼭지점들의 요 및 피치 값이 각각 yaw_start와 yaw_end 사이 및 pitch_start와 pitch_end 사이에 존재하는 상기 구 프레임의 영역에 상응하는 렌더링 기하학적 구조상의 영역에 매핑된다. 상기 구 프레임은 상기 virtual_sphere_type의 값이 0x01와 동일할 때 그 볼륨이 상기 기하학적 구조의 볼륨보다 큰 구로서 정의된다. 이 경우, 상기 렌더링 기하학적 구조의 중심으로부터 가장 큰 값의 거리를 가지는 상기 렌더링 기하학적 구조의 모든 꼭짓점들은 상기 구 프레임 상의 포인트를 가로지른다. 상기 virtual_sphere_type의 값이 0x01와 동일할 때, 상기 렌더링 기하학적 구조 상의 영역은 상기 구의 중심으로부터 각각 (yaw_start, pitch_start), (yaw_start,pitch_end), (yaw_end, pitch_start), and(yaw_end,pitch_end)와 같은 상기 가상 구 상의 4개의 포인트들 중 어느 하나로의 4개의 선들이 교차중인 영역으로 정의된다.
도 13은 본 개시의 일 실시 예에 따른 비디오 프로세서에서 전방향 미디어 텍스처 매핑 메타데이터에 대한 예제 프로세스를 도시하고 있다. 일 예로, 도 13에 도시되어 있는 프로세스는 도 2의 비디오 프로세서에 의해 수행될 수 있다.
동작 1305에서, 상기 비디오 프로세서는 비디오에 대한 기하학적 프레임의 모양을 식별한다. 기하학적 프레임의 예제 모양들은 구 프레임들과, 스퀴시된 구 프레임들과, 원통 프레임들과, 피라미드 프레임들과, 정육면체 프레임들 등을 포함한다. 상기 모양은 상기 비디오와 함께 상기 비디오 프로세서에 저장되어 있을 수 있거나 혹은 상기 비디오 프로세서는 상기 비디오의 표면들을 기반으로 상기 모양을 결정할 수 있다.
동작 1310에서, 상기 비디오 프로세서는 상기 기하학적 프레임 상에서 관심 영역을 식별한다. 상기 관심 영역은 평균 양 이상의 혹은 평균 양 이하의 세부 사항들을 포함하는 것으로서 정의된다. 보다 많은 세부 사항들을 가지는 관심 영역들은 더 높은 해상도에 대해 식별되고, 보다 적은 세부 사항들을 가지는 영역들에서는 더 낮은 해상도가 식별된다. 상기 관심 영역은 기하학적 파라미터들을 기반으로 위치된다.
동작 1315에서, 상기 비디오 프로세서는 상기 기하학적 프레임을 평면 프레임 상에서 관심 영역으로 지시되는 상기 기하학적 프레임으로부터의 관심 영역을 가지는 상기 평면 프레임에 매핑한다. 상기 관심 영역은 상기 평면 프레임의 다른 부분들과 다른 해상도를 가진다. 상기 관심 영역은 위치 포인트, 폭, 높이를 포함하는 평면 파라미터들에 의해 위치된다. 상기 평면 파라미터들은 상기 기하학적 파라미터들에 상응한다. 상기 모양이 구 프레임일 경우, 상기 기하학적 파라미터들은 피치 시작, 피치 종료, 요 시작 및 요 종료이다. 상기 모양이 원통 프레임일 경우, 상기 기하학적 파라미터들은 요 시작, 요 종료, 높이 시작 및 높이 종료를 포함한다. 상기 모양이 정육면체 프레임일 경우, 상기 기하학적 파라미터들은 기하학적 위치 포인트, 기하학적 폭, 기하학적 높이를 포함한다.
동작 1320에서, 상기 비디오 프로세서는 상기 모양 및 관심 영역을 지시하는 신호를 생성하고, 비디오 플레이어로 송신한다. 상기 신호는 또한 상기 관심 영역의 해상도와, 평면 파라미터들 및 기하학적 파라미터들을 포함한다. 다른 파라미터들은 다음을 포함할 수 있다:
하기 표 4에서 상기 파라미터 "geometry_type"는 전방향 미디어의 렌더링을 위한 기하학적 구조의 타입을 지시한다. 각 기하학적 구조 타입의 수학적 표현.
Figure pct00005
하기 표 5에서 상기 파라미터 "projection_type"는 상기 참조된 트랙에서 상기 비디오에서의 텍스처를 전방향 미디어의 렌더링에 대한 기하학적 구조로 매핑하기 위해 사용될 방법을 지시한다. 각 기하학적 타입에 대한 각 투영 방법의 수학적 표현.
Figure pct00006
상기 파라미터 "stereoscopic"는 입체적 미디어 렌더링이 사용되는지 여부를 지시한다. 이 필드의 값이 '1'일 경우, 상기 참조되는 트랙에서의 비디오가 stereoscopic_type에 의해 명시되는 구성 타입에 따라 좌측 눈 및 우측 눈에 대해 다른 텍스처 미디어를 별도로 제공하는 2개의 파트들로 분할될 것이다.
상기 파라미터 "multiple_regions"는 비디오가 다수의 영역들로 분할되는지 여부를 지시하며, 각 영역은 다른 해상도들 혹은 스퀴시 팩터들을 가질 수 있다. 이 필드의 값이 '1'일 경우, 상기 참조되는 트랙에서의 비디오가 다수의 비-오버랩 영역들로 분할될 것이며, 각 영역은 기하학적 구조의 특정 영역에 대한 텍스처 데이터를 제공할 것이다.
상기 파라미터 "entire_volume"는 비디오가 기하학적 구조의 전체 볼륨을 커버하는지 여부를 지시한다. 이 필드의 값이 '1'일 경우, 상기 기하학적 구조의 전체 볼륨은 상기 참조되는 트랙에서의 비디오로 렌더링된다. 이 필드의 값이 '0'일 경우, 상기 기하학적 구조의 일부 영역의 텍스처는 상기 참조되는 트랙에서의 비디오 이외의 수단에 의해 제공된다.
상기 파라미터 "static"는 상기 텍스처 매핑이 지난이 지남에 따라 변경되는지 여부를 지시한다. 이 필드의 값이 '1'일 경우, 상기 참조되는 트랙에서의 전체 비디오 동안 매핑은 변경되지 않는다. 이 필드의 값이 '0'일 경우, 매핑은 시간이 지남에 따라 변경된다.
상기 파라미터 "static_top"는 상기 참조되는 트랙에서 비디오 이외의 텍스처 데이터가 제공되는지 여부를 지시한다. 이 필드의 값이 '1'일 경우, 상기 기하학적 구조의 상단 영역에 대한 텍스처로 사용될 이미지가 제공될 것이다.
상기 파라미터 "static_bottom"는 상기 참조되는 트랙에서 비디오 이외의 텍스처 데이터가 제공되는지 여부를 지시한다. 이 필드의 값이 '1'일 경우, 상기 기하학적 구조의 하단 영역에 대한 텍스처로 사용될 이미지가 제공된다.
상기 파라미터 "radius"는 원통 프레임의 상단 및 하단 영역들에 대한 원형 모양 영역의 반경을 지시한다. 상기 상단 영역의 텍스처에 대한 영역은 이 필드에 의해 지시되는 반경을 가지는 원형 모양에서 상기 평면 프레임의 상단 왼쪽 코너에 위치된다. 상기 하단 표면의 텍스처에 대한 영역은 이 필드에 의해 지시되는 반경을 가지는 원형 모양에서 상기 비디오의 하단 오른쪽 코너에 위치된다.
하기 표 6의 파라미터 "stereoscopic_type"는 상기 참조되는 트랙의 입체 비디오에 대한 구성의 타입을 지시한다.
Figure pct00007
상기 파라미터들 "squish_start_pitch_top" 및 "squish_start_pitch_bottom"는 각각 스퀴싱(squishing)이 적용된 구 프레임의 상단 및 하단의 피치 각도를 지시한다. 이들 필드들에 의해 지시되는 구의 상단 및 하단 부분은 상기 필드 squish_ratio의 값에 의해 주어지는 비율로 스퀴시된다.
상기 파라미터 "squish_ratio"는 상기 스퀴시된 구 프레임에 대한 스퀴싱의 비율을 지시한다.
도 13이 비디오 프로세서에서의 전방향 미디어 텍스처 매핑 메타데이터에 대한 예제 프로세스를 각각 도시하고 있더라도, 다양한 변경들이 도 13에 대해 이루어질 수 있다. 일 예로, 연속적인 단계들이 도시되어 있을지라도, 다양한 단계들이 오버랩될 수 있거나, 혹은 병렬로 발생할 수 있거나, 혹은 다른 순서로 발생할 수 있거나, 혹은 다수 번 발생할 수 있거나, 혹은 특정 실시 예들에서는 수행되지 않을 수 있다.
도 14는 본 개시의 일 실시 예에 따른 비디오 플레이어에서 전방향 미디어 텍스처 매핑 메타데이터에 대한 예제 프로세스(1400)를 도시하고 있다. 일 예로, 도 14에 도시되어 있는 프로세스는 도 3의 비디오 플레이어에 의해 수행될 수 있다.
동작 1405에서, 상기 비디오 플레이어는 비디오에 대한 기하학적 프레임의 모양과 평면 프레임 상의 관심 영역을 지시하는 신호를 수신한다. 상기 관심 영역은 상기 평면 프레임의 다른 부분과는 다른 해상도를 가진다. 상기 신호는 상기 평면 프레임에 대한 다수의 관심 영역들을 포함할 수 있다. 상기 관심 영역은 위치 포인트와, 폭과, 위치를 포함하는 평면 파라미터들에 의해 위치된다.
동작 1410에서, 상기 비디오 플레이어는 상기 기하학적 프레임의 모양을 기반으로 상기 평면 프레임 상의 관심 영역을 상기 기하학적 프레임 상의 관심 영역으로 매핑한다. 상기 관심 영역은 상기 평면 프레임의 평면 프레임들에 상응하는 기하학적 파라미터들을 기반으로 위치된다. 상기 모양이 구 프레임일 때, 상기 기하학적 파라미터들은 피치(pitch) 시작, 피치 종료, 요(yaw) 시작 및 요 종료이다. 상기 모양이 원통 프레임일 때, 상기 기하학적 파라미터들은 요 시작, 요 종료, 높이 시작 및 높이 종료를 포함한다. 상기 모양이 정육면체 프레임일 때, 상기 기하학적 파라미터들은 기하학적 위치 포인트, 기하학적 폭, 기하학적 높이를 포함한다.
동작 1415에서, 상기 비디오 플레이어는 상기 관심 영역을 가지는 기하학적 프레임을 생성한다.
도 14가 비디오 플레이어에서의 전방향 미디어 텍스처 매핑 메타데이터에 대한 예제 프로세스(1400)를 도시하고 있더라도, 다양한 변경들이 도 14에 대해 이루어질 수 있다. 일 예로, 연속적인 단계들이 도시되어 있을지라도, 다양한 단계들이 오버랩될 수 있거나, 혹은 병렬로 발생할 수 있거나, 혹은 다른 순서로 발생할 수 있거나, 혹은 다수 번 발생할 수 있거나, 혹은 특정 실시 예들에서는 수행되지 않을 수 있다.
본 출원의 상세한 설명 중 어떤 사항도 특정 엘리먼트, 단계 또는 기능이 청구 범위에 포함되어야만 하는 필수 엘리먼트라고 암시하는 것으로 해석되어서는 안 된다.
본 출원의 상세한 설명 중 어떤 사항도 특정 엘리먼트, 단계 또는 기능이 청구 범위에 포함되어야만 하는 필수 엘리먼트라고 암시하는 것으로 해석되어서는 안 된다. 특허 대상의 범위는 오직 청구항들에 의해서만 정의된다.
청구항 내의, '메카니즘', '모듈', '디바이스', '유닛', '컴포넌트, '엘리먼트', '멤버', '장치', '머신', '시스템', '프로세서', 혹은 '제어기'를 포함하지만 그렇다고 이에 한정되지 않는, 다른 용어들의 사용은 출원인들에 의해 관련 기술 분야의 당업자들에게 잘 알려진 구조들을 나타내는 것으로 이해될 것이다.
본 개시가 예제 실시 예들을 참조하여 설명되었다고 할지라도, 다양한 변경들 및 수정들이 해당 기술 분야의 당업자에게 제안될 수 있다. 본 개시는 첨부되는 청구항들의 범위 내에 존재하는 변경들 및 수정들을 포함할 것이다.

Claims (15)

  1. 전방향 미디어 텍스처 매핑 메타데이터(omnidirectional media texture mapping metadata)를 생성하는 전자 디바이스에 있어서,
    메모리와;
    상기 메모리에 동작 가능하게 연결되며, 비디오에 대한 기하학적 프레임의 모양을 식별하고; 상기 기하학적 프레임 상의 관심 영역을 식별하고; 상기 기하학적 프레임을 평면 프레임 상의 관심 영역으로서 지시되는 기하학적 프레임으로부터의 관심 영역을 가지는 상기 평면 프레임에 매핑하고; 상기 모양 및 관심 영역을 지시하는 신호를 생성하도록 구성되는 프로세서와;
    상기 신호를 디바이스로 송신하도록 구성되는 송수신기를 포함하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 전자 디바이스.
  2. 제1항에 있어서,
    상기 관심 영역은 상기 평면 프레임의 다른 부분들과 다른 해상도를 가지며;
    상기 신호는 상기 관심 영역에 대한 다른 해상도를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 전자 디바이스.
  3. 제1항에 있어서,
    상기 관심 영역은 상기 평면 프레임 상에 평면 파라미터들에 의해 위치되며,
    상기 평면 파라미터들은 위치 포인트와, 폭과, 높이를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 전자 디바이스.
  4. 제3항에 있어서,
    상기 관심 영역은 상기 평면 프레임의 평면 파라미터들에 상응하는 기하학적 파라미터들을 기반으로 위치됨을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 전자 디바이스.
  5. 제4항에 있어서,
    상기 모양이 구 프레임일 때, 상기 기하학적 파라미터들은 피치(pitch) 시작, 피치 종료, 요(yaw) 시작 및 요 종료를 포함하며,
    상기 모양이 원통 프레임일 때, 상기 기하학적 파라미터들은 요 시작, 요 종료, 높이 시작 및 높이 종료를 포함하며,
    상기 모양이 정육면체 프레임일 때, 상기 기하학적 파라미터들은 기하학적 위치 포인트, 기하학적 폭 및 기하학적 높이를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 전자 디바이스.
  6. 제4항에 있어서,
    상기 모양이 파라미터화된 프레임(parameterized frame)일 때, 상기 기하학적 파라미터들은 상기 파라미터화된 프레임에 전체적으로 포함되는 가장 큰 구 혹은 상기 파라미터화된 프레임을 포함하는 가장 작은 구 중 하나의 피치(pitch) 시작, 피치 종료, 요(yaw) 시작 및 요 종료를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 전자 디바이스.
  7. 전방향 미디어 텍스처 매핑 메타데이터(omnidirectional media texture mapping metadata)를 생성하는 디바이스에 있어서,
    전자 디바이스로부터 비디오에 대한 기하학적 프레임의 모양과 평면 프레임 상의 관심 영역을 지시하는 신호를 수신하도록 구성되는 송수신기와;
    메모리와;
    상기 메모리에 동작 가능하게 연결되며, 상기 기하학적 프레임의 모양을 기반으로 상기 평면 영역 상의 관심 영역을 상기 기하학적 프레임 상의 관심 영역에 매핑하고;
    상기 관심 영역을 가지는 상기 기하학적 프레임을 생성하도록 구성되는 프로세서를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스.
  8. 제7항에 있어서,
    상기 관심 영역은 상기 평면 프레임의 다른 부분들과 다른 해상도를 가지며;
    상기 신호는 상기 관심 영역에 대한 다른 해상도를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스.
  9. 제7항에 있어서,
    상기 관심 영역은 상기 평면 프레임 상에 평면 파라미터들에 의해 위치되며,
    상기 평면 파라미터들은 위치 포인트와, 폭과, 높이를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스.
  10. 제9항에 있어서,
    상기 관심 영역은 상기 평면 프레임의 평면 파라미터들에 상응하는 기하학적 파라미터들을 기반으로 위치됨을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스.
  11. 제10항에 있어서,
    상기 모양이 구 프레임일 때, 상기 기하학적 파라미터들은 피치(pitch) 시작, 피치 종료, 요(yaw) 시작 및 요 종료를 포함하며,
    상기 모양이 원통 프레임일 때, 상기 기하학적 파라미터들은 요 시작, 요 종료, 높이 시작 및 높이 종료를 포함하며,
    상기 모양이 정육면체 프레임일 때, 상기 기하학적 파라미터들은 기하학적 위치 포인트, 기하학적 폭 및 기하학적 높이를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스.
  12. 제10항에 있어서,
    상기 모양이 파라미터화된 프레임(parameterized frame)일 때, 상기 기하학적 파라미터들은 상기 파라미터화된 프레임에 전체적으로 포함되는 가장 큰 구 혹은 상기 파라미터화된 프레임을 포함하는 가장 작은 구 중 하나의 피치(pitch) 시작, 피치 종료, 요(yaw) 시작 및 요 종료를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 디바이스.
  13. 전자 디바이스에서 전방향 미디어 텍스처 매핑 메타데이터(omnidirectional media texture mapping metadata)를 생성하는 방법에 있어서,
    비디오에 대한 기하학적 프레임의 모양을 식별하는 과정;
    상기 기하학적 프레임 상의 관심 영역을 식별하는 과정;
    상기 기하학적 프레임을 평면 프레임 상의 관심 영역으로서 지시되는 기하학적 프레임으로부터의 관심 영역을 가지는 상기 평면 프레임에 매핑하는 과정;
    상기 모양 및 관심 영역을 지시하는 신호를 생성하는 과정; 및
    상기 신호를 디바이스로 송신하는 과정을 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법.
  14. 디바이스에서 전방향 미디어 텍스처 매핑 메타데이터(omnidirectional media texture mapping metadata)를 생성하는 방법에 있어서,
    전자 디바이스로부터 비디오에 대한 기하학적 프레임의 모양과 평면 프레임 상의 관심 영역을 지시하는 신호를 수신하는 과정과;
    상기 기하학적 프레임의 모양을 기반으로 상기 평면 영역 상의 관심 영역을 상기 기하학적 프레임 상의 관심 영역에 매핑하는 과정과;
    상기 관심 영역을 가지는 상기 기하학적 프레임을 생성하는 과정을 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법.
  15. 제14항에 있어서,
    상기 관심 영역은 상기 평면 프레임의 다른 부분들과 다른 해상도를 가지며;
    상기 신호는 상기 관심 영역에 대한 다른 해상도를 포함함을 특징으로 하는 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법.
KR1020187026553A 2016-02-16 2017-02-16 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법 및 장치 KR20180107271A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662295823P 2016-02-16 2016-02-16
US62/295,823 2016-02-16
US15/431,587 2017-02-13
US15/431,587 US10147224B2 (en) 2016-02-16 2017-02-13 Method and apparatus for generating omni media texture mapping metadata
PCT/KR2017/001734 WO2017142334A1 (en) 2016-02-16 2017-02-16 Method and apparatus for generating omni media texture mapping metadata

Publications (1)

Publication Number Publication Date
KR20180107271A true KR20180107271A (ko) 2018-10-01

Family

ID=59560348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026553A KR20180107271A (ko) 2016-02-16 2017-02-16 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법 및 장치

Country Status (4)

Country Link
US (1) US10147224B2 (ko)
EP (1) EP3403244A4 (ko)
KR (1) KR20180107271A (ko)
WO (1) WO2017142334A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059210A (ko) * 2016-11-25 2018-06-04 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
JPWO2018135321A1 (ja) * 2017-01-19 2019-11-07 ソニー株式会社 画像処理装置および方法
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10664947B2 (en) * 2017-06-30 2020-05-26 Canon Kabushiki Kaisha Image processing apparatus and image processing method to represent part of spherical image in planar image using equidistant cylindrical projection
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
KR102442089B1 (ko) 2017-12-20 2022-09-13 삼성전자주식회사 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734855B2 (en) * 2000-07-11 2004-05-11 Sony Corporation Image editing system and method, image processing system and method, and recording media therefor
KR100450823B1 (ko) 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
US8207964B1 (en) * 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
EP1900216A2 (en) 2005-05-12 2008-03-19 Tenebraex Corporation Improved methods of creating a virtual window
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
JP5521750B2 (ja) * 2010-05-10 2014-06-18 富士通株式会社 シミュレーションプログラム、シミュレーション装置及びシミュレーション方法
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
WO2012147303A1 (ja) * 2011-04-25 2012-11-01 Hayashi Mitsuo 全方位画像編集プログラム及び全方位画像編集装置
JP5591281B2 (ja) 2011-06-03 2014-09-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
JP6075066B2 (ja) * 2012-12-28 2017-02-08 株式会社リコー 画像管理システム、画像管理方法、及びプログラム
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
JP2015173424A (ja) * 2014-03-12 2015-10-01 株式会社セック 映像配信システムおよび映像表示装置
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content

Also Published As

Publication number Publication date
WO2017142334A1 (en) 2017-08-24
EP3403244A4 (en) 2019-01-23
EP3403244A1 (en) 2018-11-21
US20170236323A1 (en) 2017-08-17
US10147224B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
KR20180107271A (ko) 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법 및 장치
US10127722B2 (en) Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US7656403B2 (en) Image processing and display
TWI637355B (zh) 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生３６０度全景視頻之方法
US9652880B2 (en) 2D animation from a 3D mesh
US20180122129A1 (en) Generation, transmission and rendering of virtual reality multimedia
US9330466B2 (en) Methods and apparatus for 3D camera positioning using a 2D vanishing point grid
US10325403B2 (en) Image based rendering techniques for virtual reality
US11651556B2 (en) Virtual exhibition space providing method for efficient data management
CN105550973B (zh) 图形处理单元、图形处理系统及抗锯齿处理方法
TW200907854A (en) Universal rasterization of graphic primitives
US11250643B2 (en) Method of providing virtual exhibition space using 2.5-dimensionalization
US20220335684A1 (en) Finite aperture omni-directional stereo light transport
US20240203030A1 (en) 3d model rendering method and apparatus, electronic device, and storage medium
CN114782648A (zh) 图像处理方法、装置、电子设备及存储介质
CN105094615A (zh) 一种信息处理方法及电子设备
US11706395B2 (en) Apparatus and method for selecting camera providing input images to synthesize virtual view images
US10891711B2 (en) Image processing method and apparatus
CN109427087A (zh) 图像处理方法和装置
CN111915714A (zh) 用于虚拟场景的渲染方法、客户端、服务器及计算设备
CN113810755B (zh) 全景视频预览的方法、装置、电子设备及存储介质
CN109949396A (zh) 一种渲染方法、装置、设备和介质
CN113610864B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2018175299A1 (en) System and method for rendering shadows for a virtual environment

Legal Events

Date Code Title Description
A201 Request for examination