KR20220031560A - 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법 - Google Patents

정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법 Download PDF

Info

Publication number
KR20220031560A
KR20220031560A KR1020217041681A KR20217041681A KR20220031560A KR 20220031560 A KR20220031560 A KR 20220031560A KR 1020217041681 A KR1020217041681 A KR 1020217041681A KR 20217041681 A KR20217041681 A KR 20217041681A KR 20220031560 A KR20220031560 A KR 20220031560A
Authority
KR
South Korea
Prior art keywords
transition
viewpoint
file
information
image
Prior art date
Application number
KR1020217041681A
Other languages
English (en)
Inventor
유카 기야마
료헤이 다카하시
미츠히로 히라바야시
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220031560A publication Critical patent/KR20220031560A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

이용자에게 고품질의 시청 체험을 제공하는 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법을 제공한다. 메타데이터 생성부는, 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 생성한다. 파일 생성부는, 상기 제1 영상의 데이터 및 상기 천이 식별 정보를 포함하는 파일을 생성한다.

Description

정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법
본 발명은, 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법에 관한 것이다.
HTTP(Hypertext Transfer Protocol)에 의한 어댑티브한 콘텐츠 배신 기술의 표준화 규격으로서, MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP)가 존재한다. 또한, MPEG-DASH의 파일 포맷으로서, 동화상 압축의 국제 표준 기술 「MPEG-4」의 파일 컨테이너 사양인 ISOBMFF(International Organization for Standardization Base Media File Format)가 제공되어 있다.
그런데, 소위 전천구 영상과 같이, 수평 방향의 주위 360도 및 수직 방향의 주기 180도의 화상을 입체 구조에 투영한 화상인 입체 구조 화상을, 평면 화상으로서 매핑한 전천구 화상을 재생하는 영상이 있다. 전천구 영상은 3DoF(Degrees of Freedom) 영상이라고도 불리고, 전천구 화상은 투영 평면 화상이나 3DoF 화상이라고도 불린다. MPEG-I OMAF(Omnidirectional Media Format)에서는, 전천구 화상을 형성하는 입체 구조 화상의 배신에 대한 MPEG-DASH의 이용이 검토되어 있다.
또한, MPEG-I Phase 1b requirement에 있어서는, Multiple Viewpoint라고 불리는 복수 시점으로부터의 전천구 영상의 배신 기술이 제안되어 있다. 이 Multiple Viewpoint를 사용함으로써, 어느 시점의 전천구 영상으로부터, 다른 시점의 전천구 영상으로 영상을 전환하여 콘텐츠를 유저에게 제공하는 것이 가능해진다. 뷰포인트(Viewpoint)란, 전천구 영상에 있어서의 시점 위치이다.
"ISO/IEC" 14496-12:2015 Information technology. Coding of audio-visual objects. Part 12:ISO base media file format, 2015-12
그러나, 클라이언트 장치는, 현재 보고 있는 전천구 영상으로부터, 다른 어느 전천구 영상으로 천이 가능한가 라는 제작자의 의도를 나타내는 정보를 갖지 않는다. 클라이언트 장치가 천이 가능한 전천구 영상을 나타내는 정보 등을 갖지 않는 배신 시스템에서는, 천이 가능한 전천구 영상에 대한 천이를 포함하는 시청 체험을 제공하는 것은 곤란하여, 시청자의 시청 체험의 품질을 손상시킬 우려가 있다.
또한, 영상 천이를 실현하는 기능은, 클라이언트 장치에 대하여 실장된 기능의 종류에 의존하기 때문에, 콘텐츠가 재생될 때 제작자의 의도가 적절하게 반영되는 것만은 아니다. 그 때문에, 이용자의 시청 체험의 품질을 손상시킬 우려가 있다.
그래서, 본 개시에서는, 이용자에게 고품질의 시청 체험을 제공하는 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법을 제공한다.
본 개시에 의하면, 메타데이터 생성부는, 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 생성한다. 파일 생성부는, 상기 제1 영상의 데이터 및 상기 천이 식별 정보를 포함하는 파일을 생성한다.
도 1은 배신 시스템의 일례의 시스템 구성도이다.
도 2는 파일 생성 장치의 블록도이다.
도 3은 천이 식별 정보의 저장을 설명하기 위한 도면이다.
도 4는 클라이언트 장치의 블록도이다.
도 5는 파일 생성 장치에 의한 파일 생성 처리의 흐름도이다.
도 6은 메타데이터의 작성 처리의 흐름도이다.
도 7은 클라이언트 장치에 의해 실행되는 재생 처리의 흐름도이다.
도 8은 뷰포인트의 천이 처리의 흐름도이다.
도 9는 VWPT descriptor의 확장예를 나타내는 도면이다.
도 10은 VWPT descriptor에 ViewpintInfo.SwitchableContent를 포함시킨 MPD 파일의 일례를 나타내는 도면이다.
도 11은 천이처를 뷰포인트 그룹으로 하는 천이 식별 정보의 저장예를 나타내는 도면이다.
도 12는 SphereRegionStruct() 및 RegionForViewpoint()의 일례를 나타내는 도면이다.
도 13은 오버레이의 컨트롤 구조를 나타내는 도면이다.
도 14는 SphereRelativeOmniOverlay() 및 AssociatiedSpereRegion()의 일례를 나타내는 도면이다.
도 15는 천이 실행 영역 정보를 저장하기 위한 새 선반에 새로운 컨트롤 구조를 추가한 overlay_control_struct()의 일례를 나타내는 도면이다.
도 16은 Associatedviewpointregion()의 일례를 나타내는 도면이다.
도 17은 천이 식별 정보를 저장하기 위한 새 선반에 새로운 컨트롤 구조를 추가한 overlay_control_struct()의 일례를 나타내는 도면이다.
도 18은 Associatedviewpointregion() 및 AssociatedViewpoint()의 일례를 나타내는 도면이다.
도 19는 영상 표시 영역을 천이 실행 영역에 유용하는 경우의 AssociatedSphereRegion()의 일례를 나타내는 도면이다.
도 20은 일정 시간 후에 천이 실행 영역 정보를 표시하는 경우의 RegionForViewpoint()의 일례를 나타내는 도면이다.
도 21은 유저 인터랙션을 전환하는 경우의 RegionForViewpoint()의 일례를 나타내는 도면이다.
도 22는 Matroska Media Container의 포맷을 나타내는 도면이다.
도 23은 컴퓨터의 하드웨어 구성도이다.
이하에, 본 개시의 실시 형태에 대하여 도면에 기초하여 상세하게 설명한다. 또한, 이하의 각 실시 형태에 있어서, 동일한 부위에는 동일한 부호를 붙임으로써 중복되는 설명을 생략한다. 또한, 본 기술에서 개시되는 범위는, 실시 형태의 내용에 한정되는 것은 아니고, 출원 당시에 있어서 공지로 되어 있는 이하의 비특허문헌에 기재되어 있는 내용도 포함된다.
비특허문헌 1: (상술)
비특허문헌 2: ISO/IEC 23090-2:2019 Information technology. Coded representation of immersive media. Part 2: Omnidirectional media format, 2019-01
비특허문헌 3: N18393, WD5 of ISO/IEC 23090-2 OMAF 2nd edition, 2019-05-16
비특허문헌 4: m47385, [OMAF] Multiviewpoint switching transitions, 2019-03
비특허문헌 5: "Matroska Media Container", [2020년 3월 12일 검색], 인터넷 <URL:https://www.matroscka.org/>
상술한 비특허문헌에 기재되어 있는 내용도, 참조에 의해 본 실시예에 원용된다. 즉, 상술한 비특허문헌에 기재되어 있는 내용도 서포트 요건에 대하여 판단할 때의 근거가 된다. 예를 들어, 비특허문헌 1 내지 5에 기재되어 있는 File Structure가 발명의 상세한 설명에 있어서 직접적으로 정의되어 있지 않은 경우라도, 본 개시의 범위 내이고, 청구범위의 서포트 요건을 충족시키는 것으로 한다. 또한, 예를 들어 파싱(Parsing), 신택스(Syntax), 시맨틱스(Semantics) 등의 기술 용어에 대해서도 마찬가지로, 발명의 상세한 설명에 있어서 직접적으로 정의되어 있지 않은 경우라도, 본 개시의 범위 내이고, 청구범위의 서포트 요건을 충족시키는 것으로 한다.
또한, 이하에 나타내는 항목 순서에 따라 본 개시를 설명한다.
1. 제1 실시 형태
1. 1 제1 실시 형태의 변형예(1)
1. 2 제1 실시 형태의 변형예(2)
2. 제2 실시 형태
2. 1 제2 실시 형태의 변형예(1)
2. 2 제2 실시 형태의 변형예(2)
2. 3 제2 실시 형태의 변형예(3)
2. 3 제2 실시 형태의 변형예(4)
3. 제3 실시 형태
4. 제4 실시 형태
[1. 제1 실시 형태]
(제1 실시 형태에 관한 배신 시스템의 구성)
도 1은, 배신 시스템의 일례의 시스템 구성도이다. 배신 시스템(100)은, 정보 처리 장치인 파일 생성 장치(1), 재생 처리 장치인 클라이언트 장치(2) 및 Web 서버(3)를 포함한다. 파일 생성 장치(1), 클라이언트 장치(2) 및 Web 서버(3)는, 네트워크(4)에 접속된다. 그리고, 파일 생성 장치(1), 클라이언트 장치(2) 및 Web 서버(3)는, 네트워크(4)를 통해 서로 통신 가능하다. 여기서, 도 1에 있어서는, 각 장치를 1대씩 나타내고 있지만, 배신 시스템(100)은, 파일 생성 장치(1) 및 클라이언트 장치(2)를 각각 복수대 포함해도 된다.
파일 생성 장치(1)는, 3DoF 영상을 제공하는 데이터인 3DoF 콘텐츠를 생성한다. 파일 생성 장치(1)는, 생성한 3DoF 콘텐츠를 Web 서버(3)에 업로드한다. 여기서, 본 실시 형태에서는, Web 서버(3)가 3DoF 콘텐츠를 클라이언트 장치(2)에 제공하는 구성에 대하여 설명하지만, 배신 시스템(100)은 다른 구성을 취하는 것도 가능하다. 예를 들어, 파일 생성 장치(1)가, Web 서버(3)의 기능을 포함하고, 생성한 3DoF 콘텐츠를 자장치 내에 저장하여, 클라이언트 장치(2)에 제공하는 구성이어도 된다.
Web 서버(3)는, 파일 생성 장치(1)로부터 업로드된 3DoF 콘텐츠를 보유한다. 그리고, Web 서버(3)는, 클라이언트 장치(2)로부터의 요구에 따라 지정된 3DoF 콘텐츠를 제공한다.
클라이언트 장치(2)는, 3DoF 콘텐츠의 송신 요구를 Web 서버(3)로 송신한다. 그리고, 클라이언트 장치(2)는, 송신 요구로 지정된 3DoF 콘텐츠를 Web 서버(3)로부터 취득한다. 그리고, 클라이언트 장치(2)는, 3DoF 콘텐츠를 디코드하여 영상을 생성하고, 그 영상을 모니터 등의 표시 장치에 표시시킨다.
(제1 실시 형태에 관한 파일 생성 장치의 구성)
이어서, 파일 생성 장치(1)의 상세에 대하여 설명한다. 도 2는, 파일 생성 장치의 블록도이다. 정보 처리 장치인 파일 생성 장치(1)는, 도 2에 나타낸 바와 같이, 파일 생성 처리부(10), 제어부(11) 및 통신부(12)를 갖는다. 제어부(11)는, 파일 생성 처리부(10)의 제어에 관한 처리를 실행한다. 예를 들어, 제어부(11)는, 파일 생성 처리부(10)의 각 부의 동작 타이밍 등의 통괄 제어를 행한다. 파일 생성 처리부(10)는, 데이터 취득부(101), 부호화부(102), 메타데이터 생성부(103) 및 파일 생성부(104)를 갖는다.
데이터 취득부(101)는, 3DoF 영상을 표시시키는 3DoF 콘텐츠의 원데이터의 입력을 접수한다. 3DoF 콘텐츠의 원데이터에는, 3DoF 화상을 생성하기 위한 화상 데이터 및 메타데이터를 생성하기 위한 제어 정보가 포함된다. 제어 정보는, 예를 들어 각 화상 데이터의 시간 정보, 각 화상 데이터의 시점 위치 정보 및 각 화상 데이터로부터 천이 가능한 화상 데이터의 정보가 포함된다. 또한, 제어 정보에는, 각 화상 데이터에 대응하는 뷰포인트를 나타내는 정보, 각 뷰포인트의 위치 정보 및 천이 가능한 뷰포인트와의 대응을 나타내는 정보 등이 포함된다. 데이터 취득부(101)는, 취득한 3DoF 콘텐츠의 원데이터에 포함되는 화상 데이터를 부호화부(102)로 출력한다. 또한, 데이터 취득부(101)는, 취득한 3DoF 콘텐츠의 원데이터에 포함되는 제어 정보를 메타데이터 생성부(103)로 출력한다.
부호화부(102)는, 화상 데이터의 입력을 데이터 취득부(101)로부터 받는다. 그리고, 부호화부(102)는, 화상 데이터에 부호화 처리를 실시하여 3DoF 화상 데이터를 생성한다. 그리고, 부호화부(102)는, 생성한 3DoF 화상 데이터를 파일 생성부(104)로 출력한다.
이하에는, 시점 위치를 뷰포인트라고 칭하는 경우가 있다. 또한, 3DoF 화상 데이터가 다양한 시점 위치로부터 본 경우의 화상인 것을 강조하는 경우, 「뷰포인트 화상 데이터」라고 칭하고, 그 뷰포인트 화상 데이터를 재생한 경우에 표시되는 전천구 화상을 「뷰포인트 화상」이라고 칭하는 경우가 있다.
메타데이터 생성부(103)는, 제어 정보의 입력을 데이터 취득부(101)로부터 받는다. 이어서, 메타데이터 생성부(103)는, 제어 정보를 바탕으로 메타데이터를 생성한다. 메타데이터에는, 어느 코덱으로 압축할지 등의 화상 생성 및 재생에 관한 제어 정보 등이 포함된다. 또한, 메타데이터 생성부(103)는, 메타데이터로서 이하의 정보를 생성한다.
메타데이터 생성부(103)는, 취득한 제어 정보로부터, 각 뷰포인트로부터 천이 가능한 뷰포인트를 식별하기 위한 천이 식별 정보를 생성한다. 구체적으로는, 메타데이터 생성부(103)는, 각 뷰포인트에 대하여 식별 정보인 viewpoint_id를 할당한다. 또한, 메타데이터 생성부(103)는, 천이원의 뷰포인트의 식별 정보로 천이 가능한 뷰포인트의 식별 정보를 대응짓는다. 이 천이 식별 정보를 사용함으로써, 클라이언트 장치(2)는, 특정 뷰포인트로부터 천이 가능한 뷰포인트를 식별 가능하게 되어, 천이 가능한 뷰포인트로의 천이를 실현할 수 있다. 그리고, 메타데이터 생성부(103)는, 각 뷰포인트에서의 뷰포인트 화상 데이터에, 그 뷰포인트를 천이원으로 하는 천이 식별 정보를 대응짓는다.
또한, 메타데이터 생성부(103)는, 제어 정보에 포함되는 뷰포인트의 위치 정보로부터, 천이원의 뷰포인트 화상에 있어서의 천이처의 뷰포인트에 대응하는 천이 실행 영역의 표시 위치를 산출한다. 이어서, 메타데이터 생성부(103)는, 산출한 천이 실행 영역의 표시 위치를 사용하여, 각 뷰포인트 화상 위에서의 천이 실행 영역을 나타내는 천이 실행 영역 정보를 생성한다.
이어서, 메타데이터 생성부(103)는, 제어 정보로 지정된 천이를 실행하는 트리거가 되는 조작을 나타내는 천이 트리거 정보를 생성한다. 그 후, 메타데이터 생성부(103)는, 각 뷰포인트 화상 데이터에 대응하는 천이 실행 영역 정보 및 천이 트리거 정보를 대응짓는다. 이와 같이, 메타데이터 생성부(103)는, 천이 식별 정보 및 천이 실행 영역 정보를 대응하는 뷰포인트 화상 데이터에 대응지음으로써, 천이 가능한 뷰포인트를 나타내는 3DoF 화상 데이터를 생성한다.
그 후, 메타데이터 생성부(103)는, 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 포함하는 메타데이터를 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 3DoF 화상 데이터의 입력을 부호화부(102)로부터 받는다. 또한, 파일 생성부(104)는, 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 포함하는 메타데이터의 입력을 메타데이터 생성부(103)로부터 받는다. 그리고, 파일 생성부(104)는, 취득한 3DoF 화상 데이터를 세그먼트마다 ISOBMFF 파일에 저장함으로써 파일화하여, 3DoF 화상 데이터의 세그먼트 파일을 생성한다. 또한, 파일 생성부(104)는, 메타데이터에 포함되는 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보 등의 각종 정보를 각 ISOBMFF 파일에 저장한다. IOSBMFF 파일의 각 TrackBox에는, 하나의 뷰포인트 화상에 관한 정보가 포함된다. 이하에는, IOSBMFF 파일의 각 TrackBox를, 단순히 track이라고 칭하는 경우가 있다. 예를 들어, IOSBMFF 파일의 각 track에는, 특정 뷰포인트 화상 데이터로의 링크 등이 포함된다.
여기서, 파일 생성부(104)에 의한 천이 식별 정보의 ISOBMFF 파일로의 저장에 대하여 설명한다. 파일 생성부(104)는, 천이 식별 정보를 저장하기 위해, 도 3의 신택스(111)로 표시되는 ViewpointTrackGroupBox를 생성한다. 도 3은, 천이 식별 정보의 저장을 설명하기 위한 도면이다.
ViewpointTrackGroupBox는, OMAF의 Multiple Viewpoint를 사용하는 경우에 사용되는 Box이다. ViewpointTrackGroupBox는, ISOBMFF 파일의 TrackBox에 포함되는 BOX이고, 그 TrackBox에 포함되는 영상의 뷰포인트의 정보, 위치 정보, 그룹 정보, 좌표 회전 정보 등이 저장된다. 즉, ViewpointTrackGroupBox는, 하나의 뷰포인트 화상 데이터에 대응한다.
신택스(112)에 있어서의 signed viewpoint_lavel이, track에 포함되는 영상의 뷰포인트의 정보를 나타낸다. 뷰포인트의 정보는, 예를 들어 뷰포인트의 식별 정보인 viewpoint_id이고, track_group_id와 일치한다. 또한, ViewPosStruct()는, 뷰포인트의 위치 정보를 나타낸다.
ViewpointGroupStruct()는, 뷰포인트를 그룹화하기 위한 정보이고, VWPT_group_id 및 VWPT_group_descrption을 갖는다. 뷰포인트의 그룹이란, 예를 들어 어느 건물 내에 있어서의 뷰포인트를 통합한 그룹 등이다. 그룹 내에서는 동일한 좌표가 사용된다.
ViewpointGlobalCoordinateSysRotationStruct()는, 뷰포인트가 참조하는 좌표계의 글로벌 좌표계에 있어서의 회전 정보를 갖는다. ViewpointGlobalCoordinateSysRotationStruct()는, 촬영 시의 세팅에 의존한다. ViewpointGlobalCoordinateSysRotationStruct()에 의해, 2개의 뷰포인트의 관계를 나타낼 수 있다.
또한, 본 실시 형태에 관한 파일 생성부(104)는, 신택스(111)에 나타낸 바와 같이 ViewpointTrackGroupBox를 확장하고, 천이 식별 정보를 나타내는 SwitchableContentStruct()를 ViewpointTrackGroupBox에 저장한다.
파일 생성부(104)는, 신택스(112)로 나타내는 SwitchableContentStruct()를 새롭게 정의한다. 파일 생성부(104)는, SwitchableContentStruct()에 의해, 어느 시점에 있어서의 전천구 영상인 뷰포인트 화상으로부터 천이 가능한 뷰포인트를 식별하기 위한 천이 식별 정보를 나타낸다. 이와 같이, 천이 식별 정보인 SwitchableContentStruct()를 ViewpointTrackGroupBox에 저장함으로써, 특정 뷰포인트 화상 데이터를 저장하는 ISOBMFF 파일에 그 뷰포인트 화상 데이터에 대응하는 천이 기별 정보를 저장한다.
여기서, 본 실시 형태에서는, 파일 생성부(104)는, 천이 식별 정보인 SwitchableContentStruct()를 ViewpointTrackGroupBox에 저장했지만, 이에 한정되지 않고, SiwtchableContentStruct()를 TrackGroupTypeBox() 내에 저장하는 것도 가능하다. 또한, 파일 생성부(104)는, 특정 뷰포인트 화상 데이터를 저장하는 ISOBMFF 파일에 그 뷰포인트 화상 데이터에 대응하는 천이 실행 영역 정보 및 천이 트리거 정보를 저장한다. 이에 의해, 파일 생성부(104)는, 3DoF 콘텐츠의 세그먼트 파일을 완성시킨다.
또한, 파일 생성부(104)는, 메타데이터 생성부(103)로부터 취득한 메타데이터를 기초로, MPD(Media Presentation Description) 파일을 생성한다. MPD 파일에는, 미디어 종별, 동화상이나 음성의 세그먼트 파일의 정보 등의 3DoF 콘텐츠의 메타 정보가 저장된다. 그 후, 파일 생성부(104)는, 생성한 3FoF 콘텐츠의 세그먼트 파일 및 MPD 파일을 통신부(12)로 출력한다.
통신부(12)는, 3DoF 화상 데이터, 메타데이터, 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보가 저장된 3DoF 콘텐츠의 세그먼트 파일 및 MPD 파일을 파일 생성부(104)로부터 취득한다. 그리고, 통신부(12)는, 취득한 3DoF 콘텐츠의 세그먼트 파일 및 MPD 파일을 Web 서버(3)로 송신하여 업로드한다.
(제1 실시 형태에 관한 클라이언트 장치의 구성)
도 4는, 클라이언트 장치의 블록도이다. 도 4에 나타낸 바와 같이, 클라이언트 장치(2)는, 재생 처리부(20), 제어부(21) 및 통신부(22)를 갖는다. 제어부(21)는, 재생 처리부(20)의 각 부의 동작을 제어한다. 예를 들어, 제어부(21)는, 재생 처리부(20)의 각 부의 동작의 타이밍을 통괄 제어한다. 재생 처리부(20)는, 파일 취득부(201), 계측부(202), 파일 처리부(203), 복호 처리부(204), 표시 정보 생성부(205) 및 표시부(206)를 갖는다.
통신부(22)는, 3DoF 콘텐츠의 세그먼트 파일 및 MPD 파일을 Web 서버(3)로부터 취득한다. 그리고, 통신부(22)는, 취득한 3DoF 콘텐츠의 세그먼트 파일 및 MPD 파일을 파일 취득부(201)로 출력한다.
파일 취득부(201)는, 재생할 3DoF 콘텐츠에 대응하는 MPD 파일을 Web 서버(3)로부터 통신부(22)를 통해 취득한다. MPD 파일에는, 3DoF 콘텐츠의 데이터 저장처의 정보나, 부호화 속도나 화상 사이즈 등의 영상 재생에 관한 정보가 포함된다. 그리고, 파일 취득부(201)는, 취득한 MPD 파일을 파일 처리부(203)로 출력한다. 그 후, 파일 취득부(201)는, 재생할 3DoF 콘텐츠의 데이터 저장처의 정보의 입력을 파일 처리부(203)로부터 받는다.
파일 취득부(201)는, 취득한 3DoF 콘텐츠의 데이터 저장처의 정보를 사용하여 3DoF 콘텐츠의 데이터 취득 요구를 Web 서버(3)에 행한다. 그리고, 파일 취득부(201)는, 3DoF 콘텐츠의 세그먼트 파일을 취득한다. 그 후, 파일 취득부(201), 3DoF 콘텐츠의 세그먼트 파일을 파일 처리부(203)로 출력한다.
계측부(202)는, 클라이언트 장치(2)와 WEB 서버 사이의 전송로의 전송 대역을 계측한다. 그리고, 계측부(202)는, 전송 대역의 계측 결과를 파일 처리부(203)로 출력한다. 또한, 계측부(202)는, 뷰포인트의 이동 등의 조작자의 조작의 입력을 받는다. 예를 들어, 모니터에 표시되어 있는 3DoF 화상에 천이 실행 영역이 표시되어 있는 경우, 조작자는, 천이 실행 영역을 클릭하는 등의 조작을 행한다. 그리고, 계측부(202)는, 이용자의 조작을 파일 처리부(203)로 출력한다.
파일 처리부(203)는, 재생할 3DoF 콘텐츠에 대응하는 MPD 파일의 입력을 파일 취득부(201)로부터 받는다. 그리고, 파일 처리부(203)는, 취득한 MPD 파일을 파싱하여 재생할 3DoF 콘텐츠의 데이터를 나타내는 정보를 취득한다. 또한, 파일 처리부(203)는, 적응 배신에 사용하는 복수의 데이터의 인식도 행한다. 예를 들어, 비트 레이트를 전환하는 적응 배신이라면, 파일 처리부(203)는, 각 비트 레이트에 대응하는 3DoF 화상 데이터의 정보를 취득한다. 그 후, 파일 처리부(203)는, 재생할 3DoF 콘텐츠를 선택하고, 선택한 3DoF 콘텐츠의 정보를 파일 취득부(201)로 출력한다.
파일 처리부(203)는, 재생할 3DoF 콘텐츠의 데이터가 저장된 세그먼트 파일의 입력을 파일 취득부(201)로부터 받는다. 파일 처리부(203)는, 취득한 세그먼트 파일을 파싱한다. 그리고, 파일 처리부(203)는, 3DoF 화상 데이터, 메타데이터, 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 취득한다.
또한, 파일 처리부(203)는, 전송 대역의 계측 결과의 입력을 계측부(202)로부터 받는다. 그리고, 파일 처리부(203)는, 파싱 결과 및 계측부(202)로부터 취득한 전송 대역을 나타내는 정보 등에 기초하여, 재생할 3DoF 화상 데이터를 선택한다. 그리고, 파일 처리부(203)는, 선택한 3DoF 화상 데이터를 복호 처리부(204)로 출력한다. 또한, 파일 처리부(203)는, 취득한 메타데이터 및 천이 실행 영역 정보를 표시 정보 생성부(205)로 출력한다.
또한, 파일 처리부(203)는, 조작자의 조작의 입력을 계측부(202)로부터 받는다. 그리고, 파일 처리부(203)는, 입력된 조작이 뷰포인트를 천이시키는 조작을 접수하는 천이 실행 영역에 대한 조작인지 여부를 천이 실행 영역 정보를 사용하여 판정한다. 또한, 파일 처리부(203)는, 조작자의 조작이, 뷰포인트의 천이를 발생시키는 천이 트리거가 되는 조작인지 여부를 천이 트리거 정보로부터 판정한다.
조작자의 조작이 천이 실행 영역에 대한 천이 트리거가 되는 조작의 경우, 파일 처리부(203)는, 취득한 천이 식별 정보 중에서, 입력된 조작에 대응하는 천이를 행하는 경우의 천이처의 뷰포인트를 취득한다. 그리고, 파일 처리부(203)는, 취득한 뷰포인트에 따른 3DoF 콘텐츠를 특정한다.
파일 처리부(203)는, 특정한 3DoF 콘텐츠를 미취득한 경우는, 특정한 3DoF 콘텐츠의 정보를 파일 취득부(201)로 출력하여 특정한 3DoF 콘텐츠의 취득 요구를 행한다. 그 후, 파일 처리부(203)는, 특정한 3DoF 콘텐츠의 세그먼트 파일을 취득하면, 파싱을 실행하여 그 3DoF 콘텐츠의 3DoF 화상 데이터, 메타데이터 및 천이 식별 정보를 취득한다. 그리고, 파일 처리부(203)는, 취득한 3DoF 화상 데이터를 복호 처리부(204)로 출력한다. 또한, 파일 처리부(203)는, 메타데이터를 표시 정보 생성부(205)로 출력하고, 3DoF 콘텐츠의 전환을 지시한다.
복호 처리부(204)는, 3DoF 화상 데이터의 입력을 파일 처리부(203)로부터 받는다. 그리고, 복호 처리부(204)는, 취득한 3DoF 화상 데이터 데이터에 대하여 복호 처리를 실시한다. 그 후, 복호 처리부(204)는, 복호 처리를 실시한 3DoF 화상 데이터를 표시 정보 생성부(205)로 출력한다.
표시 정보 생성부(205)는, 복호된 3DoF 화상 데이터의 입력을 복호 처리부(204)로부터 받는다. 또한, 표시 정보 생성부(205)는, 메타데이터 및 천이 실행 영역 정보의 입력을 파일 처리부(203)로부터 받는다. 그리고, 표시 정보 생성부(205)는, 메타데이터에서 지정된 시점 위치, 시점 방향 및 시각의 정보를 사용하여, 3DoF 화상 데이터로부터 표시용 화상을 생성한다. 또한, 표시 정보 생성부(205)는, 표시용 화상의 천이 실행 영역 정보로 지정된 영역을 천이 실행 영역으로 한다. 그 후, 표시 정보 생성부(205)는, 생성한 표시용 화상을 표시부(206)에 제공하여 표시시킨다.
또한, 표시 정보 생성부(205)는, 3DoF 화상 데이터로부터 생성한 표시용의 화상을 표시부(206)에 표시시키고 있는 동안에, 3DoF 콘텐츠의 전환의 지시를 파일 처리부(203)로부터 하는 경우가 있다. 그 경우, 표시 정보 생성부(205)는, 파일 처리부(203)로부터 지정된 3DoF 콘텐츠로부터 3DoF 화상 데이터를 취득한다. 그리고, 표시 정보 생성부(205)는, 취득한 3DoF 화상 데이터로부터 생성한 표시용 화상의 표시를 표시부(206)에 행하게 하여, 뷰포인트의 전환을 행한다. 이 경우도, 표시 정보 생성부(205)는, 뷰포인트의 천이 후의 표시용 화상에도 천이 실행 영역을 마련한다.
표시부(206)는, 모니터 등의 표시 장치를 갖는다. 표시부(206)는, 표시 정보 생성부(205)에 의해 생성된 표시용 화상의 입력을 받는다. 그리고, 표시부(206)는, 취득한 표시용 화상을 표시 장치에 표시시킨다.
(제1 실시 형태에 관한 파일 생성 수순)
이어서, 도 5를 참조하여, 파일 생성 장치(1)에 의한 파일 생성 처리의 흐름에 대하여 상세하게 설명한다. 도 5는, 파일 생성 장치에 의한 파일 생성 처리의 흐름도이다.
데이터 취득부(101)는, 3DoF 콘텐츠의 원데이터를 취득한다. 이 원데이터에는, 복수의 뷰포인트로부터 본 화상의 화상 데이터 및 제어 정보가 포함된다. 그리고, 데이터 취득부(101)는, 취득한 원데이터에 포함되는 제어 정보를 메타데이터 생성부(103)로 출력한다. 메타데이터 생성부(103)는, 제어 정보를 사용하여, 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 포함하는 메타데이터를 생성한다(스텝 S101).
또한, 데이터 취득부(101)는, 취득한 원데이터에 포함되는 화상 데이터를 부호화부(102)로 출력한다. 부호화부(102)는, 화상 데이터를 사용하여, 복수의 뷰포인트로부터 본 경우의 각각 화상의 데이터인 복수의 뷰포인트 화상 데이터를 생성한다(스텝 S102).
이어서, 메타데이터 생성부(103)는, 부호화부(102)에 의해 생성된 각 뷰포인트 화상 데이터에, 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 관련짓고, 천이 가능한 뷰포인트를 나타내는 뷰포인트 화상 데이터를 생성한다(스텝 S103).
파일 생성부(104)는, 부호화된 뷰포인트 화상 데이터를 부호화부(102)로부터 취득한다. 또한, 파일 생성부(104)는, 각 뷰포인트 화상 데이터에 대하여 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 관련짓는 정보를 포함하는 메타데이터를 메타데이터 생성부(103)로부터 취득한다. 그리고, 파일 생성부(104)는, 복수의 뷰포인트 화상 데이터를 포함하는 3DoF 화상 데이터를 세그먼트마다 ISOBMFF 파일에 저장한다. 또한, 파일 생성부(104)는, 각 뷰포인트 화상 데이터에 대응하는 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 ISOBMFF 파일에 저장하여 3DoF 콘텐츠의 세그먼트 파일을 생성한다(스텝 S104).
이어서, 파일 생성부(104)는, 생성한 3DoF 콘텐츠의 세그먼트 파일을 통신부(12)로 출력한다. 통신부(12)는, 파일 생성부(104)에 의해 생성된 3DoF 콘텐츠의 세그먼트 파일을 Web 서버(3)로 출력한다(스텝 S105).
이어서, 도 6을 참조하여, 메타데이터의 작성 처리에 대하여 상세하게 설명한다. 도 6은, 메타데이터의 작성 처리의 흐름도이다. 도 6의 흐름도에서 나타낸 처리는, 도 5에 있어서의 스텝 S101에서 실행되는 처리의 일례에 해당한다.
메타데이터 생성부(103)는, 데이터 취득부(101)로부터 취득한 제어 정보로 통지된 뷰포인트의 각각에 식별 정보를 할당한다. 이어서, 메타데이터 생성부(103)는, 제어 정보에 포함되는 천이 가능한 뷰포인트의 대응 관계로부터, 천이원이 되는 뷰포인트로부터의 천이 가능한 뷰포인트를 나타내는 천이 식별 정보를 뷰포인트마다 식별 정보를 사용하여 생성한다(스텝 S111).
이어서, 메타데이터 생성부(103)는, 제어 정보에 포함되는 뷰포인트의 위치 정보로부터, 천이원의 뷰포인트 화상에 있어서의 천이처의 뷰포인트에 대응하는 천이 실행 영역의 표시 위치를 산출한다(스텝 S112).
이어서, 메타데이터 생성부(103)는, 산출한 천이 실행 영역의 표시 위치를 사용하여, 각 뷰포인트 화상 위에서의 천이 실행 영역을 나타내는 천이 실행 영역 정보를 생성한다(스텝 S113).
이어서, 메타데이터 생성부(103)는, 제어 정보로 지정된 천이를 실행하는 트리거가 되는 조작을 나타내는 천이 트리거 정보를 생성한다(스텝 S114). 그 후, 메타데이터 생성부(103)는, 사용할 코덱 등의 화상 생성 및 재생에 관한 제어 정보 등도 생성하고, 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 포함하는 메타데이터의 작성을 종료한다.
(제1 실시 형태에 관한 재생 처리 수순)
이어서, 도 7을 참조하여, 클라이언트 장치(2)에 의해 실행되는 재생 처리의 흐름을 설명한다. 도 7은, 클라이언트 장치에 의해 실행되는 재생 처리의 흐름도이다.
파일 취득부(201)는, 재생할 3DoF 콘텐츠에 대응하는 MPD 파일을 Web 서버(3)로부터 통신부(22)를 통해 취득한다. 이어서, 파일 처리부(203)는, MPD 파일을 파싱하여 해석 처리를 실행한다. 그리고, 파일 취득부(201)는, 해석 결과로부터 파일 처리부(203)에 의해 특정된 재생할 3DoF 콘텐츠의 세그먼트 파일을 Web 서버(3)로부터 취득한다(스텝 S201).
파일 처리부(203)는, 파일 취득부(201)가 취득한 3DoF 콘텐츠의 세그먼트 파일을 파싱한다. 이어서, 파일 처리부(203)는, 파싱에 의해 얻어진 메타데이터의 해석 처리를 실행한다(스텝 S202).
그리고, 파일 처리부(203)는, 조작자의 동작의 입력을 계측부(202)로부터 받는 경우는 그 정보도 가미하여, 메타데이터의 해석 처리 결과로부터 재생할 콘텐츠 구성을 결정한다(스텝 S203).
파일 처리부(203)는, 결정한 콘텐츠 구성에 따라, 3DoF 콘텐츠의 세그먼트 파일을 취득한다(스텝 S204).
파일 처리부(203)는, 취득한 3DoF 콘텐츠의 세그먼트 파일로부터 3DoF 화상 데이터를 취득하여 복호 처리부(204)로 출력한다. 복호 처리부(204)는, 3DoF 화상 데이터에 대하여 복호 처리를 실시한다. 그 후, 복호 처리부(204)는, 복호한 3DoF 화상 데이터를 표시 정보 생성부(205)로 출력한다. 표시 정보 생성부(205)는, 메타데이터에 포함되는 정보를 사용하여 천이 실행 영역을 포함하는 표시용 화상을 생성하여 표시부(206)에 표시시키는 시청 처리를 실행한다(스텝 S205).
이어서, 도 8을 참조하여, 뷰포인트의 천이 처리의 상세에 대하여 설명한다. 도 8은 뷰포인트의 천이 처리의 흐름도이다.
파일 처리부(203)는, 3DoF 콘텐츠의 세그먼트 파일을 파싱하여 메타데이터를 취득하고, 메타데이터로부터 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 취득한다(스텝 S211).
이어서, 파일 처리부(203)는, 표시할 3DoF 화상 데이터를 취득한다(스텝 S212).
이어서, 파일 처리부(203)는, 취득한 3DoF 화상 데이터를 복호 처리부(204)로 출력한다. 또한, 파일 처리부(203)는, 취득한 메타데이터를 표시 정보 생성부(205)로 출력한다. 복호 처리부(204)는, 3DoF 화상 데이터의 복호를 행하고, 복호한 3DoF 화상 데이터를 표시 정보 생성부(205)로 출력한다. 표시 정보 생성부(205)는, 3DoF 화상 데이터 및 메타데이터로부터 표시용 화상을 생성하여 표시부(206)에 표시시킨다(스텝 S213).
그 후, 파일 처리부(203)는, 조작자의 조작의 통지를 계측부(202)로부터 받는다(스텝 S214).
이어서, 파일 처리부(203)는, 입력된 조작이 천이 실행 영역에 대한 천이 트리거가 되는 조작인 것을 확인한다. 그리고, 파일 처리부(203)는, 조작에 따라 천이처의 뷰포인트를 특정한다. 이어서, 파일 처리부(203)는, 특정한 천이처의 뷰포인트의 뷰포인트 화상 데이터를 포함하는 세그먼트 파일을 취득한다(스텝 S215).
이어서, 파일 처리부(203)는, 천이처의 뷰포인트 화상 데이터를 취득하여 복호 처리부(204)에 복호를 행하게 한 후, 표시 정보 생성부(205)로 송신하여, 콘텐츠의 전환을 지시한다. 표시 정보 생성부(205)는, 천이처의 뷰포인트 화상 데이터와 함께, 콘텐츠의 전환 지시를 파일 처리부(203)로부터 받는다. 그 후, 표시 정보 생성부(205)는, 취득한 뷰포인트 화상 데이터로부터 표시용 화상을 생성하여, 표시부(206)에 표시시킴으로써, 표시용 화상의 뷰포인트를 천이처의 뷰포인트로 전환한다(스텝 S216).
이상에 설명한 바와 같이, 본 실시 형태에 관한 파일 생성 장치는, 각 3DoF 화상의 뷰포인트에 대하여 천이 가능한 뷰포인트를 나타내는 정보를 생성하고 대응지어 3DoF 콘텐츠 중에 저장한다. 이에 의해, 클라이언트 장치는, 표시 중인 3DoF 화상의 뷰포인트로부터 천이 가능한 뷰포인트를 식별하여 조작자에게 제공할 수 있다. 또한, 제공된 천이 가능한 뷰포인트 중에서 천이처의 뷰포인트를 지정하여 전환을 조작자가 지시하면, 클라이언트 장치는, 현재의 뷰포인트로부터 본 3DoF 화상으로부터, 지정된 뷰포인트로부터 본 3DoF 화상으로의 전환을 행할 수 있다. 즉, 본 실시 형태에 관한 배신 시스템에서는, 조작자는, 천이 가능한 뷰포인트를 인식할 수 있고, 천이 가능한 뷰포인트 중에서 천이처의 뷰포인트를 지정함으로써, 원하는 영상으로 천이시킬 수 있다. 이에 의해, 제작자가 의도한 대로 천이하고 싶은 화상으로의 천이와 같은 시청 체험을 이용자에게 제공할 수 있어, 이용자에게 고품질의 시청 체험을 제공할 수 있다.
[1. 1 제1 실시 형태의 변형예(1)]
이어서, 제1 실시 형태의 변형예(1)에 대하여 설명한다. 본 변형예에서는, 천이 식별 정보가, MPEG-DASH로 규정된 VWPT descriptor 내에 저장된다.
본 변형예에 관한 메타데이터 생성부(103)는, 천이 식별 정보를 저장하기 위해 MPD 파일에 있어서의 VWPT descriptor를 도 9에 나타낸 바와 같이 확장한다. 도 9는, VWPT descriptor의 확장예를 나타내는 도면이다. 메타데이터 생성부(103)는, 도 9의 최하행으로부터 2행의 ViewPointInfo.SwitchableContent 및 ViewPointInfo.SwitchableContent＠content를 VWPT descriptor에 새롭게 규정한다. ViewPointInfo.SwitchableContent＠content가, 뷰포인트의 식별 정보를 나타낸다.
파일 생성부(104)는, 도 10에 나타내는 신택스로 표현되는 3DoF 콘텐츠의 MPD 파일을 생성하고, VWPT descriptor에 ViewpintInfo.SwitchableContent를 저장한다. 도 10은, VWPT descriptor에 ViewpintInfo.SwitchableContent를 포함시킨 MPD 파일의 일례를 나타내는 도면이다. 도 10의 MPD 파일에서는, 뷰포인트마다 AdaptationoSet가 마련되고, 그 중의 SwitchableContent content의 값에 의해 그 뷰포인트로부터 천이 가능한 뷰포인트의 ID가 표현된다.
이상에 설명한 바와 같이 천이 식별 정보는, VWPT descriptor에 저장하는 것도 가능하다. 이와 같이, VWPT descriptor에 저장해도, 클라이언트 장치로 천이 가능한 viewport의 식별 정보를 제공할 수 있어, 이용자에게 고품질의 시청 체험을 제공할 수 있다.
[1. 2 제1 실시 형태의 변형예(2)]
이어서, 제1 실시 형태의 변형예(2)에 대하여 설명한다. 본 변형예에서는, 천이 가능한 천이처의 뷰포인트를 복수 포함하는 뷰포인트 그룹의 정보가, 천이 식별 정보로서 사용된다.
본 변형예에 관한 메타데이터 생성부(103)는, 각 뷰포인트에 식별 정보를 부가한다. 또한, 메타데이터 생성부(103)는, 복수의 뷰포인트를 통합한 뷰포인트 그룹을 생성하여 식별 정보를 부가한다. 예를 들어, 메타데이터 생성부(103)는, 뷰포인트의 식별 정보를 그룹화하여 뷰포인트 그룹을 생성한다. 그리고, 메타데이터 생성부(103)는, 각 뷰포인트에 대하여, 그 뷰포인트로부터 천이 가능한 뷰포인트를 통합한 뷰포인트 그룹을 선택한다. 그리고, 메타데이터 생성부(103)는, 뷰포인트 및 뷰포인트 그룹의 식별 정보를 사용하여, 각 뷰포인트의 뷰포인트 화상 데이터로부터 천이 가능한 뷰포인트 그룹을 식별하기 위한 천이 식별 정보를 생성한다. 그 후, 메타데이터 생성부(103)는, 천이 식별 정보를 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 천이 식별 정보의 입력을 메타데이터 생성부(103)로부터 받는다. 그리고, 파일 생성부(104)는, 도 11의 신택스(131)로 표시되는 천이 식별 정보를 나타내는 SwitchableContentStruct()를 새롭게 정의한다. 신택스(131)에 있어서의, VQPT_group_id가, 뷰포인트 그룹의 식별 정보에 해당한다. 도 11은, 천이처를 뷰포인트 그룹으로 하는 천이 식별 정보의 저장예를 나타내는 도면이다. 또한, 메타데이터 생성부(103)는, SwitchableContentStruct()를 ISOBMFF 파일의 ViewpointTrackGroup에 저장한다. 이에 의해, 파일 생성부(104)는, 그 ISOBMFF 파일에 저장된 뷰포인트 화상 데이터와 천이 식별 정보를 대응지어 그 뷰포인트 화상 데이터로부터 천이 가능한 뷰포인트 그룹을 식별 가능하게 한다.
이상에서는, 뷰포인트 그룹을 천이처로 했지만, 다른 영상의 정보를 천이처로 하는 것도 가능하다. 예를 들어, 메타데이터 생성부(103)는, 천이처의 다른 영상을 나타내는 정보로서, MPD를 나타내는 URL(Uniform Resource Locator)이나 Web상의 위치를 나타내는 URL 등과 같은 URL로 지정되는 다른 영상으로의 액세스 정보를 사용할 수 있다. 이 경우, 메타데이터 생성부(103)는, 천이처를 다른 영상으로 한 천이 식별 정보를 생성하여 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 천이처를 다른 영상으로 한 천이 식별 정보의 입력을 메타데이터 생성부(103)로부터 받는다. 그리고, 파일 생성부(104)는, 도 11의 신택스(132)로 표시되는 SwitchableContentStruct()를 새롭게 정의하여 천이 식별 정보를 저장한다. 신택스(32)에서는, MPD_URL이, 천이처의 다른 영상의 식별 정보에 해당한다.
이상에 설명한 바와 같이 본 변형예에 관한 파일 생성 장치에서는, 천이처로서 뷰포인트 이외를 지정하고, 클라이언트 장치에 천이처를 식별 가능하게 했다. 이와 같이, 뷰포인트 이외에도 천이처로 지정함으로써, 특정 뷰포인트 화상 데이터로 표현되는 화상으로부터의 천이처를 이용자에게 제공할 수 있어, 이용자에게 고품질의 시청 체험을 제공할 수 있다.
[2. 제2 실시 형태]
본 실시 형태에서는, 영상을 천이시키기 위해 사용되는 조작을 접수하는 영역이 되는 천이 실행 영역을 나타내는 천이 실행 영역의 생성에 대하여 상세하게 설명한다. 본 실시 형태에 관한 파일 생성 장치(1)는, 뷰포인트를 천이시키기 위한 인터렉티브한 영역으로서 천이 실행 영역을 제공한다. 본 실시예에 관한 파일 생성 장치(1)도 도 2의 블록도로 표현된다. 이하의 설명에서는, 제1 실시 형태와 동일한 각 부의 처리에 대해서는 설명을 생략하는 경우가 있다.
메타데이터 생성부(103)는, 제어 정보에 포함되는 뷰포인트의 위치 정보 및 방향 정보로부터, 천이원의 뷰포인트 화상에 있어서의 천이처의 뷰포인트에 대응하는 천이 실행 영역의 표시 위치를 산출한다. 메타데이터 생성부(103)는, 예를 들어 천이 실행 영역의 사이즈 및 뷰포인트 화상인 전천구 영상에 있어서의 표시 위치를 구하여 천이 실행 영역 정보로 한다. 본 실시 형태에서는, 메타데이터 생성부(103)는, 전천구 영상 위의 인터렉티브한 직사각형 영역을 천이 실행 영역으로 한다. 천이 실행 영역이 직사각형인 경우, 천이 실행 영역의 사이즈는 종횡의 길이로 표현된다. 예를 들어, 메타데이터 생성부(103)는, 전천구 화상 위에 있어서 뷰포인트 방향으로 천이 가능한 뷰포인트의 정보를 표시하는 영역으로서 천이 실행 영역을 결정하여 천이 실행 영역 정보를 생성한다. 또한, 메타데이터 생성부(103)는, 그 천이 실행 영역과 그 천이 실행 영역에 대응하는 뷰포인트의 식별 정보를 대응짓는 정보를 생성한다.
그리고, 메타데이터 생성부(103)는, 천이 실행 영역 정보 및 천이 실행 영역과 그 천이 실행 영역에 대응하는 뷰포인트를 대응짓는 정보를 파일 생성부(104)로 출력한다. 이때, 메타데이터 생성부(103)는, 천이 식별 정보도 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 천이 식별 정보, 천이 실행 영역 정보 및 천이 실행 영역과 그 천이 실행 영역에 대응하는 뷰포인트를 대응짓는 정보의 입력을 메타데이터 생성부(103)로부터 받는다. 이어서, 파일 생성부(104)는, 직사각형 영역인 천이 실행 영역을 나타내는 SphereRegionStruct()를 생성한다. 그리고, 파일 생성부(104)는, 도 12에 나타내는 SphereRegionStruct() 및 천이 식별 정보를 저장하는 RegionForViewpoint()를 새롭게 정의한다. 도 12는, SphereRegionStruct() 및 RegionForViewpoint()의 일례를 나타내는 도면이다. 신택스(211)에 있어서의 SphereRegionStruct()가 천이 실행 영역 정보에 해당한다. 또한, 신택스(211)에서는, viewpoint_id에 의해 천이 가능한 뷰포인트를 나타내는 천이 식별 정보가 저장된다. 즉, RegionForViewpoint()에는, 천이 식별 정보 및 천이 실행 영역 정보의 양쪽이 저장된다.
또한, 파일 생성부(104)는, 신택스(212)로 나타낸 바와 같이 ViewpointTrackGroup을 확장하고, 새롭게 정의한 RegionForViewpoint()를 ViewpointTrackGroup에 저장한다. 즉, 파일 생성부(104)는, ISOBMFF 파일의 TracckBox에 있어서의 ViewpointTrackGroupBox에 천이 실행 영역 정보를 저장한다. 클라이언트 장치(2)는, ViewpointTrackGroupBox에 저장된 천이 실행 영역 정보를 사용하여, 3DoF 영상을 시청하는 이용자에 대하여, 천이처의 영상에 관한 정보를 인터렉티브한 시각 정보로서 제공할 수 있다.
이상에 설명한 바와 같이 본 실시예에 관한 파일 장치는, 뷰포인트를 천이시키기 위한 인터렉티브한 영역을 천이 실행 영역으로서 3DoF 화상인 전천구 영상 위에 배치시킨다. 그리고, 클라이언트 장치는, 전천구 화상 위에 천이 실행 영역 정보를 배치하여 표시함으로써, 이용자에게 인터렉티브한 천이 실행 영역을 제공할 수 있어, 이용자의 시청 체험의 질을 향상시킬 수 있다.
[2. 1 제2 실시 형태의 변형예(1)]
본 변형예에 관한 파일 생성 장치(1)는, 천이 실행 영역을 OMAF의 기술을 사용하여 클라이언트 장치(2)에 제공한다. 여기서, OMAF의 오버레이에 대하여 설명한다.
기존의 OMAF기술에는, 전천구 영상 위에 다른 영상 등을 중첩하는 기술로서, 오버레이가 규정되어 있다. 오버레이에 의해 중첩되는 영상은, 동화상 또는 정지 화상의 어느 것이어도 된다. 중첩될 영상에 관한 정보의 저장처로서 ISOBMFF에 있어서 OverlayStruct()가 규정되어 있다. OverlayStruct()는, 동화상이라면 ISOBMFF 파일에 있어서의 VisualDample() 내에 저장되고, 정지 화상이라면 ISOBMFF 파일에 있어서의 ItemPropertyContainerBox() 내에 저장된다.
도 13은, 오버레이의 컨트롤 구조를 나타내는 도면이다. OverlayStruct() 내에는, 도 13에 있어서의 표 221로 표현되는 컨트롤 구조를 내용으로 하는 Overlay_control_struct[i]가 규정되어 있다. Overlay_control_struct[i]는, i의 값에 의해 다양한 오버레이의 구조를 나타내는 프로퍼티 정보가 제공된다. 이들 프로퍼티 중, i＝1인 경우의 SphereRelativeOmniOverlay()는, 전천구 영상 위의 오버레이 영역을 나타내는 프로퍼티이다. 또한, i＝10인 경우의 AssociatedSphereRegion()은, 오버레이에 관련하는 영역을 나타내는 프로퍼티이고, 이 영역이 클릭됨으로써, 연관되는 오버레이의 표시와 비표시를 전환하는 것이 가능하다.
본 변형예에 관한 파일 생성 장치(1)는, 이상에 설명한 OMAF의 오버레이의 기술을 사용하여 천이 실행 영역을 클라이언트 장치(2)에 제공한다. 이하에, 본 변형예에 있어서의 각 부의 처리에 대하여 설명한다.
메타데이터 생성부(103)는, 천이 실행 영역을 산출한다. 그리고, 메타데이터 생성부(103)는, OMAF의 오버레이에 대응하도록 천이 실행 정보를 생성한다. 그 후, 메타데이터 생성부(103)는, 천이 실행 정보를 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 천이 실행 영역 정보의 입력을 메타데이터 생성부(103)로부터 받는다. 그리고, 파일 생성부(104)는, 도 14에 있어서의 신택스(222)로 표현되는 SphereRelativeOmniOverlay()를 사용하여, 천이 실행 영역을 표시하는 전천구 화상 위의 영상 표시 영역을 오버레이로 나타낸다. 도 14는, SphereRelativeOmniOverlay() 및 AssociatiedSpereRegion()의 일례를 나타내는 도면이다.
SphereRelativeOmniOverlay()는, 전천구 화상 위의 오버레이의 영상 표시 영역을 나타낸다. 신택스(222)에 있어서의 proj_picture_width 및 proj_picture_hight가 오버레이의 영상 표시 영역에 부여될 화상을 나타낸다. 또한, 신택스(222)에 있어서의 proj_reg_width, roj_reg_hight, proj_reg_top 및 proj_reg_reft가 화상의 첩부처로 될 오버레이의 영상 표시 영역을 나타낸다.
또한, 본 실시 형태에 관한 파일 생성부(104)는, 오버레이의 컨트롤 구조에 있어서의 Overlay_control_struct[10]인 경우의 AssociatedSphereRegion()을 천이 실행 영역의 저장에 사용한다. AssociatiedSpereRegion()은, 오버레이에 관련하는 영역을 나타낸다. AssociatiedSpereRegion()으로 표시되는 영역은, 예를 들어 클릭되는 등의 조작이 행해진 경우에, 그 영역에 연관되는 오버레이의 표시와 비표시를 전환할 수 있는 영역이다.
이 경우, 파일 생성부(104)는, 도 14에 있어서의 신택스(223)로 표현되는 AssociatiedSpereRegion()을 생성한다. 여기서, 파일 생성부(104)는, 천이 실행 영역과 천이 가능한 뷰포인트를 연관시키기 위해, 신택스(223)로 나타낸 바와 같이 AssociatiedSpereRegion()을 확장하고, 연관되는 뷰포인트의 식별 정보인viewpoint_id를 저장한다.
이상에 설명한 바와 같이 본 변형예에서는 OMAF의 오버레이의 기술을 사용하여 전천구 영상 위에 천이 실행 영역을 표시시킨다. 이에 의해, 이용자는, 전천구 영상 위에 표시된 천이 실행 영역을 확인할 수 있어, 뷰포인트의 이동을 용이하게 행할 수 있다.
[2. 2 제2 실시 형태의 변형예(2)]
본 변형예에 관한 파일 생성 장치(1)는, 오버레이의 구조에 새로운 정의를 추가하고 그 구조를 사용하여 천이 실행 영역 정보를 저장한다. 이하에, 본 변형예에 있어서의 천이 실행 영역 정보의 저장 방법의 상세에 대하여 설명한다.
파일 생성부(104)는, AssociatedSphereRegion()을 사용하는 대신에, 도 15의 표 231에 나타낸 바와 같이, 오버레이의 컨트롤 구조를 나타내는 overlay_control_struct()에, 천이 실행 영역 정보를 저장하기 위한 새 선반에 새로운 컨트롤 구조를 규정한다. 도 15는, 천이 실행 영역 정보를 저장하기 위한 새 선반에 새로운 컨트롤 구조를 추가한 overlay_control_struct()의 일례를 나타내는 도면이다. 본 변형예에서는, 파일 생성부(104)는, overlay_control_struct()에 새로운 컨트롤 구조로서 i＝12에 Associatedviewpointregion()을 추가한다.
그리고, 파일 생성부(104)는, 도 16에 나타낸 바와 같은 신택스(232)로 표현되는 Associatedviewpointregion()을 생성한다. 도 16은, Associatedviewpointregion()의 일례를 나타내는 도면이다. 이 경우도, 파일 생성부(104)는, 천이 실행 영역을 뷰포인트에 연관시키는 정보를 Associatedviewpointregion()에 저장한다.
이상에 설명한 바와 같이, 본 변형예에서는 오버레이에 새로운 컨트롤 구조를 정의하여 전천구 영상 위에 천이 실행 영역을 표시시킨다. 이러한 방법에서도, 이용자는, 전천구 영상 위에 표시된 천이 실행 영역을 확인할 수 있어, 뷰포인트의 천이를 용이하게 행할 수 있다.
[2. 3 제2 실시 형태의 변형예(3)]
상술한 제2 실시 형태의 변형예(1)에서는, 천이 실행 영역과 천이 가능한 뷰포인트를 연관시키기 위해, AssociatedSphereRedion을 확장했다. 이에 비해, 본 변형예에 관한 파일 생성 장치(1)는, 오버레이의 구조에 새로운 정의를 추가하고 그 구조를 사용하여 천이 실행 영역과 천이 가능한 뷰포인트를 연관시킨다. 이하에, 본 변형예에 있어서의 천이 실행 영역의 저장 방법의 상세에 대하여 설명한다.
본 실시 형태에 관한 파일 생성부(104)는, 오버레이의 컨트롤 구조에 있어서의 Overlay_control_struct[10]인 경우의 AssociatedSphereRegion()을 천이 실행 영역 정보의 저장에 사용한다. 또한, 파일 생성부(104)는, 도 17의 표 241에 나타낸 바와 같이, overlay_control_struct()에 천이 식별 정보를 저장하기 위한 새 선반에 새로운 컨트롤 구조를 규정한다. 도 17은, 천이 식별 정보를 저장하기 위한 새 선반에 새로운 컨트롤 구조를 추가한 overlay_control_struct()의 일례를 나타내는 도면이다. 본 변형예에서는, 파일 생성부(104)는, overlay_control_struct()에 새로운 컨트롤 구조로서 i＝12에 Associatedviewpoint()를 추가한다.
도 18은, Associatedviewpointregion() 및 AssociatedViewpoint()의 일례를 나타내는 도면이다. 예를 들어, 파일 생성부(104)는, 도 18에 나타내는 신택스(242)로 표현되는 Associatedviewpointregion()을 생성한다. 또한, 파일 생성부(104)는, 신택스(243)로 표현되는 Associatedviewpoint()를 생성한다. 그리고, 파일 생성부(104)는, AssociatedSphereRegion()과 Associatedviewpoint()를 연관시킴으로써, 천이 실행 영역과 천이 가능한 뷰포인트의 연관짓기를 행한다.
이상에 설명한 바와 같이, 본 변형예에서는 오버레이에 새로운 컨트롤 구조를 정의하여 천이 가능한 뷰포인트의 정보를 저장하고, 천이 실행 영역과 연관짓기를 행한다. 이러한 방법으로도, 이용자는, 전천구 영상 위에 표시된 천이 실행 영역을 확인할 수 있어, 뷰포인트의 이동을 용이하게 행할 수 있다.
[2. 4 제2 실시 형태의 변형예(4)]
상술한 제2 실시 형태의 변형예(1) 내지 (3)에서는 영상 표시 영역과 천이 실행 영역을 별도 지정했지만, 이들 영역이 동일한 위치 및 동일한 사이즈인 경우에는, 동일한 영역이 2개소에서 정의되게 되어 비효율적이다. 그래서, 본 변형예에 관한 파일 생성 장치(1)는, 천이 실행 영역이 영상 표시 영역과 동일한 것을 나타내는 플래그를 사용하여 영역을 유용한다. 이하에, 본 변형예에 있어서의 천이 실행 영역의 저장 방법의 상세에 대하여 설명한다.
상기 메타데이터 생성부(103)는, OMAF의 오버레이에 있어서의 영상 표시 영역과 천이 실행 영역이 동일해지도록 천이 실행 영역을 결정한다. 그리고, 메타데이터 생성부(103)는, 영상 표시 영역과 천이 실행 영역이 일치하는 것을 나타내는 플래그를 생성한다. 그리고, 메타데이터 생성부(103)는, 영상 표시 영역과 천이 실행 영역이 일치하는 것을 나타내는 플래그를 포함하는 천이 실행 영역 정보를 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 영상 표시 영역과 천이 실행 영역이 일치하는 것을 나타내는 플래그를 포함하는 천이 실행 영역 정보의 입력을 메타데이터 생성부(103)로부터 받는다. 그리고, 파일 생성부(104)는, ShereRalativeOverlay()에 있어서 영상 표시 영역을 지정한다. 이어서, 파일 생성부(104)는, 천이 실행 영역 정보를 저장하는 AssociatedSphereRegion()을 생성한다. 또한, 파일 생성부(104)는, 도 19의 신택스(251)로 나타낸 바와 같이, AssociatedSphereRegion()을 확장하고, 천이 실행 영역이 영상 표시 영역과 동일한 것을 나타내는 플래그를 설정한다. 도 19는, 영상 표시 영역을 천이 실행 영역에 유용하는 경우의 AssociatedSphereRegion()의 일례를 나타내는 도면이다. 파일 생성부(104)는, AssociatedSphereRegion()에 설정한 플래그를 사용하여 천이 실행 영역이 영상 표시 영역과 일치하는 것을 나타냄으로써, 천이 실행 영역의 정보를 저장하지 않고 영상 표시 영역의 정보를 천이 실행 영역에 유용시킨다.
여기서, 본 변형예에서는, AssociatedSphereRegion()을 사용하는 경우로 설명했지만, 파일 생성부(104)는, 천이 실행 영역을 나타내기 위해 AssociatedViewpointRegion()을 사용하는 것도 가능하다. 그 경우도, 파일 생성부(104)는, AssociatedViewpointRegion()에 천이 실행 영역이 영상 표시 영역과 동일한 것을 나타내는 플래그를 설정함으로써, 영상 표시 영역의 정보를 천이 실행 영역에 유용할 수 있다.
이상에 설명한 바와 같이 본 변형예에서는 AssociatedSphereRegion()에 새롭게 마련한 플래그를 사용하여 영상 표시 영역의 정보를 천이 실행 영역에 유용한다. 이에 의해, 데이터의 삭감을 도모하는 것이 가능하게 된다.
[제2 실시 형태의 변형예(4)]
상술한 제2 실시 형태에서는 천이 실행 영역 정보가 항상 3DoF 화상인 전천구 영상 위에 표시된다. 그 때문에, 뷰포인트의 천이에 흥미가 없는 이용자에게는 불필요한 정보가 제시되게 되어, 이용자의 시청 체험의 품질이 저하될 우려가 있다. 그래서, 본 변형예에 관한 파일 생성 장치(1)는, 천이 실행 영역을 포함하는 동일한 전천구 화상을 이용자가 일정 시간 보고 있는 경우에 천이 실행 영역 정보를 전천구 영상 위에 표시한다. 이하에, 본 변형예에 있어서의 천이 실행 영역 정보의 저장 방법의 상세에 대하여 설명한다.
메타데이터 생성부(103)는, 천이 실행 영역 정보를 산출한다. 또한, 메타데이터 생성부(103)는, 전천구 영상 위로의 천이 실행 영역의 표시를 제어하는 시간 정보를 생성한다. 예를 들어, 메타데이터 생성부(103)는, 표시한 전천구 영상에 연관되는 천이 실행 영역 정보가 표시될 때까지의 시간을 나타내는 시간 정보를 생성한다. 그리고, 메타데이터 생성부(103)는, 천이 실행 영역 정보와 함께 시간 정보를 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 천이 실행 영역 정보 및 시간 정보의 입력을 메타데이터 생성부(103)로부터 받는다. 그리고, 파일 생성부(104)는, SphereRegionStruct() 및 천이 식별 정보를 저장하는 RegionForViewpoint()를 새롭게 정의한다. 또한, 파일 생성부(104)는, RegionForViewpoint()에 시간 정보를 저장한다.
예를 들어, 파일 생성부(104)는, 도 20의 신택스(261)로 나타낸 바와 같이, 표시한 전천구 영상에 연관되는 천이 실행 영역 정보가 표시될 때까지의 시간을 RegionForViewpoint()에 저장한다. 도 20은, 일정 시간 후에 천이 실행 영역 정보를 표시하는 경우의 RegionForViewpoint()의 일례를 나타내는 도면이다. 신택스(261)에 있어서의 time_to_ovelay가, 천이 실행 영역 정보를 표시할 때까지의 시간이다.
클라이언트 장치(2)의 파일 처리부(203)는, RegionForViewpoint()에 포함되는 천이 실행 영역 정보가 표시될 때까지의 시간을 취득한다. 그리고, 파일 처리부(203)는, 3DoF 화상의 표시를 표시 정보 생성부(205)에 행하게 하고 나서 그 3DoF 화상이 표시된 상태로 지정된 시간이 경과하면, 실행 영역의 표시를 표시 정보 생성부(205)에 지시한다. 이에 의해, 클라이언트 장치(2)에서는 3DoF 화상의 표시로부터 일정 시간 경과 후에 천이 실행 영역이 표시되어, 뷰포인트의 천이가 가능하게 된다.
이상에 설명한 바와 같이 본 변형예에서는, 전천구 영상 상의 천이 실행 영역 정보를 처음에는 표시하지 않고 일정 시간 경과 후에 표시한다. 이에 의해, 이용자가 천이 실행 영역에 대하여 흥미가 있고, 뷰포인트의 천이를 행할 가능성이 높은 경우에 천이 실행 영역 정보가 표시되게 된다. 따라서, 불필요한 정보의 표시를 삭감할 수 있어, 이용자의 시청 체험의 질을 향상시킬 수 있다.
[3. 제3 실시 형태]
본 실시 형태에서는, 뷰포인트를 천이시키는 경우의 조작의 정보인 천이 트리거 정보의 생성에 대하여 상세하게 설명한다. 본 실시예에 관한 파일 생성 장치(1)는, 뷰포인트를 천이시킬 때의, 영역에 대한 조작(유저 인터랙션)을 전환하는 정보를 클라이언트 장치(2)에 제공한다. 본 실시예에 관한 파일 생성 장치(1)도 도 2의 블록도로 표현된다. 이하의 설명에서는, 제1 실시 형태와 마찬가지의 각 부의 처리에 대해서는 설명을 생략하는 경우가 있다.
메타데이터 생성부(103)는, 조작자로부터 지정된 유저 인터랙션의 정보에 따라, 유저 인터랙션을 나타내는 천이 트리거 정보를 생성한다. 지정된 유저 인터랙션이 복수인 경우, 메타데이터 생성부(103)는, 각 유저 인터랙션 사이에 전환이 가능한 것을 나타내는 천이 트리거 정보를 생성한다. 예를 들어, 유저 인터랙션으로서 클릭과 줌이 지정된 경우, 메타데이터 생성부(103)는, 클릭과 줌이 전환 가능함을 포함하는 천이 트리거 정보를 생성한다. 또한, 메타데이터 생성부(103)는, 예를 들어 유저 인터랙션으로서 줌을 사용하는 경우에는, 천이가 일어나는 줌의 역치를 설정하여 천이 트리거 정보에 추가해도 된다. 그 후, 메타데이터 생성부(103)는, 생성한 천이 트리거 정보를 파일 생성부(104)로 출력한다.
파일 생성부(104)는, 천이 트리거 정보의 입력을 메타데이터 생성부(103)로부터 받는다. 이어서, 파일 생성부(104)는, SphereRegionStruct() 및 천이 식별 정보를 저장하는 RegionForViewpoint()를 새롭게 정의한다. 또한, 파일 생성부(104)는, 도 21의 신택스(311)로 나타낸 바와 같이, 영역에 대한 유저 인터랙션을 전환하기 위한 정보를 RegionForViewpoint()에 저장한다. 도 21은, 유저 인터랙션을 전환하는 경우의 RegionForViewpoint()의 일례를 나타내는 도면이다.
신택스(311)에 있어서의 action_control_flag가, 천이 실행 영역에 대한 유저 인터랙션을 전환하기 위한 플래그이다. 예를 들어, 파일 생성부(104)는, 다음과 같이 action_control_flag를 정의한다. action_control_flag의 값이 0인 경우, 천이 실행 영역을 클릭함으로써 viewpoint_id에 의해 지정된 뷰포인트로부터 본 전천구 영상으로 전환된다. 또한, action_control_flag의 값이 1인 경우, 천이 실행 영역에 대한 줌을 행함으로써 viewpoint_id에 의해 지정된 뷰포인트로부터 본 전천구 영상으로 전환된다.
또한, 파일 생성부(104)는, 유저 인터랙션이 줌인 경우에는, 신택스(311)에 나타낸 바와 같이 천이가 일어나는 줌의 역치를 설정한다. 신택스(311)에 있어서의 Zoom_threshold는, 천이의 트리거가 되는 유저 인터랙션이 줌인 경우의 천이를 실행하는 역치이다. 예를 들어, 파일 생성부(104)는, 다음과 같이 Zoom_threshold를 규정한다. Zoom_threshold>1이라고 정의된 경우, 천이 가능 영역으로의 줌 인의 줌율이 1보다 큰 경우에 천이를 실행한다. 또한, Zoom_threshold<1이라고 정의된 경우, 천이 가능 영역으로의 줌 아웃의 줌율이 1보다 큰 경우에 천이를 실행한다.
이 유저 인터랙션의 전환 정보의 설정 및 천이를 발생시키는 역치의 설정은, 제2 실시 형태의 변형예(2) 등의 AssociatedSphereRegion()에 적용하는 것도 가능하다. 또한, 본 실시예에서는, 클릭 및 줌을 유저 인터랙션으로서 사용하는 경우로 설명했지만, 다른 조작에서도 마찬가지로 설정하는 것이 가능하다.
[4. 제4 실시 형태]
이상의 각 실시 형태 및 그것들의 각 변형예에서는 ISOBMFF에 저장하는 경우를 설명했다. 단, 도 22에 나타내는 Matroska Media Container(http://www.matroska.org/)를 사용하여 전송하는 경우라도 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 제공하는 것이 가능하다. 도 22는, Matroska Media Container의 포맷을 나타내는 도면이다. 그 경우, 파일 생성부(104)는, Track Entry element에 새롭게 정의한 element에 천이 식별 정보, 천이 실행 영역 정보 및 천이 트리거 정보를 저장한다.
[하드웨어 구성]
도 23은, 컴퓨터의 하드웨어 구성도이다. 파일 생성 장치(1) 및 클라이언트 장치(2)는, 도 23에 나타내는 컴퓨터(90)에 의해 실현 가능하다. 컴퓨터(90)에 있어서, 프로세서(91), 메모리(92), 네트워크 인터페이스(93), 불휘발성 스토리지(94), 입출력 인터페이스(95) 및 디스플레이 인터페이스(86)는, 버스를 통해 서로 접속된다.
입출력 인터페이스(95)에는, 예를 들어 입력 장치, 출력 장치, 기억 장치 및 드라이브와 같은 외부 디바이스가 접속된다. 입력 장치는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등이다. 출력 장치는, 예를 들어 스피커, 출력 단자 등이다. 기억 장치는, 예를 들어 하드 디스크, RAM(Random Access Memory) 디스크 등이다. 드라이브는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어를 구동한다. 또한, 디스플레이 인터페이스(96)에는, 표시 장치인 디스플레이(98)가 접속된다.
네트워크 인터페이스(93)는, 외부의 네트워크에 접속된다. 파일 생성 장치(1) 및 클라이언트 장치(2)는, 네트워크 인터페이스(93)를 통해 서로 접속된다. 또한, 파일 생성 장치(1) 및 클라이언트 장치(2)는, 네트워크 인터페이스(93)를 통해 Web 서버(3)에 접속된다. 불휘발성 스토리지(94)는, 하드 디스크나 SSD(Solid State Drive) 등의 내장의 보조 기억 장치이다.
이상과 같이 구성되는 컴퓨터(90)에서는, 프로세서(91)가, 예를 들어 불휘발성 스토리지(94)에 기억되어 있는 프로그램을, 버스를 통해, 메모리(92)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. 메모리(92)에는 또한, 프로세서(91)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.
프로세서(91)가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어를 외부 디바이스(97)인 드라이브에 장착함으로써, 입출력 인터페이스(95)를 통해, 불휘발성 스토리지(94)에 인스톨할 수 있다.
또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 그 경우, 프로그램은, 네트워크 인터페이스(93)에서 수신하여, 불휘발성 스토리지(94)에 인스톨할 수 있다.
기타, 이 프로그램은, 불휘발성 스토리지(94)에, 미리 인스톨해 둘 수도 있다.
이상, 본 개시의 실시 형태에 대하여 설명했지만, 본 개시의 기술적 범위는, 상술한 실시 형태 그대로 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다. 또한, 다른 실시 형태 및 변형예에 걸치는 구성 요소를 적절히 조합해도 된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성을 취할 수도 있다.
(1) 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 생성하는 메타데이터 생성부와,
상기 제1 영상의 데이터 및 상기 천이 식별 정보를 포함하는 파일을 생성하는 파일 생성부
를 구비한 정보 처리 장치.
(2) 상기 메타데이터 생성부는, 상기 제2 뷰포인트를 특정하기 위한 식별 정보를 포함하는 상기 천이 식별 정보를 생성하는 부기 (1)에 기재된 정보 처리 장치.
(3) 상기 메타데이터 생성부는, 상기 제2 뷰포인트를 복수 포함하는 뷰포인트 그룹의 식별 정보를 포함하는 상기 천이 식별 정보를 생성하는 부기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4) 상기 메타데이터 생성부는, URL(Uniform Resource Locator)로 지정되는 다른 영상으로의 액세스 정보를 포함하는 상기 천이 식별 정보를 생성하는 부기 (1) 내지 (3)의 어느 하나에 기재된 정보 처리 장치.
(5) 상기 파일 생성부는, 상기 식별 정보를 ISOBMFF 파일의 TrackBox에 있어서의 ViewpointTrackGroupBox에 저장하는 부기 (1) 내지 (4)의 어느 하나에 기재된 정보 처리 장치.
(6) 상기 파일 생성부는, 상기 식별 정보를 MPD(Media Presentation Description) 파일의 VWPT descriptor에 저장하는 부기 (1) 내지 (4)의 어느 하나에 기재된 정보 처리 장치.
(7) 상기 메타데이터 생성부는, 상기 제1 뷰포인트로부터 상기 제2 뷰포인트로 천이시키기 위한 조작을 접수하는 상기 제1 영상 상의 천이 실행 영역을 나타내는 천이 실행 영역 정보를 생성하고,
상기 파일 생성부는, 상기 파일에 상기 천이 실행 영역 정보를 포함시키는
부기 (1)에 기재된 정보 처리 장치.
(8) 상기 메타데이터 생성부는, 상기 천이 실행 영역의 사이즈 및 상기 제1 영상에 있어서의 표시 위치를 포함하는 상기 천이 실행 영역 정보를 생성하는 부기 (7)에 기재된 정보 처리 장치.
(9) 상기 파일 생성부는, ISOBMFF 파일의 TrackBox에 있어서의 ViewpointTrackGroupBox에 상기 천이 실행 영역 정보를 저장하는 부기 (7) 또는 (8)에 기재된 정보 처리 장치.
(10) 상기 메타데이터 생성부는, OMAF에 있어서의 오버레이에 의해 상기 천이 실행 영역 정보를 나타내는 부기 (7) 또는 (8)에 기재된 정보 처리 장치.
(11) 상기 메타데이터 생성부는, 상기 천이 실행 영역이 상기 오버레이에 있어서의 영상 표시 영역과 동일한 것을 나타내는 플래그를 포함하는 상기 천이 실행 영역 정보를 생성하는 부기 (10)에 기재된 정보 처리 장치.
(12) 상기 메타데이터 생성부는, 상기 제1 영상 위로의 상기 천이 실행 영역의 표시를 제어하는 시간 정보가 포함되는 부기 (7) 내지 (11)의 어느 하나에 기재된 정보 처리 장치.
(13) 상기 메타데이터 생성부는, 상기 제1 뷰포인트로부터 상기 제2 뷰포인트로의 천이를 발생시키는 조작을 나타내는 천이 트리거 정보를 생성하고,
상기 파일 생성부는, 상기 파일에 상기 천이 실행 영역 정보를 포함시키는
부기 (1)에 기재된 정보 처리 장치.
(14) 상기 메타데이터 생성부는, 클릭에 의해 상기 천이를 발생시키는 것을 나타내는 상기 천이 트리거 정보를 생성하는 부기 (13)에 기재된 정보 처리 장치.
(15) 상기 메타데이터 생성부는, 줌에 의해 상기 천이를 발생시키는 것을 나타내는 상기 천이 트리거 정보를 생성하는 부기 (13) 또는 (14)에 기재된 정보 처리 장치.
(16) 상기 메타데이터 생성부는, 상기 천이를 발생시키는 상기 줌의 역치를 포함하는 상기 천이 트리거 정보를 생성하는 부기 (15)에 기재된 정보 처리 장치.
(17) 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 생성하고,
상기 제1 영상의 데이터 및 상기 천이 식별 정보를 포함하는 파일을 생성하는
처리를 컴퓨터에 실행시키는 정보 처리 방법.
(18) 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 포함하는 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의해 취득된 상기 파일로부터 상기 천이 식별 정보를 취득하고, 취득한 상기 천이 식별 정보를 기초로, 상기 제1 뷰포인트로부터 천이 가능한 상기 제2 뷰포인트를 특정하는 파일 처리부와,
상기 제1 영상을 재생하고, 또한 상기 파일 처리부에 의해 특정된 상기 제2 뷰포인트의 정보를 출력하는 재생부
를 구비한 재생 처리 장치.
(19) 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 포함하는 파일을 취득하고,
취득한 상기 파일로부터 상기 천이 식별 정보를 취득하고, 취득한 상기 천이 식별 정보를 기초로, 상기 제1 뷰포인트로부터 천이 가능한 상기 제2 뷰포인트를 특정하고,
상기 제1 영상을 재생하고, 또한 특정한 상기 제2 뷰포인트의 정보를 출력하는
처리를 컴퓨터에 실행시키는 재생 처리 방법.
1: 파일 생성 장치
2: 클라이언트 장치
3: Web 서버
4: 네트워크
10: 파일 생성 처리부
11: 제어부
12: 통신부
20: 재생 처리부
21: 제어부
22: 통신부
100: 배신 시스템
101: 데이터 취득부
102: 부호화부
103: 메타데이터 생성부
104: 파일 생성부
201: 파일 취득부
202: 계측부
203: 파일 처리부
204: 복호 처리부
205: 표시 정보 생성부
206: 표시부

Claims (19)

  1. 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 생성하는 메타데이터 생성부와,
    상기 제1 영상의 데이터 및 상기 천이 식별 정보를 포함하는 파일을 생성하는 파일 생성부를 구비한, 정보 처리 장치.
  2. 제1항에 있어서, 상기 메타데이터 생성부는, 상기 제2 뷰포인트를 특정하기 위한 식별 정보를 포함하는 상기 천이 식별 정보를 생성하는, 정보 처리 장치.
  3. 제1항에 있어서, 상기 메타데이터 생성부는, 상기 제2 뷰포인트를 복수 포함하는 뷰포인트 그룹의 식별 정보를 포함하는 상기 천이 식별 정보를 생성하는, 정보 처리 장치.
  4. 제1항에 있어서, 상기 메타데이터 생성부는, URL(Uniform Resource Locator)로 지정되는 다른 영상으로의 액세스 정보를 포함하는 상기 천이 식별 정보를 생성하는, 정보 처리 장치.
  5. 제1항에 있어서, 상기 파일 생성부는, 상기 천이 식별 정보를 ISOBMFF 파일의 TrackBox에 있어서의 ViewpointTrackGroupBox에 저장하는, 정보 처리 장치.
  6. 제1항에 있어서, 상기 파일 생성부는, 상기 천이 식별 정보를 MPD(Media Presentation Description) 파일의 VWPT descriptor에 저장하는, 정보 처리 장치.
  7. 제1항에 있어서, 상기 메타데이터 생성부는, 상기 제1 뷰포인트로부터 상기 제2 뷰포인트로 천이시키기 위한 조작을 접수하는 상기 제1 영상 상의 천이 실행 영역을 나타내는 천이 실행 영역 정보를 생성하고,
    상기 파일 생성부는, 상기 천이 실행 영역 정보를 포함하는 상기 파일을 생성하는, 정보 처리 장치.
  8. 제7항에 있어서, 상기 메타데이터 생성부는, 상기 천이 실행 영역의 사이즈 및 상기 제1 영상에 있어서의 표시 위치를 포함하는 상기 천이 실행 영역 정보를 생성하는, 정보 처리 장치.
  9. 제7항에 있어서, 상기 파일 생성부는, ISOBMFF 파일의 TrackBox에 있어서의 ViewpointTrackGroupBox에 상기 천이 실행 영역 정보를 저장하는, 정보 처리 장치.
  10. 제7항에 있어서, 상기 메타데이터 생성부는, OMAF에 있어서의 오버레이에 의해 상기 천이 실행 영역 정보를 나타내는, 정보 처리 장치.
  11. 제10항에 있어서, 상기 메타데이터 생성부는, 상기 천이 실행 영역과 상기 오버레이에 있어서의 영상 표시 영역이 상기 제1 영상 위의 동일한 영역인 것을 나타내는 플래그를 포함하는 상기 천이 실행 영역 정보를 생성하는, 정보 처리 장치.
  12. 제7항에 있어서, 상기 메타데이터 생성부는, 상기 제1 영상 위로의 상기 천이 실행 영역의 표시를 제어하는 시간 정보가 포함되는, 정보 처리 장치.
  13. 제1항에 있어서, 상기 메타데이터 생성부는, 상기 제1 뷰포인트로부터 상기 제2 뷰포인트로의 천이를 발생시키는 조작을 나타내는 천이 트리거 정보를 생성하고,
    상기 파일 생성부는, 상기 천이 트리거 정보를 포함하는 상기 파일을 생성하는, 정보 처리 장치.
  14. 제13항에 있어서, 상기 메타데이터 생성부는, 클릭에 의해 상기 천이를 발생시키는 것을 나타내는 상기 천이 트리거 정보를 생성하는, 정보 처리 장치.
  15. 제13항에 있어서, 상기 메타데이터 생성부는, 줌에 의해 상기 천이를 발생시키는 것을 나타내는 상기 천이 트리거 정보를 생성하는, 정보 처리 장치.
  16. 제15항에 있어서, 상기 메타데이터 생성부는, 상기 천이를 발생시키는 상기 줌의 역치를 포함하는 상기 천이 트리거 정보를 생성하는, 정보 처리 장치.
  17. 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 생성하고,
    상기 제1 영상의 데이터 및 상기 천이 식별 정보를 포함하는 파일을 생성하는 처리를 컴퓨터에 실행시키는, 정보 처리 방법.
  18. 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 포함하는 파일을 취득하는 파일 취득부와,
    상기 파일 취득부에 의해 취득된 상기 파일로부터 상기 천이 식별 정보를 취득하고, 취득한 상기 천이 식별 정보를 기초로, 상기 제1 뷰포인트로부터 천이 가능한 상기 제2 뷰포인트를 특정하는 파일 처리부와,
    상기 제1 영상을 재생하고, 또한 상기 파일 처리부에 의해 특정된 상기 제2 뷰포인트의 정보를 출력하는 재생부를 구비한, 재생 처리 장치.
  19. 제1 뷰포인트를 시점 위치로 하는 제1 영상으로부터 천이 가능한 제2 영상에 있어서의 시점 위치인 제2 뷰포인트를 식별하기 위한 천이 식별 정보를 포함하는 파일을 취득하고,
    취득한 상기 파일로부터 상기 천이 식별 정보를 취득하고, 취득한 상기 천이 식별 정보를 기초로, 상기 제1 뷰포인트로부터 천이 가능한 상기 제2 뷰포인트를 특정하고,
    상기 제1 영상을 재생하고, 또한 특정한 상기 제2 뷰포인트의 정보를 출력하는 처리를 컴퓨터에 실행시키는, 재생 처리 방법.
KR1020217041681A 2019-07-03 2020-06-29 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법 KR20220031560A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962870507P 2019-07-03 2019-07-03
US62/870,507 2019-07-03
PCT/JP2020/025591 WO2021002338A1 (ja) 2019-07-03 2020-06-29 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Publications (1)

Publication Number Publication Date
KR20220031560A true KR20220031560A (ko) 2022-03-11

Family

ID=74100136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217041681A KR20220031560A (ko) 2019-07-03 2020-06-29 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법

Country Status (5)

Country Link
EP (1) EP3996376A4 (ko)
JP (1) JPWO2021002338A1 (ko)
KR (1) KR20220031560A (ko)
CN (1) CN114026849A (ko)
WO (1) WO2021002338A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949829B (zh) * 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5520471B2 (ja) * 2008-11-11 2014-06-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
MX364810B (es) * 2013-07-19 2019-05-07 Sony Corp Dispositivo y método de procesamiento de información.
JP2015187797A (ja) * 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US10272329B2 (en) * 2016-08-10 2019-04-30 Google Llc Cooperative immersive live action 360-degree video and virtual reality
JP6963399B2 (ja) * 2017-03-16 2021-11-10 株式会社スクウェア・エニックス プログラム、記録媒体、画像生成装置、画像生成方法
JP6742515B2 (ja) * 2017-05-17 2020-08-19 三菱電機株式会社 符号化映像再生装置および符号化映像再生方法
US11178377B2 (en) * 2017-07-12 2021-11-16 Mediatek Singapore Pte. Ltd. Methods and apparatus for spherical region presentation
JPWO2019031306A1 (ja) * 2017-08-07 2020-08-06 シャープ株式会社 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
US10848737B2 (en) * 2017-09-26 2020-11-24 Lg Electronics Inc. Overlay processing method in 360 video system, and device thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"ISO/IEC" 14496-12:2015 Information technology. Coding of audio-visual objects. Part 12:ISO base media file format, 2015-12

Also Published As

Publication number Publication date
WO2021002338A1 (ja) 2021-01-07
EP3996376A1 (en) 2022-05-11
JPWO2021002338A1 (ko) 2021-01-07
CN114026849A (zh) 2022-02-08
US20220150461A1 (en) 2022-05-12
EP3996376A4 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
TWI740347B (zh) 發信點雲多媒體資料的視埠以及興趣區域的方法及裝置
CN109155874B (zh) 虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序
US11356648B2 (en) Information processing apparatus, information providing apparatus, control method, and storage medium in which virtual viewpoint video is generated based on background and object data
US11178377B2 (en) Methods and apparatus for spherical region presentation
CN111316652A (zh) 使用对齐编码内容片段的个性化内容流
US11451838B2 (en) Method for adaptive streaming of media
US10931930B2 (en) Methods and apparatus for immersive media content overlays
JP2017139628A (ja) 通信装置、通信システム、通信制御方法およびコンピュータプログラム
KR20230112147A (ko) 고품질의 경험을 위한 오디오 메시지들의 효율적인전달 및 사용을 위한 방법 및 장치
US11967153B2 (en) Information processing apparatus, reproduction processing apparatus, and information processing method
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
WO2021065605A1 (ja) 情報処理装置および情報処理方法
TW201942821A (zh) 資訊處理裝置、資訊處理方法、及程式
KR20220031560A (ko) 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법
US20230224512A1 (en) System and method of server-side dynamic adaptation for split rendering
CN113574899A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
US11922561B2 (en) Methods and systems for implementing scene descriptions using derived visual tracks
TW201942713A (zh) 資訊處理裝置、資料處理方法、及程式
US20220239994A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
US11985290B2 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
US11974028B2 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
US20230156257A1 (en) Information processing apparatus, information processing method, and storage medium
US20230007314A1 (en) System and method of server-side dynamic spatial and temporal adaptations for media processing and streaming
US20220337800A1 (en) Systems and methods of server-side dynamic adaptation for viewport-dependent media processing