KR20190100193A - 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법 - Google Patents

생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법 Download PDF

Info

Publication number
KR20190100193A
KR20190100193A KR1020197017451A KR20197017451A KR20190100193A KR 20190100193 A KR20190100193 A KR 20190100193A KR 1020197017451 A KR1020197017451 A KR 1020197017451A KR 20197017451 A KR20197017451 A KR 20197017451A KR 20190100193 A KR20190100193 A KR 20190100193A
Authority
KR
South Korea
Prior art keywords
margin
area
region
image
generating device
Prior art date
Application number
KR1020197017451A
Other languages
English (en)
Other versions
KR102412955B1 (ko
Inventor
료헤이 다카하시
미츠히로 히라바야시
오지 나카가미
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190100193A publication Critical patent/KR20190100193A/ko
Application granted granted Critical
Publication of KR102412955B1 publication Critical patent/KR102412955B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 기술은, 마진 있는 영역과 마진 없는 영역을 용이하게 취득할 수 있도록 하는 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법에 관한 것이다. 식별 정보 생성부가, 전천구 화상이 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성한다. 마진을 이용하는 클라이언트가 용이하게 마진을 포함하는 영역을 취득할 수 있고, 마진을 이용하지 않는 클라이언트가 용이하게 마진을 포함하지 않는 영역을 취득할 수 있다. 본 기술은, 전천구 화상을 서버로부터 송신하고 클라이언트측에서 수신하여 재생하는 경우에 적용할 수 있다.

Description

생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법
본 기술은 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법에 관한 것이며, 특히 마진 있는 영역과 마진 없는 영역을 용이하게 취득할 수 있도록 한 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법에 관한 것이다.
멀티 카메라에 의하여 촬영된 촬영 화상으로부터, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 2D 화상(평면 화상)에 매핑한 전천구 화상을 생성하고, 부호화하여 기록하는 기록 장치가 있다(예를 들어 특허문헌 1 참조).
이와 같은 기록 장치에서는 전천구 화상의 생성 방법으로서, 정거 원통 도법을 이용한 방법이나 큐브 매핑 방법 등이 이용된다. 전천구 화상의 생성 방법이 정거 원통 도법을 이용한 방법인 경우, 전천구 화상은, 촬영 화상을 구의 면에 매핑하였을 때의 구의 정거 원통 도법에 의한 화상이다. 또한 전천구 화상의 생성 방법이 큐브 매핑 방법인 경우, 전천구 화상은, 촬영 화상을 입방체(큐브)의 면에 매핑하였을 때의 입방체의 전개도의 화상이다.
한편, 동화상 콘텐츠의 스트리밍 방식으로서 MPEG-DASH(Moving Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP)가 있다. MPEG-DASH에서는, 동화상 콘텐츠의 부호화 스트림을 관리하는 관리 파일이 배신 서버로부터 클라이언트에 송신되고, 클라이언트는 관리 파일에 기초하여, 재생 대상으로 하는 부호화 스트림을 선택하여 배신 서버에 요구한다.
일본 특허 공개 제2006-14174호 공보
그런데 전천구 화상에 있어서는 다음과 같은 과제가 있다.
(1) 프로젝티드 프레임(projected frame) 상에서 비연속이고 프로젝션 스트럭처(projection structure) 상에서 인접하는 면을 접속할 때 화질이 악화된다.
(2) 큐브 프로젝션 매핑 등 다면 프로젝션 스트럭처(projection structure) 사용 시의 면 경계에 있어서 텍스처 화소를 보완하면 화질이 악화된다.
(3) 전천구 화상의 전체가 저해상도이고, 시선의 중심 부근의 특정 영역만이 고해상도 화상인 경우, 저해상도 레이어 화상에 고해상도 레이어 화상을 중첩시키면 경계의 화질이 악화된다.
그래서, 전천구 화상의 영역 주위에 마진을 마련함으로써 화질의 악화를 억제할 것이 기대되고 있다.
마진을 배신하기 위한 방법으로서, 마진 없는 영역으로부터 마진으로서 연장되는 화소 수를 배신하거나, 마진 있는 영역 중의 마진의 비율을 배신하는 것이 알려져 있다. 그러나 이 경우, 클라이언트가 마진 있는 및 없는 영역을 인식하는 데 있어서, 배신 방법에 따라 리전(region) 산출 처리를 행해야만 하였다. 그 결과, 클라이언트는 용이하게 마진 있는 영역과 마진 없는 영역을 취득하는 것이 곤란하였다.
본 기술은 이와 같은 상황을 감안하여 이루어진 것이며, 마진 있는 영역과 마진 없는 영역을 용이하게 취득할 수 있도록 하는 것이다.
본 기술의 일 측면은, 전천구 화상이 상기 전천구 화상의 영역에, 생성된 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성하는 식별 정보 생성부를 구비하는 생성 장치이다.
생성 장치에는, 상기 전천구 화상의 영역의 마진을 생성하는 마진 생성부를 더 마련할 수 있다.
상기 마진은 상기 영역의 외측에 형성될 수 있다.
상기 마진을 갖는 영역의 영역 정보는 구 좌표계 또는 2차원 좌표계로 표시될 수 있다.
상기 영역 정보는 프로젝티드 프레임(projected frame) 또는 팩트 프레임(packed frame)의 정보로서 표시될 수 있다.
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 영역이 상기 마진을 갖는 경우에 기술될 수 있다.
상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 영역이 리전와이즈 패킹(region-wise packing)되어 있는 경우에 기술될 수 있다.
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 프로젝티드 프레임(projected frame)의 상기 마진을 포함하는 영역의 폭과 높이, 및 상기 폭과 상기 높이 방향의 상기 마진의 할당을 식별하는 할당 식별 정보를 포함할 수 있다.
상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 프로젝티드 프레임(projected frame)의 상기 마진을 포함하는 영역의 폭과 높이, 및 상기 영역의 좌측 상방의 좌표를 포함할 수 있다.
상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 팩트 프레임(packed frame)이 리전와이즈 패킹(region-wise packing)되어 있는 경우에 기술될 수 있다.
상기 할당 식별 정보는 생략될 수 있다.
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는 생략되고, 상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보만이 기술될 수 있다.
상기 마진은, 코너에 상기 마진이 형성되어 있지 않은 비형성부를 갖는 타입과 갖지 않는 타입이 있을 수 있다.
상기 식별 정보 생성부는, 상기 타입을 식별하는 타입 식별 정보를 또한 생성할 수 있다.
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 타입 식별 정보가 상기 비형성부를 갖지 않는 타입인 경우에 기술될 수 있다.
상기 영역이 삼각형이고 그 변을 따라 상기 마진이 형성되어 있는 경우, 상기 삼각형을 직사각형으로 성형하여, 상기 삼각형에 대응하는 상기 직사각형의 변에 상기 마진을 배치할 수 있다.
상기 마진 식별 정보는 ISOBMFF의 스킴 인포메이션 박스(Scheme Information Box) 하의 박스(box)에 기술될 수 있다.
상기 마진 식별 정보는 MPEG-DASH의 MPD 파일에 기술될 수 있다.
본 기술의 일 측면은, 생성 장치가, 전천구 화상이 상기 전천구 화상의 영역에, 생성된 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성하는 식별 정보 생성 스텝을 포함하는 식별 정보 생성 방법이다.
본 기술의 일 측면은, 전천구 화상이 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 취득하는 취득부와, 취득된 상기 마진 식별 정보에 기초하여 프로젝티드 프레임(projected frame)을 생성하는 생성부와, 상기 프로젝티드 프레임(projected frame)을 렌더링하는 렌더링부를 구비하는 재생 장치이다.
본 기술의 일 측면은, 재생 장치가, 전천구 화상이 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 취득하는 취득 스텝과, 취득된 상기 마진 식별 정보에 기초하여 프로젝티드 프레임(projected frame)을 생성하는 생성 스텝과, 상기 프로젝티드 프레임(projected frame)을 렌더링하는 렌더링 스텝을 포함하는 화상 생성 방법이다.
본 기술의 일 측면에 있어서는, 식별 정보 생성부가, 전천구 화상이 상기 전천구 화상의 영역에, 생성된 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성한다.
이상과 같이 본 기술의 일 측면에 의하면, 마진 있는 영역과 마진 없는 영역을 용이하게 취득할 수 있다. 또한 본 명세서에 기재된 효과는 어디까지나 예시이고 한정되는 것은 아니며, 또한 부가적인 효과가 있어도 된다.
도 1은 프로젝티드 프레임과 팩트 프레임을 설명하는 도면이다.
도 2는 마진의 예를 나타내는 도면이다.
도 3은 마진의 예를 나타내는 도면이다.
도 4는 마진의 패턴을 나타내는 도면이다.
도 5는 마진의 패턴을 나타내는 도면이다.
도 6은 리전 매핑 박스의 구성예를 나타내는 도면이다.
도 7은 리전 매핑 박스의 필드를 설명하는 도면이다.
도 8은 리전 매핑 박스의 필드를 설명하는 도면이다.
도 9는 큐브 매핑 프로젝션의 마진을 설명하는 도면이다.
도 10은 큐브 매핑 프로젝션 시의 필드를 설명하는 도면이다.
도 11은 정거 원통 프로젝션의 마진을 설명하는 도면이다.
도 12는 정거 원통 프로젝션 시의 필드를 설명하는 도면이다.
도 13은 리전 매핑 박스의 구성예를 나타내는 도면이다.
도 14는 리전 매핑 박스의 구성예를 나타내는 도면이다.
도 15는 리전 매핑 박스의 구성예를 나타내는 도면이다.
도 16은 리전 매핑 박스의 구성예를 나타내는 도면이다.
도 17은 리전 매핑 박스의 필드를 설명하는 도면이다.
도 18은 큐브 매핑 프로젝션의 마진을 설명하는 도면이다.
도 19는 큐브 매핑 프로젝션 시의 필드를 설명하는 도면이다.
도 20은 마진 배치의 예를 나타내는 도면이다.
도 21은 마진 배치의 예를 나타내는 도면이다.
도 22는 마진 배치의 예를 나타내는 도면이다.
도 23은 DASH를 적용한 MPD 파일의 예를 나타내는 도면이다.
도 24는 배신 시스템의 구성예를 나타내는 블록도이다.
도 25는 생성 장치의 구성예를 나타내는 블록도이다.
도 26은 ISOBMFF 생성 처리를 설명하는 흐름도이다.
도 27은 재생 장치의 구성예를 나타내는 블록도이다.
도 28은 ISOBMFF 재생 처리를 설명하는 흐름도이다.
도 29는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
이하, 본 기술을 실시하기 위한 실시 형태에 대하여 설명한다. 또한 설명은 이하의 순서로 행한다.
1. 실시 형태
(1) 프로젝션의 원리(도 1)
(2) 마진(도 2 내지 도 23)
(3) 배신 시스템(도 24)
(4) 생성 장치(도 25, 도 26)
(5) 재생 장치(도 27, 도 28)
2. 컴퓨터(도 29)
3. 그 외
<실시 형태>
<프로젝션의 원리(도 1)>
본 기술에 있어서는, 전천구 화상이, 예를 들어 서버로부터 클라이언트에 비디오 스트림으로서 배신되고 클라이언트측에서 수신, 재생, 시청된다. 그래서 맨 처음에, 전천구 화상의 생성, 배신을 위한 처리의 원리에 대하여 설명한다.
본 기술에 있어서는, 전천구 화상의 프로젝티드 프레임(projected frame)과 팩트 프레임(packed frame)이 생성된다. 도 1은, 프로젝티드 프레임과 팩트 프레임을 설명하는 도면이다. 도 1에 나타난 바와 같이, 카메라(1)에 의하여 옴니디렉셔널 화상(전천구 화상)이 촬영된다. 이 전천구 화상은 상하 좌우 360도의 방향의 화상이다. 또한 이하에 있어서는, 단어를 한글로 표기하면 도리어 이해하기 어려울 것으로 생각되는 경우에는 영어로 기술한다.
전천구 화상은 프로젝션 스트럭처(projection structure)에 투영(projection)되어 프로젝티드 프레임(projected frame)이 얻어진다. 그리고 프로젝티드 프레임(projected frame)을 영역마다 위치와 사이즈를 변경하여 2차원면 상에 배치하고 패킹(packing)함으로써 팩트 프레임(packed frame)이 얻어진다. 이와 같이 영역마다 위치와 사이즈 중 적어도 한쪽을 변경하여 패킹하는 것을 리전와이즈 패킹(region-wise packing)이라 한다. 팩트 프레임(packed frame)에서는, 각 영역이 전체로서 직사각형으로 되도록 배치된다. 팩트 프레임(packed frame)을 이용함으로써, 고화질일 것이 요망되는 영역의 해상도를 확대하고 저화질이어도 되는 영역의 해상도를 저하시킴으로써, 전송 용량을 최적화할 수 있다.
도 1의 예에 있어서는 프로젝션 스트럭처(projection structure)로서 구(11)와 입방체(12)가 나타나 있다. 전천구 화상을 구(11)에 정거 원통 도법에 의한 투영(equirectangular projection)을 행하고, 그것을 2차원으로 표현함으로써 프로젝티드 프레임(projected frame)(13)이 얻어진다. 이 예에서는, 프로젝티드 프레임(projected frame)(13)은, 중앙의 영역 A, 그 위에 위치하는 영역 B, 및 그 아래에 위치하는 영역 C에 의하여 구성되어 있다.
그리고 프로젝티드 프레임(projected frame)(13)을 리전와이즈 패킹(region-wise packing)함으로써 팩트 프레임(packed frame)(15)이 얻어진다. 이 예에서는 영역 A의 해상도는 그대로로 되며, 그 위의 좌측에 영역 B가 배치되고 우측에 영역 C가 배치되어 있다. 영역 B와 영역 C는 해상도가 축소되어 있다. 이하, 이들을 단순히 영역 또는 영역 화상이라고도 한다.
전천구 화상을 입방체(12)에 투영하고(큐브 매핑 프로젝션(cube mapping projection)을 행하고) 그것을 2차원으로 표현함으로써 프로젝티드 프레임(projected frame)(14)이 얻어진다. 입방체(12)의 정면(front face), 우측면(right face), 배면(back face), 좌측면(left face), 상면(top face) 및 저면(bottom face)의 6개의 면(영역)의 화상이, 4×3개의 합계 12개의 영역으로 구성되는 프로젝티드 프레임(projected frame)(14)에 배치되어 있다. 중앙의 4개의 영역에 좌측에서부터 순서대로 각각 좌측면(left), 정면(front), 우측면(right), 배면(back)의 영역 화상이 배치되고, 정면(front) 상의 영역에 상면(top)의 영역 화상이 배치되고, 아래의 영역에 저면(bottom)의 영역 화상이 배치되어 있다.
프로젝티드 프레임(projected frame)(14)을 리전와이즈 패킹(region-wise packing)함으로써 팩트 프레임(packed frame)(16)이 얻어진다. 이 예에서는 정면(front)의 영역 화상의 해상도가 확대되며, 그 이외의 영역 화상의 해상도는 그대로로 되어 있다. 정면(front)의 영역 화상 상의 좌측에는 측면(left)의 영역 화상이, 그 우측에는 상면(top)의 영역 화상이 배치되고, 정면(front)의 영역 화상의 우측에는 위에서부터 순서대로 우측면(right), 배면(back) 및 저면(bottom)의 영역 화상이 배치되어 있다.
<마진(도 2내지 도 23>
다음으로 마진에 대하여 설명한다. 도 2와 도 3은, 마진의 예를 나타내는 도면이다.
도 2는, 큐브 매핑 프로젝션(cube mapping projection)에 있어서의 마진의 예를 나타내고 있다. 도 2의 A에 있어서, 중앙의 행에 좌측에서부터 순서대로 각각 좌측면(left)의 영역 화상(41), 정면(front)의 영역 화상(42), 우측면(right)의 영역 화상(43) 및 배면(back)의 영역 화상(44)이 배치되어 있다. 또한 정면(front)의 영역 화상(42) 상에 상면(top)의 영역 화상(45)이 배치되고, 아래에 저면(bottom)의 영역 화상(46)이 배치되어 있다.
도 2의 A의 예에 있어서는, 각 면의 영역의 외측에 전체 둘레의 마진이 형성된다. 예를 들어 좌측면에 있어서는, 마진을 포함하는 영역 화상(41)은 내측의 영역(41a)과 그 외주의 마진(41b)으로 형성되고, 정면에 있어서는, 마진을 포함하는 영역 화상(42)은 내측의 영역(42a)과 그 외주의 마진(42b)으로 형성되어 있다. 우측면에 있어서는, 마진을 포함하는 영역 화상(43)은 내측의 영역(43a)과 그 외주의 마진(43b)으로 형성되고, 배면에 있어서는, 마진을 포함하는 영역 화상(44)은 내측의 영역(44a)과 그 외주의 마진(44b)으로 형성되어 있다. 상면에 있어서는, 마진을 포함하는 영역 화상(45)은 내측의 영역(45a)과 그 외주의 마진(45b)으로 형성되고, 저면에 있어서는, 마진을 포함하는 영역 화상(46)은 내측의 영역(46a)과 그 외주의 마진(46b)으로 형성되어 있다.
이 예는, 다면 프로젝션 스트럭처(projection structure) 사용 시에, 면 경계에 있어서 텍스처 화소를 보완할 때의 화질의 악화를 억제하기 위하여 이용된다.
도 2의 B의 예에 있어서는 각 면의 영역의 외측에 마진이 형성된다. 예를 들어 중앙의 행에 좌측으로부터 순서대로 각각 좌측면(left)의 영역 화상(61), 정면(front)의 영역 화상(62), 우측면(right)의 영역 화상(63) 및 배면(back)의 영역 화상(64)이 배치되어 있다. 또한 정면(front)의 영역 화상(62) 상에 상면(top)의 영역 화상(65)이 배치되고, 아래에 저면(bottom)의 영역 화상(66)이 배치되어 있다.
이들 영역 화상 중, 영역 화상(61)의 상측과 하측에 마진(61b)이 형성되어 있고, 영역 화상(63)의 상측과 하측에 마진(63b)이 형성되어 있다. 영역 화상(64)에 있어서는, 그 상측과 하측뿐 아니라 우측에도 마진(64b)이 형성되어 있다. 이 예의 경우, 각 마진(61b, 63b, 64b)은 각 영역 화상(61, 63, 64)의 외부에 형성되어 있기 때문에 마진의 내측의 영역(61a, 63a, 64a)은 영역 화상 자체로 된다.
이 예는, 프로젝티드 프레임(projected frame) 상에서 비연속이고 프로젝션 스트럭처(projection structure)에서는 인접하는 면을 접속할 때 생기는 화질의 악화를 억제하기 위하여 이용된다. 마진은, 프로젝티드 프레임(projected frame)으로부터 프로젝션 스트럭처(projection structure)를 구성할 때, 접속처의 영역과 중첩되는 부분이다.
도 3은, 저해상도 레이어 화상(정거 원통 프로젝션)에 대하여 고해상도 레이어 화상(큐브 매핑 프로젝션(cube mapping projection))을 중첩하는 경우에 경계의 화질의 악화를 억제하는 예이다. 예를 들어 저해상도인 전천구 화상 전체에 대하여, 시선의 중심 부근의 특정 영역만 고해상도 화상을 중첩시키는 경우의 예이다. 저해상도 레이어 화상(71)에 대하여 고해상도 레이어 화상(81)이 중첩되어 있다. 고해상도 레이어 화상(81)은, 내측의 영역(81a)과, 그것을 둘러싸도록 형성된 마진(81b)으로 구성되어 있다.
예를 들어 고해상도 레이어 화상의 내측의 영역(81a)과 저해상도 레이어 화상(71)은 그대로 렌더링된다. 고해상도 레이어 화상(81)의 마진(81b)과, 그것이 중첩되는 저해상도 레이어 화상(71)의 영역은, 블렌딩 처리(dissolve 등)이 행해져서 표시된다.
도 4는, 마진의 패턴을 나타내는 도면이다. 도 4의 마진은 타입 1의 마진으로 여겨진다. 도 4의 A에 있어서는, 영역 화상(101(내측의 영역(101a)))의 4변을 따라 외측에 마진(101b)이 형성되어 있다. 도 4의 B에 있어서는, 영역 화상(111)의 상변과 좌우의 변을 따라 외측에 마진(111b)이 형성되며, 내측이 영역(111a(영역(111)))으로 되어 있다. 도 4의 C에 있어서는, 영역 화상(121)의 상변과 우변을 따라 외측에 마진(121b)이 형성되며, 내측이 영역(121a(영역(121)))으로 되어 있다.
도 4의 D에 있어서는, 영역 화상(131)의 좌변과 우변을 따라 외측에 마진(131b)이 형성되며, 내측이 영역(131a(영역(131)))으로 되어 있다. 도 4의 E에 있어서는, 영역 화상(141)의 우변을 따라 외측에 마진(141b)이 형성되며, 내측이 영역(141a(영역(141)))으로 되어 있다. 이 패턴(1)에 있어서는, 후술하는 패턴(2)과 같은 비형성부가 마련되어 있지 않다.
도 5는, 마진의 패턴을 나타내는 도면이다. 도 5의 마진은 타입 2의 마진으로 여겨진다. 도 5의 A에 있어서는, 영역 화상(161)의 4변을 따라 외측에 마진(161b)이 형성되며, 내측이 영역(161a(영역(161)))으로 되어 있다. 마진(161b)에 있어서는 그 4개의 코너에, 마진(161b)을 형성하고 있지 않은 부분(삭제한 부분)인 비형성부(161c)가 형성되어 있다.
도 5의 B에 있어서는, 영역 화상(171)의 상변과 좌우의 변을 따라 마진(171b)이 형성되며, 내측이 영역(171a(영역(171)))으로 되어 있다. 마진(171b)의 2개의 코너에는, 마진(171b)을 형성하고 있지 않은 부분(삭제한 부분)인 비형성부(171c)가 형성되어 있다.
도 5의 C에 있어서는, 영역 화상(181)의 상변과 우변을 따라 외측에 마진(181b)이 형성되며, 내측이 영역(181a(영역(181)))으로 되어 있다. 마진(181b)의 하나의 코너에, 마진(181b)을 형성하고 있지 않은 부분(삭제한 부분)인 비형성부(181c)가 형성되어 있다.
이와 같이 타입 2의 마진은, 인접하는 변의 코너에 비형성부를 갖는다(코너를 갖지 않는다). 이에 비해 타입 1의 마진은 비형성부를 갖지 않는다(코너를 갖는다). 타입 1의 마진에 대해서는, 마진 있는 영역을 폭과 높이의 정보로 배신한다. 타입 2의 마진에 대해서는, 마진 타입 1과 마찬가지로 폭과 높이의 정보에 의하여 배신되지만, 마진 있는 영역 중, 마진의 코너(비형성부)는 마진을 삭제한 영역으로서 처리된다.
본 기술에 있어서는, 프로젝티드 프레임(projected frame)과 팩트 프레임(packed frame)의 개념을 이용하여 도 4와 도 5의 각종 마진 배치를, 리전 매핑 박스(RegionMappingBox)를 이용하여 배신한다. 모두 마진 없는 및 마진 있는 각 영역을 위치와 사이즈로 나타내는 것이며, 클라이언트는 용이하게 어느 영역도 취득할 수 있다. 또한 전천구 화상이 마진을 갖는 영역을 갖는지의 여부는 margin_flag로 배신된다.
리전 매핑 박스(RegionMappingBox)는, 예를 들어 ISOBMFF에서 규정되는 스킴 인포메이션 박스(Scheme Information Box)('schi') 하에, SchemeType='rmap'일 때 배치되지만, 그 이외의 장소에 배치할 수도 있다. 이하, 리전 매핑 박스(RegionMappingBox)의 예를 나타낸다.
도 6은, 리전 매핑 박스의 구성예를 나타내는 도면이고, 도 7과 도 8은, 리전 매핑 박스의 필드를 설명하는 도면이다.
도 6은, 프로젝션 스트럭처(projection structure)에 있어서의 영역 정보(프로젝티드 프레임(projected frame)의 영역 정보)를 구 좌표계로 나타내는 경우의 리전 매핑 박스(RegionMappingBox)의 구성을 나타내고 있다. 프로젝션 스트럭처(projection structure)에 있어서의 마진 없는 영역과 있는 영역의 중심은 center_yaw, center_pitch에서 공통으로 나타난다. region_margin_type에 의하여 영역마다 마진의 유무와 마진의 타입을 전환할 수 있다.
도 6의 예에 있어서는 리전 매핑 박스(RegionMappingBox)에 projection_format, packing_flag, FOV_flag, margin_flag, num_regions가 기술되어 있다. projection_format은 프로젝션 방식을 나타내며, 그 값 0은 정거 원통 프로젝션을 의미하고, 그 값 1은 큐브 매핑 프로젝션(cube mapping projection)을 의미하고 있다. packing_flag는, 리전와이즈 패킹(region-wise packing)을 이용하는지의 여부를 나타내고 있으며, 그 값 0은, 리전와이즈 패킹(region-wise packing)을 이용하지 않는 것을 의미하고, 그 값 1은, 리전와이즈 패킹(region-wise packing)을 이용하는 것을 의미한다.
FOV_flag는 object_width, object_height의 각도 정보의 기준을 나타내며, 그 값 0은 구면 상을 의미하고 그 값 1은 투시 투영면 상을 의미한다. 도 9를 참조하여 후술하겠지만, object_width는 프로젝션 스트럭처(projection structure)에 있어서의 영역의 폭(각도)을 나타내고, object_height는 프로젝션 스트럭처(projection structure)에 있어서의 영역의 높이(각도)를 나타내고 있다.
margin_fkag는, 전천구 화상이 마진이 있는 영역을 포함하는지의 여부를 나타내며, 그 값 0은 마진 없는 영역만을 의미하고, 그 값 1은 마진 있는 영역이 있는 것을 의미한다. num_regions는 팩트 프레임(packed frame)의 영역 수를 나타낸다.
리전 매핑 박스(RegionMappingBox)에는 또한 center_yaw, center_pitch, object_width, object_height가 기술된다. 이들은 프로젝티드 프레임(projected frame)의 영역의 구 좌표계에서의 영역 정보이다. center_yaw는 프로젝션 스트럭처(projection structure)에 있어서의 영역 중심의 요(yaw)를 나타내며, 마진 있는 영역과 없는 영역에 공통이다. center_pitch는 프로젝션 스트럭처(projection structure)에 있어서의 영역 중심의 피치(pitch)를 나타내며, 마진 있는 영역과 없는 영역에 공통이다.
packing_flag의 값이 참인(값 1인) 경우, rect_width, rect_height, rect_left, rect_top이 기술된다. 이들은 팩트 프레임(packed frame)의 영역의 2차원 좌표계에서의 영역 정보이다. rect_width는 팩트 프레임(packed frame)에 있어서의 마진 없는 영역의 폭을 나타내고, rect_height는 팩트 프레임(packed frame)에 있어서의 마진 없는 영역의 높이를 나타낸다. rect_left와 rect_top은 각각 팩트 프레임(packed frame)에 있어서의 마진 없는 영역의 x 좌표와 y 좌표를 나타낸다. 이들도 도 9를 참조하여 나중에 더 설명한다.
margin_flag의 값이 참인(값 1인) 경우, region_margin_type가 기술된다. region_margin_type은 영역의 마진 타입을 나타낸다. 그 값 0은 마진 없는 영역을 의미하고, 값 1은 마진 있는 영역(마진의 코너 있음)을 의미하고, 값 2는 마진 있는 영역(마진의 코너 없음)을 의미한다.
또한 if(region_margin_type=!0), 즉, region_margin_type가 0이 아닌 경우(값 1 또는 값 2인 경우), 즉, 영역이 마진 있는 영역인 경우, object_with_margin_width, object_with_margin_height, width_margin_assignment, height_margin_assingment가 기술된다. 이들은 프로젝티드 프레임(projected frame)의 마진의 구 좌표계에서의 영역 정보이다.
object_with_margin_width는, 프로젝션 스트럭처(projection structure)에 있어서의 마진을 포함하는 영역의 폭(각도)을 나타낸다. 이는 마진이 균등하게 할당된 경우의 값이다. object_with_margin_height는, 프로젝션 스트럭처(projection structure)에 있어서의 마진을 포함하는 영역의 높이(각도)를 나타낸다. 이것도 마진이 균등하게 할당된 경우의 값이다.
width_margin_assignment는 영역의 폭 방향의 마진의 할당을 나타낸다. 그 값 0은, 양측에 대한 균등한 할당 또는 마진 없음을 의미하고, 값 1은, 우측의 마진만이고 좌측의 마진은 삭제한 것을 의미하고, 값 2는, 좌측의 마진만이고 우측의 마진은 삭제한 것을 의미한다. height_margin_assingment는 영역의 높이 방향의 마진의 할당을 나타낸다. 값 0은, 양측에 대한 균등한 할당 또는 마진 없음을 의미하고, 값 1은, 상측의 마진만이고 하측의 마진은 삭제한 것을 의미한다. 값 2는, 하측의 마진만이고 상측의 마진은 삭제한 것을 의미한다.
또한 packing_flag이 참인 경우, 즉, packing_flag=1인(region-wise_packing이 이용되고 있는) 경우, rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top이 기술된다. 이들은 팩트 프레임(packed frame)의 마진의 2차원 좌표계에서의 영역 정보이다. rect_with_margin_width는, 팩트 프레임(packed frame)에 있어서의 마진을 포함하는 영역의 폭을 나타내고, rect_with_margin_height는, 팩트 프레임(packed frame)에 있어서의 마진을 포함하는 영역의 높이를 나타낸다. rect_with_margin_left와 rect_with_margin_top은 각각 팩트 프레임(packed frame)에 있어서의 마진을 포함하는 영역의 좌측 상방의 코너의 x 좌표와 y 좌표를 나타낸다.
이상, 리전 매핑 박스(RegionMappingBox)의 각 필드에 대해서는 도 7과 도 8에 정리되어 기재되어 있다.
다음으로 도 9와 도 10을 참조하여, 리전 매핑 박스(RegionMappingBox)를 이용한, 큐브 매핑 프로젝션(cube mapping projection)의 마진의 배신에 대하여 설명한다. 도 9는, 큐브 매핑 프로젝션의 마진을 설명하는 도면이고, 도 10은, 큐브 매핑 프로젝션 시의 필드를 설명하는 도면이다.
도 9의 A에 나타난 바와 같이, 프로젝션 스트럭처(projection structure)인 입방체(12)의 좌측(left)면, 배(back)면, 우측(right)면 및 정(front)면의 변으로부터, 그 외측의 변(211, 212, 213, 214)으로 나타나는 범위까지가 마진으로 여겨진다. 마찬가지로, 상(top)면과 저(bottom)면의 외측의 변(215, 216)로 표시되는 범위까지가 마진으로 여겨진다.
도 9의 B는, 그 중의 우측(right)면(221)에 대하여 나타나 있다. 프로젝션 스트럭처(projection structure)인 입방체(12)의 중심 O를 원점으로 하여 xyz 좌표(정(front)면에 수직인 방향의 축이 x축, 우측(right)면에 수직인 방향의 축이 y축, 상(top)면에 수직인 방향의 축이 z축)를 상정한다. 중심 O와 우측(right)면(221)의 중심 C를 잇는 선이 선(230)이며, 선(230)을 xy 좌표면에 투영한 선(도 9의 B의 경우, 선(230)과 동일해짐)과 x축이 이루는 각도가 center_yaw(도 9의 B의 경우, -90도)이다. 선(230)의, xy 평면에 대한 각도가 center_pitch(도 9의 B의 경우, 0도)이다.
중심 O로부터 우측(right)면(221)의 좌측의 변(223)에 대한 수선(236)과, 우측의 변(222)에 대한 수선(231)이 이루는 각도가 object_width이고, 상측의 변(224)에 대한 수선(233)과, 하측의 변(225)에 대한 수선(234)이 이루는 각도가 object_height이다.
마진에 대해서도 마찬가지로, 중심 O로부터 마진(213)의 좌측의 변(242)으로 내리그은 수선(236)과, 우측의 변(241)으로 내리그은 수선(235)이 이루는 각도가 object_with_margin_width이고, 상측의 변(243)으로 내리그은 수선(237)과, 하측의 변(244)으로 내리그은 수선(238)이 이루는 각도가 object_with_margin_height이다.
도 9의 C는, 팩트 프레임(packed frame)(251)을 나타내고 있다. 이 구성예에 있어서는, 상단에 좌측에서부터 순서대로 좌측면(left), 정면(front), 우측면(right)의 각 면의 영역 화상이 배치되고, 하단에는 좌측에서부터 순서대로 상면(top), 저면(bottom), 배면(back)의 각 면의 영역 화상이 배치되어 있다. 전체로서 3×2개의 영역 화상에 의하여 팩트 프레임(packed frame)(251)이 구성되어 있다. 각 영역 화상의 사이즈는 400×400화소로 되며, 4변의 외측에 40화소의 마진이 형성되어 있다. 따라서 마진을 포함하는 영역 화상의 사이즈는 480×480화소로 되어 있다.
따라서 마진을 포함하는 우측(right)면의 rect_with_margin_left는 960, rect_with_margin_top은 0으로 되고, rect_with_margin_width와 rect_with_margin_height는 모두 480으로 된다. 화상 영역의 rect_left는 1000, rect_top은 40으로 되고, rect_width와 rect_height는 모두 400으로 된다.
도 9에 나타난 바와 같이, 구 좌표계로 표시되는 큐브 매핑 프로젝션(cube mapping projection)에 의한 리전 매핑 박스(RegionMappingBox)의 각 필드의 구체적인 값은 도 10에 나타나 있다. projection_format은 1(큐브 매핑 프로젝션(cube mapping projection)), packing_flag는 1(리전와이즈 패킹(region-wise packing)을 이용함), margin_flag는 1(마진 있는 영역을 포함함), num_regions(팩트 프레임(packed frame)의 영역 수)는 6, FOV_flag는 1(투시 투영면 상)로 되어 있다. 우측(right)면의 center_yaw, center_pitch, object_width, object_height는 각각 -90, 0, 90, 90으로 되어 있다.
우측(right)면의 rect_width.rect_height, rect_left, rect_top은 각각 400, 400, 1000, 40으로 되어 있다. region_margin_type은 1(마진 있는 영역(마진의 코너 없음)), 마진을 포함하는 우측(right)면의 object_with_margin_width, object_with_margin_height는 각각 100, 100으로 되어 있다. width_margin_assignment, height_margin_assignment는 각각 0(양측에 균등 할당(또는 마진 없음))으로 되어 있다. 마진을 포함하는 우측(right)면의 rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top은 각각 480, 480, 960, 0으로 되어 있다.
도 10에 각 필드의 값이 정리되어 기재되어 있다. projection_format은 1, packing_flag는 1, margin_flag는, num_regions는 6, FOV_flag는 1로 되어 있다. 우측(right)면의 center_yaw, center_pitch, object_width, object_height는 각각 -90, 0, 90, 90으로 되어 있다. 또한 우측(right)면의 rect_width, rect_height, rect_left, rect_top은 각각 400, 400, 1000, 40으로 되어 있다.
region_margin_type은 1, 우측(right)면의 마진을 포함하는 영역의 object_with_margin_width, object_with_margin_height는 각각 100, 100으로 되어 있다. width_margin_assignment, height_margin_assignment는 모두 0으로 되어 있다. 우측(right)면의 마진을 포함하는 영역의 rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top은 각각 480, 480, 960, 0으로 되어 있다.
이와 같이 각 영역(큐브면)의 마진은 타입 1이기 때문에 region_margin_type=1이 배신된다. 또한 각 마진을 포함하는 영역의 폭, 높이 방향 모두 균등 배치이기 때문에 width_margin_assignment, height_margin_assignment가 모두 0으로서 배신된다.
다음으로 도 11과 도 12를 참조하여, 리전 매핑 박스(RegionMappingBox)를 이용한, 정거 원통 프로젝션의 마진을 배신하는 예에 대하여 설명한다. 도 11은, 정거 원통 프로젝션의 마진을 설명하는 도면이고, 도 12는, 정거 원통 프로젝션 시의 필드를 설명하는 도면이다.
이 예에서는 편의상, 영역 정보는 프로젝티드 프레임(projected frame)을 이용하여 나타내고 있다. 도 11의 A에는 프로젝션 스트럭처(projection structure)로서의 구(11)가 나타나 있으며, 그 프로젝션에 의하여 얻어지는 프로젝티드 프레임(projected frame)(301)이 도 11의 B에 나타나 있다. 화상 영역(내측의 영역)(302)의 우측에 마진(303)이 형성되어 있지만, 편의상, 마진(303)은 영역 화상(302)의 좌우에 균등하게 형성되어 있는 것으로 한다. object_with_margin_width는 380, object_with_margin_height는 180으로 되어 있다. object_width는 360, object_height는 180으로 되어 있다. width_margin_assignment는 1(우측의 마진만. 좌측의 마진은 삭제)로 된다.
도 11의 C는, 팩트 프레임(packed frame)(311)을 나타내고 있다. 화상 영역(내측의 영역)(312)의 우측에는 마진(313)이 형성되어 있다. rect_width는 1920, rect_height는 1440이다. rect_with_margin_width는 2000, rect_with_margin_height는 1440이다. rect_left, rect_top와 rect_with_margin_left, rect_with_margin_top은 모두 0, 0이다.
도 12에 각 필드의 값이 정리되어 기재되어 있다. projection_format은 0(정거 원통 프로젝션), packing_flag는 1, margin_flag는 1(마진 있는 영역을 포함함), num_regions는 6, FOV_flag는 0(구면 상)으로 되어 있다. center_yaw, center_pitch, object_width, object_height는 각각 0, 0, 360, 180으로 되어 있다. 또한 rect_width, rect_height, rect_left, rect_top은 각각 1920, 1440, 0, 0으로 되어 있다.
region_margin_type은 1(마진 있는 영역(마진의 코너 없음)), object_with_margin_width, object_with_margin_height는 각각 380, 180으로 되어 있다. width_margin_assignment는 1(우측의 마진만. 좌측의 마진은 삭제), height_margin_assignment는 0(양측에 균등 할당(또는 마진 없음))으로 되어 있다. 우측(right)면의 마진을 포함하는 영역의 rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top은 각각 2000, 1440, 0, 0으로 되어 있다.
이와 같이, 마진을 포함하는 영역의 폭은, 프로젝션 스트럭처(projection structure)에 있어서의 object_with_margin_width로서 마진이 균등하게 할당된 경우의 값이 배신된다. 영역의 마진은 타입 1이기 때문에 region_margin_type=1이 배신된다. 또한 영역의 마진은, 폭 방향에서는 우측만 존재하고 높이 방향으로는 없기 때문에 width_margin_assignment=1, height_margin_assignment=0이 배신된다.
다음으로, 도 13을 참조하여 도 6의 리전 매핑 박스(RegionMappingBox)의 변형예에 대하여 설명한다. 도 13은, 리전 매핑 박스의 구성예를 나타내는 도면이다.
도 13의 예에 있어서는, 도 6의 예에 있어서 기술되어 있는, 프로젝션 스트럭처(projection structure)에 있어서의 마진 있는 영역 정보의 마진 할당 정보(width_margin_assignment, height_margin_assignment)가 생략되어 있다. 생략된 필드 이외의 필드의 시맨틱스는 도 6에 있어서의 경우와 마찬가지이다. 즉, 도 13의 예에 있어서는, 프로젝션 스트럭처(projection structure)에 있어서의 마진 있는 영역 정보는, 전체 둘레 균등한 마진을 갖는 것으로 간주하여 배신된다. 이 경우, 대상 영역에 적용된 최대의 마진 폭이 균등한 마진 폭으로서 설정된다. 또는 상하, 좌우 방향 각각에서 균등해지는 마진 폭으로서 설정되어도 된다. 영역의 마진 할당은, 팩트 프레임(packed frame)에 있어서의 영역 정보(rect_with_margin_width, rect_with_margin_height, rect_with _margin_left, rect_with_margin_top)에 의하여 배신된다.
또한 도 4와 도 5의 예 이외에서, 예를 들어 마진이 영역 전체 둘레에 존재 하고 또한 영역 좌우, 상하 방향으로 불균일한 할당으로 되는 경우에도 리전 매핑 박스(RegionMappingBox)에 의하여 배신할 수 있다.
도 14의 예도 도 6의 리전 매핑 박스(RegionMappingBox)의 변형예이다. 도 14는, 리전 매핑 박스의 구성예를 나타내는 도면이다. 도 14의 예는, 프로젝션 스트럭처(projection structure)에 있어서 마진 있는 영역 정보를 배신하지 않는 예이다. 즉, 도 6의 예에 있어서의 object_width_margin_width, object_with_margin_height, width_ margin_assignment, height_margin_assignment가 생략되어 있다. 생략된 필드 이외의 필드의 시맨틱스는 도 6에 있어서의 경우와 마찬가지이다.
또한 도 15를 참조하여 도 6의 리전 매핑 박스(RegionMappingBox)의 변형예에 대하여 설명한다. 도 15는, 리전 매핑 박스의 구성예를 나타내는 도면이다. 이 예에 있어서는, region_margin_type=1, 즉, 마진의 코너가 있는 경우(if(region_margin_type=1)), 프로젝션 스트럭처(projection structure)(object_width_margin_width, object_with_ margin_height, width_margin_assignment, height_margin_ assignment)와 팩트 프레임(packed frame)(rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top)의 양자에서 마진 있는 영역이 배신된다. 그 이외의 경우에는 팩트 프레임(packed frame)만이고 마진 있는 영역이 배신된다. 그 외의 각 필드의 시맨틱스는 도 6에 있어서의 경우와 마찬가지이다.
다음으로, 프로젝티드 프레임(projected frame)에 있어서의 영역 정보를 2차원 좌표계로 나타내는 예에 대하여 도 16과 도 17을 참조하여 설명한다. 도 16은, 리전 매핑 박스의 구성예를 나타내는 도면이고, 도 17은, 리전 매핑 박스의 필드를 설명하는 도면이다.
도 16의 예에 있어서는, 프로젝티드 프레임(projected frame)과 팩트 프레임(packed frame)에 있어서의 마진 없는 및 마진 있는 영역의 정보가, 각 영역의 좌측 상방의 화소 위치 및 영역 사이즈에 의하여 2차원 좌표계로 나타난다. 즉, 도 6에 있어서의 center_yaw, center_pitch, object_width, object_height 대신 pf_region_width.pf_region_height, pf_region_left, pf_region_top이 기술된다. 또한 object_with_margin_width, object_with_margin_height, width_margin_assignment, height_margin_assignment 대신 pf_region_with_margin_width, pf_region_with_margin_height, pf_ region_with_margin_left, pf_region_with_margin_top이 기술된다.
도 17에는 도 16의 필드가 정리되어 기재되어 있다. 도 7과 도 8에 기재되어 있지 않은 필드에 대하여 이하에 설명한다. pf_region_width와 pf_region_height는 각각, 프로젝티드 프레임(projected frame)에 있어서의 마진 없는 영역(마진을 포함하지 않는 영역)의 폭과 높이를 나타내고, pf_region_left, pf_region_top은 각각, 프로젝티드 프레임(projected frame)에 있어서의 마진 없는 영역의 x 좌표와 y 좌표를 나타낸다.
pf_region_with_margin_width, pf_region_with_margin_height는 각각, 프로젝티드 프레임(projected frame)에 있어서의 마진을 포함하는 영역의 폭과 높이를 나타낸다. pf_region_with_margin_left, pf_region_with_margin_top은, 프로젝티드 프레임(projected frame)에 있어서의 마진을 포함하는 영역의 x 좌표와 y 좌표를 나타낸다.
다음으로, 리전 매핑 박스(RegionMappingBox)를 이용하여 큐브 매핑 프로젝션(cube mapping projection)의 마진을 배신하는 예에 대하여 도 18과 도 19를 참조하여 설명한다. 도 18은, 큐브 매핑 프로젝션의 마진을 설명하는 도면이고, 도 19는, 큐브 매핑 프로젝션 시의 필드를 설명하는 도면이다.
도 18의 A에는 프로젝티드 프레임(projected frame)(401)이 나타나 있다. 중앙의 행에 좌측에서부터 순서대로 좌측면(left), 정면(front), 우측면(right), 배면(back)의 각 면의 영역 화상이 배치되고, front 상에 상(top)면의 영역 화상이 배치되고, 정(front)면 아래에 저(bottom)면의 영역 화상이 배치되어 있다. 상(top)면의 상변을 도면 중 좌측으로 연장한 선과, 좌측(left)면의 좌변을 도면 중 상측으로 연장한 선의 교점이, xy 좌표의 원점으로 되어 있다.
각 면의 영역 화상은 400×400개의 화소로 구성되어 있다. 좌측(left)면, 우측(right)면 및 배(back)면의 상측과 하측에는 각각 40화소의 폭으로 마진이 형성되어 있다. 또한 배(back)면의 우측에도 40화소의 폭으로 마진이 형성되어 있다. 이 마진은 타입 2의 마진으로 되어 있다. 따라서 배(back)면에 착안한 경우, pf_region_left, pf_region_top은 각각 1200, 400으로 된다. pf_region_width, pf_region_height는 모두 400으로 된다.
마진에 대해서, pf_region_margin_left, pf_region_margin_top이 1200, 360으로 된다. 또한 pf_region_with_margin_width, pf_region_with_margin_height는 440, 480으로 된다.
도 18의 B에 있어서는, 도 18의 A의 프로젝티드 프레임(projected frame)(401)으로부터 생성된 팩트 프레임(packed frame)(411)이 나타나 있다. 정면(front)의 영역 화상의 해상도는 그대로(400×400)로 되며, 그 이외의 영역 화상의 해상도는, 가로와 세로가 각각 1/2(200×200)로 축소되어 있다. 마진의 폭도 1/2(20화소)로 축소되어 있으므로, 좌측면(left), 우측면(right), 배면(back)의 상측과 하측에는 각각 20화소의 폭으로 마진이 배치되어 있다. 또한 배(back)면의 우측에도 20화소의 폭으로 마진이 배치되어 있다. 이 마진은 타입 2의 마진으로 되어 있다.
정면(front)의 영역 화상 상의 좌측에는, 마진을 갖는 좌측면(left)의 영역 화상이, 그 우측에는, 마진을 갖는 우측면(right)의 영역 화상이 각각 배치되어 있다. 정면(front)의 영역 화상의 우측에는 위에서부터 순서대로 상면(top) 및 저면(bottom)의 영역 화상이 배치되어 있다. 상면(top)의 영역 화상 상(우측면(right)의 영역 화상의 우측)에는, 마진을 갖는 배면(back)면의 영역 화상이 배치되어 있다.
도 19에, 도 18에 나타낸 큐브 매핑 프로젝션(cube mapping projection)에 의한 프로젝티드 프레임(projected frame)(401)과 팩트 프레임(packed frame)(411)의 정보가 기술되어 있다. projection_format은 1(큐브 매핑 프로젝션(cube mapping projection)), packing_flag는 1(리전와이즈 패킹(region-wise packing)), margin_flag는 1(마진 있는 영역이 있음), num_regions는 6으로 되어 있다. 배(back)면의 pf_region_width, pf_region_height, pf_region_left, pf_region_ top은 각각 400, 400, 1200, 400으로 되어 있다. 또한 배(back)면의 rect_width, rect_height, rect_left, rect_top은 각각 200, 200, 400, 20으로 되어 있다.
region_margin_type은 2(마진 있는 영역(마진의 코너 없음)), 배(back)면의 pf_region_with_margin_width, pf_region_with_margin_height, pf_ region_with_margin_left, pf_region_with_margin_top은 각각 400, 480, 1200, 360으로 되어 있다. 배(back)면의 rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top은 각각 220, 240, 400, 0으로 되어 있다.
이와 같이, 팩트 프레임(packed frame)에 있어서 정(front)면의 해상도는 그대로이며, 그 외의 면의 해상도가 수평, 수직 방향으로 절반으로 되어 있다. 배(back)면의 마진은, 코너가 없는 타입 2이기 때문에 region_margin_type=2가 배신된다. 각 영역의 마진 배치는, 프로젝티드 프레임(projected frame), 팩트 프레임(packed frame) 모두 영역의 폭(width), 높이(height), 상면(top), 우측면(left)에서 명시적으로 표현된다.
크로마 서브샘플링이 4:2:2이나 4:2:0인 경우, 색차 신호 데시메이션을 고려하여 마진 폭을 2의 배수의 화소 수로 함으로써, 인코드 처리, 영역 커팅 처리를 용이하게 할 수 있다.
또한 마진 폭을 8 또는 16의 배수의 화소 수로 함으로써 인코드 시의 블록 사이즈와의 친화성을 높일 수 있어, 인코드 처리, 영역 커팅 처리가 용이해진다.
본 기술은, 큐브 매핑 프로젝션(cube mapping projection)이나 정거 원통 프로젝션뿐 아니라 그 외의 프로젝션 방식(예를 들어 트렁케이티드 스퀘어 피라미드(Truncated Square Pyramid), 실린더 등)에도 적용 가능하다.
이상에 있어서는 직사각형 영역의 마진에 대하여만 예를 나타내었지만, 그 외의 형상(예를 들어 삼각형이나 사다리꼴, 원 등)에 대해서도 마찬가지의 방법을 적용 가능하다. 도 20 내지 도 22를 참조하여 삼각형 영역의 마진에 대하여 설명한다.
도 20 내지 도 22는 각각 마진 배치의 예를 나타내는 도면이다. 도 20의 A에 있어서는 영역 화상(431)이 삼각형의 형상을 하고 있으며, 내부의 영역(431a)의 도면 중 우측의 변의 외측에 마진(431b)이 형성되어 있다. 이 경우, 도 20의 B에 나타난 바와 같이, 영역(431a)에 대응하는 삼각형의 영역(441a)의 2변에 다른 삼각형의 영역(442a)과 영역(443a)을 조합하여, 전체가 직사각형으로 되도록 성형함으로써 영역 화상(441)을 형성한다.
이 영역 화상(441)은, 삼각형의 영역 화상(431)의 저변과 동일한 길이의 변과, 높이와 동일한 길이의 변을 갖는 직사각형의 영역으로 된다. 그리고 이 직사각형의 영역 화상(441)의 우측의 1변에 마진(441b)이 배치된다. 이 직사각형의 영역 화상(441)이 삼각형의 영역 화상(431) 대신 배신된다.
도 21의 A에 있어서는 영역 화상(451)이 삼각형의 형상을 하고 있으며, 내부의 영역(451a)의 저변의 외측에 마진(451b)이 형성되어 있다. 이 경우, 도 21의 B에 나타난 바와 같이, 영역(451a)에 대응하는 삼각형의 영역(461a)의 2변에 다른 삼각형의 영역(462a)과 영역(463a)을 조합하여, 전체가 직사각형으로 되는 영역 화상(461)을 형성한다.
이 영역 화상(461)은, 삼각형의 영역 화상(451)의 저변과 동일한 길이의 변과, 높이와 동일한 길이의 변을 갖는 직사각형의 영역으로 된다. 그리고 이 직사각형의 영역 화상(461)의 저변에 마진(461b)이 배치된다. 이 직사각형의 영역 화상(461)이 삼각형의 영역 화상(451) 대신 배신된다.
도 22의 A에 있어서는 영역 화상(471)이 삼각형의 형상을 하고 있으며, 내부의 영역(471a)의 우변과 저변의 외측에 마진(471b)이 형성되어 있다. 이 경우, 도 22의 B에 나타난 바와 같이, 영역(471a)에 대응하는 삼각형의 영역(481a)의 2변에 다른 삼각형의 영역(482a)과 영역(483a)을 조합하여, 전체가 직사각형으로 되는 영역 화상(481)을 형성한다.
이 영역 화상(481)은, 삼각형의 영역 화상(471)의 저변과 동일한 길이의 변과, 높이와 동일한 길이의 변을 갖는 직사각형의 영역으로 된다. 그리고 이 직사각형의 영역 화상(481)의 우변과 저변에 마진(481b)이 배치된다. 이 직사각형의 영역 화상(481)이 삼각형의 영역 화상(471) 대신 배신된다.
이상에 있어서는 ISBMFF의 예에 대하여 설명하였지만, MPEG-DASH(ISO/IEC 23009-1)를 이용하여 배신하는 것도 가능하다. 다음으로, 도 23을 참조하여 DASH에 대한 적용예에 대하여 설명한다. 도 23은, DASH를 적용한 MPD 파일의 예를 나타내는 도면이다.
도 23의 MPD 파일에 있어서는, 피리어드 요소에 대응하는 시간 범위의 화상 스트림의 세그먼트 파일이 각각 하나의 그룹으로 그루핑되고, 피리어드 요소가 2개의 어댑테이션 세트 요소(AdaptationSet)를 포함하고 있다.
각 AdaptationSet에 있어서, schemeIdUri="urn:mpeg:dash:vr:ProjectionType"의 EssentialProperty의 value="cube"에 의하여, 전천구 화상이 큐브 프로젝션 매핑에 의한 것임이 나타나 있다. 또한 schemeIdUri="urn:mpeg:dash:vr:margin"의 SupplementalProperty에 의하여, 전천구 화상의 영역에 마진을 포함하는지의 여부(value가 0인지 1인지)를 배신하고 있다. 이 SupplementalProperty에 있어서의 value는, 이미 설명한 margin_flag와 동일한 시맨틱스를 갖는다.
DASH 클라이언트는, 예를 들어 자신이 전천구 화상의 영역의 마진을 이용한 처리를 행하는 경우에는 마진 있는 AdaptationSet, Representation을 선택, 취득하여 재생을 행할 수 있다. 그리고 재생 처리에 마진이 불필요한 경우에는 마진 없는 AdaptationSet, Reresentation을 선택, 취득하여 재생할 수 있다.
또한 EssentialProperty의 schemeIdUri에 대응하고 있지 않은 DASH 클라이언트는, 이 Property가 기술되어 있는 AdaptationSet(또는 Representation 등의 경우도 있음)를 무시할 필요가 있다. 또한 SupplementalProperty의 schemeIdUri에 대응하고 있지 않은 DASH 클라이언트는, 이 Property값을 무시하고 그 AdaptationSet(Representation 등의 경우도 있음)를 이용하도록 해도 된다.
물론 MPD 파일에는 그 외의 정보를 더 기술할 수 있다.
<배신 시스템(도 24)>
다음으로, 이상에 설명한 마진을 갖는 영역 화상을 포함하는 전천구 화상을 배신하는 시스템에 대하여 도 24를 참조하여 설명한다. 도 24는, 배신 시스템의 구성예를 나타내는 블록도이다.
도 24의 배신 시스템(610)은 촬영 장치(611), 생성 장치(612), 배신 서버(613), 재생 장치(614) 및 헤드마운트 디스플레이(615)에 의하여 구성된다. 배신 시스템(610)은 촬영 장치(611)에 의하여 촬영된 촬영 화상으로부터 전천구 화상을 생성하고, 전천구 화상을 이용하여 시청자의 시야 범위의 표시 화상을 표시한다.
구체적으로는, 배신 시스템(610)의 촬영 장치(611)는 6개의 카메라(611A-1 내지 611A-6) 및 마이크로폰(611B)에 의하여 구성된다. 또한 이하에서는, 카메라(611A-1 내지 611A-6)를 특히 구별할 필요가 없는 경우, 그들을 통틀어 카메라(611A)라 한다.
각 카메라(611A)는 동화상을 촬영하고 마이크로폰(611B)은 주위의 음성을 취득한다. 배신 시스템(610)은, 각 카메라(611A)에 의하여 촬영된 6방향의 동화상인 촬영 화상과 마이크로폰(611B)에 의하여 취득된 음성을 동화상 콘텐츠로서 생성 장치(612)에 공급한다. 또한 촬영 장치(611)가 구비하는 카메라의 수는, 복수라면 6개 이외여도 된다.
생성 장치(612)는 정거 원통 도법을 이용한 방법에 의하여, 촬영 장치(611)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성하고, 1 이상의 비트 레이트로 부호화하여 각 비트 레이트의 정거 원통 스트림을 생성한다. 또한 생성 장치(612)는 큐브 매핑에 의하여 촬영 화상으로부터 전천구 화상을 생성하고, 1 이상의 비트 레이트로 부호화하여 각 비트 레이트의 큐브 스트림을 생성한다. 또한 생성 장치(612)는 촬영 장치(611)로부터 공급되는 음성을 부호화하여 오디오 스트림을 생성한다.
생성 장치(612)는 각 비트 레이트의 정거 원통 스트림, 각 비트 레이트의 큐브 스트림 및 오디오 스트림을 ISOBMFF 파일화한다. 생성 장치(612)는, 그 결과 생성된 ISOBMFF 파일을 배신 서버(613)에 업로드한다.
또한 여기서는 정거 원통 스트림과 큐브 스트림의 비트 레이트가 1 이상이도록 하지만, 비트 레이트 이외의 조건(예를 들어 화상의 사이즈 등)이 1 이상이도록 해도 된다.
또한 생성 장치(612)는, 동화상 콘텐츠의 세그먼트 파일을 관리하는 MPD 파일을 생성하여 배신 서버(613)에 업로드한다. 세그먼트란, 비디오 스트림, 오디오 스트림을 수 초 내지 10초 정도의 시간 단위로 파일화한 것이다. 예를 들어 리전 매핑 박스(RegionMappingBox)를 포함하는 ISOBMFF가 세그먼트 파일로서 배신된다.
예를 들어 MEPG-DASH(ISO/IEC 23009-1)를 이용한 배신을 행하는 배신 서버(613)는, 생성 장치(612)로부터 업로드된 세그먼트 파일과 MPD 파일을 저장한다. 배신 서버(613)는 클라이언트로서의 재생 장치(614)로부터의 요구에 따라, 저장하고 있는 세그먼트 파일을 재생 장치(614)에 송신한다.
재생 장치(614)는 배신 서버(613)에 ISOBMFF 파일을 요구하고, 그 요구에 따라 송신되어 오는 ISOBMFF 파일을 수취한다. 또한 재생 장치(614)는 ISOBMFF 파일에 기초하여, 재생 장치(614)에서 행하는 것이 가능한 매핑에 대응하는 전천구 화상의 생성 방법으로 생성된 전천구 화상의 세그먼트 파일을 요구하고, 그 요구에 따라 송신되어 오는 세그먼트 파일을 수취한다. 재생 장치(614)는, 수취한 세그먼트 파일에 포함되는 큐브 스트림(또는 정거 원통 스트림이어도 됨)을 복호한다. 재생 장치(614)는, 복호의 결과 얻어지는 전천구 화상을 3D 모델에 매핑함으로써 3D 모델 화상을 생성한다.
또한 재생 장치(614)는 카메라(614A)를 내장하며, 헤드마운트 디스플레이(615)에 부착된 마커(615A)를 촬영한다. 그리고 재생 장치(614)는 마커(615A)의 촬영 화상에 기초하여, 3D 모델의 좌표계에 있어서의 시청 위치를 검출한다. 또한 재생 장치(614)는 헤드마운트 디스플레이(615)의 자이로 센서(615B)의 검출 결과를 헤드마운트 디스플레이(615)로부터 수취한다. 재생 장치(614)는 자이로 센서(615B)의 검출 결과에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 재생 장치(614)는 시청 위치와 시선 방향에 기초하여, 3D 모델의 내부에 위치하는 시청자의 시야 범위를 결정한다.
재생 장치(614)는 시청 위치를 초점으로 하여 3D 모델 화상을 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 재생 장치(614)는 표시 화상을 헤드마운트 디스플레이(615)에 공급한다.
헤드마운트 디스플레이(615)는 시청자의 두부에 장착되어, 재생 장치(614)로부터 공급되는 표시 화상을 표시한다. 헤드마운트 디스플레이(615)에는, 카메라(614A)에 의하여 촬영되는 마커(615A)가 부착되어 있다. 따라서 시청자는, 헤드마운트 디스플레이(615)를 두부에 장착한 상태에서 이동함으로써 시청 위치를 지정할 수 있다. 또한 헤드마운트 디스플레이(615)에는 자이로 센서(615B)가 내장되며, 그 자이로 센서(615B)에 의한 각속도의 검출 결과는 재생 장치(614)에 전송된다. 따라서 시청자는, 헤드마운트 디스플레이(615)를 장착한 두부를 회전시킴으로써 시선 방향을 지정할 수 있다.
<생성 장치(도 25, 도 26)>
도 25는, 생성 장치의 구성예를 나타내는 블록도이다. 생성 장치(612)는 스티칭 처리부(631), 매핑 처리부(632), 리전와이즈 패킹(region-wise packing) 처리부(633), 인코더(634), 음성 처리부(635), 인코더(636), 파일 생성부(637) 및 업로드부(638)에 의하여 구성된다.
스티칭 처리부(631)는 프레임마다, 도 24의 카메라(611A)로부터 공급되는 6방향의 촬영 화상의 색이나 밝기를 동일하게 하고, 중첩을 제거하고 접속하는 스티칭 처리를 행한다. 스티칭 처리부(631)는 스티칭 처리 후의 프레임 단위의 촬영 화상을 매핑 처리부(632)에 공급한다.
매핑 처리부(632)는, 이 예에서는 큐브 매핑에 의하여, 스티칭 처리부(631)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성한다. 구체적으로는, 매핑 처리부(632)는 스티칭 처리 후의 촬영 화상을 텍스처로서 입방체에 매핑하고, 그 입방체의 전개도의 화상을 전천구 화상으로서 생성한다. 매핑 처리부(632)는 전천구 화상을 리전와이즈 패킹(region-wise packing) 처리부(633)에 공급한다. 또한 스티칭 처리부(631)와 매핑 처리부(632)는 일체화되어 있어도 된다.
리전와이즈 패킹(region-wise packing) 처리부(633)는 리전와이즈 패킹(region-wise packing) 처리를 행한다. 즉, 프로젝티드 프레임(projected frame)을 영역마다 위치와 사이즈를 변경하여 2차원면 상에 배치하고 패킹(packing)하여 팩트 프레임(packed frame)을 생성한다. 리전와이즈 패킹(region-wise packing) 처리부(633)는 또한, margin_flag, region_margin_type을 포함하는 리전 매핑 박스(RegionMappingBox)를 생성한다.
인코더(634)는 리전와이즈 패킹(region-wise packing) 처리부(633)로부터 공급되는 전천구 화상을 1 이상의 비트 레이트로 부호화하여 큐브 스트림을 생성한다. 인코더(634)는 각 비트 레이트의 큐브 스트림을 파일 생성부(637)에 공급한다.
음성 처리부(635)는 도 24의 마이크로폰(611B)으로부터 공급되는 음성을 취득하여 인코더(636)에 공급한다. 인코더(636)는 음성 처리부(635)로부터 공급되는 음성을 부호화하여 오디오 스트림을 생성한다. 인코더(636)는 오디오 스트림을 파일 생성부(637)에 공급한다.
파일 생성부(637)는 각 비트 레이트의 큐브 스트림 및 오디오 스트림을 세그먼트 단위로 파일화한다. 파일 생성부(637)는, 그 결과 생성된 세그먼트 파일을 업로드부(638)에 공급한다. 파일 생성부(637)는 또한 ISOBMFF 파일을 생성하여 업로드부(638)에 공급한다.
업로드부(638)는 파일 생성부(637)로부터 공급되는 세그먼트 파일과 ISOBMFF 파일을 도 24의 배신 서버(613)에 업로드한다.
다음으로, 도 26을 참조하여 ISOBMFF 생성 처리에 대하여 설명한다. 도 26은, ISOBMFF 생성 처리를 설명하는 흐름도이다. 주로 화상을 처리하는 경우를 예로 들어 설명한다.
스텝 S1에 있어서 스티칭 처리부(631)는 프레임마다, 도 24의 카메라(611A)로부터 공급되는 6방향의 촬영 화상의 색이나 밝기를 동일하게 하고, 중첩을 제거하고 접속하는 스티칭 처리를 행한다. 스티칭 처리부(631)는 스티칭 처리 후의 프레임 단위의 촬영 화상을 매핑 처리부(632)에 공급한다.
매핑 처리부(632)는, 예를 들어 큐브 매핑에 의하여, 스티칭 처리부(631)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성한다. 즉, 매핑 처리부(632)는 스티칭 처리 후의 촬영 화상을 텍스처로서 입방체에 매핑하고, 그 입방체의 전개도의 화상을 전천구 화상으로서 생성한다. 또한 이때, 매핑 처리부(632)는 전천구 화상의 영역의 마진을 생성한다. 매핑 처리부(632)는 전천구 화상을 리전와이즈 패킹(region-wise packing) 처리부(633)에 공급한다.
스텝 S2에 있어서 리전와이즈 패킹(region-wise packing) 처리부(633)는, 전천구 화상이 마진을 갖는 영역을 포함하는지를 판정한다. 전천구 화상이 마진을 갖는 영역을 포함하는 경우, 스텝 S3에 있어서 리전와이즈 패킹(region-wise packing) 처리부(633)는 margin_flag=1(마진 있는 영역이 있음)로 하고, 각 영역의 마진 타입에 따라 region_margin_type을 설정한다. 즉, 전술한 바와 같이, 마진 없는 영역에는 값 0이, 코너가 있는 마진을 갖는 영역에는 값 1, 코너가 없는 마진을 갖는 영역에는 값 2가 각각 설정된다. 그리고 리전와이즈 패킹(region-wise packing) 처리부(633)는, 이들을 포함하는 리전 매핑 박스(RegionMappingBox)를 생성한다.
한편, 스텝 S2에 있어서 전천구 화상이 마진을 갖는 영역을 포함하고 있지 않다고 판정된 경우, 스텝 S4에 있어서 리전와이즈 패킹(region-wise packing) 처리부(633)는 margin_flag=0(마진 없는 영역만)으로 하고, 그것을 포함하는 리전 매핑 박스(RegionMappingBox)를 생성한다.
스텝 S3 및 스텝 S4의 처리가 행해진 후, 스텝 S5에 있어서 인코더(634)는 전천구 화상을 인코드한다. 음성 처리부(635)에 의하여 처리된 음성 데이터는 인코더(636)에 의하여 인코드되어 파일 생성부(637)에 공급된다.
스텝 S6에 있어서 파일 생성부(637)는 ISOBMFF 파일을 생성한다. 파일 생성부(637)에 의하여 작성된 파일은 업로드부(638)로부터 배신 서버(613)에 업로드된다.
<재생 장치(도 27, 도 28)>
다음으로, 화상을 처리하는 경우를 예로 들어 재생 장치(614)의 구성예에 대하여 설명한다. 도 27은, 재생 장치의 구성예를 나타내는 블록도이다. 재생 장치(614)는 파일 취득부(701), 스트림 추출부(702), 디코더(703), 프로젝티드 프레임(projected frame) 생성부(704), 매핑 처리부(705), 묘화부(706), 수취부(707), 시선 검출부(708) 및 카메라(614A)를 갖고 있다.
파일 취득부(701)는 도 24의 배신 서버(613)로부터 재생 대상인 파일을 취득한다. 스트림 추출부(702)는 파일 취득부(701)에 의하여 취득된 파일로부터 비디오 스트림을 추출한다. 디코더(703)는 스트림 추출부(702)에 의하여 추출된 비디오 스트림을 디코드한다. 프로젝티드 프레임(projected frame) 생성부(704)는 디코더(703)에 의하여 디코드된 화상 데이터로부터 프로젝티드 프레임(projected frame)을 생성한다.
매핑 처리부(705)는 프로젝티드 프레임(projected frame) 생성부(704)로부터 공급되는 전천구 화상을 입방체(12)의 6면의 각각에 텍스처로서 매핑한다.
묘화부(706)는 매핑 처리부(705)로부터 공급되는 3D 모델 화상을, 시선 검출부(708)로부터 공급되는 시청 위치를 초점으로 하여 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 묘화부(706)는 표시 화상을 헤드마운트 디스플레이(615)에 공급한다.
수취부(707)는 도 24의 자이로 센서(615B)의 검출 결과를 헤드마운트 디스플레이(615)로부터 수취하여 시선 검출부(708)에 공급한다.
시선 검출부(708)는 수취부(707)로부터 공급되는 자이로 센서(615B)의 검출 결과에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 또한 시선 검출부(708)는 카메라(614A)로부터 마커(615A)의 촬영 화상을 취득하고 그 촬영 화상에 기초하여, 3D 모델의 좌표계에 있어서의 시청 위치를 검출한다. 시선 검출부(708)는 3D 모델의 좌표계에 있어서의 시청 위치와 시선 방향에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시야 범위를 결정한다. 시선 검출부(708)는 시청자의 시야 범위와 시청 위치를 묘화부(706)에 공급한다.
다음으로, 도 28을 참조하여 재생 장치(614)의 동작에 대하여 설명한다. 도 28은, ISOBMFF 재생 처리를 설명하는 흐름도이다. 주로 큐브 프로젝션의 경우 및 영역 화상을 처리하는 경우를 예로 들어 설명한다.
스텝 S21에 있어서 파일 취득부(701)는 도 24의 배신 서버(613)로부터 재생 대상인 파일을 취득한다. 또한 파일 취득부(701)는, margin_flag는 무엇인지를 판정한다. margin_flag이 값 1인 경우(전천구 화상이 마진 있는 영역을 포함하는 경우), 스텝 S22에 있어서 파일 취득부(701)는, 재생 클라이언트가 영역의 마진을 사용하는지를 판정한다. 즉, 재생 장치(614)는, 자신이 마진을 사용하는 기능을 갖고 있는지를 판정한다.
자신이 마진을 사용하는 경우, 스텝 S23에 있어서, 스트림 추출부(702)는 파일 취득부(701)에 의하여 취득된 파일로부터 비디오 스트림을 추출한다. 그리고 디코더(703)는 추출된 스트림을 디코드하여 프로젝티드 프레임(projected frame) 생성부(704)에 공급한다.
스텝 S24에 있어서 프로젝티드 프레임(projected frame) 생성부(704)는 리전 매핑 박스(RegionMappingBox)의 정보에 기초하여 마진 있는 영역을 취득하여 프로젝티드 프레임(projected frame)을 생성한다. 스텝 S25에 있어서, 전천구 화상을, 그 마진을, 예를 들어 블렌딩 등의 처리를 하여 렌더링하는 처리가 실행된다. 즉, 매핑 처리부(705)는 전천구 화상을 입방체(12)의 6면의 각각에 텍스처로서 매핑한다. 묘화부(706)는 매핑 처리부(705)로부터 공급되는 3D 모델 화상을, 시선 검출부(708)로부터 공급되는 시청 위치를 초점으로 하여 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 묘화부(706)는 표시 화상을 헤드마운트 디스플레이(615)에 공급한다.
스텝 S22에 있어서 재생 클라이언트가 영역의 마진을 사용하지 않는, 즉, 재생 장치(614) 자신이 마진을 사용하는 기능을 갖고 있지 않다고 판정된 경우, 처리는 스텝 S26으로 진행된다. 스텝 S26에 있어서, 스트림 추출부(702)는 파일 취득부(701)에 의하여 취득된 파일로부터 비디오 스트림을 추출한다. 그리고 디코더(703)는 추출된 스트림을 디코드하여 프로젝티드 프레임(projected frame) 생성부(704)에 공급한다.
스텝 S27에 있어서 프로젝티드 프레임(projected frame) 생성부(704)는 리전 매핑 박스(RegionMappingBox)의 정보에 기초하여 마진 없는 영역을 취득한다. 스텝 S28에 있어서, 전천구 화상을 렌더링하는 처리가 실행된다. 즉, 매핑 처리부(705)는 전천구 화상을 입방체(12)의 6면의 각각에 텍스처로서 매핑한다. 묘화부(706)는 매핑 처리부(705)로부터 공급되는 3D 모델 화상을, 시선 검출부(708)로부터 공급되는 시청 위치를 초점으로 하여 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 묘화부(706)는 표시 화상을 헤드마운트 디스플레이(615)에 공급한다.
스텝 S21에 있어서 margin_flag이 값 0이라고 판정된 경우(마진 없는 영역만인 경우), 스텝 S29에 있어서, 스트림 추출부(702)는 파일 취득부(701)에 의하여 취득된 파일로부터 비디오 스트림을 추출한다. 그리고 디코더(703)는 추출된 스트림을 디코드하여 프로젝티드 프레임(projected frame) 생성부(704)에 공급한다.
스텝 S30에 있어서 프로젝티드 프레임(projected frame) 생성부(704)는 리전 매핑 박스(RegionMappingBox)의 정보에 기초하여 영역 화상을 취득한다.
스텝 S31에 있어서 전천구 화상을 렌더링하는 처리가 실행된다. 즉, 매핑 처리부(705)는 전천구 화상을 입방체(12)의 6면의 각각에 텍스처로서 매핑한다. 묘화부(706)는 매핑 처리부(705)로부터 공급되는 3D 모델 화상을, 시선 검출부(708)로부터 공급되는 시청 위치를 초점으로 하여 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 묘화부(706)는 표시 화상을 헤드마운트 디스플레이(615)에 공급한다.
이와 같이 재생 처리에 있어서, margin_flag에 의하여 재생 클라이언트는 전천구 화상이 마진을 갖는 영역을 갖고 있는지의 여부를 판단할 수 있다. 전천구 화상이 마진을 갖는 영역을 갖고 있는 경우, 예를 들어 재생 클라이언트가, 마진을 갖는 영역을 이용하여 렌더링하는지, 마진이 없는 영역을 이용하여 렌더링하는지에 따라 적절한 영역 정보를 얻어서 렌더링 처리를 행할 수 있다.
또한 ISOBMFF가 복수의 비디오 트랙으로 구성되며, 마진이 없는 영역만을 포함하는 전천구 화상의 트랙과, 마진을 갖는 영역을 포함하는 전천구 화상의 트랙이 혼재하고 있는 경우가 있다. 이와 같은 경우, 마진을 이용하지 않는 클라이언트는, 마진 없는 영역만을 갖는 전천구 화상의 트랙을, 마진을 이용하는 클라이언트는, 마진 있는 영역을 포함하는 전천구 화상의 트랙을 각각 선택하여 재생할 수 있다.
이상에 있어서는 주로 화상의 처리에 대하여 설명하였지만 음성 정보도 화상 정보와 함께 배신된다.
본 기술에 의하면, 마진을 이용하는 클라이언트가 용이하게 마진을 포함하는 영역을 취득할 수 있고, 마진을 이용하지 않는 클라이언트가 용이하게 마진을 포함하지 않는 영역을 취득할 수 있다.
또한 전천구 화상이 마진을 갖는 영역을 갖고 있는지의 여부를 플래그로서 배신함으로써, 마진을 이용하지 않는 클라이언트는 마진 없는 전천구 화상을 용이하게 선택할 수 있다. 또한 마진을 이용하는 클라이언트는 마진 있는 전천구 화상을 용이하게 선택할 수 있다.
또한 본 기술은, 그 본질을 일탈하지 않는 범위에 있어서 다양한 변형예가 존재할 수 있다.
<컴퓨터(도 29)>
도 29는, 전술한 일련의 처리를 프로그램에 의하여 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은 버스(904)에 의하여 서로 접속되어 있다.
버스(904)에는 또한 입출력 인터페이스(905)가 접속되어 있다. 입출력 인터페이스(905)에는 입력부(906), 출력부(907), 기억부(908), 통신부(909) 및 드라이브(910)가 접속되어 있다.
입력부(906)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(907)는 디스플레이, 스피커 등을 포함한다. 기억부(908)는 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(909)는 네트워크 인터페이스 등을 포함한다. 드라이브(910)는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(911)를 구동한다.
이상과 같이 구성되는 컴퓨터(900)에서는, CPU(901)가, 예를 들어 기억부(908)에 기억되어 있는 프로그램을 입출력 인터페이스(905) 및 버스(904)를 통하여 RAM(903)에 로드하여 실행함으로써, 전술한 일련의 처리가 행해진다.
컴퓨터(900)(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(911)에 기록하여 제공할 수 있다. 또한 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송 등의 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(900)에서는, 프로그램은, 리무버블 미디어(911)를 드라이브(910)에 장착함으로써, 입출력 인터페이스(905)를 통하여 기억부(908)에 인스톨할 수 있다. 또한 프로그램은 유선 또는 무선의 전송 매체를 통하여 통신부(909)에서 수신하여 기억부(908)에 인스톨할 수 있다. 그 외에 프로그램은 ROM(902)이나 기억부(908)에 미리 인스톨해 둘 수 있다.
또한 컴퓨터(900)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한 본 명세서에 있어서 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일한 하우징 중에 있는지의 여부는 불문한다. 따라서 별개의 하우징에 수납되어 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는 모두 시스템이다.
또한 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
또한 본 기술의 실시 형태는 전술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
<그 외>
또한 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
전천구 화상이 상기 전천구 화상의 영역에, 생성된 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성하는 식별 정보 생성부를 구비하는,
생성 장치.
(2)
상기 전천구 화상의 영역의 마진을 생성하는 마진 생성부를 더 구비하는,
상기 (1)에 기재된 생성 장치.
(3)
상기 마진은 상기 영역의 외측에 형성되는,
상기 (1) 또는 (2)에 기재된 생성 장치.
(4)
상기 마진을 갖는 영역의 영역 정보는 구 좌표계 또는 2차원 좌표계로 표시되는,
상기 (2) 또는 (3)에 기재된 생성 장치.
(5)
상기 영역 정보는 프로젝티드 프레임(projected frame) 또는 팩트 프레임(packed frame)의 정보로서 표시되는,
상기 (2) 내지 (4) 중 어느 것에 기재된 생성 장치.
(6)
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 영역이 상기 마진을 갖는 경우에 기술되는,
상기 (5)에 기재된 생성 장치.
(7)
상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 영역이 리전와이즈 패킹(region-wise packing)되어 있는 경우에 기술되는,
상기 (5) 또는 (6)에 기재된 생성 장치.
(8)
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 프로젝티드 프레임(projected frame)의 상기 마진을 포함하는 영역의 폭과 높이, 및 상기 폭과 상기 높이 방향의 상기 마진의 할당을 식별하는 할당 식별 정보를 포함하는,
상기 (5) 내지 (7) 중 어느 것에 기재된 생성 장치.
(9)
상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 프로젝티드 프레임(projected frame)의 상기 마진을 포함하는 영역의 폭과 높이, 및 상기 영역의 좌측 상방의 좌표를 포함하는,
상기 (5) 내지 (8) 중 어느 것에 기재된 생성 장치.
(10)
상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 팩트 프레임(packed frame)이 리전와이즈 패킹(region-wise packing)되어 있는 경우에 기술되는,
상기 (5) 내지 (9) 중 어느 것에 기재된 생성 장치.
(11)
상기 할당 식별 정보는 생략되는,
상기 (8)에 기재된 생성 장치.
(12)
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는 생략되고, 상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보만이 기술되는,
상기 (5) 내지 (11) 중 어느 것에 기재된 생성 장치.
(13)
상기 마진은, 코너에 상기 마진이 형성되어 있지 않은 비형성부를 갖는 타입과 갖지 않는 타입이 있는,
상기 (1) 내지 (12) 중 어느 것에 기재된 생성 장치.
(14)
상기 식별 정보 생성부는, 상기 타입을 식별하는 타입 식별 정보를 또한 생성하는,
상기 (13)에 기재된 생성 장치.
(15)
상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 타입 식별 정보가 상기 비형성부를 갖지 않는 타입인 경우에 기술되는,
상기 (14)에 기재된 생성 장치.
(16)
상기 영역이 삼각형이고 그 변을 따라 상기 마진이 형성되어 있는 경우, 상기 삼각형을 직사각형으로 성형하여, 상기 삼각형에 대응하는 상기 직사각형의 변에 상기 마진을 배치하는,
상기 (1) 내지 (15) 중 어느 것에 기재된 생성 장치.
(17)
상기 마진 식별 정보는 ISOBMFF의 스킴 인포메이션 박스(Scheme Information Box) 하의 박스(box)에 기술되는,
상기 (1) 내지 (16) 중 어느 것에 기재된 생성 장치.
(18)
상기 마진 식별 정보는 MPEG-DASH의 MPD 파일에 기술되는,
상기 (1) 내지 17중 어느 것에 기재된 생성 장치.
(19)
생성 장치가,
전천구 화상이 상기 전천구 화상의 영역에, 생성된 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성하는 식별 정보 생성 스텝을 포함하는,
식별 정보 생성 방법.
(20)
전천구 화상이 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 취득하는 취득부와,
취득된 상기 마진 식별 정보에 기초하여 프로젝티드 프레임(projected frame)을 생성하는 생성부와,
상기 프로젝티드 프레임(projected frame)을 렌더링하는 렌더링부
를 구비하는, 재생 장치.
(21)
재생 장치가,
전천구 화상이 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 취득하는 취득 스텝과,
취득된 상기 마진 식별 정보에 기초하여 프로젝티드 프레임(projected frame)을 생성하는 생성 스텝과,
상기 프로젝티드 프레임(projected frame)을 렌더링하는 렌더링 스텝
을 포함하는, 화상 생성 방법.
610: 배신 시스템
611: 촬영 장치
612: 생성 장치
613: 배신 서버
614: 재생 장치
615: 헤드마운트 디스플레이
631: 스티칭 처리부
632: 매핑 처리부
633: 리전와이즈 패킹(region-wise packing) 처리부
634: 인코더
637: 파일 생성부
638: 업로드부
701: 파일 취득부
704: 프로젝티드 프레임(projected frame) 생성부
705: 매핑 처리부
706: 묘화부

Claims (21)

  1. 전천구 화상이 상기 전천구 화상의 영역에, 생성된 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성하는 식별 정보 생성부를 구비하는,
    생성 장치.
  2. 제1항에 있어서,
    상기 전천구 화상의 영역의 마진을 생성하는 마진 생성부를 더 구비하는,
    생성 장치.
  3. 제2항에 있어서,
    상기 마진은 상기 영역의 외측에 형성되는,
    생성 장치.
  4. 제3항에 있어서,
    상기 마진을 갖는 영역의 영역 정보는 구 좌표계 또는 2차원 좌표계로 표시되는,
    생성 장치.
  5. 제4항에 있어서,
    상기 영역 정보는 프로젝티드 프레임(projected frame) 또는 팩트 프레임(packed frame)의 정보로서 표시되는,
    생성 장치.
  6. 제5항에 있어서,
    상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 영역이 상기 마진을 갖는 경우에 기술되는,
    생성 장치.
  7. 제6항에 있어서,
    상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 영역이 리전와이즈 패킹(region-wise packing)되어 있는 경우에 기술되는,
    생성 장치.
  8. 제7항에 있어서,
    상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 프로젝티드 프레임(projected frame)의 상기 마진을 포함하는 영역의 폭과 높이, 및 상기 폭과 상기 높이 방향의 상기 마진의 할당을 식별하는 할당 식별 정보를 포함하는,
    생성 장치.
  9. 제8항에 있어서,
    상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 팩트 프레임(packed frame)의 상기 마진을 포함하는 영역의 폭과 높이, 및 상기 영역의 좌측 상방의 좌표를 포함하는,
    생성 장치.
  10. 제9항에 있어서,
    상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보는, 상기 팩트 프레임(packed frame)이 리전와이즈 패킹(region-wise packing)되어 있는 경우에 기술되는,
    생성 장치.
  11. 제8항에 있어서,
    상기 할당 식별 정보는 생략되는,
    생성 장치.
  12. 제9항에 있어서,
    상기 프로젝티드 프레임(projected frame)의 상기 마진을 갖는 영역의 상기 영역 정보는 생략되고, 상기 팩트 프레임(packed frame)의 상기 마진을 갖는 영역의 상기 영역 정보만이 기술되는,
    생성 장치.
  13. 제8항에 있어서,
    상기 마진은, 코너에 상기 마진이 형성되어 있지 않은 비형성부를 갖는 타입과 갖지 않는 타입이 있는,
    생성 장치.
  14. 제6항 또는 제7항에 있어서,
    상기 마진은, 크로마 서브샘플링이 4:2:2 또는 4:2:0인 경우, 2의 배수의 화소 수의 폭으로 되는
    생성 장치.
  15. 제6항 또는 제7항에 있어서,
    상기 마진은 8의 배수의 화소 수의 폭 또는 16의 배수의 화소 수의 폭으로 되는,
    생성 장치.
  16. 제5항에 있어서,
    상기 영역이 삼각형이고 그 변을 따라 상기 마진이 형성되어 있는 경우, 상기 삼각형을 직사각형으로 성형하여, 상기 삼각형에 대응하는 상기 직사각형의 변에 상기 마진을 배치하는,
    생성 장치.
  17. 제3항에 있어서,
    상기 마진 식별 정보는 ISOBMFF의 스킴 인포메이션 박스(Scheme Information Box) 하의 박스(box)에 기술되는,
    생성 장치.
  18. 제3항에 있어서,
    상기 마진 식별 정보는 MPEG-DASH의 MPD 파일에 기술되는,
    생성 장치.
  19. 생성 장치가,
    전천구 화상이 상기 전천구 화상의 영역에, 생성된 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 생성하는 식별 정보 생성 스텝을 포함하는,
    식별 정보 생성 방법.
  20. 전천구 화상이 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 취득하는 취득부와,
    취득된 상기 마진 식별 정보에 기초하여 프로젝티드 프레임(projected frame)을 생성하는 생성부와,
    상기 프로젝티드 프레임(projected frame)을 렌더링하는 렌더링부
    를 구비하는, 재생 장치.
  21. 재생 장치가,
    전천구 화상이 마진을 갖는 영역을 포함하는 것을 식별하는 마진 식별 정보를 취득하는 취득 스텝과,
    취득된 상기 마진 식별 정보에 기초하여 프로젝티드 프레임(projected frame)을 생성하는 생성 스텝과,
    상기 프로젝티드 프레임(projected frame)을 렌더링하는 렌더링 스텝
    을 포함하는, 화상 생성 방법.
KR1020197017451A 2016-12-28 2017-12-15 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법 KR102412955B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-255631 2016-12-28
JP2016255631 2016-12-28
PCT/JP2017/045044 WO2018123646A1 (ja) 2016-12-28 2017-12-15 生成装置、識別情報生成方法、再生装置および画像生成方法

Publications (2)

Publication Number Publication Date
KR20190100193A true KR20190100193A (ko) 2019-08-28
KR102412955B1 KR102412955B1 (ko) 2022-06-24

Family

ID=62707344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197017451A KR102412955B1 (ko) 2016-12-28 2017-12-15 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법

Country Status (10)

Country Link
US (1) US10846820B2 (ko)
EP (1) EP3565260A1 (ko)
JP (2) JP7017147B2 (ko)
KR (1) KR102412955B1 (ko)
CN (2) CN110115041B (ko)
AU (1) AU2017387754A1 (ko)
BR (1) BR112019012886A2 (ko)
CA (1) CA3041858A1 (ko)
RU (1) RU2019119074A (ko)
WO (1) WO2018123646A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983914B2 (en) 2019-08-14 2024-05-14 Sony Group Corporation Information processing device and information processing method for point cloud data compression

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
WO2018123645A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像再生方法
BR112019024597A2 (pt) * 2017-05-30 2020-06-09 Sony Corp aparelho e método de processamento de imagem, programa para fazer com que um computador execute processamento, e, aparelho e método de geração de arquivo
US10873709B2 (en) * 2018-07-10 2020-12-22 Fuji Xerox Co., Ltd. Systems and methods for automatic detection and insetting of digital streams into a 360-degree video
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
EP3973684A1 (en) * 2019-05-20 2022-03-30 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Immersive media content presentation and interactive 360° video communication

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050017983A1 (en) * 2003-02-20 2005-01-27 Liao Qun Feng Approximation of level of detail calculation in cubic mapping without attribute delta function
JP2006014174A (ja) 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
JP2004048546A (ja) * 2002-07-15 2004-02-12 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
JPWO2007138858A1 (ja) * 2006-05-25 2009-10-01 日本電気株式会社 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置
US8104055B2 (en) * 2007-11-14 2012-01-24 Mavs Lab. Inc. Method of identifying target synchronization point pair through scan-line image matching scheme
JP5387905B2 (ja) * 2009-12-25 2014-01-15 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5891426B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
CN104133819B (zh) * 2013-05-03 2019-03-01 腾讯科技（深圳）有限公司 信息检索方法及装置
CN103559737A (zh) * 2013-11-12 2014-02-05 中国科学院自动化研究所 一种对象全景建模方法
JP6079728B2 (ja) * 2014-08-14 2017-02-15 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
US10366509B2 (en) * 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
JPWO2016199608A1 (ja) * 2015-06-12 2018-03-29 ソニー株式会社 情報処理装置および情報処理方法
US10404960B2 (en) * 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050017983A1 (en) * 2003-02-20 2005-01-27 Liao Qun Feng Approximation of level of detail calculation in cubic mapping without attribute delta function
JP2006014174A (ja) 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983914B2 (en) 2019-08-14 2024-05-14 Sony Group Corporation Information processing device and information processing method for point cloud data compression

Also Published As

Publication number Publication date
CN110115041B (zh) 2021-12-21
JP7218826B2 (ja) 2023-02-07
KR102412955B1 (ko) 2022-06-24
CN114745534A (zh) 2022-07-12
EP3565260A4 (en) 2019-11-06
WO2018123646A1 (ja) 2018-07-05
JP7017147B2 (ja) 2022-02-08
JPWO2018123646A1 (ja) 2019-10-31
CN110115041A (zh) 2019-08-09
CA3041858A1 (en) 2018-07-05
US10846820B2 (en) 2020-11-24
RU2019119074A3 (ko) 2020-12-21
AU2017387754A1 (en) 2019-07-18
BR112019012886A2 (pt) 2019-11-26
US20190347760A1 (en) 2019-11-14
JP2022040409A (ja) 2022-03-10
EP3565260A1 (en) 2019-11-06
RU2019119074A (ru) 2020-12-21

Similar Documents

Publication Publication Date Title
JP7218826B2 (ja) 再生装置および画像生成方法
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
CN110100435B9 (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
US20190373245A1 (en) 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
CN111164969A (zh) 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
US10659761B2 (en) Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
KR102545042B1 (ko) 화상 처리 장치 및 파일 생성 장치
RU2718118C2 (ru) Устройство для обработки информации и способ обработки информации
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
US10313763B2 (en) Method and apparatus for requesting and receiving selected segment streams based on projection information
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
TW201921918A (zh) 影像處理裝置及檔案生成裝置
KR20190129865A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
JPWO2020032113A1 (ja) 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant