KR102133207B1 - 통신장치, 통신 제어방법 및 통신 시스템 - Google Patents

통신장치, 통신 제어방법 및 통신 시스템 Download PDF

Info

Publication number
KR102133207B1
KR102133207B1 KR1020170066492A KR20170066492A KR102133207B1 KR 102133207 B1 KR102133207 B1 KR 102133207B1 KR 1020170066492 A KR1020170066492 A KR 1020170066492A KR 20170066492 A KR20170066492 A KR 20170066492A KR 102133207 B1 KR102133207 B1 KR 102133207B1
Authority
KR
South Korea
Prior art keywords
imaging
information
playlist
communication device
imaging devices
Prior art date
Application number
KR1020170066492A
Other languages
English (en)
Other versions
KR20170137634A (ko
Inventor
타케시 오자와
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20170137634A publication Critical patent/KR20170137634A/ko
Application granted granted Critical
Publication of KR102133207B1 publication Critical patent/KR102133207B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

통신장치는, 복수의 촬상장치와 관련된 촬상 정보를 취득하도록 구성된 취득부와, 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터와 관련된 액세스 정보와 취득부에 의해 취득된 촬상 정보가 기술된 플레이리스트를 생성하도록 구성된 생성부와, 생성부에 의해 생성된 플레이리스트를 다른 통신장치에 송신하도록 구성된 송신부를 구비한다.

Description

통신장치, 통신 제어방법 및 통신 시스템{COMMUNICATION APPARATUS, COMMUNICATION CONTROL METHOD, AND COMMUNICATION SYSTEM}
본 발명은, 통신장치, 통신 제어방법 및 통신 시스템에 관한 것이다.
최근, 가상 시점 영상기술(자유 시점 영상기술)의 이용이 증가하고 있다. 가상 시점 영상은, 대상이 되는 오브젝트를 가상적인 시점에서 본 영상이다. 가상 시점 영상은, 오브젝트의 주위에 배치된 복수의 카메라에 의해 촬상된 영상에 근거해서 얻어진다. 복수의 카메라에 의해 촬상된 영상 데이터를 네트워크를 거쳐 분배함으로써, 네트워크 접속된 복수의 시청자기 자신의 자유로운 시점에서 오브젝트를 시청할 수 있다.
일본국 특개 2013-183209호 공보에는, 다시점 영상의 콘텐츠를 자유로운 시점에서 시청하는 것이 허용되는 시스템이 개시되어 있다. 일본국 특개 2013-183209호 공보에 개시된 시스템에 있어서, 스트리밍 서버는, 다시점 영상의 스트리밍 콘텐츠를 분배한다. 클라이언트 PC은, 분배된 다시점 영상의 스트리밍 콘텐츠를 기초로, 시청자가 선택한 시점에 대응하는 영상을 표시한다.
상기 종래의 시스템은, 시청자들이 카메라 배치 등을 포함하는 촬상 구성을 인식하고 있다는 것을 전제로 한 시스템이다. 그렇지만, 예를 들면, 네트워크 접속된 불특정 다수의 시청자들이 그들 자신의 다양한 클라이언트 기기를 사용해서 가상 시점 영상을 시청하는 경우, 반드시 시청자들이 촬상 구성을 인식하고 있다고는 할 수 없다. 그 때문에, 상기 종래의 시스템에서는, 시청자가 적절한 영상 선택을 할 수 없는 가능성이 있다.
본 발명은, 복수의 촬상장치의 각각의 공간적인 위치를 포함하는 촬상 정보를 취득하는 취득 수단과, (i) 상기 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터에 근거하여 하나 이상의 영상 세그먼트를 요구하기 위해 사용된 액세스 정보와 (ii) 상기 복수의 촬상장치의 각각의 촬상 대상에 관한 정보와 상기 복수의 촬상장치의 각각의 상기 공간적인 위치-평면 영역내의 좌표를 사용하여 기술된다-를 포함하는 상기 촬상 정보를 기술한 플레이리스트를 생성하는 생성 수단과, 상기 생성 수단에 의해 생성된 상기 플레이리스트를 다른 통신장치에 송신하는 송신 수단을 구비한 통신장치를 제공한다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은, 통신 시스템의 일례를 나타낸 개략 구성도다.
도 2는, 카메라의 기능 구성을 나타낸 블록도다.
도 3은, 서버 장치의 기능 구성을 나타낸 블록도다.
도 4는, 서버 장치의 동작을 나타낸 흐름도다.
도 5a는, MPD의 구조의 일례를 도시한 도면이다.
도 5b는, MPD의 일례를 도시한 도면이다.
도 6은, 클라이언트 장치의 동작을 나타낸 흐름도다.
도 7은, MPD의 다른 예를 나타낸 도면이다.
도 8은, 통신장치의 하드웨어 구성의 일례다.
이하, 첨부도면을 참조하여, 본 발명을 실시하기 위한 구체적인 내용에 대해 상세하게 설명한다.
이때, 이하에서 설명하는 실시형태는, 본 발명의 실현 수단으로서의 일례이며, 본 발명이 적용되는 장치의 구성이나 각종 조건에 의해 적절히 수정 또는 변경되어야 할 것이며, 본 발명은 이하의 실시형태에 한정되는 것은 아니다.
본 실시형태에 따른 통신 시스템에서는, 복수의 통신장치 사이에 있어서 양방향으로 통신을 행하는 것이 가능하다. 본 실시형태에서는, 통신 프로토콜로서, 영상 데이터의 스트림을 인터넷 등의 네트워크를 거쳐 전송하는 통신 프로토콜인 MPEG-DASH(Dynamic Adaptive Streaming over Http)을 사용한다. 이후의 설명에서는, 간단을 위해, MPEG-DASH를 DASH로 부른다. 본 실시형태에서는, 통신 시스템이 동화상을 취급하는 예를 참조하여 주로 설명한다. 그러나, 통신 시스템은 정지 화상을 취급하는 것도 가능하다. 즉 본 실시형태에서는, 영상 데이터가 동화상 데이터 또는 정지 화상 데이터이어도 된다.
DASH는, 수신 단말의 처리 능력이나 통신 상황 등에 따라 적절한 영상 데이터를 동적으로 선택하여 전송하는 것을 가능하게 하는 특징을 갖는다. 구체적으로는, DASH의 특징은 대역에 따른 비트 레이트의 전환을 할 수 있게 한다. 예를 들면, 네트워크가 혼잡해서 가용 대역폭이 좁을 경우에는, 재생시에 인터럽션이 발생하지 않도록 비트 레이트가 변동된다.
DASH의 분배 서버는, 영상 데이터를 임의의 촬상 시간으로 구간들로 나누어 얻어진 구간 영상을 준비한다. 각각의 구간 영상은, 수초 정도의 단독 재생가능한 길이를 갖는 세그먼트의 영상 데이터(세그먼트)이다. 상기한 비트 레이트의 전환을 행하기 위해서, 분배 서버는, 미리 복수의 비트 레이트에 대응한 세그먼트들을 준비해 두어도 된다. 분배 서버는, 미리 복수의 해상도에 대응한 세그먼트들을 더 준비해 두어도 된다.
DASH의 관리 서버는, 영상 데이터의 플레이리스트인 MPD(Media Presentation Description)을 생성한다. MPD는, 취득된 영상 데이터의 리스트이다. MPD는, 분배 서버가 준비한 각 세그먼트와 관련된 액세스 정보(URL: Uniform ResourceLocator)와 각 세그먼트의 특징 정보 등의 영상 데이터를 표현하는 정보를 포함한다. 특징 정보는, 세그먼트의 종류(압축 방식), 비트 레이트, 해상도 등에 관한 정보를 포함한다. DASH의 분배 서버와 관리 서버는, 동일한 한개의 서버에 의해 구현되어도 되고 별개로 구현되어도 된다.
DASH의 재생 클라이언트는, 우선 MPD를 분배 서버로부터 취득하고, 취득한 MPD를 해석한다. 이에 따라, 재생 클라이언트는, MPD에 기술된 각 세그먼트의 액세스 정보 및 특징 정보를 얻는다. 다음에, 재생 클라이언트는, 통신 상황과 유저 지시에 따라, MPD에 기술된 세그먼트 리스트로부터, 재생할 세그먼트를 선택한다. 그후, 재생 클라이언트는, 선택한 세그먼트의 액세스 정보에 근거하여 분배 서버로부터 세그먼트를 취득하여, 영상을 재생한다.
따라서, 상기와 같은 종류의 통신 시스템에서는, 서버측에서, 각 세그먼트의 특징 정보를 적절히 MPD에 기술함으로써, 클라이언트측에서, 적절히 세그먼트를 선택하는 것이 중요하다. 클라이언트측에서는, MPD에 기술된 특징 정보를 기초로, 목적에 합치한 세그먼트를 적절히 선택하는 것이 중요하다.
본 실시형태에 따른 통신 시스템에 있어서는, 서버측의 통신장치는, 보충 정보로서, MPD에 촬상 정보를 기술한다. 촬상 정보는, 영상을 촬상한 카메라의 물리적인(공간적인) 배치(위치)에 관한 정보, 화각에 관한 정보, 및 카메라와 촬상 대상인 오브젝트의 물리적인 배치에 관한 관계(배치 관계)를 나타내는 정보를 포함한다. 클라이언트측의 통신장치는, 서버측의 통신장치로부터 송신된 MPD를 수신하고, 수신한 MPD를 해석한다. 그리고, 클라이언트측의 통신장치는, MPD에 기술된 촬상 정보를 포함하는 정보에 근거하여 세그먼트를 선택한다.
이때, 본 실시형태에서는, 통신 프로토콜로서 MPEG-DASH를 사용하는 경우에 대해 본 실시형태의 설명이 주어진다. 그러나, 통신 프로토콜이 MPEG-DASH에 한정되는 것은 아니다. 이와 달리, 통신 프로토콜로서는, HLS(Http Live Streaming)이나, 기타 유사한 통신 프로토콜을 사용할 수도 있다. 플레이리스트의 포맷은, MPEG-DASH에 의해 규정된 MPD의 포맷에 한정되는 것은 아니고, HLS에 의해 규정된 플레이리스트의 포맷이나, 기타 유사한 플레이리스트의 포맷이 사용되어도 된다.
도 1은, 본 실시형태에 따른 통신 시스템(10)의 일례를 나타낸 개략 구성도다. 본 실시형태에서는, 통신 시스템(10)을, 서로 다른 배치에 배치된 복수의 촬상장치에 의해 촬상된 영상 데이터를 네트워크를 거쳐 분배하고, 네트워크 접속된 1대 이상의 클라이언트 장치에서 가상 시점 영상을 시청하는 시스템에 적용한다.
통신 시스템(10)은, 촬상할 오브젝트(100)를 촬상하는 복수의 카메라(200A 내지 200D)(도 1의 예에서는 4대의 카메라)와, 서버 장치(300)와, 클라이언트 장치(400)를 구비한다. 카메라(200A 내지 200D), 서버 장치(300) 및 클라이언트 장치(400)는, 네트워크(500)를 거쳐 통신 가능하게 접속되어 있다. 본 실시형태에 있어서, 가상 시점 영상은, 클라이언트 장치(400)에 의해 지정된 가상적인 시점으로부터 피사체를 촬상함으로써 얻어지는 촬상 영상을 가상적으로 표시하는 영상이다. 클라이언트 장치(400)가 지정가능한 시점의 범위에는 일정한 제한이 있어도 되고, 또는 클라이언트 장치(400)의 타입에 의해, 허용가능한 시점의 범위가 달라도 된다.
오브젝트(100)는, 가상 시점 영상으로서 촬상할 촬상 대상이다. 도 1에 도시된 예에 있어서, 오브젝트(100)는 인물이다. 그러나, 오브젝트(100)는 인물 이외의 물체이어도 된다.
카메라(200A 내지 200D)는, 오브젝트(100)를 촬상하는 촬상장치다. 카메라(200A 내지 200D)의 구체적인 예로서는, 비디오 카메라, 스마트 폰, 태블릿 단말 등을 들 수 있다. 단, 카메라(200A 내지 200D)는, 후술하는 기능 구성을 충족시키는 것이면, 상기한 기기에 한정되지 않는다. 또한, 통신 시스템(10)은, 촬상장치인 복수의 카메라를 구비해도 되고, 카메라의 대수에 특별한 제한은 없다.
카메라(200A 내지 200D)는, 각각, 촬상한 영상을 압축 부호화하여, DASH의 세그먼트 형식으로 영상 데이터(세그먼트)를 생성하는 기능을 갖는다. 또한, 카메라(200A 내지 200D)는, 클라이언트 장치(400)로부터 세그먼트의 송신 요구를 받은 경우에, 그 클라이언트 장치(400)에 대하여 세그먼트 데이터를 네트워크를 거쳐 송신하는 기능을 갖는다. 즉, 카메라(200A 내지 200D)는, 전술한 분배 서버로서 기능한다. 카메라(200A 내지 200D)에 의해 생성된 세그먼트를 격납하기 위해 스토리지 장치를 설치하고, 이 스토리지 장치에 의해 분배 서버를 구현해도 된다.
서버 장치(300)는, 카메라(200A 내지 200D)가 생성하는 세그먼트와 관련된 MPD를 생성하는 기능과, MPD를 클라이언트 장치(400)에 네트워크를 거쳐 분배하는 기능을 갖는 서버측의 통신장치다. 서버 장치(300)는, 퍼스널 컴퓨터(PC)를 사용하여 구현해도 된다. 본 실시형태에서는, 서버 장치(300)는, 카메라(200A 내지 200D)로부터 세그먼트에 관한 정보인 세그먼트 정보(액세스 정보, 특징 정보)와, 전술한 촬상 정보를 수신하여, MPD를 생성한다. MPD의 생성 방법에 대해서는 나중에 상세히 설명한다.
이 서버 장치(300)는, 전술한 관리 서버로서 기능한다. 이때, 복수의 카메라(200A 내지 200D) 중 1대가 서버 장치(300)의 각 부의 기능을 실현하는 통신장치로서 기능하도록 구성해도 된다.
클라이언트 장치(400)는, 가상 시점 영상의 시청자가 조작가능한 단말장치다. 클라이언트 장치(400)는, 서버 장치(300)가 송신하는 MPD를 수신하고 해석하는 기능과, 해석 결과를 기초로 세그먼트를 적어도 1개의 세그먼트를 선택하고, 대응하는 카메라에 대하여 세그먼트의 송신을 요구하는 기능을 갖는 클라이언트측의 통신장치다.
클라이언트 장치(400)는, MPD의 해석에 통해 얻어지는 세그먼트 리스트 중에서, 통신 상황이나 유저 지시에 따라 세그먼트를 선택한다. 구체적으로는, 클라이언트 장치(400)는, 네트워크 대역의 상태, CPU의 사용률, 영상을 표시하는 모니터의 화면 사이즈에 따라, 적절한 비트 레이트 또는 해상도를 갖는 세그먼트를 선택한다.
또한, 클라이언트 장치(400)는, 시청자에 의해 내려진 가상 시점 영상의 시점을 지정하는 지시에 따라, MPD에 포함되는 촬상 정보를 기초로, 시청자가 필요로 하는 적어도 한 개의 세그먼트를 선택한다. 그리고, 클라이언트 장치(400)는, MPD에 기술된 세그먼트의 액세스 정보(URL)를 검출하고, 대응하는 카메라에 대하여 상기한 선택한 세그먼트의 송신을 요구한다.
더구나, 클라이언트 장치(400)는, 세그먼트 송신 요구에 응답하여, 카메라가 송신한 세그먼트를 수신하고, 수신한 세그먼트를 표시하는 기능도 갖는다. 구체적으로는, 클라이언트 장치(400)는, 수신한 세그먼트를 복호화하고, 복호화한 세그먼트를 표시부에 표시한다.
이 클라이언트 장치(400)는 전술한 재생 클라이언트로서 기능한다. 클라이언트 장치(400)의 구체적인 예로서는, 스마트 폰, 태블릿 단말, PC 등을 들 수 있다. 단, 클라이언트 장치(400)는, 후술한 기능 구성을 충족시키는 것이면, 상기한 기기에 한정되지 않는다. 이때, 통신 시스템(10)은 복수의 클라이언트 장치를 구비해도 된다. 그러나, 본 실시형태에서는, 간단을 위해, 통신 시스템(10)은 1대 만의 클라이언트 장치를 구비한다.
네트워크(500)는, LAN(Local Area Network)이나 인터넷, LTE(Long Term Evolution), 3G 등의 WAN(Wide Area Network), 혹은 2개 이상의 이들 네트워크의 조합에 의해 실현된다. 네트워크(500)에의 접속은 유선이거나 무선이어도 된다.
이때, 본 실시형태에 있어서는, 카메라(200A 내지 200D)의 물리적인 배치의 계측방법에 대해 한정되는 것은 아니고, 임의의 계측방법을 사용할 수 있다. 또한, 본 실시형태에 있어서는, 서버 장치(300)가 네트워크(500) 상의 카메라(200A 내지 200D)를 발견하기 위해 임의의 방법을 사용해도 되고, 클라이언트 장치(400)가 서버 장치(300)의 어드레스를 취득하기 위해 임의의 방법을 사용할 수 있다.
다음에, 카메라(200A 내지 200D)의 구성에 대해 구체적으로 설명한다. 카메라(200A 내지 200D)는 동일한 구성을 갖기 때문에, 이하, 카메라 200A의 구성을 예로 들어 설명한다.
도 2는, 카메라 200A의 기능 구성을 나타낸 블록도다. 카메라 200A는, 촬상부(201)와, 영상 부호화부(202)와, 세그먼트 버퍼(203)와, 세그먼트 관리부(204)와, 촬상 정보 관리부(205)와, 통신부(206)를 구비한다. 촬상부(201)는, 오브젝트(100)를 촬상하고, 그 결과 얻어진 영상 데이터를 출력한다. 이 처리에서, 촬상부(201)는 촬상한 영상 데이터를 프레임 단위로 영상 부호화부(202)에 출력한다.
영상 부호화부(202)는, 촬상부(201)로부터 출력되는 영상 데이터를 H.264 등의 형식으로 압축 부호화한다. 또한, 영상 부호화부(202)는, 압축 부호화된 영상 데이터를, DASH가 서포트하는 미디어 형식으로 세그먼트화한다. DASH가 서포트하는 미디어 형식은, MP4 형식 등의 ISOBMFF(Base Media File Format), MPEG-2TS(MPEG-2 Transport Stream) 포맷 등일 수 있다. 영상 부호화부(202)는, 세그먼트화된 영상 데이터(세그먼트)를 세그먼트 버퍼(203)에 격납한다.
세그먼트 버퍼(203)는, 세그먼트를 기록 및 판독하도록 구성되어 있다.
세그먼트 관리부(204)는, 영상 부호화부(202)로부터 세그먼트 버퍼(203)에 세그먼트가 격납되면, 이 세그먼트에 관한 정보(세그먼트 정보)를 생성한다. 그리고, 세그먼트 관리부(204)는, 생성한 세그먼트 정보를, 통신부(206) 및 네트워크(500)를 거쳐 서버 장치(300)에 송신한다. 세그먼트 정보를 서버 장치(300)에 송신하는 타이밍은, 서버 장치(300)로부터 세그먼트 정보의 송신 요구를 수신한 타이밍과 같거나 달라도 된다.
세그먼트 관리부(204)가 세그먼트 버퍼(203)에 격납된 세그먼트의 송신을 클라이언트 장치(400)로부터 요구받으면, 세그먼트 관리부(204)는 통신부(206) 및 네트워크(500)를 거쳐 클라이언트 장치(400)에 요구된 세그먼트를 송신한다.
촬상 정보 관리부(205)는, 카메라 200A의 배치에 관한 정보, 화각에 관한 정보, 카메라 200A와 대상 오브젝트의 배치 관계에 관한 정보를 포함하는 촬상 정보를 유지한다. 촬상 정보 관리부(205)는, 필요에 따라, 통신부(206) 및 네트워크(500)를 거쳐 서버 장치(300)에 촬상 정보를 송신한다. 촬상 정보 관리부(205)는, 정기적인 간격으로 촬상 정보를 송신하거나, 촬상 정보에 변화가 생긴 경우에 새로운 촬상 정보를 송신하여도 된다.
통신부(206)는, 네트워크(500)를 거쳐 서버 장치(300) 또는 클라이언트 장치(400)와 통신하기 위한 통신 인터페이스다. 통신부(206)는, 서버 장치(300)에 대한 세그먼트 정보 및 촬상 정보의 송신, 클라이언트 장치(400)로부터 송신되는 세그먼트의 송신 요구의 수신, 및 그 클라이언트 장치(400)에 대한 세그먼트의 송신시에 통신 제어를 실현한다.
다음에, 서버 장치(300)의 구성에 대해 구체적으로 설명한다.
도 3은, 서버 장치(300)의 기능 구성을 나타낸 블록도다. 서버 장치(300)는, 통신부(301), 세그먼트 정보 격납부(302), MPD 생성부(303)와, 촬상 정보 격납부(304)를 구비한다. 통신부(301)는, 네트워크(500)를 거쳐 카메라(200A 내지 200D) 또는 클라이언트 장치(400)와 통신하기 위한 통신 인터페이스다. 통신부(301)는, 카메라(200A 내지 200D)로부터 송신되는 세그먼트 정보 및 촬상 정보의 수신, 후술하는 클라이언트 장치(400)로부터 송신된 MPD의 송신 요구의 수신, 및 그 클라이언트 장치에 대한 MPD의 송신시에 통신 제어를 실현한다.
통신부(301)는 카메라(200A 내지 200D)로부터 송신되는 세그먼트 정보를 수신하면, 통신부(301)는 수신한 세그먼트 정보를 세그먼트 정보 격납부(302)에 격납한다. 마찬가지로, 통신부(301)가 카메라(200A 내지 200D)로부터 송신되는 촬상 정보를 수신하면, 통신부(301)는 수신한 촬상 정보를 촬상 정보 격납부(304)에 격납한다. 세그먼트 정보 격납부(302)는, 세그먼트 정보를 기록 및 판독하도록 구성되어 있고, 촬상 정보 격납부(304)는, 촬상 정보를 기록 및 판독하도록 구성되어 있다.
MPD 생성부(303)는, 통신부(301)가 클라이언트 장치(400)로부터 MPD의 송신 요구를 수신하면, 세그먼트 정보 격납부(302)로부터 MPD에 기술할 세그먼트에 관한 세그먼트 정보를 취득한다. MPD 생성부(303)는, 촬상 정보 격납부(304)로부터 MPD에 기술할 세그먼트에 관한 촬상 정보를 더 취득한다. 그리고, MPD 생성부(303)는, 이들 취득한 정보에 근거하여 MPD를 생성하고, MPD의 송신 요구를 송신한 클라이언트 장치(400)에 네트워크를 거쳐 생성된 MPD를 송신한다. 본 실시형태에서는, MPD 생성부(303)는, 세그먼트 정보가 기술된 MPD를 생성하고, 이 MPD에 촬상 정보를 기술한다.
이하, MPD 생성부(303)가 MPD를 생성하는 절차에 대해서 도 4를 참조하면서 설명한다. 또한, 이하의 설명에서, 알파벳 S는 흐름도에 있어서의 스텝을 표시한다.
우선, S1에 있어서, MPD 생성부(303)는, 세그먼트 정보 격납부(302)로부터 세그먼트 정보 세트를 취득한다. 세그먼트 정보 세트는, 복수의 카메라(200A 내지 200D)에 의해 생성된 복수의 세그먼트에 관한 세그먼트 정보를 포함한다. 다음에, S2에서는, MPD 생성부(303)는, 촬상 정보 격납부(304)로부터 복수의 카메라(200A 내지 200D)와 관련된 촬상 정보를 취득한다. S3에서는, MPD 생성부(303)는, S1에 있어서 취득된 세그먼트 정보 세트에 대응하는 세그먼트 세트로부터 세그먼트를 1개 선택한다. 그후, S4로 처리를 이행하여, MPD 생성부(303)는, S3에 있어서 선택된 세그먼트에 관한 MPD를 생성한다.
다음에, MPD의 구성에 대해 설명한다.
MPD는, 예를 들면, XML 등의 마크업 언어를 이용한 계층구조로 기술된다. 구체적으로는, 도 5a에 나타낸 것과 같이, MPD는, Period, AdaptationSet 및 Representation 등의 복수의 구조체를 포함하는 계층구조로 기술할 수 있다. Period은, 프로그램 콘텐츠 등의 콘텐츠의 구성 단위이다. 도 5a에 나타낸 것과 같이, MPD는 1개 이상의 Period를 포함한다. 각각의 Period에는, 도 5b에 나타낸 것과 같이, start 시간과 duration 시간이 정의된다. 1개의 Period는, 1개 이상의 AdaptationSet을 포함한다. AdaptationSet은, 콘텐츠의 영상, 음성, 자막 등에 관한 단위를 표현한다.
Representation은, 영상의 해상도나 비트 레이트, 음성/음향의 비트 레이트 등에 관한 특징 정보를 기술할 수 있다. 또한, 도 5b에 나타낸 것과 같이, Representation은, SegmentList를 사용하여 각 세그먼트의 액세스 정보(URL)를 기술할 수도 있다. 이때, AdaptationSet는, 다른 비트 레이트나 해상도에 대응하여, 복수의 Representation에 의해 구성할 수도 있다.
도 4의 S4에서는, MPD 생성부(303)는, S1에 있어서 취득된 세그먼트 정보 세트 중 S3에 있어서 선택된 세그먼트에 관한 세그먼트 정보를 기초로, 액세스 정보와 특징 정보가 기술된 MPD를 생성한다.
S5에서는, MPD 생성부(303)는, S2에 있어서 취득된 복수의 카메라(200A 내지 200D)와 관련된 촬상 정보로부터, S3에 있어서 선택된 세그먼트와 관련된 촬상 정보를 검색한다. S6에서는, MPD 생성부(303)는, S5에 있어서의 검색 결과를 기초로, 검색 대상인 세그먼트에 대응하는 촬상 정보가 있는지 아닌지를 판정한다. MPD 생성부(303)가, 촬상 정보가 있다고 판정한 경우에는, MPD 생성부(303)는 S7로 이행하여, MPD 생성부(303)는 S4에 있어서 생성된 MPD에 해당 세그먼트에 관한 촬상 정보를 기술(추기)한다. 그후, MPD 생성부(303)는 S8로 이행한다. 한편, MPD 생성부(303)가 S6에 있어서 촬상 정보가 없다고 판정한 경우에는, MPD 생성부(303)는 그대로 S8로 이행한다.
MPD에 촬상 정보를 기술하는 방법은, 도 5a에 나타낸 것과 같이, 영상 표현에 관한 정보를 기술하는 AdaptationSet 내부에, Geometry 정보 601 내지 603을 기술하는 것이다. MPD에 있어서, AdaptationSet 내부에는, 새로운 요소를 정의할 수 있는 SupplementalProperty 요소를 기술할 수도 있다. 따라서, 본 실시형태에서는, 도 5b의 부호 604로 나타낸 것과 같이, SupplementalProperty 태그로 둘러싸인 태그에 의해 촬상 정보를 기술한다.
예를 들면, Geometry 태그의 square 속성을 사용하여, 카메라의 배치를 명시적으로 나타내는 평면 영역의 크기를 표시할 수 있다. 또한, Geometry 태그 내에 있는 Subject 태그를 사용하여, 카메라의 배치(pos)와 화각(angle)을 나타낼 수도 있다. 더구나, Geometry 태그 내에 있는 Object 태그를 사용하여, 해당 대상 오브젝트의 배치(pos)를 나타낼 수도 있다. 여기에서, 카메라의 배치 및 오브젝트의 배치는, 평면 영역 내의 좌표를 사용하여 기술할 수도 있다.
전술한 것과 같이, 카메라의 배치에 관한 정보, 화각에 관한 정보, 및 카메라와 오브젝트의 배치 관계에 관한 정보를, AdaptationSet 태그의 속성으로서 MPD에 기술할 수도 있다. 따라서, 이들 촬상 정보를 적절히 클라이언트 장치(400)에 전송하는 것이 가능하다. 이때, MPD에 촬상 정보를 기술하는 전술한 방법은 일례에 지나지 않고, 도 5a 또는 도 5b에 나타낸 예에 포맷이 한정되는 것은 아니다. 예를 들면, 오브젝트의 배치 이외에, 오브젝트의 사이즈가 기술되어도 된다. 또한, 카메라의 배치와 화각의 정보 이외에, 카메라의 촬상 방향을 나타내는 방향 정보가 기술되어도 된다. 오브젝트의 배치에 관한 좌표 정보에 대해서는, 오브젝트의 중심을 나타낸 좌표 정보를 사용하거나, 오브젝트 영역의 좌측 상부 모서리를 나타낸 좌표 정보를 사용해도 된다. 더구나, 복수의 오브젝트에 관한 정보가 기술되어도 된다.
도 4의 S8에서는, MPD 생성부(303)는, S1에 있어서 취득된 세그먼트 정보 세트에 대응하는 세그먼트 세트가, MPD를 생성하고 있지 않은 세그먼트를 포함하는지 아닌지를 판정한다. MPD 생성부(303)가 MPD를 생성하고 있지 않은 세그먼트가 존재한다고 판정한 경우에는, MPD 생성부(303)는 S3으로 처리를 되돌려, 다음의 세그먼트를 선택해서 S4 내지 S7의 처리를 반복한다. 한편, MPD 생성부(303)가 S8에서 모든 세그먼트에 대해 MPD를 생성했다고 판정한 경우에는, MPD 생성부(303)는 MPD의 생성처리를 종료한다.
이상과 같이, 서버 장치(300)는, MPD에 복수의 카메라(200A 내지 200D)에 관한 촬상 정보를 기술할 수 있다. 즉, 서버 장치(300)는, MPD에 복수의 카메라(200A 내지 200D) 사이의 배치 관계와, 복수의 카메라(200A 내지 200D) 사이의 촬상 화각에 관한 관계를 기술할 수 있다.
그 때문에, 클라이언트 장치(400)는, 서버 장치(300)로부터 송신된 MPD를 해석함으로써, 복수의 카메라(200A 내지 200D)가 어떻게 배치되어 있고, 어떤 카메라가 인접해서 배치되어 있는지를 검출할 수 있다. 이렇게, 예를 들어 클라이언트 장치(400)는 인접하여 배치된 카메라가 촬상한 영상의 조합에 관해, 세그먼트 사이의 관계를 용이하게 검출할 수 있다. 즉, MPD에 기술된 촬상 정보는, 영상의 관계를 나타내는 정보이다. 그 결과, 클라이언트 장치(400)는, 적절히 목적에 합치한 세그먼트를 선택하고, 대응하는 카메라에 대하여 세그먼트의 송신 요구를 송신할 수 있다.
이하, 클라이언트 장치(400)가 MPD의 해석 결과를 기초로 목적에 합치한 세그먼트를 선택하는 처리 절차에 대해서, 도 6의 흐름도를 참조하면서 설명한다.
우선 S11에 있어서, 클라이언트 장치(400)는, 서버 장치(300)에 대하여 MPD의 송신 요구를 송신하고, 그것의 응답으로서 서버 장치(300)가 송신한 MPD를 취득한다. 다음에, S12에서는, 클라이언트 장치(400)는, S11에 있어서 취득한 MPD로부터, 선택될 수 있는 세그먼트의 리스트(SegmentList)가 기술된 Period 정보를 취득한다.
S13에서는, 클라이언트 장치(400)는, S12에 있어서 취득한 Period 정보 내의 AdaptationSet 요소를 1개 선택한다. 다음에, S14에서는, 클라이언트 장치(400)는, S13에 있어서 선택한 AdaptationSet 내부에 기술될 수 있는 촬상 정보의 유무를 확인한다. 그리고, 클라이언트 장치(400)는, S15에 있어서, AdaptationSet 내부에 촬상 정보가 기술되어 있는지 아닌지를 판정한다. 도 5b에 도시된 예에서와 같이 촬상 정보가 기술되어 있다고 클라이언트 장치(400)가 판정한 경우에는, 클라이언트 장치(400)는 S16으로 처리를 이행한다. 클라이언트 장치(400)가 촬상 정보가 기술되지 않고 있다고 판정한 경우에는, 클라이언트 장치(400)가 S19로 처리를 이행한다.
S16에서는, 클라이언트 장치(400)는, AdaptationSet 내부에 기술된 촬상 정보를 해석하여, 복수의 카메라의 배치, 화각, 및 카메라와 오브젝트의 배치 관계를 확인한다.
다음에, S17에서는, 클라이언트 장치(400)는, S16에 있어서의 촬상 정보의 해석 결과를 기초로, 세그먼트가 카메라의 촬상 정보의 관점으로부터 수신해야 할 세그먼트인지 아닌지를 판정한다. 예를 들면, 클라이언트 장치(400)가, 카메라의 배치가 시청자가 지시한 시점의 배치에 일치한다고 판정한 경우, 혹은 클라이언트 장치(400)가, 카메라 위치가 시청자가 지시한 시점의 배치의 근방에 있다고 판정한 경우에, 클라이언트 장치(400)는 이 세그먼트가 수신해야 할 세그먼트라고 판정한다. 클라이언트 장치(400)는, 이 세그먼트가 수신해야 할 세그먼트라고 판정하면, S18로 처리를 이행하여, 클라이언트 장치(400)는 이 세그먼트의 정보를 수신 리스트에 등록한다. 그후, 클라이언트 장치(400)는 S19로 처리를 이행한다.
S19에서는, 클라이언트 장치(400)는, 아직 해석하지 않은 AdaptationSet의 유무를 판정한다. 클라이언트 장치(400)는, 아직 해석하지 않은 AdaptationSet가 존재한다고 판정한 경우에는 클라이언트 장치(400)는 S13으로 처리를 되돌려, 다음의 AdaptationSet를 선택해서 S14 내지 S18의 처리를 반복한다. 한편, 클라이언트 장치(400)는 모든 AdaptationSet에 대해 해석이 종료하고 있다고 판정한 경우에, 클라이언트 장치(400)는 도 6의 처리를 종료한다.
그후, 클라이언트 장치(400)는, 세그먼트의 특징 정보의 관점으로부터 수신 리스트에 등록된 세그먼트로부터 최종적으로 수신해야 할 것으로 판정된 세그먼트를 적어도 1개 선택하고, 클라이언트 장치(400)는, 대응하는 카메라에 세그먼트의 송신 요구를 송신한다. 따라서, 클라이언트 장치(400)는, 세그먼트의 송신 요구의 응답으로서 카메라가 송신한 세그먼트를 취득하고, 클라이언트 장치(400)는, 이 세그먼트를 복호화해서 표시부에 표시하도록 표시 제어를 행한다.
이상과 같이, 본 실시형태에 따른 통신장치인 서버 장치(300)는, 피사체가 되는 오브젝트(100)를 촬상하는 복수의 촬상장치인 카메라(200A 내지 200D)와 관련된 촬상 정보를 취득한다. 여기에서, 촬상 정보는, 촬상장치의 물리적인 배치에 관한 정보, 촬상장치의 화각에 관한 정보, 및 촬상장치와 오브젝트 사이의 물리적인 배치 관계에 관한 정보의 적어도 1개를 포함한다. 서버 장치(300)는, 복수의 카메라(200A 내지 200D)에 의해 촬상된 복수의 영상 데이터와 관련된 액세스 정보를 표시하는 플레이리스트에, 촬상 정보를 기술한다. 여기에서, 플레이리스트의 포맷에 대해서는, MPEG-DASH에 규정된 MPD 포맷을 채용해도 된다. 그리고, 서버 장치(300)는, 생성한 플레이리스트를 다른 통신장치로서의 클라이언트 장치(400)에 송신한다.
이에 따라, 클라이언트 장치(400)는, 서버 장치(300)로부터, 액세스 정보와 촬상 정보가 기술된 플레이리스트를 수신하여, 클라이언트 장치(400)는 그 수신한 플레이리스트를 해석한다. 이에 따라, 클라이언트 장치(400)는, 복수의 카메라(200A 내지 200D)의 물리적인 배치 및 화각과, 오브젝트(100)와 카메라(200A 내지 200D) 사이의 물리적인 배치에 관한 관계를 검출할 수 있다. 따라서, 클라이언트 장치(400)는, 플레이리스트에 포함되는 촬상 정보에 근거하여, 복수의 세그먼트의 선택지 중에서 목적에 합치한 세그먼트를 선택하고, 선택한 세그먼트의 요구를 대응하는 카메라에 송신할 수 있다.
최근, 다양한 가상 시점 영상의 연구와 구현 작업이 사용 장소와 다양한 피사체에 사용하기 위해 행해지고 있다. 복수의 카메라에 의해 촬상된 영상 데이터를 네트워크를 거쳐 송신하고, 네트워크 접속된 시청자가 가상의 시점에서 오브젝트를 시청하는 시스템의 경우, 시청자는 불특정 다수이며 이와 같은 다수의 시청자가 있을 수 있고, 시청자가 조작하는 클라이언트 기기도 다양한 종류가 있을 수 있다. 따라서, 시청자가 반드시 카메라의 배치 등의 촬상 구성을 인식하고 있다고는 할 수 없으며, 시청자의 목적에 맞는 재생 영상을 클라이언트 기기가 적절히 선택하는 것이 곤란한 경우가 있다.
이에 대하여, 본 실시형태에서는, 서버 장치(300)는, 상기한 것과 같이, 복수의 카메라(200A 내지 200D)와 관련된 촬상 정보를 기술한 MPD를 생성하고, 생성된 MPD를 클라이언트 장치(400)에 송신한다. 그 때문에, 클라이언트 장치(400)는, 촬상 정보가 기술된 MPD를 해석함으로써 적절히 카메라의 배치 등을 포함하는 촬상 구성을 검출할 수 있다. 따라서, 클라이언트 장치(400)는, 시청자의 시청 목적에 맞는 재생 영상을 적절히 선택할 수 있다.
이렇게, 서버 장치(300)는, 촬상 정보를 클라이언트 장치(400)에 전송하는 수법으로서, 콘텐츠의 스트리밍 분배에 사용되는 플레이리스트(MPD)에 촬상 정보를 기술한다고 하는 통일적인 방법을 채용한다. 따라서, 네트워크 접속한 복수의 시청자가 다양한 사용 장소에서 다양한 오브젝트의 카메라 영상을 가상으로 전환하는 경우에도, 시청자측의 다양한 종류의 클라이언트 기기가 적절한 영상 선택을 실시할 수 있다.
서버 장치(300)가 플레이리스트에 촬상 정보를 기술할 때, 서버 장치(300)는 영상 데이터의 임의의 촬상 시간 간격으로 각각의 구간 영상마다 촬상 정보를 기술할 수 있다. 서버 장치(300)는, 플레이리스트에 포함되는 영상 표현에 관한 정보에 촬상 정보가 포함되도록 촬상 정보를 기술할 수 있다.
구체적으로는, 서버 장치(300)는, 도 5a에 나타낸 것과 같이, AdaptationSet 내에 촬상 정보를 기술할 수 있다. 이렇게 구간 영상마다 촬상 정보를 기술함으로써, 시간에 따른 촬상 정보의 변화를 표현할 수 있다. 영상 표현에 관한 정보(AdaptationSet)에 촬상 정보가 포함되도록 촬상 정보를 기술함으로써, 영상 표현의 촬상 상황에 따른 적절한 촬상 정보를 기술할 수 있다.
더구나, 서버 장치(300)는, 도 5b에 나타낸 것과 같이, 소정의 평면 영역 내에 있어서의 카메라의 좌표의 정보와, 소정의 평면 영역 내에 있어서의 오브젝트의 좌표의 정보를 기술한다. 따라서, 카메라의 물리적인 배치에 관한 정보와, 카메라와 오브젝트의 물리적인 배치 관계에 관한 정보를, 이들 정보가 적절히 플레이리스트에 포함되도록 기술할 수 있다.
이때, 카메라의 물리적인 배치에 관한 정보와 카메라와 오브젝트 사이의 물리적인 배치 관계에 관한 정보는, 소정의 공간 영역 내에 있어서의 좌표로 기술해도 된다. 이 경우, Geometry 태그의 square 속성 대신에, 상기한 공간 영역을 지정하는 속성정보를 기술해도 되고, 카메라 공간 영역이나 오브젝트 공간 영역 내에 있어서의 좌표를 기술해도 된다.
변형예
상기 실시형태에 있어서는, MPD 내부의 촬상 정보의 기술하는 방법으로서, 일례로서, 도 5b에 나타낸 것과 같이, AdaptationSet 내에 SupplementalProperty 요소를 사용해서 촬상 정보를 기술한다. 그렇지만, MPD 내의 촬상 정보의 기술 방법은 상기한 것에 한정되지 않는다.
MPD에서는, AdaptationSet 요소와 마찬가지로, Representation 요소에 SupplementalProperty 요소를 기술할 수도 있다. 따라서, Representation 내에 SupplementalProperty 요소를 사용해서 촬상 정보를 기술해도 된다. 즉, Representation 태그를 사용하여 한가지 표시 방법으로서 촬상 정보를 기술해도 된다. 이와 달리, SupplementalProperty 요소와 마찬가지로 MPD에서 규정되어 있는 EssentialProperty 요소 등의 다른 요소를 사용해서 촬상 정보를 기술해도 된다.
더구나, 도 7에 나타낸 것과 같이, Period 요소의 기술과 독립하여, DevGeometry 정보(605)로서 촬상 정보를 기술해도 된다. 이 경우, DevGeometry 정보(605)에는, 카메라의 ID(dev #1, #2, …) 등을 사용하여, 각각의 카메라에 대해 촬상 정보를 기술할 수도 있다.
구간 영상에 관한 정보의 기술과는 독립적으로 촬상 정보를 기술함으로써, 촬상 정보를 정적인 구성으로 기술할 수 있다. 또한, 공통의 태그를 사용해서 촬상 정보를 기술할 수 있기 때문에, MPD에 촬상 정보를 기술하는 것이 용이하다. 상기한 것과 같이 공통의 태그를 사용해서 촬상 정보를 기술하는 경우, Representation 요소의 ID를 참조용으로 사용함으로써, 세그먼트마다 촬상 정보를 기술할 수도 있다.
하드웨어 구성 예
도 8은, 본 실시형태에 따른 통신장치를 구현할 수 있는 컴퓨터(700)의 하드웨어 구성 예다.
컴퓨터(700)는, CPU(701), ROM(702), RAM(703), 외부 메모리(704)와, 통신 I/F(705)를 구비한다. CPU(701)은, ROM(702), RAM(703), 외부 메모리(704) 등에 격납된 프로그램을 실행함으로써, 상기한 실시형태의 각 부의 기능을 실현할 수 있다. 본 실시형태에 있어서, 통신장치는, CPU(701)에 의해 필요한 프로그램을 판독해서 실행함으로써, 도 4에 나타낸 처리나 도 6에 나타낸 처리를 실현할 수 있다.
통신 I/F(705)는, 외부장치와 통신하도록 구성된 인터페이스다. 통신 I/F(705)는, 도 2의 통신부(206)나 도 3의 통신부(301)로 기능할 수도 있다.
컴퓨터(700)는, 촬상부(706), 표시부(707)와, 입력부(708)를 구비하고 있어도 된다. 촬상부(706)는, 피사체를 촬상하도록 구성된 촬상소자를 포함한다. 촬상부(706)는, 도 2의 촬상부(201)로서 기능할 수 있다. 통신장치가 촬상 기능을 갖지 않고 있을 경우에는, 촬상부(706)는 불필요하다.
표시부(707)는 각종 디스플레이들 중에서 한 개를 사용하여 구성할 수도 있다. 표시부(707)는, 클라이언트 장치(400)에 있어서 영상 세그먼트 등의 표시를 행하는 표시부로서 기능해도 된다. 통신장치가 표시 기능을 갖지 않고 있을 경우에는, 표시부(707)는 불필요하다. 입력부(708)는, 키보드, 마우스 등의 포인팅 디바이스, 터치패널, 각종 스위치를 사용하여 구현할 수도 있다. 입력부(708)는, 클라이언트 장치(400)에 있어서 시청자가 조작가능하다. 시청자는, 입력부(708)를 거쳐 가상 시점 영상에 관한 시점의 배치 등을 입력할 수도 있다. 이때, 통신장치가 입력 기능을 갖지 않고 있을 경우에는, 입력부(707)는 불필요하다.
본 실시형태에 따르면, 복수의 촬상장치에 의한 촬상 영상에 근거하여 영상을 수신하도록 통신장치에 있어서, 수신할 영상을 용이하게 지정할 수 있다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (14)

  1. 복수의 촬상장치의 각각의 공간적인 위치를 포함하는 촬상 정보를 취득하는 취득 수단과,
    (i) 상기 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터에 근거하여 하나 이상의 영상 세그먼트를 요구하기 위해 사용된 액세스 정보와 (ii) 상기 복수의 촬상장치의 각각의 촬상 대상에 관한 정보와 상기 복수의 촬상장치의 각각의 상기 공간적인 위치-평면 영역내의 좌표를 사용하여 기술된다-를 포함하는 상기 촬상 정보를 기술한 플레이리스트를 생성하는 생성 수단과,
    상기 생성 수단에 의해 생성된 상기 플레이리스트를 다른 통신장치에 송신하는 송신 수단을 구비한 통신장치.
  2. 제 1항에 있어서,
    상기 촬상 정보는, 상기 복수의 촬상장치와 특정한 오브젝트 사이의 물리적인 위치 관계에 관한 관계 정보를 포함하는 통신장치.
  3. 제 1항에 있어서,
    상기 생성 수단은, 소정 기간마다 상기 촬상 정보가 기술된 플레이리스트를 생성하는 통신장치.
  4. 제 1항에 있어서,
    상기 생성 수단은, MPEG-DASH에 의해 규정된 Representations의 적어도 하나에 상기 촬상 정보를 기술하는 통신장치.
  5. 제 1항에 있어서,
    상기 생성 수단은, 영상의 분할 기간과는 독립적으로 상기 촬상 정보가 기술된 플레이리스트를 생성하는 통신장치.
  6. 제 1항에 있어서,
    상기 생성 수단은,
    상기 복수의 촬상장치의 공간적인 위치에 관한 정보와, 상기 복수의 촬상장치와 오브젝트 사이의 물리적인 위치에 대한 위치 관계에 관한 정보 중에서 적어도 한 개가 좌표값을 사용하여 표현되는 플레이리스트를 생성하는 통신장치.
  7. 제 1항에 있어서,
    상기 취득 수단은, 상기 촬상 정보의 변화에 따라 상기 복수의 촬상장치에 의해 송신된 촬상 정보를 취득하는 통신장치.
  8. 제 1항에 있어서,
    상기 생성 수단은, MPEG-DASH(Dynamic Adaptive Streaming over Http)에 의해 규정된 포맷에 따른 플레이리스트를 생성하는 통신장치.
  9. (i) 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터에 근거하여 하나 이상의 영상 세그먼트를 요구하기 위해 사용된 액세스 정보와 (ii) 상기 복수의 촬상장치의 각각의 촬상 대상에 관한 정보와 상기 복수의 촬상장치의 각각의 공간적인 위치-평면 영역내의 좌표를 사용하여 기술된다-를 포함하는 촬상 정보를 기술한 플레이리스트를 수신하는 수신 수단과,
    상기 수신 수단에 의해 수신된 상기 플레이리스트에 포함된 상기 촬상 정보에 근거하여, 상기 복수의 영상 데이터 중에서 적어도 1개를 선택하는 선택 수단과,
    상기 선택 수단에 의해 선택된 영상 데이터의 송신 요구를, 상기 수신 수단에 의해 수신된 상기 플레이리스트에 포함된 상기 액세스 정보에 근거해서 다른 통신장치에 송신하는 송신 수단을 구비한 통신장치.
  10. 청구항 1에 기재된 통신장치와, 청구항 9에 기재된 통신장치를 구비하고, 청구항 1에 기재된 통신장치와 청구항 9에 기재된 통신장치가 서로에 대한 통신이 허용되도록 서로 접속된 통신 시스템.
  11. 복수의 촬상장치의 각각의 공간적인 위치를 포함하는 촬상 정보를 취득하는 단계와,
    (i) 상기 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터에 근거하여 하나 이상의 영상 세그먼트를 요구하기 위해 사용된 액세스 정보와 (ii) 상기 복수의 촬상장치의 각각의 촬상 대상에 관한 정보와 상기 복수의 촬상장치의 각각의 상기 공간적인 위치-평면 영역내의 좌표를 사용하여 기술된다-를 포함하는 상기 촬상 정보를 기술한 플레이리스트를 생성하는 단계와,
    상기 생성된 플레이리스트를 다른 통신장치에 송신하는 단계를 포함하는 통신 제어방법.
  12. (i) 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터에 근거하여 하나 이상의 영상 세그먼트를 요구하기 위해 사용된 액세스 정보와 (ii) 상기 복수의 촬상장치의 각각의 촬상 대상에 관한 정보와 상기 복수의 촬상장치의 각각의 공간적인 위치-평면 영역내의 좌표를 사용하여 기술된다-를 포함하는 촬상 정보를 기술한 플레이리스트를 수신하는 단계와,
    상기 수신된 플레이리스트에 포함된 상기 촬상 정보에 근거하여, 상기 복수의 영상 데이터 중 적어도 1개를 선택하는 단계와,
    상기 선택된 영상 데이터의 송신 요구를, 상기 수신된 플레이리스트에 포함된 상기 액세스 정보에 근거해서 다른 통신장치에 송신하는 단계를 포함하는 통신 제어방법.
  13. 컴퓨터에,
    복수의 촬상장치의 각각의 공간적인 위치를 포함하는 촬상 정보를 취득하는 단계와,
    (i) 상기 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터에 근거하여 하나 이상의 영상 세그먼트를 요구하기 위해 사용된 액세스 정보와 (ii) 상기 복수의 촬상장치의 각각의 촬상 대상에 관한 정보와 상기 복수의 촬상장치의 각각의 상기 공간적인 위치-평면 영역내의 좌표를 사용하여 기술된다-를 포함하는 상기 촬상 정보를 기술한 플레이리스트를 생성하는 단계와,
    상기 생성된 플레이리스트를 다른 통신장치에 송신하는 단계를 포함하는 방법을 실행하게 하기 위해 기억매체에 기억된 프로그램.
  14. 컴퓨터에,
    (i) 복수의 촬상장치에 의해 촬상된 복수의 영상 데이터에 근거하여 하나 이상의 영상 세그먼트를 요구하기 위해 사용된 액세스 정보와 (ii) 상기 복수의 촬상장치의 각각의 촬상 대상에 관한 정보와 상기 복수의 촬상장치의 각각의 공간적인 위치-평면 영역내의 좌표를 사용하여 기술된다-를 포함하는 촬상 정보를 기술한 플레이리스트를 수신하는 단계와,
    상기 수신된 플레이리스트에 포함된 상기 촬상 정보에 근거하여, 상기 복수의 영상 데이터 중 적어도 1개를 선택하는 단계와,
    상기 선택된 영상 데이터의 송신 요구를, 상기 수신된 플레이리스트에 포함된 상기 액세스 정보에 근거해서 다른 통신장치에 송신하는 단계를 포함하는 방법을 실행하게 하기 위해 기억매체에 기억된 프로그램.
KR1020170066492A 2016-06-03 2017-05-30 통신장치, 통신 제어방법 및 통신 시스템 KR102133207B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2016-111626 2016-06-03
JP2016111626A JP6669403B2 (ja) 2016-06-03 2016-06-03 通信装置、通信制御方法および通信システム

Publications (2)

Publication Number Publication Date
KR20170137634A KR20170137634A (ko) 2017-12-13
KR102133207B1 true KR102133207B1 (ko) 2020-07-13

Family

ID=60483691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170066492A KR102133207B1 (ko) 2016-06-03 2017-05-30 통신장치, 통신 제어방법 및 통신 시스템

Country Status (3)

Country Link
US (1) US20170353753A1 (ko)
JP (1) JP6669403B2 (ko)
KR (1) KR102133207B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210092348A1 (en) * 2018-02-27 2021-03-25 Sharp Kabushiki Kaisha Generation apparatus, reconstruction apparatus, generation method, control program, and recording medium
CN112513938A (zh) 2018-08-06 2021-03-16 松下电器（美国）知识产权公司 三维数据保存方法、三维数据获得方法、三维数据保存装置以及三维数据获得装置
JP7199886B2 (ja) 2018-09-14 2023-01-06 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
WO2020075498A1 (ja) * 2018-10-12 2020-04-16 ソニー株式会社 配信システム、情報処理サーバ、および配信方法
JP6970143B2 (ja) * 2019-06-24 2021-11-24 Ｎｔｔテクノクロス株式会社 配信サーバ、配信方法及びプログラム
JP7319340B2 (ja) * 2019-06-24 2023-08-01 Ｎｔｔテクノクロス株式会社 配信サーバ、配信方法及びプログラム
JP7442302B2 (ja) * 2019-11-22 2024-03-04 キヤノン株式会社 データ処理装置およびその制御方法、プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380096B2 (en) * 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9226045B2 (en) * 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
US8806050B2 (en) * 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
US20160269759A1 (en) * 2013-10-22 2016-09-15 Sharp Kabushiki Kaisha Display processing device, distribution device, and metadata
CN107079013B (zh) * 2014-10-14 2020-07-10 皇家Kpn公司 管理媒体流的并发流式传输
CN106612426B (zh) * 2015-10-26 2018-03-16 华为技术有限公司 一种多视点视频传输方法及装置
US10674205B2 (en) * 2015-11-17 2020-06-02 Rovi Guides, Inc. Methods and systems for selecting a preferred viewpoint for media assets

Also Published As

Publication number Publication date
KR20170137634A (ko) 2017-12-13
JP6669403B2 (ja) 2020-03-18
US20170353753A1 (en) 2017-12-07
JP2017220703A (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
US20210136455A1 (en) Communication apparatus, communication control method, and computer program
EP3459252B1 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US11356648B2 (en) Information processing apparatus, information providing apparatus, control method, and storage medium in which virtual viewpoint video is generated based on background and object data
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
CN108111899B (zh) 视频传输方法与装置、客户端、服务器及存储介质
US10911809B2 (en) Communication apparatus, communication method, and program
US11202110B2 (en) Information processing apparatus, control method of the same, and storage medium
US10511767B2 (en) Information processing device, information processing method, and program
CA3057924A1 (en) System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
US10636115B2 (en) Information processing apparatus, method for controlling the same, and storage medium
CN112188219A (zh) 视频接收方法和装置以及视频发送方法和装置
KR20200000815A (ko) 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체
US20190342628A1 (en) Communication device and method
JP6224522B2 (ja) 映像配信装置、映像配信方法及び映像配信プログラム
JP7319340B2 (ja) 配信サーバ、配信方法及びプログラム
GB2560953A (en) Video Streaming
JP2021002811A (ja) 配信サーバ、配信方法及びプログラム
KR20180032241A (ko) 클라이언트의 요청에 따른 실시간 비디오 스트리밍 방법 및 장치
JP2014087004A (ja) 表示制御装置、表示制御方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant