KR20180105690A - 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램 - Google Patents

통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20180105690A
KR20180105690A KR1020187024453A KR20187024453A KR20180105690A KR 20180105690 A KR20180105690 A KR 20180105690A KR 1020187024453 A KR1020187024453 A KR 1020187024453A KR 20187024453 A KR20187024453 A KR 20187024453A KR 20180105690 A KR20180105690 A KR 20180105690A
Authority
KR
South Korea
Prior art keywords
segment
image
objects
metadata
unit
Prior art date
Application number
KR1020187024453A
Other languages
English (en)
Other versions
KR102087533B1 (ko
Inventor
유키 후지모리
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20180105690A publication Critical patent/KR20180105690A/ko
Application granted granted Critical
Publication of KR102087533B1 publication Critical patent/KR102087533B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

통신 장치가 영상 내의 오브젝트를 갖는 오브젝트 영역을 식별하도록 구성된 식별 유닛; 식별 유닛에 의해 식별된 하나 이상의 오브젝트 영역에 대응하는 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 생성하도록 구성된 생성 유닛; 생성 유닛에 의해 생성된 메타데이터 세그먼트를 또 다른 통신 장치에 송신하도록 구성된 송신 유닛; 및 메타데이터 세그먼트를 수신한 다른 통신 장치에서 선택된 오브젝트에 대응하는 오브젝트 영역의 영상 세그먼트를 다른 통신 장치에 공급하도록 구성된 공급 유닛을 포함한다.

Description

통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램
본 발명은 통신 장치, 통신 시스템, 통신 제어 방법, 및 컴퓨터 프로그램에 관한 것으로, 특히 영상 데이터 스트리밍 기술에 관한 것이다.
근년에, 음성 데이터나 영상 데이터 등의 콘텐츠를 스트리밍하는 배신 시스템이 제공되고 있다. 이러한 배신 시스템에 의해, 사용자는 사용자가 보유하는 단말 장치를 통해서, 라이브 영상 등의 원하는 콘텐츠를 실시간으로 즐길 수 있다. 스마트폰이나 태블릿형 PC와 같은 단말기의 보급에 의해, 여러가지 단말 장치를 사용해서 언제든 어디서든 스트리밍 콘텐츠를 즐기고 싶어하는 수요가 높아지고 있다. 이와 같은 요구를 만족시키기 위해서, 사용자의 단말 장치의 능력과 통신 상태에 따라, 취득될 스트림을 동적으로 변경하는 기술(MPEG-DASH, Http Live Streaming 등)이 주목받고 있다. "ISO-IEC 23009-1"은 "Dynamic Adaptive Streaming over HTTP(DASH)" 기술을 제공한다. "draft-pantos-http-live-streaming-16"은 "Http Live Streaming" 기술을 제공한다.
이들의 기술에 따라서, 영상 데이터가 미세한 시간 단위의 세그먼트들로 분할되고, 세그먼트들 중 하나를 취득하기 위한 URL(Uniform Resource Locator)이 플레이 리스트(playlist)이라고 불리는 파일에 기술된다. 수신 장치는 이러한 플레이 리스트를 취득하고 이 플레이 리스트에 기술되는 정보를 사용해서 원하는 영상 데이터를 취득하도록 구성된다.
여기서, 복수 버전의 영상 데이터 세그먼트에 대한 URL들이 플레이 리스트에 기술될 수 있다. 이에 의해, 수신 장치는 자신의 능력과 통신 환경에 따라, 최적 버전의 영상 데이터를 플레이 리스트로부터 선택하고, 선택된 영상 데이터 세그먼트를 취득할 수 있다.
PTL1은 수신 장치가 대응하는 영상 데이터 세그먼트를 그로부터 취득할 수 있는 URL을 기술하는 플레이 리스트에 관련한 기술을 적용하여, 영상 데이터 중에서 사용자가 주목하는 영역에 관한 영상 데이터를 배신하는 기술을 개시한다. 이 영상 데이터 중의 주목 영역을 이하 "ROI(Region Of Interest)"라고 말한다. 보다 상세하게는, PTL 1에 따라서, 영상 데이터를 미리 타일 형상 영역들로 분할하고, 영상 전체의 데이터와 영상 전체의 데이터 중에서 사용자가 주목하는 오브젝트를 보여주는 ROI의 데이터를 배신할 수 있다.
배신될 영상 데이터 중에서 보여지는 오브젝트의 수 및 위치가 시계열적으로 변할 수 있기 때문에, 영상 데이터의 배신 전에, 타겟 오브젝트를 포함하는 영역을 ROI로서 미리 지정하는 것은 어렵다.
PTL 1: 영국 특허 GB2505912B
본 발명의 일 양태는 통신 장치를 제공하는데, 통신 장치는 영상 내의 오브젝트를 갖는 오브젝트 영역을 식별하도록 구성된 식별 유닛, 식별 유닛에 의해 식별되는 하나 이상의 오브젝트 영역에 대응하는 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 생성하도록 구성된 생성 유닛, 생성 유닛에 의해 생성된 메타데이터 세그먼트를 또 다른 통신 장치에 송신하도록 구성된 송신 유닛, 및 메타데이터 세그먼트를 수신하는 다른 통신 장치에서 선택된 오브젝트에 대응하는 오브젝트 영역의 영상 세그먼트를 다른 통신 장치에 공급하도록 구성된 공급 유닛을 포함한다.
본 발명의 추가 특징은 첨부된 도면을 참조하여 이하의 예시적인 실시예의 설명으로부터 명백해질 것이다.
도 1은 실시예에 따른 화상 배신 시스템을 예시하는 구성도이다.
도 2는 실시예에 따른 송신 장치의 기능 구성을 예시하는 블록도이다.
도 3은 실시예에 따른 수신 장치의 기능 구성을 예시하는 블록도이다.
도 4a는 실시예에 따라 표시되는 영상의 구체 예를 예시한다.
도 4b는 실시예에 따라 표시되는 영상의 구체 예들을 예시한다.
도 5는 실시예에 따른 플레이 리스트의 구체 예를 예시한다.
도 6은 실시예에 따른 플레이 리스트의 구체 예를 예시한다.
도 7은 실시예에 따른 메타데이터의 구체 예를 예시한다.
도 8은 실시예에 따른 메타데이터의 구체 예를 예시한다.
도 9는 실시예에 따른 플레이 리스트의 구체 예를 예시한다.
도 10은 실시예에 따른 송신 장치에 의해 수행될 처리의 구체 예를 예시한다.
도 11은 실시예에 따른 수신 장치에 의해 수행될 처리의 구체 예를 예시한다.
도 12는 실시예에 따른 수신 장치에 의해 수행될 처리의 구체 예를 예시한다.
도 13a는 사용자 인터페이스부의 구체적인 표시 예를 예시한다.
도 13b는 사용자 인터페이스부의 구체적인 표시 예를 예시한다.
도 14는 송신 장치와 수신 장치 사이의 통신을 예시하는 시퀀스도이다.
도 15는 송신 장치와 수신 장치 사이의 통신을 예시하는 시퀀스도이다.
도 16은 실시예에 따른 부들의 하드웨어 구성의 일례를 예시한다.
본 발명의 실시예들이 첨부 도면을 참조하여 이하에서 상세히 설명될 것이다. 이하에 설명하는 실시예는 본 발명의 실현 수단으로서의 일례이며, 본 발명이 적용되는 장치의 구성에 따라 그리고 본 발명의 적용되는 조건에 따라 수정 또는 변경되어야 할 것이다. 본 발명은 이하의 실시예에 한정되도록 의도되지 않는다.
일 실시예에 따른 통신 시스템에 있어서, 영상 데이터 송신 장치가, 영상 데이터 중에서 주목 영역(ROI)의 후보가 될 오브젝트를 특정할 수 있는 정보(예를 들어, 좌표 정보나 크기 정보 등의 위치 정보)를 플레이 리스트를 통해서 수신 장치에 통지한다. 수신 장치는 ROI 후보로부터 사용자가 타겟 ROI를 선택하도록 프롬프트하고, 선택된 ROI의 오브젝트를 특정할 수 있는 정보를 송신 장치에 송신하고, 송신 장치가 선택된 ROI를 포함하는 영상 세그먼트를 배신하도록 한다. 오브젝트를 특정할 수 있는 정보는, 예를 들어 오브젝트의 명칭이나 ID에 기초하여 절대적으로 오브젝트를 특정할 수 있는 정보일 수도 있고, 리스트 상에서 3번째 항목과 같이 상대적으로 오브젝트를 특정할 수 있는 정보일 수도 있다. 좌표 정보는 만일 사용된다면, 오브젝트가 특정될 수 있는 오브젝트의 절대 좌표에 관한 정보일 수도 있거나, 또는 화면 또는 영상 상의 오브젝트의 상대적인 위치에 관한 정보일 수도 있다.
실시예의 시스템 전체 구성
도 1은 실시예에 따라 영상 데이터를 배신하는 통신 시스템의 전체 구성을 예시한다. 본 실시예에 따른 송신 장치(101)(통신 장치)는 네트워크(103)를 통해서 수신 장치(102)(통신 장치)와 접속된다. 도 1에서는 송신 장치(101), 수신 장치(102) 각각 1대만 예시하고 있지만, 통신 시스템은 복수의 송신 장치(101), 및 복수의 수신 장치(102)를 포함할 수 있다.
송신 장치(101)는 본 실시예에 따라 영상 데이터를 배신하도록 구성된 송신 장치이다. 송신 장치(101)는 구체적으로, 예를 들어 카메라 장치, 영상 카메라 장치, 스마트폰 장치, PC 장치, 셀룰러 폰일 수 있는데, 이것은 후술하는 기능 구성 요건을 만족시킬 수 있으면 되고, 여기서 예를 든 장치들에만 한정되지는 않는다.
수신 장치(102)는 본 실시예에 따라 영상 데이터를 수신하도록 구성된 수신 장치이다. 수신 장치(102)는 구체적으로, 예를 들어 스마트폰 장치, PC 장치, 텔레비전, 또는 셀룰러 폰일 수 있는데, 이것은 후술하는 기능 구성 요건을 만족시킬 수 있으면 되고, 여기서 예를 든 장치들에만 한정되지는 않는다.
네트워크(103)는 본 실시예에 따라 영상 데이터를 배신하는 데에 사용 가능한 네트워크이며, 영상 데이터를 송신할 수 있는 임의의 네트워크일 수 있다. 예를 들어, 유선 LAN(Local Area Network) 또는 무선 LAN(Wireless LAN)이 이용될 수 있다. 네트워크(103)는, 이하의 것에 한정됨이 없이, 예를 들어, LTE(Long Term Evolution) 또는 3G WAN(Wide Area Network)일 수 있다. 대안적으로, 네트워크(103)는 Bluetooth(등록 상표) 또는 Zigbee(등록 상표) 등의 PAN(Personal Area Network)일 수 있다.
송신 장치(101)의 기능 구성
도 2는 본 실시예에 따른 송신 장치(101)의 기능 구성을 예시한다. 본 실시예에 따른 송신 장치(101)는 촬상부(201), 영상 영역 분할 유닛(202), 오브젝트 인식부(203), 영상 영역 식별 유닛(204), 세그먼트 생성 유닛(205), 플레이 리스트 생성 유닛(206), 및 통신부(207)를 포함한다.
촬상부(201)는 촬영을 수행하고 영상 데이터를 출력하도록 구성된다. 영상 영역 분할 유닛(202)는 촬상부(201)가 촬영한 영상 데이터를 영역 분할해서 이들을 부호화하도록 구성된다. 그 결과, 영상 영역 분할 유닛(202)는 영역 분할되고 부호화된 영상 데이터를 출력한다. 또한, 영상 영역 분할 유닛(202)는 영역 분할 전의 전체의 영상 데이터를 부호화하는 기능을 갖는다. 도 2는 촬상부(201)가 송신 장치(101) 내에 구비되는 것으로 예시하고 있지만, 촬상부(201)는 송신 장치(101)의 외부에 있어서 영상 데이터를 송신 장치(101)에 제공할 수 있다. 데이터가 HEVC(High Efficiency Video Coding)에 의해 부호화되는 예를 설명할 것이다. 그러나, 본 발명의 실시예는 이것에만 한정되지는 않는다. 예를 들어, H.264이나 MPEG2(Moving Picture Experts Group phase 2) 또는 그와 유사한 것과 같은 부호화 방식이 대신 사용될 수 있다.
오브젝트 인식부(203)는, 영상 영역 분할 유닛(202)가 부호화한 영상 데이터에 대하여 영상 데이터 중에 보여지는 ROI의 후보가 될 수 있는 오브젝트의 인식을 행한다. 오브젝트 인식부(203)가 실행하는 오브젝트 인식 방법은, 영상 데이터 중에 보여지는 복수의 오브젝트를 동시에 인식할 수 있는 방법이며, 영상 데이터 중의 각각의 오브젝트의 위치 정보(좌표 정보와 크기)를 인식 결과로서 출력하는 방법이다. 오브젝트 인식부(203)는 송신 장치(101)의 외부에 제공될 수 있다. 외부에 제공되는 오브젝트 인식부(203)는 송신 장치(101)로부터 부호화된 영상 데이터를 수신하고, 영상 데이터 중의 오브젝트의 인식 결과인 위치 정보(좌표 정보와 크기)를 송신 장치(101)에 송신할 수 있다.
영상 영역 식별 유닛(204)는 오브젝트 인식부(203)가 인식한 오브젝트의 인식 결과인 위치 정보(좌표 정보와 크기)를 사용하여, 영상 영역 분할 유닛(202)에 의해 수행된 분할의 결과인 영상 영역들로부터 오브젝트가 포함되는 영상 영역(이하, "오브젝트 영역"이라고 함)을 식별할 수 있다.
세그먼트 생성 유닛(205)는 영상 세그먼트와 메타데이터 세그먼트를 생성하도록 구성된다. 영상 세그먼트는 영상 영역 식별 유닛(204)가 식별한 영상 영역(오브젝트 영역) 및 전체 영상 데이터를 포함하는 데이터이다. 세그먼트 생성 유닛(205)는 영상 세그먼트로서 오브젝트 영역을 포함하는 영상 세그먼트를 생성할 수 있다.
반면, 메타데이터 세그먼트는 플레이 리스트상의 속성 정보와 오브젝트의 영상 중의 좌표 정보를 포함하는 데이터이다. 플레이 리스트의 속성 정보는, 예를 들어 오브젝트의 수 및 영상 데이터의 대역에 관한 정보를 포함할 수 있다. 메타데이터 세그먼트는 이것이 좌표 정보를 포함하므로 좌표 세그먼트라고 불릴 수 있다.
메타데이터 세그먼트는 오브젝트에 관한 위치 정보를 포함할 수 있다. 위치 정보는, 앞에서 설명한 대로, 영상 데이터 중의 오브젝트에 관한 좌표 정보, 및 오브젝트의 크기를 포함할 수 있다. 임의의 정보가 이것에 오브젝트의 위치에 관련된다면 적용될 수 있고, 예를 들어 오브젝트의 윤곽선에 관한 정보, 오브젝트의 정점들에 관한 좌표 정보, 또는 오브젝트의 방향에 관한 정보를 포함할 수 있다. 메타데이터 세그먼트 중의 좌표 정보는, 위에서 설명한 바와 같이, 절대 좌표일 수도 있고 상대 좌표일 수도 있다.
본 실시예에 따른 영상 세그먼트는 ISOBMFF(Base Media File Format)와 같은 파일 포맷을 가질 수 있다. 그러나, 이것에만 한정하지 않고, 파일 포맷은 MPEG2TS(MPEG2 Transport Stream)와 같은 포맷일 수 있다.
플레이 리스트 생성 유닛(206)(제3 생성 유닛)는 세그먼트 생성 유닛(205)가 생성한 영상 세그먼트 또는 메타데이터 세그먼트에의 액세스를 가능하게 하는 URL("자원 식별자" 또는 "액세스 식별자"라고 불림)을 기술하는 플레이 리스트를 생성한다. 본 실시예에 따르면, URL(자원 식별자)을 영상 세그먼트에 액세스하기 위한 식별자로서 사용했다. 그러나, 영상 세그먼트에 액세스하기 위한 다른 식별자나 링크 정보를 사용할 수 있다.
통신부(207)는, 수신 장치(102)로부터의 요구에 응답하여, 생성된 플레이 리스트 및 세그먼트(영상 세그먼트 및 메타데이터 세그먼트)를 네트워크(103)를 통해서 수신 장치(102)에 송신하도록 구성된다.
식별자는 플레이 리스트 포맷으로서 MPEG-DASH에서 정의된 MPD(Media Presentation Description)일 수 있다. 본 실시예에 따르면, MPD가 예로서 이용된다. 그러나, "http Live streaming"에서의 플레이 리스트 기술 방법과 같은 임의의 포맷이 이것이 MPD와 동등한 기능을 갖는다면 이용될 수 있다.
수신 장치의 기능 구성
도 3은 본 실시예에 따른 수신 장치(102)의 기능 구성도이다.
본 실시예에 따른 수신 장치(102)는 표시부(301), 복호화부(302), 세그먼트 해석부(303), 플레이 리스트 해석부(304), 취득 세그먼트 결정부(305), 및 통신부(306)를 포함한다. 수신 장치(102)는 추가로 사용자 인터페이스부(307) 및 취득 오브젝트 결정부(308)를 포함한다.
표시부(301)는 복호화부(302)가 복호화한 영상 세그먼트를 표시하고 세그먼트 해석부(303)가 메타데이터 세그먼트에 기초하여 해석한 메타데이터를 표시하도록 구성된다. 표시부(301)는 필요에 따라 영상 세그먼트 내의 ROI의 영역을 표시할 수 있다. 복호화부(302)는 세그먼트 해석부(303)가 출력하는 영상 비트 스트림을 복호화하도록 구성되고, 복호화한 영상 세그먼트를 표시부(301)에 공급해서 표시하도록 한다.
세그먼트 해석부(303)는 통신부(306)로부터 출력되는 영상 세그먼트 및 메타데이터 세그먼트를 해석하도록 구성된다. 세그먼트 해석부(303)는 영상 세그먼트를 해석해서 취득된 영상 비트 스트림을 복호화부(302)에 출력한다. 세그먼트 해석부(303)는 메타데이터 세그먼트를 해석하여 오브젝트에 관한 좌표 정보 및 플레이 리스트상의 속성 정보를 취득한다. 오브젝트에 관한 취득된 좌표 정보는 표시부(301) 및 취득 오브젝트 결정부(308)에 출력된다. 반면, 플레이 리스트상의 취득된 속성 정보는 플레이 리스트 해석부(304)에 출력된다.
플레이 리스트 해석부(304)는 통신부(306)로부터 출력된 플레이 리스트를 해석하도록 구성된다. 플레이 리스트 해석부(304)는 세그먼트 해석부(303)로부터 출력되는 메타데이터 세그먼트로부터 취득된 플레이 리스트상의 속성 정보를 사용해서 플레이 리스트를 부분 갱신하도록 추가로 구성된다.
취득 오브젝트 결정부(308)는 사용자 인터페이스부(307)로부터 통지된 사용자 입력 및 세그먼트 해석부(303)로부터 출력된 오브젝트에 관한 좌표 정보에 기초하여 사용자가 주목하는 ROI로서 그 영상이 취득될 오브젝트를 결정하도록 구성된다.
취득 세그먼트 결정부(305)는 취득 오브젝트 결정부(308)가 결정한 오브젝트 및 사용자 인터페이스부(307)로부터 출력되는 사용자 입력에 기초하여 ROI의 오브젝트를 포함하는 취득될 영상 세그먼트와 그 취득 타이밍을 결정한다. 취득된 결정 세그먼트에 관한 정보 및 취득 타이밍은 통신부(306)에 출력된다.
통신부(306)는 네트워크(103)를 통해서 송신 장치(101)에 플레이 리스트 및 세그먼트(영상 세그먼트 및 메타데이터 세그먼트)를 요구하고 또한 플레이 리스트 및 세그먼트(영상 세그먼트 및 메타데이터 세그먼트)를 수신하도록 구성된다. 플레이 리스트는, 상술한 바와 같이, 영상 세그먼트에 대한 액세스 식별자인 URL을 포함하는 데이터일 수 있다. 대안적으로, 플레이 리스트는 메타데이터 세그먼트(좌표 세그먼트)에 대한 액세스 식별자인 URL을 포함하는 데이터일 수 있다.
사용자 인터페이스부(307)는 사용자 입력을 접수하고 또한 취득 오브젝트 결정부(308)에게 선택된 오브젝트를 ROI로서 통지하도록 구성된다. 본 실시예에 따르면, 사용자 인터페이스부(307)는 터치 패널일 수 있다. 그러나, 이것에 한정되지 않고, 사용자 인터페이스부(307)는 마우스, 키보드, 음성 입력, 또는 기타 각종 입력일 수 있다.
표시될 영상의 구체 예
도 4a 및 도 4b는 본 실시예에 따라 표시될 영상의 구체 예를 예시한다. 도 4a는 영역 분할이 그에 대해 수행되기 전의 전체 영상(401)을 예시한다. 도 4b는 전체 영상(401)이 영역 분할을 겪은 모습을 예시한다.
도 4b는 각각이 분할 후의 영상(402) 중에서 분할된 영역들 간의 경계를 나타내는 파선들을 예시한다. 본 실시예에 따르면, 전체 영상(401) 중에서 제각기 프레임(406), 프레임(407), 및 프레임(408)에 의해 정의된 3개의 영역에 존재하는 오브젝트들(406a, 407a, 408a)이 인식되는 것을 가정한다. 오브젝트의 수는 3개에 한하지 않고 0 이상일 수 있다는 것을 유의해야 한다.
오브젝트들을 포함하는 영역이 ROI들로서 추정되고 또한 수신 장치(102)가 ROI들의 영상 데이터만을 표시하는 경우, ROI 오브젝트들을 포함하는 분할 영역들(403, 404, 405)만이 송신 장치(101)로부터 취득될 수 있다.
수신 장치(102)에 있어서 오브젝트(406a)에 대한 ROI가 표시될 경우, 분할 영역(403)에 대응하는 영상 세그먼트가 취득되고 그대로 표시될 수 있다. 대안적으로, 분할 영역(403)으로부터 ROI의 오브젝트 부분(409)만을 추출해서 표시할 수 있다.
플레이 리스트의 구체 예
도 5 및 도 6을 참조하여, 본 실시예에 따른 플레이 리스트의 구체 예에 대해서 설명한다. 도 5 및 도 6은 제각기 플레이 리스트들(501) 및 (510)을 예시하는데, 이것들은 MPEG-DASH에서 정의된 MPD의 포맷에 기초한 실제 기술 예들이다. 본 실시예에 따르면, MPD 포맷이 예를 들어 적용된다. 그러나, 본 발명의 실시예들은 이것에 한정되지 않고, HLS(HTTP Live Streaming)에서 정의되는 동등한 플레이 리스트 또는 기타 플레이 리스트가 적용될 수 있다. 플레이 리스트들(501, 510) 각각은 복수의 오브젝트에 대하여 2종류의 비트 레이트로 스트림의 배신을 가능하게 하는 플레이 리스트의 예이다. 또한, 비트 레이트의 종류 수에 대해서는 본 실시예에서는 2종류라고 하고 있지만, 본 발명의 실시예는 이것에 한정되지 않는다는 것을 유의해야 한다. 3이상의 종류의 비트 레이트가 적용될 수 있다. 도 5의 MPD 포맷 중에서, 템플릿(502)에서 그런 것처럼 "$" 기호를 사용해서 플레이 리스트 내의 문자열을 템플릿화하는 방법이 제공된다.
본 실시예는 이 방법의 확장인 동적 템플릿을 제안한다. 동적 템플릿은 플레이 리스트(501 또는 510) 내의 일부 속성 정보를 연관된 메타데이터 스트림에 포함되는 값으로 치환함으로써 플레이 리스트 중의 속성 정보(영상 세그먼트 정보)가 동적으로 갱신되는 메커니즘이다.
이에 의해, 플레이 리스트 중의 영상 세그먼트와 메타데이터 세그먼트(좌표 세그먼트)가 연관될 수 있다.
본 실시예에 따르면, 도 5는 동적 템플릿(503 내지 505)을 예시하고, 도 6은 동적 템플릿(511 내지 514)를 예시한다.
본 실시예에 따르면, 동적 템플릿 중에서 "!" 기호로 둘러싸인 부분이 값이 치환될 수 있는 부분이다. 그러나, 본 발명의 실시예는 이 기호에만 한정하지 않고 다른 기호가 사용될 수 있다. 동적 템플릿(503 내지 505 등)은 메타데이터 스트림 내에서 정의되는 값에 의해 동적으로 치환될 수 있다. 예를 들어, 동적 템플릿(503) 중의 "!ObjectID!"는 연관된 메타데이터 스트림을 표현하는 레프리젠테이션(representation)(508) 내의 정보를 사용해서 갱신될 수 있다. 본 실시예에 따른 플레이 리스트 생성 유닛(206)(제3 생성 유닛)는 메타데이터 세그먼트의 정보에 기초하여 갱신될 수 있는 내용을 갖는 플레이 리스트를 생성한다.
동적 템플릿(503 내지 505 등)을 갱신하기 위한 레프리젠테이션(representation)(508 등)은 이하의 방식으로 식별될 수 있다. 예를 들어, 플레이 리스트(501) 중의 AssociationID(이하, "AID") 및 AssoiciationType(이하, "AType")에 의해 레프리젠테이션이 식별된다. 레프리젠테이션(506 및 507)의 레프리젠테이션 속성으로서 AID='Rm', AType='dtpl'이 기술된다. 이것은, 레프리젠테이션(508)에서의 메타데이터 스트림(ID 'Rm'을 가짐)에 대하여 동적 템플릿으로서의 관련성을 나타낼 수 있다. Atype 정보는 영상 세그먼트와 메타데이터 세그먼트(좌표 세그먼트) 사이의 관련성에 관한 정보이다. 이것은 메타데이터 스트림(메타데이터 세그먼트 세트)을 영상 세그먼트와 연관지을 수 있다.
본 실시예에 따르면, 동적 템플릿을 나타내는 AType으로서 dtpl'이 주어졌다. 그러나, 본 발명의 실시예는 이에 한정되지 않고, 다른 문자열이 동적 템플릿을 나타내는 AType로서 사용될 수 있다.
다음으로, 동적 템플릿을 사용하기 위한 특정 방법이 플레이 리스트(501)를 참조하여 설명될 것이다. 플레이 리스트(501)에서, 양옆에 기호 "i"를 갖는 "!ObjectID!" 및 "!ObjectBW!" 속성이 레프리젠테이션 ID 'Rm'(이후 "레프리젠테이션 Rm")에 의해 나타내어지는 레프리젠테이션으로 갱신된다. 예를 들어, 시각 t에 있어서의 레프리젠테이션 Rm은 템플릿(509)에 관한 정보와 BaseURL에 관한 정보에 기초하여 <BaseURL>/Rm-t.mp4의 URL에 이것을 요구함으로써 취득될 수 있다.
도 7 및 도 8은 이 요구에 응답하여 취득되는 스트림 내의 메타데이터의 예들을 예시한다. 본 실시예에 따르면, 도 7 및 도 8은 메타데이터의 기술 예들을 예시한다. 그러나, 본 발명의 실시예는 이에 한정되지 않고 XML(Extensible Markup Language) 및 바이너리 XML과 같은 다른 포맷이 기술을 위해 사용될 수 있다. JSON(JavaScript(등록 상표) Object Notation)와 같은 데이터 기술 언어로 메타데이터가 기술될 수 있다.
먼저, 도 7의 메타데이터(515)를 설명한다. 메타데이터(515) 중의 행(516)에 대한 기술은 ObjectID=1, ObjectID=2, 및 ObjectID=3의 3개의 ObjectID가 존재한다는 것을 기술한다. 이것은 시각 t에서의 영상 중에 3개의 오브젝트가 인식되어 ROI 후보로서 정의된다는 것을 의미한다. 본 실시예에 따르면, ObjectID=0은 분할 전의 전체 영상을 표현한다. 이에 의해, 메타데이터(515)에 기술을 추가하는 것을 요구하지 않고서 전체 영상이 배신될 수 있다. 대안적으로, 전체 영상을 보여주는 스트림은 동적 템플릿을 사용하지 않고 별도의 Adaptationset로서 플레이 리스트(501) 내에서 별도로 기술될 수 있다.
예를 들어, 행(517)은 ObjectID=1에 의해 나타내어지는 오브젝트를 ROI로서 갖는 스트림의 대역폭에 2종류가 존재하고, 이로부터 행(517)이 2종류의 값을 가짐을 이해할 수 있다. 이들 값들(대역폭들)은, 플레이 리스트의 동적 템플릿(503 내지 505)의 "!ObjectID!" 및 플레이 리스트의 동적 템플릿(504 및 505)의 "!ObjectBW!"를 시각 t에 있어서의 값들로 갱신하는 데에 사용될 수 있다. 예를 들어 시각 t에 있어서의 ObjectID=1에 대응하는 ROI의 영상 스트림은 <BaseURL>/1/1_low (또는 mid)/t.mp4의 URL에 이것을 요구함으로써 취득될 수 있다. 그 때의 대역폭들은 1_low가 1000000이 되고 1_mid가 2000000이 된다. 본 실시예에 따르면 특정 시각 t에 있어서의 정보만이 기술되었지만, 복수 시각에 있어서의 정보가 하나의 메타데이터 세그먼트 내에 기술될 수 있다. 이 경우에는, 예를 들어, 템플릿들(502 및 509)에 사용될 파라미터로서 "$Time$" 대신에 "$Number$"가 사용될 수 있다.
이상과 같은 방식으로, 메타데이터 세그먼트(515)를 사용함으로써, 시각 t에 있어서의 오브젝트의 수 및 오브젝트들을 ROI로서 갖는 스트림들의 대역폭들이 갱신될 수 있다. 이에 의해, 플레이 리스트 자체의 갱신을 행하지 않고 ROI들의 영상 스트림이 취득될 수 있다.
그러나, 도 7의 메타데이터(515)만으로는 어느 ObjectID가 화면 내의 어느 오브젝트에 대응하는지를 알 수 없다. 따라서, 본 실시예에서는, 도 8에 예시되는 메타데이터(518)에서처럼, 오브젝트의 화면 내의 좌표 정보를 메타데이터로서 추가한다. 도 8을 참조하면, 행(519)에서와 같이 화면 내의 좌측 상단부를 원점으로 해서 시각 t에 있어서의 오브젝트의 수평 방향 위치를 x, 수직 방향 위치를 y, 화면 전체의 폭을 W, 높이를 H로 했을 때 오브젝트 폭을 w로서, 높이를 h로서 좌표 정보가 기술된다. 이에 의해, 각각의 오브젝트의 ObjectID가 수신 장치(102)에 있어서 화면 내의 오브젝트와 연관될 수 있다.
이 값은, 도 9의 플레이 리스트(520) 중의 동적 템플릿(521)에서 나타내어진 "urn:mpeg:dash:srd:2014" 스킴에서 정의된 속성 값들을 동적 템플릿으로서 취급하는 데에 사용될 수 있고, 동적 템플릿은 메타데이터 스트림으로 갱신될 수 있다.
도 6에 예시하는 바와 같이 모든 메타데이터가 1개의 메타데이터 스트림으로 반드시 배신되는 것은 아닐 수 있고, 복수의 메타데이터 트랙으로 분할되어 배신될 수 있다는 것을 유의해야 한다. 도 6의 플레이 리스트(510)에 있어서, 첫 번째 메타데이터 스트림은 도 8에서 예시되는 행(519)에 대응하는 오브젝트의 화면 내 좌표 정보를 저장할 수 있다. 그리고, 도 6의 플레이 리스트(510)에 있어서 두 번째 메타데이터 스트림이 도 7에 예시되는 행들(516 및 517)에 대응하는 오브젝트의 수와 사용될 대역폭에 관한 정보를 저장할 수 있다.
이러한 기술에 의해, 수신 장치(102)는 타겟 오브젝트의 좌표 정보를 선택적으로 취득할 수 있다. 이 경우, 동적 템플릿 솔루션에 사용될 메타데이터 스트림과 영상 스트림 간의 관련성은 전술한 예와 마찬가지로, AType으로서 dtpl'을 사용함으로써 표현될 수 있다. 환언하면, 동적 템플릿 솔루션에 사용될 관련성을 기술하는 정보는 AType으로 정의되는 정보이다.
반면, 좌표 정보를 포함하는 메타데이터 스트림과 영상 스트림의 관련성은 도 6의 플레이 리스트(510)에서와 같이, AType으로서 'rois'를 사용함으로써 표현될 수 있다. 이 결과, 수신 장치(102)는 영상 스트림과 메타데이터 스트림 간의 관련성을 파악할 수 있다. 여기에서는 좌표 정보를 포함하는 메타데이터 스트림과 영상 스트림 간의 관련성을 나타내는데 'rois'가 사용되지만, 본 발명의 실시예는 이에 한정되지 않는다. 다른 문자열들이 좌표 정보를 나타내는 AType으로서 사용될 수 있다.
송신 장치(101)에서의 처리
다음으로, 도 10을 참조하여, 본 실시예에 따라 송신 장치(101)에 의해 실행될 처리에 대해서 설명할 것이다.
도 10에 예시된 대로, 송신 장치(101)가 실행하는 처리는 주로 2종류의 태스크로서 구성된다. 한 종류의 태스크는 플레이 리스트 또는 세그먼트 데이터 처리를 행하는 태스크(600)이며, 다른 종류의 태스크는 수신 장치(102)로부터 송신되는 요구를 처리하는 태스크(602)이다. 태스크 구성은, 본 실시예에 따른 송신 장치(101)의 처리 구성의 일례인데, 단일 종류의 태스크 또는 많은 종류의 태스크가 실행될 수 있다.
태스크(600)는 영역 분할 영상 기록(604)과, 플레이 리스트 생성(606)과, 오브젝트 인식(608)과, 메타데이터 기록(610)과, 데이터 세그먼트화(611)와, 영상 세그먼트화(612)의 처리들을 포함한다.
도 2의 영상 영역 분할 유닛(202)는 촬상부(201)에 의해 취득되는 영상 데이터를 영역 분할가능한 형태로 부호화하고, 이들을 기록하여 영역 분할 영상 기록(604)을 실행한다. 영역 분할 영상 기록(604)과 병행하여 또는 이것과 거의 동시에, 플레이 리스트 생성 유닛(206)는 플레이 리스트 생성(606)을 실행한다. 이 처리를 실행함으로써, 태스크(600)는, 도 5, 도 6, 및 도 9에서 예시된 것처럼 플레이 리스트(501, 510, 및 520)를 생성한다.
이어서, 오브젝트 인식부(203)는 영상 데이터 내의 오브젝트의 수 및 그 대응하는 좌표 정보를 취득함으로써, 오브젝트 인식(608)을 실행한다. 또한, 영상 영역 식별 유닛(204)는 오브젝트들을 포함하는 영상 영역들의 영역 수로부터 오브젝트들을 포함하는 영상 데이터의 대역을 계산하고, 그 정보를 송신 장치(101)의 기록 디바이스에 기록함으로써, 메타데이터 기록(610)을 실행한다.
세그먼트 생성 유닛(205)는, 이렇게 기록된 메타데이터(예를 들어 515, 518)를 mp4 세그먼트들로서 세그먼트화 함으로써, 데이터 세그먼트화(611)를 실행한다. 본 실시예에 따르면, 영상 데이터가 예를 들어 mp4 세그먼트로서 세그먼트화된다. 그러나, 영상 데이터는 MPEG2TS로서 세그먼트화될 수 있다. 이들에 한정되지 않고, 세그먼트는 임의의 부호화 방식으로 부호화될 수 있다. mp4는 동화상 압축 부호화 표준 규격인 MPEG-4의 제14부에 제시되는 파일 포맷을 나타낸다.
세그먼트 처리부(205)는 태스크(600) 내에서의 처리들의 실행과 병행하여 또는 그 실행에 후속하여 연속적으로 영상 세그먼트화(612)를 실행한다. 더 구체적으로는, 세그먼트 생성 유닛(205)는 영역 분할된 영상 데이터를 상이한 mp4 세그먼트(또는 MPEG2TS)에서 별도 트랙들로서 저장함으로써, 영상 세그먼트화(612)를 실행한다.
반면, 태스크(602)는 플레이 리스트 송신(614)과, 메타데이터 세그먼트 송신(616)과, objectID 파싱(618)과, 오브젝트 기반 재세그먼트화(622)와, 영상 송신(624)을 포함한다.
도 2의 통신부(207)는 수신 장치(102)로부터의 플레이 리스트 요구를 항상 모니터링하고, 플레이 리스트 요구에 응답하여 플레이 리스트 생성(606)에 의해 생성된 플레이 리스트를 수신 장치(102)에 송신함으로써, 플레이 리스트 송신(614)을 실행한다. 마찬가지로, 통신부(207)는 수신 장치(102)로부터의 세그먼트 요구를 항상 모니터링하고, 메타데이터 세그먼트 요구에 응답하여 데이터 세그먼트화(611)에 의해 기록된 메타데이터 세그먼트를 수신 장치(102)에 송신한다. 이에 의해, 통신부(207)는 태스크(602)에 포함되는 메타데이터 세그먼트 송신(616)을 실행한다.
통신부(207)는 수신 장치(102)로부터의 세그먼트 요구를 항상 모니터링한다. 영상 세그먼트 요구에 응답하여, 요구된 ObjectID 파싱(parse)(618)에 의해, 요구된 영상 세그먼트가 어느 오브젝트에 대응하는지를 해석한다.
오브젝트 기반 재세그먼트화(622)는 요구된 오브젝트를 포함하는 영상 영역에 대응하는 트랙이 그로부터 추출된 영상 세그먼트를 생성한다.
생성된 영상 세그먼트(ROI를 포함하는 영상 세그먼트)는 통신부(207)를 통해서 수신 장치(102)에 송신된다. 이 송신 처리는 영상 송신(624)에 대응한다.
여기서, 오브젝트가 화면으로부터 사라진 후 요구된 오브젝트에 대한 영상 세그먼트 및 메타데이터 세그먼트에 대한 요구에 응답하여, 수신 장치(102)에 대하여 에러가 통지된다. 대안적으로, 영상 세그먼트 대신에 전체 영상이 송신될 수 있다.
수신 장치(102)에서의 처리
도 11 및 도 12를 참조하여 본 실시예에 따른 수신 장치(102)에 의해 수행되는 처리에 대해서 설명한다. 수신 장치(102)에서의 처리는 주로 도 11과 도 12에 예시되는 2개의 태스크를 포함한다. 한쪽 태스크(630)는 도 11에 예시된 대로 플레이 리스트 및 세그먼트 데이터를 처리하는 태스크이다. 다른 쪽 태스크(670)는, 도 12에 예시하는 바와 같이, 사용자 인터페이스부(307)로부터의 요구를 처리하는 태스크이다. 태스크의 구성은, 본 실시예에 따른 수신 장치(102)에 의해 수행되는 처리의 구성 예인데, 이것은 단일 태스크에 의해 구현될 수 있거나 또는 많은 종류의 태스크에 의해 수행될 수 있다.
먼저, 도 11에 예시되는 태스크(630)에 대해서 설명한다.
플레이 리스트 요구(632)에 있어서, 수신 장치(102)에서의 통신부(306)는 송신 장치(101)에 대하여 플레이 리스트 요구를 송신한다. 플레이 리스트 해석(634)에 있어서, 통신부(306)는 송신 장치(101)로부터 송신되는 플레이 리스트를 수신하고, 플레이 리스트 해석부(304)는 수신된 플레이 리스트를 해석한다.
동적 템플릿의 존재 결정(636)에 있어서, 플레이 리스트 해석부(304)는 수신된 플레이 리스트에 동적 템플릿이 존재하는지를 결정한다. 동적 템플릿의 존재 결정은 수신된 플레이 리스트 중에 있어서 특정 문자열을 검색함으로써 수행될 수 있다. 본 실시예에 따르면, 전술한 바와 같이, 동적 템플릿 부분을 "!" 기호로 둘러싸고 있다. 이 부분의 존재를 검색함으로써 동적 템플릿의 존재를 결정할 수 있다. 동적 템플릿이 없는 것으로 결정된 경우에는, 처리는 표준 DASH 656에 진행하고 여기서 표준 DASH에 있어서의 MPD 해석 처리가 수행될 수 있다. 동적 템플릿이 존재한다고 결정된 경우에는, 처리는 동적 템플릿에 대한 솔루션의 존재 결정(638)으로 진행한다.
동적 템플릿에 대한 솔루션의 존재 결정(638)에 있어서, 플레이 리스트 해석부(304)는 동적 템플릿을 해결하는 방법이 있을지를 결정한다. 본 실시예에 따르면, 전술한 바와 같이, AType 'dtpl'에 기초하여 연관지어진 메타데이터 스트림이 취득되어 취득된 메타데이터 스트림을 사용해서 동적 템플릿을 해결한다. 여기서, 연관된 메타데이터 스트림이 없는 경우에는, 동적 템플릿을 해결하는 것은 불가능하다. 그러면, 처리는 플레이 리스트 퍼지(640)로 진행한다. 연관된 메타데이터 스트림이 존재한다면, 동적 템플릿을 해결하는 방법이 있다고 결정된다. 처리는 이후 메타데이터 세그먼트 요구(642)로 진행한다. 메타데이터 세그먼트 요구(642)에 있어서, 통신부(306)는 송신 장치(101)에게 메타데이터 세그먼트의 요구를 송신한다.
플레이 리스트 퍼지(640)에 있어서, 플레이 리스트 해석부(304)는 동적 템플릿과 연관되는 부분을 플레이 리스트로부터 제거한다. 그 후, 처리는 표준 DASH 656으로 진행하고, 여기서 표준 DASH에 있어서의 MPD 해석을 수행하는 처리가 수행된다.
메타데이터 해석(644)에 있어서, 통신부(306)는 메타데이터 세그먼트를 수신하고, 수신된 메타데이터 세그먼트를 해석한다.
템플릿 파라미터 선택(648)에 있어서, 세그먼트 해석부(303)는 메타데이터 해석(644)에 있어서 해석된 메타데이터 세그먼트에 관한 정보를 사용하여, 메타데이터 세그먼트 중의 어느 값을 템플릿의 값(파라미터)으로서 사용할지를 선택한다. 템플릿 파라미터의 선택을 위한 구체적인 방법은 도 13a 및 13b를 참조하여 후술한다.
템플릿 갱신(650)에 있어서, 플레이 리스트 해석부(304)는 템플릿 파라미터 선택(648)에 있어서 선택된 템플릿 파라미터를 사용해서 플레이 리스트 내의 동적 템플릿을 갱신한다. 환언하면, 세그먼트 해석부(303)가 수신된 메타데이터 세그먼트(좌표 세그먼트)를 해석하고, 플레이 리스트 중의 어느 템플릿 파라미터를 갱신할지를 결정한다. 이후, 플레이 리스트 해석부(304)는 세그먼트 해석부(303)에 의해 결정된 메타데이터 세그먼트(좌표 세그먼트)에 관하여 플레이 리스트가 어떻게 갱신될 지에 기초하여 플레이 리스트를 갱신한다.
영상 세그먼트 요구(652)에 있어서, 취득 세그먼트 결정부(305)는 갱신된 플레이 리스트의 정보를 사용해서 영상 세그먼트를 결정하고, 사용자가 선택한 ROI에 대응하는 영상 세그먼트로서 송신 장치(101)에 결정된 영상 세그먼트를 요구한다.
복호화 및 재생(654)에 있어서, 통신부(306)는 요구에 따른 영상 세그먼트를 수신하고, 세그먼트 해석부(303)는 수신된 영상 세그먼트로부터 비트 스트림을 추출한다. 복호화 및 재생(654)에 있어서, 복호화부(302)는 추출된 비트 스트림을 복호화하고, 표시부(301)는 복호화된 비트 스트림을 표시한다. 이 경우, 세그먼트 해석부(303)는 메타데이터 해석(644)에 있어서 메타데이터 해석 처리에 의해 취득된 오브젝트의 수 및 좌표 정보, 대역의 정보를 표시부(301)에 출력할 수 있고, 표시부(301)는 수신된 정보를 요구에 따라 표시할 수 있다.
이어서, 처리는 메타데이터 세그먼트 요구(642)로 복귀하고, 이 처리에서의 동작이 반복된다. 이 처리를 포함하여 도 11의 흐름도에 예시되는 태스크는 영상 스트리밍이 종료될 때까지 이 후에 반복된다.
이어서, 도 12의 흐름도에 예시되는 태스크(670)에 대해서 설명한다.
사용자 입력 대기(672)에 있어서, 사용자 인터페이스부(307)는 사용자 입력 대기 처리를 실행한다. 사용자 입력 존재 결정(674)에 있어서, 사용자 인터페이스부(307)는 사용자 입력이 있는지의 여부를 결정한다. 사용자 입력이 없다면, 처리는 사용자 입력 대기(672)로 복귀하고, 여기서 대응하는 동작이 다시 수행된다. 사용자 입력이 있다면, 처리는 사용자 입력 해석(676)으로 진행한다. 사용자 입력 해석(676)에 있어서, 사용자 인터페이스부(307)가 사용자 입력을 해석한다. 사용자 입력 반영(678)에 있어서, 사용자 인터페이스부(307)는 해석 결과를 수신 장치(102)에서의 내부 처리에 반영한다.
구체적인 사용자 입력과 그 반영의 예에 대해서는 도 13a 및 도 13b를 참조하여 설명한다.
템플릿 파라미터 선택 방법과 사용자 인터페이스
템플릿 파라미터 선택 방법 및 구체적 사용자 인터페이스 예가 도 13a 및 도 13b를 참조하여 설명한다. 도 13a 및 도 13b는 본 실시예에 따른 수신 장치(102)에서의 사용자 인터페이스부(307)의 하나의 구체적 예인 터치 패널의 외관을 예시하는 설명도이다. 도 13a 및 도 13b는 본 실시예에 따른 사용자 인터페이스부(307)의 하나의 구체적 예를 예시한다. 그러나, 사용자 인터페이스부(307)는 이것이 동등한 기능을 갖는 것이라면 위의 것에만 한정되지는 않는다.
도 13a는 오브젝트 선택 전의 사용자 인터페이스부(307)상의 하나의 표시 화면(701)을 예시한다. 도 13b는 오브젝트 선택 후의 사용자 인터페이스부(307)상의 표시 화면(706)을 예시한다. 도 13a 및 도 13b는 플레이 리스트의 URL을 입력 가능하게 하는 입력 박스 영역(702)과 입력 박스(702)에 입력된 URL에 대하여 플레이 리스트를 취득하기 위해 요구를 발행할 때에 눌려지는 로드 버튼(703)을 예시한다.
사용자 입력 존재 결정(674)에 있어서, 사용자 인터페이스부(307)는 로드 버튼(703)의 누름을 검출한 경우, 사용자 입력 해석(676)에 있어서 사용자 인터페이스부(307)는 사용자 입력을 해석한다. 사용자 입력 반영(678)에 있어서, 사용자 인터페이스부(307)는 해석의 결과 및 플레이 리스트의 요구가 수신 장치(102)에 있어서의 내부 처리에 입력된 것을 반영한다. 그 결과, 도 11에 예시되는 태스크에 있어서의 플레이 리스트 요구(632)가 개시된다.
사용자가 URL을 입력 박스 영역(702)에 입력하는 경우, 사용자 인터페이스부(307)는 URL의 리스트(후보)를 표시하고, 표시된 리스트(후보)로부터 타겟 URL을 선택하도록 프롬프트할 수 있다. URL을 고정하기 위해서는, 미리 사용자가 설정(고정)한 URL이 입력 박스 영역(702)에서 고정 방식으로 표시될 수 있다. 미리 결정된 URL만을 취득하도록 요구하기 위해서는, 사용자 인터페이스부(307)가 입력 박스 영역(702)을 표시하지 않을 수 있다.
도 13a는 영상을 표시하는 프레임(704)을 예시하고, 도 13b는 영상을 표시하는 프레임(707)을 예시한다. 도 13a 및 도 13b는 사용자가 시청하기를 요구하는 영상에 대응하는 시각을 설정하는 데에 이용가능한 슬라이드 바(708)를 예시한다. 사용자는 슬라이드 바(708)를 조작하여 전체 스트림 중 어느 부분을 시청할지를 선택할 수 있다.
사용자 인터페이스부(307)는 사용자 입력 해석(676)에 있어서 슬라이드 바(708)상의 조작을 검출한 경우, 사용자 입력 반영(678)에 있어서 사용자 인터페이스부(307)는 이 조작을 취득 세그먼트 결정부(305)에 송신한다. 그 결과, 영상 세그먼트 요구(652)에 있어서, 취득 세그먼트 결정부(305)는 사용자가 시청하기를 요구하는 영상에 대응하는 시각에 관한 정보를 반영하도록 요구된 영상 세그먼트의 시각을 갱신한다.
상술한 템플릿 파라미터 선택(648)에 있어서 세그먼트 해석부(303)가 사용될 템플릿의 값(파라미터)을 선택하는 것으로 설명하고 있지만, 파라미터는 그 대신에 전체 영상을 나타내도록 선택될 수 있다. 영상의 재생 시작시에, 사용자가 사용자 화면 내의 오브젝트를 쉽게 선택할 수 있도록, 영역을 한정하지 않고 전체 영상이 표시된다. 이 경우, 예를 들어, 1회째의 템플릿 파라미터 선택(648)에 있어서, 세그먼트 해석부(303)는 메타데이터(515) 중의 ObjectID=0으로 지정되는 정보를 선택할 수 있다.
전체 영상의 스트림이 동적 템플릿을 사용하지 않고 별도의 AdaptationSet로서 기술되는 경우에는, 다른 AdaptationSet가 단순히 초기에 취득될 수 있다. 이때 수신 장치(102) 측의 처리에 있어서, 세그먼트 해석부(303)는 전술한 바와 같이 메타데이터(518) 중의 행(519)과 같은 오브젝트의 좌표 정보를 추출하고, 추출된 좌표 정보를 표시부(301)에 공급할 수 있다. 이러한 처리에 의해, 사용자 인터페이스부(307)는 표시부(301)가 오브젝트의 좌표 정보를 프레임들(710, 711, 및 712)로서 표시하도록 할 수 있다.
도 13a의 표시 예(701)로 예시된 바와 같이, 표시부(301)는 동일한 시각 정보를 갖는 영상 데이터와 메타데이터를 영상 위에 걸쳐 표시할 수 있다. 이러한 표시 구성에 의해, 표시부(301)는 사용자에 대하여 전체 영상 및 전체 영상에 포함되는 오브젝트들의 좌표 정보 모두를 제시할 수 있다.
표시부(301)가 사용자에게 표시예(701)를 보여주는 영상을 제시한 후, 사용자는 주목할 오브젝트를 사용자 인터페이스부(307)상에서 선택할 수 있다. 이에 의해, 표시예(706)에 예시하는 바와 같이, 주목할 오브젝트만을 보여주는 영상이 표시될 수 있다.
도 13a에 있어서, 예를 들어 프레임(710)에 보여진 오브젝트가 사용자가 주목할 오브젝트로서 선택된 경우, 그 선택된 오브젝트를 포함하는 영상이, 예를 들어 도 13b에 예시되는 바와 같이 표시된다.
사용자가 오브젝트를 선택하는 방법에 따르면, 사용자 인터페이스부(307)는 예를 들어 사용자에 의해 조작되는 터치 입력이나 마우스 입력을 검출하고 프레임(710) 내에서 눌림이 주어졌다고 결정할 수 있다. 이러한 결정의 결과로서, 사용자 인터페이스부(307)는 프레임(예를 들어, 710)에 대응하는 ObjectID의 오브젝트가 선택되었다고 결정할 수 있다. 본 실시예에 따르면, 사용자에 의한 주어지는 터치 입력이나 마우스 입력이 구체적 사용자 입력 예이다. 그러나, 이것에만 한정되지 않고, 입력은 키보드, 또는 오디오 입력을 사용하여 주어질 수 있다.
사용자 입력 해석(676)에 있어서 사용자 인터페이스부(307)는 오브젝트의 선택을 검출한 경우, 사용자 입력 반영(678)에 있어서 사용자 인터페이스부(307)는 선택된 오브젝트에 관한 정보를 반영하는 처리를 실행한다. 이 반영에 따라, 템플릿 파라미터 선택(648)에 있어서 세그먼트 해석부(303)는 선택될 파라미터를 결정한다. 예를 들어, 사용자 입력을 통한 누름이 프레임(710) 내에서 수행될 경우, 사용자 인터페이스부(307)는 프레임(704) 내에 있어서의 프레임(710)의 상대적인 좌표 정보를 취득한다. 이후, 사용자 인터페이스부(307)는 취득 좌표 정보를 취득 오브젝트 결정부(308)에 송신한다.
취득 오브젝트 결정부(308)는 이 상대적인 좌표 정보와 세그먼트 해석부(303)가 해석한 메타데이터로부터 취득되는 ObjectID 및 그 좌표 간의 대응 관계로부터 화면 상에서 선택된 오브젝트에 대응하는 ObjectID를 추론할 수 있다. 취득 오브젝트 결정부(308)는 추론된 ObjectID에 관한 정보를 취득 세그먼트 결정부(305)에 공급한다. 이러한 처리를 통해, 수신 장치(102)의 처리에서와 같이, 취득 세그먼트 결정부(305)는 동적 템플릿을 갱신하고 취득될 영상 세그먼트를 결정할 수 있다. 오브젝트 선택 후의 화면은 표시예(706)에서와 같이 선택된 오브젝트만을 표시할 수 있다. 이 경우, 취득될 영상 데이터는 분할 영역들(403)과 같이, 4개의 분할 영역의 조합이 될 수 있다. 분할 영역들(403) 모두가 표시될 수도 있고, 또는 오브젝트의 좌표 정보를 사용해서 크롭(crop)한 결과인 잘라낸 영역(409)이 표시될 수도 있다.
오브젝트 선택 조작 후의 화면 표시 상태로부터 또 다른 오브젝트를 선택 가능한 상태로 복귀하기 위해서, 표시예(701)의 전체 영상이 표시되어야 할 경우가 있을 수 있다. 이 경우에는, 사용자는 프레임(707) 내의 임의의 점을 사용자 입력에 의해 누를 수 있거나, 또는 전체 영상에 복귀하는데 이용가능한 별도의 버튼이 제공되어 사용자에 이를 누르도록 프롬프트할 수 있다. 사용자가 전체 영상의 표시에 복귀하기 위해서, 템플릿 파라미터 선택(648)에 있어서 ObjectID=0을 선택하여 초기의 상태로 복귀할 수도 있다.
변형 예
변형 예로서, 초기에 사용자가 주목하는 오브젝트를 선택하도록 프롬프트하기 위해서, 프레임(704) 내에 영상이 표시되기 전에 수신 장치(102)는 사용자가 시청하기를 의도하는 영상 세그먼트 내의 초기 프레임을 정지 화상으로서 표시할 수 있다. 표시는 수신 장치(102)의 표시부(301)가 실행할 수 있다. 이 경우, 통신부(306)는 취득될 영상 세그먼트로서 사용자가 시청하기를 의도하는 초기 프레임을 포함하는 영상 세그먼트만을 송신 장치(101)로부터 취득할 수 있다. 통신부(306)는 사용자가 시청하기를 의도하는 초기 프레임의 시각에 대응하는 메타데이터 세그먼트만을 송신 장치(101)로부터 취득할 수 있다. 본 실시예에 따른 방법과 마찬가지 방식으로, 사용자가 선택을 수행하도록 프롬프트되는 때에 선택된 오브젝트를 포함하는 영상 세그먼트를 송신 장치(101)에 요구할 수 있다.
시퀀스도
도 14 및 도 15에 예시되는 시퀀스도를 참조하여, 본 실시예에 따른 송신 장치(101)과 수신 장치(102) 사이에서 수행되는 송수신의 구체 예에 대해서 설명한다.
도 12의 사용자 입력 해석(676)에 있어서, 사용자 인터페이스부(307)는 플레이 리스트를 요구하는 사용자 입력을 검출한다. 이후, 사용자 입력 반영(678)에 있어서, 사용자 인터페이스부(307)는 그 입력 요구를 수신 장치(102)에 있어서의 처리에 반영하고, 도 14에 예시된 시퀀스가 개시된다.
M1에 있어서, 수신 장치(102)는 송신 장치(101)에 대하여 플레이 리스트 요구를 송신한다. 이 처리는 플레이 리스트 요구(632)에서의 처리에 대응한다. M2에 있어서, 송신 장치(101)는 플레이 리스트 요구에 대한 응답인 플레이 리스트 응답으로서 플레이 리스트 생성(606)에 있어서 생성된 플레이 리스트를 수신 장치(102)에 송신한다. 여기서, 송신 장치(101) 내에서 플레이 리스트 생성(606)이 완료되지 않고 플레이 리스트의 송신 준비가 되지 않은 경우에는, M2에 있어서 송신 장치(101)의 통신부(207)는 에러를 리턴할 수 있다.
M3에 있어서, 수신 장치(102)는 수신된 플레이 리스트를 사용해서 플레이 리스트 해석을 수행한다. 이것은 플레이 리스트 해석(634), 동적 템플릿 존재 결정(636), 동적 템플릿에 대한 솔루션의 존재 결정(638), 및 플레이 리스트 퍼지(640)의 처리에 대응한다. M4에 있어서, 수신 장치(102)는 M3에 있어서의 플레이 리스트의 해석 결과에 따라, 송신 장치(101)에게 사용자가 시청하기를 의도하는 영상에 대응하는 시각에 대응하는 메타데이터 세그먼트 요구를 송신한다. 이것은 메타데이터 세그먼트 요구(642)에서의 처리에 대응한다.
M5에 있어서, 송신 장치(101)는, 메타데이터 세그먼트 응답으로서, 메타데이터 세그먼트화(611)에 있어서 생성한 메타데이터 세그먼트를 송신한다. M5에 있어서, 송신 장치(101) 내에서 메타데이터 세그먼트화(611)가 완료되지 않았고 메타데이터 세그먼트의 송신 준비가 완료되지 않은 경우에는, 송신 장치(101)의 통신부(207)는 에러를 리턴할 수 있다.
M6에 있어서, 수신 장치(102)는 수신된 메타데이터 세그먼트를 사용해서 메타데이터 해석 및 템플릿 갱신을 수행한다. 이것은 메타데이터 해석(644), 템플릿 파라미터 선택(648), 템플릿 갱신(650)에서의 처리에 대응한다. M7에 있어서, 수신 장치(102)는 메타데이터 해석 및 템플릿 갱신의 결과에 따라서 송신 장치(101)에게 사용자가 시청하기를 의도하는 오브젝트 및 시각에 대응하는 영상 세그먼트 요구(영상 세그먼트 배신 요구)를 송신한다. 이것은 영상 세그먼트 요구(652)에서의 처리에 대응한다.
M8에 있어서, 송신 장치(101)는 영상 세그먼트 응답으로서, 영상 세그먼트화(612)에 있어서 생성된 영상 세그먼트를 수신 장치(102)에게 송신한다. 여기서, 송신 장치(101) 내에서 영상 세그먼트화(612)가 완료되지 않았고 영상 세그먼트의 송신 준비가 완료되지 않은 경우에는, M8에 있어서 송신 장치(101)의 통신부(207)는 에러를 리턴할 수 있다. M9에 있어서, 수신 장치(102)는 수신된 영상 세그먼트를 사용해서 영상을 복호화하고 재생한다. 이것은 복호화 및 재생(654)에 대응하는 처리이다.
L1에 있어서, M4로부터 M9까지의 처리가 반복된다.
도 15는 템플릿 파라미터 선택 방법에 따라서 및 본 실시예에 따라서 사용자 인터페이스부(307)의 동작을 예시하는 시퀀스도이다. 도 15의 M1로부터 M8까지의 처리는 도 14의 M1로부터 M8까지의 처리와 동일하기 때문에 어떠한 반복적 설명도 생략된다. 도 15의 M9에서의 복호화 및 재생 처리는 하나의 프레임분의 복호화가 수행되어 결과적 정지 화상을 표시하는 점이 도 14의 M9에서의 처리와 상이하다.
M10에 있어서, 수신 장치(102)에서의 사용자가 오브젝트를 선택한다. M11에 있어서, 수신 장치(102)는 사용자에 의해 선택된 오브젝트에 따라, 송신 장치(101)에게 영상 세그먼트 요구를 송신한다. 이 처리는 템플릿 파라미터 선택(648), 템플릿 갱신(650), 영상 세그먼트 요구(652)에서의 처리에 대응한다.
M12 및 M13에서의 처리가 제각기 도 12에 있어서의 M8 및 M9에서의 처리와 동일하기 때문에, 어떠한 반복적 설명도 생략한다.
루프 처리 L3에 있어서, 선택된 오브젝트나 시청 시각을 변경하라는 요구가 없는 한, M11로부터 M13까지의 처리가 반복된다. 선택된 오브젝트나 시청 시각 T를 변경하라는 요구에 응답하여, 루프 처리 L3은 종료되고, 처리는 루프 처리 L2로 복귀한다. 환언하면, 처리는 M4로부터 다시 개시되어서, 루프 처리 L3에서 반복된다.
본 실시예에 따르면, 선택 오브젝트나 시청 시각을 변경하라는 요구는 전술한 바와 같이 사용자 인터페이스부(307)에 의해 수신된 사용자 입력에 응답하여 발생할 수 있다. 대안적으로, 관심 오브젝트가 화면으로부터 사라졌을 경우에 송신 장치(101)로부터 송신되는 에러 정보에 응답하여 요구가 발생될 수 있거나, 또는 전체 영상의 수신에 의해 요구가 트리거될 수 있다.
하드웨어 구성예
도 16은 전술한 실시예의 부들을 포함하는 컴퓨터(810)의 구성 예를 예시한다. 예를 들어, 도 2에 예시되는 송신 장치(101)는 컴퓨터(810)에 의해 구성될 수 있다. 도 3에 예시되는 수신 장치(102)의 컴포넌트들은 컴퓨터(810)에 의해 구성될 수 있다.
CPU(811)는 예를 들어 ROM(812), RAM(813), 외부 메모리(814)에 저장된 프로그램을 실행함으로써 전술한 실시예의 컴포넌트들을 구현할 수 있다. ROM(812) 및 RAM(813)은 CPU가 실행하는 프로그램들 및 데이터를 유지할 수 있다. RAM(813)은 예를 들어, 플레이 리스트(501) 및 메타데이터(515)를 유지할 수 있다.
외부 메모리(814)는 예를 들어 하드 디스크, 광 디스크 또는 반도체 저장 장치에 의해 구성될 수 있고, 예를 들어 영상 세그먼트를 저장할 수 있다. 촬상부(815)는 촬상부(201)를 구성할 수 있다.
입력부(816)는 사용자 인터페이스부(307)를 구성할 수 있다. 입력부(816)는 키보드 및 터치 패널로 구성될 수 있거나, 또는 마우스와 같은 포인팅 디바이스 및 스위치들에 의해 구성될 수 있다.
표시부(817)는 도 3의 표시부(301)를 구성할 수 있는데, 임의의 다른 표시 디바이스에 의해 구성될 수 있다. 통신 I/F(818)는 외부 통신을 위한 인터페이스일 수 있으며, 도 2의 통신부(207) 및 도 3의 통신부(306)를 구성할 수 있다. 컴퓨터(810)의 이들 컴포넌트들은 버스(819)를 경유해 서로 접속된다.
전술한 실시예의 구성에 의하면, 영상 데이터 중에서 배신될 관심 영역의 배신에 관한 처리가 효율적으로 실행될 수 있다.
기타 실시예들
본 발명의 실시예(들)는 전술된 실시예(들)의 하나 이상의 기능을 수행하기 위해 ('비일시적 컴퓨터 판독 가능 저장 매체'로서 보다 완전히 지칭될 수도 있는) 저장 매체상에 기록된 컴퓨터 실행 가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행시키고/실행시키거나, 전술된 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, ASIC(specific integrated circuit))를 포함하는 장치 또는 시스템의 컴퓨터에 의해, 그리고 예를 들면, 전술된 실시예(들)의 하나 이상의 기능을 수행하기 위해 저장 매체로부터 컴퓨터 실행 가능한 명령어들을 판독하고 실행시키고/실행시키거나, 전술된 실시예(들)의 하나 이상의 기능을 수행하기 위해 하나 이상의 회로를 제어함으로써, 장치 또는 시스템의 컴퓨터에 의해 수행되는 방법에 의해서도 실현될 수 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어를 판독 및 실행하기 위한 별도의 컴퓨터 또는 별도의 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예를 들어 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(예를 들어, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)™), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.
본 발명을 예시적인 실시예를 참고하여 설명하였지만, 본 발명은 개시된 예시적인 실시예로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.
본 출원은 2016년 2월 3일자에 출원된 일본 특허 출원 제2016-019295호에 대한 우선권을 주장하며, 상기 특허 출원은 그 전문이 본 명세서에 참조에 의해 포함된다.

Claims (17)

  1. 통신 장치로서:
    영상 내에서 오브젝트를 갖는 오브젝트 영역을 식별하도록 구성된 식별 유닛;
    상기 식별 유닛에 의해 식별된 하나 이상의 오브젝트 영역에 대응하는 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 생성하도록 구성된 생성 유닛;
    상기 생성 유닛에 의해 생성된 상기 메타데이터 세그먼트를 또 다른 통신 장치에 송신하도록 구성된 송신 유닛; 및
    상기 메타데이터 세그먼트를 수신한 다른 통신 장치에서 선택된 오브젝트에 대응하는 오브젝트 영역의 영상 세그먼트를 상기 다른 통신 장치에 공급하도록 구성된 공급 유닛을 포함하는 통신 장치.
  2. 제1항에 있어서, 상기 메타데이터 세그먼트는 상기 영상으로부터 검출된 제1 오브젝트를 갖는 제1 오브젝트 영역의 영상 세그먼트를 요구하기 위해 상기 다른 통신 장치에 의해 이용가능한 제1 식별 정보, 및 제2 오브젝트를 갖는 제2 오브젝트 영역의 영상 세그먼트를 요구하기 위해 상기 다른 통신 장치에 의해 이용가능한 제2 식별 정보를 포함하는 통신 장치.
  3. 제2항에 있어서, 상기 메타데이터 세그먼트는, 제1 품질의 상기 제1 오브젝트 영역의 영상 데이터를 요구하기 위해 상기 다른 통신 장치에 의해 이용가능한 제1 식별 정보, 및 제2 품질의 상기 제1 오브젝트 영역의 영상 세그먼트를 요구하기 위해 상기 다른 통신 장치에 의해 이용가능한 제3 식별 정보를 포함하는 통신 장치.
  4. 제1항에 있어서,
    상기 영상을 복수의 분할 영역으로 분할하도록 구성된 분할 유닛을 추가로 포함하고,
    상기 식별 유닛은 상기 분할 유닛에 의해 수행된 분할 결과로서의 상기 분할 영역 각각을 하나의 단위로 취급함으로써 상기 오브젝트 영역을 식별하는 통신 장치.
  5. 제2항에 있어서, 상기 메타데이터 세그먼트는 상기 제1 오브젝트의 영상 내의 위치에 관한 제1 위치 정보, 및 상기 제2 오브젝트의 영상 내의 위치에 관한 제 2 위치 정보를 포함하는 통신 장치.
  6. 제2항에 있어서, 상기 메타데이터 세그먼트는 상기 영상 내의 상기 제1 오브젝트의 크기에 관한 제1 크기 정보, 및 상기 영상 내의 상기 제2 오브젝트의 크기에 관한 제2 크기 정보를 포함하는 통신 장치.
  7. 제1항에 있어서,
    상기 송신 유닛은 상기 메타데이터 세그먼트를 요구하기 위해 상기 다른 통신 장치에 의해 이용가능한 자원 식별자를 포함하는 플레이 리스트를 상기 다른 통신 장치에 추가로 송신하고,
    상기 송신 유닛은 상기 플레이 리스트를 수신한 다른 통신 장치로부터의 요구에 응답하여 상기 다른 통신 장치에게 상기 메타데이터 세그먼트를 송신하는 통신 장치.
  8. 제7항에 있어서, 상기 생성 유닛은, 상기 다른 통신 장치에서 선택된 오브젝트에 대응하는 오브젝트 영역의 영상 세그먼트가 상기 플레이 리스트에 기술된 자원 식별자와 상기 오브젝트의 식별자에 기초한 식별 정보의 조합을 이용하여 요구될 수 있도록 상기 메타데이터 세그먼트 및 상기 플레이 리스트를 생성하는 통신 장치.
  9. 제1항에 있어서, 상기 메타데이터 세그먼트가 상기 영상의 전체 영상을 요구하기 위해 상기 다른 통신 장치에 의해 이용가능한 식별 정보를 포함하는 통신 장치.
  10. 제9항에 있어서, 상기 자원 식별자는 URL(Uniform Resource Locator)인 통신 장치.
  11. 통신 장치로서:
    영상 내의 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 수신하도록 구성된 수신 유닛;
    상기 수신 유닛에 의해 수신된 메타데이터 세그먼트에 기초하여 표시 디바이스로 하여금 상기 하나 이상의 오브젝트에 관한 정보를 표시하게 하도록 구성된 표시 제어 유닛;
    상기 하나 이상의 오브젝트에 관한 정보를 표시하라는 상기 표시 디바이스에의 명령의 수신에 응답하여 상기 하나 이상의 오브젝트로부터 하나 이상의 오브젝트를 선택하도록 구성된 선택 유닛; 및
    상기 선택 유닛에 의해 선택된 하나 이상의 오브젝트를 갖는 부분 영역에 대응하는 영상 세그먼트를 요구하도록 구성된 요구 유닛을 포함하는 통신 장치.
  12. 제11항에 있어서,
    상기 수신 유닛은 상기 영상을 추가로 수신하고;
    상기 표시 제어 유닛은 상기 표시 화상으로 하여금 상기 영상 및 상기 영상 내의 상기 하나 이상의 오브젝트의 위치 또는 위치들을 기술하는 정보를 표시하게 하는 통신 장치.
  13. 제11항에 있어서,
    상기 수신 유닛은 자원 식별자를 이용하여 상기 영상 세그먼트와 상기 메타데이터 세그먼트 간의 관계를 기술하는 플레이 리스트를 수신하고, 및
    상기 요구 유닛은 상기 플레이 리스트에 기술된 자원 식별자에 기초하여 상기 선택된 오브젝트 또는 오브젝트들을 갖는 부분 영역에 대응하는 영상 세그먼트를 요구하는 통신 장치.
  14. 통신 장치의 제어 방법으로서:
    영상 내에서 오브젝트를 갖는 오브젝트 영역을 식별하는 단계;
    상기 식별하는 단계에 의해 식별된 하나 이상의 오브젝트 영역에 대응하는 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 생성하는 단계;
    상기 생성하는 단계에 의해 생성된 상기 메타데이터 세그먼트를 또 다른 통신 장치에 송신하는 단계; 및
    상기 메타데이터 세그먼트를 수신한 다른 통신 장치에서 선택된 오브젝트에 대응하는 오브젝트 영역의 영상 세그먼트를 상기 다른 통신 장치에 공급하는 단계를 포함하는 통신 장치의 제어 방법.
  15. 컴퓨터로 하여금 방법을 실행하도록 하기 위한 프로그램으로서,
    상기 방법은:
    영상 내의 오브젝트를 갖는 오브젝트 영역을 식별하는 단계;
    상기 식별하는 단계에 의해 식별된 하나 이상의 오브젝트 영역에 대응하는 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 생성하는 단계;
    상기 생성하는 단계에 의해 생성된 상기 메타데이터 세그먼트를 또 다른 통신 장치에 송신하는 단계; 및
    상기 메타데이터 세그먼트를 수신한 다른 통신 장치에서 선택된 오브젝트에 대응하는 오브젝트 영역의 영상 세그먼트를 상기 다른 통신 장치에 공급하는 단계를 포함하는 프로그램.
  16. 통신 장치의 제어 방법으로서:
    영상 내의 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 수신하는 단계;
    상기 수신에 의해 수신된 메타데이터 세그먼트에 기초하여 표시 디바이스로 하여금 하나 이상의 오브젝트에 관한 정보를 표시하도록 하는 단계;
    상기 하나 이상의 오브젝트에 관한 정보를 표시하라는 상기 표시 디바이스에의 명령의 수신에 응답하여 상기 하나 이상의 오브젝트로부터 하나 이상의 오브젝트를 선택하는 단계; 및
    상기 선택하는 단계에 의해 선택된 하나 이상의 오브젝트를 갖는 부분 영역에 대응하는 영상 세그먼트를 요구하는 단계를 포함하는 통신 장치의 제어 방법.
  17. 컴퓨터로 하여금 방법을 실행하도록 하기 위한 프로그램으로서,
    상기 방법은:
    영상 내의 하나 이상의 오브젝트의 식별자 또는 식별자들을 포함하는 메타데이터 세그먼트를 수신하는 단계;
    상기 수신하는 단계에 의해 수신된 메타데이터 세그먼트에 기초하여 표시 디바이스로 하여금 하나 이상의 오브젝트에 관한 정보를 표시하도록 하는 단계;
    상기 하나 이상의 오브젝트에 관한 정보를 표시하라는 상기 표시 디바이스에의 명령의 수신에 응답하여 상기 하나 이상의 오브젝트로부터 하나 이상의 오브젝트를 선택하는 단계; 및
    상기 선택하는 단계에 의해 선택된 하나 이상의 오브젝트를 갖는 부분 영역에 대응하는 영상 세그먼트를 요구하는 단계를 포함하는 프로그램.
KR1020187024453A 2016-02-03 2017-01-26 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램 KR102087533B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016019295A JP6624958B2 (ja) 2016-02-03 2016-02-03 通信装置、通信システム、通信制御方法およびコンピュータプログラム
JPJP-P-2016-019295 2016-02-03
PCT/JP2017/002656 WO2017135133A1 (en) 2016-02-03 2017-01-26 Communication apparatus, communication control method, and computer program

Publications (2)

Publication Number Publication Date
KR20180105690A true KR20180105690A (ko) 2018-09-28
KR102087533B1 KR102087533B1 (ko) 2020-03-10

Family

ID=58044119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187024453A KR102087533B1 (ko) 2016-02-03 2017-01-26 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (2) US20190045269A1 (ko)
EP (1) EP3412030A1 (ko)
JP (1) JP6624958B2 (ko)
KR (1) KR102087533B1 (ko)
CN (1) CN108605149A (ko)
WO (1) WO2017135133A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328451B2 (en) * 2019-03-15 2022-05-10 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843655B2 (ja) * 2017-03-09 2021-03-17 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
CN108366303A (zh) * 2018-01-25 2018-08-03 努比亚技术有限公司 一种视频播放方法、移动终端及计算机可读存储介质
WO2019176590A1 (ja) * 2018-03-15 2019-09-19 ソニー株式会社 情報処理装置、情報処理装置およびプログラム
CN108449623B (zh) * 2018-03-27 2021-07-27 卓米私人有限公司 抓取物体的控制方法、服务器和目标客户端
JP7304508B2 (ja) * 2019-02-19 2023-07-07 株式会社シンクアウト 情報処理システムおよび情報処理プログラム
CN113574903B (zh) 2019-03-14 2023-07-28 诺基亚技术有限公司 针对媒体内容中的后期绑定的方法和装置
US10715871B1 (en) 2019-03-27 2020-07-14 Verizon Patent And Licensing, Inc. Determining an end screen time for displaying an end screen user interface
JP7280495B2 (ja) * 2019-04-01 2023-05-24 日本電信電話株式会社 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
US10547915B1 (en) * 2019-07-19 2020-01-28 Look At Me, Inc. System and method for optimizing playlist information for ultra low latency live streaming
JP7442302B2 (ja) * 2019-11-22 2024-03-04 キヤノン株式会社 データ処理装置およびその制御方法、プログラム
CN112437318A (zh) * 2020-11-09 2021-03-02 北京达佳互联信息技术有限公司 一种内容显示方法、装置、系统及存储介质
US11902625B2 (en) * 2021-06-29 2024-02-13 Rovi Guides, Inc. Systems and methods for providing focused content
EP4287058B1 (en) * 2022-05-31 2024-04-10 Axis AB A device and a method for signing a metadata frame corresponding to an image frame of a sequence of image frames

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070260A (ko) * 2012-10-12 2015-06-24 캐논 가부시끼가이샤 비디오 데이터를 스트리밍하기 위한 방법 및 대응하는 장치
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
JP2016009925A (ja) * 2014-06-23 2016-01-18 キヤノン株式会社 データ処理装置、データ処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111050A (ja) * 2001-09-27 2003-04-11 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
US8832753B2 (en) * 2008-01-16 2014-09-09 Apple Inc. Filtering and tailoring multimedia content based on observed user behavior
US8621000B2 (en) * 2011-03-23 2013-12-31 Verizon Patent And Licensing Inc. Region of interest streaming
EP2888892B1 (en) * 2012-10-24 2019-06-12 Huawei Technologies Co., Ltd. Communication receiver
KR20140092211A (ko) * 2013-01-15 2014-07-23 삼성전자주식회사 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치
CN104956645B (zh) * 2013-01-16 2018-04-27 华为技术有限公司 自适应流中的url参数插入和添加
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
CN105122828B (zh) * 2013-04-19 2019-05-10 索尼公司 信息处理装置、内容请求方法以及计算机程序
KR101879519B1 (ko) * 2013-07-29 2018-07-17 코닌클리즈케 케이피엔 엔.브이. 타일 비디오 스트림을 클라이언트에게 제공하는 방법
EP3062522A4 (en) * 2013-10-22 2017-07-05 Sharp Kabushiki Kaisha Display control device, delivery device, display control method, and display control system
EP3099069B1 (en) * 2014-02-21 2019-08-07 Huawei Technologies Co., Ltd. Method for processing video, terminal and server
US10397666B2 (en) * 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
JP6324238B2 (ja) * 2014-06-30 2018-05-16 キヤノン株式会社 動画再生装置、動画再生方法及びそのプログラム、動画配信装置、動画配信方法及びそのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
KR20150070260A (ko) * 2012-10-12 2015-06-24 캐논 가부시끼가이샤 비디오 데이터를 스트리밍하기 위한 방법 및 대응하는 장치
JP2016009925A (ja) * 2014-06-23 2016-01-18 キヤノン株式会社 データ処理装置、データ処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328451B2 (en) * 2019-03-15 2022-05-10 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus

Also Published As

Publication number Publication date
EP3412030A1 (en) 2018-12-12
JP6624958B2 (ja) 2019-12-25
US20190045269A1 (en) 2019-02-07
JP2017139628A (ja) 2017-08-10
WO2017135133A1 (en) 2017-08-10
KR102087533B1 (ko) 2020-03-10
US20210136455A1 (en) 2021-05-06
CN108605149A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
KR102087533B1 (ko) 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램
US11533350B2 (en) Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
JP6501933B2 (ja) Ｘｍｌドキュメントの生成装置、生成方法、情報処理装置、情報処理方法、及びプログラム
US10698864B2 (en) Auxiliary manifest file to provide timed metadata
CN107534796B (zh) 视频处理系统和数字视频分发系统
US10171541B2 (en) Methods, devices, and computer programs for improving coding of media presentation description data
CN107634930B (zh) 一种媒体数据的获取方法和装置
US20130297466A1 (en) Transmission of reconstruction data in a tiered signal quality hierarchy
US9785639B2 (en) Search-based navigation of media content
JP2017515336A (ja) 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム
US20170162229A1 (en) Play method and device
US10911809B2 (en) Communication apparatus, communication method, and program
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
US11889163B2 (en) Receiving device, receiving method, transmitting device, and transmitting method
US20170171605A1 (en) Method and Electronic Device for Switching Live Broadcast to On-Demand Unicast
CN110708577B (zh) 用于跨时间段识别对象的方法和相应装置
US20220279030A1 (en) Data processing apparatus, data receiving apparatus and methods of controlling them, and storage medium
US20140317245A1 (en) Method for rendering a multimedia asset, a related system, media client and related media server
US20230156257A1 (en) Information processing apparatus, information processing method, and storage medium
US20240086451A1 (en) Information processing apparatus, reception apparatus, information processing method, and storage medium
US20230112894A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant