KR20150145228A - 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램 - Google Patents

정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20150145228A
KR20150145228A KR1020157026702A KR20157026702A KR20150145228A KR 20150145228 A KR20150145228 A KR 20150145228A KR 1020157026702 A KR1020157026702 A KR 1020157026702A KR 20157026702 A KR20157026702 A KR 20157026702A KR 20150145228 A KR20150145228 A KR 20150145228A
Authority
KR
South Korea
Prior art keywords
data
image
unit
content
video
Prior art date
Application number
KR1020157026702A
Other languages
English (en)
Other versions
KR102177605B1 (ko
Inventor
야스아키 야마기시
다츠야 이가라시
미츠히로 히라바야시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150145228A publication Critical patent/KR20150145228A/ko
Application granted granted Critical
Publication of KR102177605B1 publication Critical patent/KR102177605B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

본 발명은, ABS 기술을 이용하여 클라이언트로부터 원격으로 기기를 제어할 때 메타 정보의 비대화를 피해 메인터넌스를 하는 것이 가능한 정보 처리 장치를 제공하는 것을 과제로 한다. 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 기억부와, 상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정해서 액세스하는 통신부를 구비하고, 상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램{INFORMATION PROCESSING APPARATUS, CONTENT REQUESTING METHOD, AND COMPUTER PROGRAM}
본 개시는, 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램에 관한 것이다.
최근, 콘텐츠 전송을 위한 HTTP(HyperText Transfer Protocol), 및 콘텐츠 압축 부호화에 관한 MP4가 널리 이용되고 있다. HTTP에 의하면, 인터넷에 있어서, 콘텐츠의 다운로드뿐만 아니라, 스트리밍을 행하는 것이 가능하다. 이 HTTP 스트리밍은, 「DLNA guidelines」(2006)나 「Open IPTV Forum」(2009) 등의 네트워크 미디어 규격에도 채용되고 있다. 또한, MP4(ISO/IEC-14496-12, 14)는, 기억 포맷으로서뿐만 아니라, 다운로드나 스트리밍 등의 전송 포맷으로서도 이용 가능하다.
또한, 스트리밍에 관해서는, 하기 비특허문헌 1에 기재되어 있는 바와 같이, ABS(Adaptive BitStreaming) 기술이 알려져 있다. ABS 기술은, 동일 콘텐츠가 서로 다른 비트 레이트로 표현된 복수의 부호화 데이터를 콘텐츠 서버에 저장하고, 클라이언트가, 네트워크 대역에 따라서 복수의 부호화 데이터 중 어느 한쪽 부호화 데이터를 선택하면서 재생하는 기술이다.
통상의 스트리밍의 경우에는, 네트워크의 대역이 비트 레이트를 하회했을 때는, 데이터의 공급이 소비를 따라잡지 못하게 되어, 클라이언트측에서 버퍼링하고 있는 데이터는 고갈된다. 그 결과, 클라이언트는 재생을 계속할 수 없게 된다. 그에 비하여, ABS 기술에서는, 대역이 작아졌을 때는 낮은 비트 레이트의 부호화 데이터로 재생 데이터를 전환하므로, 재생 시에서의 도중 끊김을 억제하는 것이 가능해진다.
이 ABS 기술의 분야에 있어서는, 하기 비특허문헌 2와 같이 클라이언트측에서 네트워크 카메라의 원격 제어를 행하는 기술이 제안되어 있다. 또한, 이 ABS 기술의 분야에 있어서는, 하기 비특허문헌 3과 같이 서버측에서 파라미터를 부가하여, 클라이언트에 그 파라미터를 기억시키면서, 배신처(distribution destination)의 서버를 적절히 변경하는 리다이렉션(redirection)을 실행하는 기술도 제안되어 있다.
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1) m28017 DASH: Device/Server Specific Representation in MPD(CE -URLPARAM), MPEG#103, Geneva, 2013 m28354 Core Experiment on Parameters insertion in media segment URL, MPEG#103, Geneva, 2013
네트워크 카메라의 원격 제어와 같이, 클라이언트로부터 원격으로 기기를 제어하는 용도로 ABS 기술을 이용하는 경우에, 메타 정보의 내부에 기술되는 정보는, 제어를 세밀하게 하려고 하면 할수록, 비대화되어 버린다. 메타 정보의 내부에 기술(記述)되는 정보가 비대화되어 버리면 메인터넌스(maintenance)의 용이성도 악화되어 버리게 된다.
따라서 본 개시는, ABS 기술을 이용하여 클라이언트로부터 원격으로 기기를 제어할 때 메타 정보의 비대화를 피해 메인터넌스를 하는 것이 가능한, 신규이며 또한 개량된 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램을 제공한다.
본 개시에 의하면, 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득되는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 기억부와, 상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정하여 액세스하는 통신부를 구비하고, 상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 정보 처리 장치가 제공된다.
또한 본 개시에 의하면, 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 것과, 상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정해서 액세스하는 것을 구비하고, 상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 콘텐츠 요구 방법이 제공된다.
또한 본 개시에 의하면, 컴퓨터에, 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 것과, 상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정해서 액세스하는 것을 실행시키고, 상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 컴퓨터 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, ABS 기술을 이용하여 클라이언트로부터 원격으로 기기를 제어할 때 메타 정보의 비대화를 피해서 메인터넌스를 하는 것이 가능한, 신규이며 또한 개량된 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램을 제공할 수 있다.
도 1은, 본 개시의 실시 형태에 따른 콘텐츠 재생 시스템의 구성을 나타낸 설명도이다.
도 2는, 본 실시 형태에 따른 콘텐츠 재생 시스템에 있어서의 데이터의 흐름을 나타낸 설명도이다.
도 3은, MPD의 구체예를 나타낸 설명도이다.
도 4는, 본 실시 형태에 따른 콘텐츠 서버(10)의 구성을 나타낸 기능 블록도이다.
도 5는, 본 실시 형태에 따른 콘텐츠 재생 장치(20)의 구성을 나타낸 기능 블록도이다.
도 6은, 본 실시 형태에 따른 콘텐츠 서버(13)의 구성을 나타낸 기능 블록도이다.
도 7은, Parameter Description의 내용을 나타내는 설명도이다.
도 8은, Parameter Description의 내용을 나타내는 설명도이다.
도 9는, Parameter Description을 참조하는 MPD의 예를 나타내는 설명도이다.
도 10a는, 본 개시의 실시 형태에 따른 콘텐츠 재생 시스템의 동작예를 나타낸 시퀀스도이다.
도 10b는, 본 개시의 실시 형태에 따른 콘텐츠 재생 시스템의 동작예를 나타낸 시퀀스도이다.
도 11은, 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
도 12는, 다시점 화상 부호화 방식의 예를 나타내는 도면이다.
도 13은, 본 개시를 적용한 다시점 화상 부호화 장치의 구성예를 나타내는 도면이다.
도 14는, 본 개시를 적용한 다시점 화상 복호 장치의 구성예를 나타내는 도면이다.
도 15는, 계층 화상 부호화 방식의 예를 나타내는 도면이다.
도 16은, 스페셜한 스케일러블 부호화의 예를 설명하는 도면이다.
도 17은, 템포럴한 스케일러블 부호화의 예를 설명하는 도면이다.
도 18은, 신호 잡음비의 스케일러블 부호화의 예를 설명하는 도면이다.
도 19는, 본 개시를 적용한 계층 화상 부호화 장치의 구성예를 나타내는 도면이다.
도 20은, 본 개시를 적용한 계층 화상 복호 장치의 구성예를 나타내는 도면이다.
도 21은, 본 개시를 적용한 텔레비전 장치의 개략 구성예를 나타내는 도면이다.
도 22는, 본 개시를 적용한 휴대 전화기의 개략 구성예를 나타내는 도면이다.
도 23은, 본 개시를 적용한 기록 재생 장치의 개략 구성예를 나타내는 도면이다.
도 24는, 본 개시를 적용한 촬상 장치의 개략 구성예를 나타내는 도면이다.
도 25는, 스케일러블 부호화 이용의 일례를 나타내는 블록도이다.
도 26은, 스케일러블 부호화 이용의 다른 예를 나타내는 블록도이다.
도 27은, 스케일러블 부호화 이용의 또 다른 예를 나타내는 블록도이다.
도 28은, 본 개시를 적용한 비디오 세트의 개략적인 구성의 일례를 나타내고 있다.
도 29는, 본 개시를 적용한 비디오 프로세서의 개략적인 구성의 일례를 나타내고 있다.
이하에 첨부 도면을 참조하면서, 본 개시의 바람직한 실시 형태에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를, 동일한 부호의 뒤에 서로 다른 알파벳을 붙여서 구별하는 경우도 있다. 예를 들어, 실질적으로 동일한 기능 구성 또는 논리적 의의를 갖는 복수의 구성을, 필요에 따라서 콘텐츠 재생 장치(20A, 20B 및 20C)와 같이 구별한다. 단, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 붙인다. 예를 들어, 콘텐츠 재생 장치(20A, 20B 및 20C)를 특별히 구별할 필요가 없는 경우에는, 단순히 콘텐츠 재생 장치(20)라고 칭한다.
또한, 설명은 이하의 순서로 행하기로 한다.
<1. 콘텐츠 재생 시스템의 개요>
<2. 콘텐츠 서버(10)의 구성>
<3. 콘텐츠 재생 장치(20)의 구성>
<4. 콘텐츠 서버(13)의 구성>
<5. MPD의 구성>
<6. 정리>
<1. 콘텐츠 재생 시스템의 개요>
우선, 도 1 내지 도 3을 참조하여, 본 개시의 실시 형태에 따른 콘텐츠 재생 시스템에 대하여 개략적으로 설명한다.
이하에서는, 우선, 이와 같은 각 실시 형태에 있어서 공통되는 기본 구성에 대하여 도 1 및 도 2를 참조하여 설명한다.
도 1은, 본 개시의 실시 형태에 따른 콘텐츠 재생 시스템의 구성을 나타낸 설명도이다. 도 1에 도시한 바와 같이, 본 개시의 실시 형태에 따른 콘텐츠 재생 시스템은, 콘텐츠 서버(10, 13)와, 네트워크 카메라(11)와, 네트워크(12)와, 콘텐츠 재생 장치(20)(클라이언트 장치)를 구비한다.
콘텐츠 서버(10)와 콘텐츠 재생 장치(20)는, 네트워크(12)를 통해 접속되어 있다. 이 네트워크(12)는, 네트워크(12)에 접속되어 있는 장치로부터 송신되는 정보의 유선, 또는 무선의 전송로이다.
예를 들어, 네트워크(12)는, 인터넷, 전화 회선망, 위성 통신망 등의 공중 회선망이나, Ethernet(등록상표)을 포함하는 각종 LAN(Local Area Network), WAN(Wide Area Network) 등을 포함해도 된다. 또한, 네트워크(12)는, IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망을 포함해도 된다.
콘텐츠 서버(10)는, 콘텐츠 데이터를 부호화하고, 부호화 데이터 및 부호화 데이터의 메타 정보를 포함하는 데이터 파일을 생성해서 기억한다. 또한, 콘텐츠 서버(10)가 MP4 형식의 데이터 파일을 생성하는 경우, 부호화 데이터는 「mdat」에 해당되고, 메타 정보는 「moov」에 해당된다.
또한, 콘텐츠 데이터는, 음악, 강연 및 라디오 프로 등의 음악 데이터나, 영화, 텔레비전 프로그램, 비디오 프로그램, 사진, 문서, 회화 및 도표 등의 영상 데이터나, 게임 및 소프트웨어 등이어도 된다. 또한 콘텐츠 데이터는, 네트워크 카메라(11)에 의해 촬상되어 있는 영상이어도 된다. 콘텐츠 서버(10)는, 콘텐츠 재생 장치(20)로부터의 리퀘스트에 따라서 네트워크 카메라(11)를 제어할 수 있다.
여기서, 본 실시 형태에 따른 콘텐츠 서버(10)는, 동일 콘텐츠에 관하여, 서로 다른 비트 레이트로 복수의 데이터 파일을 생성한다. 또한 본 실시 형태에 따른 콘텐츠 서버(13)는, 콘텐츠 재생 장치(20)로부터의 콘텐츠의 재생 요구에 대하여 콘텐츠 서버(10)의 URL의 정보에, 콘텐츠 재생 장치(20)에 의해 당해 URL에 부가시키는 파라미터의 정보를 포함해서 콘텐츠 재생 장치(20)로 송신한다. 이하, 도 2를 참조하여 당해 사항에 대하여 구체적으로 설명한다.
도 2는, 본 실시 형태에 따른 콘텐츠 재생 시스템에 있어서의 데이터의 흐름을 나타낸 설명도이다. 콘텐츠 서버(10)는, 동일한 콘텐츠 데이터를 서로 다른 비트 레이트로 부호화하고, 도 2에 도시한 바와 같이 예를 들어 2Mbps의 파일 A, 1.5Mbps의 파일 B, 1Mbps의 파일 C를 생성한다. 상대적으로, 파일 A는 하이 비트 레이트이며, 파일 B는 표준 비트 레이트이며, 파일 C는 로우 비트 레이트이다.
또한, 도 2에 도시한 바와 같이, 각 파일의 부호화 데이터는 복수의 세그먼트로 구분되어 있다. 예를 들어, 파일 A의 부호화 데이터는 「A1」, 「A2」, 「A3」, …「An」이라고 하는 세그먼트로 구분되어 있으며, 파일 B의 부호화 데이터는 「B1」, 「B2」, 「B3」, …「Bn」이라고 하는 세그먼트로 구분되어 있으며, 파일 C의 부호화 데이터는 「C1」, 「C2」, 「C3」, …「Cn」이라고 하는 세그먼트로 구분되어 있다.
또한, 각 세그먼트는 MP4의 싱크 샘플(예를 들어, AVC/H.264의 영상 부호화에서는 IDR-픽처)로 시작되는 단독으로 재생 가능한 1 또는 2 이상의 영상 부호화 데이터 및 음성 부호화 데이터로부터 구성 샘플로 구성되어도 된다. 예를 들어, 1초 30프레임의 비디오 데이터가 15프레임 고정 길이의 GOP(Group of Picture)에 의해 부호화되어 있는 경우, 각 세그먼트는, 4GOP에 상당하는 2초분의 영상과 음성 부호화 데이터이어도, 20GOP에 상당하는 10초분의 영상과 음성 부호화 데이터이어도 된다.
또한, 각 파일에 있어서의 배치 순서가 동일한 세그먼트에 의한 재생 범위(콘텐츠의 선두로부터의 시간 위치의 범위)는 동일하다. 예를 들어, 세그먼트 「A2」, 세그먼트 「B2」, 및 세그먼트 「C2」의 재생 범위는 동일하며, 각 세그먼트가 2초분의 부호화 데이터인 경우, 세그먼트 「A2」, 세그먼트 「B2」, 및 세그먼트 「C2」의 재생 범위는, 모두 콘텐츠의 2초 내지 4초이다.
콘텐츠 서버(10)는, 이와 같은 복수의 세그먼트로 구성되는 파일 A 내지 파일 C를 생성하면, 파일 A 내지 파일 C를 기억한다. 그리고, 콘텐츠 서버(10)는, 도 2에 도시한 바와 같이, 다른 파일을 구성하는 세그먼트를 콘텐츠 재생 장치(20)에 순차적으로 송신하고, 콘텐츠 재생 장치(20)는, 수신된 세그먼트를 스트리밍 재생한다.
여기서, 본 실시 형태에 따른 콘텐츠 서버(10)는, 각 부호화 데이터의 비트 레이트 정보 및 액세스 정보를 포함하는 플레이 리스트 파일(이하, MPD: Media Presentation Description)을 콘텐츠 재생 장치(20)에 송신하고, 콘텐츠 재생 장치(20)는, MPD에 기초하여, 복수의 비트 레이트 중 어느 하나의 비트 레이트를 선택하고, 선택된 비트 레이트에 대응하는 세그먼트의 송신을 콘텐츠 서버(10)에 요구한다.
도 1에서는, 1개의 콘텐츠 서버(10)만이 도시되어 있지만, 본 개시는 이러한 예로 한정되지 않는 것은 물론이다.
도 3은, MPD의 구체예를 나타낸 설명도이다. 도 3에 도시한 바와 같이, MPD에는, 서로 다른 비트 레이트(BANDWIDTH)를 갖는 복수의 부호화 데이터에 관한 액세스 정보가 포함된다. 예를 들어, 도 3에 도시한 MPD는, 256Kbps, 1.024Mbps, 1.384Mbps, 1.536Mbps, 2.048Mbps의 각각의 부호화 데이터가 존재하는 것을 나타냄과 함께, 각 부호화 데이터에 관한 액세스 정보를 포함한다. 콘텐츠 재생 장치(20)는, 이러한 MPD에 기초하여, 스트리밍 재생하는 부호화 데이터의 비트 레이트를 동적으로 변경하는 것이 가능하다.
또한, 도 1에는 콘텐츠 재생 장치(20)의 일례로서 휴대 단말기를 나타내고 있지만, 콘텐츠 재생 장치(20)는 이러한 예로 한정되지 않는다. 예를 들어, 콘텐츠 재생 장치(20)는, PC(Personal Computer), 가정용 영상 처리 장치(DVD 레코더, 비디오데크 등), PDA(Personal Digital Assistants), 가정용 게임 기기, 가전 기기 등의 정보 처리 장치이어도 된다. 또한, 콘텐츠 재생 장치(20)는, 휴대 전화, PHS(Personal Handyphone System), 휴대용 음악 재생 장치, 휴대용 영상 처리 장치, 휴대용 게임 기기 등의 정보 처리 장치이어도 된다.
<2. 콘텐츠 서버(10)의 구성>
이상, 도 1 내지 도 3을 참조하여, 본 개시의 실시 형태에 따른 콘텐츠 재생 시스템의 개요를 설명하였다. 계속해서, 도 4를 참조하여, 본 실시 형태에 따른 콘텐츠 서버(10)의 구성을 설명한다.
도 4는, 본 실시 형태에 따른 콘텐츠 서버(10)의 구성을 나타낸 기능 블록도이다. 도 4에 도시한 바와 같이, 본 실시 형태에 따른 콘텐츠 서버(10)는, 파일 생성부(120)와, 기억부(130)와, 통신부(140)를 구비한다.
파일 생성부(120)는, 콘텐츠 데이터를 부호화하는 인코더(122)를 구비하고, 동일한 콘텐츠이고 비트 레이트가 상이한 복수의 부호화 데이터 및 전술한 MPD를 생성한다. 예를 들어, 파일 생성부(120)는, 256Kbps, 1.024Mbps, 1.384Mbps, 1.536Mbps, 2.048Mbps의 각각의 부호화 데이터를 생성한 경우, 도 3에 도시한 바와 같은 MPD를 생성한다.
기억부(130)는, 파일 생성부(120)에 의해 생성된 비트 레이트가 상이한 복수의 부호화 데이터 및 MPD를 기억한다. 이 기억부(130)는, 불휘발성 메모리, 자기디스크, 광디스크 및 MO(Magneto Optical) 디스크 등의 기억 매체이어도 된다. 불휘발성 메모리로서는, 예를 들어 EEPROM(Electrically Erasable Programmable Read-Only Memory), EPROM(Erasable Programmable ROM)을 들 수 있다. 또한, 자기디스크로서는, 하드디스크 및 원반형 자성체 디스크 등을 들 수 있다. 또한, 광디스크로서는, CD(Compact Disc, DVD-R(Digital Versatile Disc Recordable) 및 BD(Blu-Ray Disc(등록상표)) 등을 들 수 있다.
통신부(140)는, 콘텐츠 재생 장치(20)와의 인터페이스로서, 네트워크(12)를 통해 콘텐츠 재생 장치(20)와 통신한다. 보다 상세하게는, 통신부(140)는, HTTP에 따라서 콘텐츠 재생 장치(20)와 통신하는 HTTP 서버로서의 기능을 갖는다. 예를 들어, 통신부(140)는, MPD를 콘텐츠 재생 장치(20)로 송신하고, HTTP에 따라서 콘텐츠 재생 장치(20)로부터 MPD에 기초하여 요구된 부호화 데이터를 기억부(130)로부터 추출하고, HTTP 리스펀스로서 콘텐츠 재생 장치(20)로 부호화 데이터를 송신한다.
<3. 콘텐츠 재생 장치(20)의 구성>
이상, 본 실시 형태에 따른 콘텐츠 서버(10)의 구성을 설명하였다. 계속해서, 도 5를 참조하여, 본 실시 형태에 따른 콘텐츠 재생 장치(20)의 구성을 설명한다.
도 5는, 본 실시 형태에 따른 콘텐츠 재생 장치(20)의 구성을 나타낸 기능 블록도이다. 도 5에 도시한 바와 같이, 본 실시 형태에 따른 콘텐츠 재생 장치(20)는, 통신부(220)와, 기억부(230)와, 재생부(240)와, 선택부(250)를 구비한다.
통신부(220)는, 콘텐츠 서버(10)와의 인터페이스로서, 콘텐츠 서버(10)에 대하여 데이터를 요구하고, 콘텐츠 서버(10)로부터 데이터를 취득한다. 보다 상세하게는, 통신부(220)는, HTTP에 따라서 콘텐츠 재생 장치(20)와 통신하는 HTTP 클라이언트로서의 기능을 갖는다. 예를 들어, 통신부(220)는, HTTP Range를 이용함으로써, 콘텐츠 서버(10)로부터 MPD나 부호화 데이터의 세그먼트를 선택적으로 취득할 수 있다.
기억부(230)는, 콘텐츠의 재생에 관한 다양한 정보를 기억한다. 예를 들어, 통신부(220)에 의해 콘텐츠 서버(10)로부터 취득되는 세그먼트를 순차적으로 버퍼링한다. 기억부(230)에 버퍼링된 부호화 데이터의 세그먼트는, FIFO(First In First Out)에서 재생부(240)로 순차적으로 공급된다.
또한 기억부(230)는, 네트워크 카메라(11)에 대하여 방향이나 배율을 지시하고 있으며, 네트워크 카메라(11)에 의해 촬상된 영상을 콘텐츠 서버(10)로부터 취득하기 위한 정의 정보를 유지한다. 기억부(230)가 유지하는 정의 정보에 대해서는 후에 상세히 설명한다.
재생부(240)는, 기억부(230)로부터 공급되는 세그먼트를 순차적으로 재생한다. 구체적으로는, 재생부(240)는, 세그먼트의 디코드, DA 변환 및 렌더링 등을 행한다.
선택부(250)는, MPD에 포함되는 어느 쪽의 비트 레이트에 대응하는 부호화 데이터의 세그먼트를 취득할지를 동일 콘텐츠 내에서 순차적으로 선택한다. 예를 들어, 선택부(250)가 네트워크(12)의 대역에 따라서 세그먼트 「A1」, 「B2」, 「A3」을 순차적으로 선택하면, 도 2에 도시한 바와 같이, 통신부(220)가 콘텐츠 서버(10)로부터 세그먼트 「A1」, 「B2」, 「A3」을 순차적으로 취득한다.
본 실시 형태에 따른 콘텐츠 재생 장치(20)는, 네트워크 카메라(11)를 제어하여, 지정된 방향으로부터, 또한 지정된 배율로, 네트워크 카메라(11)가 촬상한 영상을 콘텐츠 서버(10)로부터 취득한다. 그리고 콘텐츠 재생 장치(20)는, 네트워크 카메라(11)의 제어에, 비특허문헌 1에서 개시되어 있는 ABS 기술을 이용한다.
<4. 콘텐츠 서버(13)의 구성>
도 6은, 콘텐츠 서버(13)의 구성예를 나타내는 설명도이다. 도 6에 도시한 바와 같이, 본 실시 형태에 따른 콘텐츠 서버(13)는, 기억부(310)와, 통신부(320)를 구비한다.
기억부(310)는, MPD의 URL의 정보를 기억한다. MPD의 URL의 정보는, 콘텐츠의 재생을 요구하는 콘텐츠 재생 장치(20)로부터의 요구에 따라서, 콘텐츠 서버(13)로부터 콘텐츠 재생 장치(20)로 송신된다. 또한 기억부(310)는, 콘텐츠 재생 장치(20)로의 MPD의 URL의 정보를 제공할 때 당해 MPD에 기술되어 있는 URL에 콘텐츠 재생 장치(20)에서 파라미터를 부가시킬 때의 정의 정보를 기억한다.
통신부(320)는, 콘텐츠 재생 장치(20)와의 인터페이스로서, 네트워크(12)를 통해 콘텐츠 재생 장치(20)와 통신한다. 즉 통신부(320)는, 콘텐츠의 재생을 요구하는 콘텐츠 재생 장치(20)로부터, MPD의 URL의 정보의 요구를 수신하고, 콘텐츠 재생 장치(20)로 MPD의 URL의 정보를 송신한다. 통신부(320)로부터 송신되는 MPD의 URL에는, 콘텐츠 재생 장치(20)에서 파라미터를 부가시키기 위한 정보가 포함된다.
콘텐츠 재생 장치(20)에서 MPD의 URL에 부가시키는 파라미터에 대해서는, 콘텐츠 서버(13) 및 콘텐츠 재생 장치(20)에 의해 공유하는 정의 정보로 다양하게 설정할 수 있다. 일례를 들자면, 콘텐츠 재생 장치(20)의 현재 위치, 콘텐츠 재생 장치(20)를 사용하는 유저의 유저 ID, 콘텐츠 재생 장치(20)의 메모리 사이즈, 콘텐츠 재생 장치(20)의 스토리지 용량 등의 정보를, 콘텐츠 재생 장치(20)에 의해 MPD의 URL에 부가시킬 수 있다.
<4. MPD의 구성>
계속해서, 본 실시 형태에 따른 MPD의 구성에 대해서 설명한다. 상기 비특허문헌 2에서는, 네트워크 카메라를 클라이언트로부터 제어하기 위해서, 상기 비특허문헌 1의 section 5.3.9.4.2에 내용이 공개되어 있는 SegmentTemplate 요소에, 팬 각도의 속성 「pan_range」, 틸트 각도의 속성 「tilt_range」, 줌 배율의 속성 「zoom_range」를 지정하는 방법이 제안되어 있다.
그러나, 이와 같이 파라미터를 MPD로 지정하면, 네트워크 카메라의 제어를 세밀하게 하려고 하면 할수록, MPD의 내용이 비대화되어 버린다. MPD의 내부에 기술되는 정보가 비대화되어 버리면, MPD 메인터넌스의 용이성도 악화해 버리게 된다.
따라서 본 실시 형태에서는, 상기 비특허문헌 1의 section 5.3.9.4.2에서 내용이 공개되어 있는 SegmentTemplate 요소에, 속성 「pan_range」, 「tilt_range」, 「zoom_range」를 추가하는 대신에, 속성 「pd」만을 추가한다. 속성 「pd」는, 네트워크 카메라(11)를 제어하기 위한 정의 정보의 URI를 1개 또는 복수 지정하기 위한 속성이다. SegmentTemplate 요소의 속성 「pd」로 지정되는 정의 정보를 Parameter Description이라고도 칭한다. Parameter Description은, 예를 들어 WADL(Web Application Description Language, http://www.w 3.org/Submission/wadl/), WSDL(Web Service Description Language, http://www.ibm.com/developerworks/webservices/library/ws-restwsdl/) 그 밖의 WebAPI 기술 언어에 기초하여 기술될 수 있다. 이 정의 정보는 기억부(310)나 기억부(230)에 기억될 수 있다. Parameter Description이 기억부(310)와 기억부(230)의 양쪽에 기억되는 경우에는, 양쪽의 내용이 동기되는 것, 즉 양쪽의 내용이 동일하게 유지되는 것이 전제이다.
이하에서는, 네트워크 카메라(11)가 촬상하는 영상을 취득하기 위한 URL이 「http://cdn1.example.com/camera1/」로 MPD에 기술되어 있으며, 그 MPD의 <AdaptationSet> 태그의 EssentialProperty 요소에 「schemeIdUri='urn:PanAngleDef'」로 지정되고, SegmentTemplate 요소의 속성 「pd」에 Parameter Description으로서 「urn:PanAngleDef」로 지정되어 있는 예를 설명한다.
도 7은, 전술한 Parameter Description인 「urn:PanAngleDef」의 내용을 나타내는 설명도이다. 이 Parameter Description은, 네트워크 카메라(11)의 팬 각도를 지정하기 위한 정의 정보이다.
<resource> 태그는, 네트워크 카메라(11)가 촬상하는 영상의 장소를 지정하는 태그이며, 요소 「path」에 그 장소가 기술된다. 도 6의 예에서는 「pan- {degree}」라고 기술되어 있다. 이 「degree」로 값을 설정하여 콘텐츠 서버(10)에 요구함으로써, 콘텐츠 재생 장치(20)는, 네트워크 카메라(11)의 팬 각도를 지정할 수 있다.
<param> 태그로 둘러싸인 부분에, Parameter Description의 정의 내용이 기술된다.
「name」 요소는, 콘텐츠 재생 장치(20)로부터 네트워크 카메라(11)를 제어하기 위한 파라미터 명칭을 규정한다. 도 7의 예에서는 「name」 요소에, 네트워크 카메라(11)의 팬 각도를 지정하기 위한 파라미터 「degree」가 지정되어 있다.
「required」 요소는, 콘텐츠 재생 장치(20)에서의, 그 쿼리 파라미터의 기술(記述)이 필수인지 여부를 규정한다. 도 7의 예에서는, 「required」 요소에 「true」가 지정되어 있으며, 이 파라미터의 기술이 필수적임을 나타내고 있다.
「style」 요소는, 콘텐츠 재생 장치(20)에 의해 MPD의 URL에 부가시키는 파라미터의 형식을 규정한다. 파라미터의 형식에는, 쿼리 파라미터나 템플릿 등이 있다. 도 7에 도시한 예에서는, 「style」 요소에 「template」가 지정되어 있으며, 이 파라미터는 템플릿의 형식으로 콘텐츠 재생 장치(20)에 의해 기술시키는 것을 나타내고 있다.
<doc> 태그로 둘러싸인 부분에는, 이 Parameter Description에 관한 정보가 기술된다. 도 7에는, 이 Parameter Description은, 파라미터 「degree」에 대한 상세이며, 팬 각도의 최댓값, 최솟값, 증가량을 지정하는 것이 도시되어 있다.
콘텐츠 재생 장치(20)는, 도 7에 도시한 내용에 기초하여 파라미터를 부가한다. 예를 들어 콘텐츠 재생 장치(20)는, 팬 각도가 40°의 방향으로부터 촬상한 영상을 요구하는 경우에는, URL을 「http://cdn1.example.com/camera1/pan-40」으로 지정하여 통신부(220)로부터 당해 URL에 액세스한다. 콘텐츠 서버(10)는, 콘텐츠 재생 장치(20)로부터의 요구에 기초하여 네트워크 카메라(11)의 팬 각도를 40°로 지정하여, 네트워크 카메라(11)가 촬상한 영상을 콘텐츠 재생 장치(20)로 송신할 수 있다.
다른 예를 나타낸다. 이하에서는, 네트워크 카메라(11)가 촬상하는 영상을 취득하기 위한 URL이 「http://cdn1.example.com/camera1/」로 MPD에 기술되어 있으며, 그 MPD의 <AdaptationSet> 태그의 EssentialProperty 요소에 「schemeIdUri='urn:ZoomScaleDef'」로 지정되고, SegmentTemplate 요소의 속성 「pd」에 Parameter Description으로서 「urn:ZoomScaleDef」로 지정되어 있는 예를 설명한다.
도 8은, 전술한 Parameter Description인 「urn:ZoomScaleDef」의 내용을 나타내는 설명도이다. 이 Parameter Description은, 네트워크 카메라(11)의 줌 배율을 지정하기 위한 정의 정보이다.
예를 들어, 콘텐츠 재생 장치(20)는, 줌 배율이 3배인 영상을 요구하는 경우에는, URL을 「http://cdn1.example.com/camera1/zoom-3」으로 지정하여 통신부(220)로부터 당해 URL에 액세스한다. 콘텐츠 서버(10)는, 콘텐츠 재생 장치(20)로부터의 요구에 기초하여 네트워크 카메라(11)의 줌 배율을 3배로 지정하여, 네트워크 카메라(11)가 촬상한 영상을 콘텐츠 재생 장치(20)로 송신할 수 있다.
도 9는, 전술해 온 Parameter Description을 참조하도록 구성되어 있는 MPD의 예를 나타내는 설명도이다. 상기 비특허문헌 3에서는, Parameter 요소를 도입하여, 그 Parameter 요소의 id 속성에 템플릿으로서 이용하는 파라미터의 이름(도 9의 예에서는 「angle」)을 지정하고, descriptorId 속성으로부터, EssentialProperty(대상의 MPD에서 서포트되어야 할 descriptor를 지정하는 요소)를 참조하도록 제안하고 있다. 그러나, 상기 비특허문헌 2에서는 그 다음의 정의에 대해서는 제안되어 있지 않다.
따라서, 그 다음의 정의를 전술한 Parameter Description을 이용하고 있던 것이, 도 9에 도시한 MPD이다. schemeIdUri 요소로 지정된 「urn:PanAngleDef」는, 도 7에 도시한 Parameter Description이다. 이와 같이 MPD가 정의되어 있음으로써, 콘텐츠 재생 장치(20)는, http://cdn1.example.com/camera1/pan-40이라는 어드레스에 액세스하여 콘텐츠를 취득할 수 있다. Parameter Description에 표준의 기술 방식을 이용함으로써, 이미 어떤 표준의 프레임 워크를 이용할 수 있으므로, URL 서명 등의 기능 추가가 용이하게 된다.
전술한 일련의 처리를 보다 상세히 설명한다. 도 10a 및 도 10b는, 전술한 일련의 처리를 상세히 나타내는 시퀀스도이다. 도 10a 및 도 10b에 도시한 시퀀스도는, 콘텐츠 서버(13)로부터 콘텐츠 재생 장치(20)에 MPD의 URL의 정보를 보내고, 콘텐츠 재생 장치(20)가 MPD의 URL에 기초하여 네트워크 카메라(11)로부터 콘텐츠를 취득하고, 네트워크 카메라(11)가 촬상한 영상을 재생할 때의 동작을 나타낸 것이다.
콘텐츠 재생 장치(20)가 콘텐츠를 재생부(240)에서 재생하고자 하는 경우, 우선 콘텐츠 재생 장치(20)는, MPD의 URL을 콘텐츠 서버(13)로부터 취득한다(스텝 S101). 스텝 S101의 취득은, 예를 들어 재생부(240)가 통신부(220)를 통하여 실행한다. 콘텐츠 재생 장치(20)는, MPD의 URL을 콘텐츠 서버(13)로부터 취득하면, 계속해서 URL 파라미터의 참조를 내포하는 MPD인지 여부를 판단한다(스텝 S102). 스텝 S102의 판단은 재생부(240)가 실행할 수 있다. URL 파라미터의 참조를 내포하는 MPD란, 예를 들어 도 9에 도시한 「urn:PanAngleDef」와 같은 파라미터를 포함한 MPD를 의미한다.
스텝 S102의 판단 결과, 스텝 S101에서 취득한 MPD의 URL이, URL 파라미터의 참조를 내포하는 MPD가 아닌 경우에는, 콘텐츠 재생 장치(20)는 http에 의해 MPD의 URL을 콘텐츠 서버(13)에 요구한다(스텝 S103). 스텝 S103의 요구는, 예를 들어 재생부(240)가 통신부(220)를 통해 실행한다. 예를 들어 「http://a.com/x.mpd」라고 하는 URL을 콘텐츠 재생 장치(20)가 취득한 경우에는, 콘텐츠 재생 장치(20)는 http-request에 의해 「http://a.com/x.mpd」를 콘텐츠 서버(13)에 요구한다.
콘텐츠 재생 장치(20)로부터 MPD의 URL의 요구를 수신한 콘텐츠 서버(13)는, 콘텐츠 재생 장치(20)로부터 취득하고 싶은 상태 정보, 예를 들어 전술한 예에서는 네트워크 카메라(11)의 앵글 정보를 결정하고, 대응하는 Parameter Description을 기억부(310)에 조회한다(스텝 S104). 기억부(310)는, 당해 Parameter Description의 URI를 응답한다(스텝 S105). 전술한 예에 적용시키면, 기억부(310)로부터는, 콘텐츠 서버(10)로부터의 조회에 따라서, 「urn:PanAngleDef」라는 URI가 반환된다.
기억부(310)로부터의 응답을 수신한 콘텐츠 서버(10)는, MPD 내에, Parameter Description의 URI(urn:PanAngleDef)를 저장한다. 또한 콘텐츠 서버(10)는, SegmentTemplate 요소의 속성 pd를 추가하여 MPD를 갱신하고(예를 들어 y.mpd로 함), 그 갱신된 MPD를 지시하는 MPD의 URL(http://a.com/y.mpd)을 http-response-redirect에 의해 콘텐츠 재생 장치(20)에 응답한다(스텝 S106).
콘텐츠 서버(13)로부터의 응답을 수신한 콘텐츠 재생 장치(20)는, 갱신된 MPD의 URL을 http에 의해 콘텐츠 서버(10)에 요구한다(스텝 S107). 전술한 예에 적용시키면, 콘텐츠 재생 장치(20)는 http-request에 의해 「http://a.com/y.mpd」라는 MPD의 URL을 콘텐츠 서버(10)에 요구한다.
콘텐츠 재생 장치(20)로부터의 요구를 수신한 콘텐츠 서버(10)는, 당해 MPD의 본체를 콘텐츠 재생 장치(20)에 응답한다(스텝 S108).
MPD의 본체가 콘텐츠 서버(10)로부터 보내지면(또는 상기 스텝 S102의 판단 결과, 스텝 S101에서 취득한 URL 파라미터의 참조를 내포하는 MPD인 경우에는), MPD의 본체를 콘텐츠 서버(10)로부터 보내진 콘텐츠 재생 장치(20)는, 그 보내진 MPD를 해석한다(스텝 S109). 스텝 S109의 MPD의 해석은 예를 들어 재생부(240)가 실행할 수 있다. 콘텐츠 재생 장치(20)는, 콘텐츠 서버(10)로부터 보내진 MPD를 해석하여, 재생하는 대상의 AdaptationSet, 또는 Representation/SubRepresentation을 결정한다.
MPD의 해석에 의해 재생하는 대상의 AdaptationSet, 또는 Representation/SubRepresentation을 결정하면, 콘텐츠 재생 장치(20)는, 재생하는 대상에 대한 검지 처리를 실행한다(스텝 S110). 스텝 S110의 검지 처리는 예를 들어 재생부(240)가 실행할 수 있다. 구체적으로는, 콘텐츠 재생 장치(20)는, 당해 AdaptationSet, 또는 Representation/SubRepresentation에 EssentialProperty가 있고, EssentialProperty에 그 schemeIdUri 속성의 값이 지정되어 있으며(예를 들어 urn:PanAngleDef), schemeIdUri 속성으로 지정되는 URI에서 참조되는 Parameter Description의 해석이 재생 처리 위에서 필수가 되는 것을 검지한다. 또한 콘텐츠 재생 장치(20)는, 그 URI가 URL 파라미터의 삽입을 의미하는 URI로 되어 있는 것을 검지한다.
콘텐츠 재생 장치(20)는, 재생하는 대상에 대한 검지 처리를 실행하면, 계속해서 URI를 기억한다(스텝 S111). 구체적으로는, 콘텐츠 재생 장치(20)는 SegmentTemplate 요소의 속성 pd로 지정된 URI(urn:PanAngleDef)를 기억한다. URI의 기억 처리는 예를 들어 재생부(240)가 실행한다.
콘텐츠 재생 장치(20)는, 스텝 S111에서 URI를 기억하면, 계속해서 URL 파라미터로 지정된 URI(예를 들어 urn:PanAngleDef)에 의해, Parameter Description을 기억부(310)에 대하여 조회한다(스텝 S112). 스텝 S112의 조회 처리는, 예를 들어 재생부(240)가 통신부(220)를 통하여 실행한다. 기억부(310)는, 예를 들어 WADL에서 기술된 당해 Parameter Description의 본체를, 콘텐츠 재생 장치(20)에 응답한다(스텝 S113).
콘텐츠 재생 장치(20)는, 기억부(310)로부터 Parameter Description의 본체를 취득하면, 파라미터의 구성 방법을 결정하고, 파라미터에 저장되는 내용을 취득한다(스텝 S114). 스텝 S114의 처리는, 예를 들어 재생부(240)가 실행할 수 있다. 예를 들어 파라미터에 네트워크 카메라(11)의 앵글 파라미터를 저장하는 경우에는, 콘텐츠 재생 장치(20)는, 유저와의 대화 처리 등에 의해 네트워크 카메라(11)의 앵글값을 파라미터에 저장한다.
콘텐츠 재생 장치(20)는, 파라미터에 저장되는 내용을 취득하면, 파라미터가 부가된 세그먼트의 URL을 생성하고, http에 의해 콘텐츠 서버(10)로 요구한다(스텝 S115). 구체적으로는, 콘텐츠 재생 장치(20)는, 당해 SegmentTemplate 요소의 media 속성에 기재된 규칙에 준하여, URL 파라미터가 부가 된 세그먼트의 URL을 생성한다. 예를 들어 도 9의 「$」로 둘러싸인 「angle」이라는 SubstitutionParameter의 부분에 상기 파라미터를 삽입한다는 규칙이 있으면, 콘텐츠 재생 장치(20)는, 그 규칙에 준하여, 파라미터가 부가된 세그먼트의 URL을 생성한다. 콘텐츠 재생 장치(20)는, 스텝 S115의 처리에 의해, 「http://cdn1.example.com/camera1/pan-40」이라는 세그먼트의 URL을 생성한다.
콘텐츠 재생 장치(20)로부터 요구를 받은 콘텐츠 서버(10)는, URL 파라미터를 해석하여 최적의 세그먼트의 본체를 콘텐츠 재생 장치(20)에 응답한다(스텝 S116). 콘텐츠 재생 장치(20)는, 콘텐츠 서버(10)로부터 수신된 세그먼트를 재생한다(스텝 S117).
콘텐츠 재생 장치(20)는, 콘텐츠 서버(10)와의 사이에서, 전술한 일련의 처리를 실행함으로써, MPD에 기술되어 있는 URL에 파라미터를 부가하고, http://cdn 1.example.com/camera1/pan-40이라는 어드레스에 액세스하여, 각도가 40°인 방향을 향하고 있는 네트워크 카메라(11)가 촬상하는 영상을 취득하고, 취득된 영상을 재생할 수 있다.
<제1 실시 형태>
(본 개시를 적용한 컴퓨터의 설명)
전술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 11은, 전술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 나타내는 블록도이다. 컴퓨터에 있어서, CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203)은, 버스(204)에 의해 서로 접속되어 있다.
버스(204)에는 또한, 입출력 인터페이스(205)가 접속되어 있다. 입출력 인터페이스(205)에는, 입력부(206), 출력부(207), 기억부(208), 통신부(209), 및 드라이브(210)가 접속되어 있다.
입력부(206)는, 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(207)는, 디스플레이, 스피커 등을 포함한다. 기억부(208)는, 하드디스크나 불휘발성이 메모리 등을 포함한다. 통신부(209)는, 네트워크 인터페이스 등을 포함한다. 드라이브(210)는, 자기디스크, 광디스크, 광자기디스크, 또는 반도체 메모리 등의 리무버블 미디어(211)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(201)가, 예를 들어 기억부(208)에 기억되어 있는 프로그램을, 입출력 인터페이스(205) 및 버스(204)를 통해, RAM(203)에 로드해서 실행함으로써, 전술한 일련의 처리가 행해진다.
컴퓨터(CPU(201))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(211)에 기록해서 제공할 수 있다. 또한, 프로그램은, 로컬에리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 미디어(211)를 드라이브(210)에 장착함으로써, 입출력 인터페이스(205)를 통해 기억부(208)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해 통신부(209)에 의해 수신하고, 기억부(208)에 인스톨할 수 있다. 그 밖의, 프로그램은, ROM(202)이나 기억부(208)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
<제2 실시 형태>
(다시점 화상 부호화·다시점 화상 복호에의 적용)
전술한 일련의 처리는, 다시점 화상 부호화·다시점 화상 복호에 적용할 수 있다. 도 12는, 다시점 화상 부호화 방식의 일례를 나타낸다.
도 12에 도시된 바와 같이, 다시점 화상은, 복수의 시점(뷰(view))의 화상을 포함한다. 이 다시점 화상의 복수의 뷰는, 다른 뷰의 화상을 이용하지 않고 자신의 뷰 화상만을 사용해서 부호화·복호를 행하는 베이스 뷰와, 다른 뷰의 화상을 이용해서 부호화·복호를 행하는 논베이스 뷰를 포함한다. 논베이스 뷰는, 베이스 뷰의 화상 이용하도록 해도 되고, 다른 논베이스 뷰의 화상을 이용하도록 해도 된다.
이와 같이 함으로써, 용장 정보의 전송을 억제하여, 전송하는 정보량(부호량)을 저감할 수 있다(즉, 부호화 효율의 저감을 억제할 수 있음).
(다시점 화상 부호화 장치)
도 13은, 전술한 다시점 화상 부호화를 행하는 다시점 화상 부호화 장치를 나타내는 도면이다. 도 13에 도시된 바와 같이, 다시점 화상 부호화 장치(600)는, 부호화부(601), 부호화부(602), 및 다중화부(603)를 갖는다.
부호화부(601)는, 베이스 뷰 화상을 부호화하고, 베이스 뷰 화상 부호화 스트림을 생성한다. 부호화부(602)는, 논베이스 뷰 화상을 부호화하고, 논베이스 뷰 화상 부호화 스트림을 생성한다. 다중화부(603)는, 부호화부(601)에 있어서 생성된 베이스 뷰 화상 부호화 스트림과, 부호화부(602)에 있어서 생성된 논베이스 뷰 화상 부호화 스트림을 다중화하고, 다시점 화상 부호화 스트림을 생성한다.
이 다시점 화상 부호화 장치(600)의 부호화부(601) 및 부호화부(602)에 대하여, 부호화 장치(10)(도 19)를 적용할 수 있다. 즉, 각 뷰에 대한 부호화에 있어서, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다. 또한, 부호화부(601) 및 부호화부(602)는, 서로 동일한 플래그나 파라미터(예를 들어, 화상 간의 처리에 관한 신택스 요소 등)를 사용하여, 부호화를 행할 수 있으므로(즉, 플래그나 파라미터를 공유할 수 있으므로), 부호화 효율의 저감을 억제할 수 있다.
(다시점 화상 복호 장치)
도 14는, 전술한 다시점 화상 복호를 행하는 다시점 화상 복호 장치를 나타내는 도면이다. 도 14에 도시된 바와 같이, 다시점 화상 복호 장치(610)는, 역다중화부(611), 복호부(612), 및 복호부(613)를 갖는다.
역다중화부(611)는, 베이스 뷰 화상 부호화 스트림과 논베이스 뷰 화상 부호화 스트림이 다중화된 다시점 화상 부호화 스트림을 역다중화하고, 베이스 뷰 화상 부호화 스트림과, 논베이스 뷰 화상 부호화 스트림을 추출한다. 복호부(612)는, 역다중화부(611)에 의해 추출된 베이스 뷰 화상 부호화 스트림을 복호하고, 베이스 뷰 화상을 얻는다. 복호부(613)는, 역다중화부(611)에 의해 추출된 논베이스 뷰 화상 부호화 스트림을 복호하고, 논베이스 뷰 화상을 얻는다.
이 다시점 화상 복호 장치(610)의 복호부(612) 및 복호부(613)에 대하여 복호 장치(110)(도 25)를 적용할 수 있다. 즉, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다. 또한, 복호부(612) 및 복호부(613)는, 서로 동일한 플래그나 파라미터(예를 들어, 화상 간의 처리에 관한 신택스 요소 등)를 사용하여, 복호를 행할 수 있으므로(즉, 플래그나 파라미터를 공유할 수 있으므로), 부호화 효율의 저감을 억제할 수 있다.
<제3 실시 형태>
(계층 화상 부호화·계층 화상 복호에의 적용)
전술한 일련의 처리는, 계층 화상 부호화·계층 화상 복호(스케일러블 부호화·스케일러블 복호)에 적용할 수 있다. 도 15는, 계층 화상 부호화 방식의 일례를 나타낸다.
계층 화상 부호화(스케일러블 부호화)는 화상 데이터를, 소정의 파라미터에 대하여 스케일러블(scalable) 기능을 갖도록, 화상을 복수 레이어화(계층화)하고, 레이어마다 부호화하는 것이다. 계층 화상 복호(스케일러블 복호)는, 그 계층 화상 부호화에 대응하는 복호이다.
도 15에 도시된 바와 같이, 화상의 계층화에 있어서는, 스케일러블 기능을 갖는 소정의 파라미터를 기준으로 하여 하나의 화상이 복수의 화상(레이어)으로 분할된다. 즉, 계층화된 화상(계층 화상)은, 그 소정의 파라미터의 값이 상이한 복수의 계층(레이어)의 화상을 포함한다. 이 계층 화상의 복수의 레이어는, 다른 레이어의 화상을 이용하지 않고 자신의 레이어 화상만을 사용하여 부호화·복호를 행하는 베이스 레이어와, 다른 레이어의 화상을 이용해서 부호화·복호를 행하는 논베이스 레이어(인핸스먼트 레이어라고도 함)를 포함한다. 논베이스 레이어는, 베이스 레이어의 화상을 이용하도록 해도 되고, 다른 논베이스 레이어의 화상을 이용하도록 해도 된다.
일반적으로, 논베이스 레이어는, 용장성이 저감되도록, 자신의 화상과, 다른 레이어의 화상과의 차분 화상의 데이터(차분 데이터)에 의해 구성된다. 예를 들어, 하나의 화상을 베이스 레이어와 논베이스 레이어(인핸스먼트 레이어라고도 함)로 2계층화한 경우, 베이스 레이어의 데이터만으로 원래의 화상보다도 저품질의 화상이 얻어지고, 베이스 레이어의 데이터와 논베이스 레이어의 데이터를 합성함으로써, 원래의 화상(즉 고품질의 화상)이 얻어진다.
이와 같이 화상을 계층화함으로써, 상황에 따라서 다양한 품질의 화상을 용이하게 얻을 수 있다. 예를 들어 휴대 전화와 같은, 처리 능력이 낮은 단말기에 대해서는, 베이스 레이어(base layer)만의 화상 압축 정보를 전송하고, 공간 시간 해상도가 낮거나, 혹은, 화질이 좋지 않은 동화상을 재생하고, 텔레비전이나 퍼스널 컴퓨터와 같은, 처리 능력이 높은 단말기에 대해서는, 베이스 레이어(base layer) 외에, 인핸스먼트 레이어(enhancement layer)의 화상 압축 정보를 전송하고, 공간 시간 해상도가 높거나, 혹은, 화질이 높은 동화상을 재생한다고 한 것처럼, 트랜스 코드 처리를 행하지 않고, 단말기나 네트워크의 능력에 따른 화상 압축 정보를, 서버로부터 송신하는 것이 가능하게 된다.
이와 같이 함으로써, 용장 정보의 전송을 억제하여, 전송하는 정보량(부호량)을 저감할 수 있다(즉, 부호화 효율의 저감을 억제할 수 있음).
(스케일러블한 파라미터)
이와 같은 계층 화상 부호화·계층 화상 복호(스케일러블 부호화·스케일러블 복호)에 있어서, 스케일러블(scalable) 기능을 갖는 파라미터는, 임의이다. 예를 들어, 도 16에 도시한 바와 같은 공간 해상도를 그 파라미터로 하여도 된다(spatial scalability). 이 스페셜 스케일러빌리티(spatial scalability)의 경우, 레이어마다 화상의 해상도가 상이하다. 즉, 이 경우, 도 16에 도시된 바와 같이, 각 픽처가, 원래의 화상보다 공간적으로 저해상도의 베이스 레이어와, 베이스 레이어와 합성함으로써 원래의 공간 해상도가 얻어지는 인핸스먼트 레이어의 2계층으로 계층화된다. 물론, 이 계층 수는 일례이며, 임의의 계층 수로 계층화할 수 있다.
또한, 이와 같은 스케일러블성을 갖게 하는 파라미터로서, 이밖에는, 예를 들어 도 17에 도시된 바와 같은, 시간 해상도를 적용하여도 된다(temporal scalability). 이 템포럴 스케일러빌리티(temporal scalability)의 경우, 레이어마다 프레임 레이트가 상이하다. 즉, 이 경우, 도 17에 도시된 바와 같이, 각 픽처가, 원래의 동화상보다 저 프레임 레이트의 베이스 레이어와, 베이스 레이어와 합성함으로써 원래의 프레임 레이트가 얻어지는 인핸스먼트 레이어의 2계층으로 계층화된다. 물론, 이 계층 수는 일례이며, 임의의 계층 수로 계층화할 수 있다.
또한, 이와 같은 스케일러블성을 갖게 하는 파라미터로서, 예를 들어 신호 잡음비(SNR(Signal to Noise ratio))를 적용하여도 된다(SNR scalability). 이 SNR 스케일러빌리티(SNR scalability)의 경우, 레이어마다 SN비가 상이하다. 즉, 이 경우, 도 18에 도시된 바와 같이, 각 픽처가, 원래의 화상보다 SNR이 낮은 베이스 레이어와, 베이스 레이어와 합성함으로써 원래의 SNR이 얻어지는 인핸스먼트 레이어의 2계층으로 계층화된다. 물론, 이 계층 수는 일례이며, 임의의 계층 수로 계층화할 수 있다.
스케일러블성을 갖게 하는 파라미터는, 전술한 예 이외더라도 물론 된다. 예를 들어, 스케일러블성을 갖게 하는 파라미터로서, 비트 심도를 사용할 수도 있다(bit-depth scalability). 이 비트 심도 스케일러빌리티(bit-depth scalability)의 경우, 레이어마다 비트 심도가 상이하다. 이 경우, 예를 들어 베이스 레이어(base layer)가 8비트(bit) 화상을 포함하고, 이것에 인핸스먼트 레이어(enhancement layer)를 추가함으로써, 10비트(bit) 화상이 얻어지도록 할 수 있다.
또한, 스케일러블성을 갖게 하는 파라미터로서, 크로마 포맷을 사용할 수도 있다(chroma scalability). 이 크로마 스케일러빌리티(chroma scalability)의 경우, 레이어마다 크로마 포맷이 상이하다. 이 경우, 예를 들어 베이스 레이어(base layer)가 4:2:0 포맷의 컴포넌트 화상을 포함하고, 이것에 인핸스먼트 레이어(enhancement layer)를 추가함으로써, 4:2:2 포맷의 컴포넌트 화상이 얻어지도록 할 수 있다.
(계층 화상 부호화 장치)
도 19는, 전술한 계층 화상 부호화를 행하는 계층 화상 부호화 장치를 나타내는 도면이다. 도 19에 도시된 바와 같이, 계층 화상 부호화 장치(620)는, 부호화부(621), 부호화부(622) 및 다중화부(623)를 갖는다.
부호화부(621)는, 베이스 레이어 화상을 부호화하고, 베이스 레이어 화상 부호화 스트림을 생성한다. 부호화부(622)는, 논베이스 레이어 화상을 부호화하고, 논베이스 레이어 화상 부호화 스트림을 생성한다. 다중화부(623)는, 부호화부(621)에 있어서 생성된 베이스 레이어 화상 부호화 스트림과, 부호화부(622)에 있어서 생성된 논베이스 레이어 화상 부호화 스트림을 다중화하고, 계층 화상 부호화 스트림을 생성한다.
이 계층 화상 부호화 장치(620)의 부호화부(621) 및 부호화부(622)에 대하여 부호화 장치(10)(도 19)를 적용할 수 있다. 즉, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다. 또한, 부호화부(621) 및 부호화부(622)는, 서로 동일한 플래그나 파라미터(예를 들어, 화상 간의 처리에 관한 신택스 요소 등)를 사용하여, 인트라 예측의 필터 처리의 제어 등을 행할 수 있으므로(즉, 플래그나 파라미터를 공유할 수 있으므로), 부호화 효율의 저감을 억제할 수 있다.
(계층 화상 복호 장치)
도 20은, 전술한 계층 화상 복호를 행하는 계층 화상 복호 장치를 나타내는 도면이다. 도 20에 도시된 바와 같이, 계층 화상 복호 장치(630)는, 역다중화부(631), 복호부(632), 및 복호부(633)를 갖는다.
역다중화부(631)는, 베이스 레이어 화상 부호화 스트림과 논베이스 레이어 화상 부호화 스트림이 다중화된 계층 화상 부호화 스트림을 역다중화하고, 베이스 레이어 화상 부호화 스트림과, 논베이스 레이어 화상 부호화 스트림을 추출한다. 복호부(632)는, 역다중화부(631)에 의해 추출된 베이스 레이어 화상 부호화 스트림을 복호하고, 베이스 레이어 화상을 얻는다. 복호부(633)는, 역다중화부(631)에 의해 추출된 논베이스 레이어 화상 부호화 스트림을 복호하고, 논베이스 레이어 화상을 얻는다.
이 계층 화상 복호 장치(630)의 복호부(632) 및 복호부(633)에 대하여, 복호 장치(110)(도 25)를 적용할 수 있다. 즉, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다. 또한, 복호부(612) 및 복호부(613)는, 서로 동일한 플래그나 파라미터(예를 들어, 화상 간의 처리에 관한 신택스 요소 등)를 사용하여, 복호를 행할 수 있으므로(즉, 플래그나 파라미터를 공유할 수 있으므로), 부호화 효율의 저감을 억제할 수 있다.
<제4 실시 형태>
(텔레비전 장치의 구성예)
도 21은, 본 개시를 적용한 텔레비전 장치의 개략 구성을 예시하고 있다. 텔레비전 장치(900)는, 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스부(909)를 갖고 있다. 또한, 텔레비전 장치(900)는, 제어부(910), 유저 인터페이스부(911) 등을 갖고 있다.
튜너(902)는, 안테나(901)에 의해 수신된 방송파 신호로부터 원하는 채널을 선국하여 복조를 행하고, 얻어진 부호화 비트 스트림을 디멀티플렉서(903)로 출력한다.
디멀티플렉서(903)는, 부호화 비트 스트림으로부터 시청 대상인 프로그램의 영상이나 음성의 패킷을 추출하여, 추출된 패킷의 데이터를 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는, EPG(Electronic Program Guide) 등의 데이터의 패킷을 제어부(910)에 공급한다. 또한, 스크램블이 행해지고 있는 경우, 디멀티플렉서 등에 의해 스크램블의 해제를 행한다.
디코더(904)는, 패킷의 복호화 처리를 행하고, 복호 처리화에 의해 생성된 영상 데이터를 영상 신호 처리부(905), 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는, 영상 데이터에 대하여, 노이즈 제거나 유저 설정에 따른 영상 처리 등을 행한다. 영상 신호 처리부(905)는, 표시부(906)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통해 공급되는 애플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성한다. 또한, 영상 신호 처리부(905)는, 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 그것을 프로그램의 영상 데이터에 중첩한다. 영상 신호 처리부(905)는, 이와 같이 하여 생성한 영상 데이터에 기초하여 구동 신호를 생성하여 표시부(906)를 구동한다.
표시부(906)는, 영상 신호 처리부(905)로부터의 구동 신호에 기초하여 표시 디바이스(예를 들어 액정 표시 소자 등)를 구동하여, 프로그램의 영상 등을 표시시킨다.
음성 신호 처리부(907)는, 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 처리 후의 음성 데이터의 D/A 변환 처리나 증폭 처리를 행하고 스피커(908)에 공급함으로써 음성 출력을 행한다.
외부 인터페이스부(909)는, 외부 기기나 네트워크와 접속하기 위한 인터페이스이며, 영상 데이터나 음성 데이터 등의 데이터 송수신을 행한다.
제어부(910)에는 유저 인터페이스부(911)가 접속되어 있다. 유저 인터페이스부(911)는, 조작 스위치나 원격 컨트롤 신호 수신부 등으로 구성되어 있으며, 유저 조작에 따른 조작 신호를 제어부(910)에 공급한다.
제어부(910)는, CPU(Central Processing Unit)나 메모리 등을 사용해서 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터, EPG 데이터, 네트워크를 통해 취득된 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 텔레비전 장치(900)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 텔레비전 장치(900)가 유저 조작에 따른 동작으로 되도록 각 부를 제어한다.
또한, 텔레비전 장치(900)에서는, 튜너(902), 디멀티플렉서(903), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스부(909) 등과 제어부(910)를 접속하기 위해 버스(912)가 설치되어 있다.
이와 같이 구성된 텔레비전 장치에서는, 디코더(904)에 본원의 복호 장치(복호 방법)의 기능이 설치된다. 이로 인해, 부호화 스트림의 복호 처리에 있어서, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다.
<제5 실시 형태>
(휴대 전화기의 구성예)
도 22는, 본 개시를 적용한 휴대 전화기의 개략 구성을 예시하고 있다. 휴대 전화기(920)는, 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931)를 갖고 있다. 이들은, 버스(933)를 통해 서로 접속되어 있다.
또한, 통신부(922)에는 안테나(921)가 접속되어 있으며, 음성 코덱(923)에는, 스피커(924)와 마이크로폰(925)이 접속되어 있다. 또한 제어부(931)에는, 조작부(932)가 접속되어 있다.
휴대 전화기(920)는, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영, 또는 데이터 기록 등의 각종 동작을 행한다.
음성 통화 모드에 있어서, 마이크로폰(925)에 의해 생성된 음성 신호는, 음성 코덱(923)에 의해 음성 데이터로의 변환이나 데이터 압축이 행해져서 통신부(922)에 공급된다. 통신부(922)는, 음성 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 송신 신호를 생성한다. 또한, 통신부(922)는, 송신 신호를 안테나(921)에 공급하여 기지국(도시 생략)으로 송신한다. 또한, 통신부(922)는, 안테나(921)에 의해 수신된 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 얻어진 음성 데이터를 음성 코덱(923)에 공급한다. 음성 코덱(923)은, 음성 데이터의 데이터 신장이나 아날로그 음성 신호에의 변환을 행하여 스피커(924)로 출력한다.
또한, 데이터 통신 모드에 있어서, 메일 송신을 행하는 경우, 제어부(931)는, 조작부(932)의 조작에 의해 입력된 문자 데이터를 접수하고, 입력된 문자를 표시부(930)에 표시한다. 또한, 제어부(931)는, 조작부(932)에 있어서의 유저 지시 등에 기초하여 메일 데이터를 생성하여 통신부(922)에 공급한다. 통신부(922)는, 메일 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는, 안테나(921)에 의해 수신된 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 메일 데이터를 복원한다. 이 메일 데이터를, 표시부(930)에 공급하여, 메일 내용의 표시를 행한다.
또한, 휴대 전화기(920)는, 수신된 메일 데이터를, 기록 재생부(929)에서 기억 매체에 기억시키는 것도 가능하다. 기억 매체는, 재기입 가능한 임의의 기억 매체다. 예를 들어, 기억 매체는, RAM이나 내장형 플래시 메모리 등의 반도체 메모리, 하드디스크, 자기디스크, 광자기디스크, 광디스크, USB(Universal Serial Bus) 메모리, 또는 메모리 카드 등의 리무버블 미디어이다.
데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 카메라부(926)에 의해 생성된 화상 데이터를, 화상 처리부(927)에 공급한다. 화상 처리부(927)는, 화상 데이터의 부호화 처리를 행하고, 부호화 데이터를 생성한다.
다중 분리부(928)는, 화상 처리부(927)에 의해 생성된 부호화 데이터와, 음성 코덱(923)으로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여 통신부(922)에 공급한다. 통신부(922)는, 다중화 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는, 안테나(921)에 의해 수신된 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 다중화 데이터를 복원한다. 이 다중화 데이터를 다중 분리부(928)에 공급한다. 다중 분리부(928)는, 다중화 데이터의 분리를 행하고, 부호화 데이터를 화상 처리부(927), 음성 데이터를 음성 코덱(923)에 공급한다. 화상 처리부(927)는, 부호화 데이터의 복호화 처리를 행하고, 화상 데이터를 생성한다. 이 화상 데이터를 표시부(930)에 공급하여, 수신된 화상의 표시를 행한다. 음성 코덱(923)은, 음성 데이터를 아날로그 음성 신호로 변환해 스피커(924)에 공급하여, 수신된 음성을 출력한다.
이와 같이 구성된 휴대 전화 장치에서는, 화상 처리부(927)에 본원의 부호화 장치 및 복호 장치(부호화 방법 및 복호 방법)의 기능이 설치된다. 이로 인해, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다.
<제6 실시 형태>
(기록 재생 장치의 구성예)
도 23은, 본 개시를 적용한 기록 재생 장치의 개략 구성을 예시하고 있다. 기록 재생 장치(940)는, 예를 들어 수신된 방송 프로그램의 오디오 데이터와 비디오 데이터를, 기록 매체에 기록하고, 그 기록된 데이터를 유저의 지시에 따른 타이밍에 유저에게 제공한다. 또한, 기록 재생 장치(940)는, 예를 들어 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 기록 매체에 기록시킬 수도 있다. 또한, 기록 재생 장치(940)는, 기록 매체에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 출력함으로써, 모니터 장치 등에 있어서 화상 표시나 음성 출력을 행할 수 있도록 한다.
기록 재생 장치(940)는, 튜너(941), 외부 인터페이스부(942), 인코더(943), HDD(Hard Disk Drive)부(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)부(948), 제어부(949), 유저 인터페이스부(950)를 갖고 있다.
튜너(941)는, 안테나(도시 생략)에 의해 수신된 방송 신호로부터 원하는 채널을 선국한다. 튜너(941)는, 원하는 채널의 수신 신호를 복조해서 얻어진 부호화 비트 스트림을 셀렉터(946)로 출력한다.
외부 인터페이스부(942)는, IEEE1394 인터페이스, 네트워크 인터페이스부, USB 인터페이스, 플래시 메모리 인터페이스 등의 적어도 어느 하나로 구성되어 있다. 외부 인터페이스부(942)는, 외부 기기나 네트워크, 메모리 카드 등과 접속하기 위한 인터페이스이며, 기록하는 영상 데이터나 음성 데이터 등의 데이터 수신을 행한다.
인코더(943)는, 외부 인터페이스부(942)로부터 공급된 영상 데이터나 음성 데이터가 부호화되지 않았을 때 소정의 방식으로 부호화를 행하고, 부호화 비트 스트림을 셀렉터(946)로 출력한다.
HDD부(944)는, 영상이나 음성 등의 콘텐츠 데이터, 각종 프로그램이나 기타 데이터 등을 내장된 하드디스크에 기록하고, 또한 재생 시 등에 그들을 당해 하드디스크로부터 판독한다.
디스크 드라이브(945)는, 장착되어 있는 광디스크에 대한 신호의 기록 및 재생을 행한다. 광디스크, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등)나 Blu-ray(등록상표) 디스크 등이다.
셀렉터(946)는, 영상이나 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터 어느 한쪽 부호화 비트 스트림을 선택하여, HDD부(944)나 디스크 드라이브(945) 중 어느 하나에 공급한다. 또한, 셀렉터(946)는, 영상이나 음성의 재생 시에, HDD부(944) 또는 디스크 드라이브(945)로부터 출력된 부호화 비트 스트림을 디코더(947)에 공급한다.
디코더(947)는, 부호화 비트 스트림의 복호화 처리를 행한다. 디코더(947)는, 복호 처리화를 행함으로써 생성된 영상 데이터를 OSD부(948)에 공급한다. 또한, 디코더(947)는, 복호 처리화를 행함으로써 생성된 음성 데이터를 출력한다.
OSD부(948)는, 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 그것을 디코더(947)로부터 출력된 영상 데이터에 중첩하여 출력한다.
제어부(949)에는, 유저 인터페이스부(950)가 접속되어 있다. 유저 인터페이스부(950)는, 조작 스위치나 원격 컨트롤 신호 수신부 등으로 구성되어 있으며, 유저 조작에 따른 조작 신호를 제어부(949)에 공급한다.
제어부(949)는, CPU나 메모리 등을 사용해서 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다. 메모리에 기억되어 있는 프로그램은, 기록 재생 장치(940)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 기록 재생 장치(940)가 유저 조작에 따른 동작으로 되도록 각 부를 제어한다.
이와 같이 구성된 기록 재생 장치에서는, 인코더(943)에 본원의 부호화 장치(부호화 방법)의 기능이 설치된다. 이로 인해, 부호화 스트림의 부호화에 있어서, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다. 또한, 디코더(947)에 본원의 복호 장치(복호 방법)의 기능이 설치된다. 이로 인해, 부호화 스트림의 복호에 있어서, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다.
<제7 실시 형태>
(촬상 장치의 구성예)
도 24는, 본 개시를 적용한 촬상 장치의 개략 구성을 예시하고 있다. 촬상 장치(960)는 피사체를 촬상하고, 피사체의 화상을 표시부에 표시시키거나, 그것을 화상 데이터로서, 기록 매체에 기록한다.
촬상 장치(960)는, 광학 블록(961), 촬상부(962), 카메라 신호 처리부(963), 화상 데이터 처리부(964), 표시부(965), 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970)를 갖고 있다. 또한, 제어부(970)에는, 유저 인터페이스부(971)가 접속되어 있다. 또한, 화상 데이터 처리부(964)나 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970) 등은, 버스(972)를 통해 접속되어 있다.
광학 블록(961)은, 포커스 렌즈나 조리개 기구 등을 사용해서 구성되어 있다. 광학 블록(961)은, 피사체의 광학 상(像)을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는, CCD 또는 CMOS 이미지 센서를 사용해서 구성되어 있으며, 광전 변환에 의해 광학 상에 따른 전기 신호를 생성해서 카메라 신호 처리부(963)에 공급한다.
카메라 신호 처리부(963)는, 촬상부(962)로부터 공급된 전기 신호에 대하여 니 보정이나 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 카메라 신호 처리부(963)는, 카메라 신호 처리 후의 화상 데이터를 화상 데이터 처리부(964)에 공급한다.
화상 데이터 처리부(964)는, 카메라 신호 처리부(963)로부터 공급된 화상 데이터의 부호화 처리를 행한다. 화상 데이터 처리부(964)는, 부호화 처리를 행함으로써 생성된 부호화 데이터를 외부 인터페이스부(966)나 미디어 드라이브(968)에 공급한다. 또한, 화상 데이터 처리부(964)는, 외부 인터페이스부(966)나 미디어 드라이브(968)로부터 공급된 부호화 데이터의 복호화 처리를 행한다. 화상 데이터 처리부(964)는, 복호화 처리를 행함으로써 생성된 화상 데이터를 표시부(965)에 공급한다. 또한, 화상 데이터 처리부(964)는, 카메라 신호 처리부(963)로부터 공급된 화상 데이터를 표시부(965)에 공급하는 처리나, OSD부(969)로부터 취득한 표시용 데이터를, 화상 데이터에 중첩시켜서 표시부(965)에 공급한다.
OSD부(969)는, 기호, 문자, 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를 생성해서 화상 데이터 처리부(964)로 출력한다.
외부 인터페이스부(966)는, 예를 들어 USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터와 접속된다. 또한, 외부 인터페이스부(966)에는, 필요에 따라서 드라이브가 접속되고, 자기디스크, 광디스크 등의 리무버블 미디어가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라서, 인스톨된다. 또한, 외부 인터페이스부(966)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 제어부(970)는, 예를 들어 유저 인터페이스부(971)로부터의 지시에 따라서, 미디어 드라이브(968)로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스부(966)로부터, 네트워크를 통해서 접속되는 다른 장치에 공급시킬 수 있다. 또한, 제어부(970)는, 네트워크를 통해서 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스부(966)를 통해 취득하고, 그것을 화상 데이터 처리부(964)에 공급하거나 할 수 있다.
미디어 드라이브(968)로 구동되는 기록 미디어로서는, 예를 들어 자기디스크, 광자기디스크, 광디스크, 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어가 사용된다. 또한, 기록 미디어는, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 되고, 디스크이어도 되며, 메모리 카드이어도 된다. 물론, 비접촉 IC(Integrated Circuit) 카드 등이어도 된다.
또한, 미디어 드라이브(968)와 기록 미디어를 일체화하고, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성(non-portable)의 기억 매체에 의해 구성되도록 해도 된다.
제어부(970)는, CPU를 사용하여 구성되어 있다. 메모리부(967)는, 제어부(970)에 의해 실행되는 프로그램이나 제어부(970)가 처리를 행하는 데 있어서 필요한 각종 데이터 등을 기억한다. 메모리부(967)에 기억되어 있는 프로그램은, 촬상 장치(960)의 기동 시 등의 소정 타이밍에 제어부(970)에 의해 판독되어 실행된다. 제어부(970)는, 프로그램을 실행함으로써, 촬상 장치(960)가 유저 조작에 따른 동작으로 되도록 각 부를 제어한다.
이와 같이 구성된 촬상 장치에서는, 화상 데이터 처리부(964)에 본원의 부호화 장치 및 복호 장치(부호화 방법 및 복호 방법)의 기능이 설치된다. 이로 인해, 부호화 스트림의 부호화 또는 복호에 있어서, 인핸스먼트 레이어와 해상도 정보의 디폴트 맵핑을 개선할 수 있다.
<스케일러블 부호화의 응용예>
(제1 시스템)
다음으로, 스케일러블 부호화(계층 부호화)된 스케일러블 부호화 데이터의 구체적인 이용예에 대하여 설명한다. 스케일러블 부호화는, 예를 들어 도 25에 도시한 예와 같이, 전송하는 데이터의 선택을 위해 이용된다.
도 25에 도시한 데이터 전송 시스템(1000)에 있어서, 배신 서버(1002)는, 스케일러블 부호화 데이터 기억부(1001)에 기억되어 있는 스케일러블 부호화 데이터를 판독하고, 네트워크(1003)를 통하여, 퍼스널 컴퓨터(1004), AV 기기(1005), 태블릿 디바이스(1006), 및 휴대 전화기(1007) 등의 단말 장치에 배신한다.
그 때, 배신 서버(1002)는, 단말 장치의 능력이나 통신 환경 등에 따라서, 적절한 품질의 부호화 데이터를 선택해서 전송한다. 배신 서버(1002)가 불필요하게 고품질의 데이터를 전송하여도, 단말 장치에 있어서 고화질의 화상이 얻어진다고 만은 할 수 없어, 지연이나 오버플로우의 발생 요인으로 될 우려가 있다. 또한, 불필요하게 통신 대역을 점유하거나, 단말 장치의 부하를 불필요하게 증대시키거나 해버릴 우려도 있다. 반대로, 배신 서버(1002)가 불필요하게 저품질의 데이터를 전송하여도, 단말 장치에 있어서 충분한 화질의 화상을 얻지 못할 우려가 있다. 그로 인해, 배신 서버(1002)는, 스케일러블 부호화 데이터 기억부(1001)에 기억되어 있는 스케일러블 부호화 데이터를, 적절히 단말 장치의 능력이나 통신 환경 등에 대하여 적절한 품질의 부호화 데이터로서 판독하여 전송한다.
예를 들어, 스케일러블 부호화 데이터 기억부(1001)는, 스케일러블에 부호화된 스케일러블 부호화 데이터(BL+EL)(1011)를 기억한다고 하자. 이 스케일러블 부호화 데이터(BL+EL)(1011)는, 베이스 레이어와 인핸스먼트 레이어의 양쪽을 포함하는 부호화 데이터이며, 복호함으로써, 베이스 레이어의 화상 및 인핸스먼트 레이어의 화상 양쪽을 얻을 수 있는 데이터이다.
배신 서버(1002)는, 데이터를 전송하는 단말 장치의 능력이나 통신 환경 등에 따라서, 적절한 레이어를 선택하고, 그 레이어의 데이터를 판독한다. 예를 들어, 배신 서버(1002)는, 처리 능력이 높은 퍼스널 컴퓨터(1004)나 태블릿 디바이스(1006)에 대해서는, 고품질의 스케일러블 부호화 데이터(BL+EL)(1011)를 스케일러블 부호화 데이터 기억부(1001)로부터 판독하고, 그대로 전송한다. 이에 반하여, 예를 들어 배신 서버(1002)는, 처리 능력이 낮은 AV 기기(1005)나 휴대 전화기(1007)에 대해서는, 스케일러블 부호화 데이터(BL+EL)(1011)로부터 베이스 레이어의 데이터를 추출하여, 스케일러블 부호화 데이터(BL+EL)(1011)와 동일한 콘텐츠의 데이터이지만, 스케일러블 부호화 데이터(BL+EL)(1011)보다도 저품질의 스케일러블 부호화 데이터(BL)(1012)로서 전송한다.
이와 같이 스케일러블 부호화 데이터를 사용함으로써, 데이터량을 용이하게 조정할 수 있으므로, 지연이나 오버플로우의 발생을 억제하거나, 단말 장치나 통신 매체의 부하 불필요한 증대를 억제하거나 할 수 있다. 또한, 스케일러블 부호화 데이터(BL+EL)(1011)는, 레이어 간의 용장성이 저감되어 있으므로, 각 레이어의 부호화 데이터를 개별의 데이터로 하는 경우보다도 그 데이터량을 저감시킬 수 있다. 따라서, 스케일러블 부호화 데이터 기억부(1001)의 기억 영역을 보다 효율적으로 사용할 수 있다.
또한, 퍼스널 컴퓨터(1004) 내지 휴대 전화기(1007)와 같이, 단말 장치에는 다양한 장치를 적용할 수 있으므로, 단말 장치의 하드웨어 성능은, 장치에 따라 상이하다. 또한, 단말 장치가 실행하는 애플리케이션도 다양하므로, 그 소프트웨어의 능력도 다양하다. 또한, 통신 매체가 되는 네트워크(1003)도, 예를 들어 인터넷이나 LAN(Local Area Network) 등, 유선 혹은 무선, 또는 그 양쪽을 포함하는 모든 통신 회선망을 적용할 수 있어, 그 데이터 전송 능력은 다양하다. 또한, 다른 통신 등에 의해서도 변화될 우려가 있다.
따라서, 배신 서버(1002)는, 데이터 전송을 개시하기 전에, 데이터의 전송처로 되는 단말기 장치와 통신을 행하여, 단말 장치의 하드웨어 성능이나, 단말 장치가 실행하는 애플리케이션(소프트웨어)의 성능 등과 같은 단말 장치의 능력에 관한 정보, 및 네트워크(1003)의 이용 가능 대역폭 등의 통신 환경에 관한 정보를 얻도록 해도 된다. 그리고, 배신 서버(1002)가, 여기에서 얻은 정보를 기초로, 적절한 레이어를 선택하도록 해도 된다.
또한, 레이어의 추출을 단말 장치에서 행하도록 해도 된다. 예를 들어, 퍼스널 컴퓨터(1004)가, 전송된 스케일러블 부호화 데이터(BL+EL)(1011)를 복호하여, 베이스 레이어의 화상을 표시해도 되고, 인핸스먼트 레이어의 화상을 표시해도 된다. 또한, 예를 들어 퍼스널 컴퓨터(1004)가, 전송된 스케일러블 부호화 데이터(BL+EL)(1011)로부터, 베이스 레이어의 스케일러블 부호화 데이터(BL)(1012)를 추출하여, 기억하거나, 다른 장치로 전송하거나, 복호하여 베이스 레이어의 화상을 표시하거나 하도록 해도 된다.
물론, 스케일러블 부호화 데이터 기억부(1001), 배신 서버(1002), 네트워크(1003) 및 단말 장치의 수는 모두 임의이다. 또한, 이상에 있어서는, 배신 서버(1002)가 데이터를 단말 장치로 전송하는 예에 대하여 설명하였지만, 이용예는 이에 한정되지 않는다. 데이터 전송 시스템(1000)은, 스케일러블 부호화된 부호화 데이터를 단말 장치로 전송할 때, 단말 장치의 능력이나 통신 환경 등에 따라서, 적절한 레이어를 선택하여 전송하는 시스템이면, 임의의 시스템에 적용할 수 있다.
(제2 시스템)
또한, 스케일러블 부호화는, 예를 들어 도 26에 도시한 예와 같이, 복수의 통신 매체를 통하는 전송을 위해 이용된다.
도 26에 도시된 데이터 전송 시스템(1100)에 있어서, 방송국(1101)은, 지상파 방송(1111)에 의해, 베이스 레이어의 스케일러블 부호화 데이터(BL)(1121)를 전송한다. 또한, 방송국(1101)은, 유선 혹은 무선 또는 그 양쪽의 통신망으로 이루어지는 임의의 네트워크(1112)를 통하여, 인핸스먼트 레이어의 스케일러블 부호화 데이터(EL)(1122)를 전송한다(예를 들어 패킷화하여 전송함).
단말 장치(1102)는, 방송국(1101)이 방송하는 지상파 방송(1111)의 수신 기능을 갖고, 이 지상파 방송(1111)을 통하여 전송되는 베이스 레이어의 스케일러블 부호화 데이터(BL)(1121)를 수취한다. 또한, 단말 장치(1102)는, 네트워크(1112)를 통한 통신을 행하는 통신 기능을 더 갖고, 이 네트워크(1112)를 통하여 전송되는 인핸스먼트 레이어의 스케일러블 부호화 데이터(EL)(1122)를 수취한다.
단말 장치(1102)는, 예를 들어 유저 지시 등에 따라서, 지상파 방송(1111)을 통하여 취득한 베이스 레이어의 스케일러블 부호화 데이터(BL)(1121)를, 복호하여 베이스 레이어의 화상을 얻거나, 기억하거나, 다른 장치로 전송하거나 한다.
또한, 단말 장치(1102)는, 예를 들어 유저 지시 등에 따라서, 지상파 방송(1111)을 통해 취득한 베이스 레이어의 스케일러블 부호화 데이터(BL)(1121)와, 네트워크(1112)를 통해 취득한 인핸스먼트 레이어의 스케일러블 부호화 데이터(EL)(1122)를 합성하고, 스케일러블 부호화 데이터(BL+EL)를 얻거나, 그것을 복호해서 인핸스먼트 레이어의 화상을 얻거나, 기억하거나, 다른 장치로 전송하거나 한다.
이상과 같이, 스케일러블 부호화 데이터는, 예를 들어 레이어마다 서로 다른 통신 매체를 통해 전송시킬 수 있다. 따라서, 부하를 분산시킬 수 있어, 지연이나 오버플로우의 발생을 억제할 수 있다.
또한, 상황에 따라 전송에 사용하는 통신 매체를, 레이어마다 선택할 수 있도록 해도 된다. 예를 들어, 데이터량이 비교적 많은 베이스 레이어의 스케일러블 부호화 데이터(BL)(1121)를 대역폭이 넓은 통신 매체를 통해 전송시키고, 데이터량이 비교적 적은 인핸스먼트 레이어의 스케일러블 부호화 데이터(EL)(1122)를 대역폭이 좁은 통신 매체를 통해 전송시키도록 해도 된다. 또한, 예를 들어 인핸스먼트 레이어의 스케일러블 부호화 데이터(EL)(1122)를 전송하는 통신 매체를, 네트워크(1112)로 할지, 지상파 방송(1111)으로 할지를, 네트워크(1112)의 이용 가능 대역폭에 따라서 전환하도록 해도 된다. 물론, 임의의 레이어의 데이터에 대해서도 마찬가지이다.
이와 같이 제어함으로써, 데이터 전송에 있어서의 부하의 증대를 보다 억제할 수 있다.
물론, 레이어 수는 임의이며, 전송에 이용되는 통신 매체의 수도 임의이다. 또한, 데이터 배신처가 되는 단말 장치(1102)의 수도 임의이다. 또한, 이상에 있어서는, 방송국(1101)으로부터의 방송을 예로 들어 설명하였지만, 이용예는 이에 한정되지 않는다. 데이터 전송 시스템(1100)은, 스케일러블 부호화된 부호화 데이터를, 레이어를 단위로 하여 복수로 분할하고, 복수의 회선을 통해 전송하는 시스템이면, 임의의 시스템에 적용할 수 있다.
(제3 시스템)
또한, 스케일러블 부호화는, 예를 들어 도 27에 도시한 예와 같이, 부호화 데이터의 기억에 이용된다.
도 27에 도시된 촬상 시스템(1200)에 있어서, 촬상 장치(1201)는, 피사체(1211)를 촬상하여 얻어진 화상 데이터를 스케일러블 부호화하고, 스케일러블 부호화 데이터(BL+EL)(1221)로서, 스케일러블 부호화 데이터 기억 장치(1202)에 공급한다.
스케일러블 부호화 데이터 기억 장치(1202)는, 촬상 장치(1201)로부터 공급되는 스케일러블 부호화 데이터(BL+EL)(1221)를, 상황에 따른 품질로 기억한다. 예를 들어, 통상 시의 경우, 스케일러블 부호화 데이터 기억 장치(1202)는, 스케일러블 부호화 데이터(BL+EL)(1221)로부터 베이스 레이어의 데이터를 추출하여, 저품질이고 데이터량이 적은 베이스 레이어의 스케일러블 부호화 데이터(BL)(1222)로서 기억한다. 이에 반하여, 예를 들어 주목 시의 경우, 스케일러블 부호화 데이터 기억 장치(1202)는, 고품질이고 데이터량이 많은 스케일러블 부호화 데이터(BL+EL)(1221)인 상태로 기억한다.
이와 같이 함으로써, 스케일러블 부호화 데이터 기억 장치(1202)는, 필요한 경우에만, 화상을 고화질로 보존할 수 있으므로, 화질 열화에 의한 화상의 가치 저감을 억제하면서, 데이터량의 증대를 억제할 수 있어, 기억 영역의 이용 효율을 향상시킬 수 있다.
예를 들어, 촬상 장치(1201)가 감시 카메라라고 하자. 촬상 화상에 감시 대상(예를 들어 침입자)이 찍혀 있지 않은 경우(통상 시의 경우), 촬상 화상의 내용은 중요하지 않을 가능성이 높으므로, 데이터량의 저감이 우선되어, 그 화상 데이터(스케일러블 부호화 데이터)는 저품질로 기억된다. 이에 반하여, 촬상 화상에 감시 대상이 피사체(1211)로서 찍혀 있는 경우(주목 시의 경우), 그 촬상 화상의 내용은 중요한 가능성이 높으므로, 화질이 우선되어, 그 화상 데이터(스케일러블 부호화 데이터)는 고품질로 기억된다.
또한, 통상 시인지 주목 시인지는, 예를 들어 스케일러블 부호화 데이터 기억 장치(1202)가, 화상을 해석함으로써 판정해도 된다. 또한, 촬상 장치(1201)가 판정하고, 그 판정 결과를 스케일러블 부호화 데이터 기억 장치(1202)에 전송하도록 해도 된다.
또한, 통상 시인지 주목 시인지의 판정 기준은 임의이며, 판정 기준으로 하는 화상의 내용은 임의이다. 물론, 화상의 내용 이외의 조건을 판정 기준으로 할 수도 있다. 예를 들어, 수록한 음성의 크기나 파형 등에 따라 전환하도록 해도 되고, 소정의 시일마다로 전환하도록 해도 되며, 유저 지시 등의 외부로부터의 지시에 의해 전환하도록 해도 된다.
또한, 이상에 있어서는, 통상 시와 주목 시의 2개의 상태를 전환하는 예를 설명하였지만, 상태의 수는 임의이며, 예를 들어 통상 시, 약간 주목 시, 주목 시, 매우 주목 시 등과 같이, 3개 이상의 상태를 전환하도록 해도 된다. 단, 이 전환하는 상태의 상한 수는, 스케일러블 부호화 데이터의 레이어 수에 의존한다.
또한, 촬상 장치(1201)가, 스케일러블 부호화의 레이어 수를, 상태에 따라 결정하도록 해도 된다. 예를 들어, 통상 시의 경우, 촬상 장치(1201)가, 저품질이고 데이터량이 적은 베이스 레이어의 스케일러블 부호화 데이터(BL)(1222)를 생성하여, 스케일러블 부호화 데이터 기억 장치(1202)에 공급하도록 해도 된다. 또한, 예를 들어 주목 시의 경우, 촬상 장치(1201)가, 고품질이고 데이터량이 많은 베이스 레이어의 스케일러블 부호화 데이터(BL+EL)(1221)를 생성하여, 스케일러블 부호화 데이터 기억 장치(1202)에 공급하도록 해도 된다.
이상에 있어서는, 감시 카메라를 예로 들어 설명하였지만, 이 촬상 시스템(1200)의 용도는 임의이며, 감시 카메라로 한정되지 않는다.
<제8 실시 형태>
(실시의 기타예)
이상에 있어서 본 개시를 적용하는 장치나 시스템 등의 예를 설명하였지만, 본 개시는, 이에 한정되지 않으며, 이러한 장치 또는 시스템을 구성하는 장치에 탑재되는 모든 구성, 예를 들어 시스템 LSI(Large Scale Integration) 등으로서의 프로세서, 복수의 프로세서 등을 사용하는 모듈, 복수의 모듈 등을 사용하는 유닛, 유닛에 기타의 기능을 더 부가한 세트 등(즉, 장치의 일부 구성)으로서 실시할 수도 있다.
(비디오 세트의 구성예)
본 개시를 세트로서 실시하는 경우의 예에 대하여, 도 28을 참조하여 설명한다. 도 28은, 본 개시를 적용한 비디오 세트의 개략적인 구성의 일례를 나타내고 있다.
최근, 전자 기기의 다기능화가 진행되고 있으며, 그 개발이나 제조에 있어서, 그 일부의 구성을 판매나 제공 등으로서 실시하는 경우, 하나의 기능을 갖는 구성으로서 실시를 행하는 경우뿐만 아니라, 관련된 기능을 갖는 복수의 구성을 조합하고, 복수의 기능을 갖는 1세트로서 실시를 행하는 경우도 많이 볼 수 있게 되었다.
도 28에 도시된 비디오 세트(1300)는, 이와 같은 다기능화된 구성이며, 화상의 부호화나 복호(어느 한쪽이어도 되고, 양쪽이어도 됨)에 관한 기능을 갖는 디바이스에, 그 기능에 관련된 그 밖의 기능을 갖는 디바이스를 조합한 것이다.
도 28에 도시된 바와 같이, 비디오 세트(1300)는, 비디오 모듈(1311), 외부 메모리(1312), 파워 매니지먼트 모듈(1313), 및 프론트엔드 모듈(1314) 등의 모듈 군과, 커넥티비티(1321), 카메라(1322), 및 센서(1323) 등이 관련된 기능을 갖는 디바이스를 갖는다.
모듈은, 서로 관련된 몇 가지의 부품적 기능을 통합하고, 통합된 기능을 갖는 부품으로 한 것이다. 구체적인 물리적 구성은 임의이지만, 예를 들어 각각 기능을 갖는 복수의 프로세서, 저항이나 콘덴서 등의 전자 회로 소자, 기타 디바이스 등을 배선 기판 등에 배치하여 일체화한 것이 고려된다. 또한, 모듈에 다른 모듈이나 프로세서 등을 조합해서 새로운 모듈로 하는 것도 고려된다.
도 28의 예의 경우, 비디오 모듈(1311)은, 화상 처리에 관한 기능을 갖는 구성을 조합한 것이며, 애플리케이션 프로세서, 비디오 프로세서, 브로드밴드 모뎀(1333), 및 RF 모듈(1334)을 갖는다.
프로세서는, 소정의 기능을 갖는 구성을 SoC(System On a Chip)에 의해 반도체 칩에 집적한 것이며, 예를 들어 시스템 LSI(Large Scale Integration) 등이라 불리는 것도 있다. 이 소정의 기능을 갖는 구성은, 논리 회로(하드웨어 구성)이어도 되고, CPU, ROM, RAM 등과, 그들을 사용하여 실행되는 프로그램(소프트웨어 구성)이어도 되고, 그 양쪽을 조합한 것이어도 된다. 예를 들어, 프로세서가, 논리 회로와 CPU, ROM, RAM 등을 갖고, 기능의 일부를 논리 회로(하드웨어 구성)에 의해 실현하고, 그 밖의 기능을 CPU에 있어서 실행되는 프로그램(소프트웨어 구성)에 의해 실현하도록 해도 된다.
도 28의 애플리케이션 프로세서(1331)는, 화상 처리에 관한 애플리케이션을 실행하는 프로세서이다. 이 애플리케이션 프로세서(1331)에 있어서 실행되는 애플리케이션은, 소정의 기능을 실현하기 위해서, 연산 처리를 행할 뿐만 아니라, 예를 들어 비디오 프로세서(1332) 등, 비디오 모듈(1311) 내외의 구성을 필요에 따라서 제어할 수도 있다.
비디오 프로세서(1332)는, 화상의 부호화·복호(그 한쪽 또는 양쪽)에 관한 기능을 갖는 프로세서이다.
브로드밴드 모뎀(1333)은, 인터넷이나 공중 전화 회선망 등의 광대역의 회선을 통해 행해지는 유선 혹은 무선(또는 그 양쪽)의 광대역 통신에 관한 처리를 행하는 프로세서(또는 모듈)이다. 예를 들어, 브로드밴드 모뎀(1333)은, 송신하는 데이터(디지털 신호)를 디지털 변조하는 등으로 아날로그 신호로 변환하거나, 수신한 아날로그 신호를 복조하여 데이터(디지털 신호)로 변환하거나 한다. 예를 들어, 브로드밴드 모뎀(1333)은, 비디오 프로세서(1332)가 처리하는 화상 데이터나 화상 데이터가 부호화된 스트림, 애플리케이션 프로그램, 설정 데이터 등, 임의의 정보를 디지털 변조·복조할 수 있다.
RF 모듈(1334)은, 안테나를 통해 송수신되는 RF(Radio Frequency) 신호에 대하여 주파수 변환, 변복조, 증폭, 필터 처리 등을 행하는 모듈이다. 예를 들어, RF 모듈(1334)은, 브로드밴드 모뎀(1333)에 의해 생성된 기저 대역 신호에 대하여 주파수 변환 등을 행해서 RF 신호를 생성한다. 또한, 예를 들어 RF 모듈(1334)은, 프론트엔드 모듈(1314)을 통해 수신된 RF 신호에 대하여 주파수 변환 등을 행하여 기저 대역 신호를 생성한다.
또한, 도 28에 있어서 점선(1341)으로 나타낸 바와 같이, 애플리케이션 프로세서(1331)와 비디오 프로세서(1332)를 일체화하고, 하나의 프로세서로서 구성되도록 해도 된다.
외부 메모리(1312)는, 비디오 모듈(1311)의 외부에 설치된, 비디오 모듈(1311)에 의해 이용되는 기억 디바이스를 갖는 모듈이다. 이 외부 메모리(1312)의 기억 디바이스는, 어떤 물리 구성에 의해 실현하도록 해도 되지만, 일반적으로 프레임 단위의 화상 데이터와 같은 대용량의 데이터 저장에 이용되는 경우가 많으므로, 예를 들어 DRAM(Dynamic Random Access Memory)과 같은 비교적 저렴하며 대용량의 반도체 메모리에 의해 실현하는 것이 바람직하다.
파워 매니지먼트 모듈(1313)은, 비디오 모듈(1311)(비디오 모듈(1311) 내의 각 구성)에의 전력 공급을 관리하고 제어한다.
프론트엔드 모듈(1314)은, RF 모듈(1334)에 대하여 프론트엔드 기능(안테나측의 송수신단의 회로)을 제공하는 모듈이다. 도 20에 도시된 바와 같이, 프론트엔드 모듈(1314)은, 예를 들어 안테나부(1351), 필터(1352) 및 증폭부(1353)를 갖는다.
안테나부(1351)는, 무선 신호를 송수신하는 안테나 및 그 주변의 구성을 갖는다. 안테나부(1351)는, 증폭부(1353)로부터 공급되는 신호를 무선 신호로서 송신하고, 수신된 무선 신호를 전기 신호(RF 신호)로서 필터(1352)에 공급한다. 필터(1352)는, 안테나부(1351)를 통해 수신된 RF 신호에 대하여 필터 처리 등을 행하고, 처리 후의 RF 신호를 RF 모듈(1334)에 공급한다. 증폭부(1353)는, RF 모듈(1334)로부터 공급되는 RF 신호를 증폭하고, 안테나부(1351)에 공급한다.
커넥티비티(1321)는, 외부와의 접속에 관한 기능을 갖는 모듈이다. 커넥티비티(1321)의 물리 구성은 임의이다. 예를 들어, 커넥티비티(1321)는, 브로드밴드 모뎀(1333)이 대응하는 통신 규격 이외의 통신 기능을 갖는 구성이나, 외부 입출력 단자 등을 갖는다.
예를 들어, 커넥티비티(1321)가, Bluetooth(등록상표), IEEE 802.11(예를 들어 Wi-Fi(Wireless Fidelity, 등록상표)), NFC(Near Field Communication), IrDA(InfraRed Data Association) 등의 무선 통신 규격에 준거하는 통신 기능을 갖는 모듈이나, 그 규격에 준거한 신호를 송수신하는 안테나 등을 갖도록 해도 된다. 또한, 예를 들어 커넥티비티(1321)가, USB(Universal Serial Bus), HDMI(등록상표) (High-Definition Multimedia Interface) 등의 유선 통신 규격에 준거하는 통신 기능을 갖는 모듈이나, 그 규격에 준거한 단자를 갖도록 해도 된다. 또한, 예를 들어 커넥티비티(1321)가, 아날로그 입출력 단자 등의 기타 데이터(신호) 전송 기능 등을 갖도록 해도 된다.
또한, 커넥티비티(1321)가, 데이터(신호)의 전송처의 디바이스를 포함하도록 해도 된다. 예를 들어, 커넥티비티(1321)가, 자기디스크, 광디스크, 광자기디스크, 또는 반도체 메모리 등의 기록 매체에 대하여 데이터의 판독이나 기입을 행하는 드라이브(리무버블 미디어의 드라이브뿐만 아니라, 하드디스크, SSD(Solid State Drive), NAS(Network Attached Storage) 등도 포함함)를 갖도록 해도 된다. 또한, 커넥티비티(1321)가, 화상이나 음성의 출력 디바이스(모니터나 스피커 등)를 갖도록 해도 된다.
카메라(1322)는, 피사체를 촬상하고, 피사체의 화상 데이터를 얻는 기능을 갖는 모듈이다. 카메라(1322)의 촬상에 의해 얻어진 화상 데이터는, 예를 들어 비디오 프로세서(1332)에 공급되어 부호화된다.
센서(1323)는, 예를 들어 음성 센서, 초음파 센서, 광센서, 조도 센서, 적외선 센서, 이미지 센서, 회전 센서, 각도 센서, 각속도 센서, 속도 센서, 가속도 센서, 경사 센서, 자기 식별 센서, 충격 센서, 온도 센서 등, 임의의 센서 기능을 갖는 모듈이다. 센서(1323)에 의해 검출된 데이터는, 예를 들어 애플리케이션 프로세서(1331)에 공급되어 애플리케이션 등에 의해 이용된다.
이상에 있어서 모듈로서 설명한 구성을 프로세서로서 실현하도록 해도 되고, 반대로 프로세서로서 설명한 구성을 모듈로서 실현하도록 해도 된다.
이상과 같은 구성의 비디오 세트(1300)에 있어서, 후술하는 바와 같이 비디오 프로세서(1332)에 본 개시를 적용할 수 있다. 따라서, 비디오 세트(1300)는, 본 개시를 적용한 세트로서 실시할 수 있다.
(비디오 프로세서의 구성예)
도 29는, 본 개시를 적용한 비디오 프로세서(1332)(도 28)의 개략적인 구성의 일례를 나타내고 있다.
도 29의 예의 경우, 비디오 프로세서(1332)는, 비디오 신호 및 오디오 신호의 입력을 받아서 이들을 소정의 방식으로 부호화하는 기능과, 부호화된 비디오 데이터 및 오디오 데이터를 복호하고, 비디오 신호 및 오디오 신호를 재생 출력하는 기능을 갖는다.
도 29에 도시된 바와 같이, 비디오 프로세서(1332)는, 비디오 입력 처리부(1401), 제1 화상 확대 축소부(1402), 제2 화상 확대 축소부(1403), 비디오 출력 처리부(1404), 프레임 메모리(1405), 및 메모리 제어부(1406)를 갖는다. 또한, 비디오 프로세서(1332)는, 인코드·디코드 엔진(1407), 비디오 ES(Elementary Stream) 버퍼(1408A 및 1408B)와, 오디오 ES 버퍼(1409A 및 1409B)를 갖는다. 또한, 비디오 프로세서(1332)는, 오디오 인코더(1410), 오디오 디코더(1411), 다중화부(MUX(Multiplexer))(1412), 역다중화부(DMUX(Demultiplexer))(1413) 및 스트림 버퍼(1414)를 갖는다.
비디오 입력 처리부(1401)는, 예를 들어 커넥티비티(1321)(도 28) 등으로부터 입력된 비디오 신호를 취득하고, 디지털 화상 데이터로 변환한다. 제1 화상 확대 축소부(1402)는, 화상 데이터에 대하여 포맷 변환이나 화상의 확대 축소 처리 등을 행한다. 제2 화상 확대 축소부(1403)는, 화상 데이터에 대하여, 비디오 출력 처리부(1404)를 통해 출력하는 목적지에서의 포맷에 따라서 화상의 확대 축소 처리를 행하거나, 제1 화상 확대 축소부(1402)와 마찬가지의 포맷 변환이나 화상의 확대 축소 처리 등을 행하거나 한다. 비디오 출력 처리부(1404)는, 화상 데이터에 대하여 포맷 변환이나 아날로그 신호로의 변환 등을 행하여, 재생된 비디오 신호로서 예를 들어 커넥티비티(1321)(도 28) 등으로 출력한다.
프레임 메모리(1405)는, 비디오 입력 처리부(1401), 제1 화상 확대 축소부(1402), 제2 화상 확대 축소부(1403), 비디오 출력 처리부(1404) 및 인코드·디코드 엔진(1407)에 의해 공용되는 화상 데이터용 메모리이다. 프레임 메모리(1405)는, 예를 들어 DRAM 등의 반도체 메모리로서 실현된다.
메모리 제어부(1406)는, 인코드·디코드 엔진(1407)으로부터의 동기 신호를 받아, 액세스 관리 테이블(1406A)에 기입된 프레임 메모리(1405)에의 액세스 스케줄에 따라서 프레임 메모리(1405)에 대한 기입·판독의 액세스를 제어한다. 액세스 관리 테이블(1406A)은, 인코드·디코드 엔진(1407), 제1 화상 확대 축소부(1402), 제2 화상 확대 축소부(1403) 등으로 실행되는 처리에 따라서, 메모리 제어부(1406)에 의해 갱신된다.
인코드·디코드 엔진(1407)은, 화상 데이터의 인코드 처리와, 화상 데이터가 부호화된 데이터인 비디오 스트림의 디코드 처리를 행한다. 예를 들어, 인코드·디코드 엔진(1407)은, 프레임 메모리(1405)로부터 판독한 화상 데이터를 부호화하고, 비디오 스트림으로서 비디오 ES 버퍼(1408A)에 순차 기입한다. 또한, 예를 들어 비디오 ES 버퍼(1408B)로부터 비디오 스트림을 순차 판독해서 복호하고, 화상 데이터로서 프레임 메모리(1405)에 순차 기입한다. 인코드·디코드 엔진(1407)은, 이 부호화나 복호에 있어서, 프레임 메모리(1405)를 작업 영역으로서 사용한다. 또한, 인코드·디코드 엔진(1407)은, 예를 들어 매크로 블록마다의 처리를 개시하는 타이밍에, 메모리 제어부(1406)에 대하여 동기 신호를 출력한다.
비디오 ES 버퍼(1408A)는, 인코드·디코드 엔진(1407)에 의해 생성된 비디오 스트림을 버퍼링하여, 다중화부(MUX)(1412)에 공급한다. 비디오 ES 버퍼(1408B)는, 역다중화부(DMUX)(1413)로부터 공급된 비디오 스트림을 버퍼링하고, 인코드·디코드 엔진(1407)에 공급한다.
오디오 ES 버퍼(1409A)는, 오디오 인코더(1410)에 의해 생성된 오디오 스트림을 버퍼링하여, 다중화부(MUX)(1412)에 공급한다. 오디오 ES 버퍼(1409B)는, 역다중화부(DMUX)(1413)로부터 공급된 오디오 스트림을 버퍼링하여, 오디오 디코더(1411)에 공급한다.
오디오 인코더(1410)는, 예를 들어 커넥티비티(1321)(도 28) 등으로부터 입력된 오디오 신호를 예를 들어 디지털 변환하고, 예를 들어 MPEG 오디오 방식이나 AC3(AudioCode number 3) 방식 등의 소정의 방식으로 부호화한다. 오디오 인코더(1410)는, 오디오 신호가 부호화된 데이터인 오디오 스트림을 오디오 ES 버퍼(1409A)에 순차 기입한다. 오디오 디코더(1411)는, 오디오 ES 버퍼(1409B)로부터 공급된 오디오 스트림을 복호하고, 예를 들어 아날로그 신호에의 변환 등을 행하여, 재생된 오디오 신호로서 예를 들어 커넥티비티(1321)(도 28) 등에 공급한다.
다중화부(MUX)(1412)는, 비디오 스트림과 오디오 스트림을 다중화한다. 이 다중화의 방법(즉, 다중화에 의해 생성되는 비트 스트림의 포맷)은 임의이다. 또한, 이 다중화 시에, 다중화부(MUX)(1412)는, 소정의 헤더 정보 등을 비트 스트림에 부가할 수도 있다. 즉, 다중화부(MUX)(1412)는, 다중화에 의해 스트림의 포맷을 변환할 수 있다. 예를 들어, 다중화부(MUX)(1412)는, 비디오 스트림과 오디오 스트림을 다중화함으로써, 전송용 포맷의 비트 스트림인 트랜스포트 스트림으로 변환된다. 또한, 예를 들어 다중화부(MUX)(1412)는, 비디오 스트림과 오디오 스트림을 다중화함으로써, 기록용 파일 포맷의 데이터(파일 데이터)로 변환된다.
역다중화부(DMUX)(1413)는, 다중화부(MUX)(1412)에 의한 다중화에 대응하는 방법에 의해, 비디오 스트림과 오디오 스트림이 다중화된 비트 스트림을 역다중화한다. 즉, 역다중화부(DMUX)(1413)는, 스트림 버퍼(1414)로부터 판독된 비트 스트림으로부터 비디오 스트림과 오디오 스트림을 추출한다(비디오 스트림과 오디오 스트림을 분리함). 즉, 역다중화부(DMUX)(1413)는, 역다중화에 의해 스트림의 포맷을 변환(다중화부(MUX)(1412)에 의한 변환의 역변환)할 수 있다. 예를 들어, 역다중화부(DMUX)(1413)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등(모두 도 28)으로부터 공급된 트랜스포트 스트림을, 스트림 버퍼(1414)를 통해 취득하고, 역다중화함으로써, 비디오 스트림과 오디오 스트림으로 변환할 수 있다. 또한, 예를 들어 역다중화부(DMUX)(1413)는, 예를 들어 커넥티비티(1321)에 의해(도 28) 각종 기록 매체로부터 판독된 파일 데이터를, 스트림 버퍼(1414)를 통해 취득하고, 역다중화함으로써, 비디오 스트림과 오디오 스트림으로 변환할 수 있다.
스트림 버퍼(1414)는, 비트 스트림을 버퍼링한다. 예를 들어, 스트림 버퍼(1414)는, 다중화부(MUX)(1412)로부터 공급된 트랜스포트 스트림을 버퍼링하고, 소정의 타이밍에 있어서, 혹은 외부로부터의 요구 등에 기초하여, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333)(모두 도 28) 등에 공급한다.
또한, 예를 들어 스트림 버퍼(1414)는, 다중화부(MUX)(1412)로부터 공급된 파일 데이터를 버퍼링하고, 소정의 타이밍에 있어서, 혹은 외부로부터 요구 등에 기초하여, 예를 들어 커넥티비티(1321)(도 28) 등에 공급하고, 각종 기록 매체에 기록시킨다.
또한, 스트림 버퍼(1414)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등(모두 도 28)을 통해 취득한 트랜스포트 스트림을 버퍼링하고, 소정의 타이밍에 있어서, 혹은 외부로부터의 요구 등에 기초하여, 역다중화부(DMUX)(1413)에 공급한다.
또한, 스트림 버퍼(1414)는, 예를 들어 커넥티비티(1321)(도 28) 등에 있어서 각종 기록 매체로부터 판독된 파일 데이터를 버퍼링하고, 소정의 타이밍에 있어서, 혹은 외부로부터의 요구 등에 기초하여, 역다중화부(DMUX)(1413)에 공급한다.
다음으로, 이와 같은 구성의 비디오 프로세서(1332)의 동작 예에 대하여 설명한다. 예를 들어, 커넥티비티(1321)(도 28) 등으로부터 비디오 프로세서(1332)에 입력된 비디오 신호는, 비디오 입력 처리부(1401)에 있어서 4:2:2Y/Cb/Cr 방식 등의 소정의 방식의 디지털 화상 데이터로 변환되고, 프레임 메모리(1405)에 순차 기입된다. 이 디지털 화상 데이터는, 제1 화상 확대 축소부(1402) 또는 제2 화상 확대 축소부(1403)에 판독되어, 4:2:0Y/Cb/Cr 방식 등의 소정의 방식에의 포맷 변환 및 확대 축소 처리가 행해지고, 다시 프레임 메모리(1405)에 기입된다. 이 화상 데이터는, 인코드·디코드 엔진(1407)에 의해 부호화되고, 비디오 스트림으로서 비디오 ES 버퍼(1408A)에 기입된다.
또한, 커넥티비티(1321)(도 28) 등으로부터 비디오 프로세서(1332)에 입력된 오디오 신호는, 오디오 인코더(1410)에 의해 부호화되고, 오디오 스트림으로서, 오디오 ES 버퍼(1409A)에 기입된다.
비디오 ES 버퍼(1408A)의 비디오 스트림과, 오디오 ES 버퍼(1409A)의 오디오 스트림은, 다중화부(MUX)(1412)에 판독되어 다중화되고, 트랜스포트 스트림 혹은 파일 데이터 등으로 변환된다. 다중화부(MUX)(1412)에 의해 생성된 트랜스포트 스트림은, 스트림 버퍼(1414)에 버퍼된 후, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333)(모두 도 28) 등을 통해 외부 네트워크로 출력된다. 또한, 다중화부(MUX)(1412)에 의해 생성된 파일 데이터는, 스트림 버퍼(1414)에 버퍼된 후, 예를 들어 커넥티비티(1321)(도 28) 등으로 출력되고, 각종 기록 매체에 기록된다.
또한, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333)(모두 도 28) 등을 통해 외부 네트워크로부터 비디오 프로세서(1332)에 입력된 트랜스포트 스트림은, 스트림 버퍼(1414)에 버퍼된 후, 역다중화부(DMUX)(1413)에 의해 역다중화된다. 또한, 예를 들어 커넥티비티(1321)(도 28) 등에 있어서 각종 기록 매체로부터 판독되고, 비디오 프로세서(1332)에 입력된 파일 데이터는, 스트림 버퍼(1414)에 버퍼된 후, 역다중화부(DMUX)(1413)에 의해 역다중화된다. 즉, 비디오 프로세서(1332)에 입력된 트랜스포트 스트림 또는 파일 데이터는, 역다중화부(DMUX)(1413)에 의해 비디오 스트림과 오디오 스트림으로 분리된다.
오디오 스트림은, 오디오 ES 버퍼(1409B)를 통해 오디오 디코더(1411)에 공급되고, 복호되어 오디오 신호가 재생된다. 또한, 비디오 스트림은, 비디오 ES 버퍼(1408B)에 기입된 후, 인코드·디코드 엔진(1407)에 의해 순차 판독되어 복호되어 프레임 메모리(1405)에 기입된다. 복호된 화상 데이터는, 제2 화상 확대 축소부(1403)에 의해 확대 축소 처리되어, 프레임 메모리(1405)에 기입된다. 그리고, 복호된 화상 데이터는, 비디오 출력 처리부(1404)에 판독되어서, 4:2:2Y/Cb/Cr 방식 등의 소정의 방식으로 포맷 변환되고, 또한 아날로그 신호로 변환되어, 비디오 신호가 재생 출력된다.
또한, 인코드·디코드 엔진(1407)에 있어서, 본 개시(즉, 전술한 각 실시 형태에 따른 화상 부호화 장치나 화상 복호 장치의 기능)는, 논리 회로 등의 하드웨어에 의해 실현하도록 해도 되고, 내장 프로그램 등의 소프트웨어에 의해 실현하도록 해도 되며, 그들 양쪽에 의해 실현하도록 해도 된다.
<5. 정리>
이상 설명한 바와 같이 본 개시의 일 실시 형태에서는, 비특허문헌 1에서 공개되어 있는 SegmentTemplate 요소에, 네트워크 카메라(11)를 원격 제어하기 위한 정의 정보의 URI를 1개 또는 복수 지정하기 위한 속성을 추가한다. 이와 같이 SegmentTemplate 요소에 속성을 추가함으로써, 클라이언트인 콘텐츠 재생 장치(20)로 동적으로 세그먼트의 리퀘스트 URL을 지정할 수 있다.
클라이언트인 콘텐츠 재생 장치(20)에서 동적으로 세그먼트의 리퀘스트 URL을 지정할 수 있음으로써, 본 개시의 일 실시 형태는, 상기 비특허문헌 2에서 제안되어 있는 방법에 비하여 MPD를 압축할 수 있다. 또한 정의 정보(Parameter Description)를 MPD로부터 참조할 수 있도록 해 둠으로써, 본 개시의 일 실시 형태는, 상기 비특허문헌 2에서 제안되어 있는 방법에 비하여, 애플리케이션 요건에 따라서 MPD 스키마를 개별 확장할 때의 메인터넌스 부하를 경감할 수 있다.
콘텐츠 서버(10) 및 콘텐츠 재생 장치(20)에 내장되는 CPU, ROM 및 RAM 등의 하드웨어에, 전술한 콘텐츠 서버(10) 및 콘텐츠 재생 장치(20)의 각 구성과 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램도 작성 가능하다. 또한, 그 컴퓨터 프로그램을 기억시킨 기억 매체도 제공된다.
이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시 형태에 대하여 상세히 설명하였지만, 본 개시는 이러한 예로 한정되지 않는다. 본 개시가 속하는 기술의 분야에서의 통상의 지식을 갖는 사람이면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 기억부와,
상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정해서 액세스하는 통신부
를 구비하고,
상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 정보 처리 장치.
(2) 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 것과,
상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정해서 액세스하는 것
을 구비하고,
상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 콘텐츠 요구 방법.
(3) 컴퓨터에,
동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 것과,
상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정하여 액세스하는 것
를 실행시키고,
상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 컴퓨터 프로그램.
10, 13: 콘텐츠 서버
11: 네트워크 카메라
12: 네트워크
20: 콘텐츠 재생 장치
120: 파일 생성부
122: 인코더
130: 기억부
140: 통신부
220: 통신부
230: 기억부
240: 재생부
250: 선택부

Claims (3)

  1. 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 기억부와,
    상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정하여 액세스하는 통신부
    를 구비하고,
    상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 정보 처리 장치.
  2. 동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 것과,
    상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정하여 액세스하는 것
    을 구비하고,
    상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 콘텐츠 요구 방법.
  3. 컴퓨터에,
    동일한 콘텐츠를 서로 다른 비트 레이트로 부호화하여 얻어지는 각 부호화 데이터를 구성하는 복수의 서브 세그먼트의 각각에 액세스하기 위한, 또는 MPD에 기재되어 있는, 서버에의 리퀘스트에 의해 취득하는 모든 요소에 액세스하기 위한 액세스 정보에 파라미터를 부가하기 위한 소정의 정의를 기억하는 것과,
    상기 액세스 정보로 정의되어 있는 어드레스에 상기 기억부가 기억하는 소정의 정의에 기초하여 파라미터를 지정해서 액세스하는 것
    을 실행시키고,
    상기 액세스 정보로 정의되어 있는 어드레스는, 상기 콘텐츠를 촬상하는 장치를 제어하기 위한 어드레스인, 컴퓨터 프로그램.
KR1020157026702A 2013-04-19 2014-04-16 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 판독가능 저장 매체 KR102177605B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2013-088875 2013-04-19
JP2013088875 2013-04-19
PCT/JP2014/060804 WO2014171474A1 (ja) 2013-04-19 2014-04-16 情報処理装置、コンテンツ要求方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
KR20150145228A true KR20150145228A (ko) 2015-12-29
KR102177605B1 KR102177605B1 (ko) 2020-11-11

Family

ID=51731411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157026702A KR102177605B1 (ko) 2013-04-19 2014-04-16 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 판독가능 저장 매체

Country Status (13)

Country Link
US (2) US20160057509A1 (ko)
EP (2) EP2988521A4 (ko)
JP (2) JP6481206B2 (ko)
KR (1) KR102177605B1 (ko)
CN (2) CN110087093A (ko)
AU (2) AU2014254809B2 (ko)
BR (1) BR112015025883A8 (ko)
CA (1) CA2908163A1 (ko)
MX (1) MX354254B (ko)
MY (1) MY177461A (ko)
RU (2) RU2755145C2 (ko)
SG (3) SG10201909965RA (ko)
WO (1) WO2014171474A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511833A (zh) 2014-10-10 2021-03-16 索尼公司 再现装置
WO2016076654A1 (ko) * 2014-11-13 2016-05-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6624958B2 (ja) * 2016-02-03 2019-12-25 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム
CN108668179B (zh) * 2017-03-27 2021-05-14 华为技术有限公司 媒体索引文件的传输方法及相关设备
CN111294658A (zh) * 2018-12-07 2020-06-16 北京字节跳动网络技术有限公司 信息处理方法和装置
US11470136B2 (en) * 2020-10-07 2022-10-11 Tencent America LLC URL customization using the session-based dash operations

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012030178A2 (ko) * 2010-09-01 2012-03-08 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941554B2 (en) * 2003-08-01 2011-05-10 Microsoft Corporation Sparse caching for streaming media
US9380096B2 (en) * 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US8176525B2 (en) * 2006-09-29 2012-05-08 Rockstar Bidco, L.P. Method and system for trusted contextual communications
US8219711B2 (en) * 2008-11-24 2012-07-10 Juniper Networks, Inc. Dynamic variable rate media delivery system
CN102055773B (zh) * 2009-11-09 2013-10-09 华为技术有限公司 实现基于http的流媒体业务的方法、系统和网络设备
CN102055717B (zh) * 2009-11-09 2014-08-13 华为技术有限公司 快速播放的方法、终端及服务器
KR101401183B1 (ko) * 2009-12-11 2014-05-29 노키아 코포레이션 스트리밍 미디어 파일의 표현을 기술하고 타이밍하기 위한 장치 및 방법
CN102714662B (zh) * 2010-01-18 2017-06-09 瑞典爱立信有限公司 用于http媒体流分发的方法和装置
US8918533B2 (en) * 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
KR20120034550A (ko) * 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9226045B2 (en) * 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
US8849950B2 (en) * 2011-04-07 2014-09-30 Qualcomm Incorporated Network streaming of video data using byte range requests
EP2793479A4 (en) * 2011-12-12 2015-07-01 Lg Electronics Inc DEVICE AND METHOD FOR RECEIVING MULTIMEDIA CONTENT
EP2873249A4 (en) * 2012-07-11 2016-07-13 Nokia Technologies Oy METHOD AND APPARATUS FOR INTERACTING WITH A MULTIMEDIA PRESENTATION DESCRIPTION DESCRIBING SUMMARY MULTIMEDIA PRESENTATION AND ORIGINAL MULTIMEDIA PRESENTATION
US9143543B2 (en) * 2012-11-30 2015-09-22 Google Technology Holdings LLC Method and system for multi-streaming multimedia data
US9396126B2 (en) * 2013-01-30 2016-07-19 Google Inc. Clearing an application cache
US8869218B2 (en) * 2013-03-15 2014-10-21 Wowza Media Systems, LLC On the fly transcoding of video on demand content for adaptive streaming

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012030178A2 (ko) * 2010-09-01 2012-03-08 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
m28017 DASH: Device/Server Specific Representation in MPD(CE -URLPARAM), MPEG#103, Geneva, 2013
m28354 Core Experiment on Parameters insertion in media segment URL, MPEG#103, Geneva, 2013
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

Also Published As

Publication number Publication date
BR112015025883A8 (pt) 2020-01-14
AU2017228638B2 (en) 2018-11-08
EP3349476A1 (en) 2018-07-18
JP6481206B2 (ja) 2019-03-13
RU2755145C2 (ru) 2021-09-13
RU2018109258A (ru) 2019-02-26
SG11201508375VA (en) 2015-11-27
CN105122828A (zh) 2015-12-02
AU2014254809B2 (en) 2017-07-13
SG10201909965RA (en) 2019-11-28
BR112015025883A2 (pt) 2017-07-25
WO2014171474A1 (ja) 2014-10-23
MX2015014186A (es) 2015-12-11
JP6708271B2 (ja) 2020-06-10
RU2652789C2 (ru) 2018-05-03
EP2988521A4 (en) 2016-12-21
JP2019083555A (ja) 2019-05-30
CN105122828B (zh) 2019-05-10
KR102177605B1 (ko) 2020-11-11
SG10201801143XA (en) 2018-04-27
RU2015143204A (ru) 2017-04-13
MX354254B (es) 2018-02-20
US20160057509A1 (en) 2016-02-25
MY177461A (en) 2020-09-16
AU2014254809A1 (en) 2015-10-08
EP2988521A1 (en) 2016-02-24
JPWO2014171474A1 (ja) 2017-02-23
RU2018109258A3 (ko) 2021-07-06
CN110087093A (zh) 2019-08-02
US20180220204A1 (en) 2018-08-02
AU2017228638A1 (en) 2017-10-05
CA2908163A1 (en) 2014-10-23

Similar Documents

Publication Publication Date Title
AU2018241185B2 (en) Information processing device and method
JP6708271B2 (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
WO2018037737A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019110542A (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant