KR102137133B1 - 정보 처리 장치 - Google Patents

정보 처리 장치 Download PDF

Info

Publication number
KR102137133B1
KR102137133B1 KR1020160115425A KR20160115425A KR102137133B1 KR 102137133 B1 KR102137133 B1 KR 102137133B1 KR 1020160115425 A KR1020160115425 A KR 1020160115425A KR 20160115425 A KR20160115425 A KR 20160115425A KR 102137133 B1 KR102137133 B1 KR 102137133B1
Authority
KR
South Korea
Prior art keywords
bit rate
video
image quality
unit
display area
Prior art date
Application number
KR1020160115425A
Other languages
English (en)
Other versions
KR20170101760A (ko
Inventor
아키라 후지이
수레쉬 무랄리
Original Assignee
후지제롯쿠스 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지제롯쿠스 가부시끼가이샤 filed Critical 후지제롯쿠스 가부시끼가이샤
Publication of KR20170101760A publication Critical patent/KR20170101760A/ko
Application granted granted Critical
Publication of KR102137133B1 publication Critical patent/KR102137133B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상하는 비트레이트가 이용되도록 하는 것을 과제로 한다.
이러한 과제를 해결하기 위한 수단으로서, 화질 정보 취득부(105)는, 스트리밍 전송되는 동영상의 각 비트레이트에 있어서의 각 구간의 화질을 나타내는 화질 정보를 취득한다. 비트레이트 결정부(106)는, 취득된 비트레이트 정보가 나타내는 복수의 비트레이트 중 어느 하나를 재생되는 동영상의 비트레이트로서 결정한다. 비트레이트 결정부(106)는, 동영상의 어느 구간의 비트레이트 후보의 동영상의 화질이 정해진 화질 조건을 충족시킬 경우에는 그 비트레이트 후보를 그 구간의 비트레이트로서 결정한다. 비트레이트 결정부(106)는, 비트레이트 후보의 동영상의 화질이 화질 조건을 충족시키지 못할 경우에는, 비트레이트 후보보다도 큰 비트레이트를 그 구간의 비트레이트로서 결정한다.

Description

정보 처리 장치{INFORMATION PROCESSING APPARATUS}
본 발명은, 정보 처리 장치에 관한 것이다.
스트리밍 전송된 동영상을 재생하는 기술에서는, 동영상의 화질의 높이나 재생의 계속성(재생이 도중에 끊기지 않는 것)같은 재생 품질이 중요하다. 이들 재생 품질을 향상시키기 위하여, 예를 들면 특허문헌 1에는, 패킷 통신망의 회선 속도에 따라서 전송되는 화상 부호화 신호의 정보량을 변경하는 기술이 개시되어 있다.
일본 특개2004-88480호 공보
비트레이트가 서로 다른 복수의 동영상을 준비해 두고, 동적으로 결정되는 비트레이트로 스트리밍 전송시키는 기술(예를 들면 MPEG―DASH 등)이 있다. 이 기술에서는, 본래의 동영상의 비트레이트를 변환하여 새로운 비트레이트의 동영상을 생성해서 이용하는 경우가 있지만, 이렇게 해서 변환된 동영상에는, 특히 비트레이트가 작으면 화질이 현저하게 나쁜(컬러여야 하나 모노크롬이 되거나, 블록 노이즈가 발생하거나 하는 등) 프레임이 포함되는 경우가 있다. 그 때문에, 예를 들면 통신 속도(회선 속도)만을 고려해서 통신 속도가 빠를수록 큰 비트레이트를 결정하면, 통신 속도가 느릴수록 비트레이트가 작아져, 재생되는 동영상의 화질이 나빠져서 재생 품질이 저하하기 쉽다.
그래서, 본 발명은, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상되는 비트레이트가 이용되도록 하는 것을 목적으로 한다.
[1] 본 발명의 일 실시형태에 따른 정보 처리 장치는, 복수의 구간이 순서대로 스트리밍 전송되며 재생 중에 비트레이트를 변경 가능한 동영상의 복수의 비트레이트의 각각에 의한 1 이상의 구간의 화질을 나타내는 화질 정보를 취득하는 취득부와, 취득된 상기 화질 정보에 따라서, 재생되는 동영상의 상기 1 이상의 구간의 비트레이트를 결정하는 결정부를 구비하는 것을 특징으로 한다.
[2] 상기 [1]의 정보 처리 장치에 있어서, 상기 취득부는, 기준 비트레이트의 동영상의 상기 구간과, 평가 대상 비트레이트의 동영상의 당해 구간을 비교해서 얻어진 평가값을 상기 화질 정보로서 취득해도 된다.
[3] 상기 [2]의 정보 처리 장치에 있어서, 상기 취득부는, 상기 동영상의 스트리밍 전송에 있어서 변경 가능한 비트레이트 중 최대의 비트레이트를 상기 기준 비트레이트로 한 상기 화질 정보를 취득해도 된다.
[4] 상기 [2]의 정보 처리 장치에 있어서, 상기 동영상은, 본래의 동영상을 비트레이트 변환해서 얻어지는 복수의 비트레이트의 동영상에 의해서 나타내져도 되고, 상기 취득부는, 상기 본래의 동영상을 상기 기준 비트레이트의 동영상으로 한 상기 화질 정보를 취득해도 된다.
[5] 상기 [1]의 정보 처리 장치에 있어서, 상기 결정부는, 상기 1 이상의 구간에 대하여 정해진 방법으로 결정되는 제1 비트레이트의 동영상의 화질이 정해진 조건을 충족시킬 경우에는 당해 제1 비트레이트를 당해 1 이상의 구간의 비트레이트로서 결정해도 되고, 당해 화질이 당해 조건을 충족시키지 못할 경우에는, 당해 제1 비트레이트보다도 큰 제2 비트레이트를 당해 1 이상의 구간의 비트레이트로서 결정해도 된다.
[6] 상기 [5]의 정보 처리 장치에 있어서, 상기 결정부는, 당해 조건이 충족되는 비트레이트를 상기 제2 비트레이트로서 결정해도 된다.
[7] 상기 [1]∼[6] 중 어느 하나의 정보 처리 장치는, 상기 동영상의 데이터의 수신에 있어서의 통신 속도를 특정하는 특정부를 구비하고 있어도 되고, 상기 결정부는, 상기 1 이상의 구간의 비트레이트로서 결정한 비트레이트가 특정된 상기 통신 속도보다도 클 경우에는, 당해 통신 속도 이하의 비트레이트를 당해 1 이상의 구간의 비트레이트로서 다시 결정해도 된다.
[1]의 정보 처리 장치에 의하면, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상하는 비트레이트가 이용되도록 할 수 있다.
[2], [3]의 정보 처리 장치에 의하면, 동영상끼리를 비교하지 않는 경우에 비해서 화질의 고저를 보다 정확하게 나타낼 수 있다.
[4]의 정보 처리 장치에 의하면, 본래의 동영상으로부터 비트레이트 변환된 동영상에 대해서는 모두 구간마다의 화질의 차이를 나타낼 수 있다.
[5]의 정보 처리 장치에 의하면, 화질 정보를 고려하지 않는 경우에 비해서 재생되는 동영상의 화질을 향상시킬 수 있다.
[6]의 정보 처리 장치에 의하면, 화질 조건이 충족되지 않는 화질의 동영상이 재생되지 않도록 할 수 있다.
[7]의 정보 처리 장치에 의하면, 통신 속도를 고려하지 않는 경우에 비해서 동영상의 재생이 도중에 끊기는 것을 적게 할 수 있다.
도 1은 실시예에 따른 동영상 전송 시스템의 전체 구성을 나타내는 도면.
도 2는 스트리밍 전송의 구조를 나타내는 도면.
도 3은 스마트폰의 하드웨어 구성을 나타내는 도면.
도 4는 동영상 전송 장치의 하드웨어 구성을 나타내는 도면.
도 5는 각 장치가 실현하는 기능 구성을 나타내는 도면.
도 6은 기억된 평가 결과 등의 일례를 나타내는 도면.
도 7a는 표시 영역에 표시된 동영상의 예를 나타내는 도면.
도 7b는 표시 영역에 표시된 동영상의 예를 나타내는 도면.
도 8은 비트레이트 테이블의 일례를 나타내는 도면.
도 9는 스트리밍 전송 처리에 있어서의 초기의 동작 수순의 일례를 나타내는 도면.
도 10은 초기 비트레이트의 지정 이후의 동작 수순의 일례를 나타내는 도면.
도 11은 변형예의 동영상 전송 시스템의 전체 구성을 나타내는 도면.
도 12는 서버 장치의 하드웨어 구성을 나타내는 도면.
도 13은 변형예의 각 장치가 실현하는 기능 구성을 나타내는 도면.
[1] 실시예
도 1은 실시예에 따른 동영상 전송 시스템(1)의 전체 구성을 나타낸다. 동영상 전송 시스템(1)은, 유저가 이용하는 재생 장치에 동영상을 스트리밍 전송하는 시스템이다. 동영상의 스트리밍 전송이란, 동영상을 복수의 구간(세그먼트)으로 분할하고, 각 구간의 동영상을 나타내는 세그먼트 데이터를 재생되는 순서대로 송수신시키면서 순차 재생시키는 구조에 의한 동영상의 전송이다. 세그먼트 데이터는, 예를 들면 1초 내지 10초 정도의 구간을 나타내는 데이터이다.
동영상 전송 시스템(1)은, 통신 회선(2)과, 스마트폰(10)과, 동영상 전송 장치(20)를 구비한다. 통신 회선(2)은, 예를 들면 이동체 통신망 및 인터넷 등을 포함하고, 장치끼리의 데이터의 주고받기를 중개하는 시스템이다. 통신 회선(2)에는, 스마트폰(10)이 무선으로 접속되고, 동영상 전송 장치(20)가 유선으로 접속되어 있다(이들은 일례이며, 유선·무선 중 어느 쪽으로 접속되어 있어도 됨).
스마트폰(10)은, 동영상 전송 시스템(1)에 있어서 스트리밍 전송되는 동영상을 재생하는 재생 장치이다. 스마트폰(10)은, 유저에 의해서 휴대되고, 다양한 장소에서 이용된다. 동영상 전송 장치(20)는, 전체적으로 하나의 동영상을 나타내는 복수의 세그먼트 데이터를 기억하고, 그들의 세그먼트 데이터를 재생되는 순서대로 순차 송신함으로써 동영상을 스트리밍 전송하는 정보 처리 장치이다.
동영상 전송 시스템(1)에 있어서는, 예를 들면 MPEG(Moving Picture Experts Group)-DASH(Dynamic Adaptive Streaming over HTTP)라 불리는 규격에 준거해서, 재생 중에 비트레이트를 변경 가능한 동영상이 스트리밍 전송된다. 본 실시예의 스트리밍 전송에서는, 복수의 비트레이트가 미리 정해져 있다.
도 2는 스트리밍 전송의 구조를 나타낸다. 본 실시예의 동영상 전송 장치(20)는, 비트레이트가 「대」, 「중」, 「소」인 동영상을 각각 표시하는 세그먼트 데이터 그룹(A1, A2, A3)을 기억하고 있다. 비트레이트란, 1초간 송수신되는 데이터량(단위는 Mbps(초당 메가비트)나 MB/sec(초당 메가바이트))이다. 이들 세그먼트 데이터 그룹이 나타내는 동영상은, 비트레이트가 클수록, 동영상의 해상도가 높으며, 또한, 프레임레이트도 크게 되어 있는 것으로 한다.
스마트폰(10)은, 동영상의 스트리밍 전송을 요구할 때에, 전송시킬 동영상의 비트레이트를 지정한다. 동영상 전송 장치(20)는, 지정된 비트레이트의 세그먼트 데이터 그룹으로부터 순차 세그먼트 데이터를 판독해서 송신한다. 스마트폰(10)은, 수신한 세그먼트 데이터를 일시적으로 기억하고(캐시하고), 캐시한 세그먼트 데이터를 판독해서 재생한다.
또한, 스마트폰(10)이, 동영상의 재생 중에, 재생 중인 동영상과는 다른 비트레이트를 지정해서 전송을 요구하면, 동영상 전송 장치(20)는, 그 요구를 접수하고나서는 지정된 새로운 비트레이트의 세그먼트 데이터를 송신한다. 스마트폰(10)은, 그 세그먼트 데이터를 수신하면, 그때까지의 비트레이트의 세그먼트 데이터가 나타내는 동영상에 계속해서, 새로운 비트레이트의 세그먼트 데이터가 나타내는 동영상을 재생한다. 이와 같이, 세그먼트 데이터 그룹(A1, A2, A3)은, 복수의 구간이 순서대로 스트리밍 전송되며 재생 중에 비트레이트를 변경 가능한 동영상을 나타낸다. 본원 발명은, 이 비트레이트의 결정 방법에 특징이 있다. 그 결정 방법의 상세에 대해서는 후술한다.
도 3은 스마트폰(10)의 하드웨어 구성을 나타낸다. 스마트폰(10)은, CPU(Central Processing Unit)(11)와, RAM(Random Access Memory)(12)과, ROM(Read Only Memory)(13)과, NIC(Network Interface Card)(14)와, 플래시 메모리(15)와, 터치스크린(16)과, 스피커(17)와, 센서(18)를 구비하는 컴퓨터이다. CPU(11)는, RAM(12)을 워크 에어리어로서 이용해서 ROM(13)이나 플래시 메모리(15)에 기억되어 있는 프로그램을 실행시킴으로써 각 부의 동작을 제어한다. NIC(14)는, 안테나 및 통신 회로 등을 가지며, 예를 들면 이동체 통신의 규격에 준거한 무선 통신을 행한다.
플래시 메모리(15)는, CPU(11)가 제어에 이용하는 데이터나 프로그램을 기억한다. 이 프로그램에는, 본 실시예에서는 브라우저의 프로그램이 포함되어 있고, 이 브라우저 상에서 실행되는 Java(등록 상표) script에 의해 후술하는 본 발명의 기능이 실현된다. 또, 이에 한하지 않으며, 본 발명의 기능을 실현하는 애플리케이션 프로그램이 기억되어 있어도 된다. 터치스크린(16)은, 표시 수단인 디스플레이와, 디스플레이의 표면에 설치된 터치패널을 구비하고, 화상을 표시함과 함께, 유저로부터의 조작을 접수한다. 스피커(17)는, 소리를 나타내는 소리 데이터를 아날로그 신호로 변환해서 방음(放音)한다. 센서(18)는, 예를 들면 3축의
지자기(地磁氣) 센서이고, 장치 자신의 기울기를 나타내는 데이터를 CPU(11)에 공급한다.
도 4는 동영상 전송 장치(20)의 하드웨어 구성을 나타낸다. 동영상 전송 장치(20)는, CPU(21)와, RAM(22)과, ROM(23)과, NIC(24)와, HDD(Hard Disk Drive)(25)를 구비하는 컴퓨터이다. CPU(21)부터 ROM(23)까지는, 도 3에 나타내는 동명의 하드웨어와 각각 공통되는 것이다. NIC(24)는, 통신 회로를 갖고, 통신 회선(2)을 통한 통신을 행한다. HDD(25)는, CPU(21)가 제어에 이용하는 데이터나 프로그램을 기억하고 있다.
동영상 전송 시스템(1)이 구비하는 각 장치의 CPU가 프로그램을 실행해서 각 부를 제어함으로써, 이하에 기술하는 기능이 실현된다.
도 5는 각 장치가 실현하는 기능 구성을 나타낸다. 스마트폰(10)은, 비트레이트 정보 취득부(101)와, 표시 영역 사이즈 특정부(102)와, 캐시량 특정부(103)와, 통신 속도 특정부(104)와, 화질 정보 취득부(105)와, 비트레이트 결정부(106)와, 전송 요구부(107)와, 세그먼트 데이터 수신부(108)와, 일시 기억부(109)와, 동영상 재생부(110)를 구비한다. 동영상 전송 장치(20)는, 비트레이트 변환부(201)와, 세그먼트 데이터 기억부(202)와, 화질 평가부(203)와, 화질 정보 기억부(204)와, 비트레이트 정보 기억부(205)와, 정보 송신부(206)와, 세그먼트 데이터 판독부(207)와, 세그먼트 데이터 송신부(208)를 구비한다.
동영상 전송 장치(20)의 비트레이트 변환부(201)는, 전술한 복수의 비트레이트의 동영상의 본래의 동영상이 장치 자신에게 기억되면, 그 동영상의 비트레이트를 변환한다. 비트레이트 변환부(201)는, 본 실시예에서는, 본래의 동영상의 해상도를 낮추거나, 또는, 프레임레이트를 작게 하거나, 혹은 그들 양쪽을 행하는 등 해서 비트레이트를 변환한다. 비트레이트 변환부(201)는, 본 실시예에서는, 비트레이트가 4.0Mbps인 본래의 동영상을, 2.0Mbps, 1.0Mbps, 0.8Mbps, 0.6Mbps, 0.4Mbps, 0.2Mbps라는 6가지의 비트레이트로 변환한다.
이와 같이, 본 시스템에서 스트리밍 전송되는 동영상은, 본래의 동영상을 비트레이트 변환해서 얻어지는 복수의 비트레이트의 동영상(본 실시예에서는 0.3Mbps부터 2.0Mbps까지의 6가지의 비트레이트의 동영상)에 의해서 표시된다. 즉, 본 시스템에서는, 그들 복수의 비트레이트의 동영상을 표시하는 세그먼트 데이터 중 지정된 비트레이트의 세그먼트 데이터가 실제로 전송되게 된다. 또, 본래의 동영상의 세그먼트 데이터도 전송되어도 되지만, 본 실시예에서는 비트레이트 변환에 이용될 뿐 전송되지 않는 것으로 한다.
또한, 본 실시예에서는, 통신량을 적게 하기 위하여, 예를 들면 동영상의 구간마다 결정된 기준으로 되는 프레임과, 그 프레임과의 차분을 나타내는 데이터에 인코딩(압축)된 세그먼트 데이터에 의해 나타나는 동영상이 본래의 동영상으로서 이용된다. 비트레이트 변환부(201)는, 본래의 동영상의 각 세그먼트 데이터로부터, 비트레이트를 변환한 새로운 세그먼트 데이터를 생성한다. 비트레이트 변환부(201)는, 생성한 각 비트레이트의 세그먼트 데이터를 세그먼트 데이터 기억부(202)에 공급한다.
세그먼트 데이터 기억부(202)는, 장치 자신이 스트리밍 전송할 동영상의 세그먼트 데이터를 기억한다. 세그먼트 데이터 기억부(202)는, 비트레이트 변환부(201)로부터 공급된 복수의 비트레이트의 동영상을 나타내는 세그먼트 데이터를 기억한다.
동영상 전송 장치(20)의 화질 평가부(203)는, 세그먼트화 되기 전의 비트레이트 변환된 동영상의 화질을 평가해도 되며, 세그먼트 데이터 기억부(202)에 기억되어 있는 세그먼트 데이터에 의해 표시되는 동영상의 화질을 평가해도 된다. 화질 평가부(203)는, 예를 들면, 기준 비트레이트의 동영상의 구간과, 평가 대상 비트레이트의 동영상의 구간을 비교해서 평가한다. 본 실시예에서는, 화질 평가부(203)는, 동영상의 스트리밍 전송에 있어서 변경 가능한 비트레이트 중 최대의 비트레이트(상기한 예에서는 2.0Mbps)를 기준 비트레이트로서, 동영상의 화질을 평가한다.
비트레이트 변환을 행했을 경우, 비트레이트가 작아질수록, 컬러 화상이 모노크롬 화상이 되거나, 블록 노이즈가 발생하거나 해서, 화질이 저하하기 쉽다. 그래서, 화질 평가부(203)는, 기준 동영상과 비교 대상 동영상의 공통 구간에 있어서의 공통 장면의 프레임을 비교하여, 평가 대상 동영상의 프레임이 기준 동영상의 프레임에 비해서 어느 정도 다른지에 따라서 화질을 평가한다. 이 비교는, 1구간에 대하여 1프레임만 행해져도 되며, 2 이상의 프레임(모든 프레임도 포함함)에 대하여 행해져도 된다.
화질 평가부(203)는, 예를 들면 MSE(Mean Square Error)법, PSNR(Peak Signal to Noise Ratio)법, SSIM(Structual Similarity), 컬러 히스토그램 등의 주지의 기술을 이용해서, 프레임끼리의 상이로부터 화질을 평가한다. 화질 평가부(203)는, 평가 결과를 예를 들면 0부터 1까지의 값으로 나타낸다. 1은 기준 화상과의 상이가 없으며 화질이 높은 것을 의미하고, 값이 작아질수록 기준 화상과의 상이가 커지며, 화질이 낮아지는 것을 의미한다. 즉, 화질 평가부(203)에 의한 화질의 평가는, 비교 대상의 동영상보다도 비트레이트가 크며 화질이 높은 기준 동영상이 이용되는 것이 전제로 되어 있다. 화질 평가부(203)는, 각 평가 결과를 화질 정보 기억부(204)에 공급한다.
화질 정보 기억부(204)는, 화질 평가부(203)에 의해 평가된 동영상의 화질을 나타내는 화질 정보를 기억한다. 화질 정보 기억부(204)는, 화질 평가부(203)로부터 공급된 평가 결과를, 대응하는 비트레이트 및 구간에 대응시켜서 기억한다.
도 6은 기억된 평가 결과 등의 일례를 나타낸다. 도 6의 예에서는, 「2.0Mbps」, 「1.0Mbps」, …, 「0.2Mbps」라는 각 비트레이트의 「1」번째부터 「N」번째까지의 각 구간의 화질이 나타나 있다.
「2.0Mbps」는 기준 비트레이트이므로 어느 구간도 「1.00」이라는 화질로 되어 있다. 「1.0Mbps」에서는 제1 구간이 「0.82」, 제2 구간이 「0.79」, 제N 구간이 「0.85」라는 화질로 되어 있다. 또한, 「0.8Mbps」에서는 제1 구간이 「0.73」, 제2 구간이 「0.71」, 제N 구간이 「0.76」이라는 화질로 되어 있고, 「0.2Mbps」에서는 제1 구간이 「0.45」, 제2 구간이 「0.51」, 제N 구간이 「0.39」라는 화질로 되어 있다. 이와 같이, 비트레이트를 작게 할수록 화질은 저하하기 쉽다. 또한, 화질이 저하하는 정도는 구간마다 다르다.
비트레이트 정보 기억부(205)는, 세그먼트 데이터 기억부(202)에 기억되어 있는 세그먼트 데이터가 나타내는 동영상, 즉 장치 자신이 스트리밍 전송하는 동영상의 복수의 비트레이트를 나타내는 비트레이트 정보(예를 들면 MPEG-DASH에 있어서의 MPD(Media Presentation Description))를 기억한다. 비트레이트 정보 기억부(205)는, 본 실시예에서는, 전술한 6가지의 비트레이트(2.0Mbps, 1.0Mbps, 0.8Mbps, 0.6Mbps, 0.4Mbps, 0.2Mbps)를 나타내는 비트레이트 정보를 기억한다. 이 비트레이트 정보는, 예를 들면 동영상 전송 장치(20)의 운용자에 의해 동영상의 세그먼트 데이터가 기억될 때에 그 운용자에 의해서 작성되어 기억된다.
스마트폰(10)의 비트레이트 정보 취득부(101)는, 동영상의 스트리밍 전송을 요구할 때에, 그 동영상의 복수의 비트레이트를 나타내는 비트레이트 정보를 취득한다. 예를 들면 스마트폰(10)이 표시한 웹페이지에 동영상 전송 장치(20)가 스트리밍 전송하는 동영상에의 링크가 덧붙여져 있고, 유저가 그 링크를 선택하는 조작을 행하면, 비트레이트 정보 취득부(101)는, 동영상 전송 장치(20)에 대해서 그 동영상의 비트레이트 정보를 요구하는 요구 데이터를 송신한다. 이 요구 데이터에는, 동영상을 특정하는 정보(예를 들면 MPEG-DASH에 있어서의 MPD 파일에의 URL(Uniform Resource Locator) 등)가 포함되어 있다.
동영상 전송 장치(20)의 정보 송신부(206)는, 스마트폰(10)으로부터 송신되어 온 요구 데이터를 수취하면, 그 요구 데이터에 의해 특정되는 동영상, 즉 장치 자신에게 기억되어 있는 동영상의 비트레이트 정보를 비트레이트 정보 기억부(205)로부터 판독해서 요구처인 스마트폰(10)에 송신한다. 이때, 정보 송신부(206)는, 화질 정보 기억부(204)로부터 이 동영상의 화질 정보를 판독해서, 비트레이트 정보와 함께 스마트폰(10)에 송신한다. 비트레이트 정보 취득부(101)는, 이렇게 해서 송신되어 온 비트레이트 정보를 취득하고, 취득한 비트레이트 정보를 비트레이트 결정부(106)에 공급한다.
또한, 화질 정보 취득부(105)는, 이렇게 해서 송신되어 온 화질 정보, 즉 스트리밍 전송되는 동영상의 각 비트레이트에 있어서의 각 구간의 화질을 나타내는 정보를 취득한다. 화질 정보 취득부(105)는, 본 실시예에서는, 전술한 바와 같이, 동영상의 스트리밍 전송에 있어서 변경 가능한 비트레이트 중 최대의 비트레이트를 기준 비트레이트로 해서 평가된 화질 정보를 취득한다. 화질 정보 취득부(105)는, 취득한 화질 정보를 비트레이트 결정부(106)에 공급한다.
비트레이트 결정부(106)는, 비트레이트 정보 취득부(101)에 의해 취득된 비트레이트 정보가 나타내는 복수의 비트레이트 중 어느 하나를 재생될 동영상의 비트레이트로서 결정한다. 비트레이트의 결정 방법에 대해서는 추후 상세하게 설명한다. 비트레이트 결정부(106)는, 비트레이트의 결정을 정해진 시간 간격으로 반복해서 행한다. 이 시간 간격으로서는, 예를 들면 하나의 세그먼트 데이터가 나타내는 동영상의 구간보다도 짧은 시간 간격(예를 들면 그 구간이 2초간이면 1초마다 등)이 이용된다. 비트레이트 결정부(106)는, 비트레이트를 결정할 때마다, 결정된 비트레이트를 전송 요구부(107)에 통지한다.
전송 요구부(107)는, 비트레이트 결정부(106)에 의해 결정된 비트레이트로 의 동영상의 스트리밍 전송을, 그 동영상을 스트리밍 전송할 장치(본 실시예에서는 동영상 전송 장치(20))에 요구한다. 비트레이트 결정부(106)가 결정한 비트레이트가 변화되면, 전송 요구부(107)가 스트리밍 전송을 요구하는 동영상의 비트레이트도 변화된다.
동영상 전송 장치(20)의 세그먼트 데이터 판독부(207)는, 외부 장치로부터 동영상의 스트리밍 전송이 요구되면, 요구된 동영상의 세그먼트 데이터를 판독한다. 세그먼트 데이터 판독부(207)는, 스마트폰(10)으로부터 송신되어 온 지정 데이터를 수취하면, 그 지정 데이터에 의해 지정되는 비트레이트의 세그먼트 데이터 그룹으로부터, 정해진 수의 세그먼트 데이터를 동영상의 최초부터 순서대로 판독한다.
세그먼트 데이터 판독부(207)는, 그 후에도, 판독 완료의 세그먼트 데이터에 이어서 정해진 수의 세그먼트 데이터를 판독하는 처리를, 한번에 판독하는 세그먼트 데이터가 나타내는 동영상 부분의 재생 시간 또는 그보다도 짧은 시간 간격으로 반복해서 행한다. 세그먼트 데이터 판독부(207)는, 지정되는 비트레이트가 도중에 변화하면, 새로운 비트레이트의 세그먼트 데이터 중 재생 개소가 이어지는 부분으로부터 정해진 수의 세그먼트 데이터를 판독한다. 세그먼트 데이터 판독부(207)는, 세그먼트 데이터를 판독할 때마다, 판독한 세그먼트 데이터를 세그먼트 데이터 송신부(208)에 공급한다.
세그먼트 데이터 송신부(208)는, 공급된 세그먼트 데이터를, 지정 데이터의 송신원, 즉 동영상의 스트리밍 전송을 요구해 온 요구처(본 실시예에서는 스마트폰(10))에 송신한다. 스마트폰(10)의 세그먼트 데이터 수신부(108)는, 동영상 전송 장치(20)로부터 송신되어 온 세그먼트 데이터를 수신한다. 세그먼트 데이터 수신부(108)는, 수신한 세그먼트 데이터를 일시 기억부(109)에 공급한다.
일시 기억부(109)는, 세그먼트 데이터 수신부(108)가 수신한 세그먼트 데이터를, 그 세그먼트 데이터가 나타내는 동영상 부분이 재생될 때까지 일시적으로 기억한다. 동영상 재생부(110)는, 일시 기억부(109)에 세그먼트 데이터가 기억되면, 기억된 세그먼트 데이터를 순차 판독하고, 판독한 세그먼트 데이터가 나타내는 동영상을 순차 재생한다. 전술한 바와 같이 세그먼트 데이터는 인코딩되어 있으므로, 동영상 재생부(110)는, 세그먼트 데이터를 디코딩해서 재생한다. 동영상 재생부(110)는, 재생한 동영상을 표시 영역에 표시하지만, 장치 자신의 방향에 따라서 다른 표시 영역에 동영상을 표시한다.
도 7a, 도 7b는 표시 영역에 표시된 동영상의 예를 나타낸다. 도 7a, 도 7b에서는, 도 2에 나타내는 터치스크린(16)의 표시면(161)에 동영상이 표시되어 있다. 표시면(161)은 장변(162)과 단변(163)으로 둘러싸인 장방형의 면이다. 도 7a의 (a)에서는, 표시면(161)의 장변(162)이 연직을 따르도록 스마트폰(10)이 향하고 있는 경우의 표시 영역(B1)이 나타나고, 도 7a의 (b)에서는, 표시면(161)의 장변(162)이 수평 방향을 따르도록 스마트폰(10)이 향해 있는 경우의 표시 영역(B2)이 나타나 있다. 도 7b의 (c)에서는, 표시면(161)의 일부에, 장변도 단변도 표시면(161)의 장변(162) 및 단변(163)에 접하지 않는 표시 영역(B3)이 나타나 있다. 표시 영역(B1, B2, B3)에는 모두 인물을 투영한 동영상(C1)이 표시되어 있다. 이와 같이, 동영상 재생부(110)는, 장치 자신의 동영상 재생 윈도우의 크기에 따라서 표시 영역(B1, B2, B3)에 동영상을 표시한다.
스마트폰(10)의 표시 영역 사이즈 특정부(102)는, 스트리밍 전송되는 동영상의 표시 영역 사이즈를 특정한다. 표시 영역 사이즈 특정부(102)는, 동영상 재생부(110)에 대해서 동영상을 표시하고 있는 표시 영역의 종류(표시 영역(B1, B2 및 B3) 중 어느 한쪽)를 조회한다. 동영상 재생부(110)는, 그 조회를 받으면, 동영상을 표시하고 있는 표시 영역의 종류를 표시 영역 사이즈 특정부(102)에 통지한다. 표시 영역 사이즈 특정부(102)는, 이렇게 해서 통지된 표시 영역의 종류에 따른 사이즈를 표시 영역 사이즈로서 특정한다.
표시 영역 사이즈 특정부(102)는, 표시 영역의 종류로서 표시 영역(B1)이 통지되었을 경우, 도 7a의 (a)에 나타내는 장변의 길이(L1)와 단변의 길이(L2)를 곱한 값, 즉 표시 영역의 면적을 표시 영역 사이즈로서 특정한다. 또한, 표시 영역 사이즈 특정부(102)는, 표시 영역의 종류로서 표시 영역(B2)이 통지되었을 경우, 도 7a의 (b)에 나타내는 장변의 길이(L3)와 단변의 길이(L4)를 곱한 값을 표시 영역 사이즈로서 특정한다. 또한, 표시 영역 사이즈 특정부(102)는, 표시 영역의 종류로서 표시 영역(B3)이 통지되었을 경우, 표시 영역(B3)의 장변의 길이(L5)와 단변의 길이(L6)를 곱한 값을 표시 영역 사이즈로서 특정한다. 표시 영역 사이즈 특정부(102)는, 상기한 바와 같이 특정한 표시 영역 사이즈를 나타내는 사이즈 정보(본 실시예에서는 표시 영역의 면적을 나타내는 정보)를 비트레이트 결정부(106)에 공급한다.
스마트폰(10)의 캐시량 특정부(103)는, 스트리밍 재생에 있어서의 캐시량, 즉 스트리밍 재생되는 동영상의 이제부터 재생되는 개소에 대하여 일시적으로 기억되는 세그먼트 데이터의 데이터량을 특정한다. 캐시량 특정부(103)는, 일시 기억부(109)가 일시적으로 기억하고 있는 세그먼트 데이터를 참조하고, 참조한 세그먼트 데이터가 재생되었을 경우에 있어서의 재생 시간을 전술한 캐시량으로서 특정한다. 예를 들면 캐시된 세그먼트 데이터가 2초간의 동영상을 나타내고 있으면, 캐시량 특정부(103)는, 2초분의 동영상이 캐시되어 있다고 특정하여, 그 초수를 나타내는 정보를 캐시량 정보로서 비트레이트 결정부(106)에 공급한다.
스마트폰(10)의 통신 속도 특정부(104)는, 스트리밍 전송되는 동영상의 세그먼트 데이터의 수신에 있어서의 통신 속도를 특정한다. 통신 속도 특정부(104)는 본 발명의 「특정부」의 일례이다. 통신 속도 특정부(104)는, 세그먼트 데이터 수신부(108)를 감시해서, 세그먼트 데이터 수신부(108)가 단위 시간에 수신한 세그먼트 데이터의 데이터 사이즈를 통신 속도로서 특정한다. 세그먼트 데이터 수신부(108)는, 예를 들면 1초간에 10메가비트의 세그먼트 데이터가 수신되어 있으면 10Mbps를 통신 속도로서 특정한다. 세그먼트 데이터 수신부(108)는, 그렇게 해서 특정한 통신 속도를 나타내는 통신 속도 정보를 비트레이트 결정부(106)에 공급한다.
표시 영역 사이즈 특정부(102), 캐시량 특정부(103) 및 통신 속도 특정부(104)는, 각각의 특정의 처리를, 본 실시예에서는 비트레이트 결정부(106)가 비트레이트를 반복해서 결정하는 시간 간격과 공통의 시간 간격으로 행한다.
비트레이트 결정부(106)는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역의 사이즈와, 캐시량 특정부(103)에 의해 특정된 캐시량과, 통신 속도 특정부(104)에 의해 특정된 통신 속도와, 화질 정보 취득부(105)에 의해 취득된 화질 정보에 따라서, 재생되는 동영상의 비트레이트를 결정한다. 비트레이트 결정부(106)는, 우선, 표시 영역 사이즈, 캐시량 및 통신 속도에 따라서 비트레이트 후보를 결정한다. 비트레이트 후보는 본 발명의 「제1 비트레이트」의 일례이다. 비트레이트 결정부(106)는, 예를 들면, 표시 영역의 사이즈와 비트레이트의 범위를 대응시킨 비트레이트 테이블을 이용한다.
도 8은 비트레이트 테이블의 일례를 나타낸다. 도 8의 예에서는, 「문턱값 Th1 미만」이라는 표시 영역의 사이즈에 「0.8, 0.6, 0.4, 0.2」(단위는 모두 Mbps)라는 비트레이트의 범위가 대응되어 있다. 또한, 「문턱값 Th1 이상 문턱값 Th2 미만」이라는 표시 영역의 사이즈에 「1.0, 0.8, 0.6, 0.4」, 「문턱값 Th2 이상」이라는 표시 영역의 사이즈에 「2.0, 1.0, 0.8」이라는 비트레이트의 범위가 각각 대응되어 있다.
비트레이트 결정부(106)는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역 사이즈에 대응되어 있는 비트레이트의 범위를 비트레이트 테이블로부터 판독한다. 비트레이트 결정부(106)는, 판독한 비트레이트의 범위를, 통신 속도 특정부(104)에 의해 특정된 통신 속도를 초과하지 않는 범위로 좁혀간다. 비트레이트 결정부(106)는, 예를 들면 문턱값 Th1 미만의 표시 영역 사이즈가 특정되면「0.8, 0.6, 0.4, 0.2」라는 비트레이트의 범위를 판독하고, 0.7Mbps라는 통신 속도가 특정되면 0.8Mbps라는 비트레이트가 특정된 통신 속도를 초과해 있으므로, 그 이외의 「0.6, 0.4, 0.2」라는 비트레이트의 범위로 좁혀간다.
비트레이트 결정부(106)는, 캐시량 특정부(103)에 의해 특정된 캐시량만큼 일시적으로 기억된 세그먼트 데이터가 나타내는 동영상이 재생된 경우의 재생 시간(이하 「캐시 재생 시간」이라 함)이 정해진 문턱값 Th3 이상일 경우에는, 좁혀진 범위 중에서 큰 것에서부터 정해진 순번까지의 비트레이트 중 어느 하나를 선택하여, 비트레이트 후보로서 결정한다. 비트레이트 결정부(106)는, 본 실시예에서는, 정해진 순번을 1번까지, 즉 최대의 비트레이트를 선택하여 결정한다. 비트레이트 결정부(106)는, 전술한 예와 같이 좁혀진 범위가 「0.6, 0.4, 0.2」이면, 이 중의 최대의 비트레이트인 「0.6」을 비트레이트 후보로서 결정한다.
또한, 비트레이트 결정부(106)는, 캐시 재생 시간이 상기한 문턱값 Th3 미만일 경우에는, 좁혀진 범위 중에서 작은 것에서부터 정해진 순번까지의 비트레이트 중 어느 하나를 선택하여, 비트레이트 후보로서 결정한다. 본 실시예에서는, 최대의 비트레이트를 제외하는 비트레이트가 모두 포함되는 순번이 정해진다. 따라서, 비트레이트 결정부(106)는, 상기한 바와 같이 좁혀진 범위 중에서 최대의 것을 제외하는 비트레이트 중 어느 하나를 선택하여 비트레이트 후보로서 결정한다.
비트레이트 결정부(106)는, 전술한 예와 같이 좁혀진 범위가 「0.6, 0.4, 0.2」이면, 이 중의 최대의 비트레이트인 「0.6」을 제외한 「0.4, 0.2」 중 어느 하나를 선택하여 비트레이트 후보로서 결정한다. 비트레이트 결정부(106)는, 최종적으로 2 이상의 비트레이트로부터 어느 하나를 선택할 경우는, 예를 들면 동영상의 해상도를 중시해서 항상 그 중의 최대의 비트레이트를 선택해도 되며, 동영상의 계속성을 중시해서 항상 그 중의 최소의 비트레이트를 선택해도 된다.
단, 동영상의 재생 조작을 접수한 직후는, 세그먼트 데이터가 아직 수신되어 있지 않으므로 통신 속도 특정부(104)에 의한 통신 속도의 특정이 아직 되어 있지 않다. 또한, 세그먼트 데이터가 아직 캐시되어 있지 않으므로, 캐시량 특정부(103)에 의한 캐시량의 특정도 아직 되어 있지 않다. 그래서, 비트레이트 결정부(106)는, 동영상의 처음부터 재생이 개시되면, 재생 초기의 결정 방법을 이용하는 기간으로서 정해진 초기 대응 기간이 경과할 때까지는, 캐시량 특정부(103)에 의해 특정된 캐시량 및 통신 속도 특정부(104)에 의해 특정된 통신 속도를 이용하지 않고 비트레이트 후보를 결정한다.
즉, 비트레이트 결정부(106)는, 초기 대응 기간이 경과할 때까지는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역 사이즈만을 따라서 비트레이트 후보를 결정한다. 초기 대응 기간으로서는, 예를 들면 캐시량 및 통신 속도의 특정이 처음으로 행해질 때까지의 기간이 정해진다. 또, 이러한 특정에 요하는 시간의 실적으로부터 정해진, 캐시량 및 통신 속도의 특정이 완료되는 것이 예상되는 기간이 초기 대응 기간으로서 이용되어도 된다.
비트레이트 결정부(106)는, 초기 대응 기간에 있어서는, 예를 들면, 특정된 표시 영역의 사이즈에 도 8에 나타내는 비트레이트 테이블에서 대응되어 있는 비트레이트의 범위 중 어느 하나를 선택해서 비트레이트 후보로서 결정한다. 비트레이트 결정부(106)는, 이 범위로부터, 동영상의 해상도를 중시해서 최대의 비트레이트를 선택해도 되며, 동영상의 계속성을 중시해서 최소의 비트레이트를 선택해도 된다. 또, 이에 한하지 않으며, 예를 들면 유저가 요구하는 프레임레이트가 미리 설정되어 있을 경우에, 설정된 프레임레이트와 특정된 표시 영역 사이즈와 계수를 곱한 값 또는 그 값에 가장 가까운 값의 비트레이트를 비트레이트 결정부(106)가 선택하여 비트레이트 후보로서 결정해도 된다.
비트레이트 결정부(106)는, 동영상의 어느 구간에 대하여 상기한 방법(표시 영역의 사이즈, 캐시량 및 통신 속도를 이용하는 방법)으로 결정되는 비트레이트 후보의 동영상의 화질이 정해진 화질 조건을 충족시킬 경우에는 그 비트레이트 후보를 그 구간의 비트레이트로서 결정한다. 화질 조건으로서는, 예를 들면 취득된 화질 정보를 나타내는 화질이 문턱값 Th4 이상이면 충족되고, 문턱값 Th4 미만이면 충족되지 않는 조건이 이용된다.
예를 들면 문턱값 Th4=0.75로 하여, 도 6에 나타내는 화질 정보가 취득되고, 비트레이트 결정부(106)가 동영상의 제2 구간에 있어서의 비트레이트 후보를 1.0Mbps로 결정한 것으로 한다. 이 경우, 비트레이트 결정부(106)는, 1.0Mbps의 동영상의 제2 구간의 화질이 「0.79」로 문턱값 Th4 이상이기 때문에, 화질 조건이 충족되어 있다고 판단하여, 1.0Mbps를 그대로 제2 구간에 있어서의 재생 동영상의 비트레이트로서 결정한다.
또한, 비트레이트 결정부(106)는, 비트레이트 후보의 동영상의 화질이 화질 조건을 충족시키지 못할 경우에는, 비트레이트 후보보다도 큰 비트레이트를 그 구간의 비트레이트로서 결정한다. 비트레이트 후보보다도 큰 비트레이트는 본 발명의 「제2 비트레이트」의 일례이다. 예를 들면 전술의 예에 있어서, 비트레이트 결정부(106)가 동영상의 제2 구간에 있어서의 비트레이트 후보를 0.8Mbps로 결정한 것으로 한다. 이 경우, 비트레이트 결정부(106)는, 0.8Mbps의 동영상의 제2 구간의 화질이 「0.71」로 문턱값 Th4 미만이기 때문에, 화질 조건이 충족되어 있지 않다고 판단하여, 0.8Mbps보다도 큰 1.0Mbps(이 경우의 제2 비트레이트)를 제2 구간에 있어서의 재생 동영상의 비트레이트로서 결정한다.
또한, 비트레이트 결정부(106)는, 화질 조건이 충족되지 않을 경우에, 화질 조건이 충족되는 비트레이트를 제2 비트레이트로 한다. 예를 들면 문턱값 Th4=0.80로 하여, 도 6에 나타내는 화질 정보가 취득되고, 비트레이트 결정부(106)가 동영상의 제2 구간에 있어서의 비트레이트 후보를 0.8Mbps로 결정한 것으로 한다. 이 경우, 비트레이트 결정부(106)는, 0.8Mbps의 동영상의 제2 구간의 화질이 「0.71」로 문턱값 Th4 미만이기 때문에, 화질 조건이 충족되어 있지 않다고 판단한다.
0.8Mbps보다도 큰 비트레이트에는 1.0Mbps 및 2.0Mbps가 있지만, 1.0Mbps의 제2 구간의 화질(0.79)은 문턱값 Th4 미만이므로 화질 조건을 충족시키지 못하고, 2.0Mbps의 제2 구간의 화질(1.00)은 문턱값 Th4 이상이므로 화질 조건을 충족시킨다. 그래서, 비트레이트 결정부(106)는, 2.0Mbps(이 경우의 제2 비트레이트)를 제2 구간의 비트레이트로서 결정한다.
동영상 전송 시스템(1)이 구비하는 각 장치는, 상기한 구성에 의거해서, 동영상의 스트리밍 전송 처리를 행한다. 이하에서는, 도 9를 참조해서 재생 동영상의 비트레이트의 지정이 최초로 행해질 때까지의 초기의 동작 수순을 설명하고, 도 10을 참조해서 그 이후의 동작 수순을 설명한다.
도 9는 스트리밍 전송 처리에 있어서의 초기의 동작 수순의 일례를 나타낸다. 도 9의 예에서는, 유저가 스마트폰(10)에 대해서 스트리밍 전송되는 동영상을 재생시키는 조작(동영상의 링크를 선택하는 조작 등)을 행하는 것을 계기로 동작 수순이 개시된다.
우선, 스마트폰(10)이, 동영상의 재생 조작을 접수한다(스텝S11). 다음으로, 스마트폰(10)(비트레이트 정보 취득부(101))이, 재생 조작을 접수한 동영상의 비트레이트 정보를 동영상 전송 장치(20)에 요구한다(스텝S12). 동영상 전송 장치(20)(정보 송신부(206))는, 요구된 동영상의 비트레이트 정보 및 화질 정보를 판독해서 스마트폰(10)에 송신한다(스텝S13). 스마트폰(10)(비트레이트 정보 취득부(101))는, 송신되어 온 비트레이트 정보를 취득한다(스텝S14).
또한, 스마트폰(10)(화질 정보 취득부(105))은, 송신되어 온 화질 정보를 취득한다(스텝S15). 계속해서, 스마트폰(10)(표시 영역 사이즈 특정부(102))이, 재생 조작을 접수한 동영상의 표시 영역의 사이즈를 특정한다(스텝S16). 다음으로, 스마트폰(10)(비트레이트 결정부(106))이, 특정된 사이즈에 따른 동영상의 비트레이트를 비트레이트 후보로서 결정한다(스텝S17). 계속해서, 스마트폰(10)(비트레이트 결정부(106))이, 결정한 비트레이트 후보의 동영상의 화질이 화질 조건을 충족시키는지의 여부를 판단한다(스텝S18).
스마트폰(10)(비트레이트 결정부(106))은, 화질 조건이 충족되어 있으면 비트레이트 후보를 재생 동영상의 비트레이트로서 결정하고, 화질 조건이 충족되어 있지 않으면 비트레이트 후보보다도 큰 비트레이트를 재생 동영상의 비트레이트로서 결정한다(스텝S19). 그리고, 스마트폰(10)(전송 요구부(107))은, 스텝S19에서 결정된 재생 동영상의 비트레이트에서의 동영상의 스트리밍 전송을 동영상 전송 장치(20)에 요구한다(스텝S20).
도 10은 초기 비트레이트의 지정 이후의 동작 수순의 일례를 나타낸다. 동영상 전송 장치(20)(세그먼트 데이터 판독부(207))는, 스텝S17에서 요구된 비트레이트의 동영상을 나타내는 세그먼트 데이터를 판독한다(스텝S21). 다음으로, 동영상 전송 장치(20)(세그먼트 데이터 송신부(208))는, 스텝S21에서 판독된 세그먼트 데이터를 스마트폰(10)에 송신한다(스텝S22). 스마트폰(10)(세그먼트 데이터 수신부(108))은, 스텝S22에 있어서 송신되어 온 세그먼트 데이터를 수신한다.
스마트폰(10)(일시 기억부(109))은, 수신된 세그먼트 데이터를 일시적으로 기억한다(스텝S23). 다음으로, 스마트폰(10)(동영상 재생부(110))은, 일시적으로 기억된 세그먼트 데이터를 판독해서 재생하여, 표시 영역에 표시한다(스텝S24). 계속해서, 스마트폰(10)(표시 영역 사이즈 특정부(102))은, 재생된 동영상의 표시 영역 사이즈를 특정한다(스텝S25). 다음으로, 스마트폰(10)(캐시량 특정부(103))은, 일시 기억되어 있는 세그먼트 데이터의 데이터량, 즉 캐시량을 특정한다(스텝S26).
계속해서, 스마트폰(10)(통신 속도 특정부(104))은, 세그먼트 데이터의 수신에 있어서의 통신 속도를 특정한다(스텝S27). 그리고, 스마트폰(10)(비트레이트 결정부(106))은, 스텝S25에서 특정된 표시 영역의 사이즈와, 스텝S26에서 특정된 캐시량과, 스텝S27에서 특정된 통신 속도에 따라서, 비트레이트 후보를 결정한다(스텝S28). 계속해서, 스마트폰(10)(비트레이트 결정부(106))이, 결정한 비트레이트 후보의 동영상의 화질이 화질 조건을 충족시키는지의 여부를 판단한다(스텝S29).
스마트폰(10)(비트레이트 결정부(106))은, 화질 조건이 충족되어 있으면 비트레이트 후보를 재생 동영상의 비트레이트로서 결정하고, 화질 조건이 충족되어 있지 않으면 비트레이트 후보보다도 큰 비트레이트를 재생 동영상의 비트레이트로서 결정한다(스텝S30). 그리고, 스마트폰(10)(전송 요구부(107))은, 스텝S30에서 결정된 재생 동영상의 비트레이트에서의 동영상의 스트리밍 전송을 동영상 전송 장치(20)에 요구한다(스텝S31).
동영상 전송 장치(20)(세그먼트 데이터 판독부(207))는, 스텝S21로 되돌아가서, 스텝S31에서 요구된 비트레이트의 동영상을 나타내는 세그먼트 데이터를 판독한다. 이후, 유저가 동작의 재생을 종료시키는 조작을 행하거나, 동영상이 끝까지 재생되어 동영상의 재생이 종료될 때까지, 스텝S21부터 S31까지의 동작이 반복해서 행해진다.
본 실시예에서는, 화질 정보에 따라서 재생 동영상의 비트레이트가 결정된다. 이것에 의해, 표시 영역의 사이즈, 캐시량 및 통신 속도를 이용하는 방법으로 결정된 비트레이트 후보의 동영상의 화질이 화질 조건을 충족하고 있지 않으면 보다 화질이 좋은 동영상이 재생되게 된다. 예를 들면 통신 속도만을 고려해서 비트레이트가 결정되면, 화질 조건을 충족시키지 못하는 동영상이 재생되게 되지만, 본 실시예에서는, 그 경우에 비해서 재생 품질을 향상시키고 있다. 여기에서 말하는 재생 품질이란, 동영상의 해상도의 높이와 재생의 계속성(재생이 도중에 끊기지 않는 것)을 포함하는 종합적인 품질이다.
또한, 본 실시예에서는, 동영상끼리를 비교함으로써 평가된 화질을 이용해서 비트레이트가 결정되어 있다. 이것에 의해, 이 비교를 하지 않는 경우에 비해서, 동영상끼리의 화질의 고저가 보다 정확하게 나타나게 된다. 또한, 본 실시예에서는, 화질 조건이 충족되지 않으면 비트레이트 후보보다도 화질이 좋은 동영상이 재생된다. 이것에 의해, 화질 정보를 고려하지 않는 경우에 비해서 재생되는 동영상의 화질이 향상된다. 또한, 그때, 화질 조건이 충족되는 동영상이 재생되도록 되어 있다. 환언하면, 화질 조건이 충족되지 않는 화질의 동영상이 재생되지 않도록 되어 있다.
[2] 변형예
전술한 실시예는 본 발명의 실시의 일례에 지나지 않으며, 이하와 같이 변형시켜도 된다. 또한, 실시예 및 각 변형예는, 필요에 따라서 조합해서 실시해도 된다.
[2-1] 화질의 평가 방법
기준 비트레이트는 전술한 것으로 한정되지 않는다. 예를 들면, 실시예와 같이 본래의 동영상으로부터 비트레이트 변환이 행해질 경우에, 그 본래의 동영상을 기준 비트레이트의 동영상으로 해도 된다. 예를 들면 도 6의 예에서는 2.0Mbps가 기준 비트레이트이기 때문에 2.0Mbps의 동영상의 화질이 어느 구간에 대해서도 1.00으로 되어 있지만, 실제로는, 4.0Mbps의 본래의 동영상을 비트레이트 변환한 동영상이기 때문에, 다른 비트레이트와 같이 구간마다 화질의 차이가 있다.
본 변형예에서는 본래의 동영상인 4.0Mbps가 기준 비트레이트로 되므로, 2.0Mbps의 동영상에서도 구간마다 화질의 차이가 나타나게 된다. 이와 같이, 본 변형예에 따르면, 본래의 동영상으로부터 비트레이트 변환된 동영상에 대해서는 모두 구간마다의 화질의 차이가 나타나게 된다.
[2-2] 비트레이트 후보의 결정 방법
비트레이트 결정부(106)에 의한 비트레이트 후보의 결정 방법은 전술한 것으로 한정되지 않는다. 비트레이트 결정부(106)는, 예를 들면 표시 영역의 사이즈, 캐시량 및 통신 속도 중의 어느 하나 또는 2개를 이용해서 비트레이트 후보를 결정해도 된다. 또한, 비트레이트 결정부(106)는, 다른 주지의 방법을 이용해서 비트레이트 후보를 결정해도 된다. 어느 경우도, 비트레이트 결정부(106)는, 어떤 방법을 이용해서 결정된 비트레이트 후보의 동영상의 화질이 화질 조건을 충족시키는지의 여부에 따라서 실시예와 같이 재생 화상의 비트레이트를 결정하면 된다.
[2-3] 통신 속도를 고려
비트레이트 결정부(106)는, 화질을 고려해서 비트레이트를 결정한 후, 추가로 통신 속도를 고려해도 된다. 비트레이트 결정부(106)는, 예를 들면 어느 구간의 비트레이트로서 결정한 비트레이트가 통신 속도 특정부(104)에 의해 특정된 통신 속도보다도 클 경우에는, 그 통신 속도 이하의 비트레이트를 그 구간의 비트레이트로서 다시 결정한다.
비트레이트 결정부(106)는, 예를 들면 취득된 화질 정보에 따라서 1.0Mbps를 재생 동영상의 비트레이트로서 결정했지만, 특정된 통신 속도가 0.9Mbps이었던 것으로 한다. 그 경우, 비트레이트 결정부(106)는, 0.9Mbps 이하의 비트레이트 중에서는 가장 큰 0.8Mbps를 재생 동영상의 비트레이트로서 다시 결정한다. 이것에 의해, 통신 속도를 고려하지 않는 경우에 비해서 동영상의 재생이 끊기는 경우가 적어진다.
[2-4] 표시 영역의 사이즈를 고려
비트레이트 결정부(106)는, 어느 구간의 비트레이트 후보의 동영상의 화질이 화질 조건을 충족시키고 있지 않을 경우에, 비트레이트 후보보다도 큰 비트레이트를 그 구간의 비트레이트로서 결정하지만, 그때에 표시 영역 사이즈에 따른 비트레이트를 결정해도 된다.
비트레이트 결정부(106)는, 예를 들면, 특정된 표시 영역의 사이즈가 문턱값 Th5 이상이면 비트레이트 후보보다도 2단계 큰 비트레이트(예를 들면 비트레이트 후보가 0.6Mbps이면 1.0Mbps)를 결정하고, 그 표시 영역 사이즈가 문턱값 Th5 미만이면 비트레이트 후보보다도 1단계 큰 비트레이트(예를 들면 비트레이트 후보가 0.6Mbps이면 0.8Mbps)를 결정한다.
동영상의 재생에 있어서는, 비트레이트가 변하지 않으면, 표시 영역이 작을수록 동영상의 해상도가 높아진다. 환언하면, 표시 영역이 작으면, 표시 영역이 큰 경우에 비해서, 비트레이트를 작게 해도 동영상의 해상도의 저하가 억제된다. 본 변형예에서는, 화질 조건이 충족되지 않을 경우에, 특정된 표시 영역 사이즈에 따른 비트레이트가 결정되므로, 표시 영역의 사이즈가 고려되지 않는 경우에 비해서, 표시 영역이 작을 경우에 필요 이상으로 높은 해상도의 동영상을 표시해서, 무선 통신의 대역을 압박하는 것이 억제된다.
[2-5] 서버 장치
전술한 비트레이트의 결정을 서버 장치가 행해도 된다.
도 11은 본 변형예의 동영상 전송 시스템(1a)의 전체 구성을 나타낸다. 동영상 전송 시스템(1a)은, 통신 회선(2)과, 스마트폰(10a)과, 동영상 전송 장치(20)와, 서버 장치(30)를 구비한다.
도 12는 서버 장치(30)의 하드웨어 구성을 나타낸다. 서버 장치(30)는, CPU(31)와, RAM(32)과, ROM(33)과, NIC(34)와, HDD(35)를 구비하는 컴퓨터이다. CPU(31)부터 HDD(35)까지는, 도 4에 나타내는 동명의 하드웨어와 각각 공통되는 것이다.
도 13은 본 변형예의 각 장치가 실현하는 기능 구성을 나타낸다. 스마트폰(10a)은, 도 5에 나타내는 세그먼트 데이터 수신부(108), 일시 기억부(109) 및 동영상 재생부(110)에 더해서, 재생 조작 통지부(111)를 구비한다. 서버 장치(30)는, 도 5에 나타내는 비트레이트 정보 취득부(101), 표시 영역 사이즈 특정부(102), 캐시량 특정부(103), 통신 속도 특정부(104), 비트레이트 결정부(106) 및 전송 요구부(107)를 구비한다.
스마트폰(10a)의 재생 조작 통지부(111)는, 스트리밍 전송되는 동영상을 재생시키는 조작이 장치 자신에 대해서 행해지면, 그 취지를 서버 장치(30)에 통지한다. 이 통지는 서버 장치(30)의 비트레이트 정보 취득부(101), 표시 영역 사이즈 특정부(102), 캐시량 특정부(103) 및 통신 속도 특정부(104)에 의해 수취된다. 이 통지를 수취하면, 비트레이트 정보 취득부(101)는 비트레이트 정보를 취득하고, 각 특정부는, 스마트폰(10a)의 대응하는 각 부(표시 영역 사이즈 특정부(102)는 동영상 재생부(110), 캐시량 특정부(103)는 일시 기억부(109), 통신 속도 특정부(104)는 세그먼트 데이터 수신부(108))와 통신해서, 각각의 특정 동작을 개시한다.
이것에 의해, 비트레이트 결정부(106)가 비트레이트를 결정해서 전송 요구부(107)에 의해 동영상의 전송이 요구된다. 이때, 전송 요구부(107)는, 동영상의 전송처를 스마트폰(10a)으로 해서 요구를 행한다. 동영상 전송 장치(20)의 세그먼트 데이터 송신부(208)는, 요구된 동영상의 세그먼트 데이터를 스마트폰(10a)에 송신한다. 이렇게 해서 서버 장치(30)에서 결정된 비트레이트의 동영상이 스마트폰(10a)에 전송된다. 본 변형예에서도, 서버 장치(30)가 실시예의 스마트폰(10)과 같이 비트레이트를 결정하므로, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상되는 비트레이트가 이용되도록 되어 있다.
[2-6] 정보 처리 장치
비트레이트의 결정을 행하는 결정 장치나 동영상의 재생을 행하는 재생 장치 등의 정보 처리 장치는, 전술한 스마트폰이나 서버 장치로 한정되지 않는다. 예를 들면 태블릿 단말이나 노트PC여도 되며, 데스크톱형의 PC여도 된다. 스마트폰은 결정 장치이며 재생 장치이기도 하지만, 서버 장치의 경우는, 결정 장치이지만 재생 장치는 아니므로, 외부의 재생 장치에 대해서 결정한 비트레이트의 동영상이 스트리밍 전송되도록 동영상 전송 장치에 요구한다.
[2-7] 비트레이트
실시예에서는, 비트레이트가 클수록, 동영상의 해상도가 높으며, 또한, 프레임레이트도 크게 되어 있는 것으로 했지만, 이것에 한정되지 않는다. 예를 들면 비트레이트가 커져도 해상도가 변하지 않고 프레임레이트만 커지거나, 프레임레이트가 변하지 않고 해상도만 높아지거나 해도 된다.
[2-8] 비트레이트 결정부
비트레이트 결정부(106)는, 실시예에서는 미리 정해진 복수의 비트레이트로부터 선택한 비트레이트를 재생 동영상의 비트레이트로서 결정했지만, 이것에 한정되지 않는다. 예를 들면, 동영상 전송 장치가, 정해진 범위의 비트레이트가 지정된 경우에, 기억하고 있는 기준 비트레이트의 동영상을 지정된 비트레이트로 변환하는 처리를 행하는 기능을 갖고 있으면, 비트레이트 결정부(106)는, 그 정해진 범위에서 비트레이트를 결정하면 된다.
그때에는, 비트레이트 결정부(106)는, 예를 들면 특정된 표시 영역의 사이즈의 값, 캐시량의 값, 통신 속도의 값을 정해진 수식에 대입해서 구해지는 값을 비트레이트로서 결정해도 된다. 이것에 의해, 복수의 비트레이트가 미리 정해져 있는 경우에 비해서 보다 다단계의 비트레이트의 동영상의 스트리밍 전송이 행해지게 된다.
[2-9] 화질이 평가되는 구간
실시예에서는 동영상의 전 구간의 화질이 평가되었지만, 이에 한하지 않으며, 일부의 구간의 화질이 평가되어도 되며, 환언하면, 1 이상의 구간의 화질이 평가되어 있으면 된다. 그 경우에도, 화질이 평가된 1 이상의 구간에 대해서는, 비트레이트 결정부(106)가 화질 정보에 따라서 비트레이트를 결정함으로써, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상하는 비트레이트가 이용되도록 되어 있다.
[2-10] 발명의 카테고리
본 발명은, 스마트폰이나 서버 장치와 같은 정보 처리 장치 외에, 동영상 전송 장치나 이들 장치를 구비하는 동영상 전송 시스템으로서 파악할 수 있다. 또한, 본 발명은, 각 장치가 실시하는 처리를 실현하기 위한 정보 처리 방법으로서 파악할 수도 있고, 각 장치를 제어하는 컴퓨터를 기능시키기 위한 프로그램으로서 파악할 수도 있다. 이 프로그램은, 그것을 기억시킨 광디스크 등의 기록 매체의 형태로 제공되어도 되고, 인터넷 등의 통신 회선을 통해 컴퓨터에 다운로드시키고, 그것을 인스톨해서 이용 가능하게 하는 등의 형태로 제공되어도 된다.
1 : 동영상 전송 시스템 2 : 통신 회선
10 : 스마트폰 20 : 동영상 전송 장치
30 : 서버 장치 101 : 비트레이트 정보 취득부
102 : 표시 영역 사이즈 특정부 103 : 캐시량 특정부
104 : 통신 속도 특정부 105 : 화질 정보 취득부
106 : 비트레이트 결정부 107 : 전송 요구부
108 : 세그먼트 데이터 수신부 109 : 일시 기억부
110 : 동영상 재생부 111 : 재생 조작 통지부
201 : 비트레이트 변환부 202 : 세그먼트 데이터 기억부
203 : 화질 평가부 204 : 화질 정보 기억부
205 : 비트레이트 정보 기억부 206 : 정보 송신부
207 : 세그먼트 데이터 판독부 208 : 세그먼트 데이터 송신부.

Claims (7)

  1. 사이즈가 다른 복수의 표시 영역 중 어느 하나에, 스트리밍 전송되는 동영상으로 재생 중에 비트레이트를 변경 가능한 동영상을 표시하는 표시부와,
    상기 표시부에서 상기 동영상을 표시하고 있는 상기 표시 영역의 사이즈를 특정하는 사이즈 특정부와,
    복수의 구간이 순서대로 스트리밍 전송되며 재생 중에 비트레이트를 변경 가능한 동영상의 복수의 비트레이트의 각각에 의한 1 이상의 구간의 각각에 대해서, 당해 구간의 화질을 나타내는 화질 정보를 취득하는 취득부와,
    취득된 상기 화질 정보에 따라서, 재생되는 동영상의 상기 복수의 구간의 상기 1 이상의 구간의 비트레이트를 결정하는 결정부
    를 구비하고,
    상기 결정부는, 상기 표시 영역의 사이즈 범위가 복수의 문턱값에 의해 정의되고, 상기 표시 영역의 각 사이즈 범위는 복수의 상이한 비트레이트 후보와 대응되는 비트레이트 테이블로부터, 상기 표시 영역의 사이즈와 대응되는 복수의 상이한 비트레이트 후보를 판독하고,
    상기 1 이상의 구간에 대하여 정해진 방법으로 상기 복수의 상이한 비트레이트 후보로부터 결정되는 제1 비트레이트의 동영상의 화질이 정해진 조건을 충족시킬 경우에는 당해 제1 비트레이트를 당해 1 이상의 구간의 비트레이트로서 결정하고, 당해 화질이 당해 조건을 충족시키지 못할 경우에는, 당해 제1 비트레이트보다도 큰 제2 비트레이트를 상기 복수의 상이한 비트레이트 후보로부터 당해 1 이상의 구간의 비트레이트로서 결정하는
    정보 처리 장치.
  2. 제1항에 있어서,
    상기 취득부는, 기준 비트레이트의 동영상의 상기 구간과, 평가 대상 비트레이트의 동영상의 당해 구간을 비교해서 얻어진 평가값을 상기 화질 정보로서 취득하는
    정보 처리 장치.
  3. 제2항에 있어서,
    상기 취득부는, 상기 동영상의 스트리밍 전송에 있어서 변경 가능한 비트레이트 중 최대의 비트레이트를 상기 기준 비트레이트로 한 상기 화질 정보를 취득하는
    정보 처리 장치.
  4. 제2항에 있어서,
    상기 동영상은, 본래의 동영상을 비트레이트 변환해서 얻어지는 복수의 비트레이트의 동영상에 의해서 표시되고,
    상기 취득부는, 상기 본래의 동영상을 상기 기준 비트레이트의 동영상으로 한 상기 화질 정보를 취득하는
    정보 처리 장치.
  5. 제1항에 있어서,
    상기 결정부는, 당해 조건이 충족되는 비트레이트를 상기 제2 비트레이트로서 결정하는
    정보 처리 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 동영상의 데이터의 수신에 있어서의 통신 속도를 특정하는 통신 속도 특정부를 구비하고,
    상기 결정부는, 상기 1 이상의 구간의 비트레이트로서 결정한 비트레이트가 특정된 상기 통신 속도보다도 클 경우에는, 당해 통신 속도 이하의 비트레이트를 당해 1 이상의 구간의 비트레이트로서 다시 결정하는
    정보 처리 장치.
  7. 삭제
KR1020160115425A 2016-02-29 2016-09-08 정보 처리 장치 KR102137133B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2016-036944 2016-02-29
JP2016036944A JP2017157904A (ja) 2016-02-29 2016-02-29 情報処理装置

Publications (2)

Publication Number Publication Date
KR20170101760A KR20170101760A (ko) 2017-09-06
KR102137133B1 true KR102137133B1 (ko) 2020-07-24

Family

ID=56883587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115425A KR102137133B1 (ko) 2016-02-29 2016-09-08 정보 처리 장치

Country Status (5)

Country Link
US (1) US20170251275A1 (ko)
EP (1) EP3211912B1 (ko)
JP (1) JP2017157904A (ko)
KR (1) KR102137133B1 (ko)
CN (1) CN107135403B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437304B2 (en) * 2016-03-15 2019-10-08 Roku, Inc. Brown out condition detection and device calibration
KR101797870B1 (ko) * 2016-08-12 2017-11-14 라인 가부시키가이샤 영상통화 품질 측정 방법 및 시스템
JP7255116B2 (ja) * 2018-09-25 2023-04-11 富士フイルムビジネスイノベーション株式会社 情報処理システム、端末装置およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387072B2 (ja) * 2001-07-12 2009-12-16 三菱電機株式会社 携帯型映像記録装置
JP2004088480A (ja) 2002-08-27 2004-03-18 Canon Inc 撮像装置及びそのデータ伝送制御方法
JP4350742B2 (ja) * 2006-12-19 2009-10-21 キヤノン株式会社 映像処理装置及び映像処理装置の制御方法
GB0706424D0 (en) * 2007-04-02 2007-05-09 British Telecomm Video streaming
JP4497194B2 (ja) * 2007-11-12 2010-07-07 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置及びプログラム
EP2750389A4 (en) * 2011-08-24 2014-09-24 Panasonic Corp RECORDING MEDIUM, READING DEVICE, RECORDING DEVICE, AND RECORDING METHOD
CN102368833B (zh) * 2011-11-29 2013-09-04 乐视网信息技术（北京）股份有限公司 一种对视频信息进行分段下载均衡的方法
EP2680527A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
KR101757994B1 (ko) * 2012-07-10 2017-07-13 브이아이디 스케일, 인크. 품질 주도형 스트리밍
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
US9357272B2 (en) * 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
US9264475B2 (en) * 2012-12-31 2016-02-16 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9253229B1 (en) * 2013-01-07 2016-02-02 Cox Communications, Inc. Correlating video quality with video playback view
JP6270873B2 (ja) * 2013-01-15 2018-01-31 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． メディアコンテンツの適応型ストリーミングのための品質情報の使用
JPWO2014112186A1 (ja) * 2013-01-18 2017-01-19 ソニー株式会社 コンテンツサーバおよびコンテンツ配信方法
EP2979414B1 (en) * 2013-03-29 2019-04-10 Intel IP Corporation Quality-aware rate adaptation techniques for dash streaming
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
US20150026358A1 (en) * 2013-07-19 2015-01-22 Futurewei Technologies, Inc. Metadata Information Signaling And Carriage In Dynamic Adaptive Streaming Over Hypertext Transfer Protocol
JP6145069B2 (ja) * 2014-04-30 2017-06-07 日本電信電話株式会社 主観画質推定装置及び主観画質推定プログラム

Also Published As

Publication number Publication date
CN107135403B (zh) 2021-11-02
EP3211912B1 (en) 2019-12-25
KR20170101760A (ko) 2017-09-06
CN107135403A (zh) 2017-09-05
JP2017157904A (ja) 2017-09-07
EP3211912A1 (en) 2017-08-30
US20170251275A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
KR101918017B1 (ko) 정보 처리 장치 및 정보 처리 방법
KR101868280B1 (ko) 정보 처리 장치, 정보 처리 방법 및 컴퓨터 판독 가능한 기록 매체
JP7255116B2 (ja) 情報処理システム、端末装置およびプログラム
JP2004112789A (ja) マルチメディアストリーミング装置及びその方法
KR102137133B1 (ko) 정보 처리 장치
AU2018250308B2 (en) Video compression using down-sampling patterns in two phases
US9161088B2 (en) Method in a streaming client for handling video streaming data, streaming client, computer programs and computer program products
US20160100132A1 (en) Reception apparatus, reception method, and program thereof, image capturing apparatus, image capturing method, and program thereof, and transmission apparatus, transmission method, and program thereof
KR102293797B1 (ko) 영상 복잡도 정보를 이용한 화면 영역별 차등 대역폭 할당 방법 및 장치
JP3462267B2 (ja) 情報通信端末装置
JP6891497B2 (ja) 情報処理装置、情報処理システム及びプログラム
KR102123885B1 (ko) 표시 장치
JP5264526B2 (ja) 画像送信装置、画像送信方法及びプログラム
JP2016021778A (ja) ストリーミングメディア再生装置、ストリーミングメディア再生方法、及びプログラム
KR20150035140A (ko) 적응적 동영상 스트리밍 방법 및 컴퓨터 장치
KR101190753B1 (ko) 디지털 비디오 레코더의 비디오 프레임 전송방법
JP2017175597A (ja) 動画配信システム、配信サーバ、受信装置、及びプログラム
JP2010171656A (ja) 画像送信装置、画像送信方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right