KR101918017B1 - 정보 처리 장치 및 정보 처리 방법 - Google Patents

정보 처리 장치 및 정보 처리 방법 Download PDF

Info

Publication number
KR101918017B1
KR101918017B1 KR1020160095304A KR20160095304A KR101918017B1 KR 101918017 B1 KR101918017 B1 KR 101918017B1 KR 1020160095304 A KR1020160095304 A KR 1020160095304A KR 20160095304 A KR20160095304 A KR 20160095304A KR 101918017 B1 KR101918017 B1 KR 101918017B1
Authority
KR
South Korea
Prior art keywords
bit rate
moving picture
unit
display area
data
Prior art date
Application number
KR1020160095304A
Other languages
English (en)
Other versions
KR20170101755A (ko
Inventor
아키라 후지이
수레쉬 무랄리
Original Assignee
후지제롯쿠스 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지제롯쿠스 가부시끼가이샤 filed Critical 후지제롯쿠스 가부시끼가이샤
Publication of KR20170101755A publication Critical patent/KR20170101755A/ko
Application granted granted Critical
Publication of KR101918017B1 publication Critical patent/KR101918017B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상되는 비트레이트가 이용되도록 하는 것을 과제로 한다.
이러한 과제를 해결하기 위한 수단으로서, 비트레이트 정보 취득부(101)는, 동영상의 스트리밍 전송을 요구할 때에, 그 동영상의 복수의 비트레이트를 나타내는 비트레이트 정보를 취득한다. 표시 영역 사이즈 특정부(102)는, 스트리밍 전송되는 동영상의 표시 영역의 사이즈를 특정한다. 캐시양 특정부(103)는, 스트리밍 재생에 있어서의 캐시양, 즉 스트리밍 재생되는 동영상의 앞으로 재생될 개소에 대하여 일시적으로 기억되는 세그먼트 데이터의 데이터양을 특정한다. 통신 속도 특정부(104)는, 스트리밍 전송되는 동영상의 세그먼트 데이터의 수신에 있어서의 통신 속도를 특정한다. 비트레이트 결정부(105)는, 특정된 표시 영역의 사이즈, 캐시양, 통신 속도에 따라서, 재생될 동영상의 비트레이트를 결정한다.

Description

정보 처리 장치 및 정보 처리 방법{INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD}
본 발명은, 정보 처리 장치 및 정보 처리 방법에 관한 것이다.
스트리밍 전송된 동영상을 재생하는 기술에서는, 동영상의 해상도의 레벨이나 재생의 계속성(재생이 도중에 끊기지 않는 것)같은 재생 품질이 중요하다. 이러한 재생 품질을 향상시키기 위해, 예를 들면 특허문헌 1에는, 패킷 통신망의 회선 속도에 따라서 전송되는 화상 부호화 신호의 정보량을 변경하는 기술이 개시되어 있다.
일본국 특개2004-88480호 공보
동영상을 재생하는 재생 장치로서 이동 통신 단말이 이용될 경우, 고정된 재생 장치(예를 들면 데스크탑형의 PC 등)가 이용되는 경우에 비해서, 전파의 상황이 변동하기 때문에, 통신 속도의 변동 폭 및 변동 간격이 커지기 쉽다. 그 때문에, 급격히 통신 속도가 느려져 동영상이 도중에 끊기는 사태를 방지하기 위해서는 안전하게 작은 비트레이트로 전송시킬 필요가 있지만, 그 경우여도 재생 품질(화상의 해상도의 높이 등)을 높게 하는 것이 바람직하다. 예를 들면 통신 속도만을 고려하면, 재생의 계속성을 높인 결과, 동영상의 해상도가 지나치게 낮아져 전체적으로 재생 품질이 떨어지는 경우가 있다.
그래서, 본 발명은, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상되는 비트레이트가 이용되도록 하는 것을 목적으로 한다.
본 발명의 제 1 태양에 따른 정보 처리 장치는, 스트리밍 전송되는 동영상으로서 재생 중에 비트레이트를 변경 가능한 동영상의 표시 영역의 사이즈를 특정하는 제 1 특정부와, 상기 동영상의 앞으로 재생될 개소(箇所)에 대하여 일시적으로 기억되는 데이터의 데이터양을 특정하는 제 2 특정부와, 상기 데이터의 수신에 있어서의 통신 속도를 특정하는 제 3 특정부와, 특정된 상기 사이즈, 상기 데이터양 및 상기 통신 속도에 따라서, 재생될 동영상의 비트레이트를 결정하는 결정부를 구비한다.
본 발명의 제 2 태양에 따른 정보 처리 장치는, 제 1 태양에 기재된 구성에 있어서, 상기 스트리밍 전송에서는 복수의 비트레이트가 정해져 있고, 상기 결정부는, 특정된 상기 표시 영역의 사이즈에 따른 비트레이트의 범위로서 특정된 상기 통신 속도를 초과하지 않는 비트레이트의 범위에 있어서, 특정된 상기 데이터양만큼 일시적으로 기억된 상기 데이터가 나타내는 동영상이 재생되었을 경우의 재생 시간이 문턱값 이상일 경우에는, 당해 범위 중에서 큰 것에서부터 정해진 순번까지의 비트레이트 중의 어느 하나를 선택해, 상기 재생될 동영상의 비트레이트로서 결정한다.
본 발명의 제 3 태양에 따른 정보 처리 장치는, 제 1 또는 제 2 태양에 기재된 구성에 있어서, 상기 스트리밍 전송에서는 복수의 비트레이트가 정해져 있고, 상기 결정부는, 특정된 상기 표시 영역의 사이즈에 따른 비트레이트의 범위로서 특정된 상기 통신 속도를 초과하지 않는 비트레이트의 범위에 있어서, 특정된 상기 데이터양만큼 일시적으로 기억된 상기 데이터가 나타내는 동영상이 재생되었을 경우의 재생 시간이 문턱값 미만일 경우에는, 당해 범위 중에서 작은 것에서부터 정해진 순번까지의 비트레이트 중의 어느 하나를 선택해, 상기 재생될 동영상의 비트레이트로서 결정한다.
본 발명의 제 4 태양에 따른 정보 처리 장치는, 제 2 또는 제 3 태양에 기재된 구성에 있어서, 상기 결정부는, 상기 범위 중에서 일시적으로 기억되어 있는 상기 데이터의 데이터양이 증가하는 비트레이트를, 상기 재생될 동영상의 비트레이트로서 결정한다.
본 발명의 제 5 태양에 따른 정보 처리 장치는, 제 1 내지 4 태양 중 어느 하나에 기재된 구성에 있어서, 상기 비트레이트의 레벨은 상기 동영상의 해상도의 레벨 및 상기 동영상의 프레임레이트의 레벨에 대응해 있고, 상기 결정부는, 상기 동영상이 빨리감기로 재생될 때에는, 통상 재생일 때보다도 낮은 해상도 또는 작은 프레임레이트의 비트레이트를 결정한다.
본 발명의 제 6 태양에 따른 정보 처리 장치는, 제 1 내지 제 5 태양 중 어느 하나에 기재된 구성에 있어서, 상기 비트레이트의 레벨은 상기 동영상의 해상도의 레벨 및 상기 동영상의 프레임레이트의 레벨에 대응해 있고, 상기 결정부는, 상기 동영상이 슬로우로 재생될 때에는, 통상 재생일 때보다도 높은 해상도 또는 큰 프레임레이트의 비트레이트를 결정한다.
본 발명의 제 7 태양에 따른 정보 처리 장치는, 제 1 내지 6 태양 중 어느 하나에 기재된 구성에 있어서, 제 1 비트레이트에서의 상기 동영상의 재생 중에 당해 동영상의 한 장면의 정지 화상을 요구하는 조작이 행해지면, 당해 제 1 비트레이트보다 큰 제 2 비트레이트의 동영상의 당해 한 장면의 정지 화상을 요구하는 정지 화상 요구부를 구비한다.
본 발명의 제 8 태양에 따른 정보 처리 장치는, 제 7 태양에 기재된 구성에 있어서, 상기 정지 화상 요구부는, 특정된 상기 통신 속도에 따른 파일 포맷의 상기 정지 화상을 요구한다.
본 발명의 제 9 태양에 따른 정보 처리 장치는, 제 7 태양에 기재된 구성에 있어서, 상기 정지 화상 요구부는, 상기 동영상의 용도에 따른 파일 포맷의 상기 정지 화상을 요구한다.
본 발명의 제 10 태양에 따른 정보 처리 장치는, 제 1 내지 제 9 태양 중 어느 하나에 기재된 구성에 있어서, 상기 결정부는, 상기 동영상의 처음부터 재생이 개시되면 정해진 기간이 경과할 때까지는, 상기 데이터양 및 상기 통신 속도를 이용하지 않고 비트레이트를 결정한다.
본 발명의 제 11 태양에 따른 정보 처리 장치는, 제 1 내지 제 10 태양 중 어느 하나에 기재된 구성에 있어서, 상기 복수의 비트레이트를 나타내는 비트레이트 정보를 취득하는 취득부를 구비하고, 상기 결정부는 취득된 상기 비트레이트 정보가 나타내는 복수의 비트레이트 중의 어느 하나를 재생될 동영상의 비트레이트로서 결정하고, 결정된 비트레이트에서의 상기 동영상의 스트리밍 전송을 요구하는 전송 요구부를 구비한다.
본 발명의 제 12 태양에 따른 정보 처리 방법은, 스트리밍 전송되는 동영상으로서 재생 중에 비트레이트를 변경 가능한 동영상의 표시 영역의 사이즈를 특정하고, 상기 동영상의 앞으로 재생될 개소에 대하여 일시적으로 기억되는 데이터의 데이터양을 특정하고, 상기 데이터의 수신에 있어서의 통신 속도를 특정하고, 특정된 상기 사이즈, 상기 데이터양 및 상기 통신 속도에 따라서, 재생될 동영상의 비트레이트를 결정하는, 것을 구비하는 정보 처리 방법.
제 1, 11, 12의 태양에 따르면, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상되는 비트레이트가 이용되도록 할 수 있다.
제 2 태양에 따르면, 일시적으로 기억되어 있는 데이터의 데이터양을 고려하지 않는 경우에 비해서 동영상의 재생 품질을 향상시킬 수 있다.
제 3 태양에 따르면, 본 발명과는 다른 방법으로 비트레이트를 선택하는 경우에 비해서, 새로운 데이터의 수신이 끝나기 전에 일시적으로 기억되어 있는 데이터가 나타내는 동영상의 재생이 끝나서 동영상이 중단된다는 사태가 일어나기 어렵게 할 수 있다.
제 4 태양에 따르면, 데이터양이 증가하지 않는 비트레이트가 선택되는 경우에 비해서, 동영상의 재생을 도중에 끊기기 어렵게 할 수 있다.
제 5 태양에 따르면, 빨리감기 재생 시에, 통상 재생 시와 비트레이트의 결정 방법을 바꾸지 않는 경우에 비해서, 데이터 통신의 부하를 경감할 수 있다.
제 6 태양에 따르면, 슬로우 재생 시에, 통상 재생 시에 비해서 해상도가 높거나 또는 프레임레이트가 큰 동영상을 표시시킬 수 있다.
제 7 태양에 따르면, 제 1 비트레이트의 동영상의 정지 화상이 요구되는 경우에 비해서, 표시되는 정지 화상의 해상도를 높이기 쉽게 할 수 있다.
제 8 태양에 따르면, 통신 속도에 알맞은 파일 포맷의 정지 화상을 표시시킬 수 있다.
제 9 태양에 따르면, 동영상의 용도에 알맞은 파일 포맷의 정지 화상을 표시시킬 수 있다.
제 10 태양에 따르면, 데이터양 및 통신 속도가 특정되어 있지 않은 기간이어도 비트레이트를 결정할 수 있다.
도 1은 실시예에 따른 동영상 전송 시스템의 전체 구성을 나타내는 도면
도 2는 스트리밍 전송의 구조를 나타내는 도면
도 3은 스마트폰의 하드웨어 구성을 나타내는 도면
도 4는 동영상 전송 장치의 하드웨어 구성을 나타내는 도면
도 5는 각 장치가 실현하는 기능 구성을 나타내는 도면
도 6a는 표시 영역에 표시된 동영상의 예를 나타내는 도면
도 6b는 표시 영역에 표시된 동영상의 예를 나타내는 도면
도 7은 비트레이트 테이블의 일례를 나타내는 도면
도 8은 스트리밍 전송 처리에 있어서의 각 장치의 동작 수순의 일례를 나타내는 도면
도 9는 변형예의 스마트폰이 실현하는 기능 구성을 나타내는 도면
도 10은 변형예의 각 장치가 실현하는 기능 구성을 나타내는 도면
도 11은 파일 포맷 테이블의 일례를 나타내는 도면
도 12는 변형예의 동영상 전송 시스템의 전체 구성을 나타내는 도면
도 13은 서버 장치의 하드웨어 구성을 나타내는 도면
도 14는 변형예의 각 장치가 실현하는 기능 구성을 나타내는 도면
도 15는 변형예의 스마트폰이 실현하는 기능 구성을 나타내는 도면
도 16은 표시된 스트리밍 재생의 상황의 일례를 나타내는 도면
[1] 실시예
도 1은 실시예에 따른 동영상 전송 시스템(1)의 전체 구성을 나타낸다. 동영상 전송 시스템(1)은 유저가 이용하는 재생 장치에 동영상을 스트리밍 전송하는 시스템이다. 동영상의 스트리밍 전송이란, 동영상의 일부를 나타내는 세그먼트 데이터를 재생되는 순번으로 송수신시키면서 순차 재생시키는 구조에 의한 동영상의 전송이다. 동영상 전송 시스템(1)은 통신 회선(2)과, 스마트폰(10)과, 동영상 전송 장치(20)를 구비한다.
통신 회선(2)은, 예를 들면 이동체 통신망 및 인터넷 등을 포함하며, 장치끼리의 데이터의 주고받기를 중개하는 시스템이다. 통신 회선(2)에는 스마트폰(10)이 무선으로 접속되며, 동영상 전송 장치(20)가 유선으로 접속되어 있다(이들은 일례이며, 유선·무선 중 어느 쪽으로 접속되어 있어도 됨).
스마트폰(10)은 동영상 전송 시스템(1)에 있어서 스트리밍 전송되는 동영상을 재생하는 재생 장치이다. 스마트폰(10)은 유저에 의해서 운반되어 다양한 장소에서 이용된다. 동영상 전송 장치(20)는, 전체적으로 하나의 동영상을 나타내는 복수의 세그먼트 데이터를 기억하고, 그 세그먼트 데이터들을 재생되는 순번으로 순차 송신함으로써 동영상을 스트리밍 전송하는 정보 처리 장치이다. 하나의 세그먼트 데이터는 동영상 전체 중 예를 들면 1초 내지 10초 정도의 부분을 나타내는 데이터이다.
동영상 전송 시스템(1)에 있어서는, 예를 들면 MPEG(Moving Picture Experts Group)-DASH(Dynamic Adaptive Streaming over HTTP)라 불리는 규격에 준거해서, 재생 중에 비트레이트를 변경 가능한 동영상이 스트리밍 전송된다. 본 실시예의 스트리밍 전송에서는 복수의 비트레이트가 미리 정해져 있다.
도 2는 스트리밍 전송의 구조를 나타낸다. 본 실시예의 동영상 전송 장치(20)는, 비트레이트가 「대」, 「중」, 「소」인 동영상을 각각 나타내는 세그먼트 데이터군(A1, A2, A3)을 기억하고 있다. 비트레이트란, 1초간에 송수신되는 데이터양(단위는 Mbps(메가비트 매초)나 MB/sec(메가바이트 매초))이다.
이 세그먼트 데이터군들이 나타내는 동영상은 비트레이트가 클수록, 동영상의 해상도가 높거나 프레임레이트도 크거나 한다. 스마트폰(10)은 동영상의 스트리밍 전송을 요구할 때에 전송시킬 동영상의 비트레이트를 지정한다. 동영상 전송 장치(20)는 지정된 비트레이트의 세그먼트 데이터군으로부터 순차적으로 세그먼트 데이터를 판독해서 송신한다. 스마트폰(10)은 수신한 세그먼트 데이터를 일시적으로 기억하고(캐시하고) 캐시한 세그먼트 데이터를 판독해서 재생한다.
또한, 스마트폰(10)이 동영상의 재생 중에 재생 중인 동영상과는 다른 비트레이트를 지정해서 전송을 요구하면, 동영상 전송 장치(20)는 그 요구를 수취하고나서는 지정된 새로운 비트레이트의 세그먼트 데이터를 송신한다. 스마트폰(10)은, 그 세그먼트 데이터를 수신하면, 앞으로의 비트레이트의 세그먼트 데이터가 나타내는 동영상에 계속해서, 새로운 비트레이트의 세그먼트 데이터가 나타내는 동영상을 재생한다. 이와 같이 해서, 스마트폰(10)은 재생 중에 비트레이트를 변경 가능한 동영상을 표시한다. 본원 발명은 이 비트레이트의 결정 방법에 특징이 있다. 그 결정 방법의 상세에 대해서는 후술한다.
도 3은 스마트폰(10)의 하드웨어 구성을 나타낸다. 스마트폰(10)은, CPU(Central Processing Unit)(11)와, RAM(Random Access Memory)(12)과, ROM(Read Only Memory)(13)과, NIC(Network Interface Card)(14)와, 플래시 메모리(15)와, 터치스크린(16)과, 스피커(17)와, 센서(18)를 구비하는 컴퓨터이다. CPU(11)는, RAM(12)을 워크 에어리어로서 이용해서 ROM(13)이나 플래시 메모리(15)에 기억되어 있는 프로그램을 실행시킴으로써 각 부의 동작을 제어한다. NIC(14)는, 안테나 및 통신 회로 등을 가지며, 예를 들면 이동체 통신의 규격에 준거한 무선 통신을 행한다.
플래시 메모리(15)는 CPU(11)가 제어에 이용하는 데이터나 프로그램을 기억한다. 이 프로그램에는, 본 실시예에서는 브라우저의 프로그램이 포함되어 있고, 이 브라우저 상에서 실행되는 Java(등록상표) script에 의해 후술하는 본 발명의 기능이 실현된다. 또한, 이에 한하지 않으며, 본 발명의 기능을 실현하는 애플리케이션 프로그램이 기억되어 있어도 된다. 터치스크린(16)은, 표시 수단인 디스플레이와, 디스플레이의 표면에 설치된 터치 패널을 구비하며, 화상을 표시함과 함께 유저로부터의 조작을 접수한다. 스피커(17)는 소리를 표현하는 소리 데이터를 아날로그 신호로 변환해서 방음(放音)한다. 센서(18)는, 예를 들면 3축의 지구 자기 센서이며 자신의 기울기를 나타내는 데이터를 CPU(11)에 공급한다.
도 4는 동영상 전송 장치(20)의 하드웨어 구성을 나타낸다. 동영상 전송 장치(20)는, CPU(21)와, RAM(22)과, ROM(23)과, NIC(24)와, HDD(Hard Disk Drive)(25)를 구비하는 컴퓨터이다. CPU(21) 내지 ROM(23)까지는, 도 3에 나타내는 같은 명칭의 하드웨어와 각각 공통되는 것이다. NIC(24)는 통신 회로를 가지며, 통신 회선(2)을 통한 통신을 행한다. HDD(25)는 CPU(21)가 제어에 이용하는 데이터나 프로그램을 기억하고 있다.
동영상 전송 시스템(1)이 구비하는 각 장치의 CPU가 프로그램을 실행시켜 각 부를 제어함으로써, 이하에 기술하는 기능이 실현된다.
도 5는 각 장치가 실현하는 기능 구성을 나타낸다. 스마트폰(10)은, 비트레이트 정보 취득부(101)와, 표시 영역 사이즈 특정부(102)와, 캐시양 특정부(103)와, 통신 속도 특정부(104)와, 비트레이트 결정부(105)와, 전송 요구부(106)와, 세그먼트 데이터 수신부(107)와, 일시 기억부(108)와, 동영상 재생부(109)를 구비한다. 동영상 전송 장치(20)는, 세그먼트 데이터 기억부(201)와, 비트레이트 정보 기억부(202)와, 비트레이트 정보 송신부(203)와, 세그먼트 데이터 판독부(204)와, 세그먼트 데이터 송신부(205)를 구비한다.
동영상 전송 장치(20)의 세그먼트 데이터 기억부(201)는 자신이 스트리밍 전송할 동영상의 세그먼트 데이터를 기억한다. 세그먼트 데이터 기억부(201)는 도 2의 설명에서 기술한 바와 같이, 복수의 비트레이트의 동영상을 나타내는 세그먼트 데이터를 기억한다. 각 세그먼트 데이터는 통신량을 작게 하기 위해, 예를 들면 기준이 되는 프레임과, 그 프레임과의 차분을 나타내는 데이터로 인코딩(압축)되어 있다.
비트레이트 정보 기억부(202)는, 세그먼트 데이터 기억부(201)에 기억되어 있는 자신이 스트리밍 전송할 동영상의 복수의 비트레이트를 나타내는 비트레이트 정보(예를 들면 MPEG-DASH에 있어서의 MPD(Media Presentation Description))를 기억한다. 비트레이트 정보 기억부(202)는 도 2의 예에서는, 세그먼트 데이터군(A1, A2, A3)이 각각 나타내는 동영상의 비트레이트를 나타내는 비트레이트 정보를 기억한다. 이 비트레이트 정보는, 예를 들면 동영상 전송 장치(20)의 운용자에 의해 동영상의 세그먼트 데이터가 기억될 때에 그 운용자에 의해서 작성되어 기억된다.
스마트폰(10)의 비트레이트 정보 취득부(101)는, 동영상의 스트리밍 전송을 요구할 때에, 그 동영상의 복수의 비트레이트를 나타내는 비트레이트 정보를 취득한다. 예를 들면 스마트폰(10)이 표시한 웹페이지에 동영상 전송 장치(20)가 스트리밍 전송하는 동영상에의 링크가 첨부되어 있고, 유저가 그 링크를 선택하는 조작을 행하면, 비트레이트 정보 취득부(101)는, 동영상 전송 장치(20)에 대해서 그 동영상의 비트레이트 정보를 요구하는 요구 데이터를 송신한다. 이 요구 데이터에는 동영상을 특정하는 정보(예를 들면 MPEG-DASH에 있어서의 MPD) 파일의 URL(Uniform Resource Locator) 등)이 포함되어 있다.
동영상 전송 장치(20)의 비트레이트 정보 송신부(203)는, 스마트폰(10)으로부터 송신되어 온 요구 데이터를 수취하면, 그 요구 데이터에 의해 특정되는 동영상, 즉 자신에게 기억되어 있는 동영상의 비트레이트 정보를 비트레이트 정보 기억부(202)로부터 판독해서 요구처(본 실시예에서는 스마트폰(10))에 송신한다. 비트레이트 정보 취득부(101)는 이렇게 해서 송신되어 온 비트레이트 정보를 취득한다. 비트레이트 정보 취득부(101)는 취득한 비트레이트 정보를 비트레이트 결정부(105)에 공급한다.
비트레이트 결정부(105)는, 비트레이트 정보 취득부(101)에 의해 취득된 비트레이트 정보가 나타내는 복수의 비트레이트 중의 어느 하나를 재생될 동영상의 비트레이트로서 결정한다. 비트레이트의 결정 방법에 대해서는 나중에 상세히 설명한다. 비트레이트 결정부(105)는 비트레이트의 결정을 정해진 시간 간격으로 반복하여 행한다. 이 시간 간격으로서는, 예를 들면 하나의 세그먼트 데이터가 나타내는 동영상의 재생 시간보다도 짧은 시간 간격(예를 들면 재생 시간이 2초간이면 1초마다 등)이 이용된다. 비트레이트 결정부(105)는 비트레이트를 결정할 때마다, 결정된 비트레이트를 전송 요구부(106)에 통지한다.
전송 요구부(106)는, 비트레이트 결정부(105)에 의해 결정된 비트레이트에서의 동영상의 스트리밍 전송을, 그 동영상을 스트리밍 전송할 장치(본 실시예에서는 동영상 전송 장치(20))에 요구한다. 비트레이트 결정부(105)가 결정한 비트레이트가 변화되면, 전송 요구부(106)가 스트리밍 전송을 요구하는 동영상의 비트레이트도 변화된다.
동영상 전송 장치(20)의 세그먼트 데이터 판독부(204)는, 외부 장치로부터 동영상의 스트리밍 전송이 요구되면, 요구된 동영상의 세그먼트 데이터를 판독한다. 세그먼트 데이터 판독부(204)는, 스마트폰(10)으로부터 송신되어 온 지정 데이터를 수취하면, 그 지정 데이터에 의해 지정되는 비트레이트의 세그먼트 데이터군으로부터, 정해진 수의 세그먼트 데이터를 동영상의 처음부터 차례로 판독한다.
세그먼트 데이터 판독부(204)는, 그 후에도, 판독 완료된 세그먼트 데이터에 이어서 정해진 수의 세그먼트 데이터를 판독하는 처리를, 한번에 판독하는 세그먼트 데이터가 나타내는 동영상 부분의 재생 시간 또는 그보다도 짧은 시간 간격으로 반복하여 행한다. 세그먼트 데이터 판독부(204)는, 지정되는 비트레이트가 도중에서 변화하면, 새로운 비트레이트의 세그먼트 데이터 중 재생 개소가 이어지는 부분으로부터 정해진 수의 세그먼트 데이터를 판독한다. 세그먼트 데이터 판독부(204)는, 세그먼트 데이터를 판독할 때마다, 판독한 세그먼트 데이터를 세그먼트 데이터 송신부(205)에 공급한다.
세그먼트 데이터 송신부(205)는, 공급된 세그먼트 데이터를 지정 데이터의 송신원, 즉 동영상의 스트리밍 전송을 요구해 온 요구처(본 실시예에서는 스마트폰(10))에 송신한다. 스마트폰(10)의 세그먼트 데이터 수신부(107)는, 동영상 전송 장치(20)로부터 송신되어 온 세그먼트 데이터를 수신한다. 세그먼트 데이터 수신부(107)는 수신한 세그먼트 데이터를 일시 기억부(108)에 공급한다.
일시 기억부(108)는, 세그먼트 데이터 수신부(107)가 수신한 세그먼트 데이터를, 그 세그먼트 데이터가 나타내는 동영상 부분이 재생될 때까지 일시적으로 기억한다. 동영상 재생부(109)는, 일시 기억부(108)에 세그먼트 데이터가 기억되면, 기억된 세그먼트 데이터를 순차 판독하고, 판독한 세그먼트 데이터가 나타내는 동영상을 순차 재생한다. 전술한 바와 같이 세그먼트 데이터는 인코딩되어 있으므로, 동영상 재생부(109)는 세그먼트 데이터를 디코딩해서 재생한다. 동영상 재생부(109)는 재생한 동영상을 표시 영역에 표시하지만, 자신의 방향에 따라서 다른 표시 영역에 동영상을 표시한다.
도 6a, 도 6b는 표시 영역에 표시된 동영상의 예를 나타낸다. 도 6a, 도 6b에서는, 도 2에 나타내는 터치스크린(16)의 표시면(161)에 동영상이 표시되어 있다. 표시면(161)은 장변(162)과 단변(163)으로 둘러싸인 장방형의 면이다. 도 6a의 (a)에서는, 표시면(161)의 장변(162)이 연직을 따르도록 스마트폰(10)이 향해 있는 경우의 표시 영역(B1)이 표시되고, 도 6a의 (b)에서는, 표시면(161)의 장변(162)이 수평 방향을 따르도록 스마트폰(10)이 향해 있는 경우의 표시 영역(B2)이 표시되어 있다. 표시 영역(B1 및 B2)에는 모두 인물을 투영한 동영상(C1)이 표시되어 있다. 이와 같이, 동영상 재생부(109)는 자신의 기울기에 따라서 표시 영역(B1 또는 B2)에 동영상을 표시한다.
스마트폰(10)의 표시 영역 사이즈 특정부(102)는 스트리밍 전송되는 동영상의 표시 영역의 사이즈를 특정한다. 표시 영역 사이즈 특정부(102)는 본 발명의 「제 1 특정부」의 일례이다. 표시 영역 사이즈 특정부(102)는, 동영상 재생부(109)에 대해서 동영상을 표시하고 있는 표시 영역의 종류(표시 영역(B1 및 B2) 중 어느 한쪽)를 조회한다. 동영상 재생부(109)는 그 조회를 받으면 동영상을 표시하고 있는 표시 영역의 종류를 표시 영역 사이즈 특정부(102)에 통지한다. 표시 영역 사이즈 특정부(102)는 이렇게 해서 통지된 표시 영역의 종류에 따른 사이즈를 표시 영역의 사이즈로서 특정한다.
표시 영역 사이즈 특정부(102)는, 표시 영역의 종류로서 표시 영역(B1)이 통지되었을 경우, 도 6a의 (a)에 나타내는 장변의 길이(L1)와 단변의 길이(L2)를 곱한 값, 즉 표시 영역의 면적을 표시 영역의 사이즈로서 특정한다. 또한, 표시 영역 사이즈 특정부(102)는, 표시 영역의 종류로서 표시 영역(B2)이 통지되었을 경우, 도 6a의 (b)에 나타내는 장변의 길이(L3)와 단변의 길이(L4)를 곱한 값을 표시 영역의 사이즈로서 특정한다.
또한, 표시 영역(B1)의 단변은 표시면(161)의 장변(162)에 접하고, 표시 영역(B2)의 단변은 표시면(161)의 단변(163)과 접해 있었지만, 표시 영역의 사이즈 및 배치는 이에 한하지 않는다. 동영상 재생부(109)는, 예를 들면 도 6b의 (c)에 나타내는 바와 같이, 장변도 단변도 표시면(161)의 장변(162) 및 단변(163)에 접하지 않는 표시 영역(B3)에 동영상(C1)을 표시해도 된다. 이 경우여도, 표시 영역 사이즈 특정부(102)는 표시 영역(B3)의 장변의 길이(L5)와 단변의 길이(L6)를 곱한 값을 표시 영역 사이즈로서 특정한다. 표시 영역 사이즈 특정부(102)는, 상기한 바와 같이 특정한 표시 영역의 사이즈를 나타내는 사이즈 정보(본 실시예에서는 표시 영역의 면적을 나타내는 정보)를 비트레이트 결정부(105)에 공급한다.
스마트폰(10)의 캐시양 특정부(103)는, 스트리밍 재생에 있어서의 캐시양, 즉 스트리밍 재생되는 동영상의 앞으로 재생될 개소에 대하여 일시적으로 기억되는 세그먼트 데이터의 데이터양을 특정한다. 캐시양 특정부(103)는 본 발명의 「제 2 특정부」의 일례이다. 캐시양 특정부(103)는, 일시 기억부(108)가 일시적으로 기억하고 있는 세그먼트 데이터를 참조해, 참조한 세그먼트 데이터가 재생되었을 경우에 있어서의 재생 시간을 전술한 캐시양으로서 특정한다. 예를 들면 캐시된 세그먼트 데이터가 2초간의 동영상을 나타내고 있고, 그 중의 0.5초분이 이미 재생되어 있으면, 캐시양 특정부(103)는 1.5초분의 동영상이 캐시되어 있는 것으로 특정하고, 그 초수를 나타내는 정보를 캐시양 정보로서 비트레이트 결정부(105)에 공급한다.
스마트폰(10)의 통신 속도 특정부(104)는 스트리밍 전송되는 동영상의 세그먼트 데이터의 수신에 있어서의 통신 속도를 특정한다. 통신 속도 특정부(104)는 본 발명의 「제 3 특정부」의 일례이다. 통신 속도 특정부(104)는, 세그먼트 데이터 수신부(107)를 감시해서, 세그먼트 데이터 수신부(107)가 단위 시간에 수신한 세그먼트 데이터의 데이터 사이즈를 통신 속도로서 특정한다. 세그먼트 데이터 수신부(107)는, 예를 들면 1초간에 10메가비트의 세그먼트 데이터가 수신되어 있으면 10Mbps를 통신 속도로서 특정한다. 세그먼트 데이터 수신부(107)는, 그렇게 해서 특정한 통신 속도를 나타내는 통신 속도 정보를 비트레이트 결정부(105)에 공급한다.
표시 영역 사이즈 특정부(102), 캐시양 특정부(103) 및 통신 속도 특정부(104)는, 각각의 특정의 처리를, 본 실시예에서는 비트레이트 결정부(105)가 비트레이트를 반복하여 결정하는 시간 간격과 공통의 시간 간격으로 행한다.
비트레이트 결정부(105)는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역의 사이즈와, 캐시양 특정부(103)에 의해 특정된 캐시양과, 통신 속도 특정부(104)에 의해 특정된 통신 속도에 따라서, 재생될 동영상의 비트레이트를 결정한다. 비트레이트 결정부(105)는, 예를 들면 표시 영역의 사이즈와 비트레이트의 범위를 대응시킨 비트레이트 테이블을 이용한다.
도 7은 비트레이트 테이블의 일례를 나타낸다. 도 7의 예에서는, 스트리밍 전송에 있어서, 4.0Mbps, 2.0Mbps, 1.0Mbps, 0.5Mbps, 0.3Mbps라는 5개의 비트레이트가 정해져 있는 것으로 한다. 그 경우에, 「문턱값 Th1 미만」이라는 표시 영역의 사이즈에 「2.0, 1.0, 0.5, 0.3」(단위는 모두 Mbps)이라는 비트레이트의 범위가 대응되어 있다. 또한, 「문턱값 Th1 이상 문턱값 Th2 미만」이라는 표시 영역의 사이즈에 「4.0, 2.0, 1.0, 0.5」, 「문턱값 Th2 이상」이라는 표시 영역의 사이즈에 「4.0, 2.0, 1.0」이라는 비트레이트의 범위가 각각 대응되어 있다.
비트레이트 결정부(105)는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역의 사이즈에 대응되어 있는 비트레이트의 범위를 비트레이트 테이블로부터 판독한다. 비트레이트 결정부(105)는 판독한 비트레이트의 범위를 통신 속도 특정부(104)에 의해 특정된 통신 속도를 초과하지 않는 범위로 좁혀간다. 비트레이트 결정부(105)는, 예를 들면 문턱값 Th1 미만의 표시 영역의 사이즈가 특정되면 「2.0, 1.0, 0.5, 0.3」이라는 비트레이트의 범위를 판독하고, 1.2Mbps라는 통신 속도가 특정되면 2.0Mbps라는 비트레이트가 특정된 통신 속도를 초과해 있으므로, 그 이외의 「1.0, 0.5, 0.3」이라는 비트레이트의 범위로 좁혀간다.
비트레이트 결정부(105)는, 캐시양 특정부(103)에 의해 특정된 캐시양만큼 일시적으로 기억된 세그먼트 데이터가 나타내는 동영상이 재생되었을 경우의 재생 시간(이하「캐시 재생 시간」이라 함)이 정해진 문턱값 Th3 이상일 경우에는, 좁혀진 범위 중에서 큰 것에서부터 정해진 순번까지의 비트레이트 중의 어느 하나를 선택하여 재생될 동영상의 비트레이트로서 결정한다. 비트레이트 결정부(105)는, 본 실시예에서는 정해진 순번을 1번까지, 즉 최대의 비트레이트를 선택하여 재생될 동영상의 비트레이트로서 결정한다. 비트레이트 결정부(105)는, 전술한 예와 같이 좁혀진 범위가 「1.0, 0.5, 0.3」이면, 그 중의 최대의 비트레이트인 「1.0」을 재생 동영상의 비트레이트로서 결정한다.
또한, 비트레이트 결정부(105)는, 캐시 재생 시간이 상기한 문턱값 Th3미만일 경우에는, 좁혀진 범위 중에서 작은 것에서부터 정해진 순번까지의 비트레이트 중의 어느 하나를 선택하여 재생될 동영상의 비트레이트로서 결정한다. 본 실시예에서는, 최대의 비트레이트를 제외하는 비트레이트가 모두 포함되는 순번이 정해진다. 따라서, 비트레이트 결정부(105)는, 상기한 바와 같이 좁혀진 범위 중에서 최대의 것을 제외하는 비트레이트 중의 어느 하나를 선택하여 재생될 동영상의 비트레이트로서 결정한다.
비트레이트 결정부(105)는, 전술한 예와 같이 좁혀진 범위가 「1.0, 0.5, 0.3」이면, 그 중의 최대의 비트레이트인 「1.0」을 제외한 「0.5, 0.3」 중의 어느 하나를 선택하여 재생 동영상의 비트레이트로서 결정한다. 비트레이트 결정부(105)는, 최종적으로 2 이상의 비트레이트로부터 어느 하나를 선택하는 경우는, 예를 들면 동영상의 해상도를 중시해서 항상 그 중의 최대의 비트레이트를 선택해도 되고, 동영상의 계속성을 중시해서 항상 그 중의 최소의 비트레이트를 선택해도 된다.
단, 동영상의 재생 조작을 접수한 직후는, 세그먼트 데이터가 아직 수신되어 있지 않으므로 통신 속도 특정부(104)에 의한 통신 속도의 특정이 아직 되어 있지 않고, 세그먼트 데이터가 아직 캐시되어 있지 않으므로 캐시양 특정부(103)에 의한 캐시양의 특정도 아직 되어 있지 않다. 그래서, 비트레이트 결정부(105)는, 동영상의 처음부터 재생이 개시되면, 재생 초기의 결정 방법을 이용하는 기간으로서 정해진 초기 대응 기간이 경과할 때까지는, 캐시양 특정부(103)에 의해 특정된 캐시양 및 통신 속도 특정부(104)에 의해 특정된 통신 속도를 이용하지 않고 비트레이트를 결정한다. 즉, 비트레이트 결정부(105)는, 초기 대응 기간이 경과할 때까지는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역의 사이즈만에 따라서 비트레이트를 결정한다.
초기 대응 기간으로서는, 예를 들면 캐시양 및 통신 속도의 특정이 처음으로 행해질 때까지의 기간이 정해진다. 또한, 이러한 특정에 요하는 시간의 실적으로부터 정해진, 캐시양 및 통신 속도의 특정이 완료되는 것이 예상되는 기간이 초기 대응 기간으로서 이용되어도 된다. 비트레이트 결정부(105)는, 초기 대응 기간에 있어서는, 예를 들면 특정된 표시 영역의 사이즈에 도 7에 나타내는 비트레이트 테이블에서 대응되어 있는 비트레이트의 범위 중의 어느 하나를 선택해서 재생 동영상의 비트레이트로서 결정한다.
비트레이트 결정부(105)는, 이 범위로부터, 동영상의 해상도를 중시해서 최대의 비트레이트를 선택해도 되고, 동영상의 계속성을 중시해서 최소의 비트레이트를 선택해도 된다. 또한, 이에 한하지 않으며, 예를 들면 유저가 요구하는 프레임레이트가 미리 설정되어 있을 경우에, 설정된 프레임레이트와 특정된 표시 영역의 사이즈와 계수를 곱한 값 또는 그 값에 가장 가까운 값의 비트레이트를 비트레이트 결정부(105)가 선택하여 재생될 동영상의 비트레이트로서 결정해도 된다.
동영상 전송 시스템(1)이 구비하는 각 장치는 상기한 구성에 의거해서 동영상의 스트리밍 전송 처리를 행한다.
도 8은 스트리밍 전송 처리에 있어서의 각 장치의 동작 수순의 일례를 나타낸다. 도 8의 예에서는, 유저가 스마트폰(10)에 대해서 스트리밍 전송되는 동영상을 재생시키는 조작(동영상의 링크를 선택하는 조작 등)을 행하는 것을 계기로 동작 수순이 개시된다.
우선, 스마트폰(10)이 동영상의 재생 조작을 접수한다(스텝S11). 다음으로, 스마트폰(10)(비트레이트 정보 취득부(101))이 재생 조작을 접수한 동영상의 비트레이트 정보를 동영상 전송 장치(20)에 요구한다(스텝S12). 동영상 전송 장치(20)(비트레이트 정보 송신부(203))는 요구된 동영상의 비트레이트 정보를 판독해서 스마트폰(10)에 송신한다(스텝S13). 스마트폰(10)(비트레이트 정보 취득부(101))은 송신되어 온 비트레이트 정보를 취득한다(스텝S14).
계속해서, 스마트폰(10)(표시 영역 사이즈 특정부(102))이 재생 조작을 접수한 동영상의 표시 영역의 사이즈를 특정한다(스텝S15). 다음으로, 스마트폰(10)(비트레이트 결정부(105))이 특정된 사이즈에 따른 동영상의 비트레이트를 결정한다(스텝S16). 그리고, 스마트폰(10)(전송 요구부(106))이 스텝S16에서 결정된 비트레이트로의 동영상의 스트리밍 전송을 동영상 전송 장치(20)에 요구한다(스텝S17).
동영상 전송 장치(20)(세그먼트 데이터 판독부(204))는 스텝S17에서 요구된 비트레이트의 동영상을 나타내는 세그먼트 데이터를 판독한다(스텝S21). 다음으로, 동영상 전송 장치(20)(세그먼트 데이터 송신부(205))는 스텝S21에서 판독된 세그먼트 데이터를 스마트폰(10)에 송신한다(스텝S22). 스마트폰(10)(세그먼트 데이터 수신부(107))은 스텝S22에 있어서 송신되어 온 세그먼트 데이터를 수신한다. 스마트폰(10)(일시 기억부(108))은 수신된 세그먼트 데이터를 일시적으로 기억한다.
다음으로, 스마트폰(10)(동영상 재생부(109))은 일시적으로 기억된 세그먼트 데이터를 판독하고 재생하여 표시 영역에 표시한다(스텝S23). 계속해서, 스마트폰(10)(표시 영역 사이즈 특정부(102))은 재생된 동영상의 표시 영역의 사이즈를 특정한다(스텝S24). 다음으로, 스마트폰(10)(캐시양 특정부(103))은 일시 기억되어 있는 세그먼트 데이터의 데이터양, 즉 캐시양을 특정한다(스텝S25).
계속해서, 스마트폰(10)(통신 속도 특정부(104))은 세그먼트 데이터의 수신에 있어서의 통신 속도를 특정한다(스텝S26). 그리고, 스마트폰(10)(비트레이트 결정부(105))은, 스텝S24에서 특정된 표시 영역의 사이즈와, 스텝S25에서 특정된 캐시양과, 스텝S26에서 특정된 통신 속도에 따라서 비트레이트를 결정한다(스텝S27). 스마트폰(10)(전송 요구부(106))은 스텝S27에서 결정된 비트레이트의 동영상의 전송을 동영상 전송 장치(20)에 요구한다(스텝S28).
동영상 전송 장치(20)(세그먼트 데이터 판독부(204))는 스텝S21로 되돌아가 스텝S28에서 요구된 비트레이트의 동영상을 나타내는 세그먼트 데이터를 판독한다. 이후, 유저가 동작의 재생을 종료시키는 조작을 행하거나, 동영상이 끝까지 재생되어 동영상의 재생이 종료될 때까지, 스텝S21에서부터 S28까지의 동작이 반복해 행해진다.
동영상의 재생에 있어서는, 비트레이트가 변하지 않으면 표시 영역이 작을수록 동영상의 해상도가 높아진다. 환언하면, 표시 영역이 작으면 표시 영역이 큰 경우에 비해서 비트레이트를 작게 해도 동영상의 해상도의 저하가 억제된다. 본 실시예에서는, 특정된 표시 영역의 사이즈에 따른 비트레이트가 결정되므로, 표시 영역의 사이즈가 고려되지 않는 경우에 비해서, 표시 영역이 작을 경우에 필요 이상으로 높은 해상도의 동영상을 표시해서 무선 통신의 대역을 압박하는 것이 억제된다.
또한, 본 실시예에서는 특정된 캐시양에 따라서도 비트레이트가 결정된다. 예를 들면 캐시양이 비교적 많으면(캐시 재생 시간이 문턱값 Th3 이상이면) 큰 비트레이트가 선택되고, 캐시양이 비교적 적으면(캐시 재생 시간이 문턱값 Th3 미만이면) 적은 비트레이트가 선택된다.
캐시양이 비교적 많을 경우에는, 캐시양이 비교적 적은 경우에 비해서 세그먼트 데이터의 다운로드에 시간이 걸려도 동영상의 재생이 도중에 끊기기 어려워지므로, 전술한 바와 같이 큰 비트레이트를 선택함으로써 동영상의 계속성을 일정한 레벨로 유지하면서 동영상의 해상도를 향상시키고 있다. 적어도, 캐시양(일시적으로 기억되어 있는 세그먼트 데이터의 데이터양)을 고려하지 않는 경우에 비해서 동영상의 재생 품질을 향상시키고 있다. 여기에서 말하는 재생 품질이란, 동영상의 해상도의 높이와 재생의 계속성(재생이 도중에 끊기지 않는 것)을 포함하는 총합적인 품질이다.
반대로, 캐시양이 비교적 적은 경우에는, 캐시양이 비교적 많은 경우에 비해서 세그먼트 데이터의 다운로드에 시간이 걸렸을 때에 동영상의 재생이 도중에 끊기기 쉬워지므로, 전술한 바와 같이 적은 비트레이트를 선택함으로써, 새로운 세그먼트 데이터의 수신에 시간이 걸려도, 일시적으로 기억되어 있는 데이터가 나타내는 동영상의 재생이 도중에 끊기기 어렵게 되어 있다. 환언하면, 본 실시예와는 다른 방법으로 비트레이트를 선택하는 경우에 비해서, 새로운 세그먼트 데이터의 수신이 끝나기 전에 일시적으로 기억되어 있는 세그먼트 데이터가 나타내는 동영상의 재생이 끝나서 동영상이 중단된다는 사태가 일어나기 어렵게 되어 있다.
또한, 본 실시예에서는, 특정된 통신 속도에 따라서도 비트레이트가 결정된다. 통신 속도가 빨라 동영상이 도중에 끊기기 어려울 때에는 큰 비트레이트를 선택함으로써 동영상의 해상도를 높게 해서, 동영상의 해상도를 향상시키는 것에 의해 동영상의 재생 품질을 향상시키고, 통신 속도가 느릴 때에는 적은 비트레이트를 선택함으로써 동영상을 도중에 끊기기 어렵게 해서, 동영상의 계속성을 향상시키는 것에 의해 동영상의 재생 품질을 향상시키고 있다.
본 실시예에서는, 이상과 같이 통신 속도뿐만 아니라, 표시 영역의 사이즈 및 캐시양에 따라서도 비트레이트를 결정함으로써, 예를 들면 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상되도록 되어 있다. 또한, 본 실시예에서는, 전술한 초기 대응 기간에 있어서는 캐시양 및 통신 속도를 이용하지 않고 비트레이트가 결정된다. 이것에 의해, 캐시양 및 통신 속도가 특정되어 있지 않은 기간에서도 비트레이트가 결정되도록 되어 있어, 초기 대응 기간에 있어서 표시 영역의 사이즈를 고려하지 않고 비트레이트가 결정되는 경우에 비해서 동영상의 재생 품질을 향상시키고 있다.
[2] 변형예
전술한 실시예는 본 발명의 실시의 일례에 지나지 않으며 이하와 같이 변형시켜도 된다. 또한, 실시예 및 각 변형예는 필요에 따라 조합해서 실시해도 된다.
[2-1] 비트레이트의 결정 방법
비트레이트 결정부(105)에 의한 비트레이트의 결정 방법은 전술한 것에 한하지 않는다. 비트레이트 결정부(105)는, 예를 들면 실시예와 마찬가지로 좁혀진 비트레이트의 범위의 중에서, 일시 기억부(108)에 일시적으로 기억되어 있는 세그먼트 데이터의 데이터양이 증가하는 비트레이트를, 재생 동영상의 비트레이트로서 결정한다.
예를 들면 0.5Mbps의 비트레이트로 스트리밍 전송되고 있는 상태에서, 표시 영역의 사이즈와 통신 속도로부터 도 7에 나타내는 비트레이트 테이블을 이용해서 「1.0, 0.5, 0.3」(Mbps)이라는 비트레이트의 범위로 좁혀진 것으로 한다. 그 중의 0.3Mbps를 선택하면 상기 데이터양이 감소하고, 0.5Mbps를 선택하면 데이터양이 변하지 않지만, 1.0Mbps를 선택하면 데이터양이 증가하므로, 비트레이트 결정부(105)는 1.0Mbps를 선택하여 재생 동영상의 비트레이트로서 결정한다.
비트레이트 결정부(105)는, 상기 데이터양이 증가하는 비트레이트가 복수 있을 경우에는, 예를 들면 동영상의 해상도를 중시해서 그 중의 최대의 비트레이트를 선택하여 재생될 동영상의 비트레이트로서 결정해도 되고, 동영상의 계속성을 중시해서 그 중의 최소의 비트레이트를 선택하여 재생될 동영상의 비트레이트로서 결정해도 된다. 이 결정 방법을 이용하면, 비트레이트의 변경에 의해 일시 기억부(108)에 기억되는 세그먼트 데이터의 데이터양이 증가하므로, 이 데이터양이 증가하지 않는 비트레이트가 선택되는 경우에 비해서 동영상의 재생이 도중에 끊기기 어려워진다.
또한, 비트레이트 결정부(105)는, 상기한 범위 중에서, 일시 기억부(108)에 일시적으로 기억되어 있는 세그먼트 데이터에 의한 재생 시간이 증가하는 비트레이트 중의 어느 하나를, 재생 동영상의 비트레이트로서 결정해도 된다. 실시예와 같이 비트레이트가 커지면 프레임레이트도 커지고 해상도도 높아질 경우에는, 프레임수가 증가하면 데이터양도 증가하는 경우가 많지만, 예를 들면 프레임수를 증가시키는 대신에 동영상의 해상도를 낮게 해서 데이터양을 증가시키지 않는 비트레이트가 이용되는 경우도 있다. 그 경우에, 이 결정 방법이면 데이터양이 증가하지 않아도 프레임수가 증가하는 비트레이트가 결정되므로, 동영상의 재생이 도중에 끊기기 어려워짐과 함께 통신의 부하가 경감되기 쉬워진다.
[2-2] 재생 속도
비트레이트 결정부(105)는 동영상의 재생 속도에 따라서 비트레이트의 결정 방법을 바꿔도 된다. 본 변형예에서는, 비트레이트의 레벨이, 동영상의 해상도의 레벨 및 동영상의 프레임레이트의 레벨 중의 적어도 한쪽에 대응해 있는 것으로 한다. 구체적으로는, 비트레이트가 커지면, 해상도가 높아지거나, 프레임레이트가 커지거나, 그 양쪽이거나 중 어느 하나이다. 또한, 예를 들면 비트레이트가 0.5Mbps, 1.0Mbps, 2.0Mbps, 4.0Mbps로 커졌을 때에, 해상도가 640×360, 854×480, 854×480, 1280×720로 커지게 되는 바와 같이, 비트레이트가 커져도 해상도가 변하지 않는 부분이 포함되어 있어도 된다.
도 9는 본 변형예의 스마트폰(10a)이 실현하는 기능 구성을 나타낸다. 스마트폰(10a)은 도 5에 나타내는 각 부에 부가해서 재생 속도 변경 조작 접수부(110)를 구비한다. 재생 속도 변경 조작 접수부(110)는 스트리밍 재생되고 있는 동영상의 재생 속도를 변경하는 조작을 접수한다. 재생 속도를 변경하는 조작에는 빨리감기 조작, 슬로우 재생 조작, 되감기 조작이 있다. 재생 속도 변경 조작 접수부(110)는 이러한 재생 속도 변경 조작을 접수하면, 접수한 조작의 내용을 비트레이트 결정부(105)에 통지한다.
비트레이트 결정부(105)는 재생 속도 변경 조작 접수부(110)로부터 통지된 조작의 내용에 따른 비트레이트를 결정한다. 비트레이트 결정부(105)는, 예를 들면 동영상이 빨리감기로 재생될 때에는, 통상 재생일 때보다도 낮은 해상도 또는 작은 프레임레이트의 비트레이트를 결정한다. 비트레이트 결정부(105)는, 예를 들면 표시 영역의 사이즈 및 통신 속도에 따라 4.0Mbps, 2.0Mbps, 1.0Mbps의 3개의 비트레이트의 범위까지 좁혀지고, 캐시양이 상기 문턱값 Th3 이상이면, 통상 재생에서 그 중의 최대의 비트레이트(4.0Mbps)를 선택하여 재생될 동영상의 비트레이트로서 결정하는 것으로 한다.
그 경우에, 비트레이트 결정부(105)는, 빨리감기 재생이 되어 있는 것을 재생 속도 변경 조작 접수부(110)로부터 통지되면, 통상 재생일 때보다도 해상도가 낮으며 또한 프레임레이트가 작아지는 2번째로 큰 비트레이트(2.0Mbps) 또는 3번째로 큰 비트레이트(1.0Mbps)를 선택하여 재생될 동영상의 비트레이트로서 결정한다. 유저가 빨리감기 재생을 하는 것은, 보고 싶은 장면을 찾을 때가 많으며, 그 경우는 재생되고 있는 장면이 대략적으로 파악될 수 있으면 되고, 높은 해상도나 큰 프레임레이트는 필요하지 않는 경우가 많다.
이 결정 방법이 이용되면 통상 재생 시에 비해서 빨리감기 재생 시에는 해상도가 낮고 프레임레이트가 작아지지만, 상기한 이유로 유저에 따라서 불편함이 없는 경우가 많다. 한편, 통상 재생 시와 비트레이트의 결정 방법을 바꾸지 않는 경우에 비하면, 세그먼트 데이터의 통신의 부하가 경감되어 다른 스트리밍 전송을 위한 대역이 확보되기 쉬워진다. 또한, 통상 재생 시와 결정 방법을 바꾸지 않는 경우에 비해서, 단위 시간분의 세그먼트 데이터의 수신에 요하는 시간도 짧아지고, 빨리감기 재생이 끝나고 통상 재생으로 되었을 때에 일시 기억되어 있는 세그먼트 데이터에 의한 재생 시간이 길어지므로, 빨리감기 재생 종료 후의 동영상의 재생의 도중 끊김이 발생하기 어렵게 되어 있다. 그 결과, 통상 재생 시와 비트레이트의 결정 방법을 바꾸지 않는 경우에 비해서 재생 품질이 향상된다.
또한, 비트레이트 결정부(105)는 빨리감기 재생에 있어서의 배율에 따른 비트레이트를 결정해도 된다. 예를 들면, 비트레이트 결정부(105)는 이 배율이 커질수록 작은 비트레이트를 선택하여 재생될 동영상의 비트레이트로서 결정한다. 배율이 커질수록 송신되어 오는 세그먼트 데이터의 데이터양이 늘어나므로, 수신이 완료될 때까지에 요하는 시간도 늘어나서 재생이 도중에 끊기기 쉬워진다. 그래서, 빨리감기 재생의 배율에 따른 비트레이트가 결정됨으로써, 이 배율을 고려하지 않는 경우에 비해서 빨리감기 재생 자체의 도중 끊김이 생기기 어려워져 동영상의 재생 품질이 향상된다.
또한, 비트레이트 결정부(105)는, 동영상이 슬로우로 재생될 때에는, 통상 재생일 때보다도 높은 해상도 또는 큰 프레임레이트의 비트레이트를 결정한다. 비트레이트 결정부(105)는, 예를 들면 표시 영역의 사이즈 및 통신 속도에 따라 4.0Mbps, 2.0Mbps, 1.0Mbps의 3개의 비트레이트의 범위까지 좁혀지고, 캐시양이 상기 문턱값 Th3 이상이면, 통상 재생에서 그 중의 최소의 비트레이트(1.0Mbps)를 선택하여 재생될 동영상의 비트레이트로서 결정하는 것으로 한다.
비트레이트 결정부(105)는, 전술한 경우에 슬로우 재생이 되어 있는 것이 재생 속도 변경 조작 접수부(110)로부터 통지되면, 통상 재생일 때보다도 해상도가 높으며 또한 프레임레이트가 커지는 2번째로 큰 비트레이트(2.0Mbps) 또는 1번째로 큰 비트레이트(4.0Mbps)를 선택하여 재생될 동영상의 비트레이트로서 결정한다. 유저가 슬로우 재생을 하는 것은, 그 장면을 보다 유심히 보고 싶을 때이므로 해상도가 높고 프레임레이트가 큰 것이 바람직하다. 이 결정 방법이 이용되면, 슬로우 재생 시에는 통상 재생 시에 비해서 해상도가 높은 또는 프레임레이트가 큰 동영상이 재생된다. 그 결과, 통상 재생 시와 비트레이트의 결정 방법을 바꾸지 않는 경우에 비해서 재생 품질이 향상된다.
또한, 비트레이트 결정부(105)는 슬로우 재생에 있어서의 배율에 따른 비트레이트를 결정해도 된다. 예를 들면, 비트레이트 결정부(105)는 이 배율이 작아질수록(즉 보다 슬로우로 됨) 큰 비트레이트를 선택하여 재생될 동영상의 비트레이트로서 결정한다. 슬로우 재생의 경우, 배율이 작아질수록 다음의 프레임이 재생되기까지의 기간이 길어지므로, 비트레이트를 크게 해도 동영상의 재생(슬로우 재생)이 도중에 끊기기 어렵다. 그래서, 슬로우 재생의 배율에 따른 비트레이트가 결정됨으로써, 이 배율을 고려하지 않는 경우에 비해서 동영상의 해상도 또는 프레임레이트가 향상되어 동영상의 재생 품질이 향상된다.
[2-3] 정지 화상의 취득
재생되고 있는 동영상의 한 장면을 나타내는 정지 화상이 취득되는 구조가 있어도 된다.
도 10은 본 변형예의 각 장치가 실현하는 기능 구성을 나타낸다. 도 10의 예에서는, 도 5에 나타내는 각 부에 부가해서 정지 화상 요구부(111)와, 정지 화상 표시부(112)를 구비하는 스마트폰(10b)이 표시되어 있다. 또한, 도 5에 나타내는 각 부에 부가해서 정지 화상 생성부(206)와, 정지 화상 송신부(207)를 구비하는 동영상 전송 장치(20b)가 표시되어 있다.
스마트폰(10b)의 정지 화상 요구부(111)는, 유저가 재생 중인 동영상의 한 장면의 정지 화상을 취득하기 위한 조작을 행하면, 그 장면의 정지 화상을 동영상 전송 장치(20b)에 요구한다. 보다 상세하게는, 정지 화상 요구부(111)는, 제 1 비트레이트에서의 동영상의 재생 중에 그 동영상의 한 장면의 정지 화상을 요구하는 조작이 행해지면, 제 1 비트레이트보다도 큰 제 2 비트레이트의 동영상의 그 한 장면의 정지 화상을 요구한다.
예를 들면 제 1 비트레이트(재생 중인 동영상의 비트레이트)가 1.0Mbps일 경우에, 정지 화상 요구부(111)는 제 1 비트레이트보다 1단계 큰 비트레이트를 제 2 비트레이트로 하여 정지 화상을 요구한다. 또한, 제 2 비트레이트는 이에 한하지 않으며, 스트리밍 전송되고 있는 동영상의 최대의 비트레이트여도 된다.
정지 화상 요구부(111)는, 정지 화상을 요구하는 동영상과, 정지 화상의 장면과, 제 2 비트레이트를 나타내는 요구 데이터를 동영상 전송 장치(20b)에 송신함으로써 이 요구를 행한다. 동영상을 특정하는 정보로서는 예를 들면 동영상의 URL이 이용되며, 정지 화상의 장면을 특정하는 정보로서는 예를 들면 그 장면의 재생 시각이 이용된다.
동영상 전송 장치(20b)의 정지 화상 생성부(206)는, 송신되어 온 요구 데이터를 수취하면, 그 요구 데이터가 나타내는 비트레이트의 동영상의 세그먼트 데이터를 참조해서, 그 요구 데이터가 나타내는 장면의 정지 화상을 생성한다. 정지 화상 생성부(206)는, 대상의 장면을 포함하는 세그먼트 데이터를 디코딩해서 그 장면의 정지 화상을 생성한다. 정지 화상 생성부(206)는, 예를 들면 미리 정해진 파일 포맷(JPEG(Joint Photographic Experts Group)이나 PNG(Portable Network Graphics) 등)으로 정지 화상을 생성한다.
정지 화상 생성부(206)는 이렇게 해서 정지 화상 요구부(111)로부터 요구된 정지 화상을 생성하면 정지 화상 송신부(207)에 공급한다. 정지 화상 송신부(207)는 공급된 정지 화상, 즉 정지 화상 요구부(111)로부터 요구된 정지 화상을 요구처의 장치인 스마트폰(10b)에 송신한다. 스마트폰(10b)의 정지 화상 표시부(112)는, 동영상 전송 장치(20b)로부터 송신되어 온 정지 화상을 자신의 표시 수단(터치스크린(16)의 디스플레이)에 표시한다.
비트레이트가 커지면 해상도도 커지게 되는 경우가 많다. 그 때문에, 본 변형예에서는, 제 2 비트레이트의 동영상의 정지 화상을 요구함으로써, 제 1 비트레이트의 동영상의 정지 화상을 요구하는 경우에 비해서, 표시되는 정지 화상의 해상도가 높아지기 쉽게 되어 있다. 한편, 스트리밍 전송되는 동영상에 비하면, 정지 화상의 데이터 사이즈는 작으므로 해상도를 높게 해도 통신의 부하가 작으므로, 해상도가 높은 정지 화상이 취득되어도 통신에의 영향이 적게 억제되어 있다.
또한, 정지 화상 송신부(207)는, 상기 예에서는 세그먼트 데이터로부터 생성된 정지 화상을 송신했지만, 이에 한하지 않으며, 예를 들면 미리 각 장면의 정지 화상의 데이터가 자신의 기억 수단에 기억되어 있고, 그 기억 수단으로부터 요구된 장면의 정지 화상을 판독함으로써 정지 화상을 송신해도 된다. 또한, 송신되는 정지 화상의 포맷은 1개에 한하지 않으며, 2개 이상(예를 들면 JPEG와 PNG의 양쪽 등)이어도 되고, 유저가 선택할 수 있도록 되어 있어도 된다. 또한, 정지 화상 송신부(207)는, 2개 이상의 정지 화상을 송신하는 경우는 동시에 송신해도 되고, 다른 시각에(서로 다른 타이밍으로) 송신해도 된다.
[2-4] 정지 화상의 파일 포맷
상기한 예에서는 정지 화상의 파일 포맷이 미리 정해져 있었지만, 이에 한하지 않으며 가변이어도 된다. 예를 들면, 정지 화상 요구부(111)는 통신 속도 특정부(104)에 의해 특정된 통신 속도에 따른 파일 포맷의 정지 화상을 요구한다. 정지 화상 요구부(111)는 이 요구에 예를 들면 통신 속도와 파일 포맷을 대응시킨 파일 포맷 테이블을 이용한다.
도 11은 파일 포맷 테이블의 일례를 나타낸다. 도 11의 예에서는, 「문턱값 Th11 미만」이라는 통신 속도에 「JPEG」가 대응되고, 「문턱값 Th11 이상」이라는 통신 속도에 「PNG」가 대응되어 있다. 통신 속도 특정부(104)는, 통신 속도를 특정하면, 특정한 통신 속도를 나타내는 통신 속도 정보를 정지 화상 요구부(111)에 공급한다. 정지 화상 요구부(111)는, 공급된 통신 속도 정보가 나타내는 통신 속도에, 파일 포맷 테이블에서 대응되어 있는 파일 포맷의 정지 화상을 동영상 전송 장치(20b)에 요구한다.
본 변형예에서는, 통신 속도가 빨라(문턱값 Th11 이상으로) 사이즈가 큰 데이터를 통신하기 쉬운 상황에서는 PNG라는 가역 압축 형식의 파일 포맷의 정지 화상을 요구함으로써, 통신량은 크지만 표시된 정지 화상을 확대해도 화질이 양호해지도록 하고 있다. 한편, 통신 속도가 느려서(문턱값 Th11 미만에서) 사이즈가 큰 데이터를 통신하기 어려운 상황에서는 JPEG라는 비가역 압축 형식의 파일 포맷의 정지 화상을 요구함으로써, 표시된 정지 화상을 확대했을 때에는 화질이 양호하지는 않지만, 통신량을 작게 해서 정지 화상이 표시되기까지의 시간이 짧아지도록 하고 있다. 이와 같이, 본 변형예에서는 통신 속도에 알맞은 파일 포맷의 정지 화상이 표시되도록 되어 있다.
통신 속도 이외에도, 예를 들면 정지 화상의 사용 용도에 따라서 파일 포맷을 정해도 된다. 예를 들면 일반의 유저가 영화나 텔레비전 등의 동영상을 시청하는 용도이면 JPEG여도 되지만, 감시 카메라의 동영상을 체크하는 용도이면, 확대해서 투영하고 있는 것을 판별하는 경우가 있으므로, 가역 압축 방식으로 세밀한 화상을 재현할 수 있는 PNG가 이용된다. 이 경우, 예를 들면 스마트폰(10b)에 동영상의 용도가 유저 조작 등에 의해 설정되어 있고, 정지 화상 요구부(111)가, 설정된 동영상의 용도에 따른 파일 포맷의 정지 화상을 동영상 전송 장치(20b)에 요구한다. 이것에 의해, 동영상의 용도에 알맞은 파일 포맷의 정지 화상이 표시되게 된다.
또한, 정지 화상의 기초로 되는 비트레이트나 파일 포맷을 유저가 선택해도 된다. 이 경우, 정지 화상 요구부(111)가, 비트레이트 및 파일 포맷을 선택시키기 위한 선택 화면을 표시해서, 그 선택 화면에서 행해진 조작에 의해 선택된 비트레이트 및 파일 포맷의 정지 화상을 동영상 전송 장치(20b)에 요구한다. 이것에 의해, 유저가 희망하는 파일 포맷의 정지 화상이 표시되게 된다.
[2-5] 서버 장치
전술한 비트레이트의 결정을 서버 장치가 행해도 된다.
도 12는 본 변형예의 동영상 전송 시스템(1c)의 전체 구성을 나타낸다. 동영상 전송 시스템(1c)은, 통신 회선(2)과, 스마트폰(10c)과, 동영상 전송 장치(20)와, 서버 장치(30)를 구비한다.
도 13은 서버 장치(30)의 하드웨어 구성을 나타낸다. 서버 장치(30)는, CPU(31)와, RAM(32)과, ROM(33)과, NIC(34)와, HDD(35)를 구비하는 컴퓨터이다. CPU(31)에서부터 HDD(35)까지는 도 4에 나타내는 같은 명칭의 하드웨어와 각각 공통되는 것이다.
도 14는 본 변형예의 각 장치가 실현하는 기능 구성을 나타낸다. 스마트폰(10c)은, 도 5에 나타내는 세그먼트 데이터 수신부(107), 일시 기억부(108) 및 동영상 재생부(109)에 부가해서, 재생 조작 통지부(113)를 구비한다. 서버 장치(30)는, 도 5에 나타내는 비트레이트 정보 취득부(101), 표시 영역 사이즈 특정부(102), 캐시양 특정부(103), 통신 속도 특정부(104), 비트레이트 결정부(105) 및 전송 요구부(106)를 구비한다.
스마트폰(10c)의 재생 조작 통지부(113)는, 스트리밍 전송되는 동영상을 재생시키는 조작이 자신에 대해서 행해지면, 그 취지를 서버 장치(30)에 통지한다. 이 통지는 서버 장치(30)의 비트레이트 정보 취득부(101), 표시 영역 사이즈 특정부(102), 캐시양 특정부(103) 및 통신 속도 특정부(104)에 의해 수취된다. 이 통지를 수취하면, 비트레이트 정보 취득부(101)는 비트레이트 정보를 취득하고, 각 특정부는, 스마트폰(10c)의 대응하는 각 부(표시 영역 사이즈 특정부(102)는 동영상 재생부(109), 캐시양 특정부(103)는 일시 기억부(108), 통신 속도 특정부(104)는 세그먼트 데이터 수신부(107))와 통신해서 각각의 특정 동작을 개시한다.
이것에 의해, 비트레이트 결정부(105)가 비트레이트를 결정해서, 전송 요구부(106)에 의해 동영상의 전송이 요구된다. 이때, 전송 요구부(106)는 동영상의 전송처를 스마트폰(10c)으로 해서 요구를 행한다. 동영상 전송 장치(20)의 세그먼트 데이터 송신부(205)는 요구된 동영상의 세그먼트 데이터를 스마트폰(10c)에 송신한다. 이렇게 해서 서버 장치(30)에서 결정된 비트레이트의 동영상이 스마트폰(10c)에 전송된다. 본 변형예에서도, 서버 장치(30)가 실시예의 스마트폰(10)과 마찬가지로 비트레이트를 결정하므로, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해 재생 품질이 향상되는 비트레이트가 이용되도록 되어 있다.
[2-6] 정보 처리 장치
비트레이트의 결정을 행하는 결정 장치나 동영상의 재생을 행하는 재생 장치 등의 정보 처리 장치는 전술한 스마트폰이나 서버 장치에 한하지 않는다. 예를 들면 태블릿 단말이나 노트 PC여도 되고 데스크탑형의 PC여도 된다. 스마트폰은 결정 장치이며 재생 장치이기도 하지만, 서버 장치의 경우는 결정 장치이지만 재생 장치는 아니므로, 외부의 재생 장치에 대해서 결정한 비트레이트의 동영상이 스트리밍 전송되도록 동영상 전송 장치에 요구한다.
또한, 데스크탑형의 PC와 같이 이동시키지 않고 이용되는 정보 처리 장치여도, 표시 영역 사이즈나 캐시양, 통신 속도는 변화하므로, 상기한 각 예와 같이 결정된 비트레이트의 동영상이 스트리밍 전송됨으로써, 통신 속도만을 고려해서 비트레이트가 결정되는 경우에 비해서 재생 품질이 향상하도록 되어 있다.
[2-7] 특정 정보의 표시
특정된 상기의 각 정보나 결정된 비트레이트가 동영상을 재생하는 재생 장치에 표시되어도 된다.
도 15는 본 변형예의 스마트폰(10d)이 실현하는 기능 구성을 나타낸다. 스마트폰(10d)은 도 5에 나타내는 각 부에 부가해 스트리밍 재생 상황 표시부(114)를 구비한다. 본 변형예에서는, 표시 영역 사이즈 특정부(102), 캐시양 특정부(103) 및 통신 속도 특정부(104)가 각각 특정한 결과를 나타내는 특정 결과 정보를 스트리밍 재생 상황 표시부(114)에 공급하고, 비트레이트 결정부(105)가 결정한 비트레이트를 스트리밍 재생 상황 표시부(114)에 통지한다.
스트리밍 재생 상황 표시부(114)는, 공급된 특정 결과 정보 및 통지된 비트레이트에 의해서 표시되는 스트리밍 재생의 상황을 자신의 표시 수단에 표시한다.
도 16은 표시된 스트리밍 재생의 상황의 일례를 나타낸다. 도 16의 예에서는, 도 2에 나타내는 터치스크린(16)의 표시면(161)에 「표시 영역 사이즈」, 「캐시양」, 「통신 속도」 및 「비트레이트」라는 문자열과, 그들의 상황을 나타내는 화상(D1, D2, D3 및 D4)이 표시되어 있다. 각 화상은 원형의 화상의 위치에 의해서 각 상황을 나타내고 있다.
화상(D1)은 표시 영역 사이즈의 대소를 나타내고(도면 중의 원형의 화상이 「소」에 가까울수록 표시 영역의 사이즈가 작고, 「대」에 가까울수록 표시 영역의 사이즈가 큼), 화상(D2)은 캐시양이 많은지 적은지를 나타내고 있다. 화상(D3)은 통신 속도가 빠른지 느린지를 나타내고, 화상(D4)은 비트레이트의 대소를 나타내고 있다. 이 스트리밍 재생 상황을 봄으로써, 유저는, 예를 들면 통신 속도가 느려서 비트레이트가 작게 되어 있는 것을 알아채, 보다 전파의 상태가 좋은 장소로 이동하는 등의 행동을 취할 수 있다. 또한, 표시 영역 사이즈가 작으면 비트레이트가 작아지기 쉬운 것을 알고 있으면, 표시 영역 사이즈를 크게 해서 비트레이트를 크게 하는 행동도 취할 수 있다.
또한, 화상(D2)은 캐시양을 변경하는 조작을 접수하기 위한 조작자로 되어 있어도 된다. 예를 들면 원형의 화상을 왼쪽으로 이동시키면 캐시양이 적어지고 오른쪽으로 이동시키면 캐시양이 많아진다. 캐시양을 많게 할수록 전술한 캐시 재생 시간이 전술한 문턱값 Th3 이상으로 되기 쉬워지므로 비트레이트가 커진다. 이와 같이, 스트리밍 전송 상황이 표시됨으로써, 유저가 비트레이트를 증감시키기 위한 행동을 취하는 것이 가능해진다.
[2-8] 비트레이트
실시예에서는, 비트레이트가 클수록 동영상의 해상도가 높으며, 또한 프레임레이트도 크게 되어 있는 것으로 했지만 이에 한하지 않는다. 예를 들면 비트레이트가 커져도 해상도가 변하지 않고 프레임레이트만 커지거나, 프레임레이트가 변하지 않고 해상도만 높아지거나 해도 된다.
[2-9] 비트레이트 결정부
비트레이트 결정부(105)는, 실시예에서는 미리 정해진 복수의 비트레이트로부터 선택한 비트레이트를 재생 동영상의 비트레이트로서 결정했지만 이에 한하지 않는다. 예를 들면, 동영상 전송 장치가, 정해진 범위의 비트레이트가 지정되었을 경우에, 기억하고 있는 기준의 비트레이트의 동영상을 지정된 비트레이트로 변환하는 처리를 행하는 기능을 갖고 있으면, 비트레이트 결정부(105)는 그 정해진 범위에서 비트레이트를 결정하면 된다.
그때에는, 비트레이트 결정부(105)는, 예를 들면 특정된 표시 영역의 사이즈의 값, 캐시양의 값, 통신 속도의 값을 정해진 수식에 대입해서 구해지는 값을 비트레이트로서 결정해도 된다. 이것에 의해, 복수의 비트레이트가 미리 정해져 있는 경우에 비해서 보다 다단계의 비트레이트의 동영상의 스트리밍 전송이 행해지게 된다.
[2-10] 발명의 카테고리
본 발명은, 스마트폰이나 서버 장치와 같은 정보 처리 장치 외, 동영상 전송 장치나 이러한 장치를 구비하는 동영상 전송 시스템으로서 파악할 수 있다. 또한, 본 발명은, 각 장치가 실시하는 처리를 실현하기 위한 정보 처리 방법으로서 파악할 수도 있고, 각 장치를 제어하는 컴퓨터를 기능시키기 위한 프로그램으로서 파악할 수도 있다. 이 프로그램은, 그것을 기억시킨 광디스크 등의 기록 매체의 형태로 제공되어도 되고, 인터넷 등의 통신 회선을 통해서 컴퓨터에 다운로드 시키고, 그것을 인스톨해서 이용 가능하게 하는 등의 형태로 제공되어도 된다.
1 : 동영상 전송 시스템, 2 : 통신 회선, 10 : 스마트폰, 20 : 동영상 전송 장치, 101 : 비트레이트 정보 취득부, 102 : 표시 영역 사이즈 특정부, 103 : 캐시양 특정부, 104 : 통신 속도 특정부, 105 : 비트레이트 결정부, 106 : 전송 요구부, 107 : 세그먼트 데이터 수신부, 108 : 일시 기억부, 109 : 동영상 재생부, 110 : 재생 속도 변경 조작 접수부, 111 : 정지 화상 요구부, 112 : 정지 화상 표시부, 113 : 재생 조작 통지부, 114 : 스트리밍 재생 상황 표시부, 201 : 세그먼트 데이터 기억부, 202 : 비트레이트 정보 기억부, 203 : 비트레이트 정보 송신부, 204 : 세그먼트 데이터 판독부, 205 : 세그먼트 데이터 송신부, 206 : 정지 화상 생성부, 207 : 정지 화상 송신부.

Claims (12)

  1. 스트리밍 전송되는 동영상으로서 재생 중에 비트레이트를 변경 가능한 동영상의 표시 영역의 사이즈를 특정하는 제 1 특정부와,
    상기 동영상의 앞으로 재생될 개소(箇所)에 대하여 일시적으로 기억되는 데이터의 데이터양을 특정하는 제 2 특정부와,
    상기 데이터의 수신에서의 통신 속도를 특정하는 제 3 특정부와,
    특정된 상기 사이즈, 상기 데이터양 및 상기 통신 속도에 따라서, 재생될 동영상의 비트레이트를 결정하는 결정부
    를 구비하고,
    제 1 비트레이트에서의 상기 동영상의 재생 중에 당해 동영상의 한 장면의 정지 화상을 요구하는 조작이 행해지면, 당해 제 1 비트레이트보다 큰 제 2 비트레이트의 동영상의 당해 한 장면의 정지 화상을 요구하는 정지 화상 요구부를 구비하며,
    상기 스트리밍 전송에서는 복수의 비트레이트가 정해져 있고,
    상기 결정부는, 특정된 상기 표시 영역의 사이즈에 따른 비트레이트의 범위로서 특정된 상기 통신 속도를 초과하지 않는 비트레이트의 범위에서, 특정된 상기 데이터양만큼 일시적으로 기억된 상기 데이터가 나타내는 동영상이 재생되었을 경우의 재생 시간이 문턱값 이상일 경우에는, 당해 범위 중에서 큰 것에서부터 정해진 순번까지의 비트레이트 중의 어느 하나를 선택해, 상기 재생될 동영상의 비트레이트로서 결정하며,
    상기 결정부는, 상기 특정된 통신 속도 내에서, 상기 표시 영역의 특정된 사이즈와 연관된 비트레이트 범위 중 최대의 비트레이트를 선택하고,
    상기 표시 영역의 사이즈가 증가함에 따라 상기 비트레이트의 범위에 속한 상기 비트레이트의 최대값, 최소값 및 이들 사이의 중간값 중 적어도 어느 하나가 증가되도록, 상기 비트레이트의 범위가 설정되는
    정보 처리 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 스트리밍 전송에서는 복수의 비트레이트가 정해져 있고,
    상기 결정부는, 특정된 상기 표시 영역의 사이즈에 따른 비트레이트의 범위로서 특정된 상기 통신 속도를 초과하지 않는 비트레이트의 범위에서, 특정된 상기 데이터양만큼 일시적으로 기억된 상기 데이터가 나타내는 동영상이 재생되었을 경우의 재생 시간이 문턱값 미만일 경우에는, 당해 범위 중에서 작은 것에서부터 정해진 순번까지의 비트레이트 중의 어느 하나를 선택해, 상기 재생될 동영상의 비트레이트로서 결정하는
    정보 처리 장치.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 결정부는, 상기 범위 중에서 일시적으로 기억되어 있는 상기 데이터의 데이터양이 증가하는 비트레이트를, 상기 재생될 동영상의 비트레이트로서 결정하는
    정보 처리 장치.
  5. 제 1 항 또는 제 3 항에 있어서,
    상기 비트레이트의 레벨은 상기 동영상의 해상도의 레벨 및 상기 동영상의 프레임레이트의 레벨에 대응해 있고,
    상기 결정부는, 상기 동영상이 빨리감기로 재생될 때에는, 통상 재생일 때보다도 낮은 해상도 또는 작은 프레임레이트의 비트레이트를 결정하는
    정보 처리 장치.
  6. 제 1 항 또는 제 3 항에 있어서,
    상기 비트레이트의 레벨은 상기 동영상의 해상도의 레벨 및 상기 동영상의 프레임레이트의 레벨에 대응해 있고,
    상기 결정부는, 상기 동영상이 슬로우로 재생될 때에는, 통상 재생일 때보다도 높은 해상도 또는 큰 프레임레이트의 비트레이트를 결정하는
    정보 처리 장치.
  7. 삭제
  8. 제 1 항 또는 제 3 항에 있어서,
    상기 정지 화상 요구부는, 특정된 상기 통신 속도에 따른 파일 포맷의 상기 정지 화상을 요구하는
    정보 처리 장치.
  9. 제 1 항 또는 제 3 항에 있어서,
    상기 정지 화상 요구부는, 상기 동영상의 용도에 따른 파일 포맷의 상기 정지 화상을 요구하는
    정보 처리 장치.
  10. 제 1 항 또는 제 3 항에 있어서,
    상기 결정부는, 상기 동영상의 처음부터 재생이 개시되면 정해진 기간이 경과할 때까지는, 상기 데이터양 및 상기 통신 속도를 이용하지 않고 비트레이트를 결정하는
    정보 처리 장치.
  11. 제 1 항 또는 제 3 항에 있어서,
    복수의 비트레이트를 나타내는 비트레이트 정보를 취득하는 취득부를 구비하고,
    상기 결정부는 취득된 상기 비트레이트 정보가 나타내는 복수의 비트레이트 중의 어느 하나를 재생될 동영상의 비트레이트로서 결정하고,
    결정된 비트레이트에서의 상기 동영상의 스트리밍 전송을 요구하는 전송 요구부를 구비하는
    정보 처리 장치.
  12. 스트리밍 전송되는 동영상으로서 재생 중에 비트레이트를 변경 가능한 동영상의 표시 영역의 사이즈를 특정하고,
    상기 동영상의 앞으로 재생될 개소에 대하여 일시적으로 기억되는 데이터의 데이터양을 특정하고,
    상기 데이터의 수신에서의 통신 속도를 특정하고,
    특정된 상기 사이즈, 상기 데이터양 및 상기 통신 속도에 따라서, 재생될 동영상의 비트레이트를 결정하고,
    제 1 비트레이트에서의 상기 동영상의 재생 중에 당해 동영상의 한 장면의 정지 화상을 요구하는 조작이 행해지면, 당해 제 1 비트레이트보다 큰 제 2 비트레이트의 동영상의 당해 한 장면의 정지 화상을 요구하는 것을 구비하며,
    상기 스트리밍 전송에서는 복수의 비트레이트가 정해져 있고,
    상기 비트레이트를 결정하는 것은, 특정된 상기 표시 영역의 사이즈에 따른 비트레이트의 범위로서 특정된 상기 통신 속도를 초과하지 않는 비트레이트의 범위에서, 특정된 상기 데이터양만큼 일시적으로 기억된 상기 데이터가 나타내는 동영상이 재생되었을 경우의 재생 시간이 문턱값 이상일 경우에는, 당해 범위 중에서 큰 것에서부터 정해진 순번까지의 비트레이트 중의 어느 하나를 선택해, 상기 재생될 동영상의 비트레이트로서 결정하며,
    상기 비트레이트를 결정하는 것은, 상기 특정된 통신 속도 내에서, 상기 표시 영역의 특정된 사이즈와 연관된 비트레이트 범위 중 최대의 비트레이트를 선택하고,
    상기 표시 영역의 사이즈가 증가함에 따라 상기 비트레이트의 범위에 속한 상기 비트레이트의 최대값, 최소값 및 이들 사이의 중간값 중 적어도 어느 하나가 증가되도록, 상기 비트레이트의 범위가 설정되는
    정보 처리 방법.
KR1020160095304A 2016-02-29 2016-07-27 정보 처리 장치 및 정보 처리 방법 KR101918017B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016036943A JP2017157903A (ja) 2016-02-29 2016-02-29 情報処理装置
JPJP-P-2016-036943 2016-02-29

Publications (2)

Publication Number Publication Date
KR20170101755A KR20170101755A (ko) 2017-09-06
KR101918017B1 true KR101918017B1 (ko) 2018-11-13

Family

ID=56684463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095304A KR101918017B1 (ko) 2016-02-29 2016-07-27 정보 처리 장치 및 정보 처리 방법

Country Status (5)

Country Link
US (1) US10382832B2 (ko)
EP (1) EP3211906A1 (ko)
JP (1) JP2017157903A (ko)
KR (1) KR101918017B1 (ko)
CN (1) CN107135422B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102281128B1 (ko) * 2020-10-26 2021-07-26 한창엽 영상의 재생 방법
WO2022092760A1 (ko) * 2020-10-26 2022-05-05 주식회사 프로젝트한 영상의 재생 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190387271A1 (en) * 2017-01-30 2019-12-19 Sony Corporation Image processing apparatus, image processing method, and program
WO2019054360A1 (ja) * 2017-09-12 2019-03-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
JP7072404B2 (ja) * 2018-03-01 2022-05-20 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP7011721B2 (ja) * 2018-08-17 2022-01-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法及びプログラム
CN111698536B (zh) * 2019-03-15 2023-03-28 瑞昱半导体股份有限公司 视频处理方法与系统
US11856442B2 (en) * 2019-04-12 2023-12-26 Sony Group Corporation Control device, wireless communication device, and method of controlling wireless communication system
KR20210050752A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자장치 및 그 제어방법
CN118075517A (zh) 2019-12-11 2024-05-24 谷歌有限责任公司 用于选择流送媒体内容项的格式的方法、系统和介质
CN113141514B (zh) * 2020-01-17 2022-07-22 北京达佳互联信息技术有限公司 媒体流传输方法、系统、装置、设备及存储介质
US11979767B2 (en) * 2020-11-27 2024-05-07 At&T Intellectual Property I, L.P. Automatic adjustment of throughput rate to optimize wireless device battery performance
CN114363674B (zh) * 2021-12-09 2024-02-09 北京快乐茄信息技术有限公司 视频播放方法、装置、终端及存储介质
CN114979726B (zh) * 2022-06-30 2023-09-26 重庆紫光华山智安科技有限公司 码率调整方法、装置、服务器和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344941A (ja) * 2001-05-14 2002-11-29 Sony Corp コンテンツ品質制御システム
US20030222974A1 (en) * 2002-05-30 2003-12-04 Kddi Corporation Picture transmission system
JP2008270939A (ja) * 2007-04-17 2008-11-06 Victor Co Of Japan Ltd 動画像配信システム並びにサーバー装置及びクライアント装置
JP2011180810A (ja) * 2010-03-01 2011-09-15 Nec Corp コンテンツ配信システム、コンテンツ配信方法、コンテンツ配信装置、コンテンツ計測装置、及びプログラム
US20130227080A1 (en) * 2012-02-27 2013-08-29 Qualcomm Incorporated Dash client and receiver with playback rate selection
US20140258552A1 (en) * 2011-12-28 2014-09-11 Ozgur Oyman Video adaptation for content-aware wireless streaming

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344913A (ja) 2001-05-16 2002-11-29 Nec Yonezawa Ltd ネットワークにおける映像データの変換処理装置及び変換処理方法並びに変換処理サービス
JP2002369052A (ja) * 2001-06-06 2002-12-20 Nikon Corp 電子画像装置
WO2002102072A1 (fr) 2001-06-06 2002-12-19 Nikon Corporation Appareil d'imagerie electronique et systeme d'imagerie electronique
JP4387072B2 (ja) * 2001-07-12 2009-12-16 三菱電機株式会社 携帯型映像記録装置
JP2004088480A (ja) 2002-08-27 2004-03-18 Canon Inc 撮像装置及びそのデータ伝送制御方法
JP2006092341A (ja) 2004-09-24 2006-04-06 Victor Co Of Japan Ltd コンテンツ配信サーバ
JP2007036666A (ja) 2005-07-27 2007-02-08 Onkyo Corp コンテンツ配信システム、クライアント及びクライアントプログラム
JP4915208B2 (ja) * 2006-10-26 2012-04-11 三菱電機株式会社 ストリームデータ再生システム
JP4350742B2 (ja) 2006-12-19 2009-10-21 キヤノン株式会社 映像処理装置及び映像処理装置の制御方法
US7925774B2 (en) * 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
US8891946B2 (en) * 2009-09-09 2014-11-18 Netflix, Inc. Accelerated playback of streaming media
US8922665B2 (en) * 2010-10-06 2014-12-30 Microsoft Corporation Rapidly initializing and dynamically adjusting media streams
EP2472868A1 (en) * 2010-12-29 2012-07-04 British Telecommunications Public Limited Company Video coding
JP5187404B2 (ja) * 2011-01-27 2013-04-24 ブラザー工業株式会社 符号化装置、符号化方法、および符号化プログラム
JP5259848B2 (ja) * 2011-07-29 2013-08-07 株式会社東芝 再生制御装置及び再生制御方法
US9456387B2 (en) 2011-10-05 2016-09-27 Alcatel Lucent Method and apparatus for improving adaptive streaming video quality by optimizing resource allocation
EP2781070B1 (en) 2011-11-14 2018-06-20 Telefonaktiebolaget LM Ericsson (publ) Media streaming in mobile networks with improved efficiency
KR20190097306A (ko) 2012-01-19 2019-08-20 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
JP6021385B2 (ja) * 2012-03-30 2016-11-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 ストリーミングメディア再生装置、ストリーミングメディア再生方法、及びプログラム
KR20160063405A (ko) * 2012-04-24 2016-06-03 브이아이디 스케일, 인크. Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치
US9357272B2 (en) 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
JP2014183488A (ja) * 2013-03-19 2014-09-29 Enwa Co Ltd ストリーミング受信装置
JP2014192566A (ja) 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法およびコンピュータプログラム
KR102161230B1 (ko) * 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US9544352B2 (en) 2013-06-11 2017-01-10 Bitmovin Gmbh Adaptation logic for varying a bitrate
US20150026358A1 (en) 2013-07-19 2015-01-22 Futurewei Technologies, Inc. Metadata Information Signaling And Carriage In Dynamic Adaptive Streaming Over Hypertext Transfer Protocol
US9386257B2 (en) 2013-08-15 2016-07-05 Intel Corporation Apparatus, system and method of controlling wireless transmission of video streams
US10165028B2 (en) 2014-03-25 2018-12-25 Intel Corporation Context-aware streaming of digital content
JP2015194832A (ja) * 2014-03-31 2015-11-05 パイオニア株式会社 コンテンツ出力装置、コンテンツ配信サーバ、コンテンツ出力方法およびコンテンツ出力プログラム
GB2524958A (en) * 2014-04-03 2015-10-14 Orbital Multi Media Holdings Corp Data flow control method
US10200725B2 (en) * 2015-06-15 2019-02-05 Intel Corporation Adaptive data streaming based on virtual screen size

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344941A (ja) * 2001-05-14 2002-11-29 Sony Corp コンテンツ品質制御システム
US20030222974A1 (en) * 2002-05-30 2003-12-04 Kddi Corporation Picture transmission system
JP2008270939A (ja) * 2007-04-17 2008-11-06 Victor Co Of Japan Ltd 動画像配信システム並びにサーバー装置及びクライアント装置
JP2011180810A (ja) * 2010-03-01 2011-09-15 Nec Corp コンテンツ配信システム、コンテンツ配信方法、コンテンツ配信装置、コンテンツ計測装置、及びプログラム
US20140258552A1 (en) * 2011-12-28 2014-09-11 Ozgur Oyman Video adaptation for content-aware wireless streaming
US20130227080A1 (en) * 2012-02-27 2013-08-29 Qualcomm Incorporated Dash client and receiver with playback rate selection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102281128B1 (ko) * 2020-10-26 2021-07-26 한창엽 영상의 재생 방법
WO2022092760A1 (ko) * 2020-10-26 2022-05-05 주식회사 프로젝트한 영상의 재생 방법

Also Published As

Publication number Publication date
JP2017157903A (ja) 2017-09-07
US10382832B2 (en) 2019-08-13
US20170251274A1 (en) 2017-08-31
CN107135422B (zh) 2021-02-26
CN107135422A (zh) 2017-09-05
EP3211906A1 (en) 2017-08-30
KR20170101755A (ko) 2017-09-06

Similar Documents

Publication Publication Date Title
KR101918017B1 (ko) 정보 처리 장치 및 정보 처리 방법
WO2013132828A1 (ja) 通信システムおよび中継装置
JP2006050604A (ja) Ａｖデータ受信時のバッファ量をコンテンツ属性によって弾力的に調節する方法及び装置
US20110310965A1 (en) Communication device, communication method, and communication program product
CN113141514A (zh) 媒体流传输方法、系统、装置、设备及存储介质
JP2019083555A (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
CN110956683A (zh) 信息处理系统、终端装置及计算机可读介质
CN113141523A (zh) 资源传输方法、装置、终端及存储介质
JP2013214800A (ja) ストリーミングメディア再生装置、ストリーミングメディア再生方法、及びプログラム
KR102137133B1 (ko) 정보 처리 장치
WO2021143388A1 (zh) 码率切换方法及设备
JP4970912B2 (ja) 動画分割サーバおよびその制御方法
KR102123885B1 (ko) 표시 장치
JP2016021778A (ja) ストリーミングメディア再生装置、ストリーミングメディア再生方法、及びプログラム
JP4040268B2 (ja) 撮像記録装置
JP5505591B2 (ja) 動画像配信システム、動画像配信装置および動画像配信方法
JP2005352412A (ja) 動画表示装置、動画送信装置、テレビ電話システム、動画表示方法、動画記録方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP4065526B2 (ja) 撮像装置及び記録装置
JP4902326B2 (ja) 動画送信サーバおよびその制御方法
JP2008054150A (ja) 複数チャンネル画像転送装置
KR20220032938A (ko) 전자 장치 및 그 동작 방법
JP4893356B2 (ja) ネットワーク画像伝送表示方法
KR101190753B1 (ko) 디지털 비디오 레코더의 비디오 프레임 전송방법
JP2005277803A (ja) 動画像再生装置
JP2006067576A (ja) 撮像記録装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant