KR101705928B1 - 송신 장치, 수신 장치, 송신 방법, 수신 방법 및 전송 시스템 - Google Patents

송신 장치, 수신 장치, 송신 방법, 수신 방법 및 전송 시스템 Download PDF

Info

Publication number
KR101705928B1
KR101705928B1 KR1020127004117A KR20127004117A KR101705928B1 KR 101705928 B1 KR101705928 B1 KR 101705928B1 KR 1020127004117 A KR1020127004117 A KR 1020127004117A KR 20127004117 A KR20127004117 A KR 20127004117A KR 101705928 B1 KR101705928 B1 KR 101705928B1
Authority
KR
South Korea
Prior art keywords
bit stream
image
area
unit
region
Prior art date
Application number
KR1020127004117A
Other languages
English (en)
Other versions
KR20120042996A (ko
Inventor
히로유끼 가사이
나오후미 우찌하라
Original Assignee
가부시키가이샤 근조
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 근조 filed Critical 가부시키가이샤 근조
Publication of KR20120042996A publication Critical patent/KR20120042996A/ko
Application granted granted Critical
Publication of KR101705928B1 publication Critical patent/KR101705928B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

유저가 시청을 희망하는 영역에 대응하는 고정밀한 영상 신호의 배신을, 송신 장치에 있어서의 처리 부담을 증대시키지 않고 실현한다. 입력 영상 신호의 영상 영역을 소정수의 영역으로 분할하여 영역 분할 영상 신호를 생성하는 영상 영역 분할 처리부(20)와, 영역 분할 영상 신호를 부호화하여 영상 비트스트림을 생성하는 부호화 처리부(30)를 구비한다. 또한, 복수의 영상 비트스트림을 축적하는 영상 비트스트림군 축적부(40)와, 수신 장치(2)로부터 송신되는 시청 위치의 정보를 포함하는 시점 정보를 수신하는 시점 정보 수신부(60)를 구비한다. 게다가, 시청 위치에 따라 특정되는 제1 영역에 대응하는 영상 비트스트림 및 제1 영역의 주변 영역인 제2 영역에 대응하는 영상 비트스트림을 영상 비트스트림군 축적부(40)로부터 추출하여 전송용의 영상 비트스트림을 생성하고, 수신 장치(2)에 송신하도록 하였다.

Description

송신 장치, 수신 장치, 송신 방법, 수신 방법 및 전송 시스템{TRANSMITTING APPARATUS, RECEIVING APPARATUS, TRANSMITTING METHOD, RECEIVING METHOD AND TRANSPORT SYSTEM}
본 발명은 송신 장치, 수신 장치, 송신 방법, 수신 방법 및 전송 시스템에 관한 것으로서, 특히 수신 장치측에서 지정된 임의의 시청 영역에 대응하는 영상을, 송신 장치로부터 수신 장치에 배신하는 기술 및 배신된 영상으로부터 표시용의 화상을 생성하는 기술에 관한 것이다.
최근 들어, 디지털화 기술의 발전에 따라 영상의 고정밀화가 진행하고 있다. 또한, MPEG(Moving Picture Experts Group)-2나 MPEG-4 등의 동화상 부호화 기술이나 네트워크 통신기술의 발전에 의해 이것들의 고정밀 영상을 휴대 전화 단말기 등의 클라이언트 단말기에 전송하는 것도 가능하게 되었다.
고정밀 영상을 클라이언트 단말기에 네트워크를 통하여 전송하는 때에는 네트워크의 전송 대역에 적합한 비트레이트를 갖는 영상 부호화 비트스트림을 생성 할 필요가 있다. 비트스트림이란 압축된 정보 공간(압축 신호 공간)을 갖는 정보 계열을 의미한다.
영상 부호화 비트스트림의 생성은 배신 서버 등에 있어서, 고정밀한 오리지널 영상을 전송 대역에 적합한 영상 크기로 비압축 신호 공간에서 축소하고, 축소된 신호에 대하여 영상 부호화함으로써 행할 수 있다.
한편, 고정밀한 오리지널 영상을 비압축 신호 공간에서 축소하지 않고, 오리지널 영상과 동일한 해상도 품질로 부호화한 영상 부호화 비트스트림을 작성해 두고, 필요에 따라, 전송 대역에 적합한 저해상도의 영상 부호화 비트스트림으로 변환하는 것도 행해지고 있다. 저해상도의 영상 부호화 비트스트림으로의 변환은 영상 부호 변환 기술인 트랜스코딩 기술을 사용하여 행한다.
이러한 트랜스코딩 기술을 사용하여 저해상도로 변환된, 전송 대역에 적합한비트레이트를 갖는 영상 전체를 배신하는 것에 대해서는 예를 들어 특허문헌 1, 특허문헌 2에 기재되어 있다. 이 경우에는 클라이언트 단말기에 있어서, 배신 서버로부터 수신한 저해상도 영상 부호화 비트스트림을 사용하여 영상 확대 처리를 행함으로써 특정한 영역에 대응하는 영상 부호화 비트스트림을 생성할 수 있다.
그런데, 이 영상 확대 처리는 영상 신호의 보간을 행하는 것을 의미하고 있어, 표시하는 영상의 크기만을 확대시키는 결과가 된다. 이에 의해 클라이언트 단말기에 표시되는 영상의 해상도가 저하해버리기 때문에, 시청 영역에 표시된 영상의 상세를 유저가 파악하는 것이 어려워지게 된다라고 하는 문제가 있었다.
이러한 문제를 해결하기 위해서, 시청을 희망하는 시청 영역의 영상을, 클라이언트 단말기에 있어서 오리지날의 영상의 해상도 품질 그대로 시청할 수 있도록 하는 것도 행해지고 있다. 이 경우, 우선 클라이언트 단말기로부터 배신 서버에 대하여, 유저가 시청을 희망하는 영역을 지정하는 정보를 송신시킨다. 그리고 배신 서버에 있어서, 시청 영역에 대응하는 영상 신호를 비압축 신호인 오리지날의 고정밀 영상으로부터 추출하고, 그 후, 영상 부호화 처리를 행함으로써 시청 영역에 대응하는 영상 부호화 비트스트림(이하, 시청 영역 영상 부호화 비트스트림이라고 칭함)을 생성한다. 이때, 해상도 품질을 원래의 오리지널 영상과 동일한 그대로의 것으로 함으로써 배신 서버로부터 클라이언트 단말기에 송신하는 영상의 품질을 높게 유지할 수 있게 된다.
또한, 시청 영역 영상 부호화 비트스트림을 비압축 신호인 오리지날의 영상 신호로부터 생성하는 것이 아니라, 미리 생성해 둔 영상 부호화 비트스트림으로부터 생성하는 것도 행해지고 있다. 이 경우에는 오리지날의 고정밀 영상과 동일한 해상도 품질을 갖는 영상 부호화 비트스트림을 미리 생성해 두는 수순이 필요해진다. 여기서 생성하는 영상 부호화 비트스트림은 특정한 영역에 대응하는 것이 아니라, 전체 영역을 대응시킨 것이 된다.
그리고, 클라이언트 단말기로부터 시청 영역을 지정하는 정보(이하, 시청 영역 지정 정보라고 칭함)가 송신된 타이밍에서, 영상 부호화 비트스트림을 일단 비압축 신호로 복호하고, 복호된 영상 신호로부터 시청 영역에 대응하는 영상 신호를 추출하고 다시 영상 부호화를 행한다. 이에 의해 배신 서버에 있어서, 시청 영역에 대응한 고해상도 품질의 영상 부호화 비트스트림이 생성되게 된다.
예를 들어 특허문헌 3에는 클라이언트 단말기로부터, 시청 영역 지정 정보가 아니라, 배신을 희망하는 영상에 관한 부호화 파라미터 등의 설정값이 송신되는 구성이 기재되어 있다. 그리고, 유저로부터 설정값이 송신된 단계에서, 배신측의 장치로 미리 MPEG-2의 파일 형식에서 압축되어 있었던 영상을 일단 복호하고, 지정된 설정값에 기초하여 MPEG-4의 파일 형식으로 재부호화하는 방법이 기재되어 있다.
미국 특허 제5307167호 명세서 일본 특허 공개 평2-135880호 공보 일본 특허 공개 제2004-266690호 공보
그러나, 시청 영역으로서 지정된 영역에 대응하는 영상 신호를 고정밀 영상의 해상도 품질로 부호화하는 경우에, 영상의 시청을 희망하는 유저가 다수 존재하는 경우에는 유저 요구마다의 영상 부호화 처리가 필요해지게 된다. 또한, 유저로부터 송신되는 시청 영역 지정 정보가 시간이 경과할 때마다 변화하는 경우에는 시청 영역 지정 정보에 변화가 발생할 때마다 영상 부호화 처리를 행할 필요가 있다. 즉, 배신 서버 내에서의 처리 부하가 증가하게 된다. 또한, 영상 부호화 처리를 유저마다 행할 필요가 있기 때문에, 유저의 수에 비례하여, 배신 서버에 있어서의 영상 부호화 처리에 대한 처리 부하도 증가해버린다.
또한, 배신 대상 영상의 축적의 관점에 대하여 생각하면, 시청 영역으로서 지정된 영역에 대응하는 영상 신호를 추출하여 부호화하는 방식에서는 오리지날의 고정밀 영상은 비압축 신호로 축적해 두는 것이 필요해진다. 이에 의해 오리지날의 영상 신호를 저장하기 위한 기억 장치에는 엄청난 축적 용량이 요구되게 된다. 이로 인해, 영상의 배신을 행하는 기업이나 프로바이더 등에 있어서, 배신 서버의 구축이나 유지에 걸리는 비용이 증대해 버린다는 문제가 있었다.
한편, 미리 영상을 부호화해 두고, 부호화에 의해 생성된 영상 부호화 비트스트림을 일단 복호하고 다시 부호화하는 방법에 있어서는 클라이언트 단말기에 배신되는 영상은 모두 재부호화된 영상이 된다. 이로 인해, 클라이언트 단말기에 송신되는 영상 부호화 비트스트림에 있어서, 재부호화 처리에 의해 발생하는 품질 열화를 회피할 수 없다는 문제가 있었다.
본 발명은 이러한 점을 감안하여 이루어진 것으로서, 유저가 시청을 희망하는 영역에 대응하는 고정밀한 영상의 배신을, 서버 등의 송신 장치에 있어서의 처리 부담을 증대시키지 않고 실현하는 것을 목적으로 한다.
상기 과제를 해결하기 위해서, 본 발명은 입력 영상 신호의 영상 영역을 소정수의 영역으로 분할하고, 분할된 각 영역에 대응하는 복수의 영역 분할 영상 신호를 생성하는 영상 영역 분할 처리부와, 복수의 영역 분할 영상 신호를 부호화하여 복수의 영상 비트스트림을 생성하는 부호화 처리부를 구비한다. 또한, 부호화 처리부에서 생성된 복수의 영상 비트스트림을 축적하는 영상 비트스트림군 축적부와, 상기 송신 장치와 네트워크로 접속된 수신 장치로부터 송신되는 영상 영역 중에서 수신 장치의 유저에 의해 시청을 희망하는 영역으로서 지정된 시청 위치의 정보를 포함하는 시점 정보를 수신하는 시점 정보 수신부를 구비한다. 게다가, 시점 정보 수신부에서 수신한 시점 정보에 기초하여, 시청 위치에 따라 특정되는 제1 영역에 대응하는 영상 비트스트림 및 시청 위치에 따라 특정되는 영역의 주변 영역인 제2 영역에 대응하는 영상 비트스트림을 영상 비트스트림군 축적부로부터 추출하여 전송용의 영상 비트스트림을 생성하고, 수신 장치에 송신하도록 하였다.
이렇게 구성함으로써 오리지날의 입력 영상 신호의 영상은 복수의 영역으로 분할되고, 분할된 각각의 영역을 구성하는 영상 신호가 부호화되어서 영상 비트스트림이 생성되어서 송신 장치 내에 축적된다. 그리고, 수신 장치로부터 송신된 시점 정보에 기초하여, 시청 위치에 따라 특정되는 영역에 대응하는 영상 비트스트림이 추출되어, 수신 장치에 송신되게 된다.
이에 의해 송신 장치측에서, 수신 장치로부터 시청 위치의 정보가 송신될 때마다, 시청 위치에 대응하는 영상 신호의 부호화 처리를 행할 필요가 없어진다.
또한, 시청 위치에 따라 특정되는 영역(제1 영역)의 영상 비트스트림뿐만아니라, 그의 주변의 영역(제2 영역)의 영상 비트스트림도 아울러 수신 장치에 송신된다.
이에 의해, 수신 장치측에서 시청 위치가 이동하는 경우에도, 이동처의 영역이 상기 주변 영역에 한정되어, 대응하는 영상 비트스트림을 새롭게 송신 장치로부터 취득할 필요가 없어진다.
본 발명에 따르면, 송신 장치로의 처리 부담을 경감하면서, 유저가 시청하고 싶은 위치에 대응하는 영상 비트스트림의 배신을 지연이 적은 형태로 행할 수 있게 된다.
또한, 본 발명에 따르면, 수신 장치측에서 시청 위치가 이동하는 경우에도, 이미 송신 장치로부터 송신 완료된 제2 영역에 대응하는 영상 비트스트림을 사용하여, 빠르게 표시 영상을 생성할 수 있다.
도 1은 본 발명의 제1 실시 형태에 따른 전송 시스템의 개요를 도시하는 개요도이다.
도 2는 본 발명의 제1 실시 형태에 따른 전송 영역의 구성예를 도시하는 설명도이다.
도 3은 본 발명의 제1 실시 형태에 따른 시청 위치의 이동 속도에 따른 부호화 품질 제어의 예를 도시하는 설명도이다.
도 4는 본 발명의 제1 실시 형태에 따른 서버의 구성예를 도시하는 블록도이다.
도 5는 본 발명의 제1 실시 형태에 따른 멀티스트림 정보와 시점 정보를 구성하는 요소를 설명하는 설명도이다.
도 6은 본 발명의 제1 실시 형태에 따른 서버 중의 클라이언트 스테이터스 관리부의 내부 구성예를 도시하는 블록도이다.
도 7은 본 발명의 제1 실시 형태에 따른 서버 중의 음성 비트스트림 추출·믹서 처리부의 처리의 예를 설명하는 설명도이다.
도 8은 본 발명의 제1 실시 형태에 따른 서버 중의 싱글스트림 생성부의 내부 구성예를 도시하는 블록도이다.
도 9는 본 발명의 제1 실시 형태에 따른 서버 중의 싱글스트림 구성부의 내부 구성예를 도시하는 블록도이다.
도 10은 본 발명의 제1 실시 형태에 따른 서버 중의 싱글스트림 재구성 처리 제어부의 내부 구성예를 도시하는 블록도이다.
도 11은 본 발명의 제1 실시 형태에 따른 클라이언트의 내부 구성예를 도시하는 블록도이다.
도 12는 본 발명의 제1 실시 형태에 따른 전송 시스템의 동작의 예를 도시하는 흐름도이다.
도 13은 본 발명의 제2 실시 형태에 따른 서버의 구성예를 도시하는 개요도이다.
이하, 발명을 실시하기 위한 형태에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다. 1. 제1 실시 형태(촬상 장치로부터 공급되는 영상 신호를 클라이언트에 배신하는 예), 2. 제2 실시 형태(복수의 영상 배신 서버로부터 공급되는 영상 신호를 클라이언트에 배신하는 예)
<1. 제1 실시 형태>
본 실시 형태(이하, 본 예라고도 칭함)에서는 본 발명의 송신 장치를 서버에 적용하고, 본 발명의 수신 장치를 휴대 전화 단말기에 적용한 예를 설명한다. 단, 본 발명의 수신 장치는 휴대 전화 단말기에 한하지 않고, 예를 들어 PDA(Personal Digital Assistants)나 퍼스널 컴퓨터, 음성 재생 장치나 게임 단말기 등, 통신 기능 및 표시부에 영상을 표시시키는 기능을 갖는 여러가지 장치에 적용 가능하다.
또한, 설명은 이하의 순서로 행한다.
(1) 전송 시스템의 개요
(2) 서버의 구성예
(3) 클라이언트의 구성예
(4) 전송 시스템의 동작예
[전송 시스템의 개요]
우선, 도 1 내지 도 3을 참조하여 본 예의 전송 시스템의 개요에 대하여 설명한다.
도 1은 본 실시 형태의 전송 시스템의 개요를 도시하는 것이다. 도 1에 도시하는 전송 시스템은 영상의 배신을 행하는 서버(1)와 클라이언트(2)에 의해 구성된다. 서버(1)와 클라이언트(2)는 네트워크(3)를 통하여 접속되어 있다. 또한, 도 1에 있어서는 클라이언트(2)를 1개만 표시하고 있지만, 실제로는 복수의 클라이언트(2)가 네트워크(3)를 통하여 서버(1)에 액세스할 수 있도록 구성되어 있다.
서버(1)에는 도시하지 않은 촬상 장치로 구성되는 영상 신호 입력부가 접속하고 있고, 영상 신호 입력부에서 얻어진 고정밀한 영상이 서버(1)에 입력된다. 여기에서 말하는 고정밀한 영상으로서는 본 예에서는 예를 들어 3600 화소×2400 화소 등의 해상도를 갖는 것을 상정하고 있다. 또한, 해상도는 이것에 한정되는 것은 아니라, 7680 화소×4320 화소 등의 다른 해상도를 갖는 영상 신호를 취급하도록 해도 된다.
클라이언트(2)에서는 서버(1)가 갖는 고정밀한 오리지널 영상 중에서 시청을 희망하는 특정한 영역(이하, 시청 희망 영역이라고 칭함)을 지정하는 조작이 행해진다. 구체적으로는 클라이언트(2)의 표시부(213)의 화면 상에 작은 프레임(213a)를 표시시키고, 이 프레임(213a)의 위치나 크기가 변하도록 구성함으로써 유저가 시청 희망 영역을 특정할 수 있도록 하고 있다.
또한, 이 시청 희망 영역을 확대 또는 축소하는 조작도 행할 수 있도록 하고 있다. 유저가 화면 내의 특정한 영역의 영상을 보다 고해상도로 시청하거나, 보다 낮은 해상도로 오리지날의 고정밀 영상의 전체 형상을 부감(俯瞰)할 수 있도록 하기 위해서이다.
이러한, 시청 희망 영역의 크기나 위치, 시청 희망 영역의 확대 또는 축소하는 조작의 정보(즉, 시청을 희망하는 해상도의 정보; 이하, 「요구 해상도」라고 칭함)는 「시점 정보」로서 클라이언트(2)로부터 서버(1)에 연속적으로 송신된다. 요구 해상도의 파라미터는 오리지날의 고정밀 영상의 해상도를 1로 한 경우의 비율(예를 들어 1, 2, 10 등)로 설정할 수 있는 것으로 한다. 서버(1)에의 시점 정보의 송신은 시점 정보에 변화가 발생할 때마다 행해진다.
이러한 기능을 실현하기 위해서, 서버(1)에 있어서는 우선, 영상 신호 입력 부로부터 공급된 오리지날의 비압축의 고정밀 영상으로부터, 영상 부호화 비트스트림(이하, 간단히 비트스트림이라고도 칭함)을 생성하는 처리를 행한다.
이 영상 부호화 비트스트림은 오리지날의 고정밀 영상의 영상 영역을 복수의 영역으로 분할하여 얻어지는 각 분할 영역 단위로 생성한다. 이하의 설명에서는 분할 영역마다 생성한 비트스트림을 분할 영역 영상 비트스트림이라고 칭한다.
서버(1)는 이러한 분할 영역 영상 비트스트림을 미리 생성하고, HDD(Hard Disk Drive) 등으로 구성되는 영상 비트스트림군 축적부(40)에 축적해 둔다. 그리고 클라이언트(2)로부터 시점 정보가 송신된 타이밍에서, 시점 정보에 의해 특정되는 영역에 대응하는 비트스트림을 추출하여 클라이언트(2)에 송신한다.
이에 의해 복수의 클라이언트(2)로부터 그 위치가 서로 다른 여러가지 시점 정보가 송신된 경우에도, 서버(1)는 시점 정보에 의해 특정되는 영역에 대응하는 비트스트림을 추출하여 클라이언트(2)에 송신하는 것만이여도 되게 된다.
또한, 서버(1)에서는 이 분할 영역 영상 비트스트림을 복수의 해상도에 대응시켜서 생성하는 것을 행한다. 본 예에서는 「저해상도」, 「중해상도」, 「고해상도」의 3개의 해상도 레벨마다, 각각 분할 영역 영상 비트스트림을 생성하는 예를 든다. 그리고, 이렇게 생성한 각 해상도에 대응하는 분할 영역 영상 비트스트림을 영상 비트스트림군 축적부(40) 내에 축적해 둔다.
또한, 본 예에서는 해상도 레벨을 3개 설치한 예를 들고 있지만, 이것에 한정되는 것은 아니다. 예를 들어 4개나 5개 등, 해상도의 분류를 보다 미세한 단계에서 행하도록 해도 되고, 2단계 등의 보다 성긴 단계로 설정하도록 해도 된다.
도 1에 도시하는 영상 비트스트림군 축적부(40) 내의 「저해상도 스트림」에는 「저해상도」에 대응하는 분할 영역 영상 비트스트림이 축적된다. 「저해상도」의 해상도로서는 클라이언트(2)의 표시부(213)의 화면 해상도와 동일 정도의 낮은 해상도가 설정된다. 구체적으로는 예를 들어 QVGA(360 화소×240 화소) 등의 해상도가 설정된다. 이 저해상도의 비트스트림(40a)은 오리지널 고정밀 영상의 1 화면에 대하여 1개 생성된다.
이 저해상도의 비트스트림(40a)이 클라이언트(2)에 송신되어, 클라이언트(2)의 표시부(213)의 화면 상에 표시됨으로써, 클라이언트(2)의 유저는 오리지날의 고정밀 영상의 전체 형상을 화면 상에서 파악할 수 있게 된다.
「고해상도 비트스트림군」(40c)에는 오리지날의 고정밀 영상에 있어서의 해상도 품질과 동등한 해상도 품질을 갖는 분할 영역 영상 비트스트림이 축적된다. 이 「고해상도 비트스트림군」(40c)은 유저에 의해 선택된 시청 희망 영역에 대응하는 화상을, 오리지날의 영상과 동일 정도의 고해상도 품질로 배신 가능하게 하는 목적에서 생성된다.
「중해상도 비트스트림군」(40b)에는 「중해상도」의 해상도를 갖는 분할 영역 영상 비트스트림이 축적된다. 「중해상도」의 해상도로서는 상술한 「저해상도」의 해상도와, 「고해상도」의 해상도의 중간의 해상도가 설정된다. 즉 「저해상도」의 해상도가 360 화소×240 화소이며, 「고해상도」의 해상도가 3600 화소×2400 화소인 경우에는 「중해상도 비트스트림군」에는 1620 화소×1080 화소 등의 해상도를 갖는 분할 영역 영상 비트스트림이 축적된다.
「저해상도 비트스트림」(40a), 「중해상도 비트스트림군」(40b), 「고해상도 비트스트림군」(40c)으로서 축적된 비트스트림(군)은 전환부(83)의 접속처가 선택적으로 전환되는 것에 의해 어느 하나가 선택되어서 클라이언트(2)에 송신된다. 전환부(83)의 전환의 제어는 클라이언트(2)로부터 송신되는 시점 정보(213b)의 내용에 기초하여 행한다. 즉, 시점 정보(213b)에 의해 특정되는 영역에 대응하는 복수의 비트스트림이 영상 비트스트림군 축적부(40)로부터 추출되어 클라이언트(2)에 송신된다.
예를 들어, 시점 정보(213b)에 포함되는 위치 정보(시청 희망 영역의 위치 정보)가 고정밀한 오리지널 영상의 좌측 상단부를 나타내고 있어, 요구 해상도가 "10"(해상도 품질=1/10)인 경우를 상정한다. 이 경우에는 저해상도 비트스트림(40a)이 추출되어서 클라이언트(2)에 송신된다. 즉, 오리지날의 고정밀 영상의 전체 영상을 클라이언트(2)의 표시부(213)의 화면 크기(예를 들어 QVGA)에 수습되는 저해상도로 변환함으로써 생성된 저해상도 비트스트림(40a)이 선택되어서 클라이언트(2)에 송신된다.
한편, 시점 정보에 포함되는 위치 정보가 동일하게 고정밀한 오리지널 영상의 좌측 상단부를 나타내고 있어도, 요구 해상도가 "1"인 경우에는 고해상도 비트스트림군(40c) 중에서 시청 희망 영역에 대응하는 복수의 비트스트림이 추출된다. 즉, 오리지날의 영상의 좌측 상단부로부터, 클라이언트(2)의 표시부(213)의 해상도와 대응하는 360 화소×240 화소의 영역분의 비트스트림이 추출되어, 시청 희망 영역에 대응하는 영상으로서 클라이언트(2)에 송신된다.
마찬가지로, 요구 해상도가 "5"(해상도 품질=1/5)인 경우에는 중해상도 비트스트림군(40b) 중에서 오리지널 영상의 좌측 상단부에서 720 화소×480 화소의 영역에 대응하는 복수의 비트스트림이 추출되어 클라이언트(2)에 송신된다.
이렇게 구성함으로써 클라이언트(2)로부터 서버(1)에 대하여 여러가지 값의 요구 해상도가 송신된 경우에도, 대응하는 비트스트림을 서버(1)가 바로 추출하여 클라이언트(2)가 송신할 수 있도록 된다.
또한, 본 예의 서버(1)는 시점 정보에 의해 특정되는 시청 희망 영역에 대응하는 비트스트림뿐만아니라, 시청 희망 영역의 주위의 영역을 구성하는 비트스트림도 클라이언트(2)에 송신하는 것을 행한다. 시청 희망 영역의 위치(유저의 시점이 있는 위치; 이하, 시점 위치라고도 칭함)에 이동이 있었던 경우에도, 시선의 이동처의 영역에 있는 영상을 바로 클라이언트(2)의 표시 화면 상에 표시할 수 있도록 하기 위해서이다.
도 2는 서버(1)가 비트스트림을 추출하는 대상 영역의 예를 도시한 것이다. 도 2의 가장 외측의 프레임이 오리지널 영상의 1 화면(전체 영역(Aw))을 나타내고 있고, 굵은선으로 나타낸 가장 작은 프레임이 클라이언트(2)로부터 송신된 시청 희망 영역에 의해 특정되는 영역(Ad)을 나타낸다. 이 영역(Ad)에 있는 화상은 클라이언트(2)에 송신된 후에 그의 표시부(213)의 화면 상에서 표시되기 때문에, 이후의 설명에서는 이 영역(Ad)을 표시 영역(Ad)(제1 영역)이라고 칭한다.
표시 영역(Ad)의 주위의 영역인 일점쇄선으로 나타난 큰 프레임으로 둘러싸인 영역은 서버(1)로부터 클라이언트(2)에 실제로 전송되는 비트스트림에 의해 구성되는 영역이다. 이후의 설명에서는 이 영역을 전송 영역(At)(제2 영역)이라고 칭한다. 즉, 본 예의 전송 시스템에서는 시청 희망 영역에 대응하는 표시 영역(Ad)을 구성하는 비트스트림뿐만아니라, 그의 주위의 영역을 구성하는 비트스트림도 아울러 클라이언트(2)에 송신한다.
단, 본 예의 전송 시스템에서는 고정 비트레이트에 의한 배신 또는 네트워크 대역에 여유가 없는 경우의 배신을 상정하고 있다. 따라서, 표시 영역(Ad)뿐만아니라 그의 주변의 영역을 구성하는 비트스트림을 배신함으로써 네트워크의 대역을 압박하게 되는 것이 상정된다.
이 문제를 해결하기 위해서, 서버(1)에서는 전송 영역(At) 중의 표시 영역(Ad)과 그의 주변의 영역과의 사이에 부호화의 품질에 따른 우선도를 붙이고, 비트스트림을 생성하는 것을 행한다. 구체적으로는 표시 영역(Ad)의 주변의 영역에는 표시 영역(Ad)을 구성하는 비트스트림에 비하여 저품질(부호량이 적은) 비트스트림을 할당함으로써 네트워크상을 흐르는 데이터량을 저감시킨다.
도 2에 도시한 예에서는 전송 영역(At) 중의 파선으로 둘러싸진 영역에 고품질의(부호화량이 많은) 비트스트림을 할당하고 있다(고품질 부호화 영역(Ah); 제3 영역). 한편, 전송 영역(At) 중의 고품질 부호화 영역(Ah) 이외의 영역에 고품질 부호화 영역(Ah)에 할당되는 비트스트림보다도 저품질의 비트스트림을 할당하고 있다(저품질 부호화 영역(Al); 제4 영역).
그러나, 유저에 의한 시점 위치가 빠르게 변화하고 있는 경우 등에, 표시 영역(Ad)의 이동 속도가 빠른 경우에는 주변 영역에의 액세스의 가능성도 증가한다. 이러한 경우에는 주변 영역에 할당하는 비트스트림의 품질을 표시 영역(Ad)이 이동 하고 있지 않은 경우에 있어서의 것보다 조금 높게(중품질로) 하는 것을 행한다. 한편, 표시 영역(Ad)에 할당하는 비트스트림의 품질은 표시 영역(Ad)이 이동하고 있지 않은 경우에 있어서의 것보다 조금 낮게 하는 것을 행한다.
이와 같이, 고품질의 비트스트림을 할당하는 우선도를 시점 위치(표시 영역(Ad))의 이동 속도에 따라서 동적으로 변화시킴으로써, 고정 비트레이트에 의한 배신을 행하는 경우에도, 우선적으로 송신해야 할 데이터에 보다 많은 대역이 할당할 수 있게 된다. 한편, 클라이언트측에서는 시선 위치의 이동 속도가 빠른 경우에도, 서버(1)로부터 전송 영역(At)으로서 이미 송신된 표시 영역(Ad) 이외의 영역을 구성하는 비트스트림을 사용하여 신속히 표시 영상을 생성할 수 있도록 된다.
도 3은 시각에 따라 변화하는 시점 위치(표시 영역(Ad))의 이동 속도와, 전송 영역(At)를 구성하는 각 영역에 할당하는 부호량과의 대응예를 도시한 도면이다. 도 3에 있어서, X축과 Y축은 오리지널 영상의 전체 영역(Aw)의 X축과 Y축에 대응하고 있고, Z축은 시간 방향을 나타내고 있다. 또한, 각 영역에 할당하는 품질의 고저를 각각 상이한 도안에 의해 구별하여 나타내고 있다. 또한, 도 3에 있어서 도 2와 대응하는 개소에는 동일한 부호를 부여하고 있다.
시간 방향으로 있어서의 시각 T0부터 시각 T1까지의 동안에는 표시 영역(Ad)의 위치에 큰 변화가 없다. 즉, 유저의 시점 위치가 거의 동일 위치에 머물러 있는 것을 알 수 있다. 이러한 경우에는 시점 위치가 표시 영역(Ad) 이외의 주변의 영역으로 이동할 가능성은 낮은 것으로 생각된다. 따라서, 시점 위치에 대응하는 표시 영역(Ad)을 포함하는 고품질 부호화 영역(Ah)에 고품질의 비트스트림을 할당하고, 전송 영역(At)에 있어서의 그것 이외의 영역에는 저품질의 비트스트림을 할당하고 있다.
시각 T1 내지 시각 T3까지의 동안에는 표시 영역(Ad)의 위치가 크게 변화하고 있어, 그의 이동 속도도 빠른 것이 나타나 있다. 이러한 경우에는 시점 위치가 표시 영역(Ad) 이외의 영역으로 이동할 가능성이 높은 것으로 생각된다. 이로 인해, 표시 영역(Ad)에 할당하는 비트스트림의 품질을 시각 T0 내지 시각 T1에 있어서 할당한 품질(고품질)보다도 조금 떨어뜨리는 것을 행하고 있다. 또한, 표시 영역(Ad)을 포함하지 않는 전송 영역(At)에 할당하는 비트스트림의 품질은 시각 T0 내지 시각 T1에 있어서 할당한 품질(저품질)보다도 조금 높이는 것을 행하고 있다. 또한, 시점 위치가 고속으로 이동하는 경우에는 인간의 시각 능력이 저하하여, 영상의 품질의 열화에 대해서도 둔감해지는 것이 상정된다. 따라서, 표시 영역(Ad)에 할당하는 비트스트림의 품질을 떨어뜨려도, 그것이 그대로 영상 품질의 열화로서 유저에게 포착될 가능성은 낮을 것으로 생각된다.
[서버의 구성예]
이어서, 도 4 내지 도 10을 참조하여, 서버(1)의 구성예에 대하여 설명한다. 도 4는 서버(1)의 내부 구성예를 도시한 블록도이다. 서버(1)에는 영상 신호 입력부(10)가 접속되어 있다. 또한, 서버(1)에는 영상 영역 분할 처리부(20)와, 부분 영역 부호화 처리부(30)와, 영상 비트스트림군 축적부(40)와, 멀티스트림 정보 축적부(50)가 포함된다.
영상 신호 입력부(10)는 전술한 바와 같은 3600 화소×2400 화소 등의 고정밀한 영상 신호(10a)를 출력하는 것이며, 예를 들어 방송용의 카메라나 감시 카메라, 텔레비전 회의 등에 사용되는 카메라 등으로 구성된다. 영상 영역 분할 처리부(20)는 영상 신호 입력부(10)로부터 입력되는 영상 신호(10a)로 이루어지는 영상 영역을 복수의 영역으로 분할한다. 여기에서 행하는 분할은 도시하지 않은 제어부 등으로부터 입력되는 해상도 레벨을 지시하는 파라미터(해상도 레벨 정보(20a))에 따라, 고해상도, 중해상도, 저해상도 각각의 레벨마다 행한다. 그리고, 영역 분할 영상 신호(20b), 즉 고해상도의 영역 분할 영상 신호(제1 영역 분할 영상 신호)와, 중해상도의 영역 분할 영상 신호(제2 (중해상도) 영역 분할 영상 신호와, 저해상도의 영역 분할 영상 신호(제2 (저해상도) 영역 분할 영상 신호가 생성된다.
부분 영역 부호화 처리부(30)는 영상 영역 분할 처리부(20)에 의해 생성된 각 해상도 레벨에 있어서의 각 분할 영역의 영상 신호를 부호화하고, 분할 영역 영상 비트스트림(30a)을 생성한다. 여기에서 행하는 부호화는 각 분할 영역 간에서, 움직임 벡터나 양자화 계수, 양자화 파라미터 등의 예측 관계를 갖게 하지 않는 형태로 행한다. 부호화 방식으로서는 예를 들어, MPEG-2이나 MPEG-4SP, H.263, H.264 등을 사용하는 것으로 한다.
영상 비트스트림군 축적부(40)는 부분 영역 부호화 처리부(30)에서 생성된 복수의 분할 영역 영상 비트스트림을 해상도의 레벨마다 분류하여 축적한다. 즉, 도 1에 도시한 바와 같이, 부분 영역 부호화 처리부(30)에서 생성된 각 분할 영역 영상 비트스트림을 저해상도 비트스트림(40a), 중해상도 비트스트림군(40b), 고해상도 비트스트림군(40c)으로서 축적한다.
멀티스트림 정보 축적부(50)는 부분 영역 부호화 처리부(30)에서 생성된 각 분할 영역 영상 비트스트림의 부호화 품질에 관한 정보와, 각 분할 영역이 전체 영역(Aw) 내의 어느 위치에 속해 있는지를 나타내는 위치 정보를 관리한다. 구체적으로는 영상 영역 분할 처리부(20)로부터 공급되는 해상도 레벨마다의 부호화 비트레이트의 정보(20c)와, 부분 영역 부호화 처리부(30)로부터 공급되는 각 분할 영역을 구성하는 각 매크로 블록(이하, MB라고 칭함)의 위치 정보(30b)를 멀티스트림 정보로서 축적한다.
여기서, 도 5를 참조하여, 멀티스트림 정보 축적부(50)에서 관리되는 멀티스트림 정보나, 클라이언트(2)로부터 송신되는 시점 정보의 상세에 대하여 설명한다. 이 도 5는 오리지날의 고정밀 영상의 전체 영역에 대한 전송 영역 및 표시 영역의 위치 부여 또는 관계의 예를 나타내고, 그 아래에 각 분할 영역의 구성예를 도시하고, 또한 그 아래에 멀티스트림의 구성예를 도시한다. 도 5는 전체 영역(Aw)이 예를 들어 48개의 분할 영역(Ap)으로 분할되어 있는 상태를 나타낸 것이다. 각 분할 영역(Ap)에는 예를 들어, 수평 방향으로 X개, 그리고 수직 방향으로 Y개의 MB가 포함되는 것으로 한다. 그리고, 분할 영역(Ap)의 1 라인의 길이는 부호화 단위에 있어서의 1 슬라이스분(51)의 길이에 대응시켜 있다.
이렇게 구성되는 각 분할 영역(Ap) 내의 영상 신호(52)가 부분 영역 부호화 처리부(30)(도 4 참조)에 의해 부호화됨으로써, 분할 영역 영상 비트스트림 S가 생성된다. 멀티스트림 정보 축적부(50)에서는 N개(N은 자연수)의 분할 영역 영상 비트스트림 S0 내지 SN으로 이루어지는 멀티스트림에 관한 정보를 멀티스트림 정보(53)로서 관리한다.
멀티스트림 정보는 이하의 정보로 구성된다.
·분할 영역 영상 비트스트림 Sk(0≤k≤N)
·분할 영역 영상 비트스트림 Sk에 포함되는 각 MB의 좌표(x, y)
·부호화 비트레이트
즉, 멀티스트림 정보에 있어서는 각 분할 영역의 전체 영역(Aw)에 있어서의 위치 정보가 MB마다 인덱스화되어서 관리된다.
이어서, 도 5를 참조하여, 클라이언트(2)로부터 송신되는 시점 정보에 대하여 설명한다. 시점 정보에는 이하의 정보가 포함된다.
·클라이언트(2)의 표시부(213)의 해상도 정보
·요구 해상도 정보
·표시부(213)의 원점 좌표(x, y=0, 0)에 대응하는 전체 영역(Aw)에서의 MB 위치
표시부(213)의 원점 좌표에 대응하는 전체 영역(Aw)에서의 MB 위치는 좌표 위치(MB_d(x, y))로 관리된다.
다시 도 4로 돌아가서 설명을 계속하면, 서버(1)에는 시점 정보 수신부(60)와, 클라이언트 스테이터스 관리부(70)와, 싱글스트림 생성부(80)와, 싱글스트림 송신부(90)가 포함된다.
시점 정보 수신부(60)는 네트워크(3)를 통하여 클라이언트(2)로부터 송신된 시점 정보(213b)를 수신하고, 클라이언트 스테이터스 관리부(70)에 공급한다.
클라이언트 스테이터스 관리부(70)는 시점 정보 수신부(60)가 수신한 시점 정보(213b)의 관리나, 음성이나 동화상 등을 스트리밍 배신할 때에 클라이언트(2)와의 사이에서 교환하는 제어 데이터(스트리밍 프로토콜 준거 메시지)의 송수신 등을 행한다.
도 6에 클라이언트 스테이터스 관리부(70)의 내부 구성예를 도시하고 있다. 클라이언트 스테이터스 관리부(70)에는 시점 영역 관리부(71)와, 시점 정보 송신부(72)와, 스트리밍 서버 처리부(73)가 포함된다.
시점 영역 관리부(71)는 시점 정보 수신부(60)가 수신한 시점 정보(213b)의 축적이나, 시점 정보 송신부(72)의 관리를 행한다. 구체적으로는 시점 정보(213b)를 싱글스트림 생성부(80)에 출력하거나, 시점 정보 수신부(60)에서 수신한 시점 정보(213b)와 멀티스트림 정보 축적부(50)로부터 판독한 각 비트스트림의 MB 위치 정보에 기초하여 「송신 상태 정보」를 생성하고, 생성한 송신 상태 정보(72a)를 클라이언트(2)의 송신 상태 정보 수신부(208)에 송신하는 처리를 행한다.
송신 상태 정보(72a)란 전송 영역(At)의 전체 영역(Aw)에 대한 상대 위치 정보이다. 전송 영역(At)의 전체 영역(Aw)에 대한 상대 위치 정보는 싱글스트림 생성부(80)로부터 시점 영역 관리부(71)에 공급되는 「영역 정보」(80a)에 기초하여 생성된다. 전체 영역(Aw)의 MB 위치 맵에는 전체 영역(Aw) 중, 어디가 전송 영역(At)인지를 나타내는 정보가 포함된다. 「영역 정보」의 상세에 대해서는 후술한다.
스트리밍 서버 처리부(73)는 클라이언트(2)의 스트리밍 클라이언트 처리부(203)와의 사이에서, 스트리밍 프로토콜에 준거한 메시지(73a)의 교환을 행한다. 스트리밍 프로토콜에 준거한 메시지로서는 예를 들어, 영상 신호의 송신이나 일시 정지, 정지 등을 요구하는 제어 메시지나, 세션의 유지를 행하기 위한 메시지 등이 교환된다.
또한, 본 예에서는 송신 상태 정보를 송신하기 위한 시점 정보 송신부(72)를 설치한 구성을 예로 들었지만, 시점 정보 송신부(72)를 설치하지 않고, 송신 상태 정보를 영상 비트스트림의 패킷의 헤더 부분에 저장하여 클라이언트(2)에 송신하는 형태로 적용해도 된다.
다시 도 4로 돌아가서 설명을 계속한다. 싱글스트림 생성부(80)는 시점 정보 수신부(60)가 수신한 시점 정보에 의해 특정되는 표시 영역(Ad) 및 그의 주변 영역을 구성하는 복수의 비트스트림을 영상 비트스트림군 축적부(40)로부터 판독한다. 그리고, 판독한 복수의 비트스트림을 싱글스트림(80b)으로서 재구성하여 출력한다.
또한, 싱글스트림화되는 복수의 비트스트림 중, 저품질 부호화 영역(Al)(도 2)을 구성하는 비트스트림에 대해서는 보다 적은 부호량으로 재부호화하는 처리도 행한다. 즉, 싱글스트림 생성부(80)는 싱글스트림화를 행하는 각각의 비트스트림을 고품질 부호화 영역(Ah)에 할당할 것인지, 저품질 부호화 영역(Al)에 할당할 것인지의 판단도 행한다. 또한, 싱글스트림 생성부(80)의 상세에 대해서는 도 8 내지 도 10을 참조하여 후술한다.
싱글스트림 송신부(90)는 싱글스트림 생성부(80)에서 생성된 싱글스트림을 패킷화하고, 패킷화된 싱글스트림(90a)을 클라이언트(2)에 송신한다.
또한, 서버(1)에는 음성 신호 입력부(100-1) 내지 음성 신호 입력부(100-n)(n은 자연수)와, 메타 정보 입력부(120)가 접속되어 있다. 그리고 서버(1)에는 이것들로부터 입력되는 데이터를 취급하는 음성 부호화 처리부(110)와, 음성 비트스트림·메타 정보 축적부(130)와, 음성 비트스트림 추출·믹서 처리부(140)와, 음성 비트스트림 송신부(150)가 포함된다.
음성 신호 입력부(100-1) 내지 음성 신호 입력부(100-n)는 예를 들어 마이크로폰 등으로 구성된다. 즉 주위의 음성을 습득하여 음성 신호로 변환하고, 얻어진 음성 신호(100-1a 내지 100-na)를 음성 부호화 처리부(110)에 출력한다.
음성 부호화 처리부(110)는 음성 신호 입력부(100-1) 내지 음성 신호 입력부(100-n)로부터 출력된 복수의 음성 신호를 예를 들어 PCM(pulse code modulation) 부호화 방식이나 AAC(Advanced Audio Coding) 부호화 방식 등에 의해 부호화한다. 그리고, 부호화하여 얻어진 음성 비트스트림을 음성 비트스트림·메타 정보 축적부(130)에 출력한다.
메타 정보 입력부(120)는 예를 들어 음성 신호 입력부(100-1) 내지 음성 신호 입력부(100-n)의 배치 위치 정보 등의, 음성 신호에 관한 메타(속성) 정보(120a)를 음성 비트스트림·메타 정보 축적부(130)에 출력한다.
음성 비트스트림·메타 정보 축적부(130)는 음성 부호화 처리부(110)로부터 출력된 음성 비트스트림이나, 메타 정보 입력부(120)로부터 출력된 메타 정보를 축적한다.
음성 비트스트림 추출·믹서 처리부(140)는 해상도 패턴 정보(140a)나, 클라이언트 스테이터스 관리부(70)로부터 얻어지는 시점 정보(213b)에 기초하여, 음성 비트스트림·메타 정보 축적부(130)로부터 적절한 음성 비트스트림을 추출한다. 또한, 추출한 복수의 음성 비트스트림을 그의 메타 정보 등에 기초하여 혼합하는 처리도 행한다. 음성 비트스트림 추출·믹서 처리부(140)로부터 출력된 음성 비트스트림(140a)은 음성 비트스트림 송신부(150)에 공급되고, 음성 비트스트림 송신부(150)는 음성 비트스트림(150a)을 클라이언트(2)에 송신한다.
도 7은 음성 비트스트림 추출·믹서 처리부(140)에 의한 처리의 예를 도시한 설명도이다. 도 7에 있어서, 음성 신호 입력부(100)가 배치되어 있는 포인트(141)를 검은 점으로 나타내고 있다. 음성 비트스트림 추출·믹서 처리부(140)는 각 배치 포인트 간의 거리 등을 고려하여 가중치 부여를 행하고, 가중치 부여를 행한 음성 신호끼리를 혼합하는 것을 행한다(화살표(142) 참조).
이러한 처리를 행함으로써 유저에 의해 지정된 시청 희망 영역의 영상과 대응시켜서, 그의 영역에서의 음성도 크게 출력할 수 있기 때문에, 스트리밍을 시청하고 있는 유저에 높은 현장감을 부여할 수 있게 된다.
이어서, 도 8을 참조하여, 싱글스트림 생성부(80)의 내부 구성예에 대하여 설명한다. 싱글스트림 생성부(80)에는 시청 영역 스트림 결정 처리부(81)와, 부호화 스트림 추출부(82)와, 전환부(83)와, 싱글스트림 구성부(84)와, 재부호화 처리부(86)와, 싱글스트림 재구성 처리 제어부(85)가 포함된다.
시청 영역 스트림 결정 처리부(81)는 전체 영역(Aw)의 어느 MB 위치의 비트스트림을 전송 영역(At)에 대응하는 비트스트림으로서 추출할 것인가를 결정하고, 그의 비트스트림을 스트림 인덱스 Sk로서, 부호화 스트림 추출부(82)와, 싱글스트림 재구성 처리 제어부(85)에 출력한다.
표시 영역(Ad)에 대응하는 비트스트림의 결정은 클라이언트 스테이터스 관리부(70)로부터 송신되는 표시 영역(Ad)의 MB 위치 MB_d와, 멀티스트림 정보 축적부(50)로부터 판독한 멀티스트림 정보(53)에 기초하여 행한다.
또한, 시청 영역 스트림 결정 처리부(81)는 전송 영역(At)에 대응하는 비트스트림으로서 추출한 비트스트림 중, 어느 비트스트림을 고품질 부호화 영역(Ah) 또는 저품질 부호화 영역(Al)에 할당할지의 결정도 행한다. 그리고, 전송 영역(At)이나 고품질 부호화 영역(Ah), 저품질 부호화 영역(Al)의 전체 영역(Aw)에 있어서의 MB 위치를 「영역 정보」(81a)로서 클라이언트 스테이터스 관리부(70)와 싱글스트림 재구성 처리 제어부(85)에 송신한다.
또한, 시청 영역 스트림 결정 처리부(81)는 표시 영역(Ad)의 MB 위치 MB_d와, 멀티스트림 정보(53)에 기초하여, 전체 영역(Aw)의 화면에 있어서의 각 비트스트림의 배치 위치 정보를 나타내는 「전체 스트림 구성 맵」(81b)을 생성하고, 싱글스트림 구성부(84)에 공급한다.
부호화 스트림 추출부(82)는 시청 영역 스트림 결정 처리부(81)로부터 송신되는 스트림 인덱스 Sk와, 클라이언트 스테이터스 관리부(70)로부터 공급되는 요구 해상도 정보(70b)에 기초하여, 영상 비트스트림군 축적부(40)로부터 적절한 비트스트림을 추출한다. 그리고, 추출한 복수의 비트스트림(82a)을 전환부(83)에 출력한다.
전환부(83)는 부호화 스트림 추출부(82)로부터 출력된 각 비트스트림의 출력처를 싱글스트림 구성부(84)와 역양자화 처리부(861) 중 어느 하나로 전환한다. 전환의 제어는 싱글스트림 재구성 처리 제어부(85)로부터 공급되는 스트림 추출 제어 정보(85a)에 기초하여 행해진다.
싱글스트림 구성부(84)는 부호화 스트림 추출부(82)에서 추출된 복수의 비트스트림을 서로 연결시킴으로써 전송용의 싱글스트림(80b)을 생성한다. 도 9에 싱글스트림 구성부(84)에서의 처리의 예를 도시하고 있다.
도 9에 도시하는 예에서는 싱글스트림 구성부(84)는 우선, 분할 영역 영상 비트스트림 Sk로부터, MB(0, 0)로 시작되는 1 라인 분의 비트스트림을 취출한다. 계속해서, 분할 영역 영상 비트스트림 Sk의 우측에 대응하는 영역에 포함되는 분할 영역 영상 비트스트림 Sk +1 중에서 MB(0, 0)로 시작되는 1 라인 분의 비트스트림을 취출한다. 그리고, 분할 영역 영상 비트스트림 Sk로부터 취출한 1 라인 분의 비트스트림의 우측 단부에, 분할 영역 영상 비트스트림 Sk +1로부터 취출한 1 라인 분의 비트스트림의 좌측 단부를 접속시킨다.
이 처리를 전송 영역(At)의 수평 방향의 우측 단부에 달할때까지 계속하고, 우측 단부에 달한 후에는 1 라인 분 아래로 이동하여 마찬가지의 처리를 행한다. 이러한 처리가 반복됨으로써, 복수의 분할 영역 영상 비트스트림 S로부터 전송용의 싱글스트림(80b)이 구성된다.
다시 도 8로 돌아가서 설명을 계속하면, 싱글스트림 재구성 처리 제어부(85)는 재부호화 처리부(86)에서 행하는 재양자화 처리 시의 양자화의 대략을 결정한다. 이 결정은 멀티스트림 정보 축적부(50)로부터 공급되는 멀티스트림 정보(53)와, 시청 영역 스트림 결정 처리부(81)로부터 공급되는 스트림 인덱스 Sk과, 클라이언트 스테이터스 관리부(70)로부터 공급되는 표시 영역(Ad)의 이동 속도 정보(70a)에 기초하여 행해진다.
재부호화 처리부(86)는 싱글스트림 재구성 처리 제어부(85)로부터 재부호화가 지시된 비트스트림에 대하여 재부호화 처리를 행한다. 재부호화 처리부(86)에는 역양자화 처리부(861)와, 양자화 처리부(862)와, 부호화 모드 변경부(863)가 포함된다.
역양자화 처리부(861)는 재부호화 처리 시에, 부호화 스트림 추출부(82)에서 추출된 비트스트림을 복호(역양자화)한다. 이때, 복호하기 전의 비트스트림이 갖고 있었던 부호화 파라미터 MQold를 추출하고, 추출한 부호화 파라미터 MQold를 싱글스트림 재구성 처리 제어부(85)에 공급한다.
양자화 처리부(862)는 싱글스트림 재구성 처리 제어부(85)로부터 공급되는 재부호화용의 재양자화 계수 MQnew를 사용하여, 역양자화 처리부(861)에서 복호된 영상 신호(861a)를 다시 양자화한다.
부호화 모드 변경부(863)는 양자화 처리부(862)에서의 재양자화 처리에 따라 발생한 변경 내용에 따라, 양자화 후의 재부호화 비트스트림(862a)에 있어서의 부호화 모드의 변경을 행한다. 예를 들어, 양자화 처리부(862)에서 대략적인 양자화를 행한 것에 의해 재부호화 전의 비트스트림이 가지고 있었던 부호화 계수가 삭제된 경우에는 양자화 후의 재부호화 비트스트림에 있어서의 매크로블록 타입을 「스킵드 매크로블록」으로 변경하는 처리 등을 행한다. 그리고, 부호화 모드의 변경을 행한 재부호화 비트스트림을 싱글스트림 구성부(84)에 공급한다. 또한, 부호화 모드 변경부(863)는 부호화 비트량(86a)을 싱글스트림 재구성 처리 제어부(85)에 공급한다.
또한, 도 8에 도시한 예에서는 재부호화 처리부(86)가 행하는 재양자화 처리에 대해서만 언급하고 있지만, 처리는 이것에 한정되는 것은 아니다. 예를 들어, 매크로 블록의 종류에 따라서는 복호를 화소의 레벨까지 행하고나서 재부호화를 행하는 처리도 행하는 것으로 한다.
도 10에 싱글스트림 재구성 처리 제어부(85)의 상세를 나타내고 있다. 싱글스트림 재구성 처리 제어부(85)에는 재양자화 판단부(851)와, 재양자화 계수 결정부(852)와, 부호화 레이트 제어부(853)와, 스트림 추출 제어 정보 생성부(854)가 포함된다.
재양자화 판단부(851)는 부호화 스트림 추출부(82)(도 8 참조)에서 추출된 각 비트스트림에 대하여 재부호화가 필요한지의 여부의 판단을 행하고, 판단 결과를 재양자화 계수 결정부(852)와 스트림 추출 제어 정보 생성부(854)에 출력한다.
구체적으로는 표시 영역(Ad)의 이동 속도가 미리 설정된 임계값보다 작고, 또한 추출된 비트스트림이 고품질 부호화 영역(Ah)에 속하는 경우에는 재부호화 불필요의 판단 결과를 스트림 추출 제어 정보 생성부(854)에 출력한다. 한편, 표시 영역(Ad)의 이동 속도가 미리 설정된 임계값 이상인 경우 또는 표시 영역(Ad)의 이동 속도가 미리 설정된 임계값 미만이고, 또한 추출된 비트스트림이 저품질 부호화 영역(Al)에 속하는 경우에는 재부호화가 필요하다는 판단 결과를 재양자화 계수 결정부(852)와 스트림 추출 제어 정보 생성부(854)에 출력한다.
추출된 비트스트림이 전송 영역(At) 내의 어느 영역에 속할지의 판단은 멀티스트림 정보 축적부(50)로부터 송신되는 멀티스트림 정보(53)와, 시청 영역 스트림 결정 처리부(81)로부터 송신되는 영역 정보(80a)에 기초하여 행한다. 표시 영역(Ad)의 이동 속도의 크기는 클라이언트 스테이터스 관리부(70)로부터 송신되는 표시 영역 이동 속도 정보(70a)에 기초하여 판단한다.
재양자화 계수 결정부(852)는 멀티스트림 정보 축적부(50)로부터 추출한 멀티스트림 정보(53a)와, 클라이언트 스테이터스 관리부(70)로부터 공급된 표시 영역 이동 속도 정보(70a)와, 시청 영역 스트림 결정 처리부(81)로부터 공급되는 스트림 인덱스 Sk 및 영역 정보(80a)에 기초하여 재양자화에 사용하는 재양자화 계수 MQnew를 결정한다.
부호화 레이트 제어부(853)는 부호화 모드 변경부(863)로부터 출력되는 부호화 비트량(86a)의 정보에 기초하여, 다음으로 부호화를 행할 대상의 MB의 부호화 레이트를 결정한다. 그리고, 결정한 부호화 레이트를 재양자화 계수 결정부(852)에 공급한다.
스트림 추출 제어 정보 생성부(854)는 재양자화 판단부(851)로부터 송신된 판단 결과에 기초하여, 전환부(83)에 있어서의 접속처를 제어하기 위한 스트림 추출 제어 정보를 생성하고, 생성한 스트림 추출 제어 정보(85a)를 전환부(83)에 공급한다. 구체적으로는 재양자화 판단부(851)로부터 「재양자화 불필요」의 판단 결과가 입력된 경우에는 전환부(83)(도 8 참조)의 접속처를 싱글스트림 구성부(84)측으로 절환하기 위한 제어 정보를 생성한다. 재양자화 판단부(851)로부터 「재양자화 필요」의 판단 결과가 입력된 경우에는 전환부(83)(도 8 참조)의 접속처를 재부호화 처리부(86)측으로 절환하기 위한 제어 정보를 생성한다.
[클라이언트의 구성예]
이어서, 클라이언트(2)의 내부 구성예에 대해서, 도 11의 블록도를 참조하여 설명한다. 클라이언트(2)에는 영상 스트림 수신부(201)와, 영상 복호부(202)와, 스트리밍 클라이언트 처리부(203)와, 클라이언트 관리부(204)와, 음성 스트림 수신부(205)와, 음성 복호부(206)와, 음성 출력부(207)가 포함된다.
영상 스트림 수신부(201)는 서버(1)로부터 송신된 싱글스트림(90a)을 수신하고, 수신한 싱글스트림(201a)를 영상 복호부(202)에 공급한다. 영상 스트림 수신부(201)에 의해 수신되는 싱글스트림은 전송 영역(At)을 구성하는 복수의 비트스트림에 의해 구성된 싱글스트림이다.
영상 복호부(202)는 영상 스트림 수신부(201)로부터 공급된 싱글스트림(201a)을 복호하여 전송 영역 복호 신호(202a)를 생성한다. 그리고, 생성한 전송 영역 복호 신호를 표시 제어부(212)에 공급한다.
스트리밍 클라이언트 처리부(203)는 서버(1)와의 사이에서, 스트리밍 프로토콜에 준거한 메시지(73a)의 송수신을 행한다. 클라이언트 관리부(204)는 스트리밍에 관한 스테이터스를 관리하고, 영상 복호부(202)나 음성 복호부(206)에 대하여 스트리밍 재생의 개시 등의 제어를 행한다. 또한, 스트리밍 프로토콜에 준거한 메시지(73a)를 생성하고, 스트리밍 클라이언트 처리부(203)에 공급한다.
음성 스트림 수신부(205)는 서버(1)로부터 송신된 음성 비트스트림(150a)을 수신하고, 수신한 음성 비트스트림(205a)을 음성 복호부(206)에 공급한다. 음성 복호부(206)는 음성 스트림 수신부(205)로부터 공급된 음성 비트스트림을 복호하고, 복호한 음성 비트스트림(206a)을 음성 출력부(207)에 공급한다. 음성 출력부(207)는 예를 들어 스피커 등으로 이루어지고, 음성 복호부(206)로부터 공급된 음성 비트스트림을 음성으로서 출력한다.
또한, 클라이언트(2)에는 송신 상태 정보 수신부(208)와, 시점 영역 관리부(209)와, 시점 정보 송신부(210)와, 조작 입력부로서의 사용자 인터페이스부(211)와, 표시 제어부(212)와, 표시부(213)가 포함된다.
송신 상태 정보 수신부(208)는 서버(1)로부터 송신된 송신 상태 정보(72a), 즉 전송 영역(At)의 표시 영역(Ad)에 대한 상대 위치 정보를 수신하고, 시점 영역 관리부(209)에 출력한다. 시점 영역 관리부(209)는 송신 상태 정보 수신부(208)가 수신한 송신 상태 정보(208a)와, 사용자 인터페이스부(211)로부터 입력되는 유저에 의한 조작 정보(211a)와, 클라이언트 관리부(204)로부터 공급되는 제어 신호(204a)에 기초하여 시점 정보(213b)를 생성한다. 그리고, 생성한 시점 정보를 시점 정보 송신부(210)에 출력한다.
시점 정보 송신부(210)는 시점 영역 관리부(209)로부터 출력된 시점 정보(213b)를 서버(1)에 송신한다. 사용자 인터페이스부(211)는 상하좌우키나 각종 버튼 등으로 구성되어, 표시부(213)에 표시한 시청 희망 영역 선택을 위한 프레임(도 1 참조)의 위치나 크기를 변경하는 제어를 행한다.
또한, 본 예에서는 시청 희망 영역을 선택시키기 위해서, 화면 상에 프레임을 표시시키는 형태를 예로 들고 있지만, 이것에 한정되는 것은 아니다. 예를 들어, 사용자 인터페이스부(211)를 터치 패널이나 가속도 센서로 구성하고, 유저에 의한 화면을 두드리는 동작이나 화면을 기울이는 동작 등에 기초하여 시청 희망 영역을 결정하도록 구성해도 된다.
사용자 인터페이스부(211)는 또한 유저에 의해 입력된 조작의 내용을 조작 정보로 하여, 시점 영역 관리부(209)와, 표시 제어부(212)와, 표시부(213)에 공급한다. 또한, 시점 영역 관리부(209)로부터 공급되는 송신 상태 정보(209a)에 기초하여 유저가 현재 시청하고 있는 화면 위치가 전체 영역(Aw)의 어디에 상당하는지 등을 나타내는 정보를 생성하고, 그 정보를 표시부(213)의 화면 상에 표시하는 처리도 행한다.
표시 제어부(212)는 영상 복호부(202)로부터 송신된 전송 영역 복호 신호 중에서 실제로 표시부(213)에 표시하는 표시 영역(Ad) 부분의 신호를 추출하여 표시 영역 복호 신호(212a)를 생성한다. 그리고, 생성한 표시 영역 복호 신호(212a)를 표시부(213)에 공급한다.
표시부(213)는 예를 들어 LCD(Liquid Crystal Display)이나 유기 EL(Electro Luminescence) 패널 등으로 구성되고, 표시 제어부(212)로부터 공급된 표시 영역 복호 신호를 화상으로 하여 표시 화면 상에 표시한다.
[전송 시스템에 의한 동작예]
이어서, 본 예의 전송 시스템의 서버(1)와 클라이언트(2)에 의한 처리의 예에 대해서, 도 12의 흐름도를 참조하여 설명한다. 우선, 서버(1)가 영상 신호 입력부(10)로부터 출력된 고정밀 영상 신호를 취득한다(스텝 S1). 계속해서, 영상 영역 분할 처리부(20)가 스텝 S1에서 취득한 고정밀 영상을 복수의 영역으로 분할한다(스텝 S2). 그리고, 부분 영역 부호화 처리부(30)가 분할된 각 영역을 구성하는 영상 신호로부터 해상도가 서로 다른 복수의 비트스트림을 생성하고, 영상 비트스트림군 축적부(40)에 축적한다(스텝 S3). 본 예에서는 여기에서 저해상도 스트림, 중해상도 스트림군, 고해상도 스트림군이 생성된다.
이어서, 클라이언트(2)가 영상의 전체 영역(Aw)에 대응하는 비트스트림을 송신하도록 서버(1)에 대하여 송신 요구를 송신한다(스텝 S4). 서버(1)의 시점 정보 수신부(60)는 송신 요구를 수신하면(스텝 S5), 싱글스트림 생성부(80)가 영상 비트스트림군 축적부(40)로부터 저해상도 비트스트림을 추출하고, 추출한 저해상도 비트스트림을 싱글스트림 송신부(90)가 클라이언트(2)에 송신한다(스텝 S6).
클라이언트(2)에서는 영상 스트림 수신부(201)가 저해상도 비트스트림을 수신하고, 영상 복호부(202)가 저해상도 비트스트림을 복호하고, 복호하여 얻어진 표시 영역 복호 신호를 표시 제어부(212)가 화상으로서 표시부(213)에 표시한다(스텝 S7). 계속해서, 사용자 인터페이스부(211)에의 조작 입력에 의해 시청 희망 영역이 선택되었는지의 여부가 판단되고(스텝 S8), 선택 조작을 접수하고 있지 않은 경우에는 스텝 S8의 판단이 반복된다. 선택 조작을 접수한 경우에는 시점 영역 관리부(209)이 시점 정보를 생성하고, 생성된 시점 정보를 시점 정보 송신부(210)이 서버(1)에 송신한다(스텝 S9).
서버(1)의 시점 정보 수신부(60)에서 시점 정보가 수신되면, 시점 정보에 의해 특정되는 복수의 비트스트림이 영상 비트스트림군 축적부(40)로부터 싱글스트림 생성부(80)의 부호화 스트림 추출부(82)에 의해 추출된다(스텝 S10). 그리고, 시점 정보에 포함되는 시점 이동 속도의 크기 등에 기초하여, 싱글스트림 생성부(80)의 싱글스트림 재구성 처리 제어부(85)가 각 분할 영역에 대응하는 비트스트림의 재부호화가 필요한지의 여부를 판단한다(스텝 S11).
재부호화는 필요없다고 판단한 경우(스텝 S12)에는 영상 비트스트림군 축적부(40)로부터 추출한 복수의 비트스트림을 사용하여, 싱글스트림 생성부(80)의 싱글스트림 구성부(84)가 싱글스트림을 구성한다(스텝 S13).
재부호화가 필요하다라고 판단한 경우에는(스텝 S12), 싱글스트림 재구성 처리 제어부(85)가 분할 영역을 구성하는 각 비트스트림의 재양자화 파라미터를 결정한다(스텝 S14). 그리고, 재부호화 처리부(86)가 재양자화 파라미터를 사용하여 복수의 비트스트림을 다시 부호화한다(스텝 S15).
또한, 싱글스트림 재구성 처리 제어부(85)가 재부호화된 비트스트림을 사용하여 싱글스트림을 재구성한다(스텝 S16). 그리고, 싱글스트림 구성부(84) 또는 싱글스트림 재구성 처리 제어부(85)에 의해 재구성된 싱글스트림을 싱글스트림 송신부(90)가 클라이언트(2)에 송신한다(스텝 S17).
클라이언트(2)에서는 영상 스트림 수신부(201)가 수신한 싱글스트림을 영상 복호부(202)가 복호하고, 복호하여 얻어진 표시 영역 복호 신호를 표시 제어부(212)가 화상으로 하여 표시부(213)에 표시한다(스텝 S18). 계속해서, 유저의 시점 위치(시청 희망 영역의 위치)에 변경이 있었는지 여부가 판단되어(스텝 S19), 시점 위치에 변경이 있었던 경우에는 스텝 S9로 복귀되어서 처리가 계속되어진다. 시점 위치에 변화가 없는 경우에는 스텝 S19의 판단이 계속되어진다. 이 판단은 유저에 의한 시청이 종료될 때까지의 동안 계속하여 행해진다.
[제1 실시 형태에 따른 효과]
상술한 제1 실시 형태에 따르면, 서버(1)에 있어서, 미리 분할 영역 영상 비트스트림이 생성·축적되기 때문에, 클라이언트(2)로부터 시점 정보가 송신될 때마다 영상 신호의 부호화 처리를 행하지 않아도 되게 된다.
또한, 이때, 각 분할 영역에 대응하는 비트스트림을 영역 간에서 움직임 벡터나 양자화 계수, 양자화 파라미터 등의 예측 관계를 갖게 하지 않고 독립하여 행 하기 때문에, 움직임 벡터의 검출이나 움직임 보상, 계수 변환 등의 처리를 서버(1)에서 행할 필요가 없어진다.
이에 의해 서버(1)에 접속되는 클라이언트(2)의 수가 증가한 경우에도, 서버(1)에 있어서의 처리량의 증대를 최소한으로 억제할 수 있게 된다.
또한, 상술한 제1 실시 형태에 따르면, 분할 영역 영상 비트스트림이 서로 다른 해상도에 대응하여 복수 종류 준비된다. 이에 의해 유저에 있어서, 영상의 전체 형상을 파악하기 위한 시청과, 상세한 부분을 확인하기 위한 시청이 반복된 경우에도, 서버(1)로부터 클라이언트(2)에 대하여, 유저가 희망하는 해상도의 영상이 빠르게 제공되게 된다.
또한, 오리지날의 고정밀 영상의 해상도 품질과 동 레벨의 해상도 품질을 갖는 분할 영역 영상 비트스트림이 생성되기 때문에, 클라이언트(2)에 있어서 영상의 보간 처리를 행할 필요가 없어진다. 따라서, 유저는 고정밀한 영상을 그대로의 품질로 시청할 수 있게 된다.
또한, 상술한 제1 실시 형태에 따르면, 클라이언트(2)에 의해 시청 희망 영역으로서 희망된 영역에 대응하는 비트스트림뿐만아니라, 그의 주변 영역을 구성하는 비트스트림도 서버(1)로부터 클라이언트(2)에 송신된다. 이에 의해 시청 희망 영역(유저의 시점 위치)이 이동한 경우에도, 전송 영역(At)로서 송신된 주변 영역의 비트스트림을 복호하고, 클라이언트(2)의 표시부(213)에 표시시킬 수 있다. 즉, 서버(1)와 클라이언트(2) 사이에서 행해지는 통신의 횟수를 저감할 수 있기 때문에, 이 통신에 기인하여 발생하는 지연을 피할 수 있게 된다.
또한, 상술한 제1 실시 형태에 따르면, 유저의 시점 위치의 이동 속도의 크기에 따라, 시청 희망 영역에 대응하는 표시 영역(Ad)에 할당하는 비트스트림의 품질과, 그의 주변의 영역에 할당하는 비트스트림의 품질이 동적으로 제어된다. 이에 의해 고품질로 전송해야 할 비트스트림의 품질을 떨어뜨릴 일 없고, 한정된 네트워크 대역을 유효적으로 이용하여, 영상의 배신을 행할 수 있다. 또한, 시점 위치가 크게 이동한 경우에도, 시청 희망 영역에 대응하는 영상을 클라이언트(2)의 표시부(213)의 화면 상에 빠르게 표시시킬 수 있다.
또한, 상술한 제1 실시 형태에 따르면, 복수의 분할 영역 영상 비트스트림이 싱글스트림으로서 클라이언트(2)에 전송된다. 따라서 클라이언트(2)에서는 네트워크(3)를 통하여 취득한 싱글스트림을 복호하는 것만으로 시청 희망 영역으로서 지정한 영역의 영상을 얻을 수 있다. 즉, 클라이언트(2)에서의 처리의 부하를 저감시킬 수 있다.
[변형예]
또한, 상술한 제1 실시 형태에 있어서, 시점 위치의 이동 속도의 크기에 따라, 전송 영역(At)의 크기를 유동적으로 변화시키는 제어를 행하도록 해도 된다.
또한, 상술한 제1 실시 형태에 있어서, 영상 내의 특정한 오브젝트를 추종하는 기능을 갖게 하고, 유저에 의해 특정된 오브젝트를 자동 추종할 수 있도록 구성해도 된다.
<2. 제2 실시 형태>
이어서, 본 발명의 제2 실시 형태에 대하여 설명한다. 본 실시 형태에서는 복수의 외부의 영상 배신 서버로부터 배신되는 복수의 영상 비트스트림을 표시 화면을 복수로 분할한 각 분할 영역에 영상으로서 표시시키고, 그 표시 중에서 시청하고 싶은 영상을 유저가 선택할 수 있도록 한 예를 설명한다.
[서버의 구성예]
도 13은 본 예의 전송 시스템을 구성하는 서버(1')의 내부 구성예를 도시하는 블록도이다. 도 13에 도시하는 서버(1')은 네트워크(3)를 통하여 클라이언트(2)와 접속되어 있다. 도 13에 있어서, 도 4와 대응하는 개소에는 동일한 부호를 부여하고 있어, 상세한 설명은 생략한다.
서버(1')에는 영상 배신을 행하는 복수의 외부 영상 배신 서버(5-1) 내지 외부 영상 배신 서버(5-m)(m은 자연수)가 접속되어 있다. 그리고, 서버(1')에는 복수 영상 비트스트림 취득부(310)와, 복수 영상 비트스트림군 축적부(40')와, 복수 영상 표시 위치 결정부(320)와, 멀티스트림 정보 축적부(50)와, 시점 정보 수신부(60)와, 클라이언트 스테이터스 관리부(70)와, 싱글스트림 생성부(80)와, 싱글스트림 송신부(90)가 포함된다.
복수 영상 비트스트림 취득부(310)는 복수의 외부 영상 배신 서버(5-1) 내지 외부 영상 배신 서버(5-m)으로부터 배신되는 복수의 영상 비트스트림(5-1a 내지 5-ma)을 수신하고, 수신한 각 영상 비트스트림을 복수 영상 비트스트림군 축적부(40')에 공급한다. 복수 영상 비트스트림군 축적부(40')는 복수 영상 비트스트림 취득부(310)로부터 공급된 영상 비트스트림을 축적한다. 또한, 복수 영상 비트스트림 취득부(310)는 스트림 인덱스(310a)를 복수 영상 표시 위치 결정부(320)에 출력한다.
복수 영상 표시 위치 결정부(320)는 복수 영상 비트스트림 취득부(310)가 취득한 각 영상 비트스트림을 외부 영상 배신 서버(5-1)로부터 배신되는 복수의 영상을 공간적으로 정렬하여 배치함으로써 생성되는 전체 영상(Aw') 중, 어느 위치에 배치할지를 결정한다. 여기에서 말하는 전체 영상(Aw')는 외부 영상 배신 서버(5-1)로부터 배신되는 영상 비트스트림의 수에 따라 그의 크기가 유동적으로 변하는 것이며, 영상 비트스트림의 수가 많은 경우에는 그의 크기는 매우 거대한 것이 된다. 그리고, 각 영상 비트스트림을 구성하는 각 MB의 전체 영역(Aw')에 있어서의 위치 정보와, 부호화 비트레이트를 멀티스트림 정보 축적부(50)와, 후술하는 복수 음성 비트스트림 취득부(330)에 출력한다.
멀티스트림 정보 축적부(50')는 복수 영상 표시 위치 결정부(320)로부터 공급되는 각 영상 비트스트림의 전체 영역(Aw')에 있어서의 MB 위치 정보를 멀티스트림 정보(53)로서 관리한다. 그리고, 멀티스트림 정보를 싱글스트림 생성부(80')와 클라이언트 스테이터스 관리부(70)에 송신한다.
시점 정보 수신부(60) 및 클라이언트 스테이터스 관리부(70)는 제1 실시 형태에 있어서의 처리와 마찬가지의 처리를 행한다.
싱글스트림 생성부(80')는 클라이언트 스테이터스 관리부(70)로부터 공급되는 시점 정보(213b)에 기초하여 시점 정보에 의해 특정되는 영상을 구성하는 영상 비트스트림을 복수 영상 비트스트림군 축적부(40')로부터 추출한다. 그리고, 추출한 복수의 영상 비트스트림군을 사용하여 싱글스트림을 구성하고, 생성한 싱글스트림을 싱글스트림 송신부(90)에 공급한다. 싱글스트림 송신부(90)는 싱글스트림 생성부(80')로부터 공급된 싱글스트림(90a)을 클라이언트(2)에 송신한다.
또한, 서버(1')에는 복수 음성 비트스트림 취득부(330)와, 음성 비트스트림 축적부(340)와, 음성 비트스트림 추출부(350)와, 음성 비트스트림 송신부(150)가 포함된다.
복수 음성 비트스트림 취득부(330)는 복수의 외부 영상 배신 서버(5-1) 내지 외부 영상 배신 서버(5-m)으로부터 배신되는 복수의 음성 비트스트림(5-1b 내지 5-mb)을 수신하고, 수신한 각 음성 비트스트림을 음성 비트스트림 축적부(340)에 공급한다. 음성 비트스트림 축적부(340)는 복수 음성 비트스트림 취득부(330)로부터 공급된 음성 비트스트림을 축적한다.
음성 비트스트림 추출부(350)는 클라이언트 스테이터스 관리부(70)로부터 공급되는 시점 정보에 기초하여, 시점 정보에 의해 특정된 영상과 대응하는 음성 비트스트림을 음성 비트스트림 축적부(340)로부터 추출한다. 그리고, 추출한 음성 비트스트림을 음성 비트스트림 송신부(150)에 송신한다. 음성 비트스트림 송신부(150)는 음성 비트스트림 추출부(350)로부터 송신된 음성 비트스트림(150a)을 클라이언트(2)에 송신한다.
[제2 실시 형태에 따른 효과]
상술한 제2 실시 형태에 따르면, 복수의 영상 배신 서버(5)로부터 송신되는 여러가지 비트스트림에 의한 영상이 클라이언트(2)의 표시부(213)의 화면 상에 정렬하여 표시되게 된다. 그리고, 이들 영상 중에서 클라이언트(2)의 유저에 의해 지정된 특정한 영상이 서버(1)에 의해 추출되어서 클라이언트(2)에 송신된다. 이에 의해 예를 들어, 다채널을 사용하여 배신되는 모든 방송 프로그램 또는 영상 콘텐츠 중에서 유저가 원하는 것을 용이하게 선택하여 시청할 수 있도록 된다.
이 경우에도, 제1 실시 형태와 마찬가지로, 복수의 영상 배신 서버(5)로부터 배신되는 비트스트림이 싱글스트림에 재구성되어서 클라이언트(2)에 송신되기 때문에, 클라이언트(2)에 있어서의 처리의 부담을 경감할 수 있다.
[변형예]
또한, 본 실시 형태에서는 서버(1')와 클라이언트(2)로 전송 시스템을 구성하는 경우를 예로 들었지만, 이것에 한정되는 것은 아니다. 예를 들어, 클라이언트(2)에 도 13에 도시한 서버(1')의 기능을 갖게 하도록 구성해도 된다. 구체적인 예로서는 다수의 채널을 통하여 배신되는 방송 프로그램을 수신함과 함께, 그의 표시도 행하는 텔레비전 수상기 등의 장치에 있어서, 본 실시 형태의 전송 시스템을 구성하도록 해도 된다.
1, 1': 서버
2: 클라이언트
3: 네트워크
5: 영상 배신 서버
10: 영상 신호 입력부
20: 영상 영역 분할 처리부
30: 부분 영역 부호화 처리부
40: 영상 비트스트림군 축적부
40': 복수 영상 비트스트림군 축적부
50, 50': 멀티스트림 정보 축적부
60: 시점 정보 수신부
70: 클라이언트 스테이터스 관리부
71: 시점 영역 관리부
72: 시점 정보 송신부
73: 스트리밍 서버 처리부
80, 80': 싱글스트림 생성부
81: 시청 영역 스트림 결정 처리부
82: 부호화 스트림 추출부
83: 전환부
84: 싱글스트림 구성부
85: 싱글스트림 재구성 처리 제어부
86: 재부호화 처리부
90: 싱글스트림 송신부
100: 음성 신호 입력부
110: 음성 부호화 처리부
120: 메타 정보 입력부
130: 음성 비트스트림·메타 정보 축적부
140: 음성 비트스트림 추출·믹서 처리부
150: 음성 비트스트림 송신부
201: 영상 스트림 수신부
202: 영상 복호부
203: 스트리밍 클라이언트 처리부
204: 클라이언트 관리부
205: 음성 스트림 수신부
206: 음성 복호부
207: 음성 출력부
208: 송신 상태 정보 수신부
209: 시점 영역 관리부
210: 시점 정보 송신부
211: 사용자 인터페이스부
212: 표시 제어부
213: 표시부
310: 복수 영상 비트스트림 취득부
320: 복수 영상 표시 위치 결정부
330: 복수 음성 비트스트림 취득부
340: 음성 비트스트림 축적부
350: 음성 비트스트림 추출부
851: 재부호화 판단부
852: 재양자화 계수 결정부
853: 부호화 레이트 제어부
854: 스트림 추출 제어 정보 생성부
861: 역양자화 처리부
862: 양자화 처리부
863: 부호화 모드 변경부
Ad: 표시 영역
Ah: 고품질 부호화 영역
Ap: 분할 영역
At: 전송 영역
Aw: 전체 영역

Claims (15)

  1. 입력 영상 신호의 영상 영역을 소정수의 영역으로 분할하고, 상기 분할된 각 분할 영역에 대응하는 복수의 영역 분할 영상 신호를 생성하는 영상 영역 분할 처리부와,
    상기 복수의 영역 분할 영상 신호를 각 분할 영역 간에서 예측 관계를 갖게 하지 않도록 독립적으로 부호화하여 복수의 영상 비트스트림을 생성하는 부호화 처리부와,
    상기 부호화 처리부에서 생성된 복수의 영상 비트스트림을 축적하는 영상 비트스트림군 축적부와,
    송신 장치와 네트워크로 접속된 수신 장치로부터 송신되는 상기 영상 영역 중에서 시청 대상의 영역으로서 지정된 시청 위치의 정보를 포함하는 시점 정보를 수신하는 시점 정보 수신부와,
    상기 시점 정보 수신부에서 수신한 상기 시점 정보에 기초하여, 상기 시청 위치에 따라 특정되는 제1 영역에 대응하는 상기 영상 비트스트림 및 상기 제1 영역의 주변 영역인 제2 영역에 대응하는 상기 영상 비트스트림을 상기 영상 비트스트림군 축적부로부터 추출하여 싱글스트림을 생성하는 전송용 비트스트림 생성부와,
    상기 전송용 비트스트림 생성부에서 생성된 상기 싱글스트림을 상기 수신 장치에 송신하는 영상 비트스트림 송신부를 구비하고,
    상기 각 분할 영역은, 수직 방향 및 수평 방향에 각각 2개 이상의 매크로 블록을 갖고 있으며,
    상기 전송용 비트스트림 생성부는, 상기 싱글스트림의 생성을 위해,
    먼저, 상기 분할 영역에서의 상기 영상 비트스트림으로부터, 복수의 매크로 블록으로 구성되는 1 라인 분의 비트스트림을 취출하고,
    계속해서, 상기 분할 영역에서의 상기 영상 비트스트림의 우측에 대응하는 분할 영역에서의 영상 비트스트림으로부터, 복수의 매크로 블록으로 구성되고, 또한 상기 취출된 1 라인 분의 비트스트림과 같은 수직 방향 위치에 있는 1 라인 분의 비트스트림을 취출하고,
    그리고, 처음에 취출한 상기 1 라인 분의 비트스트림의 우측 단부에, 다음에 취출한 1 라인 분의 비트스트림의 좌측 단부를 접속시켜, 이 처리를 상기 제2 영역의 우측 단부에 달할 때까지 계속하고,
    상기 제2 영역의 우측 단부에 달한 경우는, 1 라인 분 아래로 이동해서 마찬가지의 처리를 행하고, 이러한 처리가 반복됨으로써, 상기 독립적으로 부호화한 복수의 영상 비트스트림을, 상기 싱글스트림에 구성하는 처리를 행하는 것이며,
    상기 싱글스트림은, 상기 수신 장치에 있어서, 상기 싱글스트림 단독으로, 다른 영역에의 예측 관계를 사용하지 않고 복호 또는 재생이 가능한 구성으로 되어 있는
    송신 장치.
  2. 제1항에 있어서, 상기 시점 정보에는 상기 시청 위치의 이동 속도의 정보가 포함되고,
    상기 전송용 비트스트림 생성부는,
    상기 영상 비트스트림을 역양자화하여 보다 낮은 양자화 레벨에서 재부호화하는 재부호화 처리부와,
    상기 시청 위치의 이동 속도의 크기에 따라, 상기 제1 영역에 대응하는 상기 영상 비트스트림과 상기 제2 영역에 대응하는 상기 영상 비트스트림 중 어느 하나를 상기 재부호화 처리부에 출력하는 전송용 비트스트림 재구성 처리부를 구비한
    송신 장치.
  3. 제2항에 있어서, 상기 전송용 비트스트림 재구성 처리부는 상기 시청 위치의 이동 속도가 미리 설정된 소정의 임계값을 초과하지 않는 경우에, 또한 처리 대상의 상기 영상 비트스트림이 상기 제1 영역 또는 상기 제1 영역의 주변의 영역이며 또한 상기 제2 영역보다 좁은 범위의 제3 영역 이외의 영역인 제4 영역에 대응하고 있는 경우에는 상기 제4 영역에 대응하는 상기 영상 비트스트림을 상기 재부호화 처리부에 출력하고, 상기 시청 위치의 이동 속도가 미리 설정된 소정의 임계값을 초과한 경우에는 상기 제1 내지 제4 영역에 대응하는 상기 영상 비트스트림을 상기 재부호화 처리부에 출력하는
    송신 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 영상 영역 분할 처리부는 상기 입력 영상 신호의 영상 영역을 분할한 각 분할 영역에 대응하는 상기 입력 영상 신호가 갖는 해상도와 동일한 해상도를 갖는 제1 영역 분할 영상 신호와, 상기 입력 영상 신호의 영상 영역의 영상을 보다 낮은 해상도로 변환한 제2 영역 분할 영상 신호를 생성하고,
    상기 영상 비트스트림군 축적부에는 상기 제1 영역 분할 영상 신호로부터 생성된 제1 영상 비트스트림과, 상기 제2 영역 분할 영상 신호로부터 생성된 제2 영상 비트스트림이 축적되고,
    상기 시점 정보에는 유저가 요구하는 시청 영역의 크기를 나타내는 요구 해상도 정보가 포함되고,
    상기 전송용 비트스트림 생성부는 상기 요구 해상도 정보에 의해 특정되는 해상도와 대응하는 해상도를 갖는 영상 비트스트림을 상기 영상 비트스트림군 축적부로부터 추출하는
    송신 장치.
  5. 제4항에 있어서, 상기 제2 영역 분할 영상 신호에는 상기 입력 영상 신호의 영상 영역의 영상을 분할하지 않고, 낮은 해상도로 변환한 저해상도 영역 분할 영상 신호와, 상기 입력 영상 신호의 영상 영역의 영상을 분할하고, 상기 저해상도 영역 분할 영상 신호에서의 해상도보다도 높은 해상도로 변환한 중해상도 영역 분할 영상 신호가 포함되는
    송신 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서, 입력 음성 신호를 부호화하여 음성 비트스트림을 생성하는 음성 부호화 처리부와,
    상기 음성 부호화 처리부에서 생성된 음성 비트스트림을 상기 입력 음성 신호가 생성된 위치의 정보와 대응시켜서 축적하는 음성 비트스트림 축적부와,
    상기 시점 정보에 기초하여, 상기 시점 정보에 의해 특정되는 영상 영역과 대응하는 위치에서 생성된 음성 신호로부터 생성된 복수의 음성 비트스트림을 상기 음성 비트스트림 축적부로부터 추출하고, 상기 추출한 복수의 음성 비트스트림을 혼합하는 음성 비트스트림 추출·혼합 처리부와,
    상기 음성 비트스트림 추출·혼합 처리부에서 혼합된 음성 비트스트림을 상기 수신 장치에 송신하는 음성 비트스트림 송신부를 더 구비한
    송신 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 네트워크로 접속된 수신 장치에 대하여 데이터를 송신하는 송신 장치에서 사용되는 송신 방법으로서,
    입력 영상 신호의 영상 영역을 소정수의 영역으로 분할하고, 상기 분할된 각 영역에 대응하는 복수의 영역 분할 영상 신호를 생성하는 스텝과,
    상기 복수의 영역 분할 영상 신호를 각 분할 영역간에서 예측 관계를 갖게 하지 않도록 독립하여 부호화하여 복수의 영상 비트스트림을 생성하는 스텝과,
    상기 부호화에서 생성된 복수의 영상 비트스트림을 축적하는 스텝과,
    상기 수신 장치로부터 송신되는 상기 영상 영역 중에서 시청 대상의 영역으로서 지정된 시청 위치의 정보를 포함하는 시점 정보를 수신하는 스텝과,
    상기 시점 정보에 기초하여, 상기 시청 위치에 따라 특정되는 제1 영역에 대응하는 상기 영상 비트스트림 및 상기 제1 영역의 주변 영역인 제2 영역에 대응하는 상기 영상 비트스트림을 상기 축적된 영상 비트스트림군 중에서 추출하여 싱글스트림을 생성하는 스텝과,
    상기 싱글스트림을 상기 수신 장치에 송신하는 스텝을 포함하고,
    상기 각 분할 영역은, 수직 방향 및 수평 방향에 각각 2개 이상의 매크로 블록을 갖고 있으며,
    상기 싱글스트림을 생성하는 스텝에 있어서는,
    먼저, 상기 분할 영역에서의 상기 영상 비트스트림으로부터, 복수의 매크로 블록으로 구성되는 1 라인 분의 비트스트림을 취출하고,
    계속해서, 상기 분할 영역에서의 상기 영상 비트스트림의 우측에 대응하는 분할 영역에서의 영상 비트스트림으로부터, 복수의 매크로 블록으로 구성되고, 또한 상기 취출된 1 라인 분의 비트스트림과 같은 수직 방향 위치에 있는 1 라인 분의 비트스트림을 취출하고,
    그리고, 처음에 취출한 상기 1 라인 분의 비트스트림의 우측 단부에, 다음에 취출한 1 라인 분의 비트스트림의 좌측 단부를 접속시켜, 이 처리를 상기 제2 영역의 우측 단부에 달할 때까지 계속하고,
    상기 제2 영역의 우측 단부에 달한 경우는, 1 라인 분 아래로 이동해서 마찬가지의 처리를 행하고, 이러한 처리가 반복됨으로써, 상기 독립적으로 부호화한 복수의 영상 비트스트림을, 상기 싱글스트림에 구성하는 처리를 행하는 것이며,
    여기서, 상기 싱글스트림은, 상기 싱글스트림 단독으로, 다른 영역에의 예측 관계를 사용하지 않고 복호 또는 재생이 가능한 구성으로 되어 있는
    송신 방법.
  14. 삭제
  15. 삭제
KR1020127004117A 2009-07-16 2010-07-07 송신 장치, 수신 장치, 송신 방법, 수신 방법 및 전송 시스템 KR101705928B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009167913A JP5089658B2 (ja) 2009-07-16 2009-07-16 送信装置及び送信方法
JPJP-P-2009-167913 2009-07-16
PCT/JP2010/061504 WO2011007701A1 (ja) 2009-07-16 2010-07-07 送信装置、受信装置、送信方法、受信方法及び伝送システム

Publications (2)

Publication Number Publication Date
KR20120042996A KR20120042996A (ko) 2012-05-03
KR101705928B1 true KR101705928B1 (ko) 2017-02-10

Family

ID=43449310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127004117A KR101705928B1 (ko) 2009-07-16 2010-07-07 송신 장치, 수신 장치, 송신 방법, 수신 방법 및 전송 시스템

Country Status (9)

Country Link
US (1) US20120147954A1 (ko)
EP (1) EP2456201A4 (ko)
JP (1) JP5089658B2 (ko)
KR (1) KR101705928B1 (ko)
CN (1) CN102474659B (ko)
HK (1) HK1167765A1 (ko)
IN (1) IN2012DN00726A (ko)
SG (1) SG178037A1 (ko)
WO (1) WO2011007701A1 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
SG188630A1 (en) 2010-09-24 2013-04-30 Gnzo Inc Video bit stream transmission system
KR20120058763A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법
JP5685682B2 (ja) * 2011-10-24 2015-03-18 株式会社Gnzo 映像信号の符号化システム及び符号化方法
US9465572B2 (en) * 2011-11-09 2016-10-11 Microsoft Technology Licensing, Llc Dynamic server-side image sizing for fidelity improvements
US20130143657A1 (en) * 2011-11-14 2013-06-06 Amazon Technologies, Inc. Input Mapping Regions
EP2613552A3 (en) * 2011-11-17 2016-11-09 Axell Corporation Method for moving image reproduction processing and mobile information terminal using the method
US9094696B2 (en) * 2012-02-06 2015-07-28 Ittiam Systems (P) Ltd. System and method to ensure buffer compliance in a MPEG2 transport stream system
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
JP5838925B2 (ja) * 2012-06-29 2016-01-06 ブラザー工業株式会社 通信システム、端末装置、動画の表示方法、及びプログラム
CN102752598A (zh) * 2012-07-09 2012-10-24 北京博雅华录视听技术研究院有限公司 快速自适应码率控制方法
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
KR102091137B1 (ko) * 2012-07-17 2020-03-20 삼성전자주식회사 영상 제공 시스템 및 방법
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9369670B2 (en) * 2012-12-19 2016-06-14 Rabbit, Inc. Audio video streaming system and method
US9118843B2 (en) * 2013-01-17 2015-08-25 Google Inc. Methods and systems for creating swivel views from a handheld device
JP2014165841A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 情報処理装置及び情報処理方法
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
WO2015015584A1 (ja) * 2013-07-31 2015-02-05 日立マクセル株式会社 映像伝送システム、送信装置、および受信装置
WO2015020069A1 (ja) 2013-08-08 2015-02-12 国立大学法人電気通信大学 データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
JP6178705B2 (ja) * 2013-11-15 2017-08-09 日本電信電話株式会社 映像配信システム、映像配信装置及び映像配信プログラム
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
JP2016058994A (ja) * 2014-09-12 2016-04-21 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
JP2017022529A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 通信システム、通信装置、通信方法、及び、プログラム
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US9824723B1 (en) * 2015-08-27 2017-11-21 Amazon Technologies, Inc. Direction indicators for panoramic images
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US20170230612A1 (en) * 2016-02-04 2017-08-10 Shane Ray Thielen Adaptive resolution encoding for streaming data
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US10547879B2 (en) * 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
JP6861484B2 (ja) 2016-07-25 2021-04-21 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
CN106454395B (zh) * 2016-09-20 2018-10-12 北京百度网讯科技有限公司 在服务器中用于自适应提供多码率流媒体的方法及装置
CN109362242B (zh) * 2016-10-10 2021-05-14 华为技术有限公司 一种视频数据的处理方法及装置
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10587800B2 (en) * 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
EP3692722A1 (en) * 2017-10-02 2020-08-12 Fraunhofer Gesellschaft zur Förderung der Angewand Efficient immersive streaming
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
WO2019138929A1 (ja) * 2018-01-12 2019-07-18 ソニー株式会社 情報処理装置および方法
JP7091703B2 (ja) * 2018-02-26 2022-06-28 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
EP3804347B1 (en) 2018-06-04 2023-10-25 Boe Technology Group Co., Ltd. A method for processing image data with reduced transmission bandwidth for display
KR102500145B1 (ko) * 2018-07-13 2023-02-16 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐트 전송 방법
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
JP7417373B2 (ja) 2019-07-25 2024-01-18 日本放送協会 映像符号化装置、再生装置及びプログラム
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
JP2023026969A (ja) * 2021-08-16 2023-03-01 キヤノン株式会社 撮像システム、サーバ装置、サーバ装置の制御方法、プログラム、および記憶媒体
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
CN114071183B (zh) * 2022-01-17 2022-05-17 中央广播电视总台 视频节目播出方法、装置、计算机设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02135880A (ja) 1988-11-16 1990-05-24 Matsushita Electric Ind Co Ltd 撮像装置
KR940007161B1 (ko) 1991-06-21 1994-08-06 삼성전자 주식회사 이미지버퍼를 이용한 전자주밍시스템
JPH07284032A (ja) * 1994-04-12 1995-10-27 Nippon Telegr & Teleph Corp <Ntt> テレビチャンネル表示方法
JPH0955925A (ja) * 1995-08-11 1997-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像システム
JPH09182053A (ja) * 1995-12-26 1997-07-11 Matsushita Electric Ind Co Ltd 画像情報選択装置
US6192393B1 (en) * 1998-04-07 2001-02-20 Mgi Software Corporation Method and system for panorama viewing
JP2002330440A (ja) * 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
JP2004045546A (ja) * 2002-07-09 2004-02-12 Canon Inc 電子写真装置
JP2004048546A (ja) * 2002-07-15 2004-02-12 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
JP4066852B2 (ja) 2003-03-04 2008-03-26 株式会社日立製作所 ビデオ符号化方式変換装置、変換方法、およびこれを用いたビデオ記録再生装置
US7149370B2 (en) * 2003-03-07 2006-12-12 Nokia Corporation Method and device for image surfing
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
EP2230844B1 (en) * 2008-01-17 2017-11-22 Panasonic Intellectual Property Management Co., Ltd. Recording medium on which 3d video is recorded, recording apparatus for recording 3d video, and reproducing device and method for reproducing 3d video
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video

Also Published As

Publication number Publication date
EP2456201A1 (en) 2012-05-23
KR20120042996A (ko) 2012-05-03
JP2011024018A (ja) 2011-02-03
CN102474659A (zh) 2012-05-23
US20120147954A1 (en) 2012-06-14
SG178037A1 (en) 2012-03-29
WO2011007701A1 (ja) 2011-01-20
CN102474659B (zh) 2015-11-25
HK1167765A1 (zh) 2012-12-07
JP5089658B2 (ja) 2012-12-05
EP2456201A4 (en) 2014-08-13
IN2012DN00726A (ko) 2015-06-19

Similar Documents

Publication Publication Date Title
KR101705928B1 (ko) 송신 장치, 수신 장치, 송신 방법, 수신 방법 및 전송 시스템
EP1249131B1 (en) Video compression for multicast environments using spatial scalability and simulcast coding
KR100973216B1 (ko) 비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치
KR101281845B1 (ko) 스케일러블 비디오 전송 단말 장치에 대한 비주얼 프로그램 가이드 장치 및 방법
KR100471176B1 (ko) 화상 복호화 장치와 음성 복호화 장치
EP1638333A1 (en) Rate adaptive video coding
US6058122A (en) Device for splitting a screen in MPEG image signals at a completely compressed domain and the method thereof
KR101014451B1 (ko) 주문형 비디오 서버 시스템 및 방법
EP0805600A2 (en) Compressed video text overlay
WO2021117813A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
WO2021157608A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
JP3936708B2 (ja) 画像通信システム，通信会議システム，階層符号化装置，サーバ装置，画像通信方法，画像通信プログラムおよび画像通信プログラム記録媒体
KR20070090185A (ko) 비디오 스트림들을 처리하는 방법 및 장치
KR102312668B1 (ko) 비디오 트랜스코딩 시스템
JP2005045666A (ja) トランスコーダ
JP2001346207A (ja) 画像情報変換装置及び方法
KR100802180B1 (ko) 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법
WO2021235327A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
WO2021261537A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
JP2002016921A (ja) 動画像符号化装置および動画像復号化装置
WO2022234767A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
WO2021049644A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
WO2021049642A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
WO2021235411A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
WO2024009967A1 (ja) 復号装置、符号化装置、復号方法、および符号化方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant