JPWO2015045788A1 - 配信管理装置、配信方法、及びプログラム - Google Patents

配信管理装置、配信方法、及びプログラム Download PDF

Info

Publication number
JPWO2015045788A1
JPWO2015045788A1 JP2015539059A JP2015539059A JPWO2015045788A1 JP WO2015045788 A1 JPWO2015045788 A1 JP WO2015045788A1 JP 2015539059 A JP2015539059 A JP 2015539059A JP 2015539059 A JP2015539059 A JP 2015539059A JP WO2015045788 A1 JPWO2015045788 A1 JP WO2015045788A1
Authority
JP
Japan
Prior art keywords
communication terminal
data
unit
video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015539059A
Other languages
English (en)
Other versions
JP6354764B2 (ja
Inventor
二宮 正樹
正樹 二宮
笠谷 潔
潔 笠谷
泰弘 久芳
泰弘 久芳
桑田 正弘
正弘 桑田
志田 春夫
春夫 志田
浪江 健史
健史 浪江
岡田 敦
敦 岡田
洋介 楠見
洋介 楠見
大村 克之
克之 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2015045788A1 publication Critical patent/JPWO2015045788A1/ja
Application granted granted Critical
Publication of JP6354764B2 publication Critical patent/JP6354764B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

配信管理装置は、コンテンツデータから静止画データを生成する生成手段と、静止画データを映像データに変換する変換手段と、変換された映像データを、該映像データの再生表示が可能な第1通信端末および第2通信端末にそれぞれ配信する配信手段と、を備える。第1通信端末で再生表示している映像データの一部の領域を拡大する操作を示す第1操作データが送信された場合に、変換手段は、第1通信端末で再生表示している映像データのうち、第2通信端末の再生表示能力に応じた一部の領域の映像データを生成し、配信手段は、変換手段が生成した一部の領域の映像データを第2通信端末に配信する。

Description

本発明は、通信端末に通信ネットワークを介してデータを配信する配信管理装置、配信方法、及びプログラムに関する。
従来、ウェブコンテンツを分割して複数の端末に配信する技術が知られている。例えば、特許文献1には、1ページ分のコンテンツをメニュー部分とコンテンツ部分に分割して、メニュー部分をPDA等の再生表示能力が小さい端末に配信し、コンテンツ部分をインターネットテレビ等の再生表示能力が大きい端末に配信することが記載されている。
特許文献1に記載の技術では、コンテンツ部分が配信される端末の再生表示能力(解像度等)がコンテンツ部分のデータサイズに対して十分であれば、コンテンツ部分を見やすく表示することができる。しかし、コンテンツ部分のデータサイズが端末の再生表示能力(解像度等)より大きい場合、コンテンツ部分の全体を表示させようとすると映像が縮小されて見やすく表示できない。
本発明は、上記に鑑みてなされたものであって、通信端末にコンテンツの映像全体を表示させつつ、コンテンツの見たい部分を見やすく表示させることができる配信管理装置、配信方法、及びプログラムを提供することを主な目的とする。
上述した課題を解決し、目的を達成するために、本発明は、コンテンツデータから静止画データを生成する生成手段と、前記静止画データを映像データに変換する変換手段と、前記映像データを、該映像データの再生表示が可能な第1通信端末および第2通信端末にそれぞれ配信する配信手段と、を備え、前記第1通信端末で再生表示している前記映像データの一部の領域を拡大する操作を示す第1操作データが送信された場合に、前記変換手段は、前記第1通信端末で再生表示している前記映像データのうち、前記第2通信端末の再生表示能力に応じた一部の領域の映像データを生成し、前記配信手段は、前記変換手段が生成した一部の領域の映像データを前記第2通信端末に配信することを特徴とする。
本発明によれば、通信端末にコンテンツの映像全体を表示させつつ、コンテンツの見たい部分を見やすく表示させることができるという効果を奏する。
図1は、本実施形態に係る配信システムの概略図である。 図2は、通信端末にドングルを取り付ける際のイメージ図である。 図3は、基本的な配信方法を示す概念図である。 図4は、マルチディスプレイの概念図である。 図5は、マルチディスプレイを応用した拡大表示の概念図である。 図6は、配信管理装置のハードウェア構成の一例を示す図である。 図7は、ドングルのハードウェア構成の一例を示す図である。 図8は、主に配信管理装置の各機能を示す機能ブロック図である。 図9は、エンコーダブリッジ部の詳細図である。 図10は、変換部の各機能を示す機能ブロック図である。 図11は、主に通信端末の各機能を示す機能ブロック図である。 図12は、端末管理装置の各機能を示す機能ブロック図である。 図13は、配信先選択メニュー画面の概念図である。 図14は、端末管理テーブルの概念図である。 図15は、利用可能端末管理テーブルの概念図である。 図16は、配信管理装置の基本的な配信処理を示すシーケンス図である。 図17は、配信管理装置と通信端末との間で行われる時刻調整の処理を示すシーケンス図である。 図18は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示すシーケンス図である。 図19は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示すシーケンス図である。 図20は、マルチディスプレイの処理を示すシーケンス図である。 図21は、マルチディスプレイの処理を示すシーケンス図である。 図22は、マルチディスプレイの処理を示すシーケンス図である。 図23は、マルチディスプレイを利用した拡大処理を示すシーケンス図である。
以下に図面を用いて、本発明に係る配信管理装置、配信方法、及びプログラムの実施形態を詳細に説明する。以下に示す実施形態は、クラウドコンピューティングを利用して、クラウド上でウェブブラウザ(以下、「ブラウザ」と示す。)とエンコーダとの両方を連携させて実行させ、通信端末に映像データや音データ等を送信する配信システムに対して本発明を適用した適用例である。なお、以下で記載する「画像」には、静止画及び動画が含まれる。また、以下で記載する「映像」は、基本的に動画を意味し、動画が停止されて静止画状態になった場合も含まれる。更に、静止画及び音のうち少なくとも一方を示す場合には、「静止画(音)」と表記する。また、画像及び音のうち少なくとも一方を示す場合には、「画像(音)」と表記する。映像及び音のうち少なくとも一方を示す場合には、「映像(音)」と表記する。
〔実施形態の概略〕
まず、図1を用いて、本実施形態の概略を説明する。図1は、本実施形態に係る配信システム1の概略図である。
<システム構成の概略>
まず、配信システム1の構成の概略について説明する。図1に示すように、本実施形態の配信システム1は、配信管理装置2、複数の通信端末5a〜5f、端末管理装置7、及びウェブサーバ8を備えて構築されている。なお、以下では、複数の通信端末5a〜5fのうち、任意の通信端末を示す場合には、「通信端末5」と表記する。配信管理装置2、端末管理装置7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
通信端末5は、配信システム1のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPC(Personal Computer)である。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビ(ビデオ)会議端末である。通信端末5fは、ユーザ等によって描かれた文字や図形等を電子的に変換することが可能な電子黒板(ホワイトボード)である。
なお、通信端末5は、図1に示したような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であって、インターネット等の通信ネットワークを介して通信可能な装置であってもよい。
また、配信管理装置2、通信端末5、端末管理装置7、及びウェブサーバ8は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
なお、通信端末5によっては、通信端末5d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、図2に示すように、ユーザが通信端末5dのUSB(Universal Serial Bus)やHDMI(登録商標)(High-Definition Multimedia Interface)等のインターフェース部にドングル99を差し込むことで、通信端末5dは通信ネットワーク9を介して他の端末やシステムと通信可能となる。なお、図2は、通信端末にドングル99を取り付ける際のイメージ図である。
配信管理装置2は、クラウド上でブラウザ20を有し、ブラウザ20におけるレンダラ(Renderer)の機能が、所定の記述言語で示された単一又は複数のコンテンツデータを取得して、レンダリングすることにより、RGB(Red,Green,Blue)によるビットマップデータ等の静止画データやPCM(Pulse Code Modulation)データ等の音データ(即ち、静止画(音)データ)としてのフレームデータを生成することができる。なお、コンテンツデータは、ウェブサーバ8や任意の通信端末等から取得されたデータであって、HTML(Hypertext Markup Language)やCSS(Cascading Style Sheets)による画像(音)データ、MP4(MPEG−4)による画像(音)データ、AAC(Advanced Audio Coding)による音データ等が含まれる。
更に、配信管理装置2は、クラウド上でエンコード部19を有し、エンコード部19がエンコーダとしての役割を果たすことにより、静止画(音)データとしての各フレームデータを、H.264(MPEG−4 AVC)、H.265、Motion JPEG等の圧縮符号化方式の映像(音)データに変換する。
一方、端末管理装置7は、通信端末5のログイン認証を行ったり、通信端末5の契約情報等の管理を行ったりする。また、端末管理装置7は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理装置7は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理装置7は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
また、配信管理装置2のブラウザ20は、リアルタイムコミュニケーション(RTC:Real-time Communication/Collaboration)を可能にしている。更に、配信管理装置2のエンコード部19は、ブラウザ20によって生成された映像(音)データに対して、リアルタイムのエンコードを行い、例えばH.264の規格等に基づく変換により生成された映像(音)データを出力することができる。そのため、配信管理装置2の処理は、例えば、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
なお、配信管理装置2だけでなく、通信端末5もブラウザを有してもよい。この場合、配信管理装置2のブラウザ20を最新化することで、各通信端末5のブラウザを起動させる必要はなくなる。
<各種配信方式の概略>
続いて、本実施形態の配信システム1における各種配信方式の概略について説明する。
(基本配信)
図3は、本実施形態の配信システム1における基本的な配信方法を示す概念図である。配信システム1では、図3に示すように、配信管理装置2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得し、レンダリングすることにより、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG−4等の映像(音)データとして配信される。このため、低スペックの通信端末5であってもスムーズに映像(音)を再生することが可能になる。また、本実施形態の配信システム1では、配信管理装置2のブラウザ20を最新化しておくことで、ローカルとしての通信端末5にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
また、配信システム1は、上述の配信方法を応用し、図4及び図5に示すように、複数の通信端末5に、ウェブコンテンツを映像(音)データとして配信することも可能である。ここで、図4及び図5に示す配信方法について説明する。
(マルチディスプレイ)
図4は、マルチディスプレイの概念図である。図4に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ〔X〕,〔Y〕,〔Z〕に分割した後にエンコードする。その後、配信管理装置2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理装置2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5f1,5f2,5f3で分割して映像が表示されるため、これら通信端末5f1,5f2,5f3を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末5f1,5f2,5f3が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
(マルチディスプレイを利用した拡大表示)
マルチディスプレイは、配信管理装置2のブラウザ20により生成された単一の映像データを、複数の通信端末5に対してそれぞれ異なる映像データとして配信することができる。これを利用して、例えば、複数の通信端末5のうちの一つに映像全体を表示させ、他の通信端末5には、その一部を拡大して表示させることができる。映像データのサイズが大きく、映像全体を表示させている通信端末5では映像が見にくくなっている場合、映像の見たい部分を他の通信端末5の再生表示能力(解像度等)に合わせて該通信端末5に拡大表示させることで見やすくするといった利用が可能である。
図5は、マルチディスプレイを応用した拡大表示の概念図である。図5に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、単一の映像データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像データ〔A〕をエンコードする。配信管理装置2は、エンコードされた映像データ〔A〕を複数の通信端末5f1,5f2,5f3に配信する。
その後、ユーザが通信端末5f1に対して表示中の映像〔A〕の一部を拡大させる操作を行い、その操作データ〔p〕(第1操作データ)が通信端末5f1から配信管理装置2に送られると、エンコーダブリッジ部30は、ブラウザ20により生成された映像データ〔A〕の一部の領域を切り出す処理を行う。切り出す領域の大きさは、通信端末5f2,5f3の再生表示能力(解像度等)に応じて定められる。例えば、映像データ〔A〕のサイズが大きく、映像全体を表示させるために映像データ〔A〕をリサイズ(縮小)している場合には、リサイズせずに通信端末5f2,5f3に表示させることができる大きさの領域を切り出す。そして、エンコーダブリッジ部30は、ブラウザ20により生成された映像データ〔A〕と、この映像データ〔A〕から通信端末5f2の再生表示能力(解像度等)に合わせて切り出した一部の領域の映像データ〔A’〕と、映像データ〔A〕から通信端末5f3の再生表示能力(解像度等)に合わせて切り出した一部の領域の映像データ〔A”〕とをそれぞれエンコードする。配信管理装置2は、エンコードされた映像データ〔A〕を通信端末5f1に配信し、エンコードされた映像データ〔A’〕を通信端末5f2に配信し、エンコードされた映像データ〔A”〕を通信端末5f3に配信する。これにより、通信端末5f1に映像全体を表示させつつ、通信端末5f1,5f2には、通信端末5f1に表示させている映像の一部を拡大して表示させることができる。
なお、映像から切り出す領域の初期位置は予め定められており、配信管理装置2と通信端末5f1の双方がその初期位置を外部から取得して記憶している。また、通信端末5f1は、通信端末5f2,5f3の再生表示能力(解像度等)を外部から取得して記憶している。通信端末5f1は、ユーザによって表示中の映像データ〔A〕の一部を拡大させる操作が行われると、映像データ〔A〕上の通信端末5f2に対応する初期位置に、通信端末5f2の再生表示能力に応じた大きさのガイド枠を重畳して表示する。同様に、通信端末5f1は、映像データ〔A〕上の通信端末5f3に対応する初期位置に、通信端末5f3の再生表示能力に応じた大きさのガイド枠を重畳して表示する。拡大表示の初期段階では、これらのガイド枠で囲まれた領域の映像が拡大されて、通信端末5f2,5f3にそれぞれ表示される。
その後、ユーザが通信端末5f1に対して表示中の映像データ〔A〕の中でガイド枠を移動させる操作を行い、ガイド枠の移動量や移動方向を示す操作データ〔p〕(第2操作データ)が通信端末5f1から配信管理装置2に送られると、エンコーダブリッジ部30は、その操作データ〔p〕に応じて、映像データ〔A〕から切り出す領域の位置を初期位置から移動させる。例えば、ユーザが移動させたガイド枠が通信端末5f2に対応するガイド枠であれば、エンコーダブリッジ部30は、通信端末5f2に配信する映像データ〔A’〕を切り出す位置を、ガイド枠の移動量や移動方向を示す操作データ〔p〕に応じて変化させる。そして、エンコーダブリッジ部30は、新たに切り出した領域の映像データ〔A’〕をエンコードする。その後、配信管理装置2は、新たに切り出した領域の映像データ〔A’〕を通信端末5f2に配信する。その結果、通信端末5f2には、ユーザが移動させたガイド枠で囲まれた領域の映像が拡大されて表示される。このように、ユーザが通信端末5f1に表示されている映像データ〔A〕の中で拡大して見たい領域にガイド枠を移動させることで、そのガイド枠で囲まれた領域の映像を他の通信端末5f2,5f3に拡大表示させることができる。
なお、この場合、複数の通信端末5f1,5f2,5f3が同じ表示再生能力(解像度が同じ等)を有する必要はない。
〔実施形態の詳細な説明〕
続いて、図6乃至図23を用いて、実施形態の詳細な説明を行う。
<実施形態のハードウェア構成>
まず、図6及び図7を用いて、本実施形態のハードウェア構成を説明する。図6は、配信管理装置2の論理的なハードウェア構成図である。また、図7は、ドングル99の論理的なハードウェア構成図である。なお、通信端末5、端末管理装置7、及びウェブサーバ8のハードウェア構成は、図6に示す配信管理装置2のハードウェア構成と同様であるため、説明を省略する。
図6に示すように、配信管理装置2は、配信管理装置2全体の動作を制御する(ホスト)CPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク9を利用してデータ送信したりドングル99を接続するためのI/F209、キーボード211、マウス212、マイク213、スピーカ214、GPU(Graphics Processing Unit)215、GPU215の駆動に用いられるプログラムを記憶したROM216、GPU215のワークエリアとして使用されるRAM217、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等の拡張バスライン220を備えている。
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
次に、図7を用いて、ドングル99のハードウェア構成について説明する。図7に示すように、ドングル99は、ドングル99全体の動作を制御するCPU91、基本入出力プログラムを記憶したROM92、CPU91のワークエリアとして使用されるRAM93、CPU91の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)94、各種の画像処理を行うGPU95、GPU95の駆動に用いられるプログラムを記憶したROM96a、GPU95のワークエリアとして使用されるRAM96b、通信端末5のI/F209に接続するためのI/F97、アンテナ98a、このアンテナ98aを利用して短距離無線技術により通信を行う通信部98、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン90を備えている。なお、短距離無線技術として、例えば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)、ZigBee(登録商標)等が挙げられる。
<実施形態の機能構成>
次に、図8乃至図15を用い、本実施形態の機能構成について説明する。
(配信管理装置の機能構成)
図8は、主に配信管理装置2の各機能を示す機能ブロック図である。図8では、配信管理装置2が通信端末5f1に対して映像(音)データを配信する場合の機能構成を示しているが、配信先が通信端末5f1以外の場合も、同様の機能構成を有する。なお、配信管理装置2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
配信管理装置2は、図6に例示したハードウェア構成及びプログラムによって、図8に示す各機能構成を実現する。具体的に、配信管理装置2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30、送受信部31、インデックス生成部32、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。更に、配信管理装置2は、図6に示したHDD204によって構築される記憶部2000を有している。この記憶部2000には、認識部35から出力された後述の認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。
上述の各機能構成のうち、ブラウザ20は、配信管理装置2内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ(又はPCM(Pulse Code Modulation)データ)を生成する。また、ブラウザ20は、例えば後述のプラグインを用いて映像(音)ファイルを再生することにより、映像(音)データを生成することができる。本実施形態では、ブラウザ20が生成するデータが、映像(音)データであるものとして説明する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
また、本実施形態の配信システム1では、配信管理装置2内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。
ブラウザ20は、例えば、Media Player、Flash Player、JavaScript(登録商標)、CSS(Cascading Style Sheet)及びHTML(HyperText Markup Language)レンダラを有する。なお、JavaScript(登録商標)には、標準規格のものと配信システム1独自のものが含まれる。ここで、Media Playerは、映像(音)ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScript(登録商標)は、配信システム1に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript(登録商標)群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。
送受信部21は、端末管理装置7やウェブサーバ8との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ8のコンテンツサイトからウェブコンテンツデータを受信し、ブラウザ20に渡す。
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ部30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
また、ブラウザ管理部22は、送受信部31を介して通信端末5から各種操作データ〔p〕を取得し、ブラウザ20に出力する。なお、操作データ〔p〕は、通信端末5での操作イベント(キーボード211やマウス212等による操作や電子ペンPによるストローク等)によって生じたデータである。通信端末5に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末5から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
送信用FIFO24は、ブラウザ20で生成された映像(音)データ〔AEp〕を格納するバッファである。
時刻管理部25は、配信管理装置2独自の時刻Tを管理している。時刻取得部26は、後述の通信端末5における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理装置2における時刻Tを示す時刻情報(T)を取得したり、送受信部31及び送受信部51を介して、後述の時刻制御部56から通信端末5における時刻tを示す時刻情報(t)を受信したり、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信したりする。
回線適応制御部27は、後述の送信遅延時間情報(D)に基づいて、再生遅延時間Uを計算したり、エンコーダブリッジ部30における後述の変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間Uは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。つまり、回線適応制御部27は、送信遅延時間情報(D)とデータのサイズ(ビット数やバイト数等)に基づき、エンコーダブリッジ部30の動作を変更する。この送信遅延時間情報(D)は、後述のように、通信端末5における遅延情報取得部57が再生制御部53から取得した複数の送信遅延時間D1によって構成された度数分布情報を示す。各送信遅延時間D1は、映像(音)データが配信管理装置2によって送信されてから通信端末5によって受信されるまでの時間を示す。
エンコーダブリッジ部30は、ブラウザ20が生成した静止画(音)データとしての各フレームデータを、エンコーダブリッジ部30における後述の変換部10に出力する。この際、変換部10は、回線適応制御部27で計算された動作条件を考慮して各処理を行う。
エンコーダブリッジ部30については、図9及び図10を用いて、更に詳細に説明する。図9は、エンコーダブリッジ部30の詳細図である。また、図10は、変換部10の各機能を示す機能ブロック図である。
図9に示すように、エンコーダブリッジ部30は、作成・選択・転送部310、及び選択部320と、これらの間に構築される複数の変換部10a,10b,10cとを備える。ここでは、3つの変換部10a,10b,10cを示したが、変換部の数はいくつであってもよい。なお、以下、任意の変換部を「変換部10」と表記する。
更に、変換部10は、ブラウザ20によって生成された映像(音)データのデータ形式を、通信ネットワーク9を介して通信端末5に配信できるデータ形式に変換する。そのため、変換部10は、図10に示すように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
トリミング部11は、映像の一部だけを切り出す処理を行う。例えば、上述のマルチディスプレイを利用した拡大表示を行う場合、拡大表示する領域は、ブラウザ20によって生成された映像データから、このトリミング部11によって切り出される。複数の通信端末5の一つで映像全体を表示させ、他の通信端末5で一部の領域を拡大表示させる場合、上述の第1操作データに応じて、通信端末5の数だけ変換部10が用意される。このうち、映像全体を表示する通信端末5に対応する変換部10では、トリミング部11の処理は行われない。一方、映像の一部の領域を拡大表示する通信端末5に対応する変換部10では、トリミング部11が、上述した第1操作データに応じて、ブラウザ20によって生成された映像データから、例えば、後述の解像度情報によって特定される大きさで、後述する選択座標情報によって特定される初期位置の領域を切り出す。
具体的な例を挙げて説明すると、図5に示した例では、まず、通信端末5f1からの第1操作データに応じて、それまで使用していた変換部10に加えて、通信端末5f2に対応する変換部10と、通信端末5f3に対応する変換部10とが新たに作成される。それまで使用していた変換部10は、通信端末5f1用に割り当てられる。そして、通信端末5f2に対応する変換部10のトリミング部11は、端末管理装置7から取得された通信端末5f2の解像度情報及び選択座標情報に基づいて、切り出す領域の大きさ及び初期位置を特定し、ブラウザ20によって生成された映像データから、その領域を切り出す。同様に、通信端末5f3に対応する変換部10のトリミング部11は、端末管理装置7から取得された通信端末5f3の解像度情報及び選択座標情報に基づいて、切り出す領域の大きさ及び初期位置を特定し、ブラウザ20によって生成された映像データから、その領域を切り出す。
また、通信端末5f1から第2操作データが送られた場合、通信端末5f2に対応する変換部10のトリミング部11は、第2操作データにより示される上述のガイド枠の移動量や移動方向に応じて、切り出す領域の位置をその大きさを維持しながら変化させる。同様に、通信端末5f2に対応する変換部10のトリミング部11は、第2操作データにより示される上述のガイド枠の移動量や移動方向に応じて、切り出す領域の位置をその大きさを維持しながら変化させる。トリミング部11がこのような映像の切り出し処理を行うことで、上述のマルチディスプレイを利用した拡大表示が実現される。
リサイズ部12は、映像(画像)の縮尺を変更する。例えば図5に示した例において、ブラウザ20によって生成された映像データのサイズが通信端末5f1の再生表示能力(解像度等)を超えている場合、映像全体を通信端末5f1に表示させるために、通信端末5f2に対応する変換部10では、リサイズ部12が、ブラウザ20によって生成された映像データを、通信端末5f1の解像度に合わせて縮小する。この場合、通信端末5f2に対応する変換部10や通信端末5f3に対応する変換部10のトリミング部11がブラウザ20によって生成された映像データから切り出す領域の大きさを、例えば、リサイズ部12で映像を縮小せずに通信端末5f2や通信端末5f3に表示可能な大きさとすることができる。このとき、ブラウザ20によって生成された映像データから切り出す領域の大きさは、リサイズ部12がその領域の映像データを縮小も拡大も行わずに(リサイズ部12が処理を行わずに)通信端末5f2や通信端末5f3に表示可能な大きさとする。また、ブラウザ20によって生成された映像データから切り出す領域の大きさを、リサイズ部12が予め定めた割合でその領域の映像データ拡大することで通信端末5f2や通信端末5f3に表示可能な大きさとしてもよい。
分割部13は、図4に示したように、ウェブサーバ8から取得したウェブコンテンツを分割する。
エンコード部19は、ブラウザ20で生成された画像(音)データをエンコードすることにより、通信ネットワーク9を介して通信端末5に画像(音)データを配信できるように変換する。また、エンコード部19は、映像が動かなければ(フレーム間で変更(変化)がなければ)、以降、映像が動くまでスキップフレーム(「フレームスキップ」ともいう)データを挿入することで帯域をセーブする。なお、レンダリングにより静止画データと共に音データが生成される場合には、これら両方のデータがエンコードされるが、音データだけが生成される場合には、トリミングやリサイズ、分割は行われることなく、エンコードだけが行われてデータ圧縮される。
作成・選択・転送部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像(音)データを選択したりする。作成・選択・転送部310が新たに変換部10を作成する場合の例としては、例えば、上述のマルチディスプレイを利用した拡大表示を行う場合等、通信端末5における映像(音)データの再生能力に応じた変換が可能な変換部10を作成する場合等が挙げられる。また、作成・選択・転送部310が変換部10に対して入力させる映像(音)データを選択する場合の例としては、例えば、既に作成されている変換部10を選択する場合等が挙げられる。例えば、通信端末5aへの配信に加えて通信端末5bへの配信を開始するにあたって、通信端末5aへ配信している映像(音)データと同じ映像(音)データを通信端末5bへ配信する場合がある。このような場合で、更に、通信端末5bが通信端末5aにおける映像(音)データの再生能力と同じ再生能力を有する場合等が挙げられる。すなわち、このような場合、作成・選択・転送部310は、通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。
選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択・転送部310と選択部320による選択によって、様々なパターンの配信を行うことができる。
図8に戻り、送受信部31は、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末5のログイン処理において、通信端末5の後述する送受信部51に対し、ユーザにログイン要求を促すための認証画面データを送信する。その他に、送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して、配信システム1独自のプロトコルにより、配信システム1のサービスを受けるために通信端末5にインストールされたアプリケーションプログラム(ユーザアプリやデバイスアプリ)へのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信管理装置2と通信端末5との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムデータの作成、クライアントコマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換の各処理を行う。
送信レスポンス制御は、配信管理装置2から通信端末5にデータを送信するために、通信端末5からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部31は、通信端末5に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末5からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
リアルタイムデータの作成は、図10に示したエンコード部19で生成された圧縮映像(および圧縮音)のデータに独自のヘッダを付与して、通信端末5への下り用のHTTPSのBody部に書き込む処理である。
クライアントコマンド送信は、通信端末5に送信するコマンドデータを生成し、通信端末5への配信用(下り用)のHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信管理装置2が通信端末5からデータを受信するために、通信端末5からリクエストされた送信用(上り用)のHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持される。通信端末5は、配信管理装置2の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末5から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンPや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。
図8に戻り、受信用FIFO34は、デコード部40でデコードされた映像(音)データを格納するバッファである。
認識部35は、通信端末5から受信する映像(音)データ〔E〕に対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けに、後述のカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部35は、オフィス向けに、後述のカメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
遅延情報取得部37aは、下り用の回線適応制御の処理に用いられる通信端末5側の遅延情報取得部57に対応して、上り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。送信遅延時間情報(d1)は、映像(音)データが通信端末5によって送信されてから配信管理装置2によって受信されるまでの時間を示す。
回線適応制御部37bは、下り用の回線適応制御の処理に用いられる回線適応制御部27に対応して、上り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、通信端末5側のエンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び後述の送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部40は、通信端末5から送信されて来た映像(音)データ〔E〕をデコードする。また、デコード部40は、送信遅延時間d1を示す送信遅延時間情報(d1)を遅延情報取得部37aに出力する。
(通信端末の機能構成)
続いて、図11を用いて、通信端末5の機能構成について説明する。図11は、主に通信端末5の各機能を示す機能ブロック図である。図11では、通信端末5の1つとして通信端末5f1を例示しているが、通信端末5f1以外の通信端末5であっても、同様の機能構成を有する。なお、通信端末5のうち、ユーザアプリがインストールされた通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる。一方、デバイスアプリがインストールされた通信端末5は、映像(音)データの送受信や操作データ〔p〕の送信を行うのみで、上記インターフェースは持たない。以下では、便宜上、通信端末5にユーザアプリがインストールされているものとして説明する。
通信端末5は、図6と同様のハードウェア構成及びプログラム(ユーザアプリ)によって、図11に示す各機能構成を実現する。具体的に、通信端末5は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、エンコード部60、端末情報取得部510、及び選択座標生成部520を有している。更に、通信端末5は、図6に示したRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、通信端末5における時刻tを示す時刻情報(t)、及び後述の端末情報取得部510によって端末管理装置7から取得された端末情報等が記憶される。
デコード部50は、配信管理装置2から配信され、再生制御部53から出力された映像(音)データ〔AEp〕をデコードする。
送受信部51は、配信管理装置2の送受信部31、及び後述の端末管理装置7の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末5のログイン処理において、操作部52による通信端末5の起動に基づき、端末管理装置7の送受信部71にログイン要求を行う。
操作部52は、ユーザの操作入力を受け付ける処理を行う。例えば、操作部52は、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データ〔p〕として配信管理装置2のブラウザ管理部22に送信する。
再生制御部53は、送受信部51から受けた映像(音)データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部50に出力する。また、再生制御部53は、送信遅延時間D1を示す送信遅延時間情報(D1)を算出し、遅延情報取得部57に出力する。
レンダリング部55は、デコード部50によってデコードされたデータをレンダリングする。
時刻制御部56は、配信管理装置2の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末5における時刻tを示す時刻情報(t)を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理装置2の時刻取得部26に、配信管理装置2における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
表示部58は、レンダリング部55によってレンダリングされたデータを再生し、映像を表示する。また、ユーザが操作部52を用いて表示中の映像の一部を拡大させる操作を行うと、表示部58は、後述の端末情報取得部510が端末管理装置7から取得して記憶部5000に格納した端末情報に含まれる他の通信端末5の解像度情報に基づき、上述のガイド枠の大きさを決定する。また、表示部58は、後述の端末情報取得部510が端末管理装置7から受信して記憶部5000に格納した端末情報に含まれる他の通信端末5の選択座標情報(初期位置)に基づき、表示中の映像において上述のガイド枠を表示する位置を決定する。そして、表示部58は、表示中の映像上の決定した位置に、決定した大きさのガイド枠を重畳表示する。また、表示部58は、ユーザが操作部52を用いて映像に重畳表示しているガイド枠を移動させる操作を行うと、その操作に応じて、映像上に重畳表示しているガイド枠を移動させる。
エンコード部60は、内蔵されたマイク213(図6参照)や、外付けのカメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻tを示す時刻情報(t)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。なお、時刻差Δは、配信管理装置2独自で管理されている時刻Tと通信端末5独自で管理されている時刻tとの差である。また、エンコード部60は、回線適応制御部37bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する。更に、エンコード部60は、変更した新たな動作条件に従って、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻tを示す時刻情報(t)と、記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。図11では、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5eが接続され、通信端末5eのカメラ及びマイクが、通信端末5f1の外付けのカメラ62及びマイク63として利用される例を示している。
端末情報取得部510は、端末管理装置7から、端末管理装置7が管理している他の通信端末5の端末情報を取得して、記憶部5000に格納する。端末情報には、通信端末5の解像度を示す解像度情報と、ガイド枠を重畳表示させる際の初期位置を示す選択座標情報とが含まれる。なお、端末情報取得部510が端末管理装置7から端末情報を取得する方法は特に限定されるものではなく、端末情報を外部に漏洩させることなく取得可能な方法であればよい。
選択座標生成部520は、ユーザが操作部52を用いて行ったガイド枠を移動させる操作に応じて、表示部58が表示中の映像上でガイド枠を重畳表示させる位置を示す座標情報を生成する。表示部58は、選択座標生成部520が生成した座標情報に基づいてガイド枠を映像上に重畳表示することで、ガイド枠の位置をユーザの操作に応じて移動させる。
(端末管理装置の機能構成)
続いて、図12を用いて、端末管理装置7の機能構成について説明する。図12は、端末管理装置7の各機能を示す機能ブロック図である。
端末管理装置7は、図6と同様のハードウェア構成及びプログラムによって、図12に示す各機能構成を実現する。具体的に、端末管理装置7は、送受信部71a、送受信部71b、及び認証部75を有している。また、端末管理装置7は、図6に示したHDD204によって構築される記憶部7000を有している。
送受信部71aは、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末5の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。ログイン要求は、配信システム1に対する通信端末5の認証要求である。ログイン要求は、通信端末5を一意に識別する端末IDと、ユーザ証明書を含む。
送受信部71bは、配信管理装置2との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理装置2の送受信部21から、後述の配信先選択メニューデータ7030の要求を受信したり、送受信部21に対して、配信先選択メニューデータ7030を送信したりする。
認証部75は、通信端末5から受信したログイン要求に含まれる端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5の認証を行う。
記憶部7000には、配信先選択メニューデータ7030、端末管理テーブル7010、利用可能端末管理テーブル7020が記憶される。
配信先選択メニューデータ7030は、図13に示すような配信先選択メニュー画面を表示させるためのデータである。図13は、配信先選択メニュー画面の概念図である。この図13に示す配信先選択メニュー画面では、映像(音)データの配信先として選択できる通信端末5について、後述の共有ID及び表示名が一覧表示される。ユーザは、この配信先選択メニュー画面上で、映像(音)データの配信先として希望する通信端末5の項目にチェックを入れ、「OK」ボタンを押下することで、希望する通信端末5に映像(音)データを配信させることができる。
図14は、端末管理テーブル7010の概念図である。端末管理テーブル7010では、図14に示すように、登録されている通信端末5の端末ID、ユーザ証明書、ユーザが配信システム1のサービスを利用する際の契約情報、通信端末5の端末種別、各通信端末5のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末5の実行環境情報、共有ID、設置位置情報、解像度情報、選択座標情報、及び表示名情報が関連付けて管理されている。
ユーザ証明書は、配信システム1への接続を許可された通信端末5であることを証明する証明書である。ユーザ証明書は、配信システム1への接続を許可された通信端末5に予め与えられている。契約情報は、端末IDによって特定される通信端末5を使用するユーザが配信システム1のサービスを利用する際の契約内容を示す。端末種別は、通信端末5の種別を示す。設定情報は、対応する端末IDによって識別される通信端末5のホームURLを示す。
実行環境情報には、各通信端末5の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれており、各通信端末5のログイン後に、設定情報と共に配信管理装置2に送信され、各通信端末5に対して個別のサービスを行うために利用される。
また、共有IDは、各ユーザが、自己の通信端末5に配信されている映像(音)データと同じ内容の映像(音)データを他の通信端末5にも配信させることで、遠隔共有処理を行う場合等に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。図14に示す例では、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、更に、端末ID「t008」の共有IDは「v006」である。この場合、端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末5f1,5f2,5f3との遠隔共有処理の要求があった場合には、配信管理装置2は、通信端末5f1,5f2,5f3に対して、通信端末5aに配信中の映像(音)データと同じ映像(音)データを配信する。但し、通信端末5aと通信端末5f1,5f2,5f3の表示部58の解像度が異なる場合には、これに応じて、配信管理装置2が映像(音)データを配信する。
設置位置情報は、例えば、図4及び図5に示したように、複数の通信端末5f1,5f2,5f3が並んで設置される場合の設置位置を示している。表示名情報は、図13に示した配信先選択メニュー画面の表示名の内容を表す情報である。
解像度情報は、各通信端末5の解像度を示す情報である。解像度は、通信端末5が有する表示部58が扱う映像(画像)の精細さを表す尺度であり、通信端末5の再生表示能力の一つである。解像度情報は、例えば図16に示すように、通信端末5の解像度を縦×横のピクセル数で表している。
選択座標情報は、各通信端末5に対応するガイド枠を他の通信端末5に重畳表示させる際の初期位置を示す情報である。例えば、図14に示す例において、端末IDが「t006」の通信端末5が、図5に示した通信端末5f1であり、端末IDが「t007」の通信端末5が、図5に示した通信端末5f2であり、端末IDが「t008」の通信端末5が、図5に示した通信端末5f3であるとする。この場合、端末ID「t007」に対応付けられている選択座標情報「(600100)」は、通信端末5f1に表示中の映像上に重畳表示する、通信端末5f2に対応するガイド枠の開始アドレスを示す。また、端末ID「t008」に対応付けられている選択座標情報「(6002400)」は、通信端末5f1に表示中の映像上に重畳表示する、通信端末5f3に対応するガイド枠の開始アドレスを示す。開始アドレスは、ガイド枠の初期位置を示し、例えばガイド枠の左上の座標である。
上述のマルチディスプレイを利用した拡大処理を行う場合、拡大のユーザ操作を受け付ける通信端末5は、解像度情報と選択座標情報とを含む端末情報を端末管理装置7から取得する。例えば、ユーザ操作を受け付ける通信端末5の上述の端末情報取得部501は、自己と同じ共有IDを持つ他の通信端末5についての端末情報の取得を、端末管理装置7に対して要求する。端末管理装置7は、この通信端末5からの要求に応じて、要求元の通信端末5と同じ共有IDを持つ通信端末5の解像度情報と選択座標情報とを端末管理テーブル7010から読み出し、これら解像度情報と選択座標情報とを含む端末情報を、要求に対する応答として要求元の通信端末5に送信する。
図15は、利用可能端末管理テーブル7020の概念図である。利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末5が遠隔共有処理することが可能な他の通信端末又は他の通信端末群を示す共有IDが関連付けて管理されている。
〔実施形態の動作又は処理〕
続いて、図16乃至図23を用いて、本実施形態の動作又は処理について説明する。
<基本的な配信処理>
まず、図16を用いて、配信管理装置2の基本的な配信方法における具体的な配信処理を説明する。図16は、配信管理装置2の基本的な配信処理を示すシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
図16に示すように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理装置7の送受信部71aに、ログイン要求を送信する(ステップS21)。これにより、端末管理装置7の送受信部71aは、ログイン要求を受信して認証部75に出力する。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。よって、認証部75は、通信端末5aの端末ID及びユーザ証明書を取得する。
次に、認証部75は、端末ID及びユーザ証明書に基づいて、図14に示す端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム1における正当な端末であると認証された場合について、以下に続けて説明する。
端末管理装置7の送受信部71aは、通信端末5aの送受信部51bに、配信管理装置2のIPアドレスを送信する(ステップS23)。なお、配信管理装置2のIPアドレスは、予め端末管理装置7によって配信管理装置2から取得されて、記憶部7000に記憶されている。
次に、端末管理装置7の送受信部71bは、配信管理装置2の送受信部21に、ブラウザ20の起動要求を行う(ステップS24)。これにより、送受信部21は、ブラウザ20の起動要求を受信する。そして、ブラウザ管理部22は、送受信部21によって受信された起動要求に基づいてブラウザ20を起動させる(ステップS25)。
次に、エンコーダブリッジ部30の作成・選択・転送部310が、通信端末5aの再生能力(ディスプレイの解像度等)及びコンテンツの種類に従って変換部10を作成する(ステップS26)。
次に、送受信部21は、ブラウザ20の命令に従い、ウェブサーバ8に対して、コンテンツデータ〔A〕を要求する(ステップS27)。これに応じて、ウェブサーバ8は、要求されたコンテンツデータ〔A〕を自己の記憶部(不図示)から読み出す(ステップS28)。そして、ウェブサーバ8は、配信管理装置2の送受信部21にコンテンツデータ〔A〕を送信する(ステップS29)。
次に、ブラウザ20が、送受信部21によって受信されたコンテンツデータ〔A〕をレンダリングすることにより、静止画(音)データとしての各フレームデータを生成して、送信用FIFO24に出力する(ステップS30)。そして、変換部10が、送信用FIFO24に格納されたフレームデータをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔A〕に変換する(ステップS31)。
次に、送受信部31は、通信端末5aの送受信部51に映像(音)データ〔A〕を送信する(ステップS32)。これにより、通信端末5aの送受信部51は、映像(音)データ〔A〕を受信して、再生制御部53に出力する。
次に、通信端末5aでは、デコード部50が再生制御部53から映像(音)データ〔A〕を取得してデコードする(ステップS33)。その後、スピーカ61は、デコードされた音データ〔A〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A〕に基づいて映像を再生する(ステップS34)。
<時刻調整の処理>
続いて、図17を用いて、時刻調整の処理について説明する。図17は、配信管理装置2と通信端末5との間で行われる時刻調整の処理を示すシーケンス図である。
図17に示すように、まず、通信端末5の時刻制御部56は、送受信部51が配信管理装置2に時刻情報(T)を要求する時点を示す時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS81)。そして、送受信部51は送受信部31に、配信管理装置2における時刻情報(T)を要求する(ステップS82)。この場合、時刻情報(T)の要求と共に、上記時刻情報(t)が送信される。
次に、配信管理装置2の時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時点を示す時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS83)。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時点を示す時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS84)。そして、送受信部31は送受信部51に、時刻情報(t, T,T)を送信する(ステップS85)。
次に、通信端末5の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時点を示す時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS86)。そして、通信端末5の時刻制御部56は、配信管理装置2と通信端末5との間の時刻差Δを計算する(ステップS87)。この時刻差Δは、下記式(1)によって表される。
Δ=((T+T)/2)−((t+t)/2) ・・・(1)
そして、時刻制御部56は、記憶部5000に時刻差Δを示す時刻差情報(Δ)を記憶する(ステップS88)。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
<下り用の回線適応制御の処理>
続いて、図18を用いて、配信管理装置2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。図18は、配信管理装置2から通信端末5に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、配信管理装置2の回線適応制御部27は、通信端末5の再生制御部53が映像(音)データを再生させるまでにバッファリングすることで再生を遅延させるための再生遅延時間Uを示す再生遅延時間情報(U)を計算して、エンコーダブリッジ部30に出力する(ステップS101)。
次に、送受信部31は、エンコーダブリッジ部30から再生遅延時間情報(U)を取得し、通信端末5の送受信部51に再生遅延時間情報(U)を送信する(ステップS102)。これにより、通信端末5の送受信部51は、再生遅延時間情報(U)を受信する。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像(音)データ〔A〕に対して、時刻管理部25から取得した時点を示す時刻Tを示す時刻情報(T)をタイムスタンプとして付加する(ステップS103)。そして、送受信部31は、通信端末5の送受信部51に、映像(音)データ及び配信管理装置2の時刻情報(T)を送信する(ステップS104)。これにより、通信端末5の送受信部51は、映像(音)データ及び配信管理装置2の時刻情報(T)を受信し、再生制御部53に映像(音)データ及び時刻情報(T)を出力する。
次に、通信端末5では、再生制御部53が、上記ステップS102によって取得した再生遅延時間情報(U)、上記ステップS104によって取得した時刻情報(T)、及び図17のステップS88によって記憶部5000に記憶した時刻差情報(Δ)に基づき、通信端末5における時刻(T+U−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS105)。これにより、下記式(2)に示される再生遅延時間Uの範囲内に通信端末5が受信した映像(音)データだけが再生されることになり、範囲外の映像(音)データは遅延しすぎるため、再生されずに消去される。
U≧(t+Δ)−T ・・・(2)
また、再生制御部53は、記憶部5000から、通信端末5における現時点の時刻tを読み出す(ステップS106)。この時刻tは、通信端末5が配信管理装置2から映像(音)データを受信した時点の通信端末5における時刻を示す。更に、再生制御部53は、記憶部5000から、図17のステップS88によって記憶されている時刻差Δを示す時刻差情報(Δ)を読み出す(ステップS107)。そして、再生制御部53は、映像(音)データが配信管理装置2から送信されて通信端末5で受信されるまでの時間を示す送信遅延時間D1を計算する(ステップS108)。この計算は、下記式(3)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
D1=(t+Δ)−T ・・・(3)
次に、遅延情報取得部57が、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を、送受信部51に出力する(ステップS109)。そして、送受信部51は、配信管理装置2の送受信部31に、送信遅延時間情報(D)を送信する(ステップS110)。これにより、配信管理装置2の送受信部31は、送信遅延時間情報(D)を受信して、回線適応制御部27に送信遅延時間情報(D)を出力する。
次に、配信管理装置2の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延時間U’を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりして、エンコーダブリッジ部30に出力する(ステップS111)。即ち、回線適応制御部27は、送信遅延時間情報(D)及びデータサイズ(ビット数、バイト数)に基づき、エンコーダブリッジ部30の動作を変更させる。
次に、送受信部31は、エンコーダブリッジ部30から、上記ステップS111によって計算された新たな再生遅延時間U’を示す再生遅延時間情報(U’)を取得し、通信端末5の送受信部51に再生遅延時間情報(U’)を送信する(ステップS112)。これにより、通信端末5の送受信部51は、再生遅延時間情報(U’)を受信する。
更に、エンコーダブリッジ部30における変換部10が、動作条件を示す回線適応制御信号に基づいて、変換部10の動作条件を変更する(ステップS113)。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Uを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Uを長くすることには限界がある。そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Uを変更させて再生遅延時間U’とするだけでなく、変換部10に対して、映像(音)データのフレームレートを下げさせたり、映像(音)データの解像度を下げさせたりすることで、通信ネットワーク9の混雑に対応する。このため、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS103のように、映像(音)データ〔A〕に対して、現時点の時刻情報(T)をタイムスタンプとして付加する(ステップS114)。そして、送受信部31は、通信端末5の送受信部51に、映像(音)データ及び配信管理装置2の時刻情報(T)を送信する(ステップS115)。これにより、通信端末5の送受信部51は、映像(音)データ及び配信管理装置2の時刻情報(T)を受信し、再生制御部53に映像(音)データ及び時刻情報(T)を出力する。
次に、通信端末5では、再生制御部53が、上記ステップS112によって取得した再生遅延時間情報(U’)、上記ステップS115によって取得した時刻情報(T)、及び図17のステップS88によって記憶部5000に記憶した時刻差情報(Δ)に基づき、通信端末5における時刻(T+U’−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、上記ステップS105のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS116)。その後、上記ステップS106以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
<上り用の回線適応制御の処理>
続いて、図19を用いて、通信端末5から配信管理装置2に送信する(上り)データの回線適応制御の処理を説明する。図19は、通信端末5から配信管理装置2に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、通信端末5のエンコード部60は、カメラ62及びマイク63から入力された映像(音)データ〔E〕としてのコンテンツデータをエンコードする(ステップS121)。この際、エンコード部60は、記憶部5000から、現時点の通信端末5における時刻tを示す時刻情報(t)及び時刻差Δを示す時刻差情報(Δ)を取得するが、これらに対してはエンコードを行わない。そして、送受信部51は、配信管理装置2の送受信部31に、映像(音)データ〔E〕、時刻情報(t)及び時刻差情報(Δ)を送信する(ステップS122)。これにより、配信管理装置2の送受信部31は、映像(音)データ〔E〕、時刻情報(t)及び時刻差情報(Δ)を受信する。
次に、配信管理装置2では、デコード部40が上記ステップS122によって映像(音)データ〔E〕等を受信した時点を示す時刻Tを、時刻管理部25から読み出す(ステップS123)。そして、デコード部40は、映像(音)データが通信端末5から送信されて配信管理装置2で受信されるまでの時間を示す送信遅延時間d1を計算する(ステップS124)。この計算は、下記式(4)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間d1が長くなる。
d1=T−(t+Δ) ・・・(4)
次に、配信管理装置2の遅延情報取得部37aは、通信端末5の遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する(ステップS125)。
次に、回線適応制御部37bが、送信遅延時間情報(d)に基づいて、通信端末5のエンコード部60の動作条件を計算する(ステップS126)。そして、送受信部31は、通信端末5の送受信部51に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する(ステップS127)。これにより、通信端末5の送受信部51は、回線適応制御信号を受信する。即ち、図18に示す回線適応制御の場合(下り)は、同じ配信管理装置2内でエンコーダブリッジ部30に回線適応制御信号が出力されるのに対して、図19に示す回線適応制御の場合(上り)は、配信管理装置2から通信ネットワーク9を介して、通信端末5に回線適応制御信号が送信される。
次に、通信端末5のエンコード部60が、送受信部51によって受信された回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する(ステップS128)。そして、エンコード部60は、新たな動作条件によって、上記ステップS121と同様の処理を行う(ステップS129)。そして、送受信部51は、配信管理装置2の送受信部31に対して、上記ステップS122のように、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻tを示す時刻情報(t)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを送信する(ステップS130)。これにより、配信管理装置2の送受信部31は、映像(音)データ〔E〕、時刻情報(t)及び時刻差情報(Δ)を受信する。その後、上記ステップS123以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
<マルチディスプレイの処理>
続いて、図20乃至図22を用いて、マルチディスプレイの処理について説明する。図20乃至図22は、図4に示したマルチディスプレイの処理を示すシーケンス図である。ここでは、通信端末5aで再生されている映像(音)データ〔XYZ〕を、通信端末5f1,5f2,5f3にも分割して再生させる例である。また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「コンテンツ用ブラウザ20a」と表記し、ユーザへの設定画面を表示させるためのブラウザ20を「設定用ブラウザ20b」と表記する。なお、ここでは、図16のステップS30に相当する処理から説明する。
まず、図20に示すように、配信管理装置2のコンテンツ用ブラウザ20aは、ウェブサーバ8から取得したウェブコンテンツデータ〔XYZ〕をレンダリングすることにより、静止画(音)データとしての各フレームデータを生成し、送信用FIFO24に出力する(ステップS201)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された画像(音)データをエンコードすることで、通信端末5aに配信可能なデータ形式の映像(音)データ〔XYZ〕に変換する(ステップS202)。
次に、配信管理装置2の送受信部31が、通信端末5aの送受信部51に、上記変換部10によって変換された後の映像(音)データ〔XYZ〕を送信する(ステップS203)。これにより、通信端末5aの送受信部51は、映像(音)データ〔XYZ〕を受信して、再生制御部53に出力する。
次に、通信端末5aでは、デコード部50が再生制御部53から映像(音)データ〔XYZ〕を取得してデコードする(ステップS204)。その後、スピーカ61は、デコードされた音データ〔XYZ〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔XYZ〕に基づいて映像を再生する(ステップS205)。
次に、通信端末5aのユーザによって、表示部58上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける(ステップS206)。これにより、送受信部51が、端末管理装置7の送受信部71aに、配信先選択メニューへの切り替え要求を送信する(ステップS207)。これにより、端末管理装置7の送受信部71aは、配信先選択メニューへの切り替え要求を受信する。この要求には、通信端末5aの端末IDが含まれている。
次に、送受信部71bは、配信管理装置2の送受信部21に、設定用ブラウザ20bの起動要求を送信する(ステップS208)。これにより、配信管理装置2の送受信部21は、設定用ブラウザ20bの起動要求を受信し、ブラウザ管理部22に対して、設定用ブラウザ20bの起動要求を行う。
次に、ブラウザ管理部22が、設定用ブラウザ20bを起動させる(ステップS209)。そして、エンコーダブリッジ部30の作成・選択・転送部310が、コンテンツ用ブラウザ20aから変換部10(例えば、変換部10a)への出力を、設定用ブラウザ20bから変換部10(例えば、変換部10b)への出力に切り替える(ステップS210)。但し、通信端末5aが他の通信端末5(例えば、通信端末5b)と変換部10(例えば、変換部10a)を共有して上記ステップS203による映像(音)データを受信していた場合には、他の通信端末5(例えば、通信端末5b)はコンテンツ用ブラウザ20a用に変換部10(例えば、変換部10a)を利用中であるため、エンコーダブリッジ部30の作成・選択・転送部310は、新たに変換部10(例えば、変換部10b)を作成する。
そして、送受信部21は、設定用ブラウザ20bの命令に従って、端末管理装置7の送受信部71bに、配信先選択メニュー要求を送信する(ステップS211)。この際に、通信端末5aの端末IDも送信される。これにより、端末管理装置7の送受信部71bは、配信先選択メニュー要求を受信し、記憶部7000に通信端末5aの端末IDを出力する。
これに対して、端末管理装置7の記憶部7000は、この端末IDに基づいて利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する(ステップS212)。この共有IDは、通信端末5aが遠隔共通処理をするために利用可能な通信端末5を示している。例えば、通信端末5aの端末IDが「t001」である場合、図15に示した利用可能端末管理テーブル7020を検索することで、共有ID「v003」,「v006」が抽出される。
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する(ステップS213)。ここでは、図14に示されているように、抽出された共有ID「v003」,「v006」に対応する表示名は、それぞれ「東京本社10F MFP」、「大阪展示場1F マルチディスプレイ」である。
そして、送受信部71bは、配信管理装置2の送受信部21に、コンテンツデータとして配信先選択メニューデータ〔M〕を送信する(ステップS214)。これにより、配信管理装置2の送受信部21は、配信先選択メニューデータ〔M〕を受信し、設定用ブラウザ20bに出力する。この配信先選択メニューデータ〔M〕は、図13に示した配信先選択メニュー画面を表示させるための情報であり、チェックボックス、共有ID、及び表示名が含まれている。
次に、図21に示すように、設定用ブラウザ20bが、端末管理装置7から取得した配信先選択メニューデータ〔M〕を示すコンテンツデータをレンダリングすることによって、静止画(音)データとしての各フレームデータを生成し、送信用FIFO24に出力する(ステップS221)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された各フレームデータをエンコードすることで、通信端末5aに配信可能なデータ形式の映像(音)データ〔M〕に変換する(ステップS222)。
次に、送受信部31は、通信端末5aの送受信部51に、上記変換部10によって変換された後の映像(音)データ〔M〕を送信する(ステップS223)。これにより、通信端末5aの送受信部51は、映像(音)データ〔M〕を受信して、再生制御部53に出力する。
次に、通信端末5aでは、デコード部50が再生制御部53から映像(音)データ〔M〕を取得してデコードする(ステップS224)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔M〕に基づいて、図13に示したような配信先選択メニュー画面の映像を再生する(ステップS225)。
次に、図13に示した配信先選択メニュー画面において、ユーザにより共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると、操作部52が、ユーザの操作入力を受け付ける(ステップS226)。
次に、送受信部51は、配信管理装置2の送受信部31に、操作データ〔p〕としてチェック結果を送信する(ステップS227)。これにより、配信管理装置2の送受信部31は、操作データ〔p〕としてチェック結果を受信して、設定用ブラウザ20bに出力する。
次に、設定用ブラウザ20bが、チェック結果から共有IDを選択する(ステップS228)。そして、送受信部21は、設定用ブラウザ20bの命令に従って、端末管理装置7の送受信部71bに、配信先追加要求を送信する(ステップS229)。この配信先追加要求には、上記ステップS228によって選択された共有IDが含まれている。これにより、端末管理装置7の送受信部71bは、配信先追加要求を受信し、記憶部7000に共有IDを出力する。そして、設定用ブラウザ20bは、役目を終えて終了する(ステップS230)。その後、エンコーダブリッジ部30の作成・選択・転送部310は、設定用ブラウザ20bから変換部10への出力を、コンテンツ用ブラウザ20aから変換部10への出力に戻すよう切り替える(ステップS231)。
次に、図22に示すように、端末管理装置7の記憶部7000では、上記ステップS229によって送られてきた共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID及び設置位置情報を抽出する(ステップS241)。そして、送受信部71bは、配信管理装置2の送受信部21に、配信先の追加指示を送信する(ステップS242)。この配信先の追加指示には、上記ステップS241によって抽出された端末ID及び設置位置情報が含まれている。これにより、配信管理装置2の送受信部21は、配信先の追加指示を受信し、ブラウザ管理部22に配信先の追加指示を出力する。ここでは、端末ID及び設置位置情報が「t006」、「左」と、端末ID及び設置位置情報が「t007」、「中」と、端末ID及び設置位置情報が「t008」、「右」との3組の端末ID及び設置位置情報が含まれているものとする。
次に、エンコーダブリッジ部30の作成・選択・転送部310が、マルチディスプレイ用の変換部10を作成する(ステップS243)。なお、この場合、エンコーダブリッジ部30の作成・選択・転送部310は、ブラウザ管理部22から、端末ID及び設置位置情報を取得する。そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている静止画(音)データとしての各フレームデータ〔XYZ〕を分割し、エンコード部19が、分割された各フレームデータをエンコードする(ステップS244)。
そして、送受信部31は、エンコーダブリッジ部30によってエンコードされた映像(音)データ〔X〕を、端末ID(「t006」)及び設置位置情報(「左」)に基づいて、通信端末5f1の送受信部51に送信する(ステップS245_1)。これにより、通信端末5f1の送受信部51は、映像(音)データ〔X〕を受信して、再生制御部53に出力する。
次に、通信端末5f1では、デコード部50が再生制御部53から映像(音)データ〔X〕を取得してデコードする(ステップS246_1)。その後、スピーカ61は、デコードされた音データ〔X〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔X〕に基づいて映像を再生する(ステップS247_1)。
また、同様にして、送受信部31は、エンコーダブリッジ部30によってエンコードされた映像(音)データ〔Y〕を、端末ID(「t007」)及び設置位置情報(「中」)に基づいて、通信端末5f2の送受信部51に送信する(ステップS245_2)。これにより、通信端末5f2の送受信部51は、映像(音)データ〔Y〕を受信して、再生制御部53に出力する。
次に、通信端末5f2では、デコード部50が再生制御部53から映像(音)データ〔Y〕を取得してデコードする(ステップS246_2)。その後、スピーカ61は、デコードされた音データ〔Y〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔Y〕に基づいて映像を再生する(ステップS247_2)。
更に、同様にして、送受信部31は、エンコーダブリッジ部30によってエンコードされた映像(音)データ〔Z〕を、端末ID(「t008」)及び設置位置情報(「右」)に基づいて、通信端末5f3の送受信部51に送信する(ステップS245_3)。これにより、通信端末5f3の送受信部51は、映像(音)データ〔Z〕を受信して、再生制御部53に出力する。
次に、通信端末5f3では、デコード部50が再生制御部53から映像(音)データ〔Z〕を取得してデコードする(ステップS246_3)。その後、スピーカ61は、デコードされた音データ〔Z〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔Z〕に基づいて映像を再生する(ステップS247_3)。
<マルチディスプレイを利用した拡大表示の処理>
続いて、図23を用いて、マルチディスプレイを利用した拡大表示の処理について説明する。図23は、図5に示したマルチディスプレイを利用した拡大表示の処理を示すシーケンス図である。ここでは、通信端末5f1で再生されている映像〔A〕を、通信端末5f1,5f2,5f3にも配信して再生させているときに、通信端末5f1で表示中の映像〔A〕の一部の領域を拡大表示するユーザ操作を受け付けて、その領域の映像〔A’〕,〔A’’〕を通信端末5f2,5f3で再生して拡大表示させる例である。なお、ここでも、図20乃至図22に示したマルチディスプレイの処理と同様の処理が行われるが、図20乃至図22に示したマルチディスプレイの処理と同様の処理の説明は省略し、図22のステップS247_1、ステップS247_2、及びステップS247_3に続く処理から説明する。ただし、ここでは、図22のステップS244において映像データ〔A〕が分割されずにエンコード等され、ステップS245_1、ステップS245_2、及びステップS245_3において、通信端末5f1,5f2,5f3にそれぞれ映像データ〔A〕が送信される。そして、ステップS246_1、ステップS246_2、及びステップS246_3において、各通信端末5f1,5f2,5f3のデコード部50により映像データ〔A〕がデコードされ、ステップS247_1、ステップS247_2、及びステップS247_3において、各通信端末5f1,5f2,5f3の表示部58に映像〔A〕が表示されている。また、通信端末5f1は、事前に端末管理装置7から、通信端末5f2,5f3についての端末情報を取得して、記憶部7000に格納しているものとする。ここでは、記憶部7000に図14に示した端末管理テーブル7010が格納されているものとして説明する。
まず、ユーザが通信端末5f1の操作部52を用いて、通信端末5f1の表示部58に表示されている映像〔A〕の一部を拡大表示する旨の操作を行うと、この操作が操作部52により受け付けられる。そして、通信端末5f1の送受信部51が、配信管理装置2の送受信部31に、映像〔A〕の一部を拡大表示する旨の操作を示す第1操作データを送信する(ステップS301)。これにより、配信管理装置2の送受信部31は、第1操作データを受信して、ブラウザ管理部22に出力する。
次に、ブラウザ管理部22が送受信部31から第1操作データを取得すると、送受信部21が、端末管理装置7の送受信部71bに対して、通信端末5f2,5f3の端末IDを指定して、端末情報の要求を送信する(ステップS302)。これにより、端末管理装置7の送受信部71bは、この端末情報の要求を受信して、通信端末5f2,5f3の端末IDを記憶部7000に出力する。記憶部7000は、通信端末5f2,5f3の端末IDに基づいて端末管理テーブル7010を検索することにより、通信端末5f2,5f3の端末IDに対応付けられている解像度情報(1920*1080、1920*1080)及び選択座標情報((600100)、(6002400))を読み出す(ステップS303)。そして、端末管理装置7の送受信部71bは、端末管理テーブル7010から読み出された解像度情報及び選択座標情報を含む端末情報(通信端末5f2,5f3ごとの端末情報)を、ステップS302の要求に対する応答として、配信管理装置2の送受信部21に送信する(ステップS304)。これにより、配信管理装置2の送受信部21は、解像度情報及び選択座標情報を含む端末情報(通信端末5f2,5f3ごとの端末情報)を受信して、ブラウザ管理部22に出力する。
次に、図22のステップS243で作成されたマルチディスプレイ用の変換部10が、ブラウザ管理部22から通信端末5f2,5f3の解像度情報及び選択座標情報を取得し、これら通信端末5f2,5f3の解像度情報及び選択座標情報を用いて、ブラウザ20によってレンダリングされた各フレームデータ〔A〕に対して、トリミング・リサイズ・エンコード等を行う(ステップS305)。具体的には、通信端末5f2に対応する変換部10では、トリミング部11が、ブラウザ20によってレンダリングされた各フレームデータ〔A〕から、通信端末5f2の解像度情報に基づいた大きさの領域〔A’〕を選択座標情報に基づいて切り出す。同様に、通信端末5f3に対応する変換部10では、トリミング部11が、ブラウザ20によってレンダリングされた各フレームデータ〔A〕から、通信端末5f3の解像度情報に基づいた大きさの領域〔A”〕を選択座標情報に基づいて切り出す。そして、それぞれの変換部10では、リサイズ部12が、必要に応じて通信端末5の解像度に合わせて各フレームデータ〔A〕,〔A’〕,〔A”〕のリサイズ等を行い、エンコード部19がこれらの各フレームデータ〔A〕,〔A’〕,〔A”〕をエンコードする。
そして、送受信部31は、通信端末5f1に対応する変換部10によってエンコード等された映像データ〔A〕を、通信端末5f1の送受信部51に送信する(ステップS306_1)。これにより、通信端末5f1の送受信部51は、映像データ〔A〕を受信して、再生制御部53に出力する。
次に、通信端末5f1では、デコード部50が再生制御部53から映像データ〔A〕を取得してデコードする(ステップS307_1)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A〕に基づいて映像〔A〕を再生する(ステップS308_1)。これにより、通信端末5f1の表示部58には、映像〔A〕が引き続き表示される。このとき、通信端末5f1の表示部58は、事前に端末管理装置7から取得して記憶部5000に格納した通信端末5f2,5f3の端末情報に含まれる解像度情報及び選択座標情報に基づいて、映像〔A〕に通信端末5f2,5f3にて拡大表示される領域を示すガイド枠を重畳表示する。
また、配信管理装置2の送受信部31は、通信端末5f2に対応する変換部10によってエンコード等された映像データ〔A’〕を、通信端末5f2の送受信部51に送信する(ステップS306_2)。これにより、通信端末5f2の送受信部51は、映像データ〔A’〕を受信して、再生制御部53に出力する。
次に、通信端末5f2では、デコード部50が再生制御部53から映像データ〔A’〕を取得してデコードする(ステップS307_2)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A’〕に基づいて映像〔A’〕を再生する(ステップS308_2)。これにより、通信端末5f2の表示部58には、通信端末5f1の表示部58に表示されている映像〔A〕の一部の領域(通信端末5f2に対応するガイド枠によって囲まれた領域)を拡大した映像〔A’〕が表示される。
また、同様にして、配信管理装置2の送受信部31は、通信端末5f3に対応する変換部10によってエンコード等された映像データ〔A”〕を、通信端末5f3の送受信部51に送信する(ステップS306_3)。これにより、通信端末5f3の送受信部51は、映像データ〔A”〕を受信して、再生制御部53に出力する。
次に、通信端末5f3では、デコード部50が再生制御部53から映像データ〔A”〕を取得してデコードする(ステップS307_3)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A”〕に基づいて映像〔A”〕を再生する(ステップS308_3)。これにより、通信端末5f3の表示部58には、通信端末5f1の表示部58に表示されている映像〔A〕の一部の領域(通信端末5f3に対応するガイド枠によって囲まれた領域)を拡大した映像〔A”〕が表示される。
次に、ユーザが通信端末5f1の操作部52を用いて、通信端末5f1の表示部58に表示されている映像〔A〕上のガイド枠(ここでは、通信端末5f2に対応するガイド枠とする。)を移動させる操作を行うと、この操作が操作部52により受け付けられる。そして、通信端末5f1の送受信部51が、配信管理装置2の送受信部31に、ガイド枠の移動量及び移動方向を含む第2操作データを送信する(ステップS309)。これにより、配信管理装置2の送受信部31は、第2操作データを受信して、ブラウザ管理部22に出力する。
次に、ブラウザ管理部22が送受信部31から第2操作データを取得すると、図22のステップS243で作成されたマルチディスプレイ用の変換部10が、ブラウザ管理部22から、通信端末5f1から送られた第2操作データが示すガイド枠の移動量及び移動方向を取得する。そして、マルチディスプレイ用の変換部10は、ガイド枠の移動量及び移動方向を用いて切り出す領域を変化させながら、ブラウザ20によってレンダリングされた各フレームデータ〔A〕に対して、トリミング・リサイズ・エンコード等を行う(ステップS310)。具体的には、通信端末5f1の表示部58に表示されている映像〔A〕上でユーザが移動させたガイド枠が通信端末5f2に対応したものである場合、通信端末5f2に対応する変換部10のトリミング部11が、ガイド枠の移動量及び移動方向に応じて、ブラウザ20によってレンダリングされた各フレームデータ〔A〕から切り出す領域〔A’〕の位置を、その大きさを維持しながら変化させる。そして、それぞれの変換部10では、リサイズ部12が、必要に応じて通信端末5の解像度に合わせた映像データ〔A〕,〔A’〕,〔A”〕のリサイズ等を行い、エンコード部19がこれらの各フレームデータ〔A〕,〔A’〕,〔A”〕をエンコードする。
そして、送受信部31は、通信端末5f1に対応する変換部10によってエンコード等された映像データ〔A〕を、通信端末5f1の送受信部51に送信する(ステップS311_1)。これにより、通信端末5f1の送受信部51は、映像データ〔A〕を受信して、再生制御部53に出力する。
次に、通信端末5f1では、デコード部50が再生制御部53から映像データ〔A〕を取得してデコードする(ステップS312_1)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A〕に基づいて映像〔A〕を再生する(ステップS313_1)。これにより、通信端末5f1の表示部58には、映像〔A〕が引き続き表示される。
また、配信管理装置2の送受信部31は、通信端末5f2に対応する変換部10によってエンコード等された映像データ〔A’〕を、通信端末5f2の送受信部51に送信する(ステップS311_2)。これにより、通信端末5f2の送受信部51は、映像データ〔A’〕を受信して、再生制御部53に出力する。
次に、通信端末5f2では、デコード部50が再生制御部53から映像データ〔A’〕を取得してデコードする(ステップS312_2)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A’〕に基づいて映像〔A’〕を再生する(ステップS313_2)。これにより、通信端末5f2の表示部58には、通信端末5f1の表示部58に表示されている映像〔A〕上で、ユーザの操作により移動した後のガイド枠によって囲まれた領域を拡大した映像〔A’〕が表示される。
また、同様にして、配信管理装置2の送受信部31は、通信端末5f3に対応する変換部10によってエンコード等された映像データ〔A”〕を、通信端末5f3の送受信部51に送信する(ステップS311_3)。これにより、通信端末5f3の送受信部51は、映像データ〔A”〕を受信して、再生制御部53に出力する。
次に、通信端末5f3では、デコード部50が再生制御部53から映像データ〔A”〕を取得してデコードする(ステップS312_3)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A”〕に基づいて映像〔A”〕を再生する(ステップS313_3)。これにより、通信端末5f3の表示部58には、通信端末5f1の表示部58に表示されている映像〔A〕の一部の領域(通信端末5f3に対応するガイド枠によって囲まれた領域)を拡大した映像〔A”〕が引き続き表示される。
なお、以上説明した例では、ユーザが映像の一部を拡大する操作を行う前(第1操作データが配信管理装置2に送信される前)に、エンコーダブリッジ部30の作成・選択・転送部310がマルチディスプレイ用の変換部10を生成している。しかし、マルチディスプレイ用の変換部10の作成は、第1操作データが配信管理装置2に送信されてから行うようにしてもよい。
〔実施形態の主な効果〕
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の配信システム1では、クラウド上の配信管理装置2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有し、ブラウザ20が所定の記述言語で示されたコンテンツデータをレンダリングしてフレームデータを生成し、エンコーダブリッジ部30がフレームデータをエンコード等することにより、通信ネットワーク9を介して配信可能なデータ形式の映像(音)データに変換して通信端末5に配信する。また、映像データを配信している複数の通信端末5のうちの1つ(第1通信端末)から、再生表示している映像の一部の領域を拡大する操作を示す第1操作データを受信した場合に、エンコーダブリッジ部30が、ブラウザ20によってレンダリングされたフレームデータの一部の領域であって、他の通信端末5(第2通信端末)の再生表示能力(解像度等)に応じた大きさを有する領域を切り出して、切り出した領域のフレームデータを映像データに変換して、第2通信端末に配信する。
このように、本実施形態の配信システム1では、コンテンツデータから生成された映像全体の中の一部の領域を拡大する操作が行われた場合に、映像全体を再生表示する通信端末5(第1通信端末)とは異なる他の通信端末5(第2通信端末)に、その通信端末5の再生表示能力に合わせて一部の領域の映像を表示させる。したがって、通信端末5側にコンテンツの映像全体を表示させつつ、コンテンツの見たい部分を見やすく表示させることができる。
また、本実施形態の配信システム1では、映像全体を再生表示する通信端末5(第1通信端末)が、他の通信端末5(第2通信端末)に拡大表示させる領域を示すガイド枠を映像上に重畳表示する。そして、このガイド枠の操作に応じて、映像全体の中で他の通信端末5(第2通信端末)に拡大表示させる領域を変化させる。したがって、ユーザは、直感的な操作によってコンテンツの見たい部分を指定することができ、高い操作性を実現することができる。
〔変形例〕
本実施形態の配信システム1では、端末管理装置7と配信管理装置2とを互いに別個の装置として構成しているが、例えば、配信管理装置2に端末管理装置7の機能を持たせるなどにより、端末管理装置7と配信管理装置2とを一体の装置として構成するようにしてもよい。
また、上記実施形態における配信管理装置2、及び端末管理装置7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
更に、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
特開2002−268969号公報

Claims (8)

  1. コンテンツデータから静止画データを生成する生成手段と、
    前記静止画データを映像データに変換する変換手段と、
    前記映像データを、該映像データの再生表示が可能な第1通信端末および第2通信端末にそれぞれ配信する配信手段と、を備え、
    前記第1通信端末で再生表示している前記映像データの一部の領域を拡大する操作を示す第1操作データが送信された場合に、
    前記変換手段は、前記第1通信端末で再生表示している前記映像データのうち、前記第2通信端末の再生表示能力に応じた一部の領域の映像データを生成し、
    前記配信手段は、前記変換手段が生成した一部の領域の映像データを前記第2通信端末に配信することを特徴とする配信管理装置。
  2. 前記第1通信端末で再生表示している前記映像データの拡大する一部の領域の位置を指定する操作を示す第2操作データが送信された場合に、
    前記変換手段は、前記第1通信端末で再生表示している前記映像データにおける前記第2操作データで示される位置の領域の映像データを生成することを特徴とする請求項1に記載の配信管理装置。
  3. 前記第1通信端末は、再生表示している前記映像データに、前記第2通信端末の再生表示能力に応じた大きさの枠を重畳表示し、
    前記第2操作データは、前記映像データ上で前記枠を移動させる操作に基づくデータであることを特徴とする請求項2に記載の配信管理装置。
  4. 前記生成手段は、前記コンテンツデータをレンダリングすることにより、前記静止画データとしてのフレームデータを生成し、
    前記変換手段は、前記フレームデータをエンコードすることにより、当該フレームデータを前記第1通信端末および前記第2通信端末に配信可能な前記映像データに変換することを特徴とする請求項1に記載の配信管理装置。
  5. 前記生成手段は、所定の記述言語で示された前記コンテンツデータを取得して、前記フレームデータを生成することを特徴とする請求項4に記載の配信管理装置。
  6. 前記生成手段は、ウェブブラウザであり、
    前記変換手段は、前記ウェブブラウザによって生成された前記フレームデータをエンコードするエンコーダを有することを特徴とする請求項4又は5に記載の配信管理装置。
  7. 配信管理装置において実行される配信方法であって、
    前記配信管理装置の生成手段が、コンテンツデータから静止画データを生成する第1工程と、
    前記配信管理装置の変換手段が、前記静止画データを映像データに変換する第2工程と、
    前記配信管理装置の配信手段が、前記映像データを、該映像データの再生表示が可能な第1通信端末および第2通信端末にそれぞれ配信する第3工程と、を含み、
    前記第1通信端末で再生表示している前記映像データの一部の領域を拡大する操作を示す第1操作データが送信された場合に、
    前記第2工程では、前記変換手段が、前記第1通信端末で再生表示している前記映像データのうち、前記第2通信端末の再生表示能力に応じた一部の領域の映像データを生成し、
    前記第3工程では、前記配信手段が、前記変換手段が生成した一部の領域の映像データを前記第2通信端末に配信することを特徴とする配信方法。
  8. コンピュータに、
    コンテンツデータから静止画データを生成する生成手段と、
    前記静止画データを映像データに変換する変換手段と、

    前記映像データを、該映像データの再生表示が可能な第1通信端末および第2通信端末にそれぞれ配信する配信手段と、を実現させるプログラムであって、
    前記第1通信端末で再生表示している前記映像データの一部の領域を拡大する操作を示す第1操作データが送信された場合に、
    前記変換手段は、前記第1通信端末で再生表示している前記映像データのうち、前記第2通信端末の再生表示能力に応じた一部の領域の映像データを生成し、
    前記配信手段は、前記変換手段が生成した一部の領域の映像データを前記第2通信端末に配信することを特徴とするプログラム。
JP2015539059A 2013-09-26 2014-09-04 配信管理装置、配信方法、及びプログラム Expired - Fee Related JP6354764B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013200553 2013-09-26
JP2013200553 2013-09-26
PCT/JP2014/073403 WO2015045788A1 (ja) 2013-09-26 2014-09-04 配信管理装置、配信方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2015045788A1 true JPWO2015045788A1 (ja) 2017-03-09
JP6354764B2 JP6354764B2 (ja) 2018-07-11

Family

ID=52742935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539059A Expired - Fee Related JP6354764B2 (ja) 2013-09-26 2014-09-04 配信管理装置、配信方法、及びプログラム

Country Status (7)

Country Link
US (1) US9894391B2 (ja)
EP (1) EP3051826A4 (ja)
JP (1) JP6354764B2 (ja)
CN (1) CN105580378B (ja)
PH (1) PH12016500542A1 (ja)
SG (1) SG11201602105WA (ja)
WO (1) WO2015045788A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565382B2 (ja) * 2015-06-30 2019-08-28 ブラザー工業株式会社 情報処理方法及び動画データ送信システム
JP6715464B2 (ja) * 2015-11-06 2020-07-01 パナソニックIpマネジメント株式会社 電力送信装置及び電力受信装置
JP2017111589A (ja) 2015-12-16 2017-06-22 株式会社リコー 座標検出装置、表示システム、投影システム及び座標検出方法
JP6798288B2 (ja) * 2016-12-02 2020-12-09 株式会社リコー 通信端末、通信システム、映像出力方法、及びプログラム
US11178118B2 (en) * 2019-04-09 2021-11-16 First Data Corporation Network provisioning and tokenization using a remote terminal
WO2021092756A1 (en) * 2019-11-12 2021-05-20 Kingstar Technologies, Inc. Alerting a device that shares an identity with another device based on user configuration
CN113055715A (zh) * 2019-12-28 2021-06-29 中移(成都)信息通信科技有限公司 播放资源的处理方法、装置、设备及存储介质
CN111246147B (zh) * 2020-01-15 2021-06-22 广州酷狗计算机科技有限公司 视频缓存方法、装置、终端及存储介质
US20210303330A1 (en) * 2020-03-24 2021-09-30 Euiogio Francisco Veliz Lucero, III System for providing access to a virtual machine via a hub interface
JP6748323B1 (ja) * 2020-03-30 2020-08-26 株式会社ドワンゴ 動画配信装置、動画配信方法、および、動画配信プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049528A (ja) * 2007-08-14 2009-03-05 Canon Inc 画像配信システム、画像配信方法、及びコンピュータプログラム
JP2009200937A (ja) * 2008-02-22 2009-09-03 Toshiba Corp デジタル放送受信機
US20130162502A1 (en) * 2011-12-23 2013-06-27 Kt Corporation Dynamically controlling display mode of external device coupled to user equipment

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268969A (ja) 2001-03-14 2002-09-20 Casio Comput Co Ltd コンテンツ分配配信システム
US9137497B2 (en) * 2007-04-11 2015-09-15 At&T Intellectual Property I, Lp Method and system for video stream personalization
JP4715886B2 (ja) * 2008-08-29 2011-07-06 ソニー株式会社 映像表示装置、映像表示システムおよび映像表示方法
US20110107238A1 (en) * 2009-10-29 2011-05-05 Dong Liu Network-Based Collaborated Telestration on Video, Images or Other Shared Visual Content
US9804727B2 (en) 2010-03-09 2017-10-31 Freedom Scientific, Inc. Flexible display of visual content on multiple display devices
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
JP6069898B2 (ja) 2011-11-25 2017-02-01 株式会社リコー 画像処理装置、画像処理システム、方法およびプログラム
US20130162501A1 (en) * 2011-12-27 2013-06-27 Nitendo Co., Ltd. Method for controlling multiple displays
JP6398215B2 (ja) 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6354195B2 (ja) 2013-03-15 2018-07-11 株式会社リコー 配信システム、配信方法、及びプログラム
JP2014200076A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
JP6326855B2 (ja) 2013-03-15 2018-05-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
US9723337B2 (en) 2013-03-15 2017-08-01 Ricoh Company, Limited Distribution control system and distribution system
JP2014200074A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
JP2014200075A (ja) 2013-03-15 2014-10-23 株式会社リコー コンピュータシステム、配信制御システム、配信制御方法、及びプログラム
JP6354197B2 (ja) 2013-03-15 2018-07-11 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
JP6323048B2 (ja) 2013-03-15 2018-05-16 株式会社リコー 配信システム、配信方法、及びプログラム
EP2793475A1 (en) 2013-03-15 2014-10-22 Ricoh Company, Ltd. Distribution control system, distribution control method, and computer-readable storage medium
JP6369043B2 (ja) 2013-03-15 2018-08-08 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014199648A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6337499B2 (ja) 2013-03-15 2018-06-06 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
US9626084B2 (en) * 2014-03-21 2017-04-18 Amazon Technologies, Inc. Object tracking in zoomed video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049528A (ja) * 2007-08-14 2009-03-05 Canon Inc 画像配信システム、画像配信方法、及びコンピュータプログラム
JP2009200937A (ja) * 2008-02-22 2009-09-03 Toshiba Corp デジタル放送受信機
US20130162502A1 (en) * 2011-12-23 2013-06-27 Kt Corporation Dynamically controlling display mode of external device coupled to user equipment

Also Published As

Publication number Publication date
CN105580378B (zh) 2019-02-22
EP3051826A1 (en) 2016-08-03
US20160241891A1 (en) 2016-08-18
JP6354764B2 (ja) 2018-07-11
EP3051826A4 (en) 2016-10-19
WO2015045788A1 (ja) 2015-04-02
PH12016500542A1 (en) 2016-06-13
US9894391B2 (en) 2018-02-13
SG11201602105WA (en) 2016-05-30
CN105580378A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
JP6354764B2 (ja) 配信管理装置、配信方法、及びプログラム
JP6354197B2 (ja) 配信制御システム、配信制御方法、及びプログラム
JP6326855B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6337499B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6398215B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6323048B2 (ja) 配信システム、配信方法、及びプログラム
JP6369043B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014200076A (ja) 配信制御システム、配信制御方法、及びプログラム
JP6354195B2 (ja) 配信システム、配信方法、及びプログラム
JP2014199648A (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014200074A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2015056855A (ja) 配信管理装置、及び配信管理システム
JP6589261B2 (ja) 配信制御システム、配信制御方法、及びプログラム
WO2015045787A1 (ja) 配信管理装置、端末及び配信管理方法
JP2015056046A (ja) 配信管理システム、配信システム、配信管理方法、及びプログラム
JP2016063247A (ja) 配信システム及び配信方法
JP2016015597A (ja) 配信制御システム、配信制御方法、及びプログラム
US9525901B2 (en) Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method
JP6607298B2 (ja) 配信制御システム、配信制御方法、及びプログラム
JP6442832B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2016058812A (ja) 配信制御システム、配信システム、配信制御システムの制御方法、及びプログラム
JP6387623B2 (ja) 配信制御システム
JP2016004352A (ja) 端末管理システム、端末管理方法、及びプログラム
JP6375638B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6197535B2 (ja) 配信システム、配信方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180528

R151 Written notification of patent or utility model registration

Ref document number: 6354764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees