JPWO2015045787A1 - 配信管理装置、端末及び配信管理方法 - Google Patents

配信管理装置、端末及び配信管理方法 Download PDF

Info

Publication number
JPWO2015045787A1
JPWO2015045787A1 JP2015539058A JP2015539058A JPWO2015045787A1 JP WO2015045787 A1 JPWO2015045787 A1 JP WO2015045787A1 JP 2015539058 A JP2015539058 A JP 2015539058A JP 2015539058 A JP2015539058 A JP 2015539058A JP WO2015045787 A1 JPWO2015045787 A1 JP WO2015045787A1
Authority
JP
Japan
Prior art keywords
information
unit
communication terminal
terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015539058A
Other languages
English (en)
Inventor
桑田 正弘
正弘 桑田
笠谷 潔
潔 笠谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2015045787A1 publication Critical patent/JPWO2015045787A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/756Media network packet handling adapting media to device capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08Access security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

複数の端末がネットワークを介して接続された配信管理装置であって、端末が受け付けた操作入力を示す操作情報に基づいて表示情報を生成する生成手段と、表示情報から映像情報に変換する変換手段と、映像情報を端末に配信する配信手段と、を備え、端末から、他の端末に公開しない操作情報を示す非公開操作情報を受信した場合、配信手段は、他の端末に、非公開操作情報に基づかない表示情報から変換された映像情報を配信することを特徴とする。

Description

本発明は配信管理装置、端末及び配信管理方法に関する。
近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングは、ユーザが、インターネットに接続した通信端末を用いてインターネット上のサーバが提供するサービス(クラウドサービス)を利用し、その対価を支払うサービス利用形態である。
ところが、インターネット上で扱われるウェブ(Web)コンテンツは、様々な要求に応えるためにリッチ化される傾向にある。そのため、インターネット経由でサービスを利用するための通信端末を用いて、リッチ化されたコンテンツを利用する場合、通信端末の負荷が高いという問題がある。
また、特許文献1には、文字や絵などの描画情報を表示するための操作入力が可能な通信端末をネットワークに接続し、当該端末同士で当該描画情報によってコミュニケーションを行う技術が開示されている。
しかしながら、従来の技術では、自端末のみで表示する描画情報と、他の端末にも表示する描画情報とを区別して端末に表示させることができなかった。
本発明は、上記に鑑みてなされたものであって、自端末のみで表示する描画情報と、他の端末にも表示する描画情報とを区別して端末に表示させることができる配信管理装置、端末及び配信管理方法を提供することを目的とする。
上述した課題を解決すべく、本発明は、複数の端末がネットワークを介して接続された配信管理装置であって、前記端末が受け付けた操作入力を示す操作情報に基づいて表示情報を生成する生成手段と、前記表示情報から映像情報に変換する変換手段と、前記映像情報を前記端末に配信する配信手段と、を備え、前記端末から、他の端末に公開しない前記操作情報を示す非公開操作情報を受信した場合、前記配信手段は、前記他の端末に、前記非公開操作情報に基づかない表示情報から変換された前記映像情報を配信することを特徴とする。
本発明によれば、自端末のみで表示する描画情報と、他の端末にも表示する描画情報とを区別して端末に表示させることができる。
図1は、本実施形態に係る配信システムの概略図である。 図2は、通信端末にドングルを取り付ける際のイメージ図である。 図3は、基本的な配信方法を示す概念図である。 図4は、マルチディスプレイの概念図である。 図5は、操作情報を公開する場合の配信方法を示す概念図である。 図6は、操作情報を非公開にする場合の配信方法を示す概念図である。 図7は、配信管理装置のハードウェア構成の一例を示す図である。 図8は、ドングルのハードウェア構成の一例を示す図である。 図9は、主に配信管理装置の各機能を示す機能ブロック図である。 図10は、描画情報テーブルの概念図である。 図11は、エンコーダブリッジ部の詳細図である。 図12は、変換部の各機能を示す機能ブロック図である。 図13は、主に通信端末の各機能を示す機能ブロック図である。 図14は、端末管理装置の各機能を示す機能ブロック図である。 図15は、配信先選択メニュー画面の概念図である。 図16は、端末管理テーブルの概念図である。 図17は、利用可能端末管理テーブルの概念図である。 図18は、配信管理装置の基本的な配信処理を示すシーケンス図である。 図19は、配信管理装置と通信端末との間で行われる時刻調整の処理を示すシーケンス図である。 図20は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示すシーケンス図である。 図21は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示すシーケンス図である。 図22は、マルチディスプレイの処理を示すシーケンス図である。 図23は、マルチディスプレイの処理を示すシーケンス図である。 図24は、マルチディスプレイの処理を示すシーケンス図である。 図25は、非公開操作データの描画処理を示すシーケンス図である。 図26は、非公開操作データを公開する処理を示すシーケンス図である。 図27は、操作データの配信に係る設定情報を操作する画面の概念図である。 図28Aは、公開表示情報の表示例を示す図である。 図28Bは、非公開表示情報の表示例を示す図である。
以下に図面を用いて、本実施形態に係る配信システムを詳細に説明する。以下に示す実施形態は、クラウドコンピューティングを利用して、クラウド上でウェブブラウザ(以下、「ブラウザ」と示す。)とエンコーダとの両方を連携させて実行させ、ウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパーソナルコンピュータや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下で記載する「画像」には、静止画及び動画が含まれる。また、以下で記載する「映像」は、基本的に動画を意味し、動画が停止されて静止画状態になった場合も含まれる。更に、静止画及び音のうち少なくとも一方を示す場合には、「静止画(音)」と表記する。また、画像及び音のうち少なくとも一方を示す場合には、「画像(音)」と表記する。映像及び音のうち少なくとも一方を示す場合には、「映像(音)」と表記する。
〔実施形態の概略〕
まず、図1を用いて、本実施形態の概略を説明する。図1は、本実施形態に係る配信システム1の概略図である。
<システム構成の概略>
まず、配信システム1の構成の概略について説明する。
図1に示すように、本実施形態の配信システム1は、配信管理装置2、複数の通信端末5a〜5f、端末管理装置7、及びウェブサーバ8を備えて構築されている。なお、以下では、複数の通信端末5a〜5fのうち、任意の通信端末を示す場合には、「通信端末5」と表記する。配信管理装置2、端末管理装置7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
通信端末5は、配信システム1のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPC(Personal Computer)である。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビ(ビデオ)会議端末である。通信端末5fは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板(ホワイトボード)である。
なお、通信端末5は、図1に示したような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であって、インターネット等の通信ネットワークを介して通信可能な装置であってもよい。
また、配信管理装置2、通信端末5、端末管理装置7、及びウェブサーバ8は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
なお、通信端末5によっては、通信端末5d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、図2に示すように、ユーザが通信端末5dのUSB(Universal Serial Bus)やHDMI(登録商標)(High−Definition Multimedia Interface)等のインターフェース部にドングル99を差し込むことで、通信端末5は通信ネットワーク9を介して他の端末やシステムと通信可能となる。なお、図2は、通信端末にドングル99を取り付ける際のイメージ図である。
配信管理装置2は、クラウド上でブラウザ20を有し、ブラウザ20におけるレンダラ(Renderer)の機能が、所定の記述言語で示された単一または複数のコンテンツデータを取得して、レンダリングすることにより、RGB(Red,Green,Blue)によるビットマップデータ等の静止画データやPCM(Pulse Code Modulation)データ等の音データ(即ち、静止画(音)データ)としてのフレームデータを生成することができる。なお、コンテンツデータは、ウェブサーバ8や任意の通信端末等から取得されたデータであって、HTML(Hypertext Markup Language)やCSS(Cascading Style Sheets)による画像(音)データ、MP4(MPEG−4)による画像(音)データ、AAC(Advanced Audio Coding)による音データ等が含まれる。
更に、配信管理装置2は、クラウド上でエンコード部19を有し、エンコード部19がエンコーダとしての役割を果たすことにより、静止画(音)データとしての各フレームデータを、H.264(MPEG−4 AVC)、H.265、Motion JPEG等の圧縮符号化方式の映像(音)データに変換する。
一方、端末管理装置7は、通信端末5のログイン認証を行ったり、通信端末5の契約情報等の管理を行ったりする。また、端末管理装置7は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理装置7は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理装置7は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
なお、配信管理装置2のブラウザ20は、リアルタイムコミュニケーション(RTC:Real−time communication/collaboration)を可能にしている。更に、配信管理装置2が備える後述の図11のエンコーダブリッジ部30(エンコード部19)を有しており、このエンコード部19は、ブラウザ20によって生成された映像(音)データに対して、リアルタイムのエンコードを行い、例えばH.264の規格等に基づく変換により生成された映像(音)データを出力することができる。そのため、配信管理装置2の処理は、例えば、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
なお、配信管理装置2だけでなく、通信端末5もブラウザを有してもよい。この場合、配信管理装置2のブラウザ20を最新化することで、各通信端末5のブラウザを起動させる必要はなくなる。
<各種配信方法の概略>
続いて、各種配信方法の概略について説明する。
(基本配信)
図3は、本実施形態の配信システム1の基本的な配信方法を示す概念図である。配信システム1では、図3に示すように、配信管理装置2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得し、レンダリングすることにより、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG−4等の映像(音)データとして配信されるため、低スペックの通信端末5であってもスムーズに映像(音)を再生することが可能になる。また、本実施形態の配信システム1では、配信管理装置2のブラウザ20を最新化しておくことで、ローカルとしての通信端末5にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
また、配信システム1は、上述の配信方法を応用し、図4乃至図6に示すように、同一拠点又は複数の拠点にある複数の通信端末5に、ウェブコンテンツを映像(音)データとして配信することも可能である。ここで、図4乃至図6に示す配信方法について説明する。
(マルチディスプレイ)
図4は、マルチディスプレイの概念図である。図4に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ〔X〕,〔Y〕,〔Z〕に分割した後にエンコードする。その後、配信管理装置2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理装置2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5f1,5f2,5f3で分割して映像が表示されるため、これら通信端末5f1,5f2,5f3を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
(操作データの配信の公開設定及び非公開設定)
本実施形態の配信システム1は、通信端末5の操作データを他の通信端末5にも配信するか否かを、通信端末5の設定により切り換えることができる。通信端末5の設定を切り換える方法は、例えば通信端末5の表示画面に表示されるボタンにより行う。なお、ここでは操作データの配信方法の概略について説明し、詳細な説明は後述する。
まず自通信端末5の操作データを、他の通信端末5にも配信する公開設定について説明する。すなわち通信端末5の操作データの配信の設定が、公開設定になっている場合について説明する。図5は、操作情報を公開する場合の配信方法を示す概念図である。図5に示すように、第1の拠点(図5の右側)では、通信端末5f1が電子黒板として利用され、電子ペンP1が入力デバイスとして利用されている。また、第2の拠点(図5の左側)では、通信端末5f2が電子黒板として利用され、電子ペンP2が入力デバイスとして利用されている。
通信端末5f1は背景画像としてコンテンツAを表示する。なお、背景画像のコンテンツAは配信管理装置2から受信する。具体的には、配信管理装置2はウェブサーバ8からコンテンツAを受信し、当該コンテンツAをブラウザ20によりレンダリングすることにより、通信端末5f1に背景画像として表示するためのデータ形式にする。そして、エンコーダブリッジ部30−1が、レンダリングされたコンテンツAをエンコードして通信端末5f1に送信する。通信端末5f2の背景画像としてコンテンツAを表示する場合についても同様である。
通信端末5f1は電子ペンP1による操作入力を示す操作データを受け付ける。当該操作データは、例えば通信端末5f1に描画された文字や図形の位置を示す座標情報などを含む。通信端末5f1は、受け付けた操作入力を示す操作データ[p1]と、当該操作データが公開設定であることを示す情報と、通信端末5f1を識別する識別情報と、が関連付けられた端末送信情報を配信管理装置2に送信する。
同様に、通信端末5f2は、電子ペンP2による操作入力を示す操作データを受け付ける。通信端末5f2は、受け付けた操作入力を示す操作データ[p2]と、当該操作データが公開設定であることを示す情報と、通信端末5f2を識別する識別情報と、が関連付けられた端末送信情報を配信管理装置2に送信する。
配信管理装置2は通信端末5f1から操作データ[p1]を受信すると、当該操作データ[p1]をブラウザ20に送信する。同様に配信管理装置2は通信端末5f2から操作データ[p2]を受信すると、当該操作データ[p2]をブラウザ20に送信する。ブラウザ20は操作データ[p1]及び操作データ[p2]の設定情報が共に公開設定であるため、操作データ[p1]、操作データ[p2]及びコンテンツAをレンダリングして一の公開表示情報を作成する。
ブラウザ20は、エンコーダブリッジ部30−1及びエンコーダブリッジ部30−2に当該公開表示情報を送信する。エンコーダブリッジ部30−1は当該公開表示情報をエンコードして通信端末5f1に送信する。エンコーダブリッジ部30−2は当該公開表示情報をエンコードして通信端末5f1に送信する。通信端末5f1及び通信端末5f2は配信管理装置2から受信した公開表示情報(操作データ[p1]、操作データ[p2]及びコンテンツA)を表示する。
次に自通信端末5の操作データを、他の通信端末5には配信しない非公開設定について説明する。すなわち通信端末5の操作データの配信の設定が、非公開設定になっている場合について説明する。図6は、操作情報を非公開にする場合の配信方法を示す概念図である。図6に示すように、第1の拠点(図6の右側)では、通信端末5f1が電子黒板として利用され、電子ペンP1が入力デバイスとして利用されている。また、第2の拠点(図6の左側)では、通信端末5f2が電子黒板として利用され、電子ペンP2が入力デバイスとして利用されている。通信端末5f1の設定が非公開設定であり、通信端末5f2の設定が公開設定である場合を例にして説明する。
通信端末5f1及び通信端末5f2は背景画像としてコンテンツAを表示する。通信端末5f1は電子ペンP1による操作入力を示す操作データを受け付ける。通信端末5f1は、受け付けた操作入力を示す操作データ[p1]と、当該操作データが非公開設定であることを示す情報と、通信端末5f1を識別する識別情報と、が関連付けられた端末送信情報を配信管理装置2に送信する。
同様に、通信端末5f2は、電子ペンP2による操作入力を示す操作データを受け付ける。通信端末5f2は、受け付けた操作入力を示す操作データ[p2]と、当該操作データが公開設定であることを示す情報と、通信端末5f2を識別する識別情報と、が関連付けられた端末送信情報を配信管理装置2に送信する。
配信管理装置2は通信端末5f1から操作データ[p1]を受信すると、当該操作データ[p1]をブラウザ20に送信する。同様に配信管理装置2は通信端末5f2から操作データ[p2]を受信すると、当該操作データ[p2]をブラウザ20に送信する。
ブラウザ20は操作データ[p1]の設定情報が非公開設定であり、操作データ[p2]の設定情報が公開設定であるため、非公開表示情報及び公開表示情報を作成する。具体的には、ブラウザ20は、操作データ[p1]、操作データ[p2]及びコンテンツAをレンダリングして一の非公開表示情報を作成し、当該非公開表示情報をエンコーダブリッジ部30−1に送信する。ブラウザ20は、操作データ[p2]及びコンテンツAをレンダリングして一の公開表示情報を作成し、当該公開表示情報をエンコーダブリッジ部30−2に送信する。
エンコーダブリッジ部30−1は当該非公開表示情報をエンコードして通信端末5f1に送信する。エンコーダブリッジ部30−2は当該公開表示情報をエンコードして通信端末5f2に送信する。通信端末5f1は配信管理装置2から受信した非公開表示情報(操作データ[p1]、操作データ[p2]及びコンテンツA)を表示する。通信端末5f2は配信管理装置2から受信した公開表示情報(操作データ[p2]及びコンテンツA)を表示する。
以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム1は遠隔会議等に有効である。
〔実施形態の詳細な説明〕
続いて、図7乃至図28Bを用いて、実施形態の詳細な説明を行う。
<実施形態のハードウェア構成>
まず、図7及び図8を用いて、本実施形態のハードウェア構成を説明する。図7は、配信管理装置2の論理的なハードウェア構成の一例を示す図である。また、図8は、ドングル99の論理的なハードウェア構成の一例を示す図である。なお、通信端末5、端末管理装置7、及びウェブサーバ8のハードウェア構成は、配信管理装置2のハードウェア構成と同様であるため、説明を省略する。
図7に示すように、配信管理装置2は、配信管理装置2全体の動作を制御する(ホスト)CPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク9を利用してデータ送信したりドングル99を接続したりするためのI/F209、キーボード211、マウス212、マイク213、スピーカ214、GPU(Graphics Processing Unit)215、GPU215の駆動に用いられるプログラムを記憶したROM216、GPU215のワークエリアとして使用されるRAM217、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等の拡張バスライン220を備えている。
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
次に、図8を用いて、ドングル99のハードウェア構成について説明する。図8に示すように、ドングル99は、ドングル99全体の動作を制御するCPU91、基本入出力プログラムを記憶したROM92、CPU91のワークエリアとして使用されるRAM93、CPU91の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)94、GPU95、GPU95の駆動に用いられるプログラムを記憶したROM96a、GPU95のワークエリアとして使用されるRAM96b、通信端末5のI/F209に接続するためのI/F97、アンテナ98a、このアンテナ98aを利用して短距離無線技術により通信を行う通信部98、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン90を備えている。なお、短距離無線技術として、例えば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)(登録商標)、ZigBee(登録商標)等が挙げられる。
<実施形態の機能構成>
次に、図9乃至図17を用い、本実施形態の機能構成について説明する。図9は、主に配信管理装置2の各機能を示す機能ブロック図である。図9では、配信管理装置2が通信端末5f1に対して映像(音)データを配信する場合の機能構成を示しているが、配信先が通信端末5f1以外の場合も、同様の機能構成を有する。なお、配信管理装置2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
(配信管理装置の機能構成)
配信管理装置2は、図7に例示したハードウェア構成及びプログラムによって、図9に示す各機能構成を実現する。具体的に、配信管理装置2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30、送受信部31、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。更に、配信管理装置2は、図7に示したHDD204によって構築される記憶部2000を有している。この記憶部2000には、認識部35から出力された後述の認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。また、記憶部2000は描画情報テーブル7030を記憶する。
図10は、描画情報テーブル7030の概念図である。描画情報テーブル7030は、描画コマンド情報、座標情報、端末情報及び設定情報を関連付けて記憶する。描画情報テーブル7030のレコードは、ブラウザ20が上述の端末送信情報(操作データ、操作データの設定情報、及び通信端末の識別情報)を受信したときに、ブラウザ20により作成される。描画コマンド情報は、電子ペンにより操作入力された文字や絵などの描画内容を描画するコマンドを示す情報である。描画コマンド情報は、例えば「図形A」を表すコマンドの情報である。座標情報は、一の描画内容の書き始めの位置を示す座標である。一の描画内容は、例えば電子ペンが通信端末5fの表示画面に接触(又は接近)してから離れるまでに描画された内容である。座標情報は、例えば(x1,y1)である。端末情報は端末送信情報を送信した端末を示す情報である。端末情報は、例えば「5f1」である。設定情報は端末送信情報に含まれる操作データの設定情報(公開設定又は非公開設定)である。設定情報は、例えば「非公開」である。
上述の各機能構成のうち、ブラウザ20は、配信管理装置2内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ(又はPCM(Pulse Code Modulation)データ)としての映像(音)データを生成する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
また、本実施形態の配信システム1では、配信管理装置2内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。
ブラウザ20は、例えば、Media Player、Flash Player、JavaScript(登録商標)、CSS(Cascading Style Sheet)及びHTML(HyperText Markup Language)レンダラを有する。なお、JavaScript(登録商標)には、標準規格のものと配信システム1独自のものが含まれる。ここで、Media Playerは、映像(音)ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScript(登録商標)は、配信システム1に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript(登録商標)群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。
送受信部21は、端末管理装置7やウェブサーバ8との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ8のコンテンツサイトからウェブコンテンツデータを取得する。
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ部30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
また、ブラウザ管理部22は、送受信部31を介して通信端末5から各種操作データ〔p〕を取得し、ブラウザ20に出力する。なお、操作データ〔p〕は、通信端末5での操作イベント(キーボード211やマウス212等による操作や電子ペンPによるストローク等)によって生じたデータである。通信端末5に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末5から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
送信用FIFO24は、ブラウザ20で生成された映像(音)データ〔AEp〕を格納するバッファである。
時刻管理部25は、配信管理装置2独自の時刻Tを管理している。時刻取得部26は、後述の通信端末5における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理装置2における時刻Tを示す時刻情報(T)を取得したり、送受信部31及び送受信部51を介して、後述の時刻制御部56から通信端末5における時刻tを示す時刻情報(t)を受信したり、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信したりする。
回線適応制御部27は、送信遅延時間情報(D)に基づいて、再生遅延時間Uを計算したり、エンコーダブリッジ部30における後述の変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間Uは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。つまり、回線適応制御部27は、送信遅延時間情報(D)とデータのサイズ(ビット数やバイト数等)に基づき、エンコーダブリッジ部30の動作を変更する。この送信遅延時間情報(D)は、後述のように、通信端末5における遅延情報取得部57が再生制御部53から取得した複数の送信遅延時間D1によって構成された度数分布情報を示す。各送信遅延時間D1は、映像(音)データが配信管理装置2によって送信されてから通信端末5によって受信されるまでの時間を示す。
エンコーダブリッジ部30は、ブラウザ20が生成した静止画(音)データとしての各フレームデータを、エンコーダブリッジ部30における後述の変換部10に出力する。この際、変換部10は、回線適応制御部27で計算された動作条件を考慮して各処理を行う。エンコーダブリッジ部30については、図11及び図12を用いて、更に詳細に説明する。図11は、エンコーダブリッジ部30の詳細図である。また、図12は、変換部10の各機能を示す機能ブロック図である。
図11に示すように、エンコーダブリッジ部30は、生成・選択・転送部310、及び選択部320と、これらの間に構築される複数の変換部10a,10b,10cとを備える。ここでは、3つの変換部10a,10b,10cを示したが、変換部の数はいくつであってもよい。なお、以下、任意の変換部を「変換部10」と表記する。
更に、変換部10は、図12に示すように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
トリミング部11は、映像(画像)の一部だけを切り出す処理を行う。リサイズ部12は、映像(画像)の縮尺を変更する。分割部13は、図4に示したように、ウェブサーバ8から取得したウェブコンテンツを分割する。
エンコード部19は、ブラウザ20で生成された映像(音)データをエンコードすることにより、通信ネットワーク9を介して通信端末5に映像(音)データを配信できるように変換する。また、エンコード部19は、映像が動かなければ(フレーム間で更新(変化)がなければ)、以降、映像が動くまでスキップフレーム(「フレームスキップ」ともいう)データを挿入することで帯域をセーブする。なお、レンダリングにより静止画データとともに音データが生成される場合には、これら両方のデータがエンコードされるが、音データだけが生成される場合には、トリミングやリサイズ、分割は行われることなく、エンコードだけが行われてデータ圧縮される。
生成・選択・転送部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像(音)データを選択したりする。生成・選択・転送部310が新たに変換部10を作成する場合としては、例えば、通信端末5における映像(音)データの再生能力に応じた変換が可能な変換部10を作成する場合等が挙げられる。また、生成・選択・転送部310が変換部10に対して入力させる映像(音)データを選択する場合としては、既に作成されている変換部10を選択する。例えば、通信端末5aへの配信に加えて通信端末5bへの配信を開始するにあたって、通信端末5aへ配信している映像(音)データと同じ映像(音)データを通信端末5bへ配信する場合がある。このような場合で、更に、通信端末5bが通信端末5aにおける映像(音)データの再生能力と同じ再生能力を有する場合等が挙げられる。すなわち、このような場合、生成・選択・転送部310は、通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。
選択部320は、既に作成されている変換部10から所望のものを選択する。これら生成・選択・転送部310と選択部320による選択によって、様々なパターンの配信を行うことができる。
図9に戻り、送受信部31は、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末5のログイン処理において、通信端末5の後述する送受信部51に対し、ユーザにログイン要求を促すための認証画面データを送信する。その他に、送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して、配信システム1独自のプロトコルにより、配信システム1のサービスを受けるために通信端末5にインストールされたアプリケーションプログラム(ユーザアプリやデバイスアプリ)へのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信管理装置2と通信端末5との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換の各処理を行う。
送信レスポンス制御は、配信管理装置2から通信端末5にデータを送信するために、通信端末5からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部31は、通信端末5に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末5からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
リアルタイムのデータ作成は、図12のエンコード部19で生成された圧縮映像(および圧縮音)のデータ(RTPデータ)に独自のヘッダを付与して、通信端末5への下り用のHTTPSのBody部に書き込む処理である。
コマンド送信は、通信端末5に送信するコマンドデータを生成し、通信端末5への配信用(下り用)のHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信管理装置2が通信端末5からデータを受信するために、通信端末5からリクエストされた送信用(上り用)のHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持される。通信端末5は、配信管理装置2の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末5から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンPや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。
受信用FIFO34は、デコード部40でデコードされた映像(音)データを格納するバッファである。
認識部35は、通信端末5から受信する映像(音)データ〔E〕に対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けに、後述のカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部35は、オフィス向けに、後述のカメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
遅延情報取得部37aは、下り用の回線適応制御の処理に用いられる通信端末5側の遅延情報取得部57に対応して、上り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。送信遅延時間情報(d1)は、映像(音)データが通信端末5によって送信されてから配信管理装置2によって受信されるまでの時間を示す。
回線適応制御部37bは、下り用の回線適応制御の処理に用いられる上述した回線適応制御部27に対応して、上り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、通信端末5側のエンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び後述の送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部40は、通信端末5から送信されて来た映像(音)データ〔E〕をデコードする。また、デコード部40は、送信遅延時間d1を示す送信遅延時間情報(d1)を遅延情報取得部37aに出力する。
(通信端末の機能構成)
続いて、図13を用いて、通信端末5の機能構成について説明する。図13は、主に通信端末5の各機能を示す機能ブロック図である。図13では、通信端末5の1つとして通信端末5f1を例示しているが、通信端末5f1以外の通信端末5であっても、同様の機能構成を有する。なお、通信端末5のうち、ユーザアプリがインストールされた通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる。一方、デバイスアプリがインストールされた通信端末5は、映像(音)データの送受信や操作データの送信を行うのみで、上記インターフェースは持たない。以下では、便宜上、通信端末5にユーザアプリがインストールされているものとして説明する。
通信端末5は、図7と同様のハードウェア構成及びプログラム(ユーザアプリ)によって、図13に示す各機能構成を実現する。具体的に、通信端末5は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、エンコード部60、及び描画制御部64を有している。更に、通信端末5は、図7に示したRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、及び通信端末5における時刻tを示す時刻情報(t)が記憶される。
デコード部50は、配信管理装置2から配信され、再生制御部53から出力された映像(音)データ〔AEp〕をデコードする。
送受信部51は、配信管理装置2の送受信部31、及び後述の端末管理装置7の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末5のログイン処理において、操作部52による通信端末5の起動に基づき、端末管理装置7の送受信部71aにログイン要求を行う。
操作部52は、ユーザの操作入力を受け付ける処理を行う。例えば、操作部52は、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データ〔p〕として配信管理装置2のブラウザ管理部22に送信する。また操作部52は操作データ〔p〕を描画制御部64に送信する。
再生制御部53は、送受信部51から受けた映像(音)データ〔AEp〕(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部50に出力する。なお、再生遅延時間Uは、送受信部51が配信管理装置2から受信し、再生制御部53に通知される。再生制御部53は再生遅延時間Uを記憶部5000に記憶する。また、再生制御部53は、送信遅延時間D1を示す送信遅延時間情報(D1)を算出し、遅延情報取得部57に出力する。
レンダリング部55は、デコード部50によってデコードされたデータをレンダリングする。
時刻制御部56は、配信管理装置2の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末5における時刻tを示す時刻情報(t)を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理装置2の時刻取得部26に、配信管理装置2における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
表示部58は、レンダリング部55によってレンダリングされたデータを再生する。
エンコード部60は、内蔵されたマイク213(図7参照)や、外付けのカメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。なお、時刻差Δは、配信管理装置2独自で管理されている時刻Tと通信端末5独自で管理されている時刻tとの差である。また、エンコード部60は、回線適応制御部37bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する。更に、動作条件が変更されると、エンコード部60は、新たな動作条件に従って、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。
入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。図13では、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5eが接続され、通信端末5eのカメラ及びマイクが、通信端末5f1の外付けのカメラ62及びマイク63として利用される例を示している。
描画制御部64は操作部52から操作データ〔p〕を受信する。描画制御部64は操作データ〔p〕に基づいてレンダリング部55に描画を指示する。これにより配信管理装置2から、操作データ〔p〕に基づく描画情報を含む上述の公開表示情報又は非公開表示情報を受信して通信端末5f1に表示されるまで、表示部58は一時的に操作データ〔p〕に基づく描画情報を表示する。以下、操作データ〔p〕に基づいて一時的に描画された描画情報を「ローカル描画情報」という。また描画制御部64は記憶部5000から再生遅延時間Uを読み出して、公開表示情報又は非公開表示情報の表示予定時刻になったら、ローカル描画情報の削除をレンダリング部55に指示する。
(端末管理装置の機能構成)
続いて、図14を用いて、端末管理装置7の機能構成について説明する。図14は、端末管理装置7の各機能を示す機能ブロック図である。
端末管理装置7は、図7と同様のハードウェア構成及びプログラムによって、図14に示す各機能構成を実現する。具体的に、端末管理装置7は、送受信部71a、送受信部71b、及び認証部75を有している。更に、端末管理装置7は、図7に示したHDD204によって構築される記憶部7000を有している。この記憶部7000には、配信先選択メニューデータ7040、端末管理テーブル7010、及び利用可能端末管理テーブル7020が記憶される。
配信先選択メニューは、図15に示すような配信先選択メニュー画面を示すデータである。図15は、配信先選択メニュー画面の概念図である。この図15に示す配信先選択メニュー画面では、映像(音)データの配信先として選択できる通信端末5について、後述の共有ID及び表示名が一覧表示される。ユーザは、この配信先選択メニュー画面上で、映像(音)データの配信先として希望する通信端末5の項目にチェックを入れ、「OK」ボタンを押下することで、希望する通信端末5に映像(音)データを配信させることができる。
図16は、端末管理テーブル7010の概念図である。端末管理テーブル7010では、図16に示すように、登録されている通信端末5の端末ID、ユーザ証明書、ユーザが配信システム1のサービスを利用する際の契約情報、通信端末5の端末種別、各通信端末5のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末5の実行環境情報、共有ID、設置位置情報、及び表示名情報が関連付けて管理されている。このうち、実行環境情報には、各通信端末5の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれており、各通信端末5のログイン後に、設定情報と共に配信管理装置2に送信され、各通信端末5に対して個別のサービスを行うために利用される。
また、共有IDは、各ユーザが、自己の通信端末5に配信されている映像(音)データと同じ内容の映像(音)データを他の通信端末5にも配信させることで、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。図16に示す例では、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、また、端末ID「t008」の共有IDは「v006」である。更に、端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末5f1,5f2,5f3との遠隔共有処理の要求があった場合には、配信管理装置2は、通信端末5f1,5f2,5f3に対して、通信端末5aに配信中の映像(音)データと同じ映像(音)データを配信する。但し、通信端末5aと通信端末5f1,5f2,5f3の表示部58の解像度が異なる場合には、これに応じて、配信管理装置2が映像(音)データを配信する。
設置位置情報は、例えば、図4に示したように、複数の通信端末5f1,5f2,5f3が並んで設置される場合の設置位置を示している。表示名情報は、図15に示した配信先選択メニュー画面の表示名の内容を表す情報である。
図17は、利用可能端末管理テーブル7020の概念図である。利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末5が遠隔共有処理することが可能な他の通信端末又は他の通信端末群を示す共有IDが関連付けて管理されている。
次に、図14に戻り、各機能構成について説明する。
送受信部71aは、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末5の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。
送受信部71bは、配信管理装置2との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理装置2の送受信部21から配信先選択メニューのデータの要求を受信したり、送受信部21に対して、配信先選択メニューのデータを送信したりする。
認証部75は、通信端末5の送受信部51から受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5の認証を行う。
〔実施形態の動作または処理〕
続いて、図18乃至図25を用いて、本実施形態の動作または処理について説明する。
<基本的な配信処理>
まず、図18を用いて、図3に示されている基本的な配信方法における具体的な配信処理を説明する。図18は、配信管理装置2の基本的な配信処理を示すシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
図18に示すように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理装置7の送受信部71aに、ログイン要求を送信する(ステップS21)。これにより、端末管理装置7の送受信部71aは、ログイン要求を受信して認証部75に出力する。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。よって、認証部75は、通信端末5aの端末ID及びユーザ証明書を取得する。
次に、端末管理装置7の認証部75は、通信端末5aから受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム1における正当な端末であると認証された場合について、以下に続けて説明する。
次に、端末管理装置7の送受信部71aは、通信端末5aの送受信部51に、配信管理装置2のIPアドレスを送信する(ステップS23)。なお、配信管理装置2のIPアドレスは、予め、端末管理装置7によって配信管理装置2から取得されて、記憶部7000に記憶されている。
次に、端末管理装置7の送受信部71bは、配信管理装置2の送受信部21に、ブラウザ20の起動要求を行う(ステップS24)。これにより、送受信部21は、ブラウザ20の起動要求を受信する。そして、ブラウザ管理部22は、送受信部21によって受信された起動要求に基づいてブラウザ20を起動させる(ステップS25)。次に、エンコーダブリッジ部30の生成・選択・転送部310が、通信端末5aの再生能力(ディスプレイの解像度等)及びコンテンツの種類に従って変換部10を作成する(ステップS26)。
次に、送受信部21は、ブラウザ20の命令に従い、ウェブサーバ8に対して、コンテンツデータ〔A〕を要求する(ステップS27)。これに応じて、ウェブサーバ8は、要求されたコンテンツデータ〔A〕を自己の記憶部(不図示)から読み出す(ステップS28)。そして、ウェブサーバ8は、配信管理装置2の送受信部21にコンテンツデータ〔A〕を送信する(ステップS29)。
次に、ブラウザ20が、送受信部21によって受信されたコンテンツデータ〔A〕をレンダリングすることにより、静止画(音)データ〔A〕としての各フレームデータを生成して、送信用FIFO24に出力する(ステップS30)。そして、変換部10が、送信用FIFO24に格納されたフレームデータをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔A〕に変換する(ステップS31)。
次に、送受信部31は、通信端末5aの送受信部51に映像(音)データ〔A〕を送信する(ステップS32)。これにより、通信端末5aの送受信部51は、映像(音)データ〔A〕を受信して、再生制御部53に出力する。
次に、通信端末5aでは、デコード部50が再生制御部53から映像(音)データ〔A〕を取得してデコードする(ステップS33)。その後、スピーカ61は、デコードされた音データ〔A〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔A〕に基づいて映像を再生する(ステップS34)。
<時刻調整の処理>
続いて、図19を用いて、時刻調整の処理について説明する。図19は、配信管理装置2と通信端末5との間で行われる時刻調整の処理を示すシーケンス図である。
まず、通信端末5の時刻制御部56は、送受信部51が配信管理装置2に時刻情報(T)を要求する時点を示す時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS81)。そして、送受信部51は送受信部31に、配信管理装置2における時刻情報(T)を要求する(ステップS82)。この場合、時刻情報(T)の要求と共に、上記時刻情報(t)が送信される。
次に、配信管理装置2の時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時点を示す時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS83)。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時点を示す時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS84)。そして、送受信部31は送受信部51に、時刻情報(t,T,T)を送信する(ステップS85)。
次に、通信端末5の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時点を示す時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS86)。
そして、通信端末5の時刻制御部56は、配信管理装置2と通信端末5との間の時刻差Δを計算する(ステップS87)。この時刻差Δは、以下の式(1)によって表される。
Δ=((T+T)/2)−((t+t)/2)・・・(1)
そして、時刻制御部56は、記憶部5000に時刻差データΔを示す時刻差情報(Δ)を記憶する(ステップS88)。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
<下り用の回線適応制御の処理>
続いて、図20を用いて、配信管理装置2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。図20は、配信管理装置2から通信端末5に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、配信管理装置2の回線適応制御部27は、通信端末5の再生制御部53が映像(音)データを再生させるまでにバッファリングすることで再生を遅延させるための再生遅延時間Uを示す再生遅延時間情報(U)を計算して、エンコーダブリッジ部30に出力する(ステップS101)。
次に、送受信部31は、エンコーダブリッジ部30から再生遅延時間情報(U)を取得し、通信端末5の送受信部51に再生遅延時間情報(U)を送信する(ステップS102)。これにより、通信端末5の送受信部51は、再生遅延時間情報(U)を受信する。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像(音)データ〔A〕に対して、時刻管理部25から取得した時点を示す時刻Tを示す時刻情報(T)をタイムスタンプとして付加する(ステップS103)。そして、送受信部31は、通信端末5の送受信部51に、映像(音)データ及び配信管理装置2の時刻情報(T)を送信する(ステップS104)。これにより、通信端末5の送受信部51は、映像(音)データ及び配信管理装置2の時刻情報(T)を受信し、再生制御部53に映像(音)データ及び時刻情報(T)を出力する。
次に、通信端末5では、再生制御部53が、上記ステップS102によって取得した再生遅延時間情報(U)、上記ステップS104によって取得した時刻情報(T)、及び図19のステップS88によって記憶部5000に記憶した時刻差情報(Δ)に基づき、通信端末5における時刻(T+U−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS105)。これにより、下記式(2)に示される再生遅延時間Uの範囲内に通信端末5が受信した映像(音)データだけが再生されることになり、範囲外の映像(音)データは遅延しすぎるため、再生されずに消去される。
U≧(t+Δ)−T ・・・(2)
また、再生制御部53は、記憶部5000から、通信端末5における現時点の時刻tを読み出す(ステップS106)。この時刻tは、通信端末5が配信管理装置2から映像(音)データを受信した時点の通信端末5における時刻を示す。更に、再生制御部53は、記憶部5000から、図19のステップS88によって記憶されている時刻差Δを示す時刻差情報(Δ)を読み出す(ステップS107)。そして、再生制御部53は、映像(音)データが配信管理装置2から送信されて通信端末5で受信されるまでの時間を示す送信遅延時間D1を計算する(ステップS108)。この計算は、下記式(3)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
D1=(t+Δ)−T ・・・(3)
次に、遅延情報取得部57が、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を、送受信部51に出力する(ステップS109)。そして、送受信部51は、配信管理装置2の送受信部31に、送信遅延時間情報(D)を送信する(ステップS110)。これにより、配信管理装置2の送受信部31は、送信遅延時間情報(D)を受信して、回線適応制御部27に送信遅延時間情報(D)を出力する。
次に、配信管理装置2の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延時間U’を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりして、エンコーダブリッジ部30に出力する(ステップS111)。即ち、回線適応制御部27は、送信遅延時間情報(D)及びデータサイズ(ビット数、バイト数)に基づき、エンコーダブリッジ部30の動作を変更させる。
次に、送受信部31は、エンコーダブリッジ部30から、上記ステップS111によって計算された新たな再生遅延時間U’を示す再生遅延時間情報(U’)を取得し、通信端末5の送受信部51に再生遅延時間情報(U’)を送信する(ステップS112)。これにより、通信端末5の送受信部51は、再生遅延時間情報(U’)を受信する。
更に、エンコーダブリッジ部30における変換部10が、動作条件を示す回線適応制御信号に基づいて、変換部10の動作条件を変更する(ステップS113)。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Uを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Uを長くすることには限界がある。そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Uを変更させて再生遅延時間U’とするだけでなく、変換部10に対して、映像(音)データのフレームレートを下げさせたり、映像(音)データの解像度を下げさせたりすることで、通信ネットワーク9の混雑に対応する。このため、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS103のように、映像(音)データ〔A〕に対して、現時点の時刻情報(T)をタイムスタンプとして付加する(ステップS114)。そして、送受信部31は、通信端末5の送受信部51に、映像(音)データ及び配信管理装置2の時刻情報(T)を送信する(ステップS115)。これにより、通信端末5の送受信部51は、映像(音)データ及び配信管理装置2の時刻情報(T)を受信し、再生制御部53に映像(音)データ及び時刻情報(T)を出力する。
次に、通信端末5では、再生制御部53が、上記ステップS112によって取得した再生遅延時間情報(U’)、上記ステップS115によって取得した時刻情報(T)、及び図19のステップS88によって記憶部5000に記憶した時刻差情報(Δ)に基づき、通信端末5における時刻(T+U’−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、上記ステップS105のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS116)。その後、上記ステップS106以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
<上り用の回線適応制御の処理>
続いて、図21を用いて、通信端末5から配信管理装置2に送信する(上り)データの回線適応制御の処理を説明する。図21は、通信端末5から配信管理装置2に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、通信端末5のエンコード部60は、カメラ62及びマイク63から入力された映像(音)データ〔E〕としてのコンテンツデータをエンコードする(ステップS121)。この際、エンコード部60は、記憶部5000から、現時点の通信端末5における時刻t0を示す時刻情報(t)及び時刻差Δを示す時刻差情報(Δ)を取得するが、これらに対してはエンコードを行わない。そして、送受信部51は、配信管理装置2の送受信部31に、映像(音)データ〔E〕、時刻情報(t)及び時刻差情報(Δ)を送信する(ステップS122)。これにより、配信管理装置2の送受信部31は、映像(音)データ〔E〕、時刻情報(t)及び時刻差情報(Δ)を受信する。
次に、配信管理装置2では、デコード部40が上記ステップS122によって映像(音)データ〔E〕等を受信した時点を示す時刻Tを、時刻管理部25から読み出す(ステップS123)。そして、デコード部40は、映像(音)データが通信端末5から送信されて配信管理装置2で受信されるまでの時間を示す送信遅延時間d1を計算する(ステップS124)。この計算は、下記式(4)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間d1が長くなる。
d1=T−(t+Δ) ・・・(4)
次に、配信管理装置2の遅延情報取得部37aは、通信端末5の遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する(ステップS125)。
次に、回線適応制御部37bが、送信遅延時間情報(d)に基づいて、通信端末5のエンコード部60の動作条件を計算する(ステップS126)。そして、送受信部31は、通信端末5の送受信部51に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する(ステップS127)。これにより、通信端末5の送受信部51は、回線適応制御信号を受信する。即ち、下りの場合の回線適応制御部27は、同じ配信管理装置2内でエンコーダブリッジ部30に回線適応制御信号が出力されるのに対して、上りの場合の回線適応制御部37bは、配信管理装置2から通信ネットワーク9を介して、通信端末5に回線適応制御信号が送信される。
次に、通信端末5のエンコード部60が、送受信部51によって受信された回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する(ステップS128)。そして、エンコード部60は、新たな動作条件によって、上記ステップS121と同様の処理を行う(ステップS129)。そして、送受信部51は、配信管理装置2の送受信部31に対して、上記ステップS122のように、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを送信する(ステップS130)。これにより、配信管理装置2の送受信部31は、映像(音)データ〔E〕、時刻情報(t)及び時刻差情報(Δ)を受信する。その後、上記ステップS123以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
<マルチディスプレイの処理>
続いて、図22乃至図24を用いて、マルチディスプレイの処理について説明する。図22乃至図24は、図4に示したマルチディスプレイの処理を示したシーケンス図である。
ここでは、通信端末5aで再生されている映像(音)データ〔XYZ〕を、各通信端末(5f1,5f2,5f3)にも分割して再生させる例である。
また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「コンテンツ用ブラウザ20a」と表記し、ユーザへの設定画面を表示させるためのブラウザ20を「設定用ブラウザ20b」と表記する。なお、ここでは、図18のステップS30に相当する処理から説明する。
まず、図22に示すように、配信管理装置2のコンテンツ用ブラウザ20aは、ウェブサーバ8から取得したウェブコンテンツデータ〔XYZ〕をレンダリングすることにより、静止画(音)データとしての各フレームデータを生成し、送信用FIFO24に出力する(ステップS201)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された映像(音)データをエンコードすることで、通信端末5aに配信可能なデータ形式の映像(音)データ〔XYZ〕に変換する(ステップS202)。
次に、配信管理装置2の送受信部31が、通信端末5aの送受信部51に、上記変換部10によって変換された後の映像(音)データ〔XYZ〕を送信する(ステップS203)。これにより、通信端末5aの送受信部51は、映像(音)データ〔XYZ〕を受信して、再生制御部53に出力する。
次に、通信端末5aでは、デコード部50が再生制御部53から映像(音)データ〔XYZ〕を取得してデコードする(ステップS204)。その後、スピーカ61は、デコードされた音データ〔XYZ〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔XYZ〕に基づいて映像を再生する(ステップS205)。
次に、通信端末5aのユーザによって、表示部58上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける(ステップS206)。これにより、送受信部51が、端末管理装置7の送受信部71aに、配信先選択メニューへの切り替え要求を送信する(ステップS207)。これにより、端末管理装置7の送受信部71aは、配信先選択メニューへの切り替え要求を受信する。この要求には、通信端末5aの端末IDが含まれている。
次に、送受信部71bは、配信管理装置2の送受信部21に、設定用ブラウザ20bの起動要求を送信する(ステップS208)。これにより、配信管理装置2の送受信部21は、設定用ブラウザ20bの起動要求を受信し、ブラウザ管理部22に対して、設定用ブラウザ20bの起動要求を行う。
次に、ブラウザ管理部22が、設定用ブラウザ20bを起動させる(ステップS209)。そして、エンコーダブリッジ部30の生成・選択・転送部310が、コンテンツ用ブラウザ20aから変換部10(例えば、変換部10a)への出力を、設定用ブラウザ20bから変換部10(例えば、変換部10b)への出力に切り替える(ステップS210)。但し、通信端末5aが他の通信端末5(例えば、通信端末5b)と変換部10(例えば、変換部10a)を共有して上記ステップS203による映像(音)データを受信していた場合には、他の通信端末5(例えば、通信端末5b)はコンテンツ用ブラウザ20a用に変換部10(例えば、変換部10a)を利用中であるため、エンコーダブリッジ部30の生成・選択・転送部310は、新たに変換部10(例えば、変換部10b)を作成する。
そして、送受信部21は、設定用ブラウザ20bの命令に従って、端末管理装置7の送受信部71bに、配信先選択メニュー要求を送信する(ステップS211)。この際に、通信端末5aの端末IDも送信される。これにより、端末管理装置7の送受信部71bは、配信先選択メニュー要求を受信し、記憶部7000に通信端末5aの端末IDを出力する。
これに対して、端末管理装置7の記憶部7000は、この端末IDに基づいて利用可能端末管理テーブル7010を検索することにより、対応する共有IDを抽出する(ステップS212)。この共有IDは、通信端末5aが遠隔共有処理をするために利用可能な通信端末5を示している。例えば、通信端末5aの端末IDが「t001」である場合、図17に示した利用可能端末管理テーブル7020を検索することで、共有ID「v003」,「v006」が抽出される。
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する(ステップS213)。ここでは、図16に示されているように、抽出された共有ID「v003」、「v006」に対応する表示名は、それぞれ「東京本社10F MFP」、「大阪展示場1F マルチディスプレイ」である。
そして、送受信部71bは、配信管理装置2の送受信部21に、配信管理装置2の設定用ブラウザ20bにコンテンツデータとして配信先選択メニューデータ〔M〕を送信する(ステップS214)。これにより、配信管理装置2の送受信部21は、配信先選択メニューデータ〔M〕を受信し、設定用ブラウザ20bに出力する。この配信先選択メニューデータ〔M〕は、図15に示した配信先選択メニュー画面を表示させるための情報であり、チェックボックス、共有ID、及び表示名が含まれている。
次に、図23に示すように、設定用ブラウザ20bが、端末管理装置7から取得した配信先選択メニューデータ〔M〕を示すコンテンツデータをレンダリングすることによって、静止画(音)データとしての各フレームデータを生成し、送信用FIFO24に出力する(ステップS221)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された各フレームデータをエンコードすることで、通信端末5aに配信可能なデータ形式の映像(音)データ〔M〕に変換する(ステップS222)。
次に、送受信部31は、通信端末5aの送受信部51に、上記変換部10によって変換された後の映像(音)データ〔M〕を送信する(ステップS223)。これにより、通信端末5aの送受信部51は、映像(音)データ〔M〕を受信して、再生制御部53に出力する。
次に、通信端末5aでは、デコード部50が再生制御部53から映像(音)データ〔M〕を取得してデコードする(ステップS224)。その後、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔M〕に基づいて、図15に示したような配信先選択メニュー画面の映像を再生する(ステップS225)。
次に、図15に示した配信先選択メニュー画面において、ユーザにより共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると、操作部52が、ユーザの操作入力を受け付ける(ステップS226)。
次に、送受信部51は、配信管理装置2の送受信部31に、操作データ〔p〕としてチェック結果を送信する(ステップS227)。これにより、配信管理装置2の送受信部31は、操作データ〔p〕としてチェック結果を受信して、設定用ブラウザ20bに出力する。
次に、設定用ブラウザ20bが、チェック結果から共有IDを選択する(ステップS228)。そして、送受信部21は、設定用ブラウザ20bの命令に従って、端末管理装置7の送受信部71bに、配信先追加要求を送信する(ステップS229)。この配信先追加要求には、上記ステップS228によって選択された共有IDが含まれている。これにより、端末管理装置7の送受信部71bは、配信先追加要求を受信し、記憶部7000に共有IDを出力する。そして、設定用ブラウザ20bは、役目を終えて終了する(ステップS230)。その後、エンコーダブリッジ部30の生成・選択・転送部310は、設定用ブラウザ20bから変換部10への出力を、コンテンツ用ブラウザ20aから変換部10への出力に戻すよう切り替える(ステップS231)。
次に、図24に示すように、端末管理装置7の記憶部7000では、上記ステップS229によって送られてきた共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID及び設置位置情報を抽出する(ステップS241)。そして、送受信部71bは、配信管理装置2の送受信部21に、配信先の追加指示を送信する(ステップS242)。この配信先の追加指示には、上記ステップS241によって抽出された端末ID及び設置位置情報が含まれている。これにより、配信管理装置2の送受信部21は、配信先の追加指示を受信し、ブラウザ管理部22に配信先の追加指示を出力する。ここでは、端末ID及び設置位置情報が「t006」、「左」と、端末ID及び設置位置情報が「t007」、「中」と、端末ID及び設置位置情報が「t008」、「右」との3組の端末ID及び設置位置情報が含まれているものとする。
次に、エンコーダブリッジ部30の生成・選択・転送部310が、マルチディスプレイ用の変換部10を作成する(ステップS243)。なお、この場合、エンコーダブリッジ部30の生成・選択・転送部310は、ブラウザ管理部22から、端末ID及び設置位置情報を取得する。
そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている静止画(音)データとしての各フレームデータ〔XYZ〕を分割し、エンコード部19が、分割された各フレームデータをエンコードする(ステップS244)。
そして、送受信部31は、エンコーダブリッジ部30によってエンコードされた映像(音)データ〔X〕を、端末ID(「t006」)及び設置位置情報(「左」)に基づいて、通信端末5f1の送受信部51に送信する(ステップS245_1)。これにより、通信端末5f1の送受信部51は、映像(音)データ〔X〕を受信して、再生制御部53に出力する。
次に、通信端末5f1では、デコード部50が再生制御部53から映像(音)データ〔X〕を取得してデコードする(ステップS246_1)。その後、スピーカ61は、デコードされた音データ〔X〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔X〕に基づいて映像を再生する(ステップS247_1)。
また、同様にして、送受信部31は、エンコーダブリッジ部30によってエンコードされた映像(音)データ〔Y〕を、端末ID(「t007」)及び設置位置情報(「中」)に基づいて、通信端末5f2の送受信部51に送信する(ステップS245_2)。これにより、通信端末5f2の送受信部51は、映像(音)データ〔Y〕を受信して、再生制御部53に出力する。
次に、通信端末5f2では、デコード部50が再生制御部53から映像(音)データ〔Y〕を取得してデコードする(ステップS246_2)。その後、スピーカ61は、デコードされた音データ〔Y〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔Y〕に基づいて映像を再生する(ステップS247_2)。
更に、同様にして、送受信部31は、エンコーダブリッジ部30によってエンコードされた映像(音)データ〔Z〕を、端末ID(「t008」)及び設置位置情報(「右」)に基づいて、通信端末5f3の送受信部51に送信する(ステップS245_3)。これにより、通信端末5f3の送受信部51は、映像(音)データ〔Z〕を受信して、再生制御部53に出力する。
次に、通信端末5f3では、デコード部50が再生制御部53から映像(音)データ〔Z〕を取得してデコードする(ステップS246_3)。その後、スピーカ61は、デコードされた音データ〔Z〕に基づいて音を再生し、表示部58は、レンダリング部55によってデコード部50から取得されてレンダリングされた映像データ〔Z〕に基づいて映像を再生する(ステップS247_3)。
<操作データの配信の処理>
続いて、図25乃至図28Bを用いて、操作データの配信の処理について説明する。図25は、非公開操作データの描画処理を示すシーケンス図である。配信管理装置2のブラウザ20は、コンテンツAを通信端末5f1及び通信端末5f2の背景画像として表示するためレンダリングして出力する(ステップS301)。配信管理装置2のエンコーダブリッジ部30は、通信端末5f1及び通信端末5f2に送信するため、レンダリングされたコンテンツAをエンコードする。
次に、配信管理装置2の送受信部31は、エンコードされたコンテンツAを通信端末5f1に送信する(ステップS302)。通信端末5f1の送受信部51は、エンコードされたコンテンツAを受信する。通信端末5f1の再生制御部53は、エンコードされたコンテンツAを、デコード部50に送信する。通信端末5f1のデコード部50は、エンコードされたコンテンツAをデコードしてレンダリング部55に送信する。通信端末5f1のレンダリング部55は、デコードされたコンテンツAをレンダリングし、背景画像として表示部58に表示する(ステップS303)。
同様に、配信管理装置2の送受信部31は、エンコードされたコンテンツAを通信端末5f2に送信する(ステップS304)。通信端末5f2の送受信部51は、エンコードされたコンテンツAを受信する。通信端末5f2の再生制御部53は、エンコードされたコンテンツAを、デコード部50に送信する。通信端末5f2のデコード部50は、エンコードされたコンテンツAをデコードしてレンダリング部55に送信する。通信端末5f2のレンダリング部55は、デコードされたコンテンツAをレンダリングし、背景画像として表示部58に表示する(ステップS305)。
次に、通信端末5f1の操作部52は、操作データの設定情報を受け付ける。図25の例では、通信端末5f1の操作部52は、操作データの非公開設定を受け付ける(ステップS306)。ここで、操作データの設定情報を受け付ける方法について説明する。
図27は、操作データの配信に係る設定情報を操作する画面の概念図である。図27は、非公開設定ボタン510、公開設定ボタン511及び非公開描画情報消去ボタン512を、通信端末5f1における表示部58の画面右下に表示する場合の例である。操作部52は、非公開設定ボタン510、公開設定ボタン511又は非公開描画情報消去ボタン512が、電子ペンなどにより押下されたことを検知する。操作部52は、非公開設定ボタン510を押下された後の操作入力による操作データを、非公開設定の操作データとして扱う。操作部52は、公開設定ボタン511を押下された後の操作入力による操作データを、公開設定の操作データとして扱う。また、操作部52は、非公開描画情報消去ボタン512を押下されると、非公開設定の描画情報を消去する消去リクエストを送受信部51を介して配信管理装置2に送信する。ここで、非公開設定ボタン510は、自端末(ここでは例えば通信端末5f1)で描画した描画情報を自端末には表示させるが、他の端末(ここでは例えば通信端末5f2)には表示させないように設定するボタンである。また、公開設定ボタン511は、自端末(ここでは例えば通信端末5f1)で描画した描画情報を自端末に表示させて、さらに他の端末(ここでは例えば通信端末5f2)にも表示させるように設定するボタンである。さらに非公開描画情報消去ボタン512は、自端末(ここでは例えば通信端末5f1)で描画し、表示させていた描画情報を自端末から消去するように設定するボタンである。
図25に戻り、通信端末5f1の操作部52は、電子ペンなどによる操作入力を示す操作データを受け付ける(ステップS307)。通信端末5f1の操作部52は、操作データを描画制御部64に送信する。描画制御部64は、操作データに基づいてレンダリング部55に描画を指示する。次に、レンダリング部55は、操作データに基づくローカル描画情報を表示部58に表示する(ステップS308)。次に、通信端末5f1の操作部52は、受け付けた操作入力を示す操作データと、非公開設定を示す設定情報と、通信端末5f1を識別する識別情報と、が関連付けられた端末送信情報を配信管理装置2に送信する(ステップS309)。以上より自端末としての通信端末5f1のみに描画情報が表示され、他の端末としての通信端末5f2には通信端末5f1の描画情報が表示されない。
配信管理装置2のブラウザ管理部22は、通信端末5f1の操作データを含む端末送信情報を、送受信部31を介して受信する。ブラウザ管理部22は、通信端末5f1の操作データを含む端末送信情報を、ブラウザ20に送信する。ブラウザ20は、通信端末5f1から受信した端末送信情報から図10の描画情報テーブル7030のレコードを作成する(ステップS310)。具体的には、ブラウザ20は、端末送信情報の操作データに基づいて描画情報テーブル7030の描画コマンド情報フィールド及び座標情報フィールドを設定し、端末送信情報の通信端末5f1の識別情報に基づいて端末情報フィールド(5f1)を設定し、端末送信情報の設定情報(非公開)を設定情報フィールド(非公開)に設定する。
配信管理装置2のブラウザ20は、公開表示情報を作成する際に、設定情報フィールドが非公開である描画情報テーブル7030のレコードは使用しない。なお、設定情報フィールドが非公開である描画情報テーブル7030のレコードは、通信端末5f1の非公開描画情報のバックアップとして利用することができる。これにより通信端末5f1の非公開描画情報が電源断などにより消失しても、当該非公開描画情報を復旧させることができる。
次に、通信端末5f1の操作部52は、図27の非公開描画情報消去ボタン512により非公開描画情報の削除を受け付ける(ステップS311)。次に、描画制御部64は、ステップS308で表示したローカル描画情報の削除をレンダリング部55に指示する。次に、レンダリング部55はローカル描画情報を削除する(ステップS312)。以上より、自端末(ここでは例えば通信端末5f1)で描画し、表示させていた描画情報が自端末から消去される。
なお、ステップS309及びステップS310のステップは省略することも可能である。つまり端末送信情報を配信管理装置2に送信しなくてもよい。この場合、通信端末5f1だけで端末送信情報を保持しておくことでセキュリティーを担保することができる。
次に、操作データの配信の設定情報を非公開設定から公開設定に切り換える処理について説明する。図26は、非公開操作データを公開する処理を示すシーケンス図である。ステップS321〜ステップS330は、図25のステップS301〜ステップS310と同じであるため説明を省略する。
次に、通信端末5f1の操作部52は、図27の公開設定ボタン511の押下を検出する(ステップS331)。次に、通信端末5f1の操作部52は、通信端末5f1の識別情報を含む設定情報の変更通知を、送受信部51を介して配信管理装置2に送信する(ステップS332)。
次に、配信管理装置2のブラウザ管理部22は設定情報の変更通知を、送受信部31を介して受信する。ブラウザ管理部22は設定情報の変更通知をブラウザ20に送信する。ブラウザ20は、設定情報の変更通知に含まれる識別情報に対応する端末情報を有する描画情報テーブル7030のレコードを検索し、当該レコードの設定情報を非公開から公開に更新する(ステップS333)。次に、ブラウザ20は描画情報テーブル7030及び背景画像(コンテンツA)から公開表示情報を作成する(ステップS334)。ブラウザ20は公開表示情報を送信用FIFO24に出力する。エンコーダブリッジ部30は、送信用FIFO24から公開表示情報を読み出してエンコードする。エンコーダブリッジ部30は、エンコードされた公開表示情報を、送受信部31を介して通信端末5f1及び通信端末5f2に送信する(ステップS335及びステップS336)。
次に、通信端末5f1の送受信部51は、エンコードされた公開表示情報を受信する。通信端末5f1の再生制御部53は、エンコードされた公開表示情報を、デコード部50に送信する。通信端末5f1のデコード部50は、エンコードされた公開表示情報をデコードしてレンダリング部55に送信する。次に、描画制御部64は記憶部5000から再生遅延時間Uを読み出して、公開表示情報の表示予定時刻になったら、ステップS328で表示したローカル描画情報の削除をレンダリング部55に指示する。次に、レンダリング部55はローカル描画情報を削除する(ステップS337)。次に、レンダリング部55は、デコードされた公開表示情報をレンダリングし表示部58に表示する(ステップS338)。
また、通信端末5f2の送受信部51は、エンコードされた公開表示情報を受信する。通信端末5f2の再生制御部53は、エンコードされた公開表示情報を、デコード部50に送信する。通信端末5f2のデコード部50は、エンコードされた公開表示情報をデコードしてレンダリング部55に送信する。次に、レンダリング部55は、デコードされた公開表示情報をレンダリングし表示部58に表示する(ステップS339)。以上より自端末(ここでは例えば通信端末5f1)で描画した描画情報が自端末に表示され、当該描画情報がさらに他の端末(ここでは例えば通信端末5f2)にも表示される。
なお、ステップS329及びステップS330のステップは省略することも可能である。つまり端末送信情報を配信管理装置2に送信しなくてもよい。この場合、通信端末5f1だけで端末送信情報を保持しておき、ステップS331で非公開描画情報の公開を受け付けた場合に、当該端末送信情報を配信管理装置2に送信するように制御することでセキュリティーを担保することができる。
図28Aは、公開表示情報の表示例を示す図である。図28Aは、通信端末5f2からの書込み520及び通信端末5f2からの書込み521を含む場合を示す。図28Bは、非公開表示情報の表示例を示す図である。図28Bは、通信端末5f2からの書込み520、通信端末5f2からの書込み521及び通信端末5f1からの書込み522(非公開)を含む場合を示す。図28Bに示す通信端末5f1からの書込み522(非公開)がある場合でも、通信端末5f2では、通信端末5f1からの書込み522(非公開)が表示されずに、図28Aに示す画面が表示される。一方、通信端末5f1では、通信端末5f1からの書込み522(非公開)を含む図28Bの画面が表示される。
〔実施形態の主な効果〕
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の配信システム1では、クラウド上で配信管理装置2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有する。これにより、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部30が通信ネットワーク9を介して配信することができるようにデータ形式を変換してから通信端末5に配信する。よって、通信端末5では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツのリッチ化に対応させるための負荷が高いという問題を解消することができる。
特に、ブラウザ20は、リアルタイムコミュニケーションを可能にし、変換部10は、ブラウザ20によって生成された映像(音)データに対してリアルタイムのエンコードを行う。よって、例えば、映像(音)データのオンデマンド配信のように、DVDプレーヤがリアルタイム性のない(つまり、予めエンコードされている)映像(音)データを選択して配信する場合とは異なり、配信管理装置2の処理は、配信する直前に取得したコンテンツをレンダリングすることで映像(音)データを生成してからエンコードするため、リアルタイム性に優れた映像(音)データの配信を行うことができる。
本実施形態の配信システム1によれば、自通信端末5のみで表示する描画情報と、他の通信端末5にも表示する描画情報とを区別して端末に表示させることができる。
なお、本実施形態の配信システム1の説明では、通信端末5の操作データの設定情報が非公開であっても、通信端末5が当該操作データを含む端末送信情報を配信管理装置2に送信する動作(図25、ステップS309)について説明した。しかしながら、通信端末5の操作データの設定情報が非公開の場合は、通信端末5が操作データを配信管理装置2に送信しない動作にしてもよい。すなわち、通信端末5は、操作データの設定情報が非公開の場合、当該操作データに基づく描画情報を、ローカル描画情報として自通信端末5に表示する。そして、操作データの設定情報が非公開から公開に変更されたときに、当該ローカル描画情報として表示していた操作データを含む端末送信情報を配信管理装置2に送信する。これにより配信管理装置2は、設定情報が非公開から公開に変更された操作データを含む公開表示情報を、他の通信端末5に配信する。
〔補足説明〕
本実施形態の配信システム1では、端末管理装置7と配信管理装置2とを互いに別個の装置として構成しているが、例えば、配信管理装置2に端末管理装置7の機能を持たせるなどにより、端末管理装置7と配信管理装置2とを一体の装置として構成するようにしてもよい。
また、上記実施形態における配信管理装置2、及び端末管理装置7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
更に、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
特開2005−204046号公報

Claims (5)

  1. 複数の端末がネットワークを介して接続された配信管理装置であって、
    前記端末が受け付けた操作入力を示す操作情報に基づいて表示情報を生成する生成手段と、
    前記表示情報から映像情報に変換する変換手段と、
    前記映像情報を前記端末に配信する配信手段と、を備え、
    前記端末から、他の端末に公開しない前記操作情報を示す非公開操作情報を受信した場合、
    前記配信手段は、前記他の端末に、前記非公開操作情報に基づかない表示情報から変換された前記映像情報を配信することを特徴とする配信管理装置。
  2. 前記端末から、他の端末に公開する前記操作情報を示す公開操作情報を受信した場合、
    前記配信手段は、前記他の端末に、前記公開操作情報に基づく表示情報から変換された前記映像情報を配信することを特徴とする請求項1に記載の配信管理装置。
  3. 他の端末と接続された端末であって、
    前記端末で描画した描画情報を受信する受信手段と、
    前記描画情報を表示部に表示させる表示制御手段と、を備え、
    前記受信手段で他の端末に公開しない非公開描画情報を受信した場合、
    前記他の端末に前記非公開描画情報を表示させないことを特徴とする端末。
  4. 前記受信手段で前記非公開描画情報を消去する消去情報を受信した場合、
    前記表示制御手段は、前記表示部に表示されている前記非公開描画情報を消去すること
    を特徴とする請求項3に記載の端末。
  5. 複数の端末がネットワークを介して接続された配信管理装置の配信管理方法であって、
    前記端末が受け付けた操作入力を示す操作情報に基づいて表示情報を生成するステップと、
    前記表示情報から映像情報に変換するステップと、
    前記映像情報を前記端末に配信するステップと、
    前記端末から、他の端末に公開しない前記操作情報を示す非公開操作情報を受信した場合、前記他の端末に、前記非公開操作情報に基づかない表示情報から変換された前記映像情報を配信するステップと、
    を含むことを特徴とする配信管理方法。
JP2015539058A 2013-09-27 2014-09-04 配信管理装置、端末及び配信管理方法 Pending JPWO2015045787A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013202425 2013-09-27
JP2013202425 2013-09-27
PCT/JP2014/073402 WO2015045787A1 (ja) 2013-09-27 2014-09-04 配信管理装置、端末及び配信管理方法

Publications (1)

Publication Number Publication Date
JPWO2015045787A1 true JPWO2015045787A1 (ja) 2017-03-09

Family

ID=52742934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539058A Pending JPWO2015045787A1 (ja) 2013-09-27 2014-09-04 配信管理装置、端末及び配信管理方法

Country Status (5)

Country Link
US (1) US9596282B2 (ja)
EP (1) EP3051422B1 (ja)
JP (1) JPWO2015045787A1 (ja)
CN (1) CN105580398A (ja)
WO (1) WO2015045787A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6464755B2 (ja) * 2014-03-18 2019-02-06 株式会社リコー 情報処理装置、情報処理方法及びプログラム
WO2016166955A1 (en) * 2015-04-16 2016-10-20 Ricoh Company, Ltd. Image processing device, image distribution system, and image processing method
US10171429B2 (en) * 2015-06-12 2019-01-01 Arris Enterprises Llc Providing security to video frames

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128951A (ja) * 2004-10-27 2006-05-18 Fuji Xerox Co Ltd 遠隔描画装置、システムおよび遠隔描画方法
JP2006323607A (ja) * 2005-05-18 2006-11-30 Adoin Kenkyusho:Kk 端末装置、サーバシステム、これらの制御方法及び制御プログラム、ならびに情報共有システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040158704A1 (en) * 2003-02-12 2004-08-12 Avaya Technology Corp. Providing encrypted real time data transmissions on a network
JP2005204046A (ja) 2004-01-15 2005-07-28 Data Place Inc 高齢者向けコミュニケーションサービスとシステム
JP2006146415A (ja) 2004-11-17 2006-06-08 Ricoh Co Ltd 会議支援システム
JP5211430B2 (ja) * 2006-03-02 2013-06-12 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議支援方法、電子会議制御装置、会議サーバコンピュータ
CN101370115A (zh) 2008-10-20 2009-02-18 深圳华为通信技术有限公司 会议终端、会议服务器、会议系统及数据处理方法
IL195884A0 (en) * 2008-12-11 2009-12-24 Eci Telecom Ltd Technique for providing secured tunnels in a public network for telecommunication subscribers
US9183557B2 (en) * 2010-08-26 2015-11-10 Microsoft Technology Licensing, Llc Advertising targeting based on image-derived metrics
CN202004894U (zh) * 2011-03-23 2011-10-05 兰春波 一种具有文字交流功能的网络视频会议系统
JP6069898B2 (ja) 2011-11-25 2017-02-01 株式会社リコー 画像処理装置、画像処理システム、方法およびプログラム
JP6354197B2 (ja) 2013-03-15 2018-07-11 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
JP2014200076A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
CN105247875B (zh) 2013-03-15 2019-03-08 株式会社理光 分发控制系统和分发系统
JP6354195B2 (ja) 2013-03-15 2018-07-11 株式会社リコー 配信システム、配信方法、及びプログラム
JP2014199648A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014200075A (ja) 2013-03-15 2014-10-23 株式会社リコー コンピュータシステム、配信制御システム、配信制御方法、及びプログラム
JP6326855B2 (ja) 2013-03-15 2018-05-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014200074A (ja) 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
JP6337499B2 (ja) 2013-03-15 2018-06-06 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6369043B2 (ja) 2013-03-15 2018-08-08 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6323048B2 (ja) 2013-03-15 2018-05-16 株式会社リコー 配信システム、配信方法、及びプログラム
US9497492B2 (en) 2013-03-15 2016-11-15 Ricoh Company, Limited Distribution control system, distribution system, distribution control method, and computer-readable storage medium
JP6398215B2 (ja) 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128951A (ja) * 2004-10-27 2006-05-18 Fuji Xerox Co Ltd 遠隔描画装置、システムおよび遠隔描画方法
JP2006323607A (ja) * 2005-05-18 2006-11-30 Adoin Kenkyusho:Kk 端末装置、サーバシステム、これらの制御方法及び制御プログラム、ならびに情報共有システム

Also Published As

Publication number Publication date
US9596282B2 (en) 2017-03-14
WO2015045787A1 (ja) 2015-04-02
CN105580398A (zh) 2016-05-11
US20160234275A1 (en) 2016-08-11
EP3051422A4 (en) 2016-10-05
EP3051422A1 (en) 2016-08-03
EP3051422B1 (en) 2019-11-06

Similar Documents

Publication Publication Date Title
JP6354764B2 (ja) 配信管理装置、配信方法、及びプログラム
JP6354197B2 (ja) 配信制御システム、配信制御方法、及びプログラム
JP6326855B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6337499B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6398215B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6369043B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6323048B2 (ja) 配信システム、配信方法、及びプログラム
JP2014200076A (ja) 配信制御システム、配信制御方法、及びプログラム
JP6354195B2 (ja) 配信システム、配信方法、及びプログラム
JP2014200074A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2014199648A (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2015056855A (ja) 配信管理装置、及び配信管理システム
JP2015089099A (ja) 配信管理装置
JP6248488B2 (ja) 通信端末及び通信方法
WO2015045787A1 (ja) 配信管理装置、端末及び配信管理方法
JP2015069244A (ja) 配信システム、配信方法、及びプログラム
JP2016048898A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2015056046A (ja) 配信管理システム、配信システム、配信管理方法、及びプログラム
JP2016063247A (ja) 配信システム及び配信方法
JP6607298B2 (ja) 配信制御システム、配信制御方法、及びプログラム
JP2016058812A (ja) 配信制御システム、配信システム、配信制御システムの制御方法、及びプログラム
JP2016004352A (ja) 端末管理システム、端末管理方法、及びプログラム
JP6197535B2 (ja) 配信システム、配信方法、及びプログラム
JP6442832B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6387623B2 (ja) 配信制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180116