JPWO2018142874A1 - データ配信システム、データ配信方法、マーカ、フィルタ及びプログラム - Google Patents

データ配信システム、データ配信方法、マーカ、フィルタ及びプログラム Download PDF

Info

Publication number
JPWO2018142874A1
JPWO2018142874A1 JP2018566015A JP2018566015A JPWO2018142874A1 JP WO2018142874 A1 JPWO2018142874 A1 JP WO2018142874A1 JP 2018566015 A JP2018566015 A JP 2018566015A JP 2018566015 A JP2018566015 A JP 2018566015A JP WO2018142874 A1 JPWO2018142874 A1 JP WO2018142874A1
Authority
JP
Japan
Prior art keywords
packet
data
marker
sink
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018566015A
Other languages
English (en)
Other versions
JP6732966B2 (ja
Inventor
直樹 肥後
直樹 肥後
亮太 石橋
亮太 石橋
椿　俊光
俊光 椿
末田　欣子
欣子 末田
正夫 相原
正夫 相原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2018142874A1 publication Critical patent/JPWO2018142874A1/ja
Application granted granted Critical
Publication of JP6732966B2 publication Critical patent/JP6732966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/185—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with management of multicast group membership
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6338—Control signals issued by server directed to the network components or client directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

データを配信するソースと、配信されたデータを処理するシンクとを有するデータ配信システムは、前記ソースから配信されたパケットを受信し、当該受信したパケットのヘッダから得られる情報に基づいて、当該パケットに付加情報を付与して転送するマーカと、前記マーカから転送されたパケットを受信し、当該受信したパケットに付与された付加情報に基づいて、前記シンクへの当該パケットの転送可否を判断し、転送可能なパケットを前記シンクに転送するフィルタとを有する。

Description

本発明は、データ配信システム、データ配信方法、マーカ、フィルタ及びプログラムに関する。
映像などのデータストリームを複数の利用者に対して配信する場合において、解像度やフレームレート、座標領域などに関する異なる要求を持つ利用者に対して適したストリームを配信するＭＰＥＧ−ＤＡＳＨ（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が提案されている（非特許文献１参照）。
ＭＰＥＧ−ＤＡＳＨでは、ストリームの配信元ノードが、配信先ノードが要求する可能性のある解像度やフレームレート、座標領域などの組合せに応じたエンコードなどの処理を実施して配信予定のデータを準備しておき、接続してきた配信先ノードからの要求ないしは通信中の要求の変動に応じて準備してあるデータから最も適したデータを配信することで、配信先ノードが持つ複数の異なる要求に同時に対応することを可能とする。
一方、同じ要求を持つ複数の配信先に対して、同じ内容を一斉配信するための技術として、マルチキャスト技術がある（非特許文献２参照）。マルチキャスト技術では、ネットワーク上でデータの転送を担う中間ノード（ルータ等）が上流から受信したデータを下流に複製して配信する。
ＭＰＥＧ−ＤＡＳＨでは、配信先ノードが持つ複数の異なる要求に対応することが可能であるが、異なる要求を持つ配信先毎にデータを配信し分ける必要があるため、通信帯域、配信元ノードの処理能力をその分だけ消費するという課題がある。
また、マルチキャスト技術では、配信先の複数ノードが全て同じ目的である場合（例えば、放送の視聴）には、この技術によって、通信帯域や配信元ノードの処理能力を効率的に利用しながら、一斉配信を行うことができる。しかしながら、配信先のノード間でデータの利用目的が異なる場合（例えば、視聴、自動解析、保存）、ノードが受信したいデータの受信方式や内容も異なる（例えば、リアルタイム性重視／信頼性重視、解像度重視／輝度情報重視）。マルチキャスト技術では、データの複製配信を行うため、配信方式や配信内容を配信先ノードの目的に応じて変えることができず、配信先ノードが自ら目的に合わせたデータの解釈や変換を行う必要があり、配信先ノードの処理負荷が大きくなるという課題がある。
本発明は、１つの配信元ノードから異なる要求を持つ複数の配信先ノードにデータを配信するときの配信元ノード及び配信先ノードの処理負荷を低減し、通信トラヒックを削減することを目的とする。
本発明の一形態に係るデータ配信システムは、
データを配信するソースと、配信されたデータを処理するシンクとを有するデータ配信システムであって、
前記ソースから配信されたパケットを受信し、当該受信したパケットのヘッダから得られる情報に基づいて、当該パケットに付加情報を付与して転送するマーカと、
前記マーカから転送されたパケットを受信し、当該受信したパケットに付与された付加情報に基づいて、前記シンクへの当該パケットの転送可否を判断し、転送可能なパケットを前記シンクに転送するフィルタと、
を有することを特徴とする。
また、本発明の一形態に係るデータ配信方法は、
データを配信するソースと、配信されたデータを処理するシンクとを有し、前記ソースと前記シンクとの間に介在するマーカ及びフィルタを更に有するデータ配信システムにおけるデータ配信方法であって、
前記マーカが、前記ソースから配信されたパケットを受信し、当該受信したパケットのヘッダから得られる情報に基づいて、当該パケットに付加情報を付与して転送するステップと、
前記フィルタが、前記マーカから転送されたパケットを受信し、当該受信したパケットに付与された付加情報に基づいて、前記シンクへの当該パケットの転送可否を判断し、転送可能なパケットを前記シンクに転送するステップと、
を有することを特徴とする。
また、本発明の一形態に係るマーカは、
データを配信するソースと、配信されたデータを処理するシンクとの間に介在するマーカであって、
前記ソースから配信されたパケットを受信する受信部と、
当該受信したパケットのヘッダから得られる情報に基づいて、当該パケットに付加情報を付与する付加情報付与部と、
前記付加情報が付与されたパケットを、前記シンクへの当該パケットの転送可否を判断するフィルタに転送する転送部と、
を有することを特徴とする。
また、本発明の一形態に係るフィルタは、
データを配信するソースと、配信されたデータを処理するシンクとの間に介在するフィルタであって、
前記ソースから配信されたパケットに付加情報を付与するマーカから、当該付加情報が付与されたパケットを受信する受信部と、
前記受信したパケットに付与された付加情報に基づいて、前記シンクへの当該パケットの転送可否を判断する転送判断部と、
転送可能なパケットを前記シンクに転送する転送部と、
を有することを特徴とする。
また、本発明の一形態に係るプログラムは、
上記のマーカの各部としてコンピュータを機能させることを特徴とする。
また、本発明の一形態に係るプログラムは、
上記のフィルタの各部としてコンピュータを機能させることを特徴とする。
本発明によれば、１つの配信元ノードから異なる要求を持つ複数の配信先ノードにデータを配信するときの配信元ノード及び配信先ノードの処理負荷を低減し、通信トラヒックを削減することを目的とする。
本発明の実施例に係るデータ配信システムの全体構成を示す図である。 本発明の実施例に係るデータ配信システムにおける各ノードの配備例を示す図である。 本発明の実施例に係るマーカの機能構成を示すブロック図である。 本発明の実施例に係るフィルタの機能構成を示すブロック図である。 本発明の実施例に係るコントローラの機能構成を示すブロック図である。 特定の情報を抽出するためのソースにおける処理手順を示すシーケンス図である。 ソースにおけるパケット化の処理手順を示すフローチャートである。 輝度成分の部分データを抽出する概念図である。 特定周波数成分の部分データを抽出する概念図である。 サムネイルの部分データを抽出する概念図である。 部分画像の部分データを抽出する概念図である。 データ配信システムにおけるシーケンス例１である。 マーカにおけるマーキングの処理手順を示すフローチャート（メタデータが得られる場合）である。 マーカにおけるマーキングの処理手順を示すフローチャート（メタデータが得られない場合）である。 フィルタにおけるフィルタリングの処理手順を示すフローチャートである。 データ配信システムにおけるシーケンス例２である。 データ配信システムにおけるシーケンス例３である。 データ配信システムにおけるシーケンス例４である。 データ配信システムにおけるシーケンス例５である。 マーカにおけるマーカ方式の具体例１（ＲＴＰ拡張ヘッダに設定する例）である。 マーカにおけるマーカ方式の具体例１（ＲＴＰペイロードに設定する例）である。 マーカにおけるマーカ方式の具体例２（パケットレベルのマーカ方式の例）である。 マーカにおけるマーカ方式の具体例２（ブロックレベルのマーカ方式の例）である。 パケットレベルのマーカ方式が使用される場合のフィルタにおけるフィルタリングの処理手順を示すフローチャートである。 ブロックレベルのマーカ方式が使用される場合のフィルタにおけるフィルタリングの処理手順を示すフローチャートである。 フィルタが転送終了通知をシンクに送信する具体例１である。 フィルタが転送終了通知をシンクに送信する具体例２である。 本発明の実施例に係る各ノードのハードウェア構成例を示す図である。
以下、図面を参照して本発明の実施例について説明する。
＜データ配信システムの全体構成＞
図１は、本発明の実施例に係るデータ配信システムの全体構成を示す図である。データ配信システムは、ソース３０とシンク４０の間にマーカ１０及びフィルタ２０が介在し、画像のようなデータを符号化、転送及び復号化する中で、マーカ１０及びフィルタ２０によってソースから配信されたデータの中から特定の情報を抽出し、シンク４０に転送することを可能にする。これにより、データを転送する過程において、データを復号化することなく、例えば、グレースケール画像、低画質画像、部分画像等へ変換することができ、ソース３０及びシンク４０の処理負荷低減及び通信トラヒックの削減に貢献することができる。
図１に示すように、データ配信システムは、マーカ１０と、フィルタ２０と、ソース３０と、シンク４０とを有する。データ配信システムは、コントローラ５０を更に有してもよい。
ソース３０は、映像のようなデータを配信する装置（配信元ノード）である。ソース３０の例として、カメラ、映像配信サーバ等がある。なお、ソース３０は、カメラと映像配信サーバの組み合わせのように、複数の装置によって構成されることも可能である。
シンク４０は、ソース３０からデータの配信を要求し、受信したデータを処理（表示、解析、保存など）する装置（配信先ノード）である。シンク４０の例として、ビュワー等がある。シンク４０も、ビュワーと映像再生サーバの組み合わせのように、複数の装置によって構成されることも可能である。
マーカ１０は、ソース３０から配信されたパケットに、データの区切りや意味等を示す付加情報を付与して転送する装置（ノード）である。以下では、マーカ１０がどのように付加情報を付与するかの動作をマーカ方式と呼ぶ。
フィルタ２０は、マーカ１０から転送されたパケットを受信し、マーカ１０が付与した付加情報に基づいて、シンク４０へのパケットの転送可否を判断する装置（ノード）である。フィルタ２０は、受信したパケットの中からシンク４０に適した内容を抽出して、シンク４０に転送することができる。以下では、フィルタ２０がどのように転送可否を判断するかの動作をフィルタ方式と呼ぶ。
コントローラ５０は、シンク４０が要求するデータの内容を示すシンク要求通知を受信し、シンク要求通知に応じてマーカ１０におけるマーカ方式の設定及びフィルタ２０におけるフィルタ方式の設定を行う装置（ノード）である。コントローラ５０は、ソース３０が配信するデータの種類や配信方式、マーカ１０が対応するマーカ方式、フィルタ２０が対応するフィルタ方式、シンク４０からのシンク要求通知を取得し、それぞれの内容が整合するように、各ノードの動作設定を行う。
マーカ１０、フィルタ２０、ソース３０及びシンク４０は、データ配信システムにおいて様々な配備が可能である。図２は、各ノードの配備例を示す図である。
例えば、配備例１に示すように、ソース３０及びマーカ１０が、カメラ等のデータを生成する装置に配備され、フィルタ２０及びシンク４０が、ビュワーや映像再生サーバ等のデータを処理する装置に配備されてもよい。
例えば、配備例２に示すように、ソース３０及びマーカ１０が、データを生成する装置に配備され、フィルタ２０が、中継サーバ又はネットワーク内のルータ等の装置に配備され、シンク４０が、データを処理する装置に配備されてもよい。
例えば、配備例３に示すように、映像データの取得のようなソース３０の一部の機能が、データを生成する装置に配備され、マーカ１０に適した形式への符号化のようなソース３０の一部の機能及びマーカ１０が中継サーバ又はネットワーク内のルータ等の装置に配備されてもよい。また、シンク４０に適した映像データの復号化のようなシンク４０の機能の一部が、中継サーバ又はネットワーク内のルータ等の装置に配備され、映像データの表示のようなシンク４０の一部の機能及びフィルタ２０が、データを処理する装置に配備されてもよい。
なお、図２に示す配備例は単なる例であり、他の配備例も可能である。
＜マーカの構成＞
図３は、本発明の実施例に係るマーカ１０の機能構成を示すブロック図である。マーカ１０は、通信部１０１と、マーカ動作設定部１０３と、マーキング部１０５と、シグナリング部１０７とを有する。なお、図３の各機能部の名称は単なる例であり、別の名称で呼ばれてもよい。例えば、通信部１０１は、受信部及び転送部と呼ばれてもよく、マーキング部１０５は、付加情報付与部と呼ばれてもよい。
通信部１０１は、通信ネットワークと接続して各ノードとデータ通信を行う。通信部１０１は、ソース３０から配信されたパケットを受信する。また、通信部１０１は、付加情報を付与したパケットをフィルタ２０に転送する。
マーカ動作設定部１０３は、フィルタ２０又はコントローラ５０等からのシグナリング情報に基づき、マーキング部１０５が実行すべきマーカ方式を決定する。
マーキング部１０５は、マーカ動作設定部１０３が決定したマーカ方式に従って、転送すべきパケットに付加情報を付与する。付加情報は、パケットから得られる情報に基づいて付与される。例えば、画像データの輝度成分、色成分、周波数成分、部分画像等を示すメタデータがパケットのヘッダに付与されている場合、マーキング部１０５は、メタデータに基づいてパケットに付加情報を付与する。一方、上記のようなメタデータがパケットに付与されていない場合、マーキング部１０５は、パケットに含まれる情報のうちペイロード以外の情報、例えばパケットヘッダに含まれるパケットサイズ、ＲＴＰ（Real-time Transport Protocol）タイムスタンプ値等に基づいてパケットに付加情報を付与してもよい。
シグナリング部１０７は、データを送受信する際に用いる通信アドレス、ポート番号、コーデック等を、送信側と受信側で合意する。シグナリング部１０７が用いるプロトコルとして、ＳＩＰ（Session Initiation Protocol）、ＲＴＳＰ（Real Time Streaming Protocol）等がある。なお、シグナリング部１０７は、マーカ１０の外部のノードに具備されて、マーカ１０の通信部１０１を介して接続する形態でもよい。
＜フィルタの構成＞
図４は、本発明の実施例に係るフィルタ２０の機能構成を示すブロック図である。フィルタ２０は、通信部２０１と、フィルタ動作設定部２０３と、フィルタリング部２０５と、シグナリング部２０７とを有する。なお、図４の各機能部の名称は単なる例であり、別の名称で呼ばれてもよい。例えば、通信部２０１は、受信部及び転送部と呼ばれてもよく、フィルタリング部２０５は、転送判断部と呼ばれてもよい。
通信部２０１は、通信ネットワークと接続して各ノードとデータ通信を行う。通信部２０１は、マーカ１０から転送されたパケットを受信する。また、通信部２０１は、シンク４０に転送可能と判断されたパケットをシンク４０に転送する。
フィルタ動作設定部２０３は、シンク４０又はコントローラ５０等からのシグナリング情報に基づき、フィルタリング部２０５が実行すべきフィルタ方式を決定する。また、フィルタ動作設定部２０３が、フィルタ方式に対応するマーカ方式を決定してマーカ１０に通知することも可能である。
フィルタリング部２０５は、フィルタ動作設定部２０３が決定したフィルタ方式に従って、シンク４０へのパケットの転送可否を判断する。転送不可と判断されたパケットは破棄される。
シグナリング部２０７は、データを送受信する際に用いる通信アドレス、ポート番号、コーデック等を、送信側と受信側で合意する。シグナリング部２０７が用いるプロトコルとして、ＳＩＰ、ＲＴＳＰ等がある。なお、シグナリング部２０７は、フィルタ２０の外部のノードに具備されて、フィルタ２０の通信部２０１を介して接続する形態でもよい。
＜コントローラの構成＞
図５は、本発明の実施例に係るコントローラ５０の機能構成を示すブロック図である。コントローラ５０は、通信部５０１と、能力取得部５０３と、動作設定部５０５とを有する。なお、図５の各機能部の名称は単なる例であり、別の名称で呼ばれてもよい。
通信部５０１は、通信ネットワークと接続して各ノードとデータ通信を行う。
能力取得部５０３は、通信部５０１を介して、ソース３０、シンク４０、マーカ１０及びフィルタ２０の各ノードが備える能力（プロトコル、コーデック、マーカ方式、フィルタ方式等）を取得する。また、能力取得部５０３は、シンク４０が要求するデータの内容を示すシンク要求通知を取得する。
動作設定部５０５は、能力取得部５０３が取得した各ノードの能力を参照して、シンク要求通知に応じて各ノードが実行すべき動作を決定して各ノードに指示する。動作設定部５０５は、マーカ１０に対してはマーカ方式を設定し、フィルタ２０に対してはフィルタ方式を設定する。
＜特定の情報を抽出する具体例＞
次に、ソース３０からシンク４０に画像データを配信する際に、マーカ１０及びフィルタ２０によって特定の情報のみを抽出する具体例について説明する。このためには、ソース３０において、画像データを複数の成分又は部分画像に分解し、分解した画像データ毎に、画像データの成分又は部分画像を示すメタデータを付与する必要がある。
図６は、特定の情報を抽出するためのソース３０における処理手順を示すシーケンス図である。ソース３０は、カメラ等によって画像を取得する画像取得部と、画像を符号化する符号化部と、符号化した画像をパケット化して送信するパケット化部とを有するものとする。
ソース３０の画像取得部は、符号化部等からの画像取得要求に応じて画像データを取得し（Ｓ１０１）、符号化部に送出する（Ｓ１０２）。
符号化部は、画像データを符号化する（Ｓ１０３）。例えば、符号化部は、画像データの輝度情報に基づいて、画像データをＹ成分、Ｃｂ成分、Ｃｒ成分に分解することができる。他の例として、符号化部は、画像データの周波数情報に基づいて、画像データをＤＣ成分、ＡＣ１成分、ＡＣ２成分に分解することができる。他の例として、符号化部は、画像データのセグメント情報に基づいて、画像データをＳＯＩ、ＡＰＰ０、ＡＰＰ１等に分解することができる。他の例として、符号化部は、画像データのピクセル空間上の座標情報に基づいて、画像データを部分画像に分解することができる。以下の説明では、分解された画像データの成分又は部分画像を部分データと呼ぶこともある。符号化部は、部分データの種別の境目に境界情報を付与する。符号化部は、境界情報が付与された画像データをパケット化部に送出する（Ｓ１０４）。
パケット化部は、それぞれのパケットの中に異なる部分データが混在しないように、境界情報に基づいて部分データ毎にパケット化し（Ｓ１０５）、部分データの内容（成分等）がヘッダで解釈できるように、部分データの内容を示すメタデータをパケットのヘッダに付与して送出する（Ｓ１０６）。
パケット化部における処理手順について図７を参照して更に説明する。図７は、ソースにおけるパケット化の処理手順を示すフローチャートである。
まず、パケット化部は、符号化部で符号化された画像データから、境目までデータを読み込む（Ｓ１１１）。読み込んだデータがパケタイズ長以下である場合（Ｓ１１２：Ｙｅｓ）、読み込んだデータをパケット化し送出する（Ｓ１１３）。読み込んだデータがパケタイズ長より大きい場合（Ｓ１１２：Ｎｏ）、残りのデータがパケタイズ長以下になるまで、パケタイズ長までのデータをパケット化し送出する（Ｓ１１４）。残りのデータがパケタイズ長以下になった場合（Ｓ１１２：Ｙｅｓ）、残りのデータをパケット化し送出する（Ｓ１１３）。次の境界が存在する場合（Ｓ１１５：Ｎｏ）、上記の処理を繰り返し、読み込んだデータのパケット化が終了した場合（Ｓ１１５：Ｙｅｓ）、処理を終了する。
なお、上記の画像データの分解及びメタデータの付与は、マーカ１０において行われてもよい。例えば、メタデータの付与がマーカ１０において行われる場合、メタデータはプログラム間で共有メモリ等を用いてマーカ１０のマーキング部１０５に渡すことができる。
図８は、マーカ１０及びフィルタ２０によって輝度成分の部分データを抽出する概念図である。
ソース３０は、上記のように、画像データの輝度情報に基づき、画像データをＹ成分、Ｃｂ成分、Ｃｒ成分に分解し、成分毎にパケット化する。パケットのヘッダには、成分の内容を示すメタデータが付与される。
マーカ１０は、フィルタ２０が成分の違いを解釈できるように、ソース３０により付与されたメタデータに基づいて付加情報を付与する。
フィルタ２０は、Ｙ成分のみを抽出し、シンク４０に転送する。
図９は、マーカ１０及びフィルタ２０によって特定周波数成分の部分データを抽出する概念図である。
ソース３０は、上記のように、画像データの周波数情報に基づき、画像データをＤＣ成分、ＡＣ１成分、ＡＣ２成分に分解し、成分毎にパケット化する。パケットのヘッダには、成分の内容を示すメタデータが付与される。
マーカ１０は、フィルタ２０が成分の違いを解釈できるように、ソース３０により付与されたメタデータに基づいて付加情報を付与する。
フィルタ２０は、ＤＣ成分等の低周波数成分のみを抽出し、シンク４０に転送する。
図１０は、マーカ１０及びフィルタ２０によってサムネイルの部分データを抽出する概念図である。
ソース３０は、上記のように、画像データのセグメント情報に基づき、画像データをＳＯＩ、ＡＰＰ０、ＡＰＰ１等に分解し、分解した部分データ毎にパケット化する。パケットのヘッダには、部分データの内容を示すメタデータが付与される。
マーカ１０は、フィルタ２０がＳＯＩ＋ＡＰＰ０が含まれる情報とそれ以外の情報を解釈できるように、ソース３０により付与されたメタデータに基づいて付加情報を付与する。
フィルタ２０は、ＳＯＩ＋ＡＰＰ０のみを抽出し、シンク４０に転送する。
図１１は、マーカ１０及びフィルタ２０によって部分画像の部分データを抽出する概念図である。
ソース３０は、上記のように、画像データのピクセル空間上の座標情報に基づき、画像データを複数のブロックに分解し、分解したブロック毎にパケット化する。各ブロックは、最小符号化単位であるＭＣＵ（Minimum Coded Unit）の集合で構成されてもよい。パケットのヘッダには、ブロックの内容を示すメタデータが付与される。
マーカ１０は、フィルタ２０がブロックの違いを解釈できるように、ソース３０により付与されたメタデータに基づいて付加情報を付与する。
フィルタ２０は、特定のブロックのみを抽出し、シンク４０に転送する。
上記のように、ソース３０がデータを分解し、一定の規則に従って順次データをマーカ１０に送信するため、マーカ１０も、一定の規則に従って順次データをシンク４０に転送することができる。
＜データ配信システムにおけるシーケンス例１＞
次に、データ配信システムにおけるマーカ１０及びフィルタ２０の動作を詳細に説明する。
図１２は、マーカ１０におけるマーカ方式及びフィルタ２０におけるフィルタ方式が事前に設定されている場合のデータ配信システムにおけるシーケンス例１である。
シンク４０は、接続先ＵＲＬ（Uniform Resource Locator）とデータ受信アドレス及びポートとを含むシグナリング情報をフィルタ２０に送信する（Ｓ２０１）。接続先ＵＲＬは、ソース３０のＵＲＬであり、データ受信アドレス及びポートは、データを受信するためのシンク４０のＩＰ（Internet Protocol）アドレス及びポート番号である。フィルタ２０のシグナリング部２０７は、シンク４０から受信したシグナリング情報をマーカ１０に送信する（Ｓ２０２）。マーカ１０のシグナリング部１０７は、フィルタ２０から受信したシグナリング情報をソース３０に送信する（Ｓ２０３）。
ソース３０は、例えば、図６〜図１１を参照して説明したように、部分データ毎に画像データをパケット化し、部分データの内容（成分等）がヘッダで解釈できるように、メタデータをパケットのヘッダに付与して送出する（Ｓ２０４）。
マーカ１０のマーキング部１０５は、パケットのヘッダから得られる情報に基づいて、付加情報を付与する（Ｓ２０５）。
ステップＳ２０５について図１３を参照して詳細に説明する。図１３は、マーカ１０のマーキング部１０５におけるマーキングの処理手順を示すフローチャートである。
マーキング部１０５は、マーカ動作設定部１０３で設定されたマーカ方式を取得する（Ｓ２１１）。図１２の例では、マーカ方式は事前に設定されており、例えば、Ｙ成分のみをマーキングするというマーカ方式を読み込む。
マーキング部１０５は、通信部１０１において受信したデータを受け取り（Ｓ２１２）、データ及びメタデータを読み込む（Ｓ２１３）。マーキング部１０５は、読み込んだデータ及びメタデータがマーカ方式に対応するか判断する（Ｓ２１４）。データ及びメタデータがマーカ方式に対応していない場合（Ｓ２１４：Ｎｏ）、例えば、Ｙ成分のみをマーキングするマーカ方式にもかかわらずメタデータがＤＣ成分を示す場合、エラーを出力する（Ｓ２１５）。
データ及びメタデータがマーカ方式に対応している場合（Ｓ２１４：Ｙｅｓ）、マーキング部１０５は、メタデータに基づいてマーキングすべきか判断する（Ｓ２１６）。マーキングが必要な場合（Ｓ２１６：Ｙｅｓ）、付加情報を付与して（Ｓ２１７）、送信する（Ｓ２１８）。マーキングが不要な場合（Ｓ２１６：Ｎｏ）、付加情報を付与せずに送信する（Ｓ２１８）。
ステップＳ２０５の別の例について図１４を参照して詳細に説明する。図１４は、メタデータが得られない場合のマーカ１０のマーキング部１０５におけるマーキングの処理手順を示すフローチャートである。メタデータが得られない場合、マーキング部１０５は、パケットサイズ又はタイムスタンプ値等に基づいてマーキングを行うことができる。
マーキング部１０５は、マーカ動作設定部１０３で設定されたマーカ方式を取得する（Ｓ２２１）。図１２の例では、マーカ方式は事前に設定されており、例えば、１００バイトを超えるパケットのみをマーキングするというマーカ方式、直前のパケットに対してサイズが２倍を超えるパケットをマーキングするというマーカ方式、又はＲＴＰタイムスタンプ値を３６００で割った商が偶数の場合はマーキングするというマーカ方式を読み込む。
マーキング部１０５は、通信部１０１において受信したデータを受け取り（Ｓ２２２）、データを読み込む（Ｓ２２３）。マーキング部１０５は、読み込んだデータがマーカ方式に対応するか判断する（Ｓ２２４）。データがマーカ方式に対応していない場合（Ｓ２２４：Ｎｏ）、例えば、ＲＴＰタイムスタンプ値に基づいてマーキングするマーカ方式にもかかわらずＲＴＰタイムスタンプ値が存在しない場合、エラーを出力する（Ｓ２２５）。
データがマーカ方式に対応している場合（Ｓ２２４：Ｙｅｓ）、マーキング部１０５は、パケットサイズ又はタイムスタンプ値等に基づいてマーキングすべきか判断する（Ｓ２２６）。例えば、直前のパケットに対してサイズが２倍を超えるパケットをマーキングするというマーカ方式の場合、最初に１４００バイトのパケットを受信した場合にはマーキングせず、次に１４００バイトのパケットを受信した場合にもマーキングせず、次に１００バイトのパケットを受信した場合にもマーキングせず、次に１４００バイトのパケットを受信した場合にはマーキングする。他の例として、ＲＴＰタイムスタンプ値を３６００で割った商が偶数の場合はマーキングするというマーカ方式の場合、ＲＴＰタイムスタンプ値が１００００であるパケットを受信した場合にはマーキングし、ＲＴＰタイムスタンプ値が１３６００であるパケットを受信した場合にはマーキングしない。マーキングが必要な場合（Ｓ２２６：Ｙｅｓ）、付加情報を付与して（Ｓ２２７）、送信する（Ｓ２２８）。マーキングが不要な場合（Ｓ２２６：Ｎｏ）、付加情報を付与せずに送信する（Ｓ２２８）。
マーキング部１０５は、通信部１０１から付加情報を付与したデータをフィルタ２０に転送する（図１２のＳ２０６）。
フィルタ２０のフィルタリング部２０５は、付加情報に基づいて、シンク４０への転送可否を判断する（図１２のＳ２０７）。
ステップＳ２０７について図１５を参照して詳細に説明する。図１５は、フィルタ２０のフィルタリング部２０５におけるフィルタリングの処理手順を示すフローチャートである。
フィルタリング部２０５は、フィルタ動作設定部２０３で設定されたフィルタ方式を取得する（Ｓ２３１）。図１２の例では、フィルタ方式は事前に設定されており、例えば、マーカ１０によってマーキングされたＹ成分のみを転送し、Ｃｒ成分及びＣｂ成分を転送しないというフィルタ方式を読み込む。
フィルタリング部２０５は、通信部２０１において受信したデータを受け取り（Ｓ２３２）、データを読み込む（Ｓ２３３）。フィルタリング部２０５は、読み込んだデータがフィルタ方式に対応するか判断する（Ｓ２３４）。データがフィルタ方式に対応していない場合（Ｓ２３４：Ｎｏ）、例えば、フィルタリング部２０５が理解できない付加情報が付与されている場合、エラーを出力する（Ｓ２３５）。
データがフィルタ方式に対応している場合（Ｓ２３４：Ｙｅｓ）、フィルタリング部２０５は、付加情報に基づいてフィルタリングすべきか判断する（Ｓ２３６）。フィルタリングする場合（Ｓ２３６：Ｙｅｓ）、データを破棄する（Ｓ２３７）。フィルタリングが不要な場合（Ｓ２３６：Ｎｏ）、転送可能と判断する（Ｓ２３８）。
フィルタリング部２０５は、通信部２０１から転送可能なパケットをシンク４０に転送する（図１２のＳ２０８）。
＜データ配信システムにおけるシーケンス例２＞
図１６は、複数のシンクが存在し、複数のフィルタが存在する場合のデータ配信システムにおけるシーケンス例２である。なお、マーカ１０におけるマーカ方式及びフィルタＡ２０及びフィルタＢ２０におけるフィルタ方式は事前に設定されているものとする。以下では、マーカ１０は、Ｙ成分、Ｃｒ成分、Ｃｂ成分をそれぞれマーキングし、フィルタＡ２０は、マーキングされたＹ成分のみを転送し、フィルタＢ２０は、マーキングされたＹ成分及びＣｒ成分を転送する例について説明する。
シンクＡ４０は、接続先ＵＲＬとデータ受信アドレス及びポートとを含むシグナリング情報をフィルタＡ２０に送信する（Ｓ３０１）。フィルタＡ２０のシグナリング部２０７は、シンクＡ４０から受信したシグナリング情報をマーカ１０に送信する（Ｓ３０２）。マーカ１０のシグナリング部１０７は、フィルタＡ２０から受信したシグナリング情報をソース３０に送信する（Ｓ３０３）。
ソース３０は、例えば、図６〜図１１を参照して説明したように、部分データ毎に画像データをパケット化し、部分データの成分がヘッダで解釈できるように、メタデータをパケットのヘッダに付与して送出する（Ｓ３０４）。この例では、Ｙ成分、Ｃｒ成分、Ｃｂ成分がヘッダで解釈できるように、メタデータが付与される。
マーカ１０のマーキング部１０５は、メタデータに基づいて、Ｙ成分、Ｃｒ成分又はＣｂ成分を示す付加情報を付与する（Ｓ３０５）。マーキング部１０５は、通信部１０１から付加情報を付与したデータをフィルタＡ２０に転送する（Ｓ３０６）。
フィルタＡ２０のフィルタリング部２０５は、付加情報に基づいて、シンク４０への転送可否を判断する（Ｓ３０７）。フィルタＡ２０のフィルタリング部２０５は、マーカ１０において付与された付加情報に基づいてＹ成分のパケットのみを転送し、Ｃｒ成分及びＣｂ成分を破棄する（Ｓ３０８）。
ここで、シンクＢ４０が同じソース３０に配信要求を行う場合、シンクＢ４０は、接続先ＵＲＬとデータ受信アドレス及びポートとを含むシグナリング情報をフィルタＢ２０に送信する（Ｓ３１１）。フィルタＢ２０のシグナリング部２０７は、シンクＢ４０から受信したシグナリング情報をマーカ１０に送信する（Ｓ３１２）。マーカ１０は、シグナリング情報から、接続先ＵＲＬであるソース３０から既にデータを受け取っていることを認識できるため、フィルタＢ２０に対してマルチキャストグループに参加するように要求し（Ｓ３１３）、フィルタＢ２０がマルチキャストグループに参加する（Ｓ３１４）。なお、フィルタＡ及びフィルタＢの間でシグナリング情報を共有して、フィルタＢがマーカ１０へシグナリング情報を送信せずに、フィルタＢがマルチキャストグループに直接参加することも可能である。
マーカ１０のマーキング部１０５は、ソース３０から受信したデータに付加情報を付与し、通信部１０１から付加情報を付与したデータをフィルタＡ２０に転送する（Ｓ３１５）。同時に、同じデータをフィルタＢ２０にもマルチキャストする。
フィルタＡ２０のフィルタリング部２０５は、付加情報に基づいて、シンクＡ４０への転送可否を判断する（Ｓ３１６）。フィルタＡ２０のフィルタリング部２０５は、マーカ１０において付与された付加情報に基づいてＹ成分のパケットのみを転送し、Ｃｒ成分及びＣｂ成分を破棄する（Ｓ３１７）。
フィルタＢ２０のフィルタリング部２０５は、付加情報に基づいて、シンクＢ４０への転送可否を判断する（Ｓ３１８）。フィルタＢ２０のフィルタリング部２０５は、マーカ１０において付与された付加情報に基づいてＹ成分及びＣｒ成分のパケットのみを転送し、Ｃｂ成分を破棄する（Ｓ３１９）。
＜データ配信システムにおけるシーケンス例３＞
図１７は、マーカ１０におけるマーカ方式及びフィルタ２０におけるフィルタ方式がシグナリング情報に含まれる場合のデータ配信システムにおけるシーケンス例３である。
シンク４０は、接続先ＵＲＬとデータ受信アドレス及びポートとを含むシグナリング情報に、マーカ方式及びフィルタ方式を更に含めて、シグナリング情報をフィルタ２０に送信する（Ｓ４０１）。例えば、Ｙ成分のみをマーキングするというマーカ方式、マーキングされていないパケットをドロップするというフィルタ方式をフィルタ２０に送信する。
フィルタ２０のシグナリング部２０７は、シグナリング情報に含まれるフィルタ方式をフィルタ動作設定部２０３に通知する（Ｓ４０２）。フィルタ動作設定部２０３は、フィルタリング部２０５が実行すべきフィルタ方式を決定し、フィルタリング部２０５に指示する（Ｓ４０３）。
フィルタ２０のシグナリング部２０７は、シグナリング情報に含まれるマーカ方式をマーカ１０に送信する（Ｓ４０４）。
マーカ１０のシグナリング部１０７は、シグナリング情報に含まれるマーカ方式をマーカ動作設定部１０３に通知する（Ｓ４０５）。マーカ動作設定部１０３は、マーキング部１０５が実行すべきマーカ方式を決定し、マーキング部１０５に指示する（Ｓ４０６）。
マーカ１０のシグナリング部１０７は、フィルタ２０から受信したシグナリング情報をソース３０に送信する（Ｓ４０７）。
以降、図１２のステップＳ２０４〜Ｓ２０８と同様に、マーキング及びフィルタリングが実行される。
＜データ配信システムにおけるシーケンス例４＞
図１８は、マーカ１０におけるマーカ方式及びフィルタ２０におけるフィルタ方式がシグナリング情報に基づいて設定される場合のデータ配信システムにおけるシーケンス例４である。
シンク４０は、接続先ＵＲＬとデータ受信アドレス及びポートとを含むシグナリング情報に、配信を要求するデータの種別を示す情報（要求データ種別）を更に含めて、シグナリング情報をフィルタ２０に送信する（Ｓ５０１）。例えば、要求データ種別は、シンク４０がソース３０からの配信を要求するデータの種別を表し、例えば、ＪＰＥＧで符号化されたＹ成分のみの配信を要求することを表す。
フィルタ２０のシグナリング部２０７は、シグナリング情報をフィルタ動作設定部２０３に通知する（Ｓ５０２）。フィルタ動作設定部２０３は、シグナリング情報の要求データ種別に基づいて、マーカ方式及びフィルタ方式を決定する（Ｓ５０３）。例えば、フィルタ動作設定部２０３は、Ｙ成分のみをマーキングするというマーカ方式、マーキングされていないパケットをドロップするというフィルタ方式を決定する。フィルタ動作設定部２０３は、フィルタリング部２０５が実行すべきフィルタ方式をフィルタリング部２０５に指示する（Ｓ５０４）。
フィルタ２０のシグナリング部２０７は、フィルタ動作設定部２０３において決定されたマーカ方式をシグナリング情報に含めてマーカ１０に送信する（Ｓ５０５）。
マーカ１０のシグナリング部１０７は、シグナリング情報に含まれるマーカ方式をマーカ動作設定部１０３に通知する（Ｓ５０６）。マーカ動作設定部１０３は、マーキング部１０５が実行すべきマーカ方式を決定し（Ｓ５０７）、マーキング部１０５に指示する（Ｓ５０８）。この例では、マーカ方式はフィルタ２０により決定されてマーカ１０に通知されるが、マーカ方式は、マーカ１０のマーカ動作設定部１０３において、シグナリング情報に含まれる要求データ種別に基づいて決定されてもよい。
マーカ１０のシグナリング部１０７は、フィルタ２０から受信したシグナリング情報をソース３０に送信する（Ｓ５０９）。
以降、図１２のステップＳ２０４〜Ｓ２０８と同様に、マーキング及びフィルタリングが実行される。
＜データ配信システムにおけるシーケンス例５＞
図１９は、コントローラ５０が介在する場合のデータ配信システムにおけるシーケンス例５である。コントローラ５０は、各ノードの能力を取得し、シンク４０が要求するデータの内容を示すシンク要求通知に応じて各ノードが実行すべき動作を決定する。
シンク４０は、接続先ＵＲＬとデータ受信アドレス及びポートに加えて、要求データ種別を含むシンク要求通知をコントローラ５０に送信する（Ｓ６０１）。例えば、要求データ種別は、シンク４０がソース３０からの配信を要求するデータの種別を表し、例えば、ＪＰＥＧで符号化されたＹ成分のみの配信を要求することを表す。
コントローラ５０の能力取得部５０３は、フィルタ２０のフィルタ動作設定部２０３において設定可能なフィルタ方式を取得するためのフィルタ能力取得要求を送信し（Ｓ６０２）、設定可能なフィルタ方式を示すフィルタ能力を取得する（Ｓ６０３）。例えば、フィルタ能力には、パケット毎にフィルタリングが可能であるか、パケットのまとまりであるブロック毎にフィルタリングが可能であるか、０又は１の２値情報によってフィルタリングが可能であるか、２値以外の情報によってフィルタリングが可能であるか等の情報が含まれる。フィルタ方式の具体例については以下に詳細に説明する。
また、コントローラ５０の能力取得部５０３は、マーカ１０のマーカ動作設定部１０３において設定可能なマーカ方式を取得するためのマーカ能力取得要求を送信し（Ｓ６０４）、設定可能なマーカ方式を示すマーカ能力を取得する（Ｓ６０５）。例えば、マーカ能力には、パケット毎にマーキングが可能であるか、パケットのまとまりであるブロック毎にマーキングが可能であるか、０又は１の２値情報によってマーキングが可能であるか、２値以外の情報によってマーキングが可能であるか等の情報が含まれる。
また、コントローラ５０の能力取得部５０３は、ソース３０において利用可能なコーデックを取得するためのソース能力取得要求を送信し（Ｓ６０６）、利用可能なコーデック（例えば、Ｈ．２６４、ＪＰＥＧ等）を示すソース能力を取得する（Ｓ６０７）。
コントローラ５０の動作設定部５０５は、能力取得部５０３が取得した各ノードの能力を取得して（Ｓ６０８）、シンク要求通知に応じて、シンク４０が配信を要求するデータを受信できるように各ノードが実行すべき動作を整合させる（Ｓ６０９）。
コントローラ５０の動作設定部５０５は、フィルタ２０のフィルタ動作設定部２０３にフィルタ方式を指示し（Ｓ６１０）、フィルタ動作設定部２０３は、フィルタリング部２０５が実行すべきフィルタ方式をフィルタリング部２０５に指示する（Ｓ６１１）。
また、コントローラ５０の動作設定部５０５は、マーカ１０のマーカ動作設定部１０３にマーカ方式を指示し（Ｓ６１２）、マーカ動作設定部１０３は、マーキング部１０５が実行すべきマーカ方式をマーキング部１０５に指示する（Ｓ６１３）。
更に、コントローラ５０の動作設定部５０５は、ソース３０に対して使用すべきコーデックを指示する（Ｓ６１４）。
コントローラ５０の動作設定部５０５は、例えば、各ノードへの動作指示に対する応答を受信した場合、準備完了通知をシンク４０に送信する（Ｓ６１５）。
以降、図１２のステップＳ２０４〜Ｓ２０８と同様に、データが配信される。
＜マーカにおけるマーカ方式の具体例１＞
次に、マーカ１０のマーキング部１０５におけるマーカ方式について詳細に説明する。
図２０Ａ及び図２０Ｂは、マーカ１０におけるマーカ方式の具体例１である。上記のように、マーカ１０は、パケットにデータの内容（成分等）を示す付加情報を付与することができるが、マーカ１０は、パケットのヘッダに付加情報を付与してもよく、ペイロードに付加情報を付与してもよい。
例えば、データを伝送するためのプロトコルとしてＲＴＰが利用される場合、マーカ１０は、図２０Ａに示すように、ＲＴＰ拡張ヘッダに付加情報を付与することができる。ＲＴＰ拡張ヘッダは、IETF RFC 5285（https://tools.ietf.org/rfc/rfc5285.txt）において仕様化されているため、シンク４０での読み取り処理に既存のライブラリコードをそのまま利用することができる。また、ＲＴＰ拡張ヘッダを理解しない受信側ノードがＲＴＰ拡張ヘッダ部分を無視して通常通り処理できる。一方、マーキングする情報量が少ない場合でも、ＲＴＰ拡張ヘッダとして定義されているｌｅｎｇｔｈやＩＤ等を設定しなければならず、オーバヘッドが大きくなる。
また、マーカ１０は、図２０Ｂに示すように、ＲＴＰペイロードに付加情報を付与することができる。ＲＴＰペイロードには、必要な情報のみを埋め込めばよいため情報量のオーバヘッドが少ない。一方、ＲＴＰにおいて仕様化されていない独自形式の埋め込みとなるため、シンク４０での読み取り処理を、埋め込み形式に合わせて個別に実装する必要が生じる。
なお、付加情報は、０又は１の２値情報でもよく、意味のある情報を示すセマンティックス情報でもよい。
付加情報を２値情報で表現するパルス方式は、フィルタリング対象でないデータには１を付与し、フィルタリング対象のデータには０を付与するというものでもよい。また、フィルタリング対象のデータでないデータに１を付与し、フィルタリング対象のデータには何も付与しないことも可能である。パルス方式は、マーカ１０の負荷が軽く、フィルタ２０の負荷も軽くすることができる。一方、フィルタ２０において３種類を超えるフィルタリング処理を行う場合には、別の情報と組み合わせる必要がある。
付加情報をセマンティックス情報で表現するセマンティックス方式は、例えば、画像データの成分がＹ成分であるかＣｂ成分であるかＣｒ成分であるかという情報を付与するものである。他の例として、画像データの走査線の番号又は座標を付与するものでもよい。セマンティックス方式は、付加情報のみでフィルタリングが可能であるが、マーカ１０の負荷が大きくなる。
＜マーカにおけるマーカ方式の具体例２＞
図２１Ａ及び図２１Ｂは、マーカ１０におけるマーカ方式の具体例２である。上記のように、マーカ１０は、パケットにデータの内容（成分等）を示す付加情報を付与することができるが、マーカ１０は、パケット毎に付加情報を付与してもよく、ソース３０から部分データの種別を示すメタデータが取得できる場合には、部分データの種別が切り替わる境目のパケットに付加情報を付与してもよい。
図２１Ａは、パケット毎に付加情報を付与するパケットレベルのマーカ方式を示している。付加情報は、全てのパケットに付与される。ただし、フィルタリング対象のデータ（例えば、Ｃｂ成分、Ｃｒ成分）に対しては付加情報の付与を省略することも可能である。このマーカ方式は、パケットロス、順序逆転、パケット重複に強いため、ＵＤＰ（User Datagram Protocol）を利用するソースに適している。一方、全てのパケットに付加情報が付与されるため、マーカ１０及びフィルタ２０の負荷が大きく、ネットワーク帯域も消費する。
図２１Ｂは、部分データの種別が切り替わる境目のパケットに付加情報を付与するブロックレベルのマーカ方式を示している。例えば、インターリーブをせずに送信する場合のＹ成分、Ｃｂ成分、Ｃｒ成分の境目のように、部分データのまとまりであるブロックが切り替わる境目にマーキングする。このマーカ方式は、切り替え時に付加情報が付与されるため、マーカ１０及びフィルタ２０の負荷を軽くすることができ、ネットワーク帯域も節約できる。一方、パケットロス、順序逆転、パケット重複に弱いため、ＵＤＰを利用するソースに適用しづらくなる。
マーカ１０において、パケットレベルのマーカ方式が使用されるかブロックレベルのマーカ方式が使用されるかによって、フィルタ２０の動作が変わるため、フィルタ２０の動作について更に詳細に説明する。図１５のステップＳ２３６に示すように、フィルタ２０は、マーカ１０において付与された付加情報に基づいて、シンク４０への転送可否を判断する。このステップＳ２３６の処理手順について、詳細に説明する。
図２２は、パケットレベルのマーカ方式が使用される場合のフィルタリングの処理手順を示すフローチャートである。
フィルタ２０のフィルタリング部２０５は、マーカ１０において付与された付加情報を読み取る（Ｓ２４１）。付加情報が存在し（Ｓ２４２：Ｙｅｓ）、付加情報がフィルタ対象のデータであることを示す場合（Ｓ２４３：Ｙｅｓ）、ステップＳ２３７に進み、データが破棄される。付加情報が存在し（Ｓ２４２：Ｙｅｓ）、付加情報がフィルタ対象のデータでないことを示す場合（Ｓ２４３：Ｎｏ）、ステップＳ２３８に進み、データがシンク４０に転送される。
また、付加情報が存在せず（Ｓ２４２：Ｎｏ）、付加情報が存在しないデータがフィルタ対象のデータである場合（Ｓ２４４：Ｙｅｓ）、ステップＳ２３７に進み、データが破棄される。付加情報が存在せず（Ｓ２４２：Ｎｏ）、付加情報が存在しないデータがフィルタ対象のデータでない場合（Ｓ２４４：Ｎｏ）、ステップＳ２３８に進み、データがシンク４０に転送される。
図２３は、ブロックレベルのマーカ方式が使用される場合のフィルタリングの処理手順を示すフローチャートである。
フィルタ２０のフィルタリング部２０５は、マーカ１０において付与された付加情報を読み取る（Ｓ２５１）。付加情報が存在する場合（Ｓ２５２：Ｙｅｓ）、読み取った付加情報を読取済付加情報として記録する（Ｓ２５３）。付加情報がフィルタ対象のデータであることを示す場合（Ｓ２５４：Ｙｅｓ）、ステップＳ２３７に進み、データが破棄される。付加情報がフィルタ対象のデータでないことを示す場合（Ｓ２５４：Ｎｏ）、ステップＳ２３８に進み、データがシンク４０に転送される。
また、付加情報が存在しない場合（Ｓ２５２：Ｎｏ）、読取済付加情報が存在するか確認し、読取済付加情報が存在する場合（Ｓ２５５：Ｙｅｓ）、且つ、読取済付加情報がフィルタ対象のデータであることを示す場合（Ｓ２５６：Ｙｅｓ）、ステップＳ２３７に進み、データが破棄される。読取済付加情報が存在するが（Ｓ２５５：Ｎｏ）、読取済付加情報がフィルタ対象のデータでないことを示す場合（Ｓ２５６：Ｎｏ）、ステップＳ２３８に進み、データがシンク４０に転送される。
また、付加情報及び読取済付加情報が存在せず（Ｓ２５５：Ｎｏ）、付加情報が存在しないデータがフィルタ対象のデータである場合（Ｓ２５７：Ｙｅｓ）、ステップＳ２３７に進み、データが破棄される。付加情報及び読取済付加情報が存在せず（Ｓ２５５：Ｎｏ）、付加情報が存在しないデータがフィルタ対象のデータでない場合（Ｓ２５７：Ｎｏ）、ステップＳ２３８に進み、データがシンク４０に転送される。
＜フィルタにおける転送終了通知の具体例＞
上記のように、ソース３０とシンク４０の間にマーカ１０及びフィルタ２０が介在するデータ配信システムでは、フィルタ２０のフィルタリングによってデータの一部が破棄される。典型的なシンク４０におけるデータ処理では、データの欠損を判断するためにタイムアウト時間を設定し、それまでに所望のデータが到着しなかった場合に欠損とみなし、到着したデータのみから可能な範囲で復号を試みる。しかし、タイムアウト時間だけシンク４０における描画等のデータ処理が遅延する。そこで、フィルタ２０がデータの欠損をシンク４０に通知することで、シンク４０におけるデータ処理遅延を短縮することができ、リアルタイムな視聴及び画像解析に貢献することができる。
図２４は、シンク４０に転送すべきパケットの転送が終了したことを示す転送終了通知を、フィルタ２０がシンク４０に送信する具体例１を示す図である。ソース３０は、画像データ等のデータ終端（ＥＯＩ：End of Image）の情報のみを含むパケットをフィルタ２０に送信する。フィルタ２０の通信部２０１がＥＯＩの情報のみを含むパケットを受信した場合、そのパケットをシンク４０に転送する。
図２５は、フィルタ２０が転送終了通知をシンク４０に送信する具体例２を示す図である。フィルタ２０が画像データのＹ成分のみを転送するフィルタ方式を使用する場合、Ｙ成分の転送後にＣｒ成分を受信した場合、以降のパケットは破棄すべきであることを認識できる。したがって、フィルタ２０の通信部２０１は、転送すべきパケットの転送が終了したため、データ終端（ＥＯＩ）の情報のみを含むパケットをシンク４０に送信する。
シンク４０は、転送終了通知を受信した場合、タイムアウト時間を待つことなく、データ処理を行うことができる。
なお、具体例１および具体例２は、１つのソースからのデータ送信の例であるが、複数のソースが存在してもよい。複数のソースが存在する場合には、各ソースに対し少なくとも一つのマーカが存在し、各ソースから送出されるパケットは、パケットが有する５タプルにより識別され、対応するマーカへと転送される。
＜本発明の実施例の効果＞
本発明の実施例によれば、１つの配信元ノードから異なる要求を持つ複数の配信先ノードにデータを配信するときの配信元ノード及び配信先ノードの処理負荷を低減し、通信トラヒックを削減することが可能になる。したがって、１つの配信元ノードが複数の配信先ノードの異なる要求毎にデータを配信し分ける場合に、通信帯域、配信元ノードの処理能力を浪費するという従来技術の課題を解決することができる。また、１つの配信元ノードから複数の配信先ノードに一斉配信を行ったときに、配信先ノードで自らの目的に合わせたデータの解釈や変換を行うことによって配信先ノードの処理負荷が大きくなるという課題を解決することができる。
すなわち、映像などの情報の配信元ノードが、配信先ノード毎に異なる要求に応じてデータを配信し分ける能力を持つ必要がなくなり、処理の効率化や当該ノードのコストの削減が可能となる。
更に、配信元ノードからネットワークに向かって配信される情報が１種類で済むため、配信先ノード毎に配信し分ける必要がなくなり、ネットワーク帯域の圧迫回避が可能となる。
また、配信先ノードが、自らの目的に合った配信方法及び配信内容でデータを受信できるため、自らの目的に合わせたデータの解釈や変換を行う必要がなくなり、処理の効率化や当該ノードのコストの削減が可能となる。
＜ハードウェア構成例＞
図２６に、本発明の実施例に係る各ノード（マーカ１０、フィルタ２０、ソース３０、シンク４０及びコントローラ５０）のハードウェア構成例を示す。各ノードは、ＣＰＵ（Central Processing Unit）１５１等のプロセッサ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリ装置１５２、ハードディスク等の記憶装置１５３等から構成されたコンピュータでもよい。例えば、各ノードの機能及び処理は、記憶装置１５３又はメモリ装置１５２に格納されているデータやプログラムをＣＰＵ１５１が実行することによって実現される。また、各ノードへのデータの入力は、入出力インタフェース装置１５４から行われ、各ノードからのデータの出力は、入出力インタフェース装置１５４から行われてもよい。
＜補足＞
説明の便宜上、本発明の実施例に係る各ノードは機能的なブロック図を用いて説明しているが、本発明の実施例に係る各ノードは、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施例は、コンピュータに対して本発明の実施例に係る各ノードの機能を実現させるプログラム、コンピュータに対して本発明の実施例に係る方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施例に係る方法は、実施例に示す順序と異なる順序で実施されてもよい。
以上、１つの配信元ノードから異なる要求を持つ複数の配信先ノードにデータを配信するときの配信元ノード及び配信先ノードの処理負荷を低減し、通信トラヒックを削減するための手法について説明したが、本発明は、上記の実施例に限定されることなく、請求の範囲内において、種々の変更・応用が可能である。
本国際出願は２０１７年２月６日に出願した日本国特許出願２０１７−０１９８９１号に基づく優先権を主張するものであり、２０１７−０１９８９１号の全内容を本国際出願に援用する。
１０ マーカ
２０ フィルタ
３０ ソース
４０ シンク
５０ コントローラ
１０１ 通信部
１０３ マーカ動作設定部
１０５ マーキング部
１０７ シグナリング部
２０１ 通信部
２０３ フィルタ動作設定部
２０５ フィルタリング部
２０７ シグナリング部
５０１ 通信部
５０３ 能力取得部
５０５ 動作設定部
１５１ ＣＰＵ
１５２ メモリ装置
１５３ 記憶装置
１５４ 入出力インタフェース装置

Claims (14)

  1. データを配信するソースと、配信されたデータを処理するシンクとを有するデータ配信システムであって、
    前記ソースから配信されたパケットを受信し、当該受信したパケットのヘッダから得られる情報に基づいて、当該パケットに付加情報を付与して転送するマーカと、
    前記マーカから転送されたパケットを受信し、当該受信したパケットに付与された付加情報に基づいて、前記シンクへの当該パケットの転送可否を判断し、転送可能なパケットを前記シンクに転送するフィルタと、
    を有するデータ配信システム。
  2. 前記ソースは、画像データを配信する場合、当該画像データの輝度情報、周波数情報、セグメント情報及び座標情報のうち少なくとも１つに基づいて複数の成分又は部分画像に分解し、分解した画像データ毎に、当該画像データの成分又は部分画像を示すメタデータをパケットに付与して配信し、
    前記マーカは、前記パケットのヘッダに付与されたメタデータに基づいて、前記パケットに付加情報を付与する、請求項１に記載のデータ配信システム。
  3. 前記マーカは、前記受信したパケットのヘッダから得られるサイズ又はタイムスタンプ値に基づいて、前記パケットに付加情報を付与する、請求項１に記載のデータ配信システム。
  4. 前記ソースは、配信するデータを複数の部分データに分解し、部分データの種別を示すメタデータをパケットに付与して配信し、
    前記マーカは、部分データの種別が切り替わる境目のパケットに付加情報を付与する、請求項１又は２に記載のデータ配信システム。
  5. 前記マーカは、パケット毎に付加情報を付与する、請求項１乃至３のうちいずれか１項に記載のデータ配信システム。
  6. 前記マーカは、パケットのヘッダ又はペイロードに付加情報を付与する、請求項１乃至５のうちいずれか１項に記載のデータ配信システム。
  7. 前記マーカは、付加情報として２値情報又はセマンティックス情報を付与する、請求項１乃至６のうちいずれか１項に記載のデータ配信システム。
  8. 前記フィルタは、前記シンクに転送すべきパケットの転送が終了した場合、転送終了通知を前記シンクに送信する、請求項１乃至７のうちいずれか１項に記載のデータ配信システム。
  9. 前記シンクが要求するデータの内容を示すシンク要求通知を受信し、前記シンク要求通知に応じて前記マーカにおける付加情報の付与の設定及び前記フィルタにおける転送可否の設定を行うコントローラを更に有する、請求項１乃至８のうちいずれか１項に記載のデータ配信システム。
  10. データを配信するソースと、配信されたデータを処理するシンクとを有し、前記ソースと前記シンクとの間に介在するマーカ及びフィルタを更に有するデータ配信システムにおけるデータ配信方法であって、
    前記マーカが、前記ソースから配信されたパケットを受信し、当該受信したパケットのヘッダから得られる情報に基づいて、当該パケットに付加情報を付与して転送するステップと、
    前記フィルタが、前記マーカから転送されたパケットを受信し、当該受信したパケットに付与された付加情報に基づいて、前記シンクへの当該パケットの転送可否を判断し、転送可能なパケットを前記シンクに転送するステップと、
    を有するデータ配信方法。
  11. データを配信するソースと、配信されたデータを処理するシンクとの間に介在するマーカであって、
    前記ソースから配信されたパケットを受信する受信部と、
    当該受信したパケットのヘッダから得られる情報に基づいて、当該パケットに付加情報を付与する付加情報付与部と、
    前記付加情報が付与されたパケットを、前記シンクへの当該パケットの転送可否を判断するフィルタに転送する転送部と、
    を有するマーカ。
  12. データを配信するソースと、配信されたデータを処理するシンクとの間に介在するフィルタであって、
    前記ソースから配信されたパケットに付加情報を付与するマーカから、当該付加情報が付与されたパケットを受信する受信部と、
    前記受信したパケットに付与された付加情報に基づいて、前記シンクへの当該パケットの転送可否を判断する転送判断部と、
    転送可能なパケットを前記シンクに転送する転送部と、
    を有するフィルタ。
  13. 請求項１１に記載のマーカの各部としてコンピュータを機能させるためのプログラム。
  14. 請求項１２に記載のフィルタの各部としてコンピュータを機能させるためのプログラム。
JP2018566015A 2017-02-06 2018-01-12 データ配信システム、データ配信方法、マーカ及びプログラム Active JP6732966B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017019891 2017-02-06
JP2017019891 2017-02-06
PCT/JP2018/000573 WO2018142874A1 (ja) 2017-02-06 2018-01-12 データ配信システム、データ配信方法、マーカ、フィルタ及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018142874A1 true JPWO2018142874A1 (ja) 2019-12-26
JP6732966B2 JP6732966B2 (ja) 2020-07-29

Family

ID=63039569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018566015A Active JP6732966B2 (ja) 2017-02-06 2018-01-12 データ配信システム、データ配信方法、マーカ及びプログラム

Country Status (3)

Country Link
US (1) US10951931B2 (ja)
JP (1) JP6732966B2 (ja)
WO (1) WO2018142874A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061596B2 (en) 2019-11-04 2021-07-13 Google Llc Multi-pass distributed data shuffle

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078573A (ja) 1998-09-03 2000-03-14 Hitachi Ltd 階層符号化データ配信装置
US6570851B1 (en) 1999-07-01 2003-05-27 Nokia Telecommunications Oy Receiver driven differentiated service marking for unicast and multicast applications
JP3766259B2 (ja) 2000-06-01 2006-04-12 株式会社日立製作所 パケット転送装置
JP2003152544A (ja) 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP4900487B2 (ja) 2010-01-06 2012-03-21 横河電機株式会社 制御ネットワーク管理システム
KR20140041310A (ko) * 2012-09-27 2014-04-04 삼성전자주식회사 패킷 처리 방법 및 장치

Also Published As

Publication number Publication date
US20190349610A1 (en) 2019-11-14
WO2018142874A1 (ja) 2018-08-09
JP6732966B2 (ja) 2020-07-29
US10951931B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
CN100553251C (zh) 用于安全并且自适应地传送多媒体内容的方法和设备
Bolot et al. Scalable feedback control for multicast video distribution in the internet
CN110049353B (zh) 用于在广播系统中传输多媒体数据的装置及方法
KR101555855B1 (ko) 다양한 참가 디바이스의 화상회의 방법 및 시스템
JP2009165153A (ja) 複数のデータ型からなるデータ・ストリームを異なる優先レベルで配信する方法、システムおよびコンピュータ・プログラム
JP2005027325A (ja) Ｒｔｐペイロード形式
EP3127334A1 (en) Multicast streaming
CN106973253B (zh) 一种调整媒体流传输的方法及装置
RU2634206C2 (ru) Устройство и способ коммутации медиапотоков в режиме реального времени
GB2536299A (en) Method of communicating data packets within data communication systems
JP5748471B2 (ja) 配信装置、配信方法、プログラム
US9392048B2 (en) Method, a system, a server, a device, a computer program and a computer program product for transmitting data in a computer network
JP2009071576A (ja) アクセス制御方法、アクセス制御装置および画像配信システム
JP2009213138A (ja) 高速インターネット・プロトコル・ネットワークでデータを伝送するためのデータ・トランスポート・コンテナ
JP6732966B2 (ja) データ配信システム、データ配信方法、マーカ及びプログラム
US10652626B2 (en) Gateway, and method, computer program and storage means corresponding thereto
KR102138075B1 (ko) 미디어 데이터를 전송하기 위한 가변 크기 데이터 패킷을 송수신하는 방법 및 장치
CN110519331B (zh) 一种视联网资源处理方法及装置
US20150188841A1 (en) Aggregated adaptive bit rate streaming
JP2011147025A (ja) 配信装置、配信プログラムおよび配信方法
CN1845500A (zh) 网播幻灯演讲文件的实现系统及方法
US20100064029A1 (en) Network connector device
JP2013214888A (ja) メディアデータ送信装置、情報処理方法及びプログラム
CN105611387A (zh) 视频图像预览方法和系统
EP4236326A1 (en) A method, an apparatus and a computer program product for transmission of immersive media

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20190724

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6732966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150