JP6158093B2 - 放送システムにおけるマルチメディアデータの転送装置及び方法 - Google Patents

放送システムにおけるマルチメディアデータの転送装置及び方法 Download PDF

Info

Publication number
JP6158093B2
JP6158093B2 JP2013550405A JP2013550405A JP6158093B2 JP 6158093 B2 JP6158093 B2 JP 6158093B2 JP 2013550405 A JP2013550405 A JP 2013550405A JP 2013550405 A JP2013550405 A JP 2013550405A JP 6158093 B2 JP6158093 B2 JP 6158093B2
Authority
JP
Japan
Prior art keywords
data
payload
information
data area
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013550405A
Other languages
English (en)
Other versions
JP2014503162A (ja
Inventor
キュン−モ・パク
スン−オウ・ホワン
ジェ−ヨン・ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014503162A publication Critical patent/JP2014503162A/ja
Application granted granted Critical
Publication of JP6158093B2 publication Critical patent/JP6158093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D19/00Devices for washing the hair or the scalp; Similar devices for colouring the hair
    • A45D19/012Devices for colouring or bleaching separated strands of hair, e.g. highlighting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D19/00Devices for washing the hair or the scalp; Similar devices for colouring the hair
    • A45D19/02Hand-actuated implements, e.g. hand-actuated spray heads
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D40/00Casings or accessories specially adapted for storing or handling solid or pasty toiletry or cosmetic substances, e.g. shaving soaps or lipsticks
    • A45D40/26Appliances specially adapted for applying pasty paint, e.g. using roller, using a ball
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B9/00Arrangements of the bristles in the brush body
    • A46B9/02Position or arrangement of bristles in relation to surface of the brush body, e.g. inclined, in rows, in groups
    • A46B9/023Position or arrangement of bristles in relation to surface of the brush body, e.g. inclined, in rows, in groups arranged like in hair brushes, e.g. hair treatment, dyeing, streaking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、放送システムにおけるマルチメディアデータの転送装置及び方法に関し、具体的には、インターネットプロトコルに基づいてマルチメディアサービスをサポートする放送システムにおいて、異種ネットワークを通してマルチメディアデータを転送する装置及び方法に関する。
従来、放送ネットワークでマルチメディアコンテンツを転送するために、MPEG−2 TS(Moving Picture Experts Group-2 Transport Stream)を使用することが一般的であった。すなわち、上記MPEG−2 TSは、誤りがある転送環境で複数の放送プログラム(符号化された複数のビデオビット列)が多重化されたビット列を転送するための代表的な転送技術として使われている。例えば、上記MPEG−2 TSはマルチメディア時代のデジタルTV放送における使用に適合する。
図1は、従来MPEG−2 TSをサポートするための階層構造を示す。
図1を参照すれば、MPEG−2 TSをサポートするための階層は、メディアコーディング階層(MEDIA CODING LAYER)110、同期階層(SYNC LAYER)120、配送階層(DELIVERY LAYER)130、ネットワーク階層(NETWORK LAYER)140、データリンク階層(DATA LINK LAYER)150及び物理階層(PHYSICAL LAYER)160を含む
メディアコーディング階層(MEDIA CODING LAYER)110と同期階層(SYNC LAYER)120は、メディアデータの記録または送信の基本単位に使用し易いフォーマットで構成する。そして配送階層(DELIVERY LAYER)130、ネットワーク階層(NETWORK LAYER)140、データリンク階層(DATA LINK LAYER)150及び物理階層(PHYSICAL LAYER)160は、同期階層(SYNC LAYER)120により構成されたフォーマットのデータブロックを別途の記録媒体に記録したり転送するためのマルチメディアフレームを構成する。このように構成されたマルチメディアフレームは、所定のネットワークを通して加入者端末などに転送される。このために、同期階層(SYNC LAYER)120は、分割ブロック(FRAGMENT BLOCK)122とアクセスユニット(ACCESS UNIT)124により構成され、配送階層(DELIVERY LAYER)130は、MPEG−2 TS/MP4 RTP Payload Format/Flute132、RTP/HTTP134及びUDP/TCP136により構成される。
しかし、MPEG−2 TSには、マルチメディアサービスをサポートすることにおいていくつかの限界がある。上記MPEG−2 TSの限界は、単方向通信、固定されたフレームサイズによる転送の非効率性、オーディオ/ビデオに特化されている転送プロトコル及びインターネットプロトコル(IP:Internet Protocol)を使用して転送する場合に不必要なオーバーヘッドが発生することである
したがって、MPEGではMPEG−2 TSの限界を克服するために、MPEG技術に基づいてマルチメディアサービスをサポートするためのマルチメディア転送技術の一つとして、MMT(MPEG MEDIA Transport)標準が新たに提案されている。例えば、MMT標準は、異種ネットワークを通して複合コンテンツを効率的に転送するために適用される。ここで、複合コンテンツとは、ビデオ(Video)/オーディオ(Audio)/アプリケーション(Application)などによるマルチメディア要素を有するコンテンツの集合を意味する。そして、異種ネットワークとは、放送ネットワークと通信ネットワークなどが混在するネットワークを意味する。
このようなMMT標準は、マルチメディアサービスのための転送ネットワークでの基本技術であるIPに、より親和的な転送技術を定義することを目的としている。したがって、MMT標準は、代表的にIPに基づいて変化するマルチメディアサービス環境で、効率的なMPEG転送技術を提供するためのものであり、持続的な研究と共に標準化が進行している。特に、混合(hybrid)ネットワークと混合コンテンツ(Hybrid content)を提供しようとする近来のマルチメディアサービス環境におけるMMT標準のためには効率的なMPEG転送技術を提供するための方案が必要である。
上記情報は、本発明の理解を助けるための背景情報として開示される。上記情報が本発明との関係において先行技術として適用されるか否かに対して、ある決定も主張もなしていない。
本発明の側面は、少なくとも上記言及した問題及び/または利点を助けるために、また、少なくとも以下で開示される利点を提供するためものである。従って、本発明の一側面は、インターネットプロトコルに基づいてマルチメディアサービスをサポートする放送システムで、異種ネットワークを通してマルチメディアデータを転送する方法を提案する。
また、本発明は、MMT技術に基づいて混合コンテンツまたは混合サービスを提供するためにマルチメディアフレームのペイロードを構成してマルチメディアデータを転送するための方法及び装置を提供する。
また、本発明は、MMT技術に基づいて混合コンテンツまたは混合サービスを提供するためのマルチメディアフレームのペイロードを構成するために、MMTアクセスユニットのヘッダ領域及びデータ領域を構成するための方法及び装置を提供する。
本発明は、インターネットプロトコルに基づいてマルチメディアサービスをサポートする放送システムにおいて、異種ネットワークを通して転送するマルチメディアフレームのペイロードを構成する方法であって、少なくとも一つのメディアタイプ別データを転送するために、上記データを分割した後に、各分割されたデータに基づいてデータ領域を構成するステップと、上記データ領域に含まれるデータの状態情報及び上記データ領域に関する情報のうち少なくとも一つを含んでヘッダ領域を構成するステップと、上記データ領域と上記ヘッダ領域を結合して上記マルチメディアフレームのペイロードを構成するステップとを含むマルチメディアフレームのペイロード構成方法を提供する。
また、本発明は、インターネットプロトコルに基づいてマルチメディアサービスをサポートする放送システムにおいて、異種ネットワークを通して転送するマルチメディアフレームのペイロードを構成する装置であって、少なくとも一つのメディアタイプ別データを転送するために、上記データを分割した後に、各分割されたデータに基づいてデータ領域を構成するデータ領域構成部と、上記データ領域に含まれるデータの状態情報及び上記データ領域に関する情報のうち少なくとも一つを含んでヘッダ領域を構成するヘッダ領域構成部と、上記データ領域と上記ヘッダ領域を結合して上記マルチメディアフレームのペイロードを構成するペイロード構成部とを含むマルチメディアフレームのペイロード構成装置を提供する。
本発明は、異種ネットワークを通して混合サービスまたはコンテンツを提供することによって、マルチメディア環境で効率的なMPEG転送をサポートすることができる。
また、本発明は、高品質のコンテンツ及び混合コンテンツを提供することができ、混合ネットワークを提供することもできる。
本発明の他の側面、利点及び最も重要な特徴が次の詳細な説明により当業者にとって明らかになるはずである。詳細な説明は、付加された図面と共に本発明の多様な実施形態を開示する。
本発明の上記他の側面、特徴及び特定の実施形態の利点は、添付の図面と以下の説明から、より明確になる。
従来のMPEG−2 TSをサポートするための階層構造を示す図である。 本発明の一実施形態によるMMT標準を基盤とする放送システムによるMMTサービスを概念的に示す図である。 本発明の一実施形態によるMMTシステムで、マルチサービス/コンテンツによるマルチメディアデータを、異種ネットワークを通して転送するための階層構造を示す図である。 本発明の一実施形態によるMMTシステムで、マルチサービス/コンテンツによるマルチメディアフレームを、異種ネットワークを通して転送するためにマルチメディアフレームのペイロードを構成するフローチャートである。
図面を通じて、類似な参照番号は、類似な部分、構成及び構造を参照することで理解される。
以下、本発明の実施形態を図面と共に詳細に説明する。本発明の説明において、本発明の要旨を不必要に不明瞭にするおそれがある関連した公知機能あるいは構成の説明は省略する。
図2は、本発明の一実施形態によるMMT(MPEG MEDIA Transport)標準を基盤とする放送システム(以下‘MMTシステム’と称する)によるMMTサービスを概念的に示す図である。
図2を参照すると、MMTサービスのためのコンテンツとして、UHD(Ultra High Definition)、VOD(Video On Demand)、ライブストリーミング(Live Streaming)、ファイル(file)、ウィジェット(Widget)、電子ブック(E-book)、メタデータ(metadata)などを仮定している。しかし、その他に電気的信号で表現可能なあらゆるコンテンツをその対象にすることができることは明らかである。
多様なコンテンツ各々によるマルチメディアデータは、所定のフォーマットによりMMTエンカプスレータ(MMT encapsulator;ME)でカプセル化された後に、マルチメディアフレームを構成して、異種ネットワークを通して加入者端末に混合配送(Hybrid delivery)される。ここで、異種ネットワークとは、放送ネットワークとIPネットワークなどが混在した転送環境のネットワークを意味する。また、マルチメディアフレームは、MMTサービスのための転送フレーム(Transport Frame)であり、MMT接続ユニット(MMT Access Unit)のパケットである。
異種ネットワークを通して混合配送されるマルチメディアフレームを受信した加入者端末(Adaptation)は、マルチメディアフレームから所望のコンテンツに対応するマルチメディアデータを抽出し、抽出したマルチメディアデータに基づいてビデオ/オーディオ/アプリケーションなどをユーザに提供する。この場合、特定コンテンツのために提供されるビデオ/オーディオ/アプリケーションなどに対応したマルチメディアデータ各々を‘MMTアセット(MMT asset)’と命名している。そして加入者端末は、マルチメディアサービスのサポートが可能な大部分の端末を含む意味として使われる。加入者端末の代表的な例としてIP TV、スマートフォンなどが挙げられる。
図3は、本発明の一実施形態による、MMTシステムでマルチサービス/コンテンツによるマルチメディアフレームを、異種ネットワークを通して転送するための階層構造を示している。
図3を参照すると、マルチメディアフレームを構成してこれを転送するためには、7個の階層(Seven Layer)が要求される。上記7個の階層は、メディアコーディング階層(MEDIA CODING LAYER)310、カプセル化階層(ENCAPSULATION LAYER、以下‘Layer E’と称する)320、配送階層(DELIVERY LAYER、以下‘Layer D’または‘Layer T’と称する)330、390、ネットワーク階層(NETWORK LAYER)340、データリンク階層(DATA LINK LAYER)350、物理階層(PHYSICAL LAYER)360及び制御階層(CONTROL LAYER、以下‘Layer C’と称する)370、380を含む。
本発明の実施形態によれば、7個の階層のうちメディアコーディング階層(MEDIA CODING LAYER)310、Layer E320により、マルチ-コンテンツまたはマルチ-サービスによるマルチメディアデータが生成されることによって、2個の階層を‘マルチメディアデータ生成部’の構成と見なすことができる。そして、7個の階層のうち、Layer D330によりマルチメディアフレームが構成されることによって、上記Layer D330を‘マルチメディアフレーム構成部’の構成と見なすことができる。すなわち、マルチメディア構成部に該当するLayer D330は、マルチメディアフレームを区分するフレーム識別子、ネットワーク階層での接続サービス品質及び終端間ネットワーク性能を測定するために要求される情報によりヘッダ情報を構成し、ヘッダ情報とマルチメディアデータを結合してマルチメディアフレームを構成する。
一方、7個の階層のうち三個の階層に対応する技術領域(area)は、MMT標準のための関連度が非常に高い。上記三個の技術領域は、Layer E320、Layer D330、390、Layer C370、380の各々に対応する技術領域である。ここで、Layer E320は、複合コンテンツの生成を担当し、Layer D330、390は、異種ネットワークを通した生成コンテンツの効率的な転送を担当し、Layer C370、380は、複合コンテンツの消費管理及び転送管理のための全般的な制御を担当する。
Layer E320は、MMT E.3階層322、MMT E.2階層324及びMMT E.1階層326で構成される。MMT E.3階層322は、メディアコーディング階層310から提供されるコーディングされたマルチメディアデータの入力を受けて、MMTサービスのための最も基本単位であるデータ断片(fragment)を生成する。MMT E.2階層324は、MMT E.3階層322により生成されたデータ断片を使用してMMTサービスのためのアクセスユニット(AU:Access Unit)を生成する。MMT E.1階層326は、複合コンテンツの生成及び、保存と転送のためのフォーマットを生成する。MMT E.1階層326は、MMT C.1階層370がAUを設定することを助けるために、MMTアセット(Asset)情報をMMT C.1階層370に転送して、MEのQo(Quality of Service)を保障するためにME情報をMMT C.1階層370に転送する。
Layer D330、390は、 MMT D.1階層332、MMT D.2階層334、 MMT D.3階層390で構成される。MMT D.1階層332は、RTP(Real-time transport protocol)あるいはHTTP(Hyper Text Transport Protocol)と類似な役割を遂行するアプリケーションプロトコル(Application Protocol)を担当し、MMT D.2階層334は、UDP(User Datagram Protocol)あるいはTCP(Transmission Control Protocol)と類似な役割を遂行するネットワーク階層プロトコルを担当し、MMT D.3階層390は、Layer E320を構成する各階層とLayer D330を構成する各階層の相互間の最適化のための動作を遂行する。
Layer C370、380は、MMT C.1階層370とMMT C.2階層380で構成される。MMT C.1階層370は、複合コンテンツの生成及び消費に関連した情報を提供し、MMT C.2階層380は、複合コンテンツの転送に関連した情報を提供する。MMT C.1階層370は、MEのQoを保障するために要求されるサービス発見情報(Service Discovery information)をMMT D.1階層332に転送する。サービス発見情報は、アプリケーション階層FEC(Forward Error Correction)とセキュリティ情報のようなセッション解析(description)を含む。また、MMT C.1階層370はMEの伝達をMMT D.1階層332に要求する。
一方、本発明は、Layer D330、390でMEを転送するために、MEがLayer D330、390での基本単位であるAU(Access Unit)で構成されることができる。この場合、各AUは複数の断片(Fragment)になることができ、サイズによって多様なAUが集合(Aggregate)され一つのマルチメディアフレームを構成して転送されることができる。
また、Layer D330、390で、MEは、MMTアクセスユニット(MAU)を利用して転送される。MAUは、Layer D330、390で、転送のための最も小さいデータエンティティ(Entity)として、マルチメディアフレームのペイロードを構成する。MAUは、アクセスユニットとして非常に効率的で単純なものであり、MEは、MAUで2個またはそれ以上の断片に分離されることができる。また、MAUはオプションとして転送のためのインターリビング(Interleaving)を許可する。
MAUは、可能なビットレートでMEを転送するが、特定のMEを転送するために最小限の構成が必要である。単純な設計を許可するために、専用受信機を除いて、ME等の転送のために、特定モード(modes)を考慮することができるが、例えば、あるMMTストリームを転送するために利用される包括モード(generic mode)だけでなく、MMTストリーム(streams)モードを考慮することができる。また、今後の追加的なシステムに関連した情報の転送のために、補助フィールド(auxiliary field)が任意のデータを転送するように構成されることができる。
大部分のIP(Internet Protocol) ネットワークは、非常に小さいMTU(Maximum Transmission Unit)サイズを有している。したがって、フレームのペイロードフォーマットは、MAUの断片を許可し、一つのMAUは断片化されマルチメディアフレームのペイロードに含まれて転送されることができる。この結果、マルチメディアフレームが転送ステップで紛失した場合、全体MAUの代りにMAU断片が紛失する可能性がある。
MMTシステムでは受信機等の動作を単純化するために、マルチメディアフレームは、一つまたは2個以上の完成MAUまたは一つのMAUのシングル断片を運搬(carry)することができる。ライブストリーミング(Live Streaming)またはVoD(Video on Demand)転送の場合、MAUは同じサイズで断片化されることができ、ファイル転送の場合にMAUは任意サイズを有することができる。
マルチメディアフレームがMAU間の隣接したシーケンス(sequence)を運搬する時、マルチメディアフレームの損失は、ユーザーにはデコーディングギャップ(decoding gap)と考えられる。したがって、RTPパケットでアクセスユニットがインターリーブ(interleave)されるように許可する必要があり、待ち時間(latency)における通常のコスト及び実行複雑性のために、パケット損失に関して相当な誤り耐性(error resiliency)を達成することができる。
一つのMAUは、複数のAUを転送することが可能である。AUは、オクテット(octets)で固定されたサイズだけでなく、可変サイズを有することができる。一つのマルチメディアフレームで多様に連結された(Concatenated)AUを解析するために、各AUのサイズは受信機に通知されるが、一定のAU(constant AU)サイズに対して連結する時、そのサイズがMIME(Multipurpose Internet Mail Extensions)フォーマットパラメータを通して帯域外で転送される。可変サイズAUに対して連結する時、MAUは各AUサイズを帯域内で転送する。
MMTシステムの受信機の動作を単純化するために、複数のAUが一つのマルチメディアフレームで運搬される時、各AUの番号はマルチメディアフレームに含まれなければならない。また、AUの選択的なインターリビングを提供するために、マルチメディアフレームのペイロードフォーマットは各AUに送られるインデックス情報を含む。MMTシステムで、サーバは、デインターリビング(de-interleaving)のための割当のために、バッファーリソースに関して受信機に情報を知らせた後に受信機に先行してその情報を転送することなく自由にインターリビングパターンを選択することができるため、アクセスユニットサイズ、誤り率等に基づいてインターリビングパターンをダイナミックに採択することができる。
このように、MAUはMMTシステムで有用に利用されるが、以下ではMAUに対して具体的に説明する。
まず、MAUの構成を説明すると、MAUは表1のようにヘッダ領域にMAUヘッダ(MAU Header)とデータ領域にMMTペイロード(MMT Payload)を含む。MAUヘッダは、MMTペイロードにあるデータに対する情報を含み、MMTペイロードはMEを構成するAUを含む。表1は、MAUの構造を示す。
Figure 0006158093
MAUヘッダに含まれる情報は、例えば表2のように示すことができる。
Figure 0006158093
表2は、127ビットMAUヘッダの例を示す。表2でMAUヘッダに含まれる情報は、127ビットで構成され、多様なフィールドを含むが、各フィールドは、15ビットを利用して特定情報を示す。すなわち、第1のフィールド(0乃至15番目ビット)はパケットタイプ(packet Type)、第2のフィールド(16乃至31番目ビット)はソースポート番号(source port Number)、第3のフィールド(32乃至47番目ビット)は目的地ポート番号(destination port Number)、第4のフィールド(48乃至63番目ビット)は長さ(length)、第5のフィールド(64乃至79番目ビット)はアイテム個数(number of items)、第6のフィールド(80乃至95番目ビット)はシーケンス番号(sequence Number)、第7のフィールド(96乃至111番目ビット)はタイムスタンプ(Time stamp)、第8のフィールド(112乃至127番目ビット)はMAUのインジケータ(Indicator of MAU)を示す。以下ではそれぞれの情報が示す具体的な内容に対して説明する。
ケットタイプに関するフィールドは、MMTペイロードに含まれているデータの状態を示す。すなわち、MEが複数のブロックに分割され、各ブロックをMAUを利用して転送する場合、一つのブロックがMMTペイロードに完全に含まれているのか、ブロックが断片化(Fragment)されブロックの一部がMMTペイロードに含まれているのか、複数のブロックが含まれているのかを示す。
また、パケットタイプは、MAUのタイプ(TM)、断片情報(FI)を含む。TMは1ビットを利用してMAUのタイプ(TM)を示すが、転送タイプまたは制御タイプのようなペイロードのタイプを指示する。TMが1に設定されると、MAUがMMT制御メッセージを含むことを示す。FIは2ビットを利用してMMTペイロードに含まれている断片に関する情報を示す。すなわち、MEを構成するブロックが断片化されMMTペイロードに含まれる場合、断片に対する情報を示す。例えばFIは、表3のように示すことができる。
Figure 0006158093
表3で(00)は、MMTペイロードにMEのブロックに対する断片は含まれておらず、完全なブロックが含まれていることを示す。(01)は、MMTペイロードにMEのブロックの最初の断片が含まれていることを示し、(10)は、MMTペイロードにMEのブロックの断片のうち最初及び最後でない断片が含まれていることを示し、(11)は、MMTペイロードにMEのブロックの最後の断片が含まれていることを示す。
ソースポート番号に関するフィールドは送信機のポートを示すが、特定の場合、応答のためのポートと仮定される。ソースポート番号に該当するフィールドが使われないと、0になる。また、ソースホストがクライアントであると、そのポート番号は一時的なポート番号になり、ソースホストがサーバであると、そのポート番号はよく知られたポート番号となる。
目的地ポート番号に関するフィールドは受信機のポートを示す。クライアントが目的地ホストであるとソースポート番号と同様に、そのポート番号は一時的なポート番号になり、目的地ホストがサーバであると、そのポート番号はよく知られたポート番号となる。
長さに関するフィールドはペイロード(ヘッダとデータ)の長さを指示する。その最小の長さはヘッダの長さであるので、8バイト(byte)である。長さを示すフィールドのサイズは理論的に65535バイト(8バイトヘッダ+65,527バイトデータ)に制限される。基本的なIPv4プロトコルにより強制されるデータ長に対する実際的な制限は、65,507バイト(65,487バイトMAUヘッダ、20バイトIPヘッダ)である。
アイテムの個数に関するフィールドは、MMTペイロードにMEのいずれか一つのブロックが含まれているかまたは複数のブロックが集合(Aggregated)されている場合の関連情報を示す。
例えば、MEが複数のブロックに分割され、そのうちいずれか一つのブロックがMMTペイロードに含まれている場合、MMTペイロードにあるブロックが全体の何番目であるか、残余ブロックの個数などを示す。また、複数のブロックが集合されている場合、ブロックの個数を示す。この場合、複数のブロックの各々はお互い異なるタイプのメディアデータに対するものであり得る。アイテムの個数に関するフィールドの意味(semantic)はフレームタイプに依存する。
シーケンス番号に関するフィールドは、各MAUに対して一つずつ増加され転送されて、MAU損失を検出するために受信機で利用される。MMTシステムはパケット損失に対して何の動作も遂行せず、パケット損失に対する動作はアプリケーションに残される。RFC(Request For Comments)3550のようなRTPを利用した転送方法の基本になる文書によれば、シーケンス番号の初期値はより難しい暗号化でよく知られたプレーンテキスト攻撃(plaintext attacks)をするために任意に決定されなければならない。MMTシステムは転送の安全性は保障しないが、シーケンス番号を利用して損失したMAUを検出することができる。
タイムスタンプに関するフィールドは特定の時刻を示すが、データが生成されたり変更された時刻を示す。
MAUのインジケータに関するフィールドは、転送サービスに対するインジケータを含む。例えば、サービス保護インジケータ、フラグとしてアプリケーション階層FECインジケータを含むことができる。2ビットを利用してMAUインジケータを示す場合、(00)はサービス保護を指示し、(01)はアプリケーション階層FECを指示し、(10)及び(11)は他の内容を指示するために利用することができる。
図4は、本発明の一実施形態によるMMTシステムで、マルチ-サービス/コンテンツによるマルチメディアフレームのペイロードを構成し、マルチメディアフレームのペイロードを異種ネットワークを通して転送するフローチャートである。
図4では、図3で説明した階層のうち、Layer D330を構成するMMT D.1階層332で遂行される動作を示している。
図4を参照すれば、マルチメディアデータを転送するためにMEは複数のブロックに分割される(400)。MAUのMMTペイロードは分割されたブロックを利用して構成されるが、MMTペイロードは、いずれか一つのブロックまたはいずれか一つのブロックの断片を含んだり、複数のブロックを含むことができる(410)。MMTペイロードが構成されると、MAUヘッダはMMTペイロードに含まれているデータに関する情報またはサービス保護インジケータ、アプリケーション階層FECなどと関連したMMTペイロード情報を含んで構成される(420)。MAUヘッダとMMTペイロードが構成されると、MAUヘッダとMMTペイロードを結合してフレームのペイロードを構成する(430)。構成されたフレームのペイロードはフレームのヘッダと結合して一つのフレームで転送される。
本発明の詳細な説明では具体的な実施形態に関し説明したが、本発明の範囲を抜け出さない限度で色々な変形が可能であることは明らかである。
したがって、本発明の範囲は説明された実施形態に限定されず、後述される特許請求の範囲だけでなくこの特許請求の範囲と均等なもの等により定められるべきである。
110 メディアコーディング階層
120 同期階層
130 配送階層
140 ネットワーク階層
150 データリンク階層
160 物理階層

Claims (8)

  1. インターネットプロトコルに基づいてマルチメディアサービスをサポートする放送システムにおいて、異種ネットワークを通して転送するマルチメディアフレームのペイロードを構成する方法であって、
    少なくとも一つのメディアタイプ別にデータを転送するために、前記データを分割した後に分割されたデータに基づいてデータ領域を構成するステップと、
    前記データ領域に含まれるデータの状態情報及び前記データ領域に関する情報のうち少なくとも一つを含んでヘッダ領域を構成するステップと、
    前記データ領域と前記ヘッダ領域を結合して前記マルチメディアフレームのペイロードを構成するステップとを含み、
    前記データの状態情報は、前記分割されたデータのうちいずれか一つが前記データ領域に全部含まれているか、または前記分割されたデータのうちいずれか一つの一部が前記データ領域に含まれているかを示す情報を含み、
    前記データの状態情報は、前記データ領域に、前記分割されたデータのうちいずれか一つが全部含まれている場合、全体データで前記データ領域に含まれたデータが該当する順序、及び、残余ブロックの個数を含む残余データに対する情報を含むことを特徴とする、マルチメディアフレームのペイロード構成方法。
  2. 前記データの状態情報は、前記データ領域に前記分割されたデータのうちいずれか一つの一部が含まれている場合、前記データ領域に含まれたデータが前記いずれか一つの分割されたデータで該当する順序を示す情報を含むことを特徴とする、請求項1に記載のマルチメディアフレームのペイロード構成方法。
  3. 前記データの状態情報は、前記データ領域に複数の分割されたデータが含まれている場合、前記複数の分割されたデータの個数に関する情報を含むことを特徴とする、請求項1に記載のマルチメディアフレームのペイロード構成方法。
  4. 前記データ領域に関する情報は、サービス保護インジケータ、アプリケーション階層FEC(Forward Error Correction)のうち少なくとも一つを含むことを特徴とする、請求項1に記載のマルチメディアフレームのペイロード構成方法。
  5. インターネットプロトコルに基づいてマルチメディアサービスをサポートする放送システムにおいて、異種ネットワークを通して転送するマルチメディアフレームのペイロードを構成する装置であって、
    少なくとも一つのメディアタイプ別データを転送するために、前記データを分割した後に各分割されたデータに基づいてデータ領域を構成するデータ領域構成部と、
    前記データ領域に含まれるデータの状態情報及び前記データ領域に関する情報のうち少なくとも一つを含んでヘッダ領域を構成するヘッダ領域構成部と、
    前記データ領域と前記ヘッダ領域を結合して前記マルチメディアフレームのペイロードを構成するペイロード構成部とを含み、
    前記データの状態情報は、前記分割されたデータのうちいずれか一つが前記データ領域に全部含まれているか、または前記分割されたデータのうちいずれか一つの一部が前記データ領域に含まれているかを示す情報を含み、
    前記データの状態情報は、前記データ領域に、前記分割されたデータのうちいずれか一つが全部含まれている場合、全体データで前記データ領域に含まれたデータが該当する順序、及び、残余ブロックの個数を含む残余データに対する情報を含む、マルチメディアフレームのペイロード構成装置。
  6. 前記データの状態情報は、前記データ領域に前記分割されたデータのうちいずれか一つの一部が含まれている場合、前記データ領域に含まれたデータが前記いずれか一つの分割されたデータで該当する順序を示す情報を含むことを特徴とする、請求項に記載のマルチメディアフレームのペイロード構成装置。
  7. 前記データの状態情報は、前記データ領域に複数の分割されたデータが含まれている場合、前記複数の分割されたデータの個数に関する情報を含むことを特徴とする、請求項に記載のマルチメディアフレームのペイロード構成装置。
  8. 前記データ領域に関する情報は、サービス保護インジケータ、アプリケーション階層FEC(Forward Error Correction)のうち少なくとも一つを含むことを特徴とする、請求項に記載のマルチメディアフレームのペイロード構成装置。
JP2013550405A 2011-01-19 2012-01-19 放送システムにおけるマルチメディアデータの転送装置及び方法 Active JP6158093B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0005654 2011-01-19
KR1020110005654A KR20120084237A (ko) 2011-01-19 2011-01-19 엠엠티(mmt)에서 엠엠티 인캡슐레이터를 전송하는 방법
PCT/KR2012/000468 WO2012099408A2 (ko) 2011-01-19 2012-01-19 방송 시스템에서 멀티미디어 데이터의 전송 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017111464A Division JP6396537B2 (ja) 2011-01-19 2017-06-06 放送システムにおけるマルチメディアデータの転送装置及び方法

Publications (2)

Publication Number Publication Date
JP2014503162A JP2014503162A (ja) 2014-02-06
JP6158093B2 true JP6158093B2 (ja) 2017-07-05

Family

ID=46516241

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2013550405A Active JP6158093B2 (ja) 2011-01-19 2012-01-19 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2017111464A Active JP6396537B2 (ja) 2011-01-19 2017-06-06 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2018156121A Active JP6606240B2 (ja) 2011-01-19 2018-08-23 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2018156120A Active JP6604640B2 (ja) 2011-01-19 2018-08-23 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2019190276A Active JP7076811B2 (ja) 2011-01-19 2019-10-17 放送システムにおけるマルチメディアデータの転送装置及び方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2017111464A Active JP6396537B2 (ja) 2011-01-19 2017-06-06 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2018156121A Active JP6606240B2 (ja) 2011-01-19 2018-08-23 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2018156120A Active JP6604640B2 (ja) 2011-01-19 2018-08-23 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2019190276A Active JP7076811B2 (ja) 2011-01-19 2019-10-17 放送システムにおけるマルチメディアデータの転送装置及び方法

Country Status (7)

Country Link
US (4) US10104144B2 (ja)
EP (1) EP2667625B1 (ja)
JP (5) JP6158093B2 (ja)
KR (4) KR20120084237A (ja)
CN (2) CN110049353B (ja)
AU (1) AU2012207704B2 (ja)
WO (1) WO2012099408A2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102860021B (zh) * 2010-04-20 2017-06-20 三星电子株式会社 用于传送和接收媒体数据的接口装置和方法
CN104106247B (zh) * 2012-01-31 2018-06-15 夏普株式会社 再现装置、生成装置及系统
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
WO2015026132A1 (en) 2013-08-19 2015-02-26 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
KR102138075B1 (ko) * 2014-01-09 2020-07-27 삼성전자주식회사 미디어 데이터를 전송하기 위한 가변 크기 데이터 패킷을 송수신하는 방법 및 장치
JP5725235B1 (ja) * 2014-04-22 2015-05-27 ソニー株式会社 受信装置及び受信方法、並びに、送信装置及び送信方法
JP6382148B2 (ja) * 2014-05-08 2018-08-29 日本放送協会 送信装置および受信装置
KR20160004858A (ko) 2014-07-04 2016-01-13 삼성전자주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
KR101804926B1 (ko) 2014-11-04 2017-12-05 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP2017011503A (ja) * 2015-06-22 2017-01-12 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
JP6816281B2 (ja) 2017-09-29 2021-01-20 エルジー エレクトロニクス インコーポレイティド V2x通信装置及びそのマルチメディアコンテンツの送信/受信方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2347871C (en) * 1998-10-30 2007-10-09 British Telecommunications Public Limited Company Data transport
JP2001148853A (ja) 1999-03-12 2001-05-29 Toshiba Corp 動画像符号化装置および復号化装置
JP2004254281A (ja) 2002-10-08 2004-09-09 Matsushita Electric Ind Co Ltd 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム
US7792121B2 (en) * 2003-01-03 2010-09-07 Microsoft Corporation Frame protocol and scheduling system
JP2004266741A (ja) * 2003-03-04 2004-09-24 Sony Corp 配信システム、送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
US7483532B2 (en) * 2003-07-03 2009-01-27 Microsoft Corporation RTP payload format
CN1774898B (zh) 2003-07-30 2012-02-01 日本电信电话株式会社 无线分组通信方法以及无线分组通信装置
US20060184790A1 (en) 2004-03-26 2006-08-17 Microsoft Corporation Protecting elementary stream content
US20060036551A1 (en) 2004-03-26 2006-02-16 Microsoft Corporation Protecting elementary stream content
CN1728713B (zh) * 2004-07-27 2010-09-22 邓里文 一种数字视频传送方法
US8406211B2 (en) * 2004-09-29 2013-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Forward error correction for broadcast/multicast service
AU2005295030A1 (en) * 2004-10-05 2006-04-20 Vectormax Corporation Method and system for loss-tolerant multimedia multicasting
KR100663403B1 (ko) * 2005-02-07 2007-01-02 삼성전자주식회사 멀티미디어 메시지 전송 방법 및 시스템
US20060268855A1 (en) 2005-05-31 2006-11-30 Caterpillar Inc. Communication apparatus for real-time embedded control
CN1905502A (zh) 2005-07-27 2007-01-31 上海龙林通信技术有限公司 一种多媒体网络及其应用
JP4934139B2 (ja) * 2005-08-30 2012-05-16 トムソン ライセンシング Ieee802.11無線ローカル・エリア・ネットワーク上でのスケーラブル・ビデオ・マルチキャストのためのクロス・レイヤ最適化
EP1764980B8 (en) * 2005-09-20 2009-01-07 Panasonic Corporation Method and apparatus for packet segmentation and concatenation signaling in a communication system
US7720096B2 (en) * 2005-10-13 2010-05-18 Microsoft Corporation RTP payload format for VC-1
TWI335146B (en) * 2005-10-31 2010-12-21 Sk Telecom Co Ltd Audio data packet format, method for decoding audio data packet format, method for correcting codec setup error, and mobile communication terminal adapted to correct codec setup error
KR100706968B1 (ko) 2005-10-31 2007-04-12 에스케이 텔레콤주식회사 오디오 데이터 패킷 생성 장치 및 이의 복조 방법
WO2007081108A1 (en) 2006-01-13 2007-07-19 Lg Electronics Inc. Digital broadcasting system and method of processing data
US7852853B1 (en) * 2006-02-07 2010-12-14 Nextel Communications Inc. System and method for transmitting video information
KR100770872B1 (ko) * 2006-02-17 2007-10-26 삼성전자주식회사 디지털 멀티미디어 방송 시스템에서 채널 전환 시간 단축을위한 데이터 수신장치 및 방법
JP2007288491A (ja) * 2006-04-17 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> フレームの分割回路、該分割回路を用いた伝送システム及び方法
KR20080006441A (ko) * 2006-07-12 2008-01-16 삼성전자주식회사 미디어 데이터 전송 장치 및 방법 및 미디어 데이터 수신장치 및 방법
US20080040498A1 (en) * 2006-08-10 2008-02-14 Nokia Corporation System and method of XML based content fragmentation for rich media streaming
CN101150492A (zh) * 2006-09-21 2008-03-26 中兴通讯股份有限公司 一种移动多媒体广播电子业务指南数据的播发调度方法
EP1936908A1 (en) * 2006-12-19 2008-06-25 Deutsche Thomson OHG Method, apparatus and data container for transferring high resolution audio/video data in a high speed IP network
US7912057B2 (en) * 2007-01-12 2011-03-22 Wi-Lan Inc. Convergence sublayer for use in a wireless broadcasting system
CN101001472A (zh) 2007-01-12 2007-07-18 清华大学 一种双向异构广播网
MX2009004942A (es) * 2007-05-14 2009-06-03 Samsung Electronics Co Ltd Metodo y aparato para transmitir radiodifusion, metodo y aparato para recibir radiodifusion.
US7974312B2 (en) 2007-07-31 2011-07-05 Intel Corporation Compressed medium access control (MAC) header structure for MAC overhead reduction in mobile worldwide interoperability for microwave access (WiMAX) systems
EP2061180A1 (en) * 2007-11-16 2009-05-20 Nokia Siemens Networks Oy Charging data transmission in communications system
US9554417B2 (en) 2008-12-24 2017-01-24 Qualcomm Incorporated Optimized header for efficient processing of data packets
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
US20100263007A1 (en) * 2009-04-09 2010-10-14 Jinyun Zhang Method and Apparatus for Increasing Quality of IPTV Transmission
CN102860021B (zh) * 2010-04-20 2017-06-20 三星电子株式会社 用于传送和接收媒体数据的接口装置和方法

Also Published As

Publication number Publication date
KR20180100265A (ko) 2018-09-07
US10506007B2 (en) 2019-12-10
US10104144B2 (en) 2018-10-16
US20190036996A1 (en) 2019-01-31
EP2667625A2 (en) 2013-11-27
CN103430561A (zh) 2013-12-04
CN103430561B (zh) 2018-12-28
AU2012207704A2 (en) 2013-09-12
KR101983035B1 (ko) 2019-05-29
KR101895432B1 (ko) 2018-09-06
US20130297822A1 (en) 2013-11-07
JP2020010411A (ja) 2020-01-16
JP6606240B2 (ja) 2019-11-13
JP7076811B2 (ja) 2022-05-30
US20190036997A1 (en) 2019-01-31
AU2012207704A1 (en) 2013-09-12
JP6604640B2 (ja) 2019-11-13
JP6396537B2 (ja) 2018-09-26
KR101855485B1 (ko) 2018-05-09
KR20120084237A (ko) 2012-07-27
US20200053140A1 (en) 2020-02-13
JP2017147770A (ja) 2017-08-24
JP2014503162A (ja) 2014-02-06
EP2667625B1 (en) 2018-05-30
WO2012099408A3 (ko) 2012-12-06
AU2012207704B2 (en) 2016-09-08
US10484445B2 (en) 2019-11-19
WO2012099408A2 (ko) 2012-07-26
KR20130140117A (ko) 2013-12-23
CN110049353A (zh) 2019-07-23
KR20180049224A (ko) 2018-05-10
JP2018182768A (ja) 2018-11-15
US10911510B2 (en) 2021-02-02
JP2018182769A (ja) 2018-11-15
EP2667625A4 (en) 2014-12-31
CN110049353B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
JP6604640B2 (ja) 放送システムにおけるマルチメディアデータの転送装置及び方法
JP6754810B2 (ja) マルチメディアシステムにおけるデータ送信方法
JP6054305B2 (ja) 放送システムにおけるマルチメディアフレーム伝送装置及び方法
JP5512038B2 (ja) メディアデータを送受信するためのインターフェース装置及び方法
JP2017108458A (ja) ダウンローディング及びストリーミングをサポートするパケットの伝送装置及び受信装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130722

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170607

R150 Certificate of patent or registration of utility model

Ref document number: 6158093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250