JP5902477B2 - パケット交換ネットワークにおける同期通信デバイスの配信遅延補償 - Google Patents
パケット交換ネットワークにおける同期通信デバイスの配信遅延補償 Download PDFInfo
- Publication number
- JP5902477B2 JP5902477B2 JP2011506660A JP2011506660A JP5902477B2 JP 5902477 B2 JP5902477 B2 JP 5902477B2 JP 2011506660 A JP2011506660 A JP 2011506660A JP 2011506660 A JP2011506660 A JP 2011506660A JP 5902477 B2 JP5902477 B2 JP 5902477B2
- Authority
- JP
- Japan
- Prior art keywords
- receiving
- communication device
- network
- data stream
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001360 synchronised effect Effects 0.000 title description 17
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 8
- 230000001934 delay Effects 0.000 description 6
- 241000238876 Acari Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000006798 recombination Effects 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 101100108292 Caenorhabditis elegans aex-2 gene Proteins 0.000 description 1
- 101100495256 Caenorhabditis elegans mat-3 gene Proteins 0.000 description 1
- 101100102627 Oscarella pearsei VIN1 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L7/00—Arrangements for synchronising receiver with transmitter
- H04L7/02—Speed or phase control by the received code signals, the signals containing no special synchronisation information
- H04L7/027—Speed or phase control by the received code signals, the signals containing no special synchronisation information extracting the synchronising or clock signal from the received signal spectrum, e.g. by using a resonant or bandpass circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64746—Control signals issued by the network directed to the server or the client
- H04N21/64753—Control signals issued by the network directed to the server or the client directed to the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は機器の同期調整に関する。より詳細には、機器の相互同期調整（ｉｎｔｅｒ−ｓｙｎｃｈｒｏｎｉｚｉｎｇ）のための、コミュニケーション・ネットワークを介する同期信号の伝送、及びパケット交換ネットワークに接続された通信デバイスの配信遅延の補償に関する。
特定の機器、例えばビデオ機器（例えばカメラ又はビデオレコーダ）は、一度同期された基準時間ベースによって、同期されたデータ（例えばビデオ画像）を提供する。この同期化は同期信号を機器に発信することによってなされ、これは、ビデオ機器の（非制限（ｎｏｎ−ｌｉｍｉｔｉｎｇ））ケースでは、例えば「ジェネロック（Genlock）」と呼ばれている。同期信号の伝送が専用のケーブルによってされる場合、例えば同軸タイプによる場合には、他のいかなる信号フローも、このケーブルで通信されることはない。その結果として、同期する機器のさまざまなアイテムに対して、同期信号を送信する際の遅延は一定であり、かつ、ジッタは無い。受信された同期信号を基準として、機器の各々のレシーバ・アイテムは、そのオペレーションに固有で、かつ、それぞれのデータセット（例えば画像）が同じ同期化の対象である機器のそれぞれのアイテムから生成されるデータセットと位相が厳格に一致することを保証する、タイミングクロック（又は基準時間ベース、又は、参照クロック信号）を再構築することが可能である。したがって、例えば、２台のカメラは、それぞれ異なるが、位相及び周波数が相互に厳格に合っているビデオ・コンテンツを例えば生成することができる。クロックの位相及び周波数は、いわゆるタイミングを意味する。機器が、それぞれの機器によって異なる伝送の遅れ及びジッタの存在するコミュニケーション・ネットワーク（たとえば、パケットスイッチングネットワークに接続されている場合、例えば有線でのネットワーク（イーサーネット）あるいは無線ベースのＩＰネットワーク）に接続されている場合、同期信号を送信することはもはや可能でない。同期信号を代表するサンプリングされたランプ信号が、ネットワーク部分に送信される。
より正確に言うと、送る側において、基準クロック、及びコンテンツ・チック（例えばイメージチック（ｉｍａｇｅ ｔｉｃｋｓ））を回復することを可能にする情報は同期信号（例えばジェネロック）から抽出される。これは機器のマスター・アイテムによって配信される。基準クロック信号は、第１及び第２のカウンタを供給する。第１及び第２のカウンタは、第１及び第２の同期ランプ信号を配信するものであり、それぞれ最後に回復したコンテンツ・チックからの、及び最後の基準・チックからの基準クロック信号のチック（ｔｉｃｋｓ）の数を表す。第１のカウンタの値は、コンテンツ・チックが回復する毎に、ゼロにセットされる。第３のカウンタは、第１のランプ信号０の設定の数を計り、この数が、選ばれた閾値に等しくなる毎に、基準チックを生成する。第２のカウンタ（一般に、「ＰＣＲ」（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）と呼ばれる）の値は、基準チックが生成される毎に、ゼロにセットされる。第２のランプ信号はサンプリング周波数（それは、通常、ネットワークによって提供される）に従ってサンプリングされる。そして、結果として生じるサンプルは、パケットのフレームによって機器のレシーバ・アイテムにネットワークを介して送信される。
ビデオ・コンテンツの場合、６２５ラインの標準であれば、コンテンツ・チックの期間は例えば４０ｍｓに等しい点に留意すべきである。
受信側において、ネットワークを介して受信されるサンプルは、フェーズロックループ（ＰＬＬ）に同期させるために使用される。したがって、開始基準クロック信号を再構築する。より正確に言うと、フェーズロックループは、伝送された第２のサンプリングされたランプ信号に基づいて、基準クロック信号を再構築する。そして、これは、第２のランプ信号を再構築する。この第２のランプ信号は、送信側でサンプリングされたものと位相において同一となる。処理手段は、同時カウンタの値を初期化することを担当し、第２の再構築されたランプ信号に同期する。これは、後者に基づき、再構築された基準クロック信号に基づいている。第２のランプ信号（ＰＣＲ）は、送信側においては、通常の間隔（サンプリング間隔）でサンプリングされ、受信側には、不規則な間隔で到着する。これは、主に伝送によって生じるジッタが原因となっている。これらのＰＣＲ信号については、受信側の通常の間隔（Ｔｓａｍｐ）が再び考慮される。フェーズロックループ（ＰＬＬ）は、ランプを間隔Ｔｓａｍｐのサンプリング信号によってカウントし、ＰＣＲのサンプリングの瞬間に関連するジッタをフィルタリングする役割を担う。このため、送信側で生成された第２のランプ信号（ＰＣＲ）と厳格に同期した第２のランプ信号が、（受信側の）カウンタからの出力として取り出される。送信側と受信側のサンプリングの瞬間との間の不正確性は、適切なバンド幅のＰＬＬによって吸収される。したがって、周波数及び位相に関して、再構築された受信側の基準クロックのタイミングは、送信側で生成されたものと一致する。
一旦タイミングが再構築されると、第１のランプ信号を再構築して、かつ、第２の再構築されたランプ信号と同期させることが必要である。したがって、送信側で使用されるのと同じゼロ設定期間（例えば４０ｍｓ）が使用される。そして、第１のランプ信号がゼロに設定される毎に、コンテンツ・チックが生成され、かつ、コンテンツ・チックに基づいて初期の同期信号が再構築され、かつ基準クロックが再構築される。
この同期メカニズムは、国際出願ＰＣＴ ＦＲ２００７／０５０９１８に開示されている。
このようにすることによって、この種の基準ステーション（ｒｅｆｅｒｅｎｃｅ ｓｔａｔｉｏｎ）によって動作する機器は、同期データストリームを生成する。しかし、上述のシステムは、ストリームが生成された後の、データ配信所要時間への対処がなされないという課題がある。この課題は例えば、音、及びビデオ信号の両者が、上述のように同期してマイクロホン及びカメラに同時に取り込まれた場合に発生する。ビデオ、及びオーディオストリームの両者は、同期して取得され配信される。この種のストリームがテレビに送信される場合であって、カメラとテレビとの間のビデオストリームの配信所要時間が必ずしもマイクロホンとテレビとの間の配信所要時間と完全に一致していない場合、２つのストリーム間の遅延によって、オーディオ・リップシンク効果が、テレビに現れる。カメラ及びマイクロホンの同期信号の再構築は、テレビにおいて完全に二つのストリームが同調することを保証できない。
この問題の他の例としては、二つの同期したカメラから二つのビデオストリームがビデオミキサーに配信された場合にも発生する。例えば、二つの異なるデータパスによる異なる伝送、及び／又は、処理時間による、配信所要時間の違いのために、二つのビデオストリームのきれいな移行を行うことができない。
本発明の目的の１つは、従来技術において、さまざまな同期信号によりデータストリームが同期された場合に、さまざまなデータ配信所要時間による遅延による懸念を解消することである。これは、これらの遅延を補償するメカニズムを提供することによってなされる。
［発明の開示］
本発明が解決しようとする技術的課題は、ネットワークを介して、全ての受信側で一致した同期信号を再構築するために使用され得る情報を伝達することである。
［発明の開示］
本発明が解決しようとする技術的課題は、ネットワークを介して、全ての受信側で一致した同期信号を再構築するために使用され得る情報を伝達することである。
したがって、本発明は、第１の態様に従って、パケット交換ネットワークにおいて、前記ネットワークに接続された通信デバイスにパケットを配信することが可能な基準ステーションであって：
・前記基準ステーションによって受信される同期信号からイメージチックを取り出すための手段と；
・それらのイメージチックからイメージカウンタを初期化するための手段と；
・前記イメージカウンタのｍ番目のリセット毎に、カウンタＣＰＴ＿ＰＣＲを初期化するための手段であって、前記カウンタＣＰＴ＿ＰＣＲは、前記イメージカウンタによって生成されるクロックによって駆動される、手段と；
・期間Ｔｅｃｈ毎に、前記カウンタＣＰＴ＿ＰＣＲをサンプリングするための手段であって、Ｔｅｃｈは、前記ネットワークの全てのステーションに同期されたタイムベースによって発行される、手段と；
・前記カウンタＣＰＴ＿ＰＣＲのサンプルＰＣＲｅを含むパケットを配信するための手段と；を有し、
この目的を達成するために、前記パケットに少なくとも時間的オフセットを挿入するための手段であって、前記時間的オフセットは、前記ネットワークの予め定められたパスのデータ配信所要時間を表す、手段を有する。
・前記基準ステーションによって受信される同期信号からイメージチックを取り出すための手段と；
・それらのイメージチックからイメージカウンタを初期化するための手段と；
・前記イメージカウンタのｍ番目のリセット毎に、カウンタＣＰＴ＿ＰＣＲを初期化するための手段であって、前記カウンタＣＰＴ＿ＰＣＲは、前記イメージカウンタによって生成されるクロックによって駆動される、手段と；
・期間Ｔｅｃｈ毎に、前記カウンタＣＰＴ＿ＰＣＲをサンプリングするための手段であって、Ｔｅｃｈは、前記ネットワークの全てのステーションに同期されたタイムベースによって発行される、手段と；
・前記カウンタＣＰＴ＿ＰＣＲのサンプルＰＣＲｅを含むパケットを配信するための手段と；を有し、
この目的を達成するために、前記パケットに少なくとも時間的オフセットを挿入するための手段であって、前記時間的オフセットは、前記ネットワークの予め定められたパスのデータ配信所要時間を表す、手段を有する。
本発明は、第２の態様に従って、パケット交換ネットワークを介して接続される受信通信デバイスであって、前記受信通信デバイスは、前記ネットワークに接続された基準ステーションからパケットを受信することが可能であり、前記受信通信デバイスは、前記ネットワークに接続されている発信通信デバイスからデータストリームを受信することが可能であり、前記受信通信デバイスは：
・サンプルＰＣＲｒを含むパケットを受信するための手段であって、前記サンプルＰＣＲｒは、期間Ｔｅｃｈにおいてなされるサンプリングオペレーションから得られ、Ｔｅｃｈは、前記ネットワークの全てのステーションに同期されたタイムベースによって発行される、手段と；
・前記サンプルを受信し、合成されたクロックＣＬＫ＿ｏｕｔ１及びローカル・サンプルＰＣ＿Ｒｌｏｃ１を、各Ｔｅｃｈ期間において配信する位相ロックループＰＬＬ１によって、カウンタランプＣＳＲ＿ＰＣＲを生成するための手段と；
・前記カウンタランプＣＳＲ＿ＰＣＲ１がゼロと等しくなる毎に、前記合成されたクロックＣＬＫ＿ｏｕｔ１によって駆動されたイメージカウンタＣＰＴを初期化するための手段と；
・前記イメージカウンタＣＰＴがゼロに等しくなる毎に、イメージチックを生成するための手段と；
・前記イメージチックから同期信号を生成するための手段と；を有し、
この目的を達成するために、受信通信デバイスは、
・少なくとも前記パケットに挿入された時間的オフセット値を受信するための手段と；
・送信通信デバイスからデータストリームを受信するための手段と；
・受信されたデータストリームから、受信された時間的オフセットの中で、どの時間的オフセットを考慮しなければならないかを決定するための手段と；
・考慮された時間的オフセットで、前記受信されたデータストリームを時間的にシフトするための手段と；を有する。
・サンプルＰＣＲｒを含むパケットを受信するための手段であって、前記サンプルＰＣＲｒは、期間Ｔｅｃｈにおいてなされるサンプリングオペレーションから得られ、Ｔｅｃｈは、前記ネットワークの全てのステーションに同期されたタイムベースによって発行される、手段と；
・前記サンプルを受信し、合成されたクロックＣＬＫ＿ｏｕｔ１及びローカル・サンプルＰＣ＿Ｒｌｏｃ１を、各Ｔｅｃｈ期間において配信する位相ロックループＰＬＬ１によって、カウンタランプＣＳＲ＿ＰＣＲを生成するための手段と；
・前記カウンタランプＣＳＲ＿ＰＣＲ１がゼロと等しくなる毎に、前記合成されたクロックＣＬＫ＿ｏｕｔ１によって駆動されたイメージカウンタＣＰＴを初期化するための手段と；
・前記イメージカウンタＣＰＴがゼロに等しくなる毎に、イメージチックを生成するための手段と；
・前記イメージチックから同期信号を生成するための手段と；を有し、
この目的を達成するために、受信通信デバイスは、
・少なくとも前記パケットに挿入された時間的オフセット値を受信するための手段と；
・送信通信デバイスからデータストリームを受信するための手段と；
・受信されたデータストリームから、受信された時間的オフセットの中で、どの時間的オフセットを考慮しなければならないかを決定するための手段と；
・考慮された時間的オフセットで、前記受信されたデータストリームを時間的にシフトするための手段と；を有する。
本発明は、第３の態様に従って、
パケット交換ネットワークを介して接続される送信通信デバイスであって、前記送信通信デバイスは、前記ネットワークに接続された基準ステーションからパケットを受信することが可能であり、前記送信通信デバイスは、前記ネットワークを介してデータストリームを送ることが可能であり、前記送信通信デバイスは：
・サンプルＰＣＲｒを含むパケットを受信するための手段であって、前記サンプルＰＣＲｒは、期間Ｔｅｃｈにおいてなされるサンプリングオペレーションから得られ、Ｔｅｃｈは、前記ネットワークの全てのステーションに同期されたタイムベースによって発行される、手段と；
・前記サンプルを受信し、合成されたクロックＣＬＫ＿ｏｕｔ１及びローカル・サンプルＰＣ＿Ｒｌｏｃ１を、各Ｔｅｃｈ期間において配信する位相ロックループＰＬＬ１によって、カウンタランプＣＳＲ＿ＰＣＲを生成するための手段と；
・前記カウンタランプＣＳＲ＿ＰＣＲ１がゼロと等しくなる毎に、前記合成されたクロックＣＬＫ＿ｏｕｔ１によって駆動されたイメージカウンタＣＰＴを初期化するための手段と；
・前記イメージカウンタＣＰＴがゼロに等しくなる毎に、イメージチックを生成するための手段と；
・前記イメージチックから同期信号を生成するための手段と；を有する。
パケット交換ネットワークを介して接続される送信通信デバイスであって、前記送信通信デバイスは、前記ネットワークに接続された基準ステーションからパケットを受信することが可能であり、前記送信通信デバイスは、前記ネットワークを介してデータストリームを送ることが可能であり、前記送信通信デバイスは：
・サンプルＰＣＲｒを含むパケットを受信するための手段であって、前記サンプルＰＣＲｒは、期間Ｔｅｃｈにおいてなされるサンプリングオペレーションから得られ、Ｔｅｃｈは、前記ネットワークの全てのステーションに同期されたタイムベースによって発行される、手段と；
・前記サンプルを受信し、合成されたクロックＣＬＫ＿ｏｕｔ１及びローカル・サンプルＰＣ＿Ｒｌｏｃ１を、各Ｔｅｃｈ期間において配信する位相ロックループＰＬＬ１によって、カウンタランプＣＳＲ＿ＰＣＲを生成するための手段と；
・前記カウンタランプＣＳＲ＿ＰＣＲ１がゼロと等しくなる毎に、前記合成されたクロックＣＬＫ＿ｏｕｔ１によって駆動されたイメージカウンタＣＰＴを初期化するための手段と；
・前記イメージカウンタＣＰＴがゼロに等しくなる毎に、イメージチックを生成するための手段と；
・前記イメージチックから同期信号を生成するための手段と；を有する。
この目的で、送信通信デバイスは、
・前記同期信号に同期して、ネットワークを介して、データストリームを送信するための手段と；
・前記送信通信デバイスの識別を前記データストリームに挿入するための手段と；
を有する。
・前記同期信号に同期して、ネットワークを介して、データストリームを送信するための手段と；
・前記送信通信デバイスの識別を前記データストリームに挿入するための手段と；
を有する。
本発明は、第４の態様に従って、パケット交換ネットワークを介して接続される２台の通信デバイス間で、周波数１／Ｔｅｃｈで実現されるカウンタランプのサンプルを転送するための同期化伝送用コンテナであって、Ｔｅｃｈは、全ての通信デバイスに同期されたタイムベースによって発行される。
このために、当該同期化伝送用コンテナは、前記ネットワークの予め定められたパスにおけるデータ配信所要時間を示す少なくとも時間的オフセット、を有する。
都合のよいことに、受信通信デバイスは、考慮された時間的オフセットによって、前記生成された同期信号を時間的にシフトするための手段、を更に有する。
本発明の第１の効果は、国際出願ＰＣＴ ＦＲ２００７／０５０９１８での開示に類似した受信デバイスに複数の送信通信デバイスによって送られるストリームの同時の位相制御を保証することを提供する能力に関する。特に、本願発明で使用されるＰＣＲランプは、先の出願に記載されているランプ信号と同様である。
本発明の第２の効果は、基準信号を回復するために使用されるプロトコルの用途の広さである。他のタイプのネットワークインフラストラクチャに対しても、少ない変更で適合することができる。自動的な産業システムや、ＷＡＮ環境に対しても適合することができる。
本発明の第３の効果は、複数のデータパスによって生じるフロー遅延の補償を扱う簡単な解決策であるということである。それらは、長いため、これらの遅延はネットワーク遅延を減らす従来のシステムだけでは補償することができない。
本発明の第４の効果は、それが正確な解決策であるということである。この場合に、「正確」な面として、規則的に配信される時間オフセット値は、製作の環境変化（新しい通信機器の取り外し及び設置）によって、時間的に修正され得る。
特定の開示された態様を以下に記載する。これらの態様が単に本発明が必要とし得る特定の形式の概要を提供するだけを示すものであり、かつ、これらの態様は本発明の範囲を制限することを目的としないと理解されなければならない。実際、本発明は、後述する態様以外のものを含んでもよい。
本願は、添付の図に即して以下の実施例によってより良く理解され、決して内容を制限するためのものではない。
図１は、異なるブロックがフロー・マネージメントの役割に従ったビデオ生産環境を示しており、その一覧を以下に示す。
・コンテンツ配信エリア１１
・オーディオ処理エリア１２
・ビデオ処理エリア１３
・コンテンツ配信記憶及びモニタリングエリア１６
・処理済みコンテンツモニタリングエリア１７
・処理済みフローリコンビネーション及び記憶エリア１８
全てのこれらのブロックは、ネットワークインターフェース（例えば以下）を有する：ビデオ・イーサネット（登録商標）・インサータＶＩＮ１、５；オーディオ・イーサネット（登録商標）・インサータ ＡＩＮ、１、４；ビデオ・イーサネット（登録商標）・エクストラクタ ＶＥＸ、２、６、７、８；オーディオ・イーサネット（登録商標）・エクストラクタ、ＡＥＸ ２、６、７、８。インターフェース、及びネットワーク間のリンクは、図１の太い点線の矢印によって表される。矢印方向は、ブロック間のフローが流れる方向を示す。
・コンテンツ配信エリア１１
・オーディオ処理エリア１２
・ビデオ処理エリア１３
・コンテンツ配信記憶及びモニタリングエリア１６
・処理済みコンテンツモニタリングエリア１７
・処理済みフローリコンビネーション及び記憶エリア１８
全てのこれらのブロックは、ネットワークインターフェース（例えば以下）を有する：ビデオ・イーサネット（登録商標）・インサータＶＩＮ１、５；オーディオ・イーサネット（登録商標）・インサータ ＡＩＮ、１、４；ビデオ・イーサネット（登録商標）・エクストラクタ ＶＥＸ、２、６、７、８；オーディオ・イーサネット（登録商標）・エクストラクタ、ＡＥＸ ２、６、７、８。インターフェース、及びネットワーク間のリンクは、図１の太い点線の矢印によって表される。矢印方向は、ブロック間のフローが流れる方向を示す。
コンテンツ配信エリアは、スタジオのコンテンツを配信する機器が配備されている。これらの機器は、さまざまなタイプに属する。たとえば、カメラ、マイクロホン、ＤＭＯＤ、ＶＴＲ、などである。それらはビデオ・プロダクション・スタジオ又は例えば記憶として補完的な機能のために使用される機器の部分のいたる所に設置されてもよい。そして、サーバは、コンテンツ配信エリアの信号記録部分、そして、コンテンツ配信記憶及びモニタリングエリア、及び処理済みフロー理コンビネーション及び記憶エリアの信号記憶部分に設置されてもよい。
オーディオ処理エリアはオーディオ処理に関連する全ての機器が設置される。そして、ビデオ処理エリアは、ビデオ処理に関連する全ての機器が設置される。
基準エリアのブロック１０は、上述した処理に従って様々なブロックに属する機器を同期させる手段が提供される。
入力されるデータフローの配信先に基づいて、異なるブロックが、異なる同期信号によって動作し、それぞれの出力のデータ配信遅延を最適化する。オペレーションの観点から、オペレータが進行中の処理を適用する前に入って来るストリームを視覚化することを必要とするので、同時にコンテンツ配信エリア、及びビデオ処理エリアから来る情報を示すことは難しい。
処理済みフローリコンビネーション及び記憶エリアの全てのレベルで、例えば前述したようにオーディオ・リップシンク効果を回避するために、データフローの関連を管理するための効率的な解決策が提供されなければならない。
ブロックのインターフェースは、後で「ジェネロックプレーン（Ｇｅｎｌｏｃｋ プレーン）」と呼ばれるユニークなインデックスによって特定されてもよい。図１は、８つのジェネロックプレーンを示す：ジェネロックプレーン１は、コンテンツ配信エリアの出力を特定する。ジェネロックプレーン２、及び４は、オーディオ処理エリアの境界を示す。ジェネロックプレーン３、及び５はビデオ加工エリアの境界を示す。ジェネロックプレーン６は、コンテンツ配信記憶、及びコンテンツ配信モニタリングエリアの入力に対応する。ジェネロックプレーン７、及び８は、処理済みコンテンツモニタリングエリア、処理済みフローリコンビネーション、及び記憶領域の入力に対応する。
ジェネロックプレーンは、ネットワークに外部機器のための基準信号と認識される類推的なジェネロック信号のフレーム開始のタイミングを定める。この構造によって、ジェネロックプレーンによって送られる全てのストリームは、同期する。
図１は、ビデオ生産環境の配信されたフローの２つの異なるパスを示す。第１のフロー（実線で示された）（オーディオストリーム）は、インターフェース１から始まって、ブロック２、１２、及び４を経て、ネットワークを介してインターフェース７に到着する。第２のフロー（破線で示された）（例えばビデオＨＤストリーム）は、インターフェース１から始まり、ブロック３、１３、５を経てネットワークを介して、ブロック７に至る。
それらは、同じジェネロックプレーンによって送られるため、両方のフローが同時に送られ、それらは必ずしもインターフェース７に、同じ日付に到着しない。なぜなら、通過するブロックが異なるからである。例えば以下を考慮する：
・ネットワークは、フロー配信に１ミリ秒（ｍｓ）の遅延をもたらす。
・オーディオ・インターフェース２、及び４は、フロー配信にいかなる遅延ももたらさない；
・ブロック１２（内部オーディオ処理）は、フロー配信に５０ｍｓの遅延をもたらす。
・インターフェース３、及び５（内部ビデオプロセシング）は、フロー配信に５０ｍｓの遅延をもたらす。
・ブロック１３（ビデオプロセシング）は、フロー配信に５０ｍｓの遅延をもたらす。
・ネットワークは、フロー配信に１ミリ秒（ｍｓ）の遅延をもたらす。
・オーディオ・インターフェース２、及び４は、フロー配信にいかなる遅延ももたらさない；
・ブロック１２（内部オーディオ処理）は、フロー配信に５０ｍｓの遅延をもたらす。
・インターフェース３、及び５（内部ビデオプロセシング）は、フロー配信に５０ｍｓの遅延をもたらす。
・ブロック１３（ビデオプロセシング）は、フロー配信に５０ｍｓの遅延をもたらす。
両方のフローが日付０に送られた場合、第２のフローは、日付１＋５０＋５０＋５０＋１＝１５２ｍｓでインターフェース７に到着する。これは、第２のフローが第１のフローより後で到着することを意味する、より正確に言うと１００ｍｓの遅延となる。この遅延は、トポロジ、及びネットワークの構成による。これは、完全に予測可能である。そうすると、それは、補償され得る。
配信遅延を補償する容易でかつ忠実な解決策は、異なるジェネロックプレーンによって送られるデータに対する時間的オフセットの値（又は遅延値）を定期的に伝送し、且つ並行して、データの送信とデータが送信されるジェネロックプレーンの識別とを関連付けることである。
これらの２つの情報を受信することによって、受信した通信デバイスは、受信した時間的オフセットの中で、どの時間的オフセットを考慮するかを検討し、そして、受信したデータストリームを時間的にシフトし、これらの位置合わせをすることができる。
この「簡単な」特徴を持つ解決策は、時間オフセットを送信する、選択された順路と関連する。自分自身を同期させることができる受信あるいは送信するデバイスは、１５８８レイヤーを用い、同期化メッセージの中にある予め定められたランプ信号のサンプルを送信する。選ばれた解決策は、同期化メッセージ（配信されたパケット）の中の時間的オフセットを送ることを取り扱う。
この「確実な」特徴を持つ解決策は、ネットワークの「トポロジ」への適応性に関連している。ビデオ環境の変更は、送られる時間的オフセット値を変更することによって考慮される。
都合のよいことに、あらゆる配信されたパケットは、時間的オフセットを含む。
それから、Ｔｅｃｈが１秒に等しい場合、１秒以内に修正が考慮される。
図２は、本発明によって、基準ステーションによってネットワークを介して配信される同期化メッセージのインプリメンテーションを示している。このメッセージは、ＩＰストリームから来るか、あるいは送信される信号を運搬するか又は配信する全ての通信デバイスによって処理される。
本発明のインプリメンテーションにおいて、同期化メッセージは、第１のフィールドを含む。これは、Tｅｃｈの瞬間におけるランプＰＣＲカウンタの値に対応する。
第２のフィールド（「拡張タイプ」と呼ばれる）は、また、どんなデータが拡張を含むか、及びそれがどのように構成されるか指し示すために使用される。このフィールドは、一度だけ拡張の中に存在する。拡張タイプは、１バイトのフィールドである。都合のよいことに、時間的オフセットは、基準ステーション及びネットワークに接続された全ての通信デバイスに共通のクロックの間隔の数によって表される。
第２のフィールド（「拡張タイプ」と呼ばれる）は、また、どんなデータが拡張を含むか、及びそれがどのように構成されるか指し示すために使用される。このフィールドは、一度だけ拡張の中に存在する。拡張タイプは、１バイトのフィールドである。都合のよいことに、時間的オフセットは、基準ステーション及びネットワークに接続された全ての通信デバイスに共通のクロックの間隔の数によって表される。
第３のフィールド（「参照フォーマット」と呼ばれる）は、また、基準ステーションによって配信される信号を示すために使用される。このフィールドは、例えば２バイトに分けられる。一方は、ビデオの基準、他方は、オーディオの基準に関連する。それは、送信側で受け取られる基準信号と同じ基準信号を受信側でも生成することができる。ビデオの基準に対しては、以下の情報が報告されなければならない：基準信号のフレームレートの情報（５０Ｈｚ、６０Ｈｚ、２５Ｈｚ、など）、基準信号のフォーマット情報（例えばＰＡＬ−ＢＧＨＩ、ＰＡＬ Ｍ、ＰＡＬ Ｎ、ＮＴＳＣ−Ｍ、ＴＬＳ、など）、信号のタイプの情報（ＳＤ、ＨＤ）、及び信号の表示情報例えば（１９２０＊１０８０Ｉ、１９２０＊１０８０Ｐ、など）。
第４のフィールド、（「ジェネロックプレーン＃」と呼ぶ）は、また、現在の同期メッセージに列挙されている時間的オフセットの数を示すために使用される。「ジェネロックプレーン＃」は、１バイトのフィールドである。２５６は、時間的オフセット又は「ジェネロックプレーン」）の最大の数である。これは、同期化メッセージに示されていてもよい。
少なくとも、ｎが「ジェネロックプレーン＃」フィールドの値である場合、「オフセット値」と呼ばれるｎ個のフィールドが存在する。これらの「オフセット値」のフィールドは、時間的オフセット値を示している。これは、基準クロック間隔の数で表される（８バイトのフィールドは、２つの４バイト語に分けられる）。これらの時間的オフセット値は、上記のジェネロックプレーン＃に関連づけられる基準信号を生成するために適用されなければならない。
Claims (1)
- パケット交換ネットワークを介して接続される受信通信デバイスであって、前記受信通信デバイスは、前記ネットワークに接続された基準ステーションからパケットを受信することが可能であり、前記受信通信デバイスは、前記ネットワークに接続されている送信通信デバイスからデータストリームを受信することが可能であり、前記受信通信デバイスは、
サンプルと、異なったジェネロックプレーンによって送られる前記データストリームに対する時間的オフセット値とを含む前記パケットを受信するための手段と、
前記サンプルを用いて同期信号を生成するための手段と、
前記パケットの受信と並行して、前記送信通信デバイスから前記データストリームを受信するための手段であって、前記データストリームは、前記データストリームの前記ジェネロックプレーンの識別に関連付けられている、手段と、
前記受信されたデータストリームに関連付けられている前記ジェネロックプレーンの識別に基づいて、受信された時間的オフセットの中で、どの時間的オフセットを考慮しなければならないかを決定するための手段と、
前記決定された、考慮しなければならない時間的オフセットで、前記生成された同期信号を時間的にシフトすることにより前記受信されたデータストリームを時間的にシフトするための手段と、
を有する受信通信デバイス。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP08300197A EP2114053A1 (en) | 2008-04-30 | 2008-04-30 | Delivery delay compensation on synchronised communication devices in a packet switched network |
| EP08300197.4 | 2008-04-30 | ||
| PCT/EP2009/054922 WO2009133019A2 (en) | 2008-04-30 | 2009-04-23 | Delivery delay compensation on synchronised communication devices in a packet switching network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011519239A JP2011519239A (ja) | 2011-06-30 |
| JP5902477B2 true JP5902477B2 (ja) | 2016-04-13 |
Family
ID=39789398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011506660A Expired - Fee Related JP5902477B2 (ja) | 2008-04-30 | 2009-04-23 | パケット交換ネットワークにおける同期通信デバイスの配信遅延補償 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8737411B2 (ja) |
| EP (2) | EP2114053A1 (ja) |
| JP (1) | JP5902477B2 (ja) |
| KR (1) | KR20110018867A (ja) |
| CN (1) | CN102017574A (ja) |
| WO (1) | WO2009133019A2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2930396A1 (fr) * | 2008-04-21 | 2009-10-23 | Thomson Licensing Sas | Marquage temporel associe a une synchronisation d'equipements connectes a un reseau |
| EP2343845A3 (en) | 2009-12-31 | 2011-10-19 | Thomson Licensing | Precise compensation of video propagation duration |
| JP2011217062A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | カメラシステム、信号遅延量調整方法及びプログラム |
| JP5923847B2 (ja) * | 2010-03-31 | 2016-05-25 | ソニー株式会社 | カメラシステム、信号遅延量調整方法及びプログラム |
| JP5598155B2 (ja) * | 2010-08-12 | 2014-10-01 | ソニー株式会社 | 情報処理装置および方法、並びに送受信システム |
| EP2445127A1 (fr) * | 2010-10-22 | 2012-04-25 | Alcatel Lucent | Procédé non intrusif de synchronisation d'horloges maître et esclave d'un réseau à commutation de paquets, et dispositifs de synchronisation associés |
| US8643696B2 (en) * | 2011-01-19 | 2014-02-04 | Broadcom Corporation | Synchronizing media streams using time signal(s) from an independent time source |
| JP6967779B2 (ja) * | 2018-01-12 | 2021-11-17 | ザインエレクトロニクス株式会社 | 映像信号受信モジュールおよび映像信号送受信システム |
| JPWO2021200193A1 (ja) * | 2020-03-31 | 2021-10-07 | ||
| CN113783680B (zh) * | 2021-11-05 | 2022-02-08 | 湖南北顺源智能科技有限公司 | 数据同步发送方法及数据同步发送系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4059040A (en) * | 1974-09-11 | 1977-11-22 | Kabushiki Kaisha Kawai Gakki Seisakusho | Tone-source apparatus for electronic musical instrument |
| US6571361B1 (en) * | 1995-09-29 | 2003-05-27 | Kabushiki Kaisha Toshiba | Encoder and decoder |
| US6778493B1 (en) | 2000-02-07 | 2004-08-17 | Sharp Laboratories Of America, Inc. | Real-time media content synchronization and transmission in packet network apparatus and method |
| US7877104B2 (en) * | 2001-05-21 | 2011-01-25 | Sirf Technology Inc. | Method for synchronizing a radio network using end user radio terminals |
| JP3591493B2 (ja) | 2001-07-25 | 2004-11-17 | ソニー株式会社 | ネットワークシステム、およびネットワークシステムの同期方法 |
| US7822157B2 (en) * | 2002-12-31 | 2010-10-26 | L-3 Communications, Corp. | Acquisition and tracking of burst code signals |
| GB2400255A (en) * | 2003-03-31 | 2004-10-06 | Sony Uk Ltd | Video synchronisation |
| US20040257369A1 (en) * | 2003-06-17 | 2004-12-23 | Bill Fang | Integrated video and graphics blender |
| US7701487B2 (en) * | 2005-08-26 | 2010-04-20 | Sony Corporation | Multicast control of motion capture sequences |
| FR2898453A1 (fr) * | 2006-03-13 | 2007-09-14 | Thomson Licensing Sas | Transmission d'un signal genlock sur un reseau ip |
-
2008
- 2008-04-30 EP EP08300197A patent/EP2114053A1/en not_active Withdrawn
-
2009
- 2009-04-23 CN CN2009801155295A patent/CN102017574A/zh active Pending
- 2009-04-23 EP EP09738063A patent/EP2269360A2/en not_active Withdrawn
- 2009-04-23 WO PCT/EP2009/054922 patent/WO2009133019A2/en active Application Filing
- 2009-04-23 US US12/736,565 patent/US8737411B2/en not_active Expired - Fee Related
- 2009-04-23 KR KR1020107024146A patent/KR20110018867A/ko not_active Application Discontinuation
- 2009-04-23 JP JP2011506660A patent/JP5902477B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP2114053A1 (en) | 2009-11-04 |
| EP2269360A2 (en) | 2011-01-05 |
| CN102017574A (zh) | 2011-04-13 |
| WO2009133019A3 (en) | 2010-02-25 |
| KR20110018867A (ko) | 2011-02-24 |
| US20110032946A1 (en) | 2011-02-10 |
| WO2009133019A2 (en) | 2009-11-05 |
| JP2011519239A (ja) | 2011-06-30 |
| US8737411B2 (en) | 2014-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5902477B2 (ja) | パケット交換ネットワークにおける同期通信デバイスの配信遅延補償 | |
| US8767778B2 (en) | Method, system and apparatus for synchronizing signals | |
| US8095615B2 (en) | System for synchronizing signals including a slave signal generator generating elapsed time data with respect to an initial time point and related methods | |
| US8345668B2 (en) | Video delivering system, video delivering device, and synchronization correcting device | |
| JP4940998B2 (ja) | Ｉｐ／ｒｆ変換装置 | |
| US11190819B2 (en) | Video transmission system | |
| US10419766B2 (en) | Network video clock decoupling | |
| EP2343845A2 (en) | Precise compensation of video propagation duration | |
| WO2013117889A2 (en) | Method and apparatus for converting audio, video and control signals | |
| US10595075B2 (en) | Automatic timing of production devices in an internet protocol environment | |
| US11336561B2 (en) | System and method for isochronous switching of packetized media streams | |
| WO2010070054A1 (en) | Method for transport stream synchronizing in a multiplexer comprising an external coprocessor | |
| EP2153654B1 (en) | Phase control of a synchronization signal in a packet switching network | |
| JP2020014161A (ja) | 映像音声伝送システム、伝送方法、送信装置及び受信装置 | |
| US20230327970A1 (en) | Integrated network evaluation troubleshooting tool | |
| Montalvo et al. | Implementation of a TV studio based on Ethernet and the IP protocol stack | |
| WO2023164301A2 (en) | Method of measuring timing holdover performance in an r-phy system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20111004 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131002 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140808 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140815 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20141010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160310 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5902477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |