JP6486628B2 - メディア・ストリームの同期再生を行う相互接続マルチメディア・システム - Google Patents

メディア・ストリームの同期再生を行う相互接続マルチメディア・システム Download PDF

Info

Publication number
JP6486628B2
JP6486628B2 JP2014173799A JP2014173799A JP6486628B2 JP 6486628 B2 JP6486628 B2 JP 6486628B2 JP 2014173799 A JP2014173799 A JP 2014173799A JP 2014173799 A JP2014173799 A JP 2014173799A JP 6486628 B2 JP6486628 B2 JP 6486628B2
Authority
JP
Japan
Prior art keywords
time
samples
media
playback
based media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014173799A
Other languages
English (en)
Other versions
JP2015057882A (ja
Inventor
ロバート・エム・ブラウン，ジュニア
Original Assignee
アビッド テクノロジー インコーポレイテッド
アビッド テクノロジー インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アビッド テクノロジー インコーポレイテッド, アビッド テクノロジー インコーポレイテッド filed Critical アビッド テクノロジー インコーポレイテッド
Publication of JP2015057882A publication Critical patent/JP2015057882A/ja
Application granted granted Critical
Publication of JP6486628B2 publication Critical patent/JP6486628B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036—Time code signal
    • G11B27/3045—Time code signal superimposed on the recorded main signal, e.g. burn-in-time code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Description

従来技術
[0001] ビデオ複合体を構成する種々のコンポーネントは、異なる位置でキャプチャされ編集されることが多い。ビデオ制作では、例えば、ビデオ、音楽、音響効果、ダイアログ、およびコンピュータが生成する画像(imagery)の各々が、異なる場所で制作されることもある。種々のプログラム・コンポーネントを見直して評価するためには、目視のためにできるだけ多くのコンポーネントを一緒に組み立てる必要がある。更に、進行中の作業を頻繁に見直すことができることも重要である。現在の方法では、ハード・ドライブのような物理的記憶媒体の輸送、ファイルの転送、またはリモート・サーバに維持される共有記憶位置の使用を伴う。他の場合では、媒体がリモート位置から送信され、送信された媒体およびローカル媒体の再生は、離れて位置するコンポーネントの再生開始時刻を同期させる必要がある。殆どのプレーヤは、着信する媒体が受信させるに連れて、移転において生ずる固定遅延を考慮しつつ、着信媒体を再生する。推定遅延が、再生前にデータを転送するのに十分な程長くない場合、再生中に欠落が生ずる可能性がある。
[0002] 他の再生方法では、特殊目的デバイスを伴う。このデバイスは、例えば、米国特許第６，１３４，３７９号および第６，３９３１９８号に記載されるように、デバイスが再生を同期させることを可能にするために、クロック信号または他の特殊コードを発信する。これらの特許をここで引用したことにより、その内容は本願にも含まれるものとする。一旦開始されると、送信された媒体のリモート・ソースは自由に実行し(run)続け、再生が進むに連れて、同期が徐々に正確さを失っていき、最終的には完全に失われる虞がある。他の方法では、実世界のクロック信号または宅内基準クロック信号を受信することによってというようにして、関与するシステムの各々のシステム・クロックが同期される。
[0003] メディア複合体を構成する複数のコンポーネントを同期再生する、実用的で、適宜で(timely)、高精度な方法が求められている。
[0004] 一般的に、本明細書において説明する方法、システム、およびコンピュータ・プログラム製品は、メディア複合体の複数のコンポーネントの同期再生に考慮している。メディア複合体は、リモート・システムからストリーミングされる媒体、同期再生を実行するシステムにローカルに格納された媒体を含む。
[0005] 一般に、一形態では、時間ベース・メディアの同期再生方法は、時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、第２システムを同期メディア再生に指定するステップと、第２システムにおいて、データ接続を介して、第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、第１複数のメディア・サンプルの各サンプルが、第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、第２複数のサンプルの各サンプルが、メディア編集システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、第１複数のサンプルおよび第２複数のサンプルを再生することによって、第１メディア・トラックを第２メディア・トラックと同期させて再生するステップとを含む。
[0006] 種々の実施形態は、以下の特徴の内１つ以上を含む。同期再生方法は、更に、データ接続を介したデータ送信遅延を推定するステップを含み、少なくとも推定されたデータ送信遅延の間隔だけ、同期再生が、第１システムにおける再生に関して遅延される。第１システムのユーザが同期再生を開始し、第１再生システムがデータ送信遅延を推定する。第２システムのユーザが同期再生を開始し、第１システムがデータ送信遅延を推定する。第１および第２システムの内少なくとも１つが、時間ベース・メディア編集能力を含む。再生するステップは、所与のプレゼンテーション・タイムに対応する第１システムからのサンプルが、所与のプレゼンテーション・タイムに対応するメディアの第２システムにおける再生よりも前に、第２システムにおいて受信され終えているように、遅延と共に実行される。同期再生は、更に、第２システムにおいて、第２データ接続を介して、時間ベース・メディアを再生する第３システムから、第３時間ベース・メディア・トラックを表す第３複数のサンプルを受信するステップであって、第３複数のメディア・サンプルの各サンプルが、第３システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、第３複数のサンプルの内、第１および第２複数のサンプルのプレゼンテーション・タイムと同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、第３複数のサンプルを再生することによって、第１および第２時間ベース・メディア・トラックと同期させて、第３時間ベース・メディア・トラックを再生するステップとを含む。第２システムにおける再生が、所与のプレゼンテーション・タイムに対応する第１および第３システムからのサンプルが、所与のプレゼンテーション・タイムに対応するメディア・サンプルの第２システムにおける再生よりも前に、第２システムにおいて受信され終えているように、遅延と共に実行される。同期再生は、第１データ接続を介した第１データ送信遅延を推定するステップと、第２データ接続を介した第２データ送信遅延を推定するステップと、第１および第３システムからのメディア・サンプルが、第２システムにおいて再生のために要求されるよりも前に、第２システムにおいて受信されるように、第２システムにおいて再生を開始するよりも前に、第１および第３システムの各々において再生を開始するステップとを含む。第２システムは、非線形ビデオ編集システムを含む。第１および第３システムの内少なくとも１つは、ディジタル・オーディオ・ワークステーションまたは非線形ビデオ編集システムを含む。第２システムにおける同期再生は、第１システムのユーザによって開始される。第１および第２データ送信遅延の推定は、第１システムによって実行される。第２システムにおける同期再生は、第２システムのユーザによって開始され、第２システムは、第１および第２データ送信遅延の推定を実行する。
[0007] 一般に、第２の形態において、システムは、コンピュータ読み取り可能命令を格納するメモリと、メモリに接続されたプロセッサであって、プロセッサが、コンピュータ読み取り可能命令を実行すると、同期再生方法をシステムに実行させる。この方法は、時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、第２システムを同期メディア再生に指定するステップと、第２システムにおいて、データ接続を介して、第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、第１複数のメディア・サンプルの各サンプルが、第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、第２複数のサンプルの各サンプルが、メディア編集システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、第１複数のサンプルおよび第２複数のサンプルを再生することによって、第１メディア・トラックを第２メディア・トラックと同期させて再生するステップとを含む。
図１は、ストリーミングされた媒体の同期再生を示す上位ブロック図である。 図２は、同期再生のために媒体をストリーミングするときに含まれるステップを示す流れ図である。
[0010] かなり大きなサイズのメディア・プロジェクトはいずれも、種々の寄与するグループ間における協調を必要とする。例えば、ビデオがビデオ・チームによって第１位置において生成および格納され、音楽が作曲家によって第２位置において生成および格納され、音響効果が音響効果グループによって第３位置において生成および格納され、コンピュータ生成画像がコンピュータ・グラフィクス・チームによって第４位置において生成および格納されることもある。このようなプロジェクトのワークフローの主要な一面は、上級編集者およびディレクタによる頻繁な見直しおよび承認である。プロジェクトの種々のコンポーネントを一緒に見ることができると、進行中の作業の効果的な評価に大いに役立つ。また、制作チームに適時なフィードバックを提供するように、プロセスが迅速に着手されることも重要であり、スケジュール通りの進行およびプロジェクト・コスト管理が容易になる。
[0011] 先に説明したように、進行中のメディア・プロジェクトの種々のコンポーネントを組み立てるおよび視認する既存の方法は、トランスポート遅延によって生ずる遅いターンアラウンドのため、または再生の間精度高い同期を維持することの困難のために、満足できないことが多い。本明細書においては、メディアの再生を同期させる高精度な方法の一例について説明する。メディアは、離れて位置するマルチメディア・システムから発するメディア、および同期再生の現場にローカルなストレージまたはライブ・ソースから引き出されるメディアを含む。
[0012] 本明細書において使用する場合、マルチメディア・システムとは、時間ベースのディジタル・メディア、即ち、ビデオおよび／またはオーディオを再生するシステムを指す。加えて、これらのシステムは編集能力を有してもよい。ディジタル・オーディオ編集能力を含むシステムでは、マルチメディア・システムが、マサチューセッツ州、BurlingtonのAvid Technology, Inc.からのPRO TOOLS（登録商標）のような、ディジタル・オーディオ・ワークステーション（ＤＡＷ）を含むこともできる。本明細書において使用する場合、ＤＡＷは、パーソナル・コンピュータ、移動体デバイス、タッチ・パッド、またはＣＰＵ、メモリ、ディスプレイ、および入力デバイスを含む他のデバイスというような、コンピュータに実装されるオーディオ・アプリケーションを指す。ＤＡＷ機能は、１つよりも多いオーディオ・トラックを記録および再生し、チャネルを互いにミキシングする能力を含むが、これらに限定されるのではない。ＤＡＷが、ユーザ・インターフェースを仲介する制御面に接続された専用デバイスに実装されてもよい。また、ＤＡＷが非線形編集機能、オーディオ・クリップの時間的表現を提供するタイムラインを表示するユーザ・インターフェース、およびオーディオ信号にオーディオ処理を実行させる能力も含むことができる。このような処理は、ＤＡＷをホストする同じプラットフォームによって、またはディジタル信号プロセッサ（ＤＳＰ）がプロビジョニングされてもよいオーディオ処理エンジンというような他のシステムにおいて実行することができる。
[0013] ディジタル・ビデオ編集機能を含むメディア・システムでは、マルチメディア・システムが、同じくAvid Technology, Inc.からのMEDIA COMPOSER（登録商標）のような、非線形ビデオ・エディタ（ＮＬＥ）を含むのでもよい。ＮＬＥ機能は、１つ以上のビデオ・トラックを記録および再生し、ビデオ複合体を表すタイムラインにビデオ・クリップを置き、タイムラインにおけるクリップおよび他のエレメントを編集する能力を含むが、これらに限定されるのではない。
[0014] 本明細書において使用する場合、「サンプル」という用語は、メディア・トラック、メディア文書、あるいはメディア・トラック、文書、フィル内において別個の時間的位置を有するメディア・ファイルの最少構成単位を指す。ビデオ・メディアでは、メディア・サンプルはビデオ・フレームに対応する。オーディオ・メディアでは、メディア・サンプルは、１つのオーディオ・サンプルとなる。本明細書において使用する場合、トラックとは、エディタがメディア編集システムのタイムラインに置くソース・メディアの種々のエレメントのためのコンテナの表現である。非線形ビデオ編集アプリケーションおよびディジタル・オーディオ・ワークステーションのコンテキストでは、トラックは、グラフィカル・ユーザ・インターフェースの一部を形成するソフトウェア表現となる。トラックは、メディア・ストリーム入力および／またはメディア・ストリーム出力を有することができる。
[0015] 同期方法は、種々の相互接続されたシステムにおいて複数の相互接続された再生エンジンに対して開始時刻を同期させて、１つのシステムにおいて受信された再生コマンドが、接続されたエンジンに、各システムのローカル・タイムラインによって定められる所与の時間位置において再生を開始させるようにすることを含む。このような開始時刻同期は、米国特許第８，２２４，１４７号に記載されており、この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。米国特許第８，２２４，１４７号は、Video Satellite（商標）マスタ−スレーブ・アーキテクチャについて記載する。Video Satelliteシステムでは、特殊目的同期ハードウェアを、ビデオ基準生成器から各再生エンジンにおいて受信される外部基準信号と共に使用して、同期がフレーム・エッジによって維持される。
[0016] タイムライン同期再生は、着信メディアが再生に必要とされるまで、それをバッファできることに依存する。例えば、３つのメディア・ソースが同期して再生されようとして、１つのソースがローカルに発し、他の２つのストリームの各々が異なる離れた位置から発する場合、組み合わされたメディアは、最も遅れたストリームが、同期再生に指定されたシステムにおいて受信されるときでないと、再生することはできない。つまり、バッファされるデータ量は、所与のタイム・スタンプに対して最も早く受信されるサンプルと、そのタイム・スタンプに対して最後に受信される、即ち、最も遅れるサンプルとの間でストリーミングされるデータ量に少なくとも対応しなければならない。実際には、このような時間差は、２５０〜５００ミリ秒の範囲であり、４４．１ｋHzストリームでは、１１，０２５〜２２，０５０サンプルに対応する。
[0017] どのステーションが実際に同期再生を実行するために指定されるかには関係なく、相互接続されたマルチメディア・システムの内任意のものにおいて、同期再生コマンドが入力されることを可能にするメカニズムを提供する。再生コマンドが受信されると、以上で言及した必要遅延を推定するために、接続されたシステム間において遅延ネゴシエート・プロセスが行われる。この遅延は、全ての位置からのストリーミング・メディアが、同期再生が要求されたときに、指定された再生システムにおいて受信されて準備が整うことを可能にする時点で、全てのシステムが再生を開始することを保証するために使用される。説明する実施形態では、メディアをストリーミングしているシステムが、メッセージが発信元システムから受信システムに伝わりそして戻ってくるまでに要する往復時間を判定するというように、様々な周知の方法の内１つ以上を使用して、受信システムへのメディア・パケットの配信に対する平均および最大レイテンシを測定する。１つの方法では、メディア・ストリームを送るシステムは、追加のタイム・スタンプをメディア・ストリーム・バッファに追加する。このタイム・スタンプは、ネットワーク・クロック、即ち、共有自走クロックを使用する。システムがメディア・ストリーム・バッファを受信すると、一方向送信または往復送信のいずれの後でも、ネットワーク・クロックを読み取り、現在の時刻と、メディア・ストリーム・バッファ内のネットワーク・クロック・タイムスタンプとの間の差を使用して、メディアの伝達時間を判定する。
[0018] 測定された遅延は、再生に指定されたシステムに伝えられる。１対の接続されたシステムでは（即ち、指定された再生システムに接続された１つのリモート・システム）、この遅延は、次に、同期再生の間指定された再生システムによって使用される。２つ以上のメディア再生システムが、同期再生に指定されたシステムに離れて接続された構成では、各リモート・システムと再生システムとの間の遅延が測定される。説明する実施形態では、再生コマンドが受信されたシステムが、遅延の各々を測定することを要求し、次いで指定された再生システムにおける、ストリーミング・メディアの適時な到達を確保するために、システム毎に再生開始時刻を決定する。
[0019] ネットワークには、ストリーミングに利用可能な帯域幅が不規則に変化する場合もある。このような状況では、自動的に決定される遅延では、ストリーミングされるメディアが常に再生同期に間に合って到達することを確保するには十分に長くないこともある。このような状況では、メディアが到達するのが遅すぎると、再生において欠落が生ずる。この問題に取り組むために、ユーザは、実際のメディア・ストリーミング遅延において起こりそうな変動を超える最少遅延を定めることができる。
[0020] 同期再生がユーザ・コマンドによってメディア発信システムにおいて開始される場合、この発信システムが、それと再生システムとの間の遅延を決定し、この遅延を使用して、再生を開始すべきときを決定する。何らかの理由で追加のレイテンシが必要とならなければ、またはより大きなユーザ定義時点が指定されなければ、発信システムは、指定された再生システムよりも測定された遅延に対応する時間間隔だけ前に、再生を開始する。発信システムは、指定された再生システムに、同期再生を開始するときを知らせる信号を送る。
[0021] 同期再生が、ユーザ・コマンドによって、指定された再生（即ち、受信）システムにおいて開始される場合、指定された再生システムが、それとリモート・システムの各々との間の遅延を決定し、リモート・システム毎に再生開始時刻を計算し、測定された遅延に対応する時間間隔だけ先にストリーミングを開始するために、各リモート・システムにトリガ・メッセージを送る。つまり、測定された遅延が最も大きいリモート・システムが最初にストリーミングを開始し、次いで、２番目に遅延が大きいシステムが続く等というようにして、指定された再生システム自体は、同期再生を最後に開始する。
[0022] ストリーミング・メディアの同期再生を、図１に示す上位ブロック図に例示する。３つのマルチメディア・システム１０２、１０４、および１０６が、ネットワーク１０８を介してデータ通信する。ネットワーク１０８は、ローカル・エリア・ネットワーク、またはインターネットのようなワイド・エリア・ネットワークでもよい。ローカルに格納されたメディアは、各マルチメディア・システム内において、それぞれ、タイムライン１１０、１１２、および１１４によって表される。マルチメディア・システム１０６は、メディアが組み立てられ再生されるシステムとして指定される。
[0023] 再生が開始されると、リモート・システム１０２および１０４は、指定再生システム１０６にサンプルをストリーミングする。図２は、ストリーミングに含まれるステップを示す流れ図である。同期再生のためにストリーミング・メディアを供給するために接続されるリモート再生システム（即ち、発信システム）は、オーディオ・ソース２０２を含む。オーディオ・ソース２０２は、オーディオ・データおよび／またはマイクロフォンのようなソースからの生データを格納することができる。コマンド２０４(OutputCallback)が、発信システムの再生エンジンによって発行される。これは、発信システムに、メディアがストリーミングされる元であるメディア・エンジンのタイムラインに関してサンプルの時間位置を定める時間データのタイム・スタンプを、ストリーミング・メディアの各サンプルに付けさせる（２０６）。このタイム・スタンプは、プレゼンテーション・タイムスタンプと呼ばれる。説明する実施形態では、メディア・データの要求が受けられると、要求されたメディアの再生開始位置からのオフセットが、再生が開始された位置についての情報と共に、送られるデータにプレゼンテーション・タイムスタンプを計算するために使用される。このタイム・スタンプは、６４ビット符号付き整数によって表されるマイクロ秒単位の値とすればよい。この値は、各メディア・パケットに、好ましくは、パケットのペイロード内に含まれる。送るために待ち行列に入れられる（２０８）前に、任意に前処理を受け、例えば、圧縮され（２１０）、次いで指定再生（受信）システムにワイド・エリア・ネットワーク２１４を介してストリーミングされる（２１２）。
[0024] 指定再生システムは、ストリーミング・データを受信し（２１６）、任意の要求される前処理、例えば、伸張を実行し（２１８）、再生のためにデータが要求されたときに、空のバッファを用意して、その中に受信したストリーミング・データをコピーする。受信されたデータは、メディア自体と、メディア・サンプル毎にプレゼンテーション・タイムスタンプを含む。ストリーミング・メディアは、オーディオ再生エンジンの待ち行列に入れられる（２２０）。InputCallbackコマンドが発生すると（２２２）、本システムは、要求されたタイム・スタンプを有するオーディオ・データに対するオーディオ・バッファの要求を扱う（２２４）。このとき、着信バッファ待ち行列を検索して、この待ち行列から要求されたバッファを求め、見つかった場合、それをバッファ待ち行列から除去し、それを適正な時点で再生エンジンに注入して、ローカルに発せられたメディアと同期して、受信したメディア・ストリームを再生する。再生エンジンは、InputCallbackが発生するレートを駆動する（drive)。これは、エンジンのバッファ・サイズに基づく一定レートである。サンプル精度の(sample-accurate)同期再生を行うには、同じプレゼンテーション・タイムスタンプ（各々、それぞれのソース・タイムラインに関して定められる）を有する全てのサンプルが同時に再生されるように、ストリーミングされたサンプルおよびローカル・サンプルを再生する。これによって、再生が、タイムラインによって定められる時間位置に関して同期され続け、送信遅延や利用可能な帯域幅変動の影響を受けないことが確保される。更に、例えば、離れてストリーミングされるメディアの再生を同期させるときにローカル・クロックが使用される場合のように、タイミング誤差が蓄積する余地(scope)がない。同期されたメディア・ストリームのオーディオ出力は、次いで、音響宛先２２６に送られる。音響宛先２２６は、増幅器およびスピーカのような生音響出力デバイス、または記録デバイスでもよい。
[0025] 図１は、プレゼンテーション時刻ｔ０において、即ち、指定再生システム１０６の再生ヘッド（またはスクラブ・バー(scrub bar)１１６が時刻＝ｔ０にあるときに行われる再生を示す。この時点において、システム１０６はローカル・サンプル１１８を再生し、更に接続されたマルチメディア・システム１０２および１０４からそれぞれ既に受信しバッファしてあるサンプル１２０および１２２を再生エンジンに注入する。システム１０２および１０４は、各々、そのソース・タイムラインに関してタイム・スタンプｔ０を有する。また、この図は、再生システム１０６がｔ０のタイム・スタンプに対応する３つのサンプルを同期して再生している間に、システム１０２がどのようにタイム・スタンプｔ１に対応するサンプル１２４をストリーミングしているのか、そしてシステム１０４がどのように時刻ｔ２に対応するサンプル１２６をストリーミングしているのかについても示す。時刻ｔ１およびｔ０の間の間隔、ならびに時刻ｔ２およびｔ０の間の間隔は、システム１０２および１０４の各々と再生システム１０６との間における既知の送信遅延に等しくなるようにまたは超過するように選択される。これらのサンプルは、システム１０６の再生ヘッドがプレゼンテーション時刻ｔ１およびｔ２に達するときにそれぞれ再生される。
[0026] マルチメディア・システム１０６からの同期再生の出力は、記録または保管のために、ラウドスピーカ１２８および／またはストレージ１３０に導かれる。
[0027] 本明細書において説明した同期ストリーミングは、種々の制作設定において使用することもできる。タレント・キャプチャ(talent capture)の間、オーディオおよび／またはビデオがキャプチャされる１つの位置にタレントがいるのでもよい。主要記録スタジオは他の場所にあってもよく、ここに技術者、プロデューサ、およびディレクタがいて、ディジタル・オーディオ・ワークステーションのようなメディア編集システムを使用して同期再生が行われる。主要スタジオは、再生(backing)オーディオ・トラックおよび／またはビデオを、タレントの演技の基礎として使用するために、タレントに送る。すると、タレントは、これらのトラックを聞きながらおよび／または見ながら演技を行い、以上で説明した方法を使用して、その演技を主要スタジオにストリーミングし、主要スタジオにおいて、ローカルに格納されたメディアと同期してその演技が再生される。
[0028] リモート・ミキシングという用途では、２つ以上のスタジオが、最終ミキシングが制作される主要スタジオから離れて位置する。リモート・スタジオからのソースは、主要スタジオにストリーミングされ、主要スタジオにおいて、ローカル・メディアおよび離れてストリーミングされたメディアが、本明細書において説明したように同期して再生され、ミキシングされる。典型的なミキシング／ダビング段階では、３つのソース・システム、即ち、音楽、エフェクト、およびダイアログがあり、これらはストリーミングされ同期して再生される。
[0029] また、同期メディア・ストリーミングは、メディア制作ワークフローの見直しおよび承認フェーズの間も使用することができる。例えば、プロデューサまたはディレクタが、主要なミキシングまたはダビング・ステージから離れて位置する場合、現在の制作状態を見直す必要があったり、または恐らく編集された特定の一面を単に見直せばよい場合もある。ディレクタまたはプロデューサは、編集されたコンポーネントを受信し、以前に受信したコンポーネントおよび現行のコンポーネントとそれを同期させ、それを再生することができる。共通の状況において、仕上げられたビデオおよび元のサウンド・ソースは既にディレクタのシステムまたはプロデューサのシステムに存在し、ビデオと同期させて見直すために、最終的なオーディオ・ミキシングが彼らにストリーミングされる。
[0030] 本明細書において説明した同期ストリーミング・メディア再生を実行するシステムの種々のコンポーネントは、汎用コンピュータ・システムを使用するコンピュータ・プログラムとして実現することができる。このようなコンピュータ・システムは、通例、情報をユーザに表示する出力デバイスと、ユーザからの入力を受ける入力デバイスとの双方に接続された主要ユニットを含む。この主要ユニットは、通常、相互接続メカニズムを介してメモリ・システムに接続されたプロセッサを含む。入力デバイスおよび出力デバイスも、相互接続メカニズムを介してプロセッサおよびメモリ・システムに接続される。
[0031] １つ以上の出力デバイスが、コンピュータ・システムに接続されてもよい。出力デバイスの例には、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、視聴者用めがねを必要とするディスプレイおよびめがねが不要のディスプレイを含む種々の立体視ディスプレイ、陰極線管、ビデオ制作システムおよび他のビデオ出力デバイス、プリンタ、ネットワーク・インターフェース・デバイス、ケーブル・モデムを含む低または高帯域幅ネットワークを介して通信するデバイス、ならびにディスクまたはテープのような記憶デバイスが含まれるが、これらに限定されるのではない。１つ以上の入力デバイスが、コンピュータ入力に接続されてもよい。入力デバイスの例には、キーボード、キーパッド、トラック・ボール、マウス、ペンおよびタブレット、タッチスクリーン、カメラ、通信デバイス、ならびにデータ入力デバイスが含まれるが、これらに限定されるのではない。本発明は、コンピュータ・システムと組み合わせて使用される特定の入力または出力デバイスや、本明細書において説明したものに限定されるのではない。
[0032] 前述のコンピュータ・システムは、コンピュータ・プログラミング言語、スクリプティング言語、またはアセンブラ言語でも用いてプログラム可能な汎用コンピュータ・システムとすることができる。また、コンピュータ・システムは、特別にプログラムされた、特殊目的ハードウェアであってもよい。汎用コンピュータ・システムでは、プロセッサは通例市販のプロセッサである。また、汎用コンピュータは、通例、オペレーティング・システムを有し、このオペレーティング・システムが他のコンピュータ・プログラムの実行を制御し、スケジューリング、デバッギング、入力／出力制御、アカウンティング、コンパイル、ストレージ割り当て、データ管理およびメモリ管理、ならびに通信制御および関係するサービスを提供する。コンピュータ・システムは、ローカル・ネットワークおよび／またはインターネットのようなワイド・エリア・ネットワークに接続することができる。接続されたネットワークは、コンピュータ・システムにおよびコンピュータ・システムから、コンピュータにおける実行のためのプログラム命令、ビデオ・データ、静止画像データ、またはオーディオ・データというようなメディア・データ、メタデータ、メディア複合体についての見直しおよび承認情報、メディア注釈、ならびに他のデータを送ることができる。
[0033] メモリ・システムは、通例、コンピュータ読み取り可能媒体を含む。この媒体は、揮発性または不揮発性、書き込み可能または書き込み不可能、および／または再書き込み可能または再書き込み不可能であってもよい。メモリ・システムは、通例では二進形態のデータを格納する。このようなデータは、マイクロプロセッサによって実行すべきアプリケーション・プログラム、あるいはディスクに格納されておりアプリケーション・プログラムによって処理する情報を定めることができる。本発明は、特定のメモリ・システムには限定されない。時間ベース・メディアは、磁気、光、またはソリッド・ステート・ドライブに格納され、これらから入力されてもよい。これらのドライブは、ローカルまたはネットワーク取り付けディスクのアレイを含むこともできる。
[0034] 本明細書において説明したようなシステムは、ソフトウェアまたはハードウェアまたはファームウェア、あるいはこれら３つの組み合わせで実現することができる。本システムの種々のエレメントは、個別でもまたは組み合わせても、１つ以上のコンピュータ・プログラム製品として実現することができ、コンピュータによる実行のために、コンピュータ・プログラム命令がコンピュータ読み取り可能媒体に格納されるか、あるいは接続されたローカル・エリア・ネットワークまたはワイド・エリア・ネットワークを介して、コンピュータ・システムに移される。プロセスの種々のステップは、このようなコンピュータ・プログラム命令を実行するコンピュータによって実行することができる。コンピュータ・システムは、マルチプロセッサ・コンピュータ・システムであってもよく、またはコンピュータ・ネットワークを通じて接続されている複数のコンピュータを含んでもよい。本明細書において説明したコンポーネントは、コンピュータ・プログラムの別個のモジュールであってもよく、または別個のコンピュータにおいて動作可能とすることができる、別個のコンピュータ・プログラムであってもよい。これらのコンポーネントによって生成されるデータは、メモリ・システムに格納し、搬送波信号のような種々の通信媒体によって、コンピュータ・システム間で送信することができる。
[0035] 以上、実施形態の一例について説明したが、以上のことは単なる例示であって限定ではなく、一例として紹介したに過ぎないことは、当業者には明白なはずである。複数の変更および他の実施形態も、当業者の範囲内に入り、本発明の範囲に該当すると考えられる。

Claims (16)

  1. 方法であって、
    時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、
    前記第２システムを同期メディア再生に指定するステップと、
    前記第２システムにおいて、
    前記データ接続を介して、前記第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、前記第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第１複数のメディア・サンプルの各サンプルにタイム・スタンプされ、前記第１システムにおける所定の再生開始時刻からの前記時間的オフセットが、前記第１複数のメディア・サンプルを含む前記時間ベース・メディアのストリームのタイムラインに関して前記各サンプルの時間位置を定める、ステップと、
    前記第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、前記第２システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第２複数のサンプルの各サンプルにタイム・スタンプされ、前記第２システムにおける所定の再生開始時刻からの前記時間的オフセットが、前記第２複数のメディア・サンプルを含む前記第２時間ベース・メディア・トラックのタイムラインに関して前記各サンプルの時間位置を定める、ステップと、
    同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、前記第１複数のサンプルおよび前記第２複数のサンプルを再生することによって、前記第１時間ベース・メディア・トラックを前記第２時間ベース・メディア・トラックと同期させて再生するステップと、
    を含む、方法。
  2. 請求項１記載の方法であって、更に、
    前記データ接続を介したデータ送信遅延を推定するステップを含み、
    少なくとも前記推定されたデータ送信遅延の間隔だけ、前記同期再生が、前記第１システムにおける再生に関して遅延される、方法。
  3. 請求項２記載の方法において、前記第１システムのユーザが前記同期再生を開始し、前記第１システムが前記データ送信遅延を推定する、方法。
  4. 請求項２記載の方法において、前記第２システムのユーザが前記同期再生を開始し、前記第１システムが前記データ送信遅延を推定する、方法。
  5. 請求項１記載の方法において、前記第１および第２システムの内少なくとも１つが、時間ベース・メディア編集能力を含む、方法。
  6. 請求項１記載の方法において、前記再生するステップが、所与のプレゼンテーション・タイムに対応する前記第１システムからのサンプルが、前記所与のプレゼンテーション・タイムに対応するメディアの前記第２システムにおける再生よりも前に、前記第２システムにおいて受信され終えているように、遅延を伴って実行される、方法。
  7. 請求項１記載の方法であって、更に、
    前記第２システムにおいて、別のデータ接続を介して、時間ベース・メディアを再生する第３システムから、第３時間ベース・メディア・トラックを表す第３複数のサンプルを受信するステップであって、前記第３システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第３複数のメディア・サンプルの各サンプルにタイム・スタンプされる、ステップと、
    前記第３複数のサンプルの内、前記第１および第２複数のサンプルのプレゼンテーション・タイムと同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、前記第３複数のサンプルを再生することによって、前記第１および第２時間ベース・メディア・トラックと同期させて、前記第３時間ベース・メディア・トラックを再生するステップと、
    を含む、方法。
  8. 請求項７記載の方法において、前記第２システムにおける再生が、所与のプレゼンテーション・タイムに対応する前記第１および第３システムからのサンプルが、前記所与のプレゼンテーション・タイムに対応するメディア・サンプルの前記第２システムにおける再生よりも前に、前記第２システムにおいて受信され終えているように、遅延を伴って実行される、方法。
  9. 請求項７記載の方法であって、更に、
    前記データ接続を介した第１データ送信遅延を推定するステップと、
    前記別のデータ接続を介した第２データ送信遅延を推定するステップと、
    前記第１および第３システムからのメディア・サンプルが、前記第２システムにおいて再生のために要求されるよりも前に、前記第２システムにおいて受信されるように、前記第２システムにおいて再生を開始するよりも前に、前記第１および第３システムの各々において再生を開始するステップと、
    を含む、方法。
  10. 請求項７記載の方法において、前記第２システムが、非線形ビデオ編集システムを含む、方法。
  11. 請求項７記載の方法において、前記第１および第３システムの内少なくとも１つが、非線形ビデオ編集システムを含む、方法。
  12. 請求項７記載の方法において、前記第１および第３システムの内少なくとも１つが、デジタル・オーディオ・ワークステーションを含む、方法。
  13. 請求項７記載の方法において、前記第２システムにおける同期再生が、前記第１システムのユーザによって開始される、方法。
  14. 請求項９記載の方法において、前記第１および第２データ送信遅延の推定が、前記第１システムによって実行される、方法。
  15. 請求項９記載の方法において、前記第２システムにおける同期再生が、第２システムのユーザによって開始され、前記第２システムが、前記第１および第２データ送信遅延の推定を実行する、方法。
  16. システムであって、
    コンピュータ読み取り可能命令を格納するメモリと、
    前記メモリに接続されたプロセッサと、
    を含み、前記プロセッサが、前記コンピュータ読み取り可能命令を実行すると、同期再生方法を前記システムに実行させ、前記方法が、
    時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、
    前記第２システムを同期メディア再生に指定するステップと、
    前記第２システムにおいて、
    前記データ接続を介して、前記第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、前記第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第１複数のメディア・サンプルの各サンプルにタイム・スタンプされ、前記第１システムにおける所定の再生開始時刻からの前記時間的オフセットが、前記第１複数のメディア・サンプルを含む前記時間ベース・メディアのストリームのタイムラインに関して前記各サンプルの時間位置を定める、ステップと、
    前記第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、前記第２システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第２複数のサンプルの各サンプルにタイム・スタンプされ、前記第２システムにおける所定の再生開始時刻からの前記時間的オフセットが、前記第２複数のメディア・サンプルを含む前記第２時間ベース・メディア・トラックのタイムラインに関して前記各サンプルの時間位置を定める、ステップと、
    同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、前記第１複数のサンプルおよび前記第２複数のサンプルを再生することによって、前記第１時間ベース・メディア・トラックを前記第２時間ベース・メディア・トラックと同期させて再生するステップと、
    を含む、システム。
JP2014173799A 2013-08-29 2014-08-28 メディア・ストリームの同期再生を行う相互接続マルチメディア・システム Active JP6486628B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/013,384 2013-08-29
US14/013,384 US9653117B2 (en) 2013-08-29 2013-08-29 Interconnected multimedia systems with synchronized playback of media streams

Publications (2)

Publication Number Publication Date
JP2015057882A JP2015057882A (ja) 2015-03-26
JP6486628B2 true JP6486628B2 (ja) 2019-03-20

Family

ID=51453617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014173799A Active JP6486628B2 (ja) 2013-08-29 2014-08-28 メディア・ストリームの同期再生を行う相互接続マルチメディア・システム

Country Status (3)

Country Link
US (1) US9653117B2 (ja)
EP (1) EP2843663A1 (ja)
JP (1) JP6486628B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708328B2 (en) * 2014-03-17 2020-07-07 Intel Corporation Hardware assisted media playback and capture synchronization
US10587693B2 (en) * 2014-04-01 2020-03-10 Sonos, Inc. Mirrored queues
US9665341B2 (en) 2015-02-09 2017-05-30 Sonos, Inc. Synchronized audio mixing
CN106412646B (zh) 2015-07-27 2020-06-02 中兴通讯股份有限公司 一种实现同步播放的方法和装置
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
US11416209B2 (en) 2018-10-15 2022-08-16 Sonos, Inc. Distributed synchronization
US11184288B2 (en) 2019-01-11 2021-11-23 Arista Networks, Inc. System and a method for controlling timing of processing network data
CN113934883A (zh) * 2021-10-13 2022-01-14 北京图安世纪科技股份有限公司 一种多类型数据同步回放展示方法与装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594688B2 (en) * 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US6134379A (en) 1997-03-20 2000-10-17 Avid Technology, Inc. Method and apparatus for synchronizing devices in an audio/video system
KR100973862B1 (ko) * 2002-09-25 2010-08-03 파나소닉 주식회사 재생장치, 광 디스크, 기록매체, 재생방법
JP2004120440A (ja) * 2002-09-26 2004-04-15 Toshiba Corp サーバー装置及びクライアント装置
US8009966B2 (en) * 2002-11-01 2011-08-30 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
JP2004254149A (ja) * 2003-02-21 2004-09-09 Nippon Telegr & Teleph Corp <Ntt> データ伝送制御方法およびシステム
US8190680B2 (en) * 2004-07-01 2012-05-29 Netgear, Inc. Method and system for synchronization of digital media playback
JP4182437B2 (ja) * 2004-10-04 2008-11-19 ソニー株式会社 オーディオビデオ同期システム及びモニター装置
JP4718275B2 (ja) * 2005-08-26 2011-07-06 三菱電機株式会社 複数メディアの同期再生システム及び同期再生方法
JP2007158461A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 情報再生装置及び情報再生方法
US8082571B2 (en) * 2006-06-05 2011-12-20 Palo Alto Research Center Incorporated Methods, apparatus, and program products to close interaction loops for social tv
US8224147B2 (en) 2007-04-15 2012-07-17 Avid Technologies, Inc. Interconnected multimedia systems with synchronized playback
US8818172B2 (en) * 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
WO2011014772A1 (en) * 2009-07-31 2011-02-03 Citizenglobal Inc. Systems and methods for content aggregation, editing and delivery
JP2012015958A (ja) * 2010-07-05 2012-01-19 I-O Data Device Inc コンテンツ再生システム
BR112014003343B1 (pt) * 2011-08-12 2022-06-21 Samsung Electronics Co., Ltd Aparelho de recepção e método de recepção do mesmo

Also Published As

Publication number Publication date
US9653117B2 (en) 2017-05-16
JP2015057882A (ja) 2015-03-26
EP2843663A1 (en) 2015-03-04
US20150063774A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
JP6486628B2 (ja) メディア・ストリームの同期再生を行う相互接続マルチメディア・システム
JP6219858B2 (ja) 同期されたコンテンツの分散型制御
DK2603986T3 (en) SYSTEM AND PROCEDURE FOR SYNCHRONIZED PLAYING OF DIGITAL CONTENT STREAMING
TWI443582B (zh) 用於數位媒體處理介面之電腦可讀取媒體
US8819185B2 (en) Streaming internet video editing and composite edit playback
US20080304573A1 (en) Capturing media in synchronized fashion
JP2004343756A5 (ja)
WO2017005098A1 (zh) 一种实现视频流快进或快退的方法及装置
US20190019533A1 (en) Methods for efficient annotation of audiovisual media
JP5117264B2 (ja) 再生同期を備えた相互接続マルチメディア・システム
US20160225407A1 (en) Full fidelity remote video editing
US20130060925A1 (en) Content distribution system, content distribution server, content distribution method, software program, and storage medium
US11962834B2 (en) Synchronized playback within a client interface utilising web technologies
JP2008270908A (ja) 情報処理装置、その制御方法、プログラム、記憶媒体
JP2015501018A5 (ja)
CN114697712B (zh) 一种媒体流的下载方法、装置、设备及存储介质
US20190394539A1 (en) Systems and methods for proximal multimedia event synchronization
US11528307B2 (en) Near real-time collaboration for media production
JP2006191186A (ja) コンテンツの再生システム、再生装置、再生方法、及び配信サーバ
JP7220859B2 (ja) 超短メディアコンテンツを交換するシステムおよび方法
JP5899738B2 (ja) 情報処理システム、情報処理装置及び情報処理プログラム
WO2018173312A1 (ja) 仮想現実視聴システム、再生同期方法および仮想現実視聴用プログラム
JP2021090118A5 (ja)
CN112188258B (zh) 暂停同步方法及装置、存储介质、用户端、多设备播放系统
JP4600891B2 (ja) Ａｖ装置、及びａｖ装置における放送録画方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190220

R150 Certificate of patent or registration of utility model

Ref document number: 6486628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250