JP6919904B2 - ネットワーク環境におけるデータ処理を改善するシステムおよび方法 - Google Patents

ネットワーク環境におけるデータ処理を改善するシステムおよび方法 Download PDF

Info

Publication number
JP6919904B2
JP6919904B2 JP2018555200A JP2018555200A JP6919904B2 JP 6919904 B2 JP6919904 B2 JP 6919904B2 JP 2018555200 A JP2018555200 A JP 2018555200A JP 2018555200 A JP2018555200 A JP 2018555200A JP 6919904 B2 JP6919904 B2 JP 6919904B2
Authority
JP
Japan
Prior art keywords
data
file
base
difference
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555200A
Other languages
English (en)
Other versions
JP2019515378A (ja
JP2019515378A5 (ja
Inventor
サヴェノク,アレクサンダー
サヴェノク,パヴェル
リークリー,グレゴリー,エイチ.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vertigo Media Inc
Original Assignee
Vertigo Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/407,192 external-priority patent/US10198777B2/en
Application filed by Vertigo Media Inc filed Critical Vertigo Media Inc
Priority claimed from PCT/US2017/028908 external-priority patent/WO2017185014A1/en
Publication of JP2019515378A publication Critical patent/JP2019515378A/ja
Publication of JP2019515378A5 publication Critical patent/JP2019515378A5/ja
Application granted granted Critical
Publication of JP6919904B2 publication Critical patent/JP6919904B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments
    • G06F16/1756De-duplication implemented within the file system, e.g. based on file segments based on delta files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/04Payment circuits
    • G06Q20/06Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme
    • G06Q20/065Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme using e-cash
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/384Payment protocols; Details thereof using social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/386Payment protocols; Details thereof using messaging services or messaging apps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/18Legal services
    • G06Q50/184Intellectual property management
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1061Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1063Discovery through centralising entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1845Arrangements for providing special services to substations for broadcast or conference, e.g. multicast broadcast or multicast in a specific location, e.g. geocast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • Technology Law (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Bioethics (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

関連出願
本米国特許出願は、米国特許商標庁(USPTO)に2016年4月22日に出願された米国仮特許出願第62/326,428号の優先権を主張する出願であって、USPTOに2017年1月16日に出願された特許出願第15/407,192号の一部継続出願である。両特許出願明細書はここに援用するものとする。
本発明は全体としてはモバイル用アプリケーションのソフトウェアツールを活用するためにネットワーク内に配置したサーバーにおける保存データの冗長性を低減するネットワーク化モバイル用の通信装置によって代表されるように、ネットワーク化コンピュータによって相互利用あるいは協同運用可能なモバイル用アプリケーションに特徴のあるソフトウェアツール、および送信側と受信側間の改善したデータ送信に関する。具体的には、本発明のモバイル用アプリケーションとして特徴を持つソフトウェアツールを使用すると、デジタル保存時のデータ冗長性を改善し、かつデータ送信性能を改善し、システムおよび対応する方法の効率を最大化した状態で、ユーザーが選択した、あるいはユーザーが作るコンテンツをユーザーがリアルタイムで共有でき、かつ消費できると同時に、メディアコンテンツを共有でき、かつ消費できることが可能になる。
本明細書のシステムおよび方法はいくつかの主要な対象領域を有する。例示すると、PCMパッチング、PCM保存、ベースファイルマッチング、PCM差分データ再生、マルチポートデータ配信、360ビデオ配信、および映像・音楽の同期を挙げることができる。本発明システムおよび方法のPCMパッチング態様またはPCM処理態様は、本明細書の中心的な課題であり、主にPCM関連コンテンツの保存に焦点を合わせた保存システム内の冗長PCMデータを低減する動作を行う。本明細書記載のPCMパッチングアプリケーションまたはPCM処理アプリケーションの場合、2つの比較可能なファイルが必要であり、ローPCM(RAW PCM:生のPCMデータ)に保存するか、あるいはPCMに復号する圧縮形態で保存するかのいずれかである。必要な場合には、ファイルを解凍し、ローPCMデータを出力する。
次に、PCMデータの出力サンプルを比較し、両者の値の差分を算出する。類似性がきわめて高いPCMデータを有するファイルでは、PCM値間差分が比較的小さく、かなり余裕を持ってデータ比較を行うことになる。標準的な圧縮技術を実行すると、いわゆる“diff”即ちデータ差分ファイルのサイズを元の圧縮ファイルサイズの60〜70%まで小さくできる。PCM値間の差分を“diff”ファイルに保存し、次に圧縮器(compression appliance:圧縮アプライアンス)に通す。次に、“diff”ファイルを使用して、PCMデータの“diff”から第1または第2の比較ファイルのいずれかのPCMデータをロスなく再現できる。
本明細書のPCM保存システムは、ベースファイルを“diff”ファイルのうちのPCMファイルの複数の“diff´s”に関連付けてマッピングすることによって動作する。“diff”ファイルは、ベースファイルと元のアップロードされたファイルとの間のPCMデータ差分を保存するファイルである。同じプログラムが使用可能なクライアントからリクエストが来ると、保存システムがベースファイルおよび“diff”ファイルのデータをクライアントに戻し、クライアントがこのデータを使用して元のファイルのPCMデータを再生する。
システムがベースファイルとは別に“diff”の保存および生成をする前に、まずファイル(例えばオーディオ)のフィンガープリント生成機構またはファイル識別機構を使用して適合可能性のある“diff´s”に関連付けのマッピングをする。アップロードされたファイルと同様なフィンガープリントまたはファイル識別子をもつすべてのベースファイルが、ベースファイルの候補として可能性を持つ。最適のベースファイルを識別するためには、システムが(a)すべてのベースファイルから分けた“diff´s”を発生し、そして(b)“diff”サイズを既に確定されている閾値と比較する。すべての“diff´s”が閾値を超えている場合、アップロードされたファイルがベースファイルになる。一つかそれ以上の“diff´s”が閾値未満の場合には、最も小さい“diff”ファイルが保存され、かつ元のファイルが削除される。本発明のPCM“diff”システムのオーディオ再生の場合、以下のステップが必要である。(a)ベースファイルをPCMデータに復号するステップ、(b)ベースファイルのPCMデータを“diff”ファイルからのデータでパッチングするステップ、そして(c)パッチングされたPCMデータファイルをオーディオ再生に送るステップ。
本発明のシステムおよび方法ではさらに、画像データおよびオーディオデータ伝送を改善するために複数のTCPポートまたは複数のUDPポートを利用する。第1ポートまたはプライマリーポートについては、放送側クライアントが利用できる最も低いクォリティーを送信する基本的なベースクォリティーの伝送に特化する。本システムおよび本方法はさらに、基本となるベースクォリティーの“diff´s”として送られる基本となるベースクォリティーのデータよりも高いクォリティーのデータを伝送する複数の付加的な即ちセカンダリーポートを専用する。受信側クライアントが、セカンダリーポートを介して伝送される“diff”データを第1のプライマリー即ち基本となるベースデータポートを介して伝送されるベースデータと結合し、ベースクォリティーメディアよりも高いクォリティーの出力を再生する。
別な態様では、本発明システムおよび方法は360ビデオ出力のキューブマッピング方法(cube mapping methods:周囲の環境を反射する正方形テクスチャ)を組み込むか、これを基本として利用するものである。本発明のキューブマッピングフォーマットでは、キュービックビューポイントの面毎に一意的なフレームを送り出す。即ち、360度ビデオの場合、画像毎に6つの一意的なフレームまたはキューブ面を対象として観察する。上記のように、ベースクォリティーポートおよびクォリティーを強化する“diff”のための付加的なセカンダリーポートを含める専用セットのTCPポートまたはUDPポートを有する一意的なデータストリームにそって一意的な画像フレームまたは面のそれぞれを送る。付加されたセカンダリーポートが、ベースクォリティーデータと中位/高位クォリティーデータの“diff”を伝送する。
受信側クライアントにおけるクライアントアプリケーションが、ベースクォリティーデータのみを使用するか、もしくは観察者がどの方向を向いているかに基づいて、あるいはどのキューブ面が主であるか、即ちプライマリーであるかに基づいてより高位のクォリティーデータを使用するかを決定する。これは、クライアントが常にベースクォリティーでキューブのすべての面をストリームとして流すことができ、観察者が透視面を変えるようにしてフレームを確実に捉えてロードできることを意味する。または、付加的なクォリティーデータを選択的に加えると、ユーザーが現在見ているビューのクォリティーを考えられる最も高いクォリティーに確実に上げることができる。選定したデータストリームについては、オーディオデータを含むように指定することができる。オーディオデータを有するビデオストリームを使用して音楽を加えることが好ましく、あるいは並列した専用のTCPポートセットまたはUDPポートセットでオーディオストリームを別々に配信することも可能である。
本発明の他の目的、並びに本発明の具体的な特徴、要素および作用効果については、明細書の開示を補強する添付図面を参照して行う説明から明らかになるはずである。
並列構成の第1データファイルおよび第2データファイルを示す概略図であり、第1データファイルのサイズおよび形状が第2データファイルとは異なっている状態を示すものである。 データファイル保存機構に配置した並列構成の第1データファイルおよび第2データファイルを示す概略図であり、第1データファイルおよび第2データファイルそれぞれは冗長性サイズおよび形状が同じか、あるいは高位の大きなサイズおよび形状部分を有する状態を示すものである。 並列構成の第1データファイルおよび第2データファイルを示す概略図であり、(a)サイズおよび形状が第2データファイルとは異なる第1データファイルの態様、および(b)サイズおよび形状が第2データファイルと同様な、あるいは冗長的な第1データファイルを示すものである。 第1データファイルと第2データファイルとの間のデータ(サイズおよび形状)差分を示す概略図である。 単純な正方形として示される同じサイズおよび形状のデータファイル要素、およびデータファイル保存機構に設けられる以外は図1Bと同様な三角形として表される第1データファイルと第2データファイルとの間のデータ差分を示す概略図であり、データ冗長性の低減を比較するものである。 本発明のPCM(パルス符号変調)パッチングシステムおよびプロセスを示すフローチャート図である。 本発明のデータ保存システムおよびプロセスを示すフローチャート図である。 本発明の第1の代替的なデータ検索/リターンシステムおよびプロセスを示すフローチャート図である。 本発明の第2の代替的なデータ検索/リターンシステムおよびプロセスを示すフローチャート図である。 本発明のベースファイルマッピングシステムおよびプロセスを示すフローチャート図である。 本発明のPCMデータ差分再生システムおよびプロセスを示すフローチャート図である。 それぞれ本発明のシステムおよびプロセスに従ってマルチポートデータ伝送構成を装備した送信側クライアントおよび受信側クライアントを示すフローチャート図である。 本発明のシステムおよびプロセスに従ってマルチポートデータ伝送構成を装備し、(a)ベースクォリティーポートを介して伝送された(1)ベースクォリティーフレームデータを(i)第1セカンダリーポートを介して伝送された中位クォリティーデータフレームまたは(ii)第2セカンダリーポートを介して伝送された高位クォリティーフレームデータのいずれかと選択的に結合し、そして(b)(1)中位クォリティーフレームを出力して再生を行うか、あるいは(2)高位クォリティーフレームを出力して再生を行う受信側クライアントを示すフローチャート図である。 黒ドットでマークしたビューポイントを示す概略斜視図で、このビューポイントに対して90度間隔で設けた物体を示すものである。 太線で強調した内部キューブの第1面を備えた内部キューブを示すために拡大したビューポイントを示す概略斜視図で、対応する球面領域を示すものである。 シーン内の各物体に対向する一連のキューブ面を元のビューポイントで重ねた内部キューブ以外は図9に示すシーンの概略斜視図である。 元のビューポイントから見た以外は図9および図11に示すシーンの概略ネット図である。 キューブマッピングデータが相互に伝送される送信側クライアントおよび受信側クライアントを示すフローチャート図で、キューブマッピングデータがキューブマッピングプロトコルのキューブ面毎にデータを有し、このキューブ面毎のデータがベースクォリティーポートおよびこのベースクォリティーよりも高位の少なくとも一つのセカンダリーポートを有するマルチポート構成によって伝送される状態を示し、選択したキューブ面のサイズを他のキューブ面よりも拡大し、第1の代替的なビデオ兼オーディオ伝送チャネルおよび第2の代替的な別なオーディオ伝送チャネルを示すものである。
添付図面を参照して本発明をより具体的に説明する。基本的に、本発明はパルス符号変調(PCM)のパッチングまたは処理システムおよび方法を提供するものである。PCMのパッチングは基本中の基本であるコンピュータで実行されるアプリケーションを基礎にしたシステムであり、対応するアルゴリズムでPCM関連コンテンツの保存を適用対象としたデジタル保存システム内の不要で冗長なPCMデータを低減するシステムである。包括する一般的なPCM保存装置については、添付図面の一部に概略を示し、かつ参照符号20で示す。
比較として参照する概略図である図1Aおよび図1Bにおいて、参照符号16は第1PCMデータファイル、参照符号17は第2PCMデータファイル、参照符号20はPCMデータ保存システムである。第1PCMデータファイル16および第2PCMデータファイル17については、矢印18で示すように保存システム20内に設けた場合、比較から理解できるように、第1PCMデータファイル16および第2PCMデータファイル17が、2つのPCMデータファイル16および17の19および19´で示す正方形部分また正方形要素によって示すように、かなりの量の重畳データを有する。正方形部分19´または正方形要素19´については、正方形部分19または正方形要素19からみて冗長部分とみなすことができる。
比較として参照する概略図である図2A〜図2Cにおいて、参照符号16は第1PCMデータファイル、参照符号17は第2PCMデータファイル、そして参照符号20はPCMデータ保存システムを示す。本発明のデータパッチングおよび処理態様のコアになる考え方によれば、第1PCMデータファイル16および第2PCMデータファイル17は、PCMデータ比較プロセス103で比較するのが好ましく、このプロセス103中に冗長部分(正方形部分19´として示す)を決定し、PCMデータ差分15を出力する。従って、基本的なPCMデータ部分(正方形部分19)およびPCMデータ差分15は、矢印18で示すように、データ保存システム20内に設けることができる。さらに図1Bと図2Cとの比較から、データ冗長性が図1Bよりも図2Cにおいて小さくなっていることが理解できる。なお、冗長性の低減については矢印21で示す。
従って、本発明のPCMパッチングシステムおよび方法を実現するためには、比較を目的として、少なくとも第1メディア(オーディオ)ファイルおよび第2メディア(オーディオ)ファイルを併用する必要がある。第1メディアファイルおよび第2メディアファイルについては、ローPCMデータ(raw PCM data:生のPCMデータ)、あるいはPCMデータに復号する圧縮形態のいずれかで保存するのが好ましい。図3において、第1オーディオファイルを示す第1ローPCMデータファイルは参照符号11で示し、そして第2オーディオファイルを示す第2ローPCMデータファイルは参照符号12で示す。さらに図3において、第1オーディオファイルを示す第1圧縮PCMデータファイルは参照符号13で示し、そして第2オーディオファイルを示す第2圧縮PCMデータファイルは参照符号14で示す。
従って、本発明PCMパッチングシステムおよび方法の場合、第1圧縮PCMデータ(オーディオ)ファイル13および第2圧縮PCMデータ(オーディオ)ファイル14を入力101して、プロセス100で解凍するために、固定的に備え付けた、すなわち非一時的な(non−transitory:非一過性で常備した)コンピュータで実行可能な解凍アプリケーションまたは解凍器(decompression appliance:解凍アプライアンス)を有するのが好ましいと言える。この第1圧縮PCM(オーディオ)ファイル13および第2圧縮PCM(オーディオ)ファイル14はプロセス100で解凍器によって解凍され、全体を明示する前置きとして図3のフローチャートの始めの部分に記載したように、第1ローPCMデータファイル11および第2ローPCMデータファイル12として出力102される。
次に、本発明の実施にとって不可欠と考えられる非一時的にコンピュータで実行可能なPCMデータ比較アプリケーションによってサンプル比較プロセス103などで解凍した出力PCMサンプルまたはデータファイル11および12を比較する。非一時的にコンピュータで実行可能なPCMデータ比較アプリケーションが動作し、(a)それぞれ第1メディアまたはオーディオファイルおよび第2メディアまたはオーディオファイルに対応する入力された第1PCMデータファイル11および第2PCMデータファイル12を比較し、(b)入力された第1PCMデータファイル11/第2PCMデータファイル12間のPCMデータ差分15を計算し、そして(c)第1PCMデータファイル12と第2PCMデータファイル13と間の算出されたPCMデータ差分15をデータ差分ファイルとして出力(105)する。
次に、本発明の非一時的にコンピュータで実行可能なPCMデータを比較するアプリケーションが動作し、(a)出力された算出データ差分15またはデータ差分の圧縮、および(b)この圧縮され、出力された算出データ差分15またはデータ差分ファイルのデータ保存手段20への保存の両者(a)と(b)とを行う。このプロセスはプロセスボックス106に表示される。類似性の強いPCMデータを有するデータファイルにおいて、例えば、256kbsおよび224kbsに圧縮された同じオーディオトラックでファイル比較を行った場合、PCM値間の差分はわずかであり、かなり余裕があること示唆している。余裕があり冗長度が高い場合には、標準的な圧縮アルゴリズムを適用して、データ差分15またはデータ差分ファイルのサイズを元の圧縮ファイルサイズの60〜70%まで小さくできる。データ差分15については、プロセス106などにおける圧縮アルゴリズムの適用時にデータ差分として保存するのが好ましい。
次に、データ差分ファイルまたは“diff”ファイル15を使用すれば、既に比較された第1メディア(オーディオ)ファイルか第2メディア(オーディオ)ファイルのいずれかのPCMデータをロスなく再生できる。従って、本発明のPCMパッチングシステムおよび方法は、さらに非一時的にコンピュータで実行可能なPCMデータの復元アプリケーションを動作可能にすることが好ましく、圧縮され、出力された計算データ差分15またはデータ差分ファイルによって第1PCMデータファイル11および第2PCMデータファイル12で構成した群から選択された選択PCMデータファイルをロスなく再生できる。
なお、PCMデータ復元アプリケーションが動作すると、全体を図3に示すように、復元プロセス108によって、(a)入力された107(i)圧縮第2(オーディオ)ファイルデータおよび(ii)圧縮され、出力された算出データ差分15またはデータ差分ファイルを介して第1PCMデータファイル11を、そして(b)入力された(i)圧縮第1(オーディオ)ファイルデータ23および(ii)圧縮され、出力された算出データ差分15またはデータ差分ファイルを介して第1PCMデータファイル12をロスなく再生または出力109できる。本発明のPCMパッチングシステムおよび方法の場合、例えば、元のファイルのPCMデータのロスなく再生できる上に、元の圧縮ファイルのサイズを60〜70%小さくできる。
本発明の保存システムまたは保存機構20については、ベースファイルデータ24をデータ差分ファイルデータ15にマッピング110するのが好ましい。データ差分ファイル15には、ベースファイル24と最初にアップロードしたメディア(オーディオ)ファイルとの間のPCMデータの差分を保存する。図4を参照して説明すると、最初にアップロードしたファイルの参照符号は“file 2”とすればよい。互いに共用しているクライアント25からリクエストがあると、保存システム20は包括するプロセス112で(a)ベースファイルデータ24および(b)“file2 diff”データ15を戻す。この場合、クライアント25がデータの集まりを使用して、元のファイルのPCMデータを再生する。検索プロセスまたは戻し(または回帰)プロセス112は、例えば図4Aおよび図4Bにそれぞれ112Aおよび112Bで示すような多数の異なる機構を通じて動作する。
本発明の第1の例示的な検索機構または検索プロセス112Aの場合、すべての“diff”ファイルまたはデータ差分ファイル15を、プロセス122でクライアント25にインクレメント(increment:増分的に漸次段階的)に伝送可能になるようなより小さな“diff”ファイルフラグメント45にフラグメント化(fragmentation:細分化)し、再生前にPCMデータをインクレメントにパッチングする。図4Aを参照して説明すると、プロセス検索および戻り機構112Aの場合、非一時的にコンピュータで実行可能なアプリケーションを備えたクライアント24に伝送122するPCM“diff”ファイルフラグメント45およびPCMベースファイルフラグメント46を表し、プロセス123などでPCM“diff”ファイルおよびベースファイルフラグメント45および46を結合する。
本発明の第2の例示的な検索およびリターン機構112Bの場合、シングル・バイナリーストリーム(single binary stream:二進バイナリーデータの単一流れ)49にPCMベースデータ47およびPCM“diff”データ48を戻し、入力124されたPCM“diff”データ47およびPCMベースファイルデータ48を、図4Bに示すように一定かつ交代間隔で混合または結合(セグメント結合データチェーン50のように)する。例えば、バイナリーストリームの第1の100kbはPCMベースファイル47の第1セグメント47(1)を表し、そして連続的な100kbはPCM“diff”ファイル48の第1セグメント48(1)を表す。従って、本システムの場合、100kb毎にPCMベースおよび“diff”データセグメント47/48が交代し、クライアント25に伝送可能126なセグメント−結合PCMデータチェーン50を有する結合PCM“diff”およびベースデータストリーム51として出力125し、このチェーン50においてPCM“diff”およびベースデータ47および48をプロセス127などで抽出することができ、プロセス128などで再結合することができる。シングル・バイナリーデータストリームでの他のデータ伝送方法も可能である。
従って、本発明のPCMパッチングシステムまたは処理システムは、サーバーベース方式(server−based:サーバーをベースにして構成するシステム)のデータファイル装置20から選択データファイルをクライアント25がリクエスト111により開始されて選択PCMデータファイルをロスなく復元できる。ベースデータファイル24および対応する算出データ差ファイル15を圧縮した出力は、サーバーベース方式のデータファイル保存装置20からクライアント25に戻される112。リクエストされた選択データファイルのPCMデータは、プロセス108で参照されて概略図を示すコンピュータで実行される非一時的なデータ復元アプリケーションによってクライアント25で再生される。データを圧縮し算出した差分ファイルデータ15は、フラグメント化し、再生している間にファイルを表すPCMデータをクライアント25にインクレメントにパッチングして送信できるか、あるいはPCMデータは、ベースファイルデータおよび算出データ差分ファイルのデータを圧縮した出力が混合されて、且つ順序よく交互に入れ替えて一列に並べたセグメントを集めたデータ鎖50として集めて送信されるように、シングル・バイナリーストリームで戻すことができる。
図5を参照して説明を続けると、データ差分ファイルまたは“diffs”15を保存し、ベースファイルからこれらを発生する前に、本発明システムおよび方法では、プロセス113として最初にメディアまたはオーディオファイルフィンガープリント(識別)機構のアプリケーションによってデータ差分ファイルまたは“diffs”15を適合可能性のある関連付けにマッピング114する。アップロードされたファイルと同様なフィンガープリント(識別)特性をもつすべてのベースファイルが考えられるベースファイル候補である。最適なベースファイルを識別するために、本発明システムおよび方法では、すべてのベースファイルから“diff”を発生し、各“diff”サイズをクエリプロセス(query process:問合せ処理)などで既に求められている閾値と比較する。すべての“diff”がこの閾値を超えている場合には、アップロードされたファイル27がパスプロセス(path process:経路処理)116でベースファイルになる。一つかそれ以上の“diff”が閾値未満と判定された場合には、最小値の“diff”ファイルを保存し、パスプロセス117などで元のファイルを削除する。
図6を参照して説明を続けると、本発明の“diff”システムおよび方法でメディア再生またはオーディオ再生を行うために、(a)復号プロセス118によってベースファイル28をPCMデータ29に復号するステップ、(b)パッチングプロセス119によって“diff”ファイル15からのデータでベースファイルPCMデータ29をパッチングすることによってパッチングされたPCMデータ出力30(即ち、元のファイルPCM)を形成するステップ、および(c)再生プロセス120などでパッチングされたPCMデータ出力30または元のファイルPCMを送信してメディア再生/オーディオ再生を行うステップが必要である。従って、本システムおよび本方法のファイル再生120については、ベースファイルをベースファイルPCMに復号し、算出PCMデータ差分ファイルデータでベースファイルPCMをパッチングして元のPCMファイルを形成し、パッチングされたベースファイルPCMを送信し、元のPCMファイルとして再生する。
なお、多くのリアルタイムプロトコルの場合、SRTP(Secure Real−time Transport Protocol:セキュアリアルタイムプロトコル)を利用し、クォリティー調節は例えば送信装置にコールバックし、一定のクォリティーを担保することによって行うが、この方法の場合、全体的なクォリティー伝送が低くなる傾向がある。これは、(i)最も遅いクライアントがすべてのクライアントに伝送されるクォリティーを決定することが多く、そして(ii)送信装置が受信側クライアントのデータを遅れることなく受信できる能力に基づいてクォリティーを調節しているからである。
この点を改善するために、本発明システムおよび方法では、図7に全体を示すように、複数のTCP(Transmission Control Protocol:通信制御プロトコル)ポートまたはUDP(User Datagram Protocol:データ通信プロトコル)ポートを利用して、ビデオ/オーディオデータ伝送を行う。図7を参照して説明を続けると、受信側クライアントおよび送信側クライアントはそれぞれ参照符号31および32で示す。本発明システムおよび方法における受信側クライアント32および送信側クライアント32それぞれには、33などで示す基本的なベースTCPまたはUDPポート即ちプライマリーTCPまたはUDPポート構成、および34および/または35などで示す基本的なものよりも高位の少なくとも一つのセカンダリーTCPまたはUDPポート構成を含む、複数のTCPまたはUDPポートを設ける。
このプライマリーTCPまたはUDPポート即ちベースTCPまたはUDPポート33は、送信側クライアント32が送信し、そして受信側クライアント31が利用できる最も低いクォリティーのデータ送信を受信するように、ベースクォリティーの送信に特化されている。本システムはさらに、少なくとも一つの、好ましくは複数の34および/または35などで示す追加したセカンダリーTCPまたはUDPポートを有し、これらポートによって基本的なベースデータよりもより良い高位の追加データを伝送できる。従って、基本のベースTCPまたはUDPポート33に34および35などで示す追加のセカンダリーTCPまたはUDPポート機構は、ベースデータの伝送のクォリティーを向上させるために利用できる。TCPまたはUDPポート34および/または35によるデータ伝送については、図8を比較として説明するように、ベースクォリティーのデータ38の“diff”データ36または37として送信するのが好ましい。
図8を参照すると、受信側クライアント31がプロセス121などで、セカンダリーTCPまたはUDPポート34または35のいずれかによって中位クォリティーの“diff”データ36または高位クォリティーの“diff”データ37のいずれかの“diff”データを組み合わせて、プライマリー即ち基本的なベースTPCまたはUDPポート33のベースデータと結合し、基本的なベースクォリティーよりも高いクォリティーのメディアを39または40などで出力し、120などにおいてオーディオおよびビデオ再生を行うという本願発明の知見を知り得るであろう。“diff”データ36または37およびベースデータ38については、タイムスタンプ(time stamp:データ作成日時)法や(CRC−64やMD5によって例示される)オーディオフレームやビデオフレームのいずれかのバイナリーハッシュ(binary hash)法のいずれかによって同期するのが好ましい。このバイナリーハッシュは、“diff”データ36または37に帰属し、ベースデータ38から発生する。このタイプのシステムでは、送信側クライアント32がよりクォリティーの高いデータを送信できる。セッションを維持するために必要なのは、ベースファイルデータ38のみであるからである。さらに、このシステムの場合、より高いクォリティーの放送を受信できる場合には、受信側クライアント31はセカンダリーポート34および/または35でも受信することが可能である。
従って、ファイルデータについては、少なくとも2つのTCPまたはUDPポートを介して送信側クライアント32と受信側クライアント31との中間にある本発明システムおよび方法によって伝送するのが好ましく、少なくとも2つのTCPまたはUDPポートのうち基本のベースTCPまたはUDPポート33はベースクォリティー伝送に特化し、そして少なくとも一つの34または35などで示す第2のセカンダリーTCPまたはUDPポートはデータ差分ファイルのデータ伝送に特化する。ベースクォリティーのデータ差分ファイルのデータ伝送については、受信側クライアント31で基本的なベースクォリティー出力よりも高く生成するために同期される。ベースクォリティーおよびデータ差分ファイルのデータ伝送については、タイムスタンプ機構か、あるいはバイナリーハッシュ機構のいずれかによって受信側クライアント31で同期するのが好ましく、このバイナリーハッシュ機構はベースクォリティーのデータの発生時にデータ差分ファイルのデータに帰属する。
以下の記載は、以上説明してきた漸進的かつ適応的なクォリティー機構を利用して、以上説明してきたマルチポートのデータ伝送ポートから派生した態様として本発明に包摂される高クォリティーのリアルタイム360ビデオ伝送の低遅延(latency:レイテンシ)を説明する記載である。なお、360度ビデオ再生は画像をつなぎ合わせる(image−stitching:映像連結)手法で行われているが、本発明システムおよび方法の場合、360ビデオを発生するキューブマッピング(cube−mapping:周囲の環境を反射する正方形テクスチャを6つで一組化)手法を利用するのが好ましい。本発明のキューブマッピングフォーマットの場合、40などで示すキュービックビューポイント(cubic viewpoint)のキューブ面41毎に、ということは360ビデオを対象として特別なフレームを送る。即ち、本システムおよび方法では、キューブ面またはフレーム41などで360度の画像毎に6つの特別なフレームを対象とする。
一般的にこの種の画像を単データストリームで送っている状態で、本発明のシステムおよび方法の場合、基本的な、即ちプライマリーTCPまたはUDPポート33およびセカンダリー、即ち34または35などのベース-プラスTCPまたはUDPを始めとする専用のTCPまたはUDPのマルチポートセットを有する特別なデータストリームにそってキューブ40の各面またはフレーム41を送る。図9および図10では、ビューポイント130を検討する。図10を参照して説明すると、強調を施したキューブ面41がキュービックビューポイント40の単ビューを示す。キューブ面41に対応する各単ビューは基本クォリティーの、即ちプライマリーTCPまたはUDPポート33、および上記のようにクォリティーを拡張するために34または35などの付加的なセカンダリーTCPまたはUDPポートを始めとする専用のTCPまたはUDPポートのマルチポートセットを有する。
付加された34および/または35などのセカンダリーTCPまたはUDPポートについては、メディア/高クォリティーに対応していることが好ましい基本的なベースクォリティーデータ38の“diff”データ36または37を伝送する。受信側クライアント31における非一時的にコンピュータで実行可能なクライアントアプリケーションが、基本的なベースクォリティーデータのみを使用すべきか、あるいはより高位のクォリティーデータ(これに基づいてどの方向にビューアを向けるかを、そしてどのキューブ面41を再生するかを決定する)を付加すべきかを決定する。これは、受信側クライアント31が基本クォリティーでキューブ40のすべての面またはフレーム41を常時流し、ビューアのパースペクティブの変更時にフレームをロードすることを担保する。付加的なクォリティーデータを付加すると、ユーザーが常に見ることができるビューを考えられる最も高いクォリティーにおくことができ、これを確実に実行できる。この方法では高位クォリティービューを改善するが、この技術方法に従うと、このキューブ40の6面すなわち全フレーム41の伝送ではなく、選択する僅かのキューブ面のフレーム41のみを必要とした伝送であることに特筆される高品質データの高画質を得る性能向上方法になる。
360ビデオ中の全てのデータは、本発明システムおよび方法にしたがい、異なるポートで伝送されるので、選択面またはフレーム41については、オーディオデータ伝送をさらに含むように特化するのが好ましく、これによって図13に比較的大きな正方形41´で概略を示すように、選択面またはフレーム41とオーディオストリームを結合し、TCPまたはUDPプライマリーポートおよびセカンダリーポートを介して伝送する。オーディオデータを有するストリームを使用すると、米国特許出願第15/407,192号明細書(´192出願明細書と呼ぶ)に詳細に開示されている方法を使用して、音楽を同期および/または再生でき好ましい。上記´192出願明細書の開示内容についてはここに援用するものとする。別なオーディオデータ伝送方法も利用でき、図13に43などで示すように、別な専用のTCPまたはUDPマルチポートセットでオーディオデータパケット42を配信する。いずれも方法も´192出願明細に記載されている方法と併用する。
本発明のPCMパッチングまたは処理システムおよび方法の場合、キューブマッピング機構を介してビデオデータを伝送する。このキューブマッピング機構はキュービックビューポイントの6つのキューブ面を利用して、360度のマップ構成またはパノラマを編集する機構である。各キューブ面に対応するビデオデータについては、送信側/受信側クライアントの中間に基本PCPまたはUDPポートおよび少なくとも一つのセカンダリーTCPまたはUDPポートを介して伝送するのが好ましい。オーディオデータはビデオデータとともに選択的かつ同時的に伝送し、キューブ面またはフレーム41´などで選択のキューブ面ビデオ伝送に付け加えるか、あるいは43などの専用の基本およびセカンダリーTCPまたはUDPマルチポートによってビデオデータに並列伝送すればよい。
以上の説明には多くの特徴が記載されているが、これらは本発明の範囲の限定とみなすべきではない。例えば、本発明の場合、第1にコンピュータ環境内で動作し、データ保存装置内の冗長データを低減するデータ処理システムおよび/または方法を提供することが本質的な態様を提供するものである。本発明のこの態様の体系的実施態様は、その対象中心がサーバーベースのデータ保存装置、第1の非一時的にコンピュータで実行可能なデータ比較アプリケーション、および第2の非一時的にコンピュータで実行可能なデータ圧縮アプリケーションである。
非一時的にコンピュータで実行可能なデータ比較アプリケーションが動作し、(a)それぞれ第1オーディオファイルおよび第2オーディオファイルに対応する入力された第1データファイルおよび第2データファイルを比較し、(b)入力された第1データファイルと第2データファイルとのデータ差分を計算し、そして(c)第1データファイルと第2データファイルとの間の計算されたデータ差分を出力する。非一時的にコンピュータで実行可能なデータ圧縮アプリケーションが動作し、(a)データ差分ファイルを圧縮し、そして(b)データ保存装置にデータ差分ファイルを保存することによって、データ保存装置内のデータ冗長性を低減できる。
第3の非一時的にコンピュータで実行可能なデータ復元アプリケーションが動作し、第1データファイルおよび第2データファイルからなる群からの選択データファイルをデータ差分ファイルによってロスなく再生する。より詳細には、データ復元アプリケーションが作動し、(a)入力された(i)圧縮第2オーディオファイルデータおよび(ii)データ差分ファイルによって第1データファイルおよび(b)入力された(i)圧縮第1オーディオファイルデータおよび(ii)データ差分ファイルをロスなく再生する。所定データファイルのロスのない復元については、リクエスト側クライアントが、サーバーベース(server based:サーバー集約型アプリケーションシステム)のデータ保存装置から選択した選択データファイルをリクエストし、この後サーバーベースのデータ保存装置からベースデータファイルおよびデータ差分ファイルを共にリクエスト側クライアントに戻し、リクエストを受けた選択データファイルのデータをリクエスト側クライアントで再生する。
データ差分ファイルについては、リクエスト側クライアントに対してインクレメントにフラグメント化および配信し、再生されている間に選択データファイルをインクレメントにパッチングするか、あるいはシングル・バイナリーストリームに戻せばよい。後者の場合、ベースデータファイルおよび圧縮され、出力された算出データ差分ファイルを一定間隔で交互に混合し配信送達する。ファイルの再生については、ベースファイルをベースファイルデータに復号し、データ差分ファイルでベースファイルデータをパッチングしてパッチングされたベースファイルを形成し、そしてパッチングされたベースファイルを送り、元のファイルとして再生を行う。
ファイルデータについては、少なくとも2つのデータ伝送ポートによって送信側クライアントおよび受信側クライアントの中間部に伝送するのが好ましく、これら少なくとも2つのデータ伝送ポートのうちの基本になるベースポートはベースクォリティー伝送に特化し、そしてこれら少なくとも2つのデータ伝送ポートのうちの少なくとも一つのセカンダリーポートはデータ差分ファイル伝送に特化する。ベースクォリティー伝送およびデータ差分ファイル伝送については、受信側クライアントで同期し、受信側クライアントでベースクォリティーファイルおよび“diff”ファイル同期ツールによって基本クォリティーよりも高いクォリティー出力を出力することが好ましい。
方法論的観点からみれば、本発明はデータ保存装置内の冗長データを低減するデータ処理方法またはデータパッチング方法を提供するものである。パッチング方法については、本質的に、それぞれ第1オーディオファイルおよび第2オーディオファイルに対応する第1データファイルおよび第2データファイルをコンピュータで実行する非一時的なデータ比較アプリケーションに入力するステップ、コンピュータで実行する非一時的なデータ比較アプリケーションによって入力された第1データファイルおよび第2データファイルを比較するステップ、コンピュータで実行する非一時的なデータ比較アプリケーションによって比較された第1データファイルおよび第2データファイルとの間のデータ差分を計算するステップ、およびコンピュータで実行する非一時的なデータ比較アプリケーションによってデータ保存装置に算出データ差分をデータ差分ファイルとして出力するステップを有する。
データ差分ファイルについては、コンピュータで実行する非一時的なデータ圧縮アプリケーションによって圧縮することができることが好ましく、第1データファイルおよび第2データファイルで構成される群からの選択データファイルについては、コンピュータで実行する非一時的なデータ復元アプリケーションによってロスなく復元することができ、この選択データファイルは圧縮されたデータ差分ファイルによってロスなく復元する。第1データファイルおよび第2データファイルで構成する群からの選択データファイルをロスなく復元するステップは、サーバーベースのデータファイル保存装置から所定データファイルについてリクエスト側クライアントがリクエストを行うステップ、そしてサーバーベースのデータファイル保存装置からベースデータファイルおよび圧縮されたデータ差分ファイルをリクエスト側クライアントに戻すステップを有する。
リクエストを受けた選択データファイルの一部データについては、コンピュータで実行する非一時的なデータ復元アプリケーションによってリクエスト側クライアントで再生することができる。圧縮されたデータ差分ファイルについては、リクエスト側クライアントに対してインクレメントにフラグメント化して配信し、再生されている間に選択データファイルをインクレメントにパッチングするか、あるいはベースデータファイルおよび圧縮されたデータ差分ファイルを一定間隔で交互に混合して配信および送達を行うシングル・バイナリーストリームに戻す。
データ処理方法については、非一時的にコンピュータで実行可能なファイル識別子(フィンガープリンティングなど)発生アプリケーションに選択データファイルをアップロードするステップ、ファイル識別子(フィンガープリントなど)を発生して、アップロードされた選択データファイルを簡易識別するステップ、ファイル識別子を考えられるベースファイルに対してマッピングするステップ、およびすべてのベースファイルをアップロードされた選択データファイルと比較するステップなどの一連の予備ステップを本質的に有する。即ち、最適な識別子については、ベースファイル毎にデータ差分ファイル値を発生し、このデータ差分ファイル値を既に求められている閾値と比較すると、識別を行うことができる。閾値を超えるデータ差分ファイル値が対応するアップロードされたファイルをベースファイルとして示し、そして閾値未満のデータ差分ファイル値を最も低いデータ差分ファイル値を除いて削除し、この最も低いデータ差分ファイル値をセーブし、かつ対応するベースファイルに対してマッピングする。
ファイルの再生については、ベースファイルをベースファイルデータに復号するステップ、データ差分ファイルでベースファイルデータをパッチングして、パッチングされたベースファイルを形成するステップ、およびパッチングされたベースファイルを送って、オリジナルファイルとして再生を行うステップなどの一連の再生ステップを有するのが好ましい。送信側クライアントと受信側クライアントの中間に伝送されたファイルデータについては、少なくとも2つのデータ伝送ポートで伝送するのが好ましい。少なくとも2つのデータ伝送ポートのうちの基本ポートについては、ベースクォリティー伝送に特化し、そして少なくとも2つのデータ伝送ポートのうちの少なくとも一つのセカンダリーポートについては、データ差分伝送に特化する。同期ツールによってベースクォリティー伝送およびデータ差分ファイル伝送を受信側クライアントで同期し、基本クォリティーよりも高い出力を出力する。
本発明の別な態様では、好ましくはキューブマッピング手法によって伝送するビデオデータについては、基本となるベースデータ伝送ポートおよび各キューブ面またはフレームを伝送してマップ形状全体を編集する少なくとも一つのセカンダリーデータ伝送ポートなどを有する、本明細書で説明したマルチポート構成によって伝送する。ビデオデータについては、個々のキューブ面がマップ形状を編集するようにキューブマッピング機構またはアプリケーションによって伝送するのが好ましい。個別の各キューブ面に対応するビデオデータについては、基本のベースポートおよび少なくとも一つのセカンダリーポートによって伝送する。オーディオデータについては、ビデオデータとともに選択的に、かつ同時に伝送し、選択キューブ面に付け加えてから、専用の基本ベースポートおよびセカンダリーポートのマルチポートセットによってビデオデータに並列的に伝送すればよい。
多数の例示的なシステムおよび方法を参照して本発明のシステムおよび方法を説明してきたが、本発明のデータ処理/伝送システムおよび方法はこれらに限定されず、意図する変更はいずれも本明細書、特許請求の範囲ならびにこれらの記載を支持する概略図などの添付図面の広い範囲および精神に包摂されるものである。
11:第1ローPCMデータファイル
12:第2ローPCMデータファイル
13:第1圧縮PCMデータファイル
14:第2圧縮PCMデータファイル
15:PCMデータ差分、データ差分ファイルデータ、“diffs”
16:第1PCMデータファイル
17:第2PCMデータファイル
18、21:矢印
19:正方形部分、正方形要素
19´:正方形部分、正方形要素
20:PCMデータ保存システム、保存機構
23:圧縮第1(オーディオ)ファイルデータ
24:ベースファイルデータ
25:クライアント
27:ファイル
28:ベースファイル
29:PCMデータ
30:PCMデータ出力
31:受信側クライアント
32:送信側クライアント
33:UDPポート
34、35:セカンダリーTCP、UDPポート、セカンダリーポート
36、37:“diff”データ
38:データ、ベースデータ、ベースファイルデータ
40:キューブ、キュービックビューポイント
41:キューブ面、フレーム
41´:正方形
45:“diff”ファイルフラグメント
46:PCMベースファイルフラグメント
47:PCMベースデータ、PCM“diff”データ
48:PCM“diff”データ、PCMベースファイルデータ
49:シングル・バイナリーストリーム
50:セグメント−結合PCMデータ鎖
100:プロセス
101、102、105、109:出力
103:PCMデータ比較プロセス
106:プロセスボックス
108、112、121、122、123、127、128:プロセス
110:マッピング
112A:検索機構、検索プロセス
112B:検索およびリターン機構
116、117:パスプロセス
118:復号プロセス
119:パッチングプロセス
120:再生プロセス
122:伝送
124:入力
130:ビューポイント

Claims (22)

  1. データ保存装置内のデータ冗長性を低減するためコンピュータ環境内で動作可能なデータ処理システムにおいて、
    データ保存装置と、
    非一時的にコンピュータで実行可能なデータ比較アプリケーションと
    を備え、
    前記非一時的にコンピュータで実行可能なデータ比較アプリケーションは、
    保存された一連のベースファイルの中にある各ベースファイルと入力データファイルとの間でファイル識別子の類似性によって決めるグループが、ベースファイルとなる可能性の有る候補の一群であり、このベースファイルの可能性の有る候補のグループを定めるファイル識別機構を介して、前記入力データファイルを前記保存された一連のベースファイルと比較する処理と、
    前記保存された一連のベースファイルの中の各ベースファイルと前記入力データファイルとの間のデータ差分サイズを計算することによって前記グループのベースファイル候補の中から最適なベースファイル候補を識別する処理と、
    前記データ差分サイズが閾値を超えているか否かに関して、前記データ差分サイズが全て閾値を超えている場合は前記入力データファイルが前記データ保存装置に新規なベースファイルとして蓄積し、あるいは、一つ以上の前記データ差分サイズが前記閾値未満の場合は前記閾値未満の前記データ差分サイズをさらに比較して最小値のデータ差分サイズを決定して且つ前記データ保存装置内のデータ冗長性を低減するために前記データ保存装置内のオリジナルファイルの代わりに前記最小値のデータ差分サイズを蓄積する、全ての前記データ差分サイズの夫々が前記閾値を超えるか否かをクエリする処理と、
    を含むことを特徴とするデータ処理システム。
  2. 非一時的にコンピュータで実行可能なデータ復元アプリケーションを備え、
    この非一時的にコンピュータで実行可能なデータ復元アプリケーションを動作させて、選択データ差分ファイルを介して前記入力データファイルおよび前記保存された一連のベースファイルで構成された前記グループから選択データファイルをロスなく再生する請求項1に記載のデータ処理システム。
  3. 前記非一時的にコンピュータで実行可能なデータ復元アプリケーションを動作させて、次の(a)および(b)に記載の再生をロスなく行う請求項2に記載のデータ処理システム。
    (a)(i)圧縮されファイルデータと(ii)前記選択データ差分ファイルとを入力して、前記入力データファイルの再生、および
    (b)(i)圧縮された入力ファイルデータと(ii)前記選択データ差分ファイルとを入力して、第2データファイルの再生。
  4. リクエスト側クライアントが前記データ保存装置から選択データファイルをリクエストすることによって、この選択データファイルをロスなく復元を開始し、
    ベースデータファイルおよび前記選択データ差分ファイルを共に前記データ保存装置から前記リクエスト側クライアントに戻し、そして
    前記リクエストした選択データファイルの復元データが、前記非一時的にコンピュータで実行可能なデータ復元アプリケーションによって、前記リクエスト側クライアントで再生される請求項2に記載のデータ処理システム。
  5. 前記選択データ差分ファイルは細分化されて、再生されている間に前記選択データファイルをインクレメントにパッチングして、前記リクエスト側クライアントに対してインクレメントに送信される前記選択データ差分ファイルである請求項4に記載のデータ処理システム。
  6. 復元データはシングルバイナリーストリームに戻されて、前記ベースデータファイルと前記選択データ差分ファイルとを交互に順番に入れ替えて、一列に並べた状態で送信される請求項4に記載のデータ処理システム。
  7. 選択ベースファイルをベースファイルデータに復号化し、このベースファイルデータを前記選択データ差分ファイルでパッチングし、パッチングされたベースファイルを形成し、このパッチングされたベースファイルを送り、オリジナルファイルとして再生させることでファイルの再生を行なう請求項4に記載のデータ処理システム。
  8. 少なくとも2つのデータ伝送ポートによって送信側クライアントおよび受信側クライアントの中間にファイルデータを伝送し、これら少なくとも2つのデータ伝送ポートのうちのベースポートはベースクォリティーの伝送に特化し、そしてこれら少なくとも2つのデータ伝送ポートのうちの少なくとも一つのセカンダリーポートはデータ差分ファイルの伝送に特化し、前記ベースクォリティーの伝送およびデータ差分ファイルの伝送受信側クライアントで同期し且ベースクォリティーの出力よりも高く生成する請求項4に記載のデータ処理システム。
  9. データ保存装置内のデータ冗長性を低減するデータ処理方法において、
    コンピュータで実行する非一時的なデータ比較アプリケーションに第1データファイル入力するステップ、
    このコンピュータで実行する非一時的なデータ比較アプリケーションによって、前記入力し第1の前記データファイルとファイル識別機構を介して保存された一連のベースファイルとを比較して、前記保存された一連のベースファイルの中の各ベースファイルと入力された前記データファイルとの間のファイル識別類似性によって、ベースファイルとして可能性のある候補を一つのグループに決定するステップ、
    前記のコンピュータで実行する非一時的なデータ比較アプリケーションによって、前比較した第1の前記データファイルと前記保存された一連のベースファイルの中の各ベースファイルとの間データ差分サイズを計算し、前記グループの中のベースファイル候補の中で最適とするベースファイル候補を識別するステップ、および
    前記データ差分サイズが閾値を超えているか否かに関して、前記データ差分サイズが全て閾値を超えている場合は前記入力されたデータファイルが前記データ保存装置に新規なベースファイルとして蓄積され、あるいは、一つ以上の前記データ差分サイズが前記閾値未満の場合は前記閾値未満の前記データ差分サイズをさらに比較して最小値のデータ差分サイズを決定して且つ前記データ保存装置内のデータ冗長性を低減するためにデータ差分ファイルとして前記データ保存装置内のオリジナルファイルの代わりに前記最小値のデータ差分サイズを蓄積し、全ての前記データ差分サイズの夫々が前記閾値を超えるか否かをクエリするステップ、
    を有することを特徴とするデータ処理方法。
  10. コンピュータで実行する非一時的なデータ圧縮アプリケーションによって、前記データ差分ファイルを圧縮するステップ、および、前記コンピュータで実行する非一時的なデータ圧縮アプリケーションによって圧縮した前記データ差分ファイルを蓄積するステップを有する請求項9に記載のデータ処理方法。
  11. コンピュータで実行する非一時的なデータ復元アプリケーションによって、前記入力した第1の前記データファイルおよび前記保存された一連のベースファイルで構成する前記グループから選択データファイルをロスなく復元するステップを有し、
    この選択データファイルを、圧縮した前記データ差分ファイルによってロスなく復元するステップを有する請求項10に記載のデータ処理方法。
  12. 前記選択データファイルを前記ロスなく復元するステップは、リクエスト側クライアントがデータファイル保存装置から前記選択データファイルをリクエストするステップ、ベースデータファイルおよび圧縮した前記データ差分ファイルを前記データファイル保存装置から前記リクエスト側クライアントに戻すステップ、前記リクエスト側クライアントにおいて前記リクエストされた選択データファイルのデータを前記コンピュータで実行する非一時的なデータ復元アプリケーションによって再生するステップを有する請求項11に記載のデータ処理方法。
  13. 圧縮された前記データ差分ファイルは細分化されて、再生されている間に前記選択データファイルをインクレメントにパッチングして、前記リクエスト側クライアントに対してインクレメントに送信される請求項12に記載のデータ処理方法。
  14. ファイル復元データはシングルバイナリーストリームに戻されて、圧縮された前記データ差分ファイルと前記ベースデータファイルとを交互に順番に入れ替えて、一列に並べた状態で送信される請求項12に記載のデータ処理方法。
  15. 一連の予備ステップを有し、この一連の予備ステップが、非一時的にコンピュータで実行可能なファイル識別子生成アプリケーションに選択データファイルをアップロードするステップ、
    前記非一時的にコンピュータで実行可能なファイル識別子生成アプリケーションにおいてアップロードした前記選択データファイルを簡易的に識別するためのファイル識別子を発生するステップ、および
    前記ファイル識別子を前記保存された一連のベースファイルにマッピングして、前記ベースファイルとして前記可能性の有る候補を決定するステップを有する請求項9に記載のデータ処理方法。
  16. 最適なベースファイルを識別するステップを有し、この最適なベースファイルを識別するステップが、データ差分ファイル値を前記閾値と比較するステップを有し、前記閾値を超えるデータ差分ファイル値が対応するアップロードされたファイルをベースファイルとして示し、そして、前記閾値の値未満のデータ差分ファイル値最も低いデータ差分サイズを除いて削除し、この最も低いデータ差分サイズ蓄えて且つ対応するベースファイルに対してマッピングする請求項15に記載のデータ処理方法。
  17. ファイル再生プロセスを有し、このファイル再生プロセスが一連の再生ステップを有し、この一連の再生ステップが、
    選択ベースファイルをベースファイルデータに復号するステップ、
    このベースファイルデータを前記データ差分ファイルでパッチングすることによってパッチングされたベースファイルを形成するステップ、および
    このパッチングされたベースファイルを送って、オリジナルファイルデータとして再生する請求項9に記載のデータ処理方法。
  18. ファイルデータは、少なくとも2つのデータ伝送ポートによって送信側クライアントおよ受信側クライアントの中間に伝送されて、これら少なくとも2つのデータ伝送ポートのうちのベースポートはベースクォリティーの伝送に特化し、そしてこれら少なくとも2つのデータ伝送ポートのうちの少なくとも一つのセカンダリーポートはデータ差分ファイルの伝送に特化し、ベースクォリティーの伝送およびデータ差分ファイルの伝送前記受信側クライアントで同期し且ベースクォリティーの出力よりも高く生成する請求項12に記載のデータ処理方法。
  19. データ伝送のクォリティーを改善するデータ伝送システムにおいて、
    コンピュータベースのネットワーク環境内送信側クライアントおよび受信側クライアント
    これら送信側クライアントおよび受信側クライアントのそれぞれに設けた非一時的にコンピュータで実行可能なデータ伝送アプリケーションおよび少なくとも2つのデータ伝送ポート
    ベースクォリティーの伝送に特化した、前記少なくとも2つのデータ伝送ポートであるベースポートと、
    データ差分ファイルの伝送に特化した、前記少なくとも2つのデータ伝送ポートである少なくとも一つのセカンダリーポートと、
    全てのデータ差分サイズが所定の閾値を超えることは新規のベースファイルを送信用に特定されて、また、データ差分サイズが前記所定の閾値未満と判定されることは最小値を示すデータ差分サイズを送信用としてオリジナルファイルに置き換わり蓄積されて、前記データ差分サイズの比較によって誘導するデータ差分ファイルの伝送と、
    を有し、
    ベースクォリティーの伝送およびデータ差分ファイルの伝送は、前記受信側クライアントにおいてベースクォリティーの出力よりも高いクォリティーで生成する前記非一時的にコンピュータで実行可能なデータ伝送アプリケーションによって同期することを特徴とするデータ伝送システム。
  20. キューブマッピング機構によってビデオデータを伝送し、このキューブマッピング機構がキューブの6個のキューブ面を利用してマップ形状を編集し、各キューブ面に対応するビデオデータを前記ベースポートおよび少なくとも一つの前記セカンダリーポートによって伝送する請求項19に記載のデータ伝送システム。
  21. オーディオデータを前記ビデオデータと共に選択して同時に伝送し、このオーディオデータを選択キューブ面ビデオ伝送に付け加える請求項20に記載のコンピュータシステム。
  22. オーディオデータを前記ビデオデータと共に選択的かつ同時に伝送し、このオーディオデータを専用のベースポートおよびセカンダリーポートのマルチポートセットによって前記ビデオデータに並列伝送する請求項20に記載のコンピュータシステム。
JP2018555200A 2016-04-22 2017-04-21 ネットワーク環境におけるデータ処理を改善するシステムおよび方法 Active JP6919904B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662326428P 2016-04-22 2016-04-22
US62/326,428 2016-04-22
US15/407,192 US10198777B2 (en) 2013-12-06 2017-01-16 System, method, and application for exchanging content in a social network environment
US15/407,192 2017-01-16
PCT/US2017/028908 WO2017185014A1 (en) 2016-04-22 2017-04-21 System and method for enhancing data handling in a network environment

Publications (3)

Publication Number Publication Date
JP2019515378A JP2019515378A (ja) 2019-06-06
JP2019515378A5 JP2019515378A5 (ja) 2020-06-11
JP6919904B2 true JP6919904B2 (ja) 2021-08-18

Family

ID=66764417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555200A Active JP6919904B2 (ja) 2016-04-22 2017-04-21 ネットワーク環境におけるデータ処理を改善するシステムおよび方法

Country Status (4)

Country Link
US (1) US11232524B2 (ja)
JP (1) JP6919904B2 (ja)
CN (1) CN109313632B (ja)
AU (1) AU2017252566B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717063B (zh) * 2019-10-18 2022-02-11 上海华讯网络系统有限公司 对ip电话录音文件进行校验与选择存档的方法、系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341249A (en) 1998-08-17 2000-03-08 Connected Place Limited A method of generating a difference file defining differences between an updated file and a base file
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US20020188745A1 (en) * 2001-06-11 2002-12-12 Hughes David A. Stacked stream for providing content to multiple types of client devices
US7320009B1 (en) * 2003-03-28 2008-01-15 Novell, Inc. Methods and systems for file replication utilizing differences between versions of files
US7640363B2 (en) * 2005-02-16 2009-12-29 Microsoft Corporation Applications for remote differential compression
US8630512B2 (en) * 2007-01-25 2014-01-14 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
US8074241B2 (en) 2007-03-30 2011-12-06 The Board Of Trustees Of The Leland Stanford Jr. University Process for displaying and navigating panoramic video, and method and user interface for streaming panoramic video and images between a server and browser-based client application
CN102124527A (zh) * 2008-05-16 2011-07-13 弗森-艾奥公司 用于检测和替代失效的数据存储器的装置、系统和方法
US8751462B2 (en) * 2008-11-14 2014-06-10 Emc Corporation Delta compression after identity deduplication
CN101534308B (zh) * 2009-03-20 2013-06-05 中兴通讯股份有限公司 语音数据处理方法及系统
US8656020B1 (en) 2010-01-21 2014-02-18 Google Inc. Delta compression of files in web applications
CN101853287B (zh) * 2010-05-24 2012-09-05 南京高普科技有限公司 数据压缩快速检索文件系统及其方法
US8589171B2 (en) * 2011-03-17 2013-11-19 Remote Media, Llc System and method for custom marking a media file for file matching
US9026505B1 (en) * 2011-12-16 2015-05-05 Emc Corporation Storing differences between precompressed and recompressed data files
GB2505169B (en) 2012-08-13 2016-03-16 Gurulogic Microsystems Oy decoder and method
CN103970744B (zh) * 2013-01-25 2016-12-28 华中科技大学 一种可扩展的重复数据检测方法
CN103324552B (zh) * 2013-06-06 2016-01-13 西安交通大学 两阶段单实例去重数据备份方法
JP6643246B2 (ja) * 2014-11-13 2020-02-12 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
CN104881470B (zh) * 2015-05-28 2018-05-08 暨南大学 一种面向海量图片数据的重复数据删除方法
CN105007082A (zh) * 2015-07-09 2015-10-28 广东欧珀移动通信有限公司 一种数据压缩方法、装置及终端

Also Published As

Publication number Publication date
US11232524B2 (en) 2022-01-25
JP2019515378A (ja) 2019-06-06
CN109313632B (zh) 2022-04-29
CN109313632A (zh) 2019-02-05
US20190130497A1 (en) 2019-05-02
AU2017252566A1 (en) 2018-11-15
AU2017252566B2 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
US10230958B2 (en) Audio splitting with codec-enforced frame sizes
RU2372646C2 (ru) Формат полезных данных транспортного протокола реального времени
CN107851112A (zh) 用于从摄像机安全传输信号的系统和方法
KR20170010787A (ko) 분산된 보안 데이터 저장 및 스트리밍 매체 콘텐트의 전송
US10237331B2 (en) Content delivery methods and systems
JP6598044B2 (ja) 情報処理装置および情報処理方法
WO2021072878A1 (zh) 基于rtmp的音视频数据加解密方法、装置及可读存储介质
US20220408113A1 (en) Accelerated video exportation to multiple destinations
US20150095483A1 (en) Communications terminal, transfer terminal, and content publication method
JP6919904B2 (ja) ネットワーク環境におけるデータ処理を改善するシステムおよび方法
KR102411973B1 (ko) 네트워크 환경에서 데이터 처리를 향상시키는 시스템 및 방법
CN111506913B (zh) 音频加密方法和装置、存储介质及电子装置
JP2019515378A5 (ja)
CN113014956A (zh) 视频播放方法以及装置
WO2011013196A1 (ja) 情報処理装置
JP2006191341A (ja) コンテンツ復号化装置、コンテンツ送信装置およびコンテンツ受信装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210715

R150 Certificate of patent or registration of utility model

Ref document number: 6919904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350