JP2023517559A - マルチメディア会議のためのシーン記述のシグナリング - Google Patents
マルチメディア会議のためのシーン記述のシグナリング Download PDFInfo
- Publication number
- JP2023517559A JP2023517559A JP2022553679A JP2022553679A JP2023517559A JP 2023517559 A JP2023517559 A JP 2023517559A JP 2022553679 A JP2022553679 A JP 2022553679A JP 2022553679 A JP2022553679 A JP 2022553679A JP 2023517559 A JP2023517559 A JP 2023517559A
- Authority
- JP
- Japan
- Prior art keywords
- output node
- graphical output
- immersive
- wireless device
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011664 signaling Effects 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000000977 initiatory effect Effects 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 79
- 238000009877 rendering Methods 0.000 claims description 31
- 230000001052 transient effect Effects 0.000 claims 1
- 239000012092 media component Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000001413 cellular effect Effects 0.000 description 9
- 239000011521 glass Substances 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- LHMQDVIHBXWNII-UHFFFAOYSA-N 3-amino-4-methoxy-n-phenylbenzamide Chemical compound C1=C(N)C(OC)=CC=C1C(=O)NC1=CC=CC=C1 LHMQDVIHBXWNII-UHFFFAOYSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1104—Session initiation protocol [SIP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1108—Web based protocols, e.g. webRTC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
様々な実施形態は、没入型3次元グループセッションを提供するためのシステムおよび方法を含む。様々な実施形態は、潜在的に、異なるパーティから来るメディア構成要素をもつシーンの記述をシグナリングするための方法およびデバイスを含む。様々な態様では、シーングラフは、セッション開始プロトコル(SIP)セッションセットアップ中に、セッション記述プロトコル(SDP)を通してシグナリングされ得る。様々な実施形態では、シーングラフは、没入型3次元グループセッションにおいて、複数の参加者コンピューティングデバイスの各々によって制御されるように割り当てられたそれぞれのグラフィカル出力ノードを含み得る。【選択図】図8
Description
関連出願
[0001]本出願は、その内容全体がすべての目的のために参照により本明細書に組み込まれる、2020年3月17日に出願された「Signaling of Scene Description For Multimedia Conferencing」と題する米国仮出願第62/990,895号の優先権の利益を主張する。
[0001]本出願は、その内容全体がすべての目的のために参照により本明細書に組み込まれる、2020年3月17日に出願された「Signaling of Scene Description For Multimedia Conferencing」と題する米国仮出願第62/990,895号の優先権の利益を主張する。
没入型3次元グループセッション(immersive three-dimensional group session)を提供するためのシステムおよび方法に関する。
[0002]ロングタームエボリューション(LTE(登録商標))と、第5世代(5G)新無線(NR)と、他の最近開発された通信技術とは、ワイヤレスデバイスが、ほんの数年前利用可能であったものよりも大きい桁数である(たとえば、ギガビット毎秒などに関する)データレートで情報を通信することを可能にする。
[0003]今日の通信ネットワークはまた、よりセキュアであり、マルチパスフェージングに対して耐性があり、より低いネットワークトラフィックレイテンシを可能にし、(たとえば、使用される帯域幅の単位当たりのビット毎秒などに関する)より良好な通信効率を提供する。これらおよび他の最近の改良は、モノのインターネット(IOT)、大規模マシンツーマシン(M2M)通信システム、自律車両、および一貫性のあるセキュアな通信に依拠する他の技術の出現を促進してきた。
[0004]近年、ユーザの物理的環境からの現実世界の画像をコンピュータ生成された像または仮想オブジェクト(VO)と組み合わせる拡張現実ソフトウェアアプリケーションが、人気および使用において成長した。拡張現実ソフトウェアアプリケーションは、グラフィック、音、および/またはハプティック(haptic)フィードバックを、アプリケーションのユーザの周囲の自然界に追加し得る。人々および/またはオブジェクトに関する画像、ビデオストリームおよび情報は、ウェアラブル電子ディスプレイまたはヘッドマウントデバイス(たとえば、スマートグラス、拡張現実グラスなど)上の拡張シーンとして視覚世界上に重畳されてユーザに提示され得る。
[0005]様々な態様は、没入型3次元グループセッション(immersive three-dimensional group session)を提供するためのシステムおよび方法を含む。様々な実施形態は、潜在的に、異なるパーティから来るメディア構成要素をもつシーンの記述をシグナリングするための方法およびデバイスを含む。様々な態様では、シーングラフは、セッション開始プロトコル(SIP)セッションセットアップ中に、セッション記述プロトコル(SDP)を通してシグナリングされ得る。様々な態様では、シーングラフは、没入型3次元グループセッションにおいて、複数の参加者コンピューティングデバイス(participant computing device)の各々によって制御されるように割り当てられたそれぞれのグラフィカル出力ノードを含み得る。様々な態様は、没入型3次元グループセッションにおいて動作する複数の参加者コンピューティングデバイスのうちの1つであるワイヤレスデバイスのプロセッサによって実施され得る。様々な態様は、没入型3次元グループセッションのためのシーングラフを受信すること、ここにおいて、シーングラフが、少なくとも、ワイヤレスデバイスによって制御されるように割り当てられた独自のグラフィカル出力ノード(own graphical output node)と、複数の参加者コンピューティングデバイスのうちの他のものの各々によって制御されるように割り当てられたそれぞれの他のグラフィカル出力ノードとを含み、と、没入型3次元グループセッションの3次元空間に対して独自のグラフィカル出力ノードの構成要素を制御することと、複数の参加者コンピューティングデバイスのうちの他のものへの第1のメディアストリームにおいて、独自のグラフィカル出力ノードの構成要素を送ることと、複数の参加者コンピューティングデバイスのうちの他のものの各々からのメディアストリームにおいて、他のグラフィカル出力ノードの構成要素を受信することと、独自のグラフィカル出力ノードの構成要素と他のグラフィカル出力ノードの構成要素とに少なくとも部分的に基づいて、ワイヤレスデバイスのディスプレイ上に没入型3次元グループセッションをレンダリングすることと、を含み得る。
[0006]いくつかの態様は、没入型3次元グループセッションのための新しい参加者コンピューティングデバイスの指示と、新しい参加者コンピューティングデバイスによって制御されるように割り当てられた新しいグラフィカル出力ノードの指示とを含む、シーングラフ更新を受信することと、新しい参加者コンピューティングデバイスからの第2のメディアストリームにおいて、新しいグラフィカル出力ノードの構成要素を受信することと、独自のグラフィカル出力ノードの構成要素と、他のグラフィカル出力ノードの構成要素と、新しいグラフィカル出力ノードの構成要素と、に少なくとも部分的に基づいて、ワイヤレスデバイスのディスプレイ上に没入型3次元グループセッションをレンダリングすることと、をさらに含み得る。
[0007]いくつかの態様は、シーングラフが共有されることになる、データチャネルのアドレスを指示する没入型3次元グループセッションのためのセッション記述プロトコル(SDP)を受信することをさらに含み得、ここにおいて、シーングラフを受信することは、データチャネルを介してシーングラフをダウンロードすることを含む。
[0008]いくつかの態様は、没入型3次元グループセッションのためのセッション開始プロトコル(SIP)セットアップの一部として、複数の参加者コンピューティングデバイスのうちの他のものへのシーングラフを送るかまたは受信するためのオファーを送ることをさらに含み得る。
[0009]いくつかの態様は、複数の参加者コンピューティングデバイスのうちの他のものへのシーングラフを送るかまたは受信するためのオファーを送ることをさらに含み得、ここにおいて、オファーが、独自のグラフィカル出力ノードを指示する。
[0010]いくつかの態様では、没入型3次元グループセッションは、ウェブリアルタイム通信(WebRTC)セッションである。
[0011]いくつかの態様では、没入型3次元グループセッションの3次元空間に対して独自のグラフィカル出力ノードの構成要素を制御することは、没入型3次元グループセッションの3次元空間に対するワイヤレスデバイスの決定された位置に少なくとも部分的に基づいて、独自のグラフィカル出力ノードの構成要素を制御することを含み得る。
[0012]いくつかの態様では、没入型3次元グループセッションの3次元空間に対するワイヤレスデバイスの決定された位置に少なくとも部分的に基づいて、独自のグラフィカル出力ノードの構成要素を制御することは、没入型3次元グループセッションの3次元空間に対するワイヤレスデバイスの決定された位置と、没入型3次元グループセッションの3次元空間に対するワイヤレスデバイスの決定された配向とに少なくとも部分的に基づいて、独自のグラフィカル出力ノードの構成要素を制御することを含み得る。
[0013]さらなる態様は、上記で要約された方法のいずれかの1つまたは複数の動作を実施するように構成されたプロセッサを有するワイヤレスデバイスを含み得る。さらなる態様は、上記で要約された方法のいずれかの動作をワイヤレスデバイスのプロセッサに実施させるように構成されたプロセッサ実行可能命令を記憶した非一時的プロセッサ可読記憶媒体を含み得る。さらなる態様は、上記で要約された方法のいずれかの機能を実施するための手段を有するワイヤレスデバイスを含む。さらなる態様は、上記で要約された方法のいずれかの1つまたは複数の動作を実施するように構成されたプロセッサを含むワイヤレスデバイス中で使用するためのシステムオンチップを含む。さらなる態様は、上記で要約された方法のいずれかの1つまたは複数の動作を実施するように構成されたプロセッサを含むワイヤレスデバイス中で使用するための2つのシステムオンチップを含むパッケージ中のシステムを含む。
[0014]本明細書に組み込まれ、本明細書の一部をなす添付の図面は、特許請求の範囲の例示的な実施形態を示し、上記で与えられた概略的な説明および以下で与えられる詳細な説明とともに、特許請求の範囲の特徴について説明するように働く。
[0028]様々な実施形態が、添付の図面を参照しながら詳細に説明される。可能な場合はいつでも、同じまたは同様の部分を指すために図面全体にわたって同じ参照番号が使用される。特定の例および実装形態になされる言及は、説明のためのものであり、特許請求の範囲を限定することを意図されていない。
[0029]様々な実施形態は、シーングラフが、没入型3次元グループセッションにおいて、複数の参加者コンピューティングデバイスの各々によって制御されるように割り当てられたそれぞれのグラフィカル出力ノードを含み得る、複数の参加者コンピューティングデバイスのための没入型3次元グループセッションを可能にし得る。様々な実施形態は、複数の参加者コンピューティングデバイスが、没入型3次元グループセッションにおいて、それらのそれぞれの割り当てられたグラフィカル出力ノードの構成要素のメディアストリームを互いに共有することを可能にし得る。没入型3次元グループセッションにおいて各参加者コンピューティングデバイスにそれの独自のそれぞれのグラフィカル出力ノードの制御を割り当てることと、参加者コンピューティングデバイスの間でグラフィカル出力ノードの構成要素のメディアストリームを共有することとによって、様々な実施形態は、各参加者コンピューティングデバイスが、共有3次元空間においてそれの独自のそれぞれの3次元オブジェクトを制御する、共有3次元空間をもつ没入型3次元グループセッションをレンダリングすることをサポートし得る。
[0030]「ワイヤレスデバイス」という用語は、本明細書では、ワイヤレスルータデバイス、ワイヤレスアプライアンス、セルラー電話、スマートフォン、ポータブルコンピューティングデバイス、パーソナルまたはモバイルマルチメディアプレーヤ、ラップトップコンピュータ、タブレットコンピュータ、スマートブック、ウルトラブック、パームトップコンピュータ、ワイヤレス電子メール受信機、マルチメディアインターネット対応セルラー電話、医療デバイスおよび機器、生体センサー/デバイス、スマートウォッチ、スマートクロージング、スマートグラス、スマートリストバンド、スマートジュエリー(たとえば、スマートリング、スマートブレスレットなど)を含むウェアラブルデバイス、エンターテインメントデバイス(たとえば、ワイヤレスゲーミングコントローラ、音楽およびビデオプレーヤ、衛星ラジオなど)、スマートメーター/センサーを含むワイヤレスネットワーク対応のモノのインターネット(IoT)デバイス、産業用製造機器、自宅または企業使用のための大型および小型の機械器具、自律および半自律車両内のワイヤレス通信要素、様々なモバイルプラットフォームに固定されたかまたは組み込まれたワイヤレスデバイス、全地球測位システムデバイス、ならびにメモリとワイヤレス通信構成要素とプログラマブルプロセッサとを含む同様の電子デバイスのいずれか1つまたはすべてを指すために使用される。
[0031]様々な実施形態は、IEEE802.15.4プロトコル(たとえば、Thread、ZigBee(登録商標)、およびZ-Wave)、6LoWPAN、Bluetooth(登録商標)低エネルギー(BLE)、LTEマシンタイプ通信(LTE MTC)、狭帯域LTE(NB-LTE)、セルラーIoT(CIoT)、狭帯域IoT(NB-IoT)、BT Smart、Wi-Fi(登録商標)(たとえば、Wi-Fi NANなど)、LTE-U、LTE-Direct、MuLTEfire、ならびに、ランダム位相多元接続(RPMA)などの比較的拡張された範囲のワイドエリア物理レイヤインターフェース(PHY)、超狭帯域(UNB)、低電力長距離(LoRa)、低電力長距離ワイドエリアネットワーク(LoRaWAN)、Weightless、あるいは3G、4Gまたは5Gを利用するシステム、セルラーV2Xまたはそれらのさらなる実装形態、技術など、電気電子技術者協会(IEEE)16.11規格のいずれか、もしくはIEEE802.11規格のいずれか、Bluetooth規格(たとえば、Bluetooth4、Bluetooth5など)、符号分割多元接続(CDMA)、周波数分割多元接続(FDMA)、時分割多元接続(TDMA)、モバイル通信用グローバルシステム(GSM(登録商標))、GSM/汎用パケット無線サービス(GPRS)、拡張データGSM環境(EDGE)、地上基盤無線(TETRA)、広帯域CDMA(W-CDMA(登録商標))、エボリューションデータオプティマイズド(EV-DO)、1xEV-DO、EV-DO Rev A、EV-DO Rev B、高速パケットアクセス(HSPA)、高速ダウンリンクパケットアクセス(HSDPA)、高速アップリンクパケットアクセス(HSUPA)、発展型高速パケットアクセス(HSPA+)、ロングタームエボリューション(LTE)、AMPS、あるいは他の知られている信号のいずれかを含むワイヤレス通信規格のいずれかに従ってRF信号を送信および受信することが可能であるデバイスにおいて実装され得る。
[0032]「システムオンチップ」(SOC)という用語は、本明細書では、単一の基板上に組み込まれた複数のリソースおよび/またはプロセッサを含んでいる単一の集積回路(IC)チップを指すために使用される。単一のSOCは、デジタル、アナログ、混合信号、および無線周波数機能のための回路を含んでいることがある。単一のSOCはまた、任意の数の汎用および/または専用プロセッサ(デジタル信号プロセッサ、モデムプロセッサ、ビデオプロセッサなど)、メモリブロック(たとえば、ROM、RAM、フラッシュなど)、およびリソース(たとえば、タイマー、電圧調節器、発振器など)を含み得る。SOCはまた、統合されたリソースおよびプロセッサを制御するための、ならびに周辺デバイスを制御するためのソフトウェアを含み得る。
[0033]「システムインパッケージ」(SIP)という用語は、本明細書では、2つ以上のICチップ、基板、またはSOC上に複数のリソース、計算ユニット、コアおよび/またはプロセッサを含んでいる単一のモジュールまたはパッケージを指すために使用され得る。たとえば、SIPは、複数のICチップまたは半導体ダイが垂直構成でその上に積層される単一の基板を含み得る。同様に、SIPは、複数のICまたは半導体ダイがその上で統合基板にパッケージングされる1つまたは複数のマルチチップモジュール(MCM)を含み得る。SIPは、単一のマザーボード上でまたは単一のワイヤレスデバイス中でなど、高速通信回路を介して互いに結合され、極めて近接してパッケージングされた、複数の独立したSOCをも含み得る。SOCの近接性は、高速通信と、メモリおよびリソースの共有とを容易にする。
[0034]様々な実施形態は、本明細書では、マスタ交換サーバ、ウェブサーバ、メールサーバ、ドキュメントサーバ、コンテンツサーバ、または任意の他のタイプのサーバなど、サーバとして機能することが可能な任意のコンピューティングデバイスを指すために「サーバ」という用語を使用して説明される。サーバは、専用のコンピューティングデバイスであるか、または、(たとえば、コンピューティングデバイスをサーバとして動作させ得るアプリケーションを実行する)サーバモジュールを含むコンピューティングデバイスであり得る。サーバモジュール(たとえば、サーバアプリケーション)は、全機能型サーバモジュールであるか、あるいは、受信機デバイス上の動的なデータベースの間で同期サービスを提供するように構成された簡易型サーバモジュールまたは2次的サーバモジュール(たとえば、簡易型サーバアプリケーションまたは2次的サーバアプリケーション)であり得る。簡易型サーバまたは2次的サーバは、受信機デバイス上で実装され得る、小型化されたバージョンのサーバタイプの機能であり、それにより、それが、本明細書で説明される機能を提供するのに必要な程度にのみ、インターネットサーバ(たとえば、企業の電子メールサーバ)として機能することが可能になり得る。
[0035]「ヘッドマウントデバイス」という句およびその頭字語(HMD)は、本明細書では、装着可能であり、ユーザに少なくとも一部のコンピュータ生成された像を提示する、電子ディスプレイシステムを指すために使用される。HMDは、コンピュータ生成された像のみ、またはコンピュータ生成された像と、ユーザの物理的環境からの現実世界の画像(すなわち、ユーザがグラスなしに見ることになるもの)との組合せを提示し得る。HMDは、ユーザが、生成された画像を、現実世界のシーンのコンテキストにおいて観察することを可能にし得る。ヘッドマウントデバイスの非限定的な例は、ヘルメット、眼鏡、仮想現実グラス、拡張現実グラス、電子ゴーグル、および他の同様の技術/デバイスを含むか、またはそれらの中に含まれ得る。ヘッドマウントデバイスは、プロセッサ、メモリ、ディスプレイ、1つまたは複数のカメラ(たとえば、世界ビュー(world-view)カメラ、視線ビュー(gaze-view)カメラなど)、および、インターネット、ネットワーク、または別のコンピューティングデバイスと接続するためのワイヤレスインターフェースなど、様々なハードウェア要素を含み得る。いくつかの実施形態では、ヘッドマウントデバイスプロセッサは、拡張現実ソフトウェアアプリケーションを実施または実行するように構成され得る。
[0036]いくつかの実施形態では、ヘッドマウントデバイスは、ワイヤレスデバイス(たとえば、デスクトップ、ラップトップ、スマートフォン、タブレットコンピュータなど)のためのアクセサリであり、および/またはワイヤレスデバイスからの情報を受信し得、処理のすべてまたは部分が、そのワイヤレスデバイスのプロセッサ上で実施される。したがって、様々な実施形態では、ヘッドマウントデバイスは、ヘッドマウントデバイス中のプロセッサ上ですべての処理をローカルに実施すること、別のコンピューティングデバイス(たとえば、ヘッドマウントデバイスと同じ空間中に存在するラップトップなど)中のプロセッサに主要な処理のすべてをオフロードすること、または、ヘッドマウントデバイス中のプロセッサと他のコンピューティングデバイス中のプロセッサとの間で主要な処理動作をスプリットすることを行うように構成され得る。いくつかの実施形態では、他のコンピューティングデバイス中のプロセッサは、ヘッドマウントデバイス中のまたは関連付けられたワイヤレスデバイス中のプロセッサが、ネットワーク接続(たとえば、インターネットへのセルラーネットワーク接続)を介して通信する、「クラウド」中のサーバであり得る。
[0037]テレプレゼンスサービスは、より能力が高くなりつつあり、これは、会議の参加者がより自由にナビゲートおよび対話することができる単一の没入型環境へのいくつかのオブジェクトの合成を可能にする。現在のセッション記述プロトコル(SDP)は、リッチな合成を記述するためのサポートに関して制限され、没入型テレプレゼンス環境をサポートするためのツールを提供しない。1つの特定のタイプのテレプレゼンスまたはテレカンファレンス実装形態は、没入型3次元グループセッションである。没入型3次元グループセッションにおいて、セッション中の各参加者コンピューティングデバイスは、没入型3次元グループセッション中の各参加者ユーザに、没入型3次元グループセッションの3次元空間の仮想現実(VR)ビューが提示されるように、それのそれぞれのディスプレイ上にセッションの3次元グラフィカルディスプレイをレンダリングし得る。没入型3次元グループセッションの参加者を表す、アバター、キャラクタなどの3次元オブジェクトは、各参加者によって観察され、没入型3次元グループセッションの3次元空間内を移動するように見え得る。
[0038]リモート端末のための没入型テレカンファレンスおよびテレプレゼンス(ITT4RT:Immersive Teleconferencing and Telepresence for Remote Terminals)のサポートは、没入型3次元グループセッションなどの没入型マルチコンピューティングデバイス仮想現実(VR)ビデオ会議を容易にするために開発されている規格である。ITT4RT使用事例は、たとえば会議室からのキャプチャされたVRビデオ、および2次元(2D)ビデオスライドなどの他のコンテンツの合成を含む。ITT4RTに関係する作業項目記述は、ITT4RTが、二方向オーディオと一方向没入型ビデオとを伴うシナリオを可能にすることに向けて取り組んでいることを示しており、たとえば、HMDを装着し、会議に参加しているリモートの単一のユーザが、オーディオと、随意に、(たとえば、ユーザ自身のプレゼンテーション、スクリーン共有および/またはキャプチャの)2Dビデオとを送ることになる。
[0039]VRシーンの複雑さは、従来のセッション記述プロトコル(SDP)シグナリングについての課題を呈し、多くのリモートユーザがユーザ自身のコンテンツを共有し、それらをシーンに合成するときなど、極めて急速に扱いにくくなることがある。SDPは、単に、シーン記述情報を搬送するように設計されない。様々な実施形態は、合成とオーバーレイとをサポートするためのシーン記述に基づく実施形態ソリューションを提供することによって、そのような問題のソリューションを提供する。様々な実施形態は、潜在的に、異なるパーティから来るメディア構成要素をもつシーンの記述をシグナリングするための方法およびデバイスを提供する。様々な実施形態では、シーン記述は、セッション開始プロトコル(SIP)セッションセットアップ中に、SDPを通してシグナリングされ得る。様々な実施形態では、シーン記述はセッション中の他のメディアストリームに、たとえば、没入型会議シーンなどにおいてオーバーレイのためのテクスチャとしてそれらを活用するために、リンクし得る。
[0040]シーングラフは、有向非巡回グラフ、通常、単に平易なツリー構造であり、それは、シーンのジオメトリのオブジェクトベースの階層を表す。グラフのリーフノードが、多角形などの幾何学的プリミティブを表す。グラフ中の各ノードは、それの子へのポインタを保持する。子ノードは、特に、他のノードのグループ、ジオメトリ要素、変換行列などであり得る。空間変換が、グラフのノードに付加され、変換行列によって表される。シーングラフのこの構造は、レンダリングのためにグラフを横断する間など、低減された処理複雑さという利点を有する。グラフ表現によって簡略化される例示的な動作は、親ノードの空間が可視でないか、または(詳細選別のレベルと呼ばれる)現在のビュー錐台のレンダリングに関連しないと見なされる場合、グラフの分岐が処理からドロップされる選別動作である。シーングラフは、視覚出力ノード、オーディオソースノード、グラフィカル出力ノード、共有コンテンツノードなど、様々なタイプのノードを含み得る。特定の例として、グラフィカル出力ノードは、シーングラフによって定義される3次元空間中に出力されるべき3次元オブジェクトを定義し得る。
[0041]グラフィックスライブラリ(GL)送信フォーマット(TF)(glTF)2.0(glTF2.0)は、物理ベースレンダリングを可能にするためにクロノスによって開発された新しい規格である。glTF2.0は、シーングラフのコンパクトおよび低レベルの表現を提供する。glTF2.0は、処理を簡略化するためにシーングラフ表現の平坦な階層を提供する。glTF2.0シーングラフは、ウェブ環境における統合を簡単にするためにJavaScript(登録商標)オブジェクト表記法(JSON)で表される。glTF2.0仕様は、表現における冗長をなくし、シーングラフ中の異なるオブジェクトの効率的なインデックス付けを提供するように設計される。ムービングピクチャエキスパートグループ(MPEG)は、リアルタイムメディア、シーン更新、および他の特徴のためのサポートを追加するためにglTF2.0の拡張に取り組んでいる。
[0042]シーングラフは、様々な実施形態において、没入型3次元グループセッションなど、没入型プレゼンテーションのために、(3次元空間など、空間とも呼ばれる)シーンを合成することを可能にし得る。いくつかの実施形態では、合成は、マルチメディアリソース機能(MRF)、多地点通信ユニット(MCU)、テレプレゼンスアプリケーションサーバなど、コールサーバにおいて実施され得る。代替的に、いくつかの実施形態では、会議に参加している指定されたコンピューティングデバイスが、初期シーングラフを作成することと、シーングラフをコール(たとえば、没入型3次元グループセッション)中のすべての他のパーティと共有することとを担当し得る。このコンピューティングデバイスは、VRキャプチャを用いた会議室中にあるコンピューティングデバイスなど、主要なVRコンテンツを作成するものであり得る。いくつかの実施形態では、会議(たとえば、没入型3次元グループセッション)に参加している各コンピューティングデバイスは、1つまたは複数のノードをシーングラフに与え得る。いくつかの実施形態では、各ノードは、シーン(または空間)中にそのノードを適切に配置するために、たとえば3次元空間中にノードを適切に配置するために、(たとえば、行列、または個々の変換および回転動作の形式の)それの関連付けられた変換を識別するかまたはそれらを割り当てられ得る。
[0043]いくつかの実施形態では、会議コール(たとえば、没入型3次元グループセッション)に参加している各コンピューティングデバイスは、セッションレベル属性を通してシーングラフを送るおよび受信するためのオファーを行い得る。いくつかの実施形態では、オファーは、オファーを送るコンピューティングデバイスによって所有される、1つまたは複数の独自のグラフィカル出力ノードを指示し得る。一例として、会議コール(たとえば、没入型3次元グループセッション)に参加している各コンピューティングデバイスは、拡張バッカスナウア記法(ABNF:augmented Backus-Naur Form)シンタックスにおいて与えられる以下のセッションレベル属性を通してシーングラフを送るおよび受信するためのオファーを行い得る。
Session-Description=“a=scene-description:”SP mime-type[SP uri][SP sent-nodes]CRLF
mime-type=“mime-type:”byte-string
sent-nodes=“nodes-owned=1*(byte-string“;”)
uri=“websocket-uri:”URI .
[0044]いくつかの実施形態では、ユニフォームリソースインジケータ(URI)パラメータは、シーングラフが共有および更新されることになるデータチャネルのためのWebSocket URIであり得る。代替的に、アプリケーションメディアセッションが、以下のプロトコル識別子TCP/WSS/SD(伝送制御プロトコル/Websocketセキュア/セッション記述)など、プロトコル識別子とともに使用され得る。
Session-Description=“a=scene-description:”SP mime-type[SP uri][SP sent-nodes]CRLF
mime-type=“mime-type:”byte-string
sent-nodes=“nodes-owned=1*(byte-string“;”)
uri=“websocket-uri:”URI .
[0044]いくつかの実施形態では、ユニフォームリソースインジケータ(URI)パラメータは、シーングラフが共有および更新されることになるデータチャネルのためのWebSocket URIであり得る。代替的に、アプリケーションメディアセッションが、以下のプロトコル識別子TCP/WSS/SD(伝送制御プロトコル/Websocketセキュア/セッション記述)など、プロトコル識別子とともに使用され得る。
[0045]いくつかの実施形態では、WebSocket URIは、インターネットエンジニアリングタスクフォース(IETF)コメント要請(RFC)8124において定義されている、シンタックスおよびオファー/返答(answer)ネゴシエーションに従って提供され得る。そのようなWebSocket URIプロビジョニングの例示的なスキーマは、以下の通りであり得る。
m=application 50000 TCP/WSS/SD *
a=setup:passive
a=connection:new
a=websocket-uri:wss://mrf.operator.com/call/21323asd23
a=mime-type:model/gltf+json
a=nodes-owned:node12,node13,node14
[0046]様々な実施形態では、シーングラフは、シーン(たとえば、3次元空間)中でノードの構成要素として使用される会議セッションからのメディアストリームを参照する。一例は、(3次元(3D)空間とも呼ばれる)3Dシーン中の矩形領域中に表示されることになる会議参加者のビデオストリームである。たとえば、以下のURIフォーマットが使用され得る。
m=application 50000 TCP/WSS/SD *
a=setup:passive
a=connection:new
a=websocket-uri:wss://mrf.operator.com/call/21323asd23
a=mime-type:model/gltf+json
a=nodes-owned:node12,node13,node14
[0046]様々な実施形態では、シーングラフは、シーン(たとえば、3次元空間)中でノードの構成要素として使用される会議セッションからのメディアストリームを参照する。一例は、(3次元(3D)空間とも呼ばれる)3Dシーン中の矩形領域中に表示されることになる会議参加者のビデオストリームである。たとえば、以下のURIフォーマットが使用され得る。
url=”rtp://”fqdn_or_ip“/”call_id“/”ssrc“/”mid
[0047]このURIフォーマットでは、「fqdn_or_ip」は、コール(たとえば、没入型3次元グループセッション)を管理するMRFまたはSIPプロキシのドメイン名またはインターネットプロトコル(IP)アドレスを表す。MRFまたはSIPプロキシがコール(たとえば、没入型3次元グループセッション)を管理しない場合、「fqdn_or_ip」は、コール(たとえば、没入型3次元グループセッション)のホストのSIPアドレスのドメイン名またはIPアドレスを表し得る。「call_id」は、現在のコールまたは会議(たとえば、現在の没入型3次元グループセッション)のための一意の識別子を提供する。「ssrc」は、メディアストリームの所有者/送信側(sending)参加者の同期ソースを表す。最後に、「mid」は、SDPにおいて提供されるメディアセッション識別子を表す。アドレス指定の他の形式は、たとえば、ユニフォームリソースネーム(URN)として定義され得る。
[0047]このURIフォーマットでは、「fqdn_or_ip」は、コール(たとえば、没入型3次元グループセッション)を管理するMRFまたはSIPプロキシのドメイン名またはインターネットプロトコル(IP)アドレスを表す。MRFまたはSIPプロキシがコール(たとえば、没入型3次元グループセッション)を管理しない場合、「fqdn_or_ip」は、コール(たとえば、没入型3次元グループセッション)のホストのSIPアドレスのドメイン名またはIPアドレスを表し得る。「call_id」は、現在のコールまたは会議(たとえば、現在の没入型3次元グループセッション)のための一意の識別子を提供する。「ssrc」は、メディアストリームの所有者/送信側(sending)参加者の同期ソースを表す。最後に、「mid」は、SDPにおいて提供されるメディアセッション識別子を表す。アドレス指定の他の形式は、たとえば、ユニフォームリソースネーム(URN)として定義され得る。
[0048]いくつかの実施形態では、ウェブリアルタイム通信(WebRTC)を使用するとき、セッションセットアッププロトコルは、アプリケーションに委ねられ得る。いくつかの実装形態は、この目的でWebSocketを介したSIPに依拠する。しかしながら、コール(たとえば、没入型3次元グループセッション)をセットアップおよび記述するために、他のプロトコルが使用され得る。
[0049]いくつかの実施形態は、会議コール(たとえば、没入型3次元グループセッション)への入口点としてシーングラフを使用し得る。そのような実施形態では、すべての参加者が、コール(たとえば、没入型3次元グループセッション)の開始時に3次元シーン(または3次元空間)をセットアップするシーングラフドキュメントを共有する。シーングラフは、各参加者のためのグラフノードを定義し、各参加者がそれについてのメディアストリームを提供する必要がある構成要素を識別することになる。これは、すべての会議参加者が接続する、MRFなどの中央コールサーバによって行われ得る。MRFは、新たに加わるコール参加者のまたはコールを出た参加者の、新しいノードを追加するためにまたはノードを削除するためになど、コール(たとえば、没入型3次元グループセッション)中にシーングラフを更新するように構成され得る。
[0050]いくつかの実施形態では、参加者コンピューティングデバイスは、WebRTC会議に加わるためにコールサーバによって提供されるウェブページへのリンクを使用し得る。コールサーバは、参加者コンピューティングデバイスに、そのウェブページを、コール参加者およびマテリアルの3D空間中の初期/デフォルト構成をセットアップするシーングラフファイルとともに提供し得る(たとえば、各参加者は、視覚ノード、オーディオソースノード、および潜在的に、また、グラフィックおよび他の共有コンテンツのためのノードを割り当てられることになる)。各参加者コンピューティングデバイスは、シーングラフ中でそれが所有するノードを追加または修正し得る。シーングラフ中のノードのための構成要素を提供するメディアストリームは、WebRTCを使用してストリーミングされ得る。これらのストリームは、直接、またはメディアプロキシサーバなどのサーバを通して交換され得る。
[0051]いくつかの実施形態では、ITT4RT会議に参加しているコンピューティングデバイスは、互いとの直接ピアツーピアWebSocketチャネルを確立し得るか、または接続が、MRFによってすべてのパーティにオファーされ得る。そのような実施形態では、WebSocketチャネルは、テキストフレームフォーマットを使用し得る。シーンでは(たとえば、3次元空間では)、ノード名は、一意であり得、コール中で異なるコンピューティングデバイスによって提供されるノードにおいてネーミング競合がないことを保証するために、SDPにおいて宣言され得る。そのような実施形態では、シーングラフ中のノードは、SDPにおいて宣言される他のメディアストリームなど、外部メディアストリームを参照し得る。そのような実施形態では、受信機は、ユーザ入力に基づいてなど、レンダリングプロセスにおいていくつかのコンピューティングデバイスからのノードをマスキングし得る。
[0052]いくつかの実施形態では、MRFは、デフォルトで、マスタシーングラフの所有者であり得、これは、座標系を設定し、すべての他のノードが合成される、コンピューティングデバイスである。いくつかの実施形態では、MRFは、シーン(または空間)中の主要なカメラを定義するコンピューティングデバイスでもあり得る。いくつかの実施形態では、集中型MRFがない場合、コール中のコンピューティングデバイスは、たとえば、VRコンテンツを提供するコンピューティングデバイスまたはコールのオーガナイザを選択することによって、主要なシーングラフを提供するための1つのコンピューティングデバイスを選択し得る。様々な実施形態では、オーバーレイは、シーン(または空間)内に配置された2Dまたは3Dオブジェクトであり得る。いくつかの実施形態では、オーバーレイのジオメトリおよびそれのテクスチャは、そのオーバーレイオブジェクトに対応するノードによって定義され得る。単純な例は、VRシーン(またはVR空間)内に示される矩形エリア中で再生されるスライドのセットである。この例では、ジオメトリは矩形であり得、テクスチャはビデオメディアストリームから来得る。矩形は、シーン(または空間)中に配置され得る。ビューポート依存オーバーレイでは、矩形の位置は、カメラ方向にロックされ得る。
[0053]図1Aは、様々な実施形態を実装するのに好適である通信システム100の一例を示す。通信システム100は、5G NRネットワークであるか、またはLTEネットワークなどの任意の他の好適なネットワークであり得る。
[0054]通信システム100は、コアネットワーク140と、(図1にワイヤレスデバイス120a~120eとして示されている)(ユーザ機器(UE)コンピューティングデバイスとも呼ばれる)様々なワイヤレスデバイスとを含む異種ネットワークアーキテクチャを含み得る。通信システム100はまた、(BS110a、BS110b、BS110c、およびBS110dとして示されている)いくつかの基地局と、他のネットワークエンティティとを含み得る。基地局は、ワイヤレスデバイス(ワイヤレスデバイスまたはUEコンピューティングデバイス)と通信するエンティティであり、ノードB、ノードB、LTE発展型ノードB(eNB)、アクセスポイント(AP)、無線ヘッド、送信受信ポイント(TRP)、新無線基地局(NR BS)、5GノードB(NB)、次世代ノードB(gNB)などと呼ばれることもある。各基地局は、特定の地理的エリアに通信カバレージを提供し得る。3GPP(登録商標)では、「セル」という用語は、この用語が使用されるコンテキストに応じて、基地局のカバレージエリア、このカバレージエリアをサービスする基地局サブシステムのカバレージエリア、またはそれらの組合せを指すことができる。
[0055]基地局110a~110dは、マクロセル、ピコセル、フェムトセル、別のタイプのセル、またはそれらの組合せに通信カバレージを提供し得る。マクロセルは、比較的大きい地理的エリア(たとえば、半径数キロメートル)をカバーし得、サービスに加入しているワイヤレスデバイスによる無制限アクセスを可能にし得る。ピコセルは、比較的小さい地理的エリアをカバーし得、サービスに加入しているワイヤレスデバイスによる無制限アクセスを可能にし得る。フェムトセルは、比較的小さい地理的エリア(たとえば、自宅)をカバーし得、フェムトセルとの関連付けを有するワイヤレスデバイス(たとえば、限定加入者グループ(CSG)中のワイヤレスデバイス)による制限付きアクセスを可能にし得る。マクロセルのための基地局は、マクロBSと呼ばれることがある。ピコセルのための基地局は、ピコBSと呼ばれることがある。フェムトセルのための基地局は、フェムトBSまたはホームBSと呼ばれることがある。図1Aに示されている例では、基地局110aは、マクロセル102aのためのマクロBSであり得、基地局110bは、ピコセル102bのためのピコBSであり得、基地局110cは、フェムトセル102cのためのフェムトBSであり得る。基地局110a~110dは、1つまたは複数の(たとえば、3つの)セルをサポートし得る。「eNB」、「基地局」、「NR BS」、「gNB」、「TRP」、「AP」、「ノードB」、「5G NB」、および「セル」という用語は、本明細書では互換的に使用され得る。
[0056]いくつかの例では、セルは固定でないことがあり、セルの地理的エリアは、モバイル基地局のロケーションに従って移動することがある。いくつかの例では、基地局110a~110dは、任意の好適なトランスポートネットワークを使用して、直接物理接続、仮想ネットワーク、またはそれらの組合せなど、様々なタイプのバックホールインターフェースを通して、互いに、ならびに通信システム100中の1つまたは複数の他の基地局またはネットワークノード(図示されず)に相互接続され得る。
[0057]基地局110a~110dは、ワイヤードまたはワイヤレス通信リンク126を介してコアネットワーク140と通信し得る。ワイヤレスデバイス120a~120e(UEコンピューティングデバイス)は、ワイヤレス通信リンク122を介して基地局110a~110dと通信し得る。
[0058]ワイヤード通信リンク126は、イーサネット(登録商標)、ポイントツーポイントプロトコル、ハイレベルデータリンク制御(HDLC)、アドバンストデータ通信制御プロトコル(ADCCP)、および伝送制御プロトコル/インターネットプロトコル(TCP/IP)など、1つまたは複数のワイヤード通信プロトコルを使用し得る様々なワイヤードネットワーク(たとえば、イーサネット、TVケーブル、電話、光ファイバー、および他の形態の物理ネットワーク接続)を使用し得る。
[0059]通信システム100はまた、リレー局(たとえば、リレーBS110d)を含み得る。リレー局は、上流局(たとえば、基地局またはワイヤレスデバイス)からデータの送信を受信し、下流局(たとえば、ワイヤレスデバイスまたは基地局)にデータの送信を送ることができるエンティティである。リレー局はまた、他のワイヤレスデバイスのための送信を中継することができるワイヤレスデバイスであり得る。図1に示されている例では、リレー局110dは、マクロ基地局110aとワイヤレスデバイス120dとの間の通信を容易にするために、基地局110aおよびワイヤレスデバイス120dと通信し得る。リレー局は、リレー基地局、リレー基地局、リレーなどと呼ばれることもある。
[0060]通信システム100は、異なるタイプの基地局、たとえば、マクロ基地局、ピコ基地局、フェムト基地局、リレー基地局などを含む異種ネットワークであり得る。これらの異なるタイプの基地局は、通信システム100中で異なる送信電力レベルと、異なるカバレージエリアと、干渉に対する異なる影響とを有し得る。たとえば、マクロ基地局は、高い送信電力レベル(たとえば、5~40ワット)を有し得るが、ピコ基地局、フェムト基地局、およびリレー基地局は、より低い送信電力レベル(たとえば、0.1~2ワット)を有し得る。
[0061]ネットワークコントローラ130は、基地局のセットに結合し得、これらの基地局の協調および制御を行い得る。ネットワークコントローラ130は、バックホールを介して基地局と通信し得る。基地局はまた、たとえば、ワイヤレスまたはワイヤラインバックホールを介して直接または間接的に互いに通信し得る。
[0062]ワイヤレスデバイス(UEコンピューティングデバイス)120a、120b、120cは、通信システム100全体にわたって分散され得、各ワイヤレスデバイスは、固定またはモバイルであり得る。ワイヤレスデバイスは、アクセス端末、UE、端末、移動局、加入者ユニット、局などと呼ばれることもある。
[0063]マクロ基地局110aは、ワイヤードまたはワイヤレス通信リンク126を介して通信ネットワーク140と通信し得る。ワイヤレスデバイス120a、120b、120cは、ワイヤレス通信リンク122を介して基地局110a~110dと通信し得る。コアネットワーク140は、コールサーバ150(たとえば、マルチメディアリソース機能(MRF)、多地点通信ユニット(MCU)、テレプレゼンスアプリケーションサーバなど)など、他のデバイスに接続され得る。このようにして、コアネットワーク140への接続を介して、コールサーバ150は、リモート端末のための没入型テレカンファレンスおよびテレプレゼンス(ITT4RT)サービスなど、テレプレゼンスサービスを、(たとえば、リンク126を介してコアネットワーク140から、および、リンク122を介して基地局110a~110dから)ワイヤレスデバイス120a、120b、120c、120dに利用可能にし得る。コアネットワーク140の外側として示されるが、コールサーバ150は、コアネットワーク140自体の一部であり得る。
[0064]ワイヤレス通信リンク122、124は、複数のキャリア信号、周波数、または周波数帯域を含み得、これらの各々は、複数の論理チャネルを含み得る。ワイヤレス通信リンク122および124は、1つまたは複数の無線アクセス技術(RAT)を利用し得る。分配された通信システム100内のワイヤレスワイドエリアネットワーク(WWAN)ワイヤレス通信リンク122、124において使用され得るRATの例は、3GPP LTE、3G、4G、5G(たとえば、NR)、GSM、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA(登録商標))、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX(登録商標))、時分割多元接続(TDMA)、および他のモバイル電話通信技術セルラーRATを含む。ローカル通信システム100内のワイヤレスローカルエリアネットワーク(WLAN)ワイヤレス通信リンク122、124で使用され得るRATの例は、Wi-Fi、LTE-U、LTE-Direct、LAA、MuLTEfireなどの中距離ワイヤレスプロトコル、ならびにZigBee、Bluetooth、およびBluetooth Low Energy(LE)などの比較的短距離のRATを含む。
[0065]いくつかのワイヤレスネットワーク(たとえば、LTE)は、ダウンリンク上では直交周波数分割多重(OFDM)を利用し、アップリンク上ではシングルキャリア周波数分割多重(SC-FDM)を利用する。OFDMおよびSC-FDMは、システム帯域幅を、一般にトーン、ビンなどとも呼ばれる複数(K)個の直交サブキャリアに区分する。各サブキャリアはデータで変調され得る。概して、変調シンボルは、OFDMでは周波数領域で、SC-FDMでは時間領域で送られる。隣接するサブキャリア間の間隔は固定であり得、サブキャリアの総数(K)はシステム帯域幅に依存し得る。たとえば、サブキャリアの間隔は15kHzであり得、(「リソースブロック」と呼ばれる)最小リソース割振りは12個のサブキャリア(または180kHz)であり得る。したがって、公称高速ファイル転送(FFT)サイズは、1.25、2.5、5、10、または20メガヘルツ(MHz)のシステム帯域幅に対してそれぞれ128、256、512、1024または2048に等しくなり得る。システム帯域幅はまた、サブバンドに区分され得る。たとえば、サブバンドは1.08MHz(すなわち、6つのリソースブロック)をカバーし得、1.25、2.5、5、10または20MHzのシステム帯域幅に対してそれぞれ1、2、4、8または16個のサブバンドがあり得る。
[0066]いくつかの実施形態の説明は、LTE技術に関連する用語と例とを使用し得るが、様々な実施形態は、新無線(NR)または5Gネットワークなど、他のワイヤレス通信システムに適用可能であり得る。NRは、アップリンク(UL)およびダウンリンク(DL)上でサイクリックプレフィックス(CP)を伴うOFDMを利用し、時分割複信(TDD)を使用する半二重動作のサポートを含み得る。100MHzの単一のコンポーネントキャリア帯域幅がサポートされ得る。NRリソースブロックは、0.1ms持続時間にわたる75kHzのサブキャリア帯域幅をもつ12個のサブキャリアにわたり得る。各無線フレームは、10msの長さをもつ50個のサブフレームからなり得る。したがって、各サブフレームは、0.2msの長さを有し得る。各サブフレームは、データ送信のためのリンク方向(すなわち、DLまたはUL)を示し得、各サブフレームのためのリンク方向は、動的に切り替えられ得る。各サブフレームは、DL/ULデータならびにDL/UL制御データを含み得る。ビームフォーミングがサポートされ得、ビーム方向が動的に構成され得る。プリコーディングを用いた多入力多出力(MIMO)送信もサポートされ得る。DLにおけるMIMO構成は、最高8つのストリームおよびワイヤレスデバイスごとに最高2つのストリームのマルチレイヤDL送信を用いて、最高8つの送信アンテナをサポートし得る。ワイヤレスデバイスごとに最高2つのストリームを用いるマルチレイヤ送信がサポートされ得る。複数のセルのアグリゲーションが、最高8つのサービングセルを用いてサポートされ得る。代替的に、NRは、OFDMベースエアインターフェース以外の異なるエアインターフェースをサポートし得る。
[0067]いくつかのワイヤレスデバイスは、マシンタイプ通信(MTC)ワイヤレスデバイスあるいは発展型または拡張マシンタイプ通信(eMTC)ワイヤレスデバイスと見なされ得る。MTCワイヤレスデバイスおよびeMTCワイヤレスデバイスは、たとえば、基地局、別のデバイス(たとえば、リモートデバイス)、または何らかの他のエンティティと通信し得る、ロボット、ドローン、リモートデバイス、センサー、メーター、モニタ、ロケーションタグなどを含む。ワイヤレスノードは、たとえば、ワイヤードまたはワイヤレス通信リンクを介した、ネットワーク(たとえば、インターネットまたはセルラーネットワークなど、ワイドエリアネットワーク)のための、またはネットワークへの接続性を提供し得る。いくつかのワイヤレスデバイスは、モノのインターネット(IoT)デバイスと見なされ得るか、またはNB-IoT(狭帯域モノのインターネット)デバイスとして実装され得る。ワイヤレスデバイス120a~eは、プロセッサ構成要素、メモリ構成要素、同様の構成要素、またはそれらの組合せなど、ワイヤレスデバイスの構成要素を格納するハウジング内に含まれ得る。
[0068]概して、任意の数の通信システムおよび任意の数のワイヤレスネットワークが、所与の地理的エリア中に展開され得る。各通信システムおよびワイヤレスネットワークは、特定の無線アクセス技術(RAT)をサポートし得、1つまたは複数の周波数上で動作し得る。RATは、無線技術、エアインターフェースなどと呼ばれることもある。周波数は、キャリア、周波数チャネルなどと呼ばれることもある。各周波数は、異なるRATの通信システム間での干渉を回避するために、所与の地理的エリア中で単一のRATをサポートし得る。いくつかの場合には、NRまたは5G RATネットワークが展開され得る。
[0069]いくつかの実装形態では、(たとえば、ワイヤレスデバイス120aおよびワイヤレスデバイス120eとして示されている)2つまたはそれ以上のワイヤレスデバイス120a~eが、(たとえば、互いと通信するための媒介として基地局110a~110dを使用せずに)1つまたは複数のサイドリンクチャネル124を使用して、直接通信し得る。たとえば、ワイヤレスデバイス120a~eは、ピアツーピア(P2P)通信、デバイスツーデバイス(D2D)通信、(車両対車両(V2V)プロトコル、車両対インフラストラクチャ(V2I)プロトコル、または同様のプロトコルを含み得る)車両対あらゆるモノ(V2X)プロトコル、メッシュネットワーク、または同様のネットワーク、あるいはそれらの組合せを使用して通信し得る。この場合、ワイヤレスデバイス120a~eは、スケジューリング動作、リソース選択動作、ならびに基地局110aによって実施されるものとして本明細書の他の場所で説明される他の動作を実施し得る。
[0070]図1Bは、様々な実施形態に従って構成され得るヘッドマウントデバイス172を示す。図1Aおよび図1Bに関して、図1Aに示された例では、ヘッドマウントデバイス172は、ユーザ機器コンピューティングデバイス(たとえば、UE120c、120d、120e)の特定の実装形態であり得る。ヘッドマウントデバイス172は、フレーム152と、2つの光学レンズ154と、外向き世界ビュー画像センサー/カメラ158、内向き視線ビューセンサー/カメラ160、センサーアレイ162、メモリ164、および通信回路166に通信可能に結合されたプロセッサ156とを含む。様々な実施形態では、通信回路166は、図1Aに関してシステム100において説明されるように様々なデバイスの間の通信をサポートするための1つまたは複数のRATをサポートし得る。いくつかの実施形態では、ヘッドマウントデバイス172は、フレームのアーム180に沿って、または、ヘッドマウントデバイス172のノーズブリッジ182中にキャパシタンスタッチ検知回路を含み得る。いくつかの実施形態では、ヘッドマウントデバイス172は、物理的状態(たとえば、ロケーション、動き、加速度、配向、高度など)を監視するためのセンサーをも含み得る。センサーは、ジャイロスコープ、加速度計、磁力計、磁気コンパス、高度計、走行距離計、および圧力センサーのいずれかまたはすべてを含み得る。センサーは、環境および/またはユーザ状態に関係する情報を収集するための様々なバイオセンサー(たとえば、心拍数モニタ、体温センサー、炭素センサー、酸素センサーなど)をも含み得る。センサーはまた、ヘッドマウントデバイス172の外部にあり、ワイヤードまたはワイヤレス接続(たとえば、Bluetoothなど)を介してヘッドマウントデバイス172にペアリングまたはグループ化され得る。
[0071]いくつかの実施形態では、プロセッサ156はまた、フレーム152のアーム部分180中に埋め込まれ、光学レンズ154上に画像を投影するように構成され得る、画像レンダリングデバイス168(たとえば、画像プロジェクタ)に通信可能に結合され得る。いくつかの実施形態では、画像レンダリングデバイス168は、発光ダイオード(LED)モジュール、光トンネル、均質化レンズ(homogenizing lens)、光学ディスプレイ、フォールドミラー、あるいは、他の構成要素よく知られているプロジェクタまたはヘッドマウントディスプレイを含み得る。いくつかの実施形態(たとえば、画像レンダリングデバイス168が含まれないかまたは使用されない実施形態)では、光学レンズ154は、シースルーのまたは部分的にシースルーの電子ディスプレイであり得るか、あるいはそれを含み得る。いくつかの実施形態では、光学レンズ154は、シースルー有機発光ダイオード(OLED)ディスプレイ要素または液晶オンシリコン(LCOS)ディスプレイ要素など、画像生成要素を含む。いくつかの実施形態では、光学レンズ154は、独立した左眼および右眼ディスプレイ要素を含み得る。いくつかの実施形態では、光学レンズ154は、ディスプレイ要素からの光を装着者の眼に送達するための光ガイドを含むか、または光ガイドとして動作し得る。
[0072]外向きまたは世界ビュー画像センサー/カメラ158は、ユーザの物理的環境からの現実世界の画像をキャプチャし、対応する画像データをプロセッサ156に送るように構成され得る。プロセッサ156は、拡張シーン(または空間)を生成するために、現実世界の画像をコンピュータ生成された像または仮想オブジェクト(VO)と組み合わせ、ヘッドマウントデバイス172の電子ディスプレイまたは光学レンズ154上に拡張シーン(または空間)をレンダリングし得る。
[0073]内向きまたは視線ビューセンサー/カメラ160は、ユーザの眼またはユーザの眼の周囲の顔の構造から画像データを収集するように構成され得る。
[0074]様々な実施形態は、システムオンチップ(SOC)またはシステムインパッケージ(SIP)を含む、いくつかのシングルプロセッサおよびマルチプロセッサコンピュータシステム上に実装され得る。図2は、様々な実施形態を実装するワイヤレスデバイス(UEコンピューティングデバイス)中で使用され得る例示的なコンピューティングシステムまたはSIP200アーキテクチャを示す。
[0075]図1A、図1B、および図2を参照すると、図示された例示的なSIP200は2つのSOC202、204と、クロック206と、電圧調節器208と、基地局110a、および/または他のワイヤレスデバイス(たとえば、ワイヤレスデバイス120a~e)などのネットワークワイヤレスデバイスとの間でアンテナ(図示せず)を介してワイヤレス通信を送るおよび受信するように構成された1つまたは複数のワイヤレストランシーバ266とを含む。いくつかの実施形態では、第1のSOC202は、命令によって指定された算術、論理、制御および入出力(I/O)演算を実施することによってソフトウェアアプリケーションプログラムの命令を行うワイヤレスデバイスの中央処理ユニット(CPU)として動作する。いくつかの実施形態では、第2のSOC204は、専用処理ユニットとして動作し得る。たとえば、第2のSOC204は、高ボリューム、高速(たとえば、5Gbpsなど)、および/または超高周波短波長(たとえば、28GHz mmWaveスペクトルなど)通信を管理することを担当する専用5G処理ユニットとして動作し得る。いくつかの実施形態では、ワイヤレストランシーバ266は、ピアツーピア(P2P)通信、デバイスツーデバイス(D2D)通信、(車両対車両(V2V)プロトコル、車両対インフラストラクチャ(V2I)プロトコル、または同様のプロトコルを含み得る)車両対あらゆるモノ(V2X)プロトコル、Bluetooth通信、Wi-Fi通信などをサポートするように構成されたワイヤレストランシーバであり得る。いくつかの実施形態では、ワイヤレストランシーバ266は、各々、第1のSOC202に接続され得、および/または第2のSOC204は、周辺構成要素相互接続エクスプレス(PCIe)接続、ユニバーサルシリアルバス(USB)接続、高速チップ間(HSIC)接続、イーサネット接続など、様々な(相互接続、バスなどとも呼ばれる)物理接続267によって、1つまたは複数のワイヤレストランシーバ266の各々に接続され得る。
[0076]第1のSOC202は、デジタル信号プロセッサ(DSP)210と、モデムプロセッサ212と、グラフィックスプロセッサ214と、アプリケーションプロセッサ216と、プロセッサのうちの1つまたは複数に接続された1つまたは複数のコプロセッサ218(たとえば、ベクトルコプロセッサ)と、メモリ220と、カスタム回路222と、システム構成要素およびリソース224と、相互接続/バスモジュール226と、1つまたは複数の温度センサー230と、熱管理ユニット232と、熱パワーエンベロープ(TPE)構成要素234とを含み得る。第2のSOC204は、5Gモデムプロセッサ252と、電力管理ユニット254と、相互接続/バスモジュール264と、複数のmmWaveトランシーバ256と、メモリ258と、アプリケーションプロセッサ、パケットプロセッサなどの様々な追加のプロセッサ260とを含み得る。
[0077]各プロセッサ210、212、214、216、218、252、260は、1つまたは複数のコアを含み得、各プロセッサ/コアは、他のプロセッサ/コアから独立した動作を実施し得る。たとえば、第1のSOC202は、第1のタイプのオペレーティングシステム(たとえば、FreeBSD、LINUX(登録商標)、OS Xなど)を実行するプロセッサと、第2のタイプのオペレーティングシステム(たとえば、MICROSOFT WINDOWS(登録商標)10)を実行するプロセッサとを含み得る。加えて、プロセッサ210、212、214、216、218、252、260のいずれかまたはすべては、プロセッサクラスタアーキテクチャ(たとえば、同期プロセッサクラスタアーキテクチャ、非同期または異種プロセッサクラスタアーキテクチャなど)の一部として含まれ得る。
[0078]第1のSOC202および第2のSOC204は、センサーデータ、アナログデジタル変換、ワイヤレスデータ送信を管理するための、ならびにデータパケットを復号し、ウェブブラウザでのレンダリングのために符号化オーディオおよびビデオ信号を処理することなどの他の特殊な動作を実施するための、様々なシステム構成要素、リソースおよびカスタム回路を含み得る。たとえば、第1のSOC202のシステム構成要素およびリソース224は、電力増幅器、電圧調節器、発振器、位相ロックループ、周辺ブリッジ、データコントローラ、メモリコントローラ、システムコントローラ、アクセスポート、タイマー、およびワイヤレスデバイス上で実行しているプロセッサとソフトウェアクライアントとをサポートするために使用される他の同様の構成要素を含み得る。システム構成要素およびリソース224および/またはカスタム回路222はまた、カメラ、電子ディスプレイ、ワイヤレス通信デバイス、外部メモリチップなどの周辺デバイスとインターフェースするための回路を含み得る。
[0079]第1のSOC202および第2のSOC204は、相互接続/バスモジュール250を介して通信し得る。様々なプロセッサ210、212、214、216、218は、相互接続/バスモジュール226を介して、1つまたは複数のメモリ要素220と、システム構成要素およびリソース224と、カスタム回路222と、熱管理ユニット232とに相互接続され得る。同様に、プロセッサ252は、相互接続/バスモジュール264を介して、電力管理ユニット254と、mmWaveトランシーバ256と、メモリ258と、様々な追加のプロセッサ260とに相互接続され得る。相互接続/バスモジュール226、250、264は、再構成可能な論理ゲートのアレイを含み、および/またはバスアーキテクチャ(たとえば、CoreConnect、AMBAなど)を実装し得る。通信は、高性能なネットワークオンチップ(NoC)などの高度相互接続によって提供され得る。
[0080]第1のSOC202および/または第2のSOC204は、クロック206および電圧調節器208など、SOCの外部のリソースと通信するための入出力モジュール(図示されず)をさらに含み得る。SOCの外部のリソース(たとえば、クロック206、電圧調節器208)は、内部SOCプロセッサ/コアのうちの2つまたはそれ以上によって共有され得る。
[0081]上記で説明された例示的なSIP200に加えて、様々な実施形態は、単一のプロセッサ、複数のプロセッサ、マルチコアプロセッサ、またはそれらの任意の組合せを含み得る、多種多様なコンピューティングシステムにおいて実装され得る。
[0082]図3は、基地局350(たとえば、基地局110a)とワイヤレスデバイス(UEコンピューティングデバイス)320(たとえば、ワイヤレスデバイス120a~120e、172、200)との間のワイヤレス通信におけるユーザプレーンおよび制御プレーンのための無線プロトコルスタックを含むソフトウェアアーキテクチャ300の一例を示す。図1A~図3を参照すると、ワイヤレスデバイス320は、通信システム(たとえば、100)の基地局350と通信するようにソフトウェアアーキテクチャ300を実装し得る。様々な実施形態では、ソフトウェアアーキテクチャ300中のレイヤは、基地局350のソフトウェア中の対応するレイヤとの論理接続を形成し得る。ソフトウェアアーキテクチャ300は、1つまたは複数のプロセッサ(たとえば、プロセッサ212、214、216、218、252、260)の間で分散され得る。1つの無線プロトコルスタックに関して示されているが、マルチSIM(加入者識別モジュール)ワイヤレスデバイスでは、ソフトウェアアーキテクチャ300は複数のプロトコルスタックを含み得、これらのプロトコルスタックの各々は、異なるSIMに関連付けられ得る(たとえば、デュアルSIMワイヤレス通信デバイス中では、それぞれ、2つのSIMに関連付けられた2つのプロトコルスタック)。以下ではLTE通信レイヤに関して説明されるが、ソフトウェアアーキテクチャ300は、ワイヤレス通信のための様々な規格およびプロトコルのいずれかをサポートし得、および/または様々な規格およびプロトコルワイヤレス通信のいずれかをサポートする追加のプロトコルスタックを含み得る。
[0083]ソフトウェアアーキテクチャ300は、非アクセス層(NAS)302と、アクセス層(AS)304とを含み得る。NAS302は、ワイヤレスデバイスの(1つまたは複数の)SIM(たとえば、(1つまたは複数の)SIM204)とそれのコアネットワーク140との間のパケットフィルタリングと、セキュリティ管理と、モビリティ制御と、セッション管理と、トラフィックおよびシグナリングとをサポートするための機能とプロトコルとを含み得る。AS304は、(1つまたは複数の)SIM(たとえば、(1つまたは複数の)SIM204)とサポートされるアクセスネットワークのエンティティ(たとえば、基地局)との間の通信をサポートする機能とプロトコルとを含み得る。特に、AS304は、少なくとも3つのレイヤ(レイヤ1、レイヤ2、およびレイヤ3)を含み得、これらのレイヤの各々は、様々なサブレイヤを含み得る。
[0084]ユーザプレーンおよび制御プレーンにおいて、AS304のレイヤ1(L1)は、エアインターフェースを介した送信および/または受信を可能にする機能を監督し得る物理レイヤ(PHY)306であり得る。そのような物理レイヤ306機能の例は、サイクリック冗長検査(CRC)アタッチメント、コーディングブロック、スクランブルおよび逆スクランブル、変調および復調、信号測定、MIMOなどを含み得る。物理レイヤは、物理ダウンリンク制御チャネル(PDCCH)と物理ダウンリンク共有チャネル(PDSCH)とを含む、様々な論理チャネルを含み得る。
[0085]ユーザプレーンおよび制御プレーンにおいて、AS304のレイヤ2(L2)は、物理レイヤ306上のワイヤレスデバイス320と基地局350との間のリンクを担当し得る。様々な実施形態では、レイヤ2は、メディアアクセス制御(MAC)サブレイヤ308と、無線リンク制御(RLC)サブレイヤ310と、パケットデータコンバージェンスプロトコル(PDCP)312サブレイヤとを含み得、これらのサブレイヤの各々は、基地局350において終端する論理接続を形成する。
[0086]制御プレーンにおいて、AS304のレイヤ3(L3)は、無線リソース制御(RRC)サブレイヤ3を含み得る。図示されていないが、ソフトウェアアーキテクチャ300は、追加のレイヤ3サブレイヤ、ならびにレイヤ3の上方の様々な上位レイヤを含み得る。様々な実施形態では、RRCサブレイヤ313は、システム情報をブロードキャストすることと、ページングすることと、ワイヤレスデバイス320と基地局350との間のRRCシグナリング接続を確立および解放することとを含む機能を提供し得る。
[0087]様々な実施形態では、PDCPサブレイヤ312は、異なる無線ベアラおよび論理チャネルの間の多重化と、シーケンス番号追加と、ハンドオーバデータ処理と、完全性保護と、暗号化と、ヘッダ圧縮とを含むアップリンク機能を提供し得る。ダウンリンクでは、PDCPサブレイヤ312は、データパケットの順序配信と、重複データパケット検出と、完全性検証と、解読と、ヘッダ復元とを含む機能を提供し得る。
[0088]アップリンクでは、RLCサブレイヤ310は、上位レイヤデータパケットのセグメント化および連結と、紛失データパケットの再送信と、自動再送要求(ARQ)とを提供し得る。一方、ダウンリンクでは、RLCサブレイヤ310機能は、順が狂った受信を補償するためのデータパケットの並べ替えと、上位レイヤデータパケットのリアセンブリと、ARQとを含み得る。
[0089]アップリンクでは、MACサブレイヤ308は、論理チャネルおよびトランスポートチャネルの間の多重化と、ランダムアクセスプロシージャと、論理チャネル優先度と、ハイブリッドARQ(HARQ)動作とを含む機能を提供し得る。ダウンリンクでは、MACレイヤ機能は、セル内のチャネルマッピングと、多重分離と、間欠受信(DRX)と、HARQ動作とを含み得る。
[0090]ソフトウェアアーキテクチャ300は物理媒体を通してデータを送信するための機能を提供し得るが、ソフトウェアアーキテクチャ300は、ワイヤレスデバイス320中の様々なアプリケーションへのデータ転送サービスを提供するために、少なくとも1つのホストレイヤ314をさらに含み得る。いくつかの実施形態では、少なくとも1つのホストレイヤ314によって提供されるアプリケーション固有の機能は、ソフトウェアアーキテクチャと汎用プロセッサ206との間のインターフェースを提供し得る。
[0091]他の実施形態では、ソフトウェアアーキテクチャ300は、ホストレイヤ機能を提供する1つまたは複数の上位論理レイヤ(たとえば、トランスポート、セッション、プレゼンテーション、アプリケーションなど)を含み得る。たとえば、いくつかの実施形態では、ソフトウェアアーキテクチャ300は、論理接続がパケットデータネットワーク(PDN)ゲートウェイ(PGW)において終端するネットワークレイヤ(たとえば、IPレイヤ)を含み得る。いくつかの実施形態では、ソフトウェアアーキテクチャ300は、論理接続が別のデバイス(たとえば、エンドユーザデバイス、サーバなど)において終端するアプリケーションレイヤを含み得る。いくつかの実施形態では、ソフトウェアアーキテクチャ300は、AS304中に、物理レイヤ306と通信ハードウェア(たとえば、1つまたは複数の無線周波数(RF)トランシーバ)との間のハードウェアインターフェース316をさらに含み得る。
[0092]図4は、様々な実施形態による、テレカンファレンスまたはテレプレゼンスセッションにおける没入型エクスペリエンスをサポートするための例示的な方法400のプロセスフロー図を示す。図1A~図4を参照すると、方法400は、(ワイヤレスデバイス120a~120e、172、200、320などの)ワイヤレスデバイスの(156、212、216、252、または260などの)プロセッサによって実装され得る。様々な実施形態では、方法400の動作は、没入型3次元グループセッションなど、テレカンファレンスまたはテレプレゼンスセッションにおける複数の参加者コンピューティングデバイスのうちの1つであるワイヤレスデバイスのプロセッサによって実施され得る。
[0093]ブロック402において、プロセスは、セッションのためのセッション開始プロトコル(SIP)セットアップの一部としてシーングラフを送るおよび/または受信するためのオファーを指示するための動作を実施する。いくつかの実施形態では、オファーは、ワイヤレスデバイスによって所有されるグラフィカル出力ノードを指示し得る。いくつかの実施形態では、セッションは、WebRTCセッションであり得る。
[0094]ブロック404において、プロセッサは、セッションのためのシーングラフが共有されることになる、データチャネルのアドレスを指示するセッションのためのセッション記述プロトコル(SDP)を受信するための動作を実施し得る。いくつかの実施形態では、シーングラフは、セッションに参加している各コンピューティングデバイスに割り当てられた1つまたは複数のノードを定義し得る。様々な実施形態では、ノードは、セッションに参加している他のコンピューティングデバイスからの他のメディアストリームを参照し得、他のメディアストリームは、セッションにおいてオーバーレイされ得る。様々な実施形態では、セッションに参加している各コンピューティングデバイスに割り当てられた1つまたは複数のノードは、1つまたは複数の視覚ノード、オーディオソースノード、グラフィックスノード、または共有コンテンツノードを含み得る。
[0095]ブロック406において、プロセッサは、データチャネルを介してシーングラフをダウンロードするための動作を実施し得る。
[0096]ブロック408において、プロセッサは、画像レンダリングデバイス(たとえば、168)上にレンダリングするためにシーングラフに従ってセッションを受信およびレンダリングするための動作を実施し得る。セッションを受信およびレンダリングすることは、シーングラフに従ってセッションのストリーミングサービスを受信することと、ディスプレイ上にセッションをレンダリングすることとを含み得る。いくつかの実施形態では、セッションのディスプレイは、HMD(たとえば、172)上に、TV会議室上に、ボリュームディスプレイ上に、または、任意の他の画像および音レンダリングデバイス上にレンダリングされ得、受信およびレンダリングすることは、画像および音レンダリングデバイスを介してユーザにセッションを出力することを含み得る。
[0097]ブロック410において、プロセッサは、ワイヤレスデバイスに割り当てられたノードをシーングラフに追加するか、またはシーングラフ中のワイヤレスデバイスに割り当てられた1つまたは複数のノードのうちのノードを修正するための動作を実施し得る。
[0098]図5は、様々な実施形態による、テレカンファレンスまたはテレプレゼンスセッションにおける没入型エクスペリエンスをサポートするための例示的な方法500のプロセスフロー図を示す。図1A~図5を参照すると、方法500は、(ワイヤレスデバイス120a~120e、172、200、320などの)ワイヤレスデバイスおよび/または(コールサーバ150などの)コールサーバの(156、212、216、252、または260などの)プロセッサによって実装され得る。様々な実施形態では、方法500の動作は、テレカンファレンスまたはテレプレゼンスセッションをホストするホストコンピューティングデバイスのプロセッサによって実施され得る。いくつかの実施形態では、ホストコンピューティングデバイスは、MRF、MCU、テレカンファレンスアプリケーションサーバなど、別個のコールサーバであり得る。いくつかの実施形態では、ホストコンピューティングデバイスは、没入型3次元グループセッションなど、テレカンファレンスまたはテレプレゼンスセッションに参加している複数のコンピューティングデバイスのうちの1つであるワイヤレスデバイスであり得る。様々な実施形態では、方法500の動作は、方法400の動作とともに実施され得る。
[0099]ブロック502において、ホストコンピューティングデバイスのプロセッサは、セッションに参加しているコンピューティングデバイスから、セッションのためのセッション開始プロトコル(SIP)セットアップの一部としてシーングラフを送るおよび/または受信するためのオファーの指示を受信するための動作を実施し得る。いくつかの実施形態では、セッションは、WebRTCセッションであり得る。いくつかの実施形態では、受信された指示は、オファーの指示を送るワイヤレスデバイスによって所有されるグラフィカル出力ノードを指示し得る。
[0100]ブロック504において、ホストコンピューティングデバイスのプロセッサは、セッションのためのシーングラフが共有されることになる、データチャネルのアドレスを指示するセッションのためのセッション記述プロトコル(SDP)を生成するための動作を実施し得る。いくつかの実施形態では、シーングラフは、セッションに参加している各コンピューティングデバイスに割り当てられた1つまたは複数のノードを定義し得る。
[0101]ブロック506において、ホストコンピューティングデバイスのプロセッサは、セッションに参加しているコンピューティングデバイスにSDPを送るための動作を実施し得る。
[0102]ブロック508において、ホストコンピューティングデバイスのプロセッサは、セッションに参加しているコンピューティングデバイスにセッションとシーングラフとを送るための動作を実施し得る。一例として、ホストコンピューティングデバイスは、セッションに参加しているコンピューティングデバイスにセッションとシーングラフとをストリーミングするための動作を実施し得る。様々な実施形態では、セッションに参加しているコンピューティングデバイスは、HMD(たとえば、172)、会議室中のTV、ボリュームディスプレイ、または他の画像および音レンダリングデバイスであり得、セッションおよび/またはシーングラフを送ることは、セッションに参加しているコンピューティングデバイスがセッションを画像および音レンダリングデバイス上でユーザに出力することができるように、セッションおよび/またはシーングラフを送ることを含み得る。
[0103]図6は、様々な実施形態において使用するのに好適なglTF2.0におけるシーングラフドキュメント600の構成を示す。図1A~図6を参照すると、様々な実施形態では、シーングラフドキュメント600はシーングラフの一部であり得る。シーングラフドキュメント600は、ノード階層、マテリアル記述、照明(lighting)情報、カメラ情報などを定義する、JSON要素を含み得る。シーングラフドキュメント600は、頂点およびインデックスなどのジオメトリ情報、キーフレームなどのアニメーション情報、逆バインド行列などのスキン情報などを定義する、バイナリファイル(BIN)を含み得る。シーングラフドキュメント600は、シェーダ(shader)情報を定義するGLシェーディングライブラリ(glSL)ファイルを含み得る。シーングラフドキュメント600は、テクスチャなど、シーングラフのための他の情報を定義する、ポータブルネットワークグラフィックス(PNG)ファイル、ジョイントフォトグラフィックエキスパートグループ(JPEG)ファイルなど、様々な他のタイプのファイルを含み得る。
[0104]図7は、様々な実施形態において使用するのに好適なシーングラフの構造を示す。図1A~図7を参照すると、様々な実施形態では、シーングラフは複数のノードを含み得る。各ノードは、カメラビュー、メッシュ情報、照明情報など、ノードの様々な構成要素を記述する子ノードを含み得る。シーングラフは、図7に示されているようにアクセサリ、スキン、バッファビュー、バッファ情報、マテリアル、技法、プログラム、シェーダ、テクスチャ、画像、およびサンプラーなど、ノードのメッシュをレンダリングするための属性間の階層関係を定義し得る。
[0105]図8は、様々な実施形態による、テレカンファレンスまたはテレプレゼンスセッションにおける没入型エクスペリエンスをサポートするための動作を示すコールフロー図である。図1A~図8を参照すると、コール参加者(たとえば、コール参加者#1および#2)とコールサーバとの間の動作は、動作1)において、参加者(たとえば、コール参加者#1および#2)が、WebRTC会議に加わるためにウェブページへの提供されたリンクを使用することを含み得る。動作2)において、コールサーバは、参加者(たとえば、コール参加者#1および#2)に、そのウェブページを、コール参加者(たとえば、コール参加者#1および#2)とマテリアルとの3D空間中の初期/デフォルト構成をセットアップするシーングラフファイルとともに提供する。たとえば、各参加者は、視覚ノード、オーディオソースノード、および潜在的に、また、グラフィックおよび他の共有コンテンツのためのノードを割り当てられることになる。動作3)において、各参加者(たとえば、コール参加者#1および#2)は、シーングラフ中でそれが所有するノードを追加または修正し得る。動作4)において、シーングラフ中のノードのための構成要素を提供するメディアストリームが、WebRTCを使用してストリーミングされ得る。これらのストリームは、直接、またはサーバ、たとえばメディアプロキシサーバを通して交換され得る。
[0106]図9は、様々な実施形態による、没入型3次元グループセッションを提供するための方法900を示すプロセスフロー図である。図1A~図9を参照すると、方法900は、(ワイヤレスデバイス120a~120e、172、200、320などの)ワイヤレスデバイスの(156、212、216、252または260などの)プロセッサによって実装され得る。様々な実施形態では、方法900の動作は、没入型3次元グループセッションなど、テレカンファレンスまたはテレプレゼンスセッションにおける複数の参加者コンピューティングデバイスのうちの1つであるワイヤレスデバイスのプロセッサによって実施され得る。様々な実施形態では、方法900の動作は、方法400(図4)および/または500(図5)の動作のうちのいずれか1つまたは複数とともに実施され得る。
[0107]ブロック902において、プロセッサは、没入型3次元グループセッションのためのシーングラフを受信することを含む動作を実施し得、ここで、シーングラフは、少なくとも、ワイヤレスデバイスによって制御されるように割り当てられた独自のグラフィカル出力ノードと、複数の参加者コンピューティングデバイスのうちの他のものの各々によって制御されるように割り当てられたそれぞれの他のグラフィカル出力ノードとを備える。たとえば、シーングラフは、図8に示されているようなシーングラフであり得る。
[0108]ブロック902において受信されたシーングラフの部分は、各それぞれの参加者コンピューティングデバイスに1つまたは複数のノードなど、没入型3次元グループセッションにおいて各参加者コンピューティングデバイスに割り当てられ得る。シーングラフをパースすることによって、ワイヤレスデバイスのプロセッサは、ワイヤレスデバイスによって制御されるべきノードを決定し得る。参加者コンピューティングデバイスごとにグラフィカル出力ノードを割り当てることは、各参加者コンピューティングデバイスが、少なくとも1つのグラフィカル出力ノードを制御することを可能にし得る。グラフィカル出力ノードは、シーングラフによって定義される3次元空間中に出力されるべき3次元オブジェクトを定義する構成要素を含み得る。たとえば、3次元オブジェクトは、アバター、キャラクタ、または他の表現を含み得、グラフィカル出力ノードの構成要素は、3次元オブジェクトが、没入型3次元グループセッションの3次元空間中でどのようにレンダリングされることになるかを定義し得る。このようにして、それの割り当てられたそれぞれのグラフィカル出力ノードの構成要素を制御することによって、ワイヤレスデバイスのプロセッサは、他の参加者コンピューティングデバイスが、没入型3次元グループセッション中のワイヤレスデバイスのユーザによって選択されたアバター、キャラクタ、または他の表現など、ワイヤレスデバイスに関連付けられた1つまたは複数の3次元オブジェクトをどのように観察するかを制御し得る。同様に、それらのそれぞれの割り当てられたグラフィカル出力ノードの構成要素を制御することによって、他の参加者コンピューティングデバイスは、ワイヤレスデバイスのユーザが、没入型3次元グループセッション中のアバター、キャラクタ、または他の表現など、それらのそれぞれの関連付けられた1つまたは複数の3次元オブジェクトをどのように観察するかを制御し得る。
[0109]ブロック904において、プロセッサは、没入型3次元グループセッションの3次元空間に対して独自のグラフィカル出力ノードの構成要素を制御することを含む動作を実施し得る。いくつかの実施形態では、ユーザは、ワイヤレスデバイスの位置とは無関係に、シーン中の独自のグラフィカルノードの配置を移動することなど、独自のグラフィカルノードを調整し得る。たとえば、ユーザは、シーン中でユーザの3次元オブジェクト(たとえば、アバター、キャラクタなど)を表示するための、シーン中の位置を選択し得る。いくつかの実施形態では、独自のグラフィカル出力ノードの構成要素を制御することは、没入型3次元グループセッションの3次元空間に対するワイヤレスデバイスの決定された位置に少なくとも部分的に基づいて、独自のグラフィカル出力ノードの構成要素を制御することを含み得る。いくつかの実施形態では、3次元空間のための中心ポイント、グリッド座標、または他の基準に対する位置など、ワイヤレスデバイスの位置が3次元空間中で決定され得る。いくつかの没入型3次元グループセッションは、没入型3次元グループセッションのための3次元空間内の参加者の移動をサポートし得るので、ワイヤレスデバイスの位置を決定することは、正しい相対位置においてワイヤレスデバイスのグラフィカル出力ノードのためのオブジェクトをレンダリングすることをサポートし得る。特定の例として、ワイヤレスデバイスの割り当てられた独自のグラフィカル出力ノードの照明および/またはカメラ構成要素は、没入型3次元グループセッションのための3次元空間中のワイヤレスデバイスの現在の位置の照明および/またはカメラ構成要素を反映するように制御され得る。
[0110]ブロック904において、位置に基づいて独自のグラフィカル出力ノードの構成要素を制御することに加えて、独自のグラフィカル出力ノードの構成要素は、ワイヤレスデバイスの配向など、他のメトリックに基づいて制御され得る。たとえば、ワイヤレスデバイスの加速度計によって示される共通基準点および共通基準面に対する位置の移動および配向の変化は、没入型3次元グループセッションの3次元空間に対するワイヤレスデバイスの位置および配向を決定するために使用され得る。特定の例として、ワイヤレスデバイスの割り当てられた独自のグラフィカル出力ノードの照明および/またはカメラ構成要素は、没入型3次元グループセッションのための3次元空間中のワイヤレスデバイスの現在の位置および現在の配向の照明および/またはカメラ構成要素を反映するように制御され得る。現在の位置および/または現在の配向に基づいて独自のグラフィカル出力ノードの構成要素を制御することは、ワイヤレスデバイスが、ヘッドマウントデバイスのユーザの移動が没入型3次元グループセッション中の他の参加者に視覚的に与えられることを可能にするためのヘッドマウントデバイスである実装形態において有用であり得る。
[0111]ブロック906において、プロセッサは、複数の参加者コンピューティングデバイスのうちの他のものへ、第1のメディアストリームにおいて、独自のグラフィカル出力ノードの構成要素を送ることを含む動作を実施し得る。それらの構成要素は、メディアストリームにおいて、他の参加者コンピューティングデバイスに直接、および/または、MRF、MCU、テレカンファレンスアプリケーションサーバなど、コールサーバ(たとえば、150)を介して、送られ得る。このようにして、ワイヤレスデバイスのプロセッサは、それの独自のそれぞれのグラフィカル出力ノードのためのメディアストリームを他の参加者コンピューティングデバイスに提供し、それにより、他の参加者コンピューティングデバイスがそのグラフィカル出力ノードをどのようにレンダリングするかを制御し得る。
[0112]ブロック908において、プロセッサは、複数の参加者コンピューティングデバイスのうちの他のものの各々から、メディアストリームにおいて、他のグラフィカル出力ノードの構成要素を受信することを含む動作を実施し得る。それらの構成要素は、メディアストリームにおいて、他の参加者コンピューティングデバイスの各々から直接、および/または、MRF、MCU、テレカンファレンスアプリケーションサーバなど、コールサーバ(たとえば、150)を介して、受信され得る。このようにして、ワイヤレスデバイスのプロセッサは、他の参加者コンピューティングデバイスに割り当てられたグラフィカル出力ノードのメディアストリームを受信し得る。
[0113]ブロック910において、プロセッサは、独自のグラフィカル出力ノードの構成要素と他のグラフィカル出力ノードの構成要素とに少なくとも部分的に基づいて、ワイヤレスデバイスのディスプレイ上に没入型3次元グループセッションをレンダリングすることを含む動作を実施し得る。たとえば、ワイヤレスデバイスのメディアストリームの構成要素および他の参加者コンピューティングデバイスのメディアストリームの構成要素は、没入型3次元グループセッションの3次元空間の表示される出力を生成するために、他のメディアストリームの構成要素とともにオーバーレイされ得る。
[0114]プロセッサは、没入型3次元グループセッションをレンダリングするために、没入型3次元グループセッション中にブロック904、906、908、および910の動作を継続的に実施し得る。
[0115]図10は、様々な実施形態による、没入型3次元グループセッションを提供するための方法1000を示すプロセスフロー図である。図1A~図10を参照すると、方法1000は、(ワイヤレスデバイス120a~120e、172、200、320などの)ワイヤレスデバイスの(156、212、216、252または260などの)プロセッサによって実装され得る。様々な実施形態では、方法1000の動作は、没入型3次元グループセッションなど、テレカンファレンスまたはテレプレゼンスセッションにおける複数の参加者コンピューティングデバイスのうちの1つであるワイヤレスデバイスのプロセッサによって実施され得る。様々な実施形態では、方法1000の動作は、方法400(図4)、方法500(図5)、および/または方法900(図9)の動作のうちのいずれか1つまたは複数とともに実施され得る。特定の例として、方法1000の動作は、没入型3次元グループセッションをレンダリングするために、方法900のブロック910の動作の一部として実施され得る。
[0116]ブロック1002において、プロセッサは、没入型3次元グループセッションのための新しい参加者コンピューティングデバイスの指示と、新しい参加者コンピューティングデバイスによって制御されるように割り当てられた新しいグラフィカル出力ノードの指示とを含む、シーングラフ更新を受信することを含む動作を実施し得る。シーングラフ更新は、新しい参加者が没入型3次元グループセッションに加わることに応答して、ホストコンピューティングデバイスによって送られ得る。いくつかの実施形態では、シーングラフ更新は、別の参加者コンピューティングデバイスから直接、および/または、MRF、MCU、テレカンファレンスアプリケーションサーバなど、コールサーバ(たとえば、150)を介して、受信され得る。
[0117]ブロック1004において、プロセッサは、新しい参加者コンピューティングデバイスからの第2のメディアストリームにおいて、新しいグラフィカル出力ノードの構成要素を受信することを含む動作を実施し得る。それらの構成要素は、メディアストリームにおいて、新しい参加者コンピューティングデバイスから直接、および/または、MRF、MCU、テレカンファレンスアプリケーションサーバなど、コールサーバ(たとえば、150)を介して、受信され得る。このようにして、ワイヤレスデバイスのプロセッサは、新しく追加された参加者コンピューティングデバイスに割り当てられたグラフィカル出力ノードのメディアストリームを受信し得る。
[0118]ブロック1006において、プロセッサは、独自のグラフィカル出力ノードの構成要素と、他のグラフィカル出力ノードの構成要素と、新しいグラフィカル出力ノードの構成要素とに少なくとも部分的に基づいて、ワイヤレスデバイスのディスプレイ上に没入型3次元グループセッションをレンダリングすることを含む動作を実施し得る。たとえば、ワイヤレスデバイスのメディアストリームの構成要素および新しく追加された参加者コンピューティングデバイスの第2のメディアストリームを含む他の参加者コンピューティングデバイスのメディアストリームの構成要素は、没入型3次元グループセッションの3次元空間の表示される出力を生成するために、他のメディアストリームの構成要素とともにオーバーレイされ得る。
[0119]様々な実施形態は、様々なワイヤレスネットワークデバイス上で実装され得、その一例は、コールサーバ(たとえば、コールサーバ150)など、通信ネットワークのネットワーク要素として機能するワイヤレスネットワークコンピューティングデバイス1100の形態で図11に示されている。そのようなネットワークコンピューティングデバイスは、少なくとも図11に示される構成要素を含み得る。図1A~図11を参照すると、ネットワークコンピューティングデバイス1100は、典型的には、揮発性メモリ1102と、ディスクドライブ1103などの大容量不揮発性メモリとに結合されたプロセッサ1101を含み得る。ネットワークコンピューティングデバイス1100はまた、プロセッサ1101に結合されたフロッピー(登録商標)ディスクドライブ、コンパクトディスク(CD)、またはデジタルビデオディスク(DVD)ドライブ1106などの周辺メモリアクセスデバイスを含み得る。ネットワークコンピューティングデバイス1100はまた、他のシステムコンピュータとサーバとに結合されたインターネットおよび/またはローカルエリアネットワークなどのネットワークとのデータ接続を確立するためのプロセッサ1101に結合されたネットワークアクセスポート1104(またはインターフェース)を含み得る。ネットワークコンピューティングデバイス1100は、ワイヤレス通信リンクに接続され得る電磁放射を送るおよび受信するための1つまたは複数のアンテナ1107を含み得る。ネットワークコンピューティングデバイス1100は、周辺機器、外部メモリ、または他のデバイスに結合するためのUSB、Firewire、Thunderboltなど、追加のアクセスポートを含み得る。
[0120]様々な実施形態は、様々なワイヤレスデバイス(たとえば、ワイヤレスデバイス120a~120e、172、200、320)上で実装され得、その一例は、スマートフォン1200の形態で図12に示されている。図1A~図12を参照すると、スマートフォン1200は、第2のSOC204(たとえば、5G対応SOC)に結合された第1のSOC202(たとえば、SOC-CPU)を含み得る。第1のSOC202および第2のSOC204は、内部メモリ1206、1216、ディスプレイ1212に、およびスピーカー1214に結合され得る。さらに、スマートフォン1200は、ワイヤレスデータリンクに接続され得る電磁放射を送るおよび受信するためのアンテナ1204、ならびに/あるいは、第1のSOC202および/または第2のSOC204中の1つまたは複数のプロセッサに結合されたセルラー電話トランシーバ266を含み得る。スマートフォン1200はまた、典型的には、ユーザ入力を受信するためのメニュー選択ボタンまたはロッカースイッチ1220を含む。
[0121]典型的なスマートフォン1200はまた、マイクロフォンから受信された音をワイヤレス送信に好適なデータパケットにデジタル化し、受信された音データパケットを復号して、音を生成するためにスピーカーに提供されるアナログ信号を生成する、音符号化/復号(コーデック)回路1210を含む。また、第1のSOC202および第2のSOC204と、ワイヤレストランシーバ266と、コーデック1210との中のプロセッサのうちの1つまたは複数は、デジタル信号プロセッサ(DSP)回路を含み得る(別々に図示されず)。
[0122]ワイヤレスネットワークコンピューティングデバイス1100とスマートフォン1200とのプロセッサは、以下で説明される様々な実施形態の機能を含む、様々な機能を実施するようにソフトウェア命令(アプリケーション)によって構成され得る任意のプログラマブルマイクロプロセッサ、マイクロコンピュータ、または1つまたは複数のマルチプルプロセッサチップであり得る。いくつかのワイヤレスデバイスでは、ワイヤレス通信機能専用のSOC204内の1つのプロセッサ、他のアプリケーションを実行することに専用のSOC202内の1つのプロセッサなど、複数のプロセッサが設けられ得る。典型的には、ソフトウェアアプリケーションは、それらがアクセスされプロセッサにロードされる前に、メモリ1206、1216に記憶され得る。プロセッサは、アプリケーションソフトウェア命令を記憶するのに十分な内部メモリを含み得る。
[0123]本出願で使用される「構成要素」、「モジュール」、「システム」などの用語は、限定はしないが、特定の動作または機能を実施するように構成された、ハードウェア、ファームウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアなど、コンピュータ関連のエンティティを含むことが意図されている。たとえば、構成要素は、限定はしないが、プロセッサ上で実行しているプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および/またはコンピュータであり得る。例として、ワイヤレスデバイス上で実行しているアプリケーションと、ワイヤレスデバイスの両方が、構成要素と呼ばれることがある。1つまたは複数の構成要素は、プロセスおよび/または実行スレッド内に存在し得、構成要素は、1つのプロセッサまたはコア上に局所化され、および/あるいは、2つまたはそれ以上のプロセッサまたはコアの間で分散され得る。さらに、これらの構成要素は、様々な命令および/またはデータ構造を記憶した様々な非一時的コンピュータ可読媒体から実行し得る。構成要素は、ローカルおよび/またはリモートプロセス、関数またはプロシージャ呼出し、電子信号、データパケット、メモリ読取り/書込み、ならびに他の既知のネットワーク、コンピュータ、プロセッサ、および/またはプロセス関連の通信方法を介して通信し得る。
[0124]いくつかの異なるセルラーおよびモバイル通信サービスおよび規格が、将来において利用可能になるかまたは企図されており、それらのすべては、様々な実施形態を実装し、それらから恩恵を受け得る。そのようなサービスおよび規格は、たとえば、第3世代パートナーシッププロジェクト(3GPP)と、ロングタームエボリューション(LTE)システムと、第3世代ワイヤレスモバイル通信技術(3G)と、第4世代ワイヤレスモバイル通信技術(4G)と、第5世代ワイヤレスモバイル通信技術(5G)と、モバイル通信用グローバルシステム(GSM)と、ユニバーサルモバイルテレコミュニケーションズシステム(UMTS)と、3GSMと、汎用パケット無線サービス(GPRS)と、符号分割多元接続(CDMA)システム(たとえば、cdmaOne、CDMA1020(登録商標))と、GSM進化型高速データレート(EDGE)と、高度モバイルフォンシステム(AMPS)と、デジタルAMPS(IS-136/TDMA)と、エボリューションデータオプティマイズド(EV-DO)と、デジタル拡張コードレス電気通信(DECT)と、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)と、ワイヤレスローカルエリアネットワーク(WLAN)と、Wi-Fi保護アクセスIおよびII(WPA、WPA2)と、統合デジタル拡張ネットワーク(iDEN)とを含む。これらの技術の各々は、たとえば、音声、データ、シグナリング、および/またはコンテンツメッセージの送信および受信を伴う。個々の電気通信規格または技術に関係する用語および/または技術的詳細へのいかなる言及も、説明の目的のためにすぎず、クレームの文言に明記されていない限り、特許請求の範囲を特定の通信システムまたは技術に限定することを意図されていないことを理解されたい。
[0125]図示および説明された様々な実施形態は、特許請求の範囲の様々な特徴を例示するための例として提供されているにすぎない。しかしながら、任意の所与の実施形態に関して図示および説明された特徴は、必ずしも関連する実施形態に限定されるとは限らず、図示および説明された他の実施形態とともに使用されるかまたはそれらと組み合わせられ得る。さらに、特許請求の範囲は、いかなる1つの例示的な実施形態によっても限定されることを意図されていない。たとえば、方法400、500、900、および/または1000の動作のうちの1つまたは複数は、方法400、500、900、および/または1000の1つまたは複数の動作に置き換えられるか、またはそれらと組み合わせられ得る。
[0126]上記の方法の説明およびプロセスフロー図は、例示的な例として与えられたものにすぎず、様々な実施形態の動作が提示された順序で実施されなければならないことを必要とするまたは暗示することを意図されていない。当業者によって諒解されるように、上記の実施形態における動作の順序は任意の順序で実施され得る。「その後」、「次いで」、「次に」などの単語は、動作の順序を限定することを意図されておらず、これらの単語は、方法の説明を通じて読者を案内するために使用される。さらに、たとえば、冠詞「a」、「an」、または「the」を使用する単数形の請求項の要素への言及は、その要素を単数形に限定するものと解釈されるべきではない。
[0127]本明細書で開示された実施形態に関して説明された様々な例示的な論理ブロック、モジュール、構成要素、回路、およびアルゴリズム動作は、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアとのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、および動作が、上記では概してそれらの機能に関して説明された。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、システム全体に課される特定の適用例および設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実施形態の決定は、特許請求の範囲からの逸脱を引き起こすものと解釈されるべきではない。
[0128]本明細書で開示された実施形態に関して説明された様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実施するように設計されたそれらの任意の組合せを用いて実装または実施され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、受信機スマートオブジェクトの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。代替的に、いくつかの動作または方法は、所与の機能に固有である回路によって実施され得る。
[0129]1つまたは複数の実施形態では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアで実装される場合、機能は、非一時的コンピュータ可読記憶媒体または非一時的プロセッサ可読記憶媒体上に1つまたは複数の命令またはコードとして記憶され得る。本明細書で開示される方法またはアルゴリズムの動作は、非一時的コンピュータ可読記憶媒体または非一時的プロセッサ可読記憶媒体上に存在し得る、プロセッサ実行可能ソフトウェアモジュールまたはプロセッサ実行可能命令中で実施され得る。非一時的コンピュータ可読記憶媒体または非一時的プロセッサ可読記憶媒体は、コンピュータまたはプロセッサによってアクセスされ得る任意の記憶媒体であり得る。限定ではなく例として、そのような非一時的コンピュータ可読記憶媒体または非一時的プロセッサ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、FLASH(登録商標)メモリ、CD-ROMまたは他の光ディスク(disk)ストレージ、磁気ディスク(disk)ストレージまたは他の磁気ストレージスマートオブジェクト、あるいは命令またはデータ構造の形で所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含み得る。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せも、非一時的コンピュータ可読媒体および非一時的プロセッサ可読媒体の範囲内に含まれる。さらに、方法またはアルゴリズムの動作は、コンピュータプログラム製品に組み込まれ得る、非一時的プロセッサ可読記憶媒体および/または非一時的コンピュータ可読記憶媒体上のコードおよび/または命令の1つまたは任意の組合せ、あるいはそのセットとして存在し得る。
[0130]開示された実施形態の先行する説明は、当業者が特許請求の範囲を製作または使用することを可能にするように提供される。これらの実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義される一般原理は、特許請求の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示された実施形態に限定されることを意図されておらず、以下の特許請求の範囲ならびに本明細書で開示される原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
Claims (30)
- 没入型3次元グループセッションにおいて動作する複数の参加者コンピューティングデバイスのうちの1つであるワイヤレスデバイスのプロセッサによって実施される方法であって、
没入型3次元グループセッションのためのシーングラフを受信することと、ここにおいて、前記シーングラフは、少なくとも、前記ワイヤレスデバイスによって制御されるように割り当てられた独自のグラフィカル出力ノードと、前記複数の参加者コンピューティングデバイスのうちの他のものの各々によって制御されるように割り当てられたそれぞれの他のグラフィカル出力ノードとを備える、
前記没入型3次元グループセッションの3次元空間に対して前記独自のグラフィカル出力ノードの構成要素を制御することと、
前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、第1のメディアストリームにおいて、前記独自のグラフィカル出力ノードの前記構成要素を送ることと、
前記複数の参加者コンピューティングデバイスのうちの前記他のものの各々から、メディアストリームにおいて、前記他のグラフィカル出力ノードの構成要素を受信することと、
前記独自のグラフィカル出力ノードの前記構成要素と前記他のグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスのディスプレイ上に前記没入型3次元グループセッションをレンダリングすることと、
を備える、方法。 - 前記没入型3次元グループセッションのための新しい参加者コンピューティングデバイスの指示と、前記新しい参加者コンピューティングデバイスによって制御されるように割り当てられた新しいグラフィカル出力ノードの指示とを含む、シーングラフ更新を受信することと、
前記新しい参加者コンピューティングデバイスから、第2のメディアストリームにおいて、前記新しいグラフィカル出力ノードの構成要素を受信することと、
前記独自のグラフィカル出力ノードの前記構成要素と、前記他のグラフィカル出力ノードの前記構成要素と、前記新しいグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスの前記ディスプレイ上に前記没入型3次元グループセッションをレンダリングすることと、
をさらに備える、請求項1に記載の方法。 - 前記シーングラフが共有されることになる、データチャネルのアドレスを指示する前記没入型3次元グループセッションのためのセッション記述プロトコル(SDP)を受信すること、
をさらに備え、
前記シーングラフを受信することは、前記データチャネルを介して前記シーングラフをダウンロードすることを備える、請求項1に記載の方法。 - 前記没入型3次元グループセッションのためのセッション開始プロトコル(SIP)セットアップの一部として、前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送ること、
をさらに備える、請求項1に記載の方法。 - 前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送ることをさらに備え、ここにおいて、前記オファーは、前記独自のグラフィカル出力ノードを指示する、
請求項1に記載の方法。 - 前記没入型3次元グループセッションは、ウェブリアルタイム通信(WebRTC)セッションである、請求項1に記載の方法。
- 前記没入型3次元グループセッションの前記3次元空間に対して前記独自のグラフィカル出力ノードの構成要素を制御することは、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの決定された位置に少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することを備える、請求項1に記載の方法。
- 前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの前記決定された位置に少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することは、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの前記決定された位置と、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの決定された配向とに少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することを備える、請求項7に記載の方法。
- ディスプレイと、
前記ディスプレイに結合されたプロセッサと、
を備えるワイヤレスデバイスであって、前記プロセッサは、
没入型3次元グループセッションのためのシーングラフを受信することと、ここにおいて、前記シーングラフは、少なくとも、前記ワイヤレスデバイスによって制御されるように割り当てられた独自のグラフィカル出力ノードと、複数の参加者コンピューティングデバイスの各々によって制御されるように割り当てられたそれぞれの他のグラフィカル出力ノードとを備える、
前記没入型3次元グループセッションの3次元空間に対して前記独自のグラフィカル出力ノードの構成要素を制御することと、
前記複数の参加者コンピューティングデバイスのうちの他のものへ、第1のメディアストリームにおいて、前記独自のグラフィカル出力ノードの前記構成要素を送ることと、
前記複数の参加者コンピューティングデバイスのうちの前記他のものの各々から、メディアストリームにおいて、前記他のグラフィカル出力ノードの構成要素を受信することと、
前記独自のグラフィカル出力ノードの前記構成要素と前記他のグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスの前記ディスプレイ上に前記没入型3次元グループセッションをレンダリングすることと、
を行うためのプロセッサ実行可能命令で構成された、ワイヤレスデバイス。 - 前記プロセッサは、
前記没入型3次元グループセッションのための新しい参加者コンピューティングデバイスの指示と、前記新しい参加者コンピューティングデバイスによって制御されるように割り当てられた新しいグラフィカル出力ノードの指示とを含む、シーングラフ更新を受信することと、
前記新しい参加者コンピューティングデバイスから、第2のメディアストリームにおいて、前記新しいグラフィカル出力ノードの構成要素を受信することと、
前記独自のグラフィカル出力ノードの前記構成要素と、前記他のグラフィカル出力ノードの前記構成要素と、前記新しいグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスの前記ディスプレイ上に前記没入型3次元グループセッションをレンダリングすることと、
を行うためのプロセッサ実行可能命令でさらに構成された、請求項9に記載のワイヤレスデバイス。 - 前記プロセッサは、
前記シーングラフが共有されることになる、データチャネルのアドレスを指示する前記没入型3次元グループセッションのためのセッション記述プロトコル(SDP)を受信すること、
を行うためのプロセッサ実行可能命令でさらに構成され、
前記プロセッサは、前記データチャネルを介して前記シーングラフをダウンロードすることによって、前記シーングラフを受信するためのプロセッサ実行可能命令でさらに構成された、請求項9に記載のワイヤレスデバイス。 - 前記プロセッサは、
前記没入型3次元グループセッションのためのセッション開始プロトコル(SIP)セットアップの一部として、前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送ること、
を行うためのプロセッサ実行可能命令でさらに構成された、請求項9に記載のワイヤレスデバイス。 - 前記プロセッサは、
前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送ることを行うためのプロセッサ実行可能命令でさらに構成され、ここにおいて、前記オファーは、前記独自のグラフィカル出力ノードを指示する、
請求項9に記載のワイヤレスデバイス。 - 前記没入型3次元グループセッションは、ウェブリアルタイム通信(WebRTC)セッションである、請求項9に記載のワイヤレスデバイス。
- 前記プロセッサは、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの決定された位置に少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することによって、前記没入型3次元グループセッションの前記3次元空間に対して前記独自のグラフィカル出力ノードの構成要素を制御するためのプロセッサ実行可能命令でさらに構成された、請求項9に記載の方法。
- 前記プロセッサは、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの前記決定された位置と、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの決定された配向とに少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することによって、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの前記決定された位置に少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御するためのプロセッサ実行可能命令でさらに構成された、請求項15に記載のワイヤレスデバイス。
- プロセッサ実行可能命令を記憶した非一時的プロセッサ可読媒体であって、前記プロセッサ実行可能命令は、ワイヤレスデバイスのプロセッサに、
没入型3次元グループセッションのためのシーングラフを受信することと、ここにおいて、前記シーングラフは、少なくとも、前記ワイヤレスデバイスによって制御されるように割り当てられた独自のグラフィカル出力ノードと、複数の参加者コンピューティングデバイスの各々によって制御されるように割り当てられたそれぞれの他のグラフィカル出力ノードとを備える、
前記没入型3次元グループセッションの3次元空間に対して前記独自のグラフィカル出力ノードの構成要素を制御することと、
前記複数の参加者コンピューティングデバイスのうちの他のものへ、第1のメディアストリームにおいて、前記独自のグラフィカル出力ノードの前記構成要素を送ることと、
前記複数の参加者コンピューティングデバイスのうちの前記他のものの各々から、メディアストリームにおいて、前記他のグラフィカル出力ノードの構成要素を受信することと、
前記独自のグラフィカル出力ノードの前記構成要素と前記他のグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスのディスプレイ上に前記没入型3次元グループセッションをレンダリングすることと、
を備える動作を実施させるように構成された、非一時的プロセッサ可読媒体。 - 前記記憶されたプロセッサ実行可能命令は、ワイヤレスデバイスのプロセッサに、
前記没入型3次元グループセッションのための新しい参加者コンピューティングデバイスの指示と、前記新しい参加者コンピューティングデバイスによって制御されるように割り当てられた新しいグラフィカル出力ノードの指示とを含む、シーングラフ更新を受信することと、
前記新しい参加者コンピューティングデバイスから、第2のメディアストリームにおいて、前記新しいグラフィカル出力ノードの構成要素を受信することと、
前記独自のグラフィカル出力ノードの前記構成要素と、前記他のグラフィカル出力ノードの前記構成要素と、前記新しいグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスの前記ディスプレイ上に前記没入型3次元グループセッションをレンダリングすることと、
をさらに備える動作を実施させるように構成された、請求項17に記載の非一時的プロセッサ可読媒体。 - 前記記憶されたプロセッサ実行可能命令は、ワイヤレスデバイスのプロセッサに、
前記シーングラフが共有されることになる、データチャネルのアドレスを指示する前記没入型3次元グループセッションのためのセッション記述プロトコル(SDP)を受信すること、
をさらに備える動作を実施させるように構成され、
前記プロセッサ実行可能命令は、ワイヤレスデバイスのプロセッサに、前記シーングラフを受信することが前記データチャネルを介して前記シーングラフをダウンロードすることを備えるような動作を実施させるように構成された、
請求項17に記載の非一時的プロセッサ可読媒体。 - 前記記憶されたプロセッサ実行可能命令が、ワイヤレスデバイスのプロセッサに、
前記没入型3次元グループセッションのためのセッション開始プロトコル(SIP)セットアップの一部として、前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送ること、
をさらに備える動作を実施させるように構成された、請求項17に記載の非一時的プロセッサ可読媒体。 - 前記記憶されたプロセッサ実行可能命令が、ワイヤレスデバイスのプロセッサに、
前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送ることをさらに備える動作を実施させるように構成され、ここにおいて、前記オファーは、前記独自のグラフィカル出力ノードを指示する、
請求項17に記載の非一時的プロセッサ可読媒体。 - 前記没入型3次元グループセッションは、ウェブリアルタイム通信(WebRTC)セッションである、請求項17に記載の非一時的プロセッサ可読媒体。
- 前記記憶されたプロセッサ実行可能命令は、ワイヤレスデバイスのプロセッサに、前記没入型3次元グループセッションの前記3次元空間に対して前記独自のグラフィカル出力ノードの構成要素を制御することが、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの決定された位置に少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することを備えるような動作を実施させるように構成された、請求項17に記載の非一時的プロセッサ可読媒体。
- 前記記憶されたプロセッサ実行可能命令は、ワイヤレスデバイスのプロセッサに、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの前記決定された位置に少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することが、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの前記決定された位置と、前記没入型3次元グループセッションの前記3次元空間に対する前記ワイヤレスデバイスの決定された配向とに少なくとも部分的に基づいて、前記独自のグラフィカル出力ノードの構成要素を制御することを備えるような動作を実施させるように構成された、請求項17に記載の非一時的プロセッサ可読媒体。
- ワイヤレスデバイスであって、
没入型3次元グループセッションのためのシーングラフを受信するための手段と、ここにおいて、前記シーングラフは、少なくとも、前記ワイヤレスデバイスによって制御されるように割り当てられた独自のグラフィカル出力ノードと、複数の参加者コンピューティングデバイスの各々によって制御されるように割り当てられたそれぞれの他のグラフィカル出力ノードとを備える、
前記没入型3次元グループセッションの3次元空間に対して前記独自のグラフィカル出力ノードの構成要素を制御するための手段と、
前記複数の参加者コンピューティングデバイスのうちの他のものへ、第1のメディアストリームにおいて、前記独自のグラフィカル出力ノードの前記構成要素を送るための手段と、
前記複数の参加者コンピューティングデバイスのうちの前記他のものの各々から、メディアストリームにおいて、前記他のグラフィカル出力ノードの構成要素を受信するための手段と、
前記独自のグラフィカル出力ノードの前記構成要素と前記他のグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスのディスプレイ上に前記没入型3次元グループセッションをレンダリングするための手段と、
を備える、ワイヤレスデバイス。 - 前記没入型3次元グループセッションのための新しい参加者コンピューティングデバイスの指示と、前記新しい参加者コンピューティングデバイスによって制御されるように割り当てられた新しいグラフィカル出力ノードの指示とを含む、シーングラフ更新を受信するための手段と、
前記新しい参加者コンピューティングデバイスから、第2のメディアストリームにおいて、前記新しいグラフィカル出力ノードの構成要素を受信するための手段と、
前記独自のグラフィカル出力ノードの前記構成要素と、前記他のグラフィカル出力ノードの前記構成要素と、前記新しいグラフィカル出力ノードの前記構成要素とに少なくとも部分的に基づいて、前記ワイヤレスデバイスの前記ディスプレイ上に前記没入型3次元グループセッションをレンダリングするための手段と、
をさらに備える、請求項25に記載のワイヤレスデバイス。 - 前記シーングラフが共有されることになる、データチャネルのアドレスを指示する前記没入型3次元グループセッションのためのセッション記述プロトコル(SDP)を受信するための手段をさらに備え、
前記シーングラフを受信するための手段は、前記データチャネルを介して前記シーングラフをダウンロードするための手段を備える、請求項25に記載のワイヤレスデバイス。 - 前記没入型3次元グループセッションのためのセッション開始プロトコル(SIP)セットアップの一部として、前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送るための手段、
をさらに備える、請求項25に記載のワイヤレスデバイス。 - 前記複数の参加者コンピューティングデバイスのうちの前記他のものへ、前記シーングラフを送るかまたは受信するためのオファーを送るための手段をさらに備え、ここにおいて、前記オファーは、前記独自のグラフィカル出力ノードを指示する、
請求項25に記載のワイヤレスデバイス。 - 前記没入型3次元グループセッションは、ウェブリアルタイム通信(WebRTC)セッションである、請求項25に記載のワイヤレスデバイス。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062990895P | 2020-03-17 | 2020-03-17 | |
US62/990,895 | 2020-03-17 | ||
US17/069,423 US11444988B2 (en) | 2020-03-17 | 2020-10-13 | Signaling of scene description for multimedia conferencing |
US17/069,423 | 2020-10-13 | ||
PCT/US2021/021820 WO2021188346A1 (en) | 2020-03-17 | 2021-03-11 | Signaling of scene description for multimedia conferencing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023517559A true JP2023517559A (ja) | 2023-04-26 |
JPWO2021188346A5 JPWO2021188346A5 (ja) | 2024-02-22 |
Family
ID=77748451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022553679A Pending JP2023517559A (ja) | 2020-03-17 | 2021-03-11 | マルチメディア会議のためのシーン記述のシグナリング |
Country Status (8)
Country | Link |
---|---|
US (2) | US11444988B2 (ja) |
EP (1) | EP4122210A1 (ja) |
JP (1) | JP2023517559A (ja) |
KR (1) | KR20220155572A (ja) |
CN (1) | CN115280789A (ja) |
BR (1) | BR112022017984A2 (ja) |
TW (1) | TW202141970A (ja) |
WO (1) | WO2021188346A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11444988B2 (en) | 2020-03-17 | 2022-09-13 | Qualcomm Incorporated | Signaling of scene description for multimedia conferencing |
WO2023178590A1 (en) * | 2022-03-24 | 2023-09-28 | Qualcomm Incorporated | Service-based architecture for providing a data channel associated with an internet protocol multimedia subsystem |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6583808B2 (en) | 2001-10-04 | 2003-06-24 | National Research Council Of Canada | Method and system for stereo videoconferencing |
GB2406464B (en) * | 2003-09-29 | 2006-07-05 | Siemens Ag | Network entity |
EP2104299B1 (en) * | 2008-03-21 | 2018-05-30 | LG Electronics Inc. | Method of processing data in an internet protocol television system |
US8316089B2 (en) | 2008-05-06 | 2012-11-20 | Microsoft Corporation | Techniques to manage media content for a multimedia conference event |
JP2011065263A (ja) | 2009-09-15 | 2011-03-31 | Brother Industries Ltd | 会議システム、会議支援方法、および会議支援サーバ |
US8893083B2 (en) * | 2011-08-09 | 2014-11-18 | International Business Machines Coporation | Collective operation protocol selection in a parallel computer |
US9143722B2 (en) | 2011-11-22 | 2015-09-22 | Cisco Technology, Inc. | Method and apparatus for providing session description for a media session |
US11488363B2 (en) * | 2019-03-15 | 2022-11-01 | Touchcast, Inc. | Augmented reality conferencing system and method |
US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
US10516704B2 (en) | 2015-07-28 | 2019-12-24 | Polycom, Inc. | Relaying multimedia conferencing utilizing software defined networking architecture |
US9692911B1 (en) | 2015-12-17 | 2017-06-27 | Oracle International Corporation | Methods, systems, and computer readable media for using user defined session description protocol (SDP) rules |
US10949882B2 (en) * | 2016-04-03 | 2021-03-16 | Integem Inc. | Real-time and context based advertisement with augmented reality enhancement |
US10657690B2 (en) * | 2016-08-11 | 2020-05-19 | Integem Inc. | Intelligent augmented reality (IAR) platform-based communication system |
US20190104326A1 (en) | 2017-10-03 | 2019-04-04 | Qualcomm Incorporated | Content source description for immersive media data |
US11093103B2 (en) * | 2018-04-09 | 2021-08-17 | Spatial Systems Inc. | Augmented reality computing environments-collaborative workspaces |
US11189078B2 (en) * | 2018-06-20 | 2021-11-30 | Google Llc | Automated understanding of three dimensional (3D) scenes for augmented reality applications |
US11132827B2 (en) * | 2019-09-19 | 2021-09-28 | Facebook Technologies, Llc | Artificial reality system architecture for concurrent application execution and collaborative 3D scene rendering |
US11409671B2 (en) * | 2019-09-19 | 2022-08-09 | Facebook Technologies, Llc | Artificial reality system having multi-bank, multi-port distributed shared memory |
US11444988B2 (en) | 2020-03-17 | 2022-09-13 | Qualcomm Incorporated | Signaling of scene description for multimedia conferencing |
-
2020
- 2020-10-13 US US17/069,423 patent/US11444988B2/en active Active
-
2021
- 2021-03-11 KR KR1020227031297A patent/KR20220155572A/ko active Search and Examination
- 2021-03-11 CN CN202180020532.XA patent/CN115280789A/zh active Pending
- 2021-03-11 TW TW110108776A patent/TW202141970A/zh unknown
- 2021-03-11 JP JP2022553679A patent/JP2023517559A/ja active Pending
- 2021-03-11 WO PCT/US2021/021820 patent/WO2021188346A1/en unknown
- 2021-03-11 EP EP21715110.9A patent/EP4122210A1/en active Pending
- 2021-03-11 BR BR112022017984A patent/BR112022017984A2/pt unknown
-
2022
- 2022-07-21 US US17/813,973 patent/US11916980B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11444988B2 (en) | 2022-09-13 |
EP4122210A1 (en) | 2023-01-25 |
CN115280789A (zh) | 2022-11-01 |
US20210297460A1 (en) | 2021-09-23 |
TW202141970A (zh) | 2021-11-01 |
BR112022017984A2 (pt) | 2022-10-18 |
KR20220155572A (ko) | 2022-11-23 |
US11916980B2 (en) | 2024-02-27 |
WO2021188346A1 (en) | 2021-09-23 |
US20220368735A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4115591B1 (en) | Offering media services through network edge | |
US11916980B2 (en) | Signaling of scene description for multimedia conferencing | |
EP4203428A1 (en) | Multi-access management service enhancements for quality of service and time sensitive applications | |
CN114402571A (zh) | 基于会话描述协议和实时协议的体积点云内容的流式传输 | |
US20220116334A1 (en) | Multi-access management service queueing and reordering techniques | |
CN114258668A (zh) | 沉浸式远程会议和远程呈现 | |
US20210409999A1 (en) | Downlink data prioritization for time-sensitive applications | |
Li et al. | 6G cloud-native system: Vision, challenges, architecture framework and enabling technologies | |
WO2022036604A1 (zh) | 数据传输方法及装置 | |
CN115362672A (zh) | 使用网络边缘的体三维会话服务的方法和装置 | |
KR20240095410A (ko) | 비-5G 네트워크들을 포함하는 종단간 접속에 대한 5G QoS 프로비저닝 | |
JP2023527300A (ja) | リモートネットワークコンピューティングリソースを使用したデータの処理 | |
US20240161225A1 (en) | Communicating Pre-rendered Media | |
JP2023532850A (ja) | 無線アクセスネットワークビットレート推奨のためのアテンション(at)インターフェース | |
US20240054688A1 (en) | Enhanced Dual Video Call with Augmented Reality Stream | |
WO2024060064A1 (en) | Miracast end to end (e2e) stream transmission | |
US11979439B2 (en) | Method and apparatus for mapping DASH to WebRTC transport | |
WO2024102459A1 (en) | Communicating pre-rendered media | |
US11792259B1 (en) | Methods and systems for distributing rendering across devices in a customer premise | |
US20240056489A1 (en) | Method And Apparatus For A Secure Application Server | |
US20230137968A1 (en) | 5G QoS Provisioning For An End-to-End Connection Including Non-5G Networks | |
Yarrabothu | 5G: The Platform | |
WO2023125192A1 (zh) | 一种数据传输方法、装置、终端及网络设备 | |
Fowdur et al. | 5G NR MODELLING IN MATLAB: Network Architecture, Protocols, and Physical Layer | |
TW202244678A (zh) | 在虛擬會議中呈現面部表情 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240214 |