JP2023534092A - 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 - Google Patents
操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 Download PDFInfo
- Publication number
- JP2023534092A JP2023534092A JP2022562717A JP2022562717A JP2023534092A JP 2023534092 A JP2023534092 A JP 2023534092A JP 2022562717 A JP2022562717 A JP 2022562717A JP 2022562717 A JP2022562717 A JP 2022562717A JP 2023534092 A JP2023534092 A JP 2023534092A
- Authority
- JP
- Japan
- Prior art keywords
- user
- avatar
- virtual space
- camera
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 125
- 238000009877 rendering Methods 0.000 claims description 70
- 238000013507 mapping Methods 0.000 claims description 46
- 230000008859 change Effects 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 241001310793 Podium Species 0.000 claims description 8
- 230000002238 attenuated effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 229920001621 AMOLED Polymers 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 240000007591 Tilia tomentosa Species 0.000 description 1
- 108010074506 Transfer Factor Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4782—Web browsing, e.g. WebTV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/42—Graphical user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/10—Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
- H04M2203/1016—Telecontrol
- H04M2203/1025—Telecontrol of avatars
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/563—User guidance or feature selection
- H04M3/564—User guidance or feature selection whereby the feature is a sub-conference
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Stereophonic System (AREA)
- Image Generation (AREA)
- User Interface Of Digital Computer (AREA)
- Geometry (AREA)
Abstract
Description
[0001] 本願は、現在は2021年4月13日付けで発行された米国特許第10,979,672号として発行されている、2020年10月20日付けで出願された米国実用特許出願第17/075,338号、2021年3月11日付けで出願された米国実用特許出願第17/198,323号、現在は2021年8月17日付けで発行されている米国特許第11,095,857号として発行されている2020年10月20日付けで出願された米国実用特許出願第17/075,362号、現在は2021年3月16日付けで発行されている米国特許第10,952,006号として発行されている2020年10月20日付けで出願された米国実用特許出願第17/075,390号、現在は2021年7月20日付けで発行されている米国特許第11,070,768号として発行されている2020年10月20日付けで出願された米国実用特許出願第17/075,408号、現在は2021年7月27日付けで発行されている米国特許第11,076,128号として発行されている2020年10月20日付けで出願された米国実用特許出願第17/075,428号、及び2020年10月20日付けで出願された米国実用特許出願第17/075,454号への優先権を主張するものである。これらの出願の各々の内容は、全体的に参照により本明細書に援用される。
分野
[0002] この分野は一般にテレビ会議に関する。
[0003] テレビ会議には、人々の間でリアルタイム通信するために、異なる場所にいる複数のユーザによる視聴覚信号の送受信が関わる。テレビ会議は、San Jose, CA所在のZoom Communications Inc.から入手可能なZOOMサービスを含め多様な様々なサービスから多くの計算デバイスで広く利用可能である。Cupertino, CA所在のApple Inc.から入手可能なFaceTime(登録商標)アプリケーション等の幾つかのテレビ会議ソフトウェアは、モバイルデバイスに標準装備されている。
[0013] 一実施形態において、デバイスは、第1のユーザと第2のユーザとの間でのテレビ会議を可能にする。本デバイスは、メモリに結合されたプロセッサ、ディスプレイ画面、ネットワークインターフェース、及びウェブブラウザを含む。ネットワークインターフェースは、(i)三次元仮想空間を指定するデータ、(ii)前記三次元仮想空間における位置及び方向であって、前記第1のユーザによって入力される位置及び方向、及び(iii)前記第1のユーザのデバイスのカメラから捕捉されるビデオストリームを受信するように構成される。第1のユーザのカメラは、第1のユーザの写真画像を捕捉するように位置決めされる。ウェブブラウザは、プロセッサで実施され、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成される。ウェブアプリケーションは、テクスチャマッパ及びレンダラーを含む。テクスチャマッパは、ビデオストリームをアバターの三次元モデルにテクスチャマッピングするように構成される。レンダラーは、第2のユーザの仮想カメラの視点から、前記第2のユーザに表示するために、上記位置に配置され、上記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングするように構成される。ウェブアプリケーション内のテクスチャマッピングを管理することにより、実施形態は専用ソフトウェアをインストールする必要性を回避する。
[0021] 添付図面は、本明細書に組み込まれて本発明の一部をなし、本開示を示し、説明と一緒に、本開示の原理を説明し、当業者が本開示を作成し使用できるようにするよう更に機能する。
仮想環境におけるアバターを用いたテレビ会議
[0038] 図1は、ビデオストリームがアバターにマッピングされる、仮想環境においてテレビ会議を提供する一例のインターフェース100を示す図である。
[0088] 実施形態はまた、仮想会議内の位置及び空間の感覚を提供するように音量を調整する。これは例えば、図5~図7、図8A、図8B、及び図9A~図9Cに示され、各図について以下説明する。
[0118] 図10は、三次元仮想環境における三次元モデル1004を有するインターフェース1000を示す。図1に関して上述したように、インターフェース1000は、仮想環境のあちこちをナビゲートすることができるユーザに表示され得る。インターフェース1000に示されるように、仮想環境はアバター1004及び三次元モデル1002を含む。
[0126] 図12は、三次元仮想環境内のアバターの相対位置に基づいて、利用可能な帯域幅を分配する方法1200を示すフローチャートである。
Claims (146)
- 第1のユーザと第2のユーザとの間でテレビ会議を可能にするシステムであって、
メモリに結合されたプロセッサと、
ディスプレイ画面と、
ネットワークインターフェースであって、(i)三次元仮想空間を指定するデータ、(ii)前記三次元仮想空間における位置及び方向であって、前記第1のユーザによって入力される前記位置及び方向、並びに前記第1のユーザのデバイスのカメラから捕捉されるビデオストリームであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信するように構成されたネットワークインターフェースと、
前記プロセッサで実施されるウェブブラウザであって、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成されるウェブブラウザと、
を備え、
前記ウェブアプリケーションは、
前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングするように構成されたテクスチャマッパと、
レンダラーと、
を含み、
前記レンダラーは、
(i)前記第2のユーザの仮想カメラの視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
(ii)前記仮想カメラの前記視点を変更する望みを示す前記第2のユーザからの入力が受信される場合、前記第2のユーザの前記仮想カメラの前記視点を変更することと、
(iii)前記仮想カメラの前記変更された視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を行うように構成される、システム。 - 前記デバイスはグラフィックス処理ユニットを更に含み、前記テクスチャマッパ及び前記レンダラーは、前記ウェブアプリケーションが前記グラフィックス処理ユニットを使用してテクスチャマッピング又はレンダリングできるようにするWebGLアプリケーション呼び出しを含む、請求項1に記載のシステム。
- 第1のユーザと第2のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
前記第1のユーザの第1のクライアントデバイス及び前記第2のユーザの第2のクライアントデバイスにウェブアプリケーションを送信することと、
前記ウェブアプリケーションを実行中の前記第1のクライアントデバイスから、(i)三次元仮想空間における位置及び方向であって、前記第1のユーザによって入力される位置及び方向、並びに(ii)前記第1のクライアントデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信することと、
前記第2のユーザの前記第2のクライアントデバイスに、前記位置、前記方向、及び前記ビデオストリームを送信することであって、前記ウェブアプリケーションは実行可能命令を含む、送信することと、
を含み、
前記実行可能命令は、ウェブブラウザで実行されると、前記第2のクライアントデバイスに、
(i)前記第2のユーザの仮想カメラの視点から、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
(ii)前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
(ii)前記仮想カメラの視点を変更する望みを示す前記第2のユーザからの入力が受信される場合、前記第2のユーザの前記仮想カメラの前記視点を変更することと、
(iii)前記仮想カメラの前記変更された視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を行わせる、方法。 - 前記ウェブアプリケーションは、前記ウェブアプリケーションが前記第2のクライアントデバイスのグラフィックス処理ユニットを使用してテクスチャマッピング又はレンダリングできるようにするWebGLアプリケーション呼び出しを含む、請求項3に記載の方法。
- 第1のユーザと第2のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第1のユーザによって入力される、受信することと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第2のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
前記仮想カメラの前記視点を変更する望みを示す前記第2のユーザからの入力が受信される場合、
前記第2のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を含む、方法。 - 前記第1のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第1のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第2のユーザに対して再生することと、
を更に含む、請求項5に記載の方法。 - 前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項5に記載の方法。
- 前記三次元仮想空間における前記第1のユーザの新しい位置及び方向が受信される場合、
前記第2のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項5に記載の方法。 - 前記テクスチャマッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項5に記載の方法。
- 前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記テクスチャマッピング及びレンダリングは前記ウェブブラウザによって実行される、請求項5に記載の方法。
- 前記サーバから、前記第1のユーザがもはや存在しないことを示す通知を受信することと、
前記第2のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項10に記載の方法。 - 前記サーバから、第3のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第3のユーザの第2の位置及び第2の方向を受信することと、
前記第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信することであって、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第2のビデオストリームを第2のアバターの第2の三次元モデルにテクスチャマッピングすることと、
前記第2のユーザの前記仮想カメラの前記視点から、前記第2のユーザに表示するために、前記第2の位置に位置決めされ前記第2の方向を向いた前記第2のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項11に記載の方法。 - 前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にテクスチャマッピングすることを含む、請求項5に記載の方法。
- 命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも1つの計算デバイスによって実行されると、前記少なくとも1つの計算デバイスに、第1のユーザと第2のユーザとの間でテレビ会議を可能にする動作を実行させ、前記動作は、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第1のユーザによって入力される、受信することと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第2のユーザの仮想カメラの視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
前記仮想カメラの前記視点を変更する望みを示す前記第2のユーザからの入力が受信される場合、
前記第2のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を含み、
前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記テクスチャマッピング及びレンダリングは前記ウェブブラウザによって実行される、デバイス。 - 前記動作は、
前記第1のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第1のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第2のユーザに対して再生することと、
を更に含む、請求項14に記載のデバイス。 - 前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項14に記載のデバイス。
- 前記動作は、前記三次元仮想空間における前記第1のユーザの新しい位置及び方向が受信される場合、
前記第2のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項14に記載のデバイス。 - 前記テクスチャマッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項14に記載のデバイス。
- 前記動作は、
前記サーバから、前記第1のユーザがもはや存在しないことを示す通知を受信することと、
前記第2のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項14に記載のデバイス。 - 前記動作は、
前記サーバから、第3のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第3のユーザの第2の位置及び第2の方向を受信することと、
前記第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信することであって、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第2のビデオストリームを第2のアバターの第2の三次元モデルにテクスチャマッピングすることと、
前記第2のユーザの前記仮想カメラの前記視点から、前記第2のユーザに表示するために、前記第2の位置に位置決めされ前記第2の方向を向いた前記第2のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項19に記載のデバイス。 - 前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にテクスチャマッピングすることを含む、請求項14に記載のデバイス。
- 第1のユーザと第2のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第1のユーザによって入力される、受信することと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第2のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
サーバから、前記第1のユーザがもはや存在しないことを示す通知を受信することと、
前記第2のユーザに対して前記ウェブブラウザに表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を含む、方法。 - 前記サーバから、第3のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第3のユーザの第2の位置及び第2の方向を受信することと、
前記第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信することであって、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第2のビデオストリームを第2のアバターの第2の三次元モデルにテクスチャマッピングすることと、
前記第2のユーザの前記仮想カメラの前記視点から、前記第2のユーザに表示するために、前記第2の位置に位置決めされ前記第2の方向を向いた前記第2のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項22に記載の方法。 - 第1のユーザと第2のユーザとの間でテレビ会議を可能にするシステムであって、
メモリに結合されたプロセッサと、
ディスプレイ画面と、
ネットワークインターフェースであって、(i)三次元仮想空間を指定するデータ、(ii)前記三次元仮想空間における位置及び方向であって、前記第1のユーザによって入力される前記位置及び方向、並びに前記第1のユーザのデバイスのカメラから捕捉されるビデオストリームであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信するように構成されたネットワークインターフェースと、
前記プロセッサで実施されるウェブブラウザであって、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成されるウェブブラウザと、
を備え、
前記ウェブアプリケーションは、
前記ビデオストリームをアバターの三次元モデルにマッピングするように構成されたマッパと、
前記第2のユーザの仮想カメラの視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを前記マッピングされたビデオストリームと共に含む前記三次元仮想空間をレンダリングするように構成されたレンダラーと、
を含む、システム。 - 前記デバイスはグラフィックス処理ユニットを更に含み、前記マッパ及び前記レンダラーは、前記ウェブアプリケーションが前記グラフィックス処理ユニットを使用してマッピング又はレンダリングできるようにするWebGLアプリケーション呼び出しを含む、請求項24に記載のシステム。
- 第1のユーザと第2のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
前記第1のユーザの第1のクライアントデバイス及び前記第2のユーザの第2のクライアントデバイスにウェブアプリケーションを送信することと、
前記ウェブアプリケーションを実行中の前記第1のクライアントデバイスから、(i)三次元仮想空間における位置及び方向であって、前記第1のユーザによって入力される位置及び方向、並びに(ii)前記第1のクライアントデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信することと、
前記第2のユーザの前記第2のクライアントデバイスに、前記位置、前記方向、及び前記ビデオストリームを送信することであって、前記ウェブアプリケーションは実行可能命令を含む、送信することと、
を含み、
前記実行可能命令は、ウェブブラウザで実行されると、前記ビデオストリームをアバターの三次元モデルにマッピングし、第2のユーザに表示するために、前記第2のユーザの仮想カメラの視点から、前記ビデオストリームと共にマッピングされた、前記位置に配置され前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングする、方法。 - 前記ウェブアプリケーションは、前記ウェブアプリケーションが前記第2のクライアントデバイスのグラフィックス処理ユニットを使用してマッピング又はレンダリングできるようにするWebGLアプリケーション呼び出しを含む、請求項26に記載の方法。
- 第1のユーザと第2のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第1のユーザによって入力される、受信することと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第2のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を含む、方法。 - 前記第1のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第1のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第2のユーザに対して再生することと、
を更に含む、請求項28に記載の方法。 - 前記仮想カメラの前記視点を変更する望みを示す前記第2のユーザからの入力が受信される場合、
前記第2のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項28に記載の方法。 - 前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項30に記載の方法。
- 前記三次元仮想空間における前記第1のユーザの新しい位置及び方向が受信される場合、
前記第2のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項28に記載の方法。 - 前記マッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項28に記載の方法。
- 前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記マッピング及びレンダリングは前記ウェブブラウザによって実行される、請求項28に記載の方法。
- 前記サーバから、前記第1のユーザがもはや存在しないことを示す通知を受信することと、
前記第2のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項34に記載の方法。 - 前記サーバから、第3のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第3のユーザの第2の位置及び第2の方向を受信することと、
前記第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信することであって、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第2のビデオストリームを第2のアバターの第2の三次元モデルにマッピングすることと、
前記第2のユーザの前記仮想カメラの前記視点から、前記第2のユーザに表示するために、前記第2の位置に位置決めされ前記第2の方向を向いた前記第2の三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項35に記載の方法。 - 前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にマッピングすることを含む、請求項28に記載の方法。
- 命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも1つの計算デバイスによって実行されると、前記少なくとも1つの計算デバイスに、第1のユーザと第2のユーザとの間でテレビ会議を可能にする動作を実行させ、前記動作は、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第1のユーザによって入力される、受信することと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第2のユーザの仮想カメラの視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を含む、デバイス。 - 前記動作は、
前記第1のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第1のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第2のユーザに対して再生することと、
を更に含む、請求項38に記載のデバイス。 - 前記動作は、前記仮想カメラの前記視点を変更する望みを示す前記第2のユーザからの入力が受信される場合、
前記第2のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第2のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項38に記載のデバイス。 - 前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項40に記載のデバイス。
- 前記動作は、前記三次元仮想空間における前記第1のユーザの新しい位置及び方向が受信される場合、
前記第2のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターの三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項38に記載のデバイス。 - 前記マッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項38に記載のデバイス。
- 前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記マッピング及びレンダリングは前記ウェブブラウザによって実行される、請求項38に記載のデバイス。
- 前記動作は、
前記サーバから、前記第1のユーザがもはや存在しないことを示す通知を受信することと、
前記第2のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項44に記載のデバイス。 - 前記動作は、
前記サーバから、第3のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第3のユーザの第2の位置及び第2の方向を受信することと、
前記第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信することであって、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第2のビデオストリームを第2のアバターの第2の三次元モデルにマッピングすることと、
前記第2のユーザの前記仮想カメラの前記視点から、前記第2のユーザに表示するために、前記第2の位置に位置決めされ前記第2の方向を向いた前記第2の三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項45に記載のデバイス。 - 前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にマッピングすることを含む、請求項38に記載のデバイス。
- 複数の参加者を含む仮想会議においてプレゼンテーションをするためのコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は、前記仮想会議への前記複数の参加者のうちの第1の参加者によって入力される、受信することと、
前記第1の参加者のデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1の参加者の写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第1の参加者の前記デバイスからプレゼンテーションストリームを受信することと、
前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングすることと、
前記複数の参加者のうちの第2の参加者の仮想カメラの視点から、前記第2の参加者に表示するために、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面と共に前記三次元仮想空間をレンダリングすることと、
を含む、方法。 - 前記第1の参加者の前記デバイスのマイクロホンから、前記プレゼンテーションストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第1の参加者の発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記プレゼンテーションストリームの表示と同期して前記第2の参加者に対して再生することと、
を更に含む、請求項48に記載の方法。 - 前記複数の参加者中の第3の参加者の前記三次元仮想空間における位置を受信することと、
前記第3の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第3の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第3の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含み、
前記レンダリングすることは、前記第2の参加者に表示するために、前記受信した位置において前記第3の参加者のアバターを有する前記三次元仮想空間をレンダリングすることを含む、請求項48に記載の方法。 - 前記第1の参加者の前記三次元仮想空間における位置を受信することと、
前記第1の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第1の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第1の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように、前記オーディオストリームを調整することと、
前記第2の参加者に表示するために、前記受信した位置において、前記第3の参加者のアバターを有する前記三次元仮想空間をレンダリングすることと、
プレゼンテーションモードになったとき、前記仮想カメラの位置に対する前記マッピングされたプレゼンテーション画面の位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含む、請求項48に記載の方法。 - 前記プレゼンテーションストリームは、前記第1の参加者のビデオである、請求項48に記載の方法。
- 前記プレゼンテーションストリームは、前記第1の参加者の画面共有である、請求項48に記載の方法。
- 前記ビデオストリームをマッピングすることは、前記ビデオストリームの各フレームを前記アバターの前記三次元モデルにマッピングして、前記第1の参加者の顔の動く画像を前記アバターに提示することを含む、請求項48に記載の方法。
- 前記アバターは表面を含み、前記マッピングすることは、前記フレームの各々を前記表面にマッピングすることを含む、請求項54に記載の方法。
- 前記レンダリングすることは、前記三次元仮想空間において前記位置及び方向で前記マッピングされたアバターをレンダリングすることを含み、前記第1の参加者は、前記第1の参加者によって入力された前記位置及び前記方向の変更に基づいて、前記レンダリングされた三次元仮想空間内の前記マッピングされたアバターの前記位置及び方向を変更させることが可能である、請求項55に記載の方法。
- 前記レンダリングすることは、アバターが前記三次元仮想空間において前記位置に配置され、前記表面が前記三次元仮想空間において前記方向に向けられるようにレンダリングすることを含み、前記方法は、
前記三次元仮想空間における新しい方向を受信することであって、前記新しい方向は前記第1の参加者によって入力される、受信することと、
前記第2の参加者の前記仮想カメラの前記視点から、前記第2の参加者に表示するために、前記テクスチャマッピングされたアバターの前記表面が前記新しい方向に向けられるように前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項55に記載の方法。 - 前記新しい方向が前記第1の参加者によって入力されるとき、前記第1の参加者の仮想カメラは前記新しい方向に従って変更され、前記第1の参加者の前記仮想カメラは、前記三次元仮想空間が、前記第1の参加者に表示するためにいかにレンダリングされるかを指定する、請求項57に記載の方法。
- 命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも1つの計算デバイスによって実行されると、前記少なくとも1つの計算デバイスに、複数の参加者を含む仮想会議においてプレゼンテーションする動作を実行させ、前記動作は、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は、前記仮想会議への前記複数の参加者のうちの第1の参加者によって入力される、受信することと、
前記第1の参加者のデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1の参加者の写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第1の参加者の前記デバイスからプレゼンテーションストリームを受信することと、
前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングすることと、
前記複数の参加者のうちの第2の参加者の仮想カメラの視点から、前記第2の参加者に表示するために、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面と共に前記三次元仮想空間をレンダリングすることと、
を含む、デバイス。 - 前記動作は、
前記第1の参加者の前記デバイスのマイクロホンから、前記プレゼンテーションストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第1の参加者の発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記プレゼンテーションストリームの表示と同期して前記第2の参加者に対して再生することと、
を更に含む、請求項59に記載のデバイス。 - 前記動作は、前記複数の参加者中の第3の参加者の前記三次元仮想空間における位置を受信することと、
前記第3の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第3の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第3の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含み、
前記レンダリングすることは、前記第2の参加者に表示するために、前記受信した位置において前記第3の参加者のアバターを有する前記三次元仮想空間をレンダリングすることを含む、請求項59に記載のデバイス。 - 前記動作は、
前記第1の参加者の前記三次元仮想空間における位置を受信することと、
前記第1の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第1の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第1の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように、前記オーディオストリームを調整することと、
前記第2の参加者に表示するために、前記受信した位置において、前記第3の参加者のアバターを有する前記三次元仮想空間をレンダリングすることと、
プレゼンテーションモードになったとき、前記仮想カメラの位置に対する前記マッピングされたプレゼンテーション画面の位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含む、請求項59に記載のデバイス。 - 前記プレゼンテーションストリームは、前記第1の参加者のビデオである、請求項59に記載のデバイス。
- 前記プレゼンテーションストリームは、前記第1の参加者の画面共有である、請求項59に記載のデバイス。
- 複数の参加者を含む仮想会議においてプレゼンテーションをするためのシステムであって、
メモリに結合されたプロセッサと、
ネットワークインターフェースであって、(i)三次元仮想空間を指定するデータ、(ii)前記三次元仮想空間における位置及び方向であって、前記仮想会議への前記複数の参加者の第1の参加者によって入力される位置及び方向、(iii)前記第1の参加者のデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第1の参加者の写真画像を捕捉するように位置決めされる、ビデオストリーム、及び(iv)前記第1の参加者のデバイスからのプレゼンテーションストリームを受信するように構成された、ネットワークインターフェースと、
前記プロセッサに実施されるマッパであって、前記ビデオストリームをアバターの三次元モデルにマッピングし、前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングするように構成されるマッパと、
前記プロセッサに実施されるレンダラーであって、前記第2の参加者に表示するために、前記複数の参加者の第2の参加者の仮想カメラの視点から、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面を有する前記三次元仮想空間をレンダリングするように構成されるレンダラーと、
を備える、システム。 - 前記プレゼンテーションストリームは、前記第1の参加者のビデオである、請求項65に記載のシステム。
- 前記プレゼンテーションストリームは、前記第1の参加者の画面共有である、請求項65に記載のシステム。
- 複数の参加者を含む仮想会議においてプレゼンテーションをするためのコンピュータ実施方法であって、
前記仮想会議への前記複数の参加者のうちの第1の参加者の第1のデバイスから、(i)前記三次元仮想空間における位置及び方向であって、前記第1の参加者によって入力される位置及び方向、(ii)前記第1のデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第1の参加者の写真画像を捕捉するように位置決めされる、ビデオストリーム、及び(iii)プレゼンテーションストリームを受信することと、
前記複数の参加者のうちの第2の参加者の第2のデバイスに、前記プレゼンテーションストリームを送信することであって、前記第2のデバイスは、(i)前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングし、(ii)前記ビデオストリームをアバターにマッピングし、(iii)前記複数の参加者の前記第2の参加者の仮想カメラの視点から、前記第2の参加者に表示するために、前記マッピングされたプレゼンテーション画面空間及び前記位置に配置され前記方向を向いた前記アバターの前記マッピングされた三次元モデルを有する三次元仮想空間をレンダリングするように構成される、送信することと、
を含む、方法。 - 前記プレゼンテーションストリームは、前記第1の参加者のビデオである、請求項68に記載の方法。
- 前記プレゼンテーションストリームは、前記第1の参加者の画面共有である、請求項68に記載の方法。
- 前記第2のデバイスに、前記第2のデバイスが前記プレゼンテーション画面をいかにマッピングしレンダリングすべきかを指定する実行可能コードを有するウェブアプリケーションを送信することを更に含む、請求項68に記載の方法。
- 複数の参加者を含む仮想会議を提供するコンピュータ実施方法であって、
第1のユーザの仮想カメラの視点から、前記第1のユーザに表示するために、第2のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングすることであって、前記仮想カメラは前記三次元仮想空間において第1の位置にあり、前記アバターは前記三次元仮想空間において第2の位置にある、レンダリングすることと、
前記第2のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第2のユーザの発話を捕捉するように位置決めされる、受信することと、
前記受信したオーディオストリームの音量を調整することであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第2の位置が前記第1の位置に相対して前記三次元仮想空間において存在する場所の感覚を提供する、調整することと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第1のユーザにステレオで再生することと、
を含む、方法。 - 前記調整することは、前記第1の位置に対する前記第2の位置の方向に基づいて前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項72に記載の方法。
- 前記調整することは、前記三次元仮想空間内の水平面上の前記第1の位置に対する前記第2の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項73に記載の方法。
- 前記調整することは、前記三次元仮想空間内の水平面上の前記第1の位置に相対する前記第2の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項72に記載の方法。
- 前記調整することは、前記三次元仮想空間において前記仮想カメラが面している方向に基づいて、前記アバターが前記仮想カメラの左側に配置される場合、前記左オーディオストリームがより大きな音量を有する傾向を有し、前記アバターが前記仮想カメラの右側に配置される場合、前記右オーディオストリームがより大きな音量を有する傾向を有するように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項72に記載の方法。
- 前記調整することは、前記仮想カメラが面している方向と前記アバターが面している方向との間の角度に基づいて、前記角度が、前記アバターが面する方向に垂直になるほど、前記左オーディオストリームと前記右オーディオストリームとの間の音量差が大きくなるように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項76に記載の方法。
- 前記調整することは、前記第1の位置に対する前記第2の位置間の距離に基づいて、前記第1及び第2のオーディオストリームの両方の音量を調整することを含む、請求項72に記載の方法。
- 命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも1つの計算デバイスによって実行されると、前記少なくとも1つの計算デバイスに、複数の参加者を含む仮想会議においてプレゼンテーションする動作を実行させ、前記動作は、
第1のユーザの仮想カメラの視点から、前記第1のユーザに表示するために、第2のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングすることであって、前記仮想カメラは前記三次元仮想空間において第1の位置にあり、前記アバターは前記三次元仮想空間において第2の位置にある、レンダリングすることと、
前記第2のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第2のユーザの発話を捕捉するように位置決めされる、受信することと、
前記受信したオーディオストリームの音量を調整することであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第2の位置が前記第1の位置に対して前記三次元仮想空間において存在する場所の感覚を提供する、調整することと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第1のユーザにステレオで再生することと、
を含む、デバイス。 - 前記調整することは、前記第1の位置に対する前記第2の位置の方向に基づいて前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項79に記載のデバイス。
- 前記調整することは、前記三次元仮想空間内の水平面上の前記第1の位置に対する前記第2の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項79に記載のデバイス。
- 前記調整することは、前記三次元仮想空間内の水平面上の前記第1の位置に相対する前記第2の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項79に記載のデバイス。
- 前記調整することは、前記三次元仮想空間において前記仮想カメラが面している方向に基づいて、前記アバターが前記仮想カメラの左側に配置される場合、前記左オーディオストリームがより大きな音量を有する傾向を有し、前記アバターが前記仮想カメラの右側に配置される場合、前記右オーディオストリームがより大きな音量を有する傾向を有するように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項82に記載のデバイス。
- 前記調整することは、前記仮想カメラが面している方向と前記アバターが面している方向との間の角度に基づいて、前記角度が、前記アバターが面する方向に垂直になるほど、前記左オーディオストリームと前記右オーディオストリームとの間の音量差が大きくなるように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項83に記載のデバイス。
- 前記調整することは、前記第1の位置に対する前記第2の位置間の距離に基づいて、前記第1及び第2のオーディオストリームの両方の音量を調整することを含む、請求項79に記載のデバイス。
- 複数の参加者を含む仮想会議を提供するシステムであって、
メモリに結合されたプロセッサと、
前記プロセッサで実施されるレンダラーであって、第1のユーザに表示するために、第1のユーザの仮想カメラの視点から、第2のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングするように構成されるレンダラーと、
前記第2のユーザのデバイスのマイクロホンからオーディオストリームを受信するように構成されるネットワークインターフェースであって、前記マイクロホンは前記第2のユーザの発話を捕捉するように位置決めされる、ネットワークインターフェースと、
前記受信したオーディオストリームの音量を調整するように構成されるオーディオプロセッサであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第2の位置が前記第1の位置に相対して前記三次元仮想空間において存在する場所の感覚を提供する、オーディオプロセッサと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第1のユーザにステレオで再生するステレオスピーカと、
を備えるシステム。 - 前記オーディオプロセッサは、前記第1の位置に対する前記第2の位置の方向に基づいて前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項86に記載のシステム。
- 前記オーディオプロセッサは、前記三次元仮想空間内の水平面上の前記第1の位置に対する前記第2の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項87に記載のシステム。
- 前記オーディオプロセッサは、前記三次元仮想空間内の水平面上の前記第1の位置に相対する前記第2の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項86に記載のシステム。
- 前記オーディオプロセッサは、前記三次元仮想空間において前記仮想カメラが面している方向に基づいて、前記アバターが前記仮想カメラの左側に配置される場合、前記左オーディオストリームがより大きな音量を有する傾向を有し、前記アバターが前記仮想カメラの右側に配置される場合、前記右オーディオストリームがより大きな音量を有する傾向を有するように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項89に記載のシステム。
- 前記オーディオプロセッサは、前記仮想カメラが面している方向と前記アバターが面している方向との間の角度に基づいて、前記角度が、前記アバターが面する方向に垂直になるほど、前記左オーディオストリームと前記右オーディオストリームとの間の音量差が大きくなるように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項86に記載のシステム。
- 前記オーディオプロセッサは、前記第1の位置に対する前記第2の位置間の距離に基づいて、前記第1及び第2のオーディオストリームの両方の音量を調整するように構成される、請求項86に記載のシステム。
- 仮想会議にオーディオを提供するコンピュータ実施方法であって、
(a)第1のユーザの仮想カメラの視点から、前記第1のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングすることであって、前記三次元仮想空間は第2のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第1の位置にあり、前記アバターは前記三次元仮想空間における第2の位置にあり、前記三次元仮想空間は複数のエリアにセグメント化される、レンダリングすることと、
(b)前記第2のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第2のユーザの発話を捕捉するように位置決めされる、受信することと、
(c)前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否かを特定することと、
(d)前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定することと、
(e)前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させることと、
(f)前記オーディオストリームを出力し、前記第1のユーザに対して再生することと、
を含む、コンピュータ実施方法。 - 前記オーディオストリームは第1のオーディオストリームであり、前記三次元仮想空間は、第3のユーザを表す第2のアバターを含み、前記特定すること(c)は、前記仮想カメラ及び前記アバターが前記同じエリアに配置されていると特定することを含み、前記方法は、
(g)前記第1のユーザのデバイスのマイクロホンから第2のオーディオストリームを受信することであって、前記マイクロホンは前記第1のユーザの発話を捕捉するように位置決めされる、受信することと、
(h)前記第2のアバター及び前記仮想カメラが、前記仮想カメラが配置されている前記同じエリアと異なる前記三次元仮想空間のエリアに配置されていると特定することと、
(i)前記第1及び第2のオーディオストリームを減衰させることであって、それにより、前記第1及び第2のオーディオストリームが前記第3のユーザによって聞かれることを阻止し、前記第1のユーザと前記第2のユーザとの間での私的な会話を可能にする、減衰させることと、
を更に含む、請求項93に記載のコンピュータ実施方法。 - 前記複数のエリアにおける各エリアは、前記オーディオストリームが(e)において減衰される量を指定する壁伝達係数を有する、請求項93に記載のコンピュータ実施方法。
- 前記複数のエリアにおける各エリアは距離伝達係数を有し、前記方法は、
(g)前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、
(h)前記仮想カメラと前記アバターとの間の少なくとも1つのエリアを特定することと、
(i)(g)において特定された前記距離及び(h)において特定された前記少なくとも1つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項93に記載のコンピュータ実施方法。 - 前記複数のエリアは階層として構造化される、請求項93に記載のコンピュータ実施方法。
- 前記複数のエリアにおける各エリアは、壁伝達係数を有し、前記方法は、
(g)前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、
(h)(g)において特定された前記エリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項97に記載のコンピュータ実施方法。 - 命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも1つの計算デバイスによって実行されると、前記少なくとも1つの計算デバイスに、仮想会議にオーディオを提供する動作を実行させ、前記動作は、
(a)第1のユーザの仮想カメラの視点から、前記第1のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングすることであって、前記三次元仮想空間は第2のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第1の位置にあり、前記アバターは前記三次元仮想空間における第2の位置にあり、前記三次元仮想空間は複数のエリアにセグメント化される、レンダリングすることと、
(b)前記第2のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第2のユーザの発話を捕捉するように位置決めされる、受信することと、
(c)前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否かを特定することと、
(d)前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定することと、
(e)前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させることと、
(f)前記オーディオストリームを出力し、前記第1のユーザに対して再生することと、
を含む、デバイス。 - 前記オーディオストリームは第1のオーディオストリームであり、前記三次元仮想空間は、第3のユーザを表す第2のアバターを含み、前記特定すること(c)は、前記仮想カメラ及び前記アバターが前記同じエリアに配置されていると特定することを含み、
(g)前記第1のユーザのデバイスのマイクロホンから第2のオーディオストリームを受信することであって、前記マイクロホンは前記第1のユーザの発話を捕捉するように位置決めされる、受信することと、
(h)前記第2のアバター及び前記仮想カメラが、前記仮想カメラが配置されている前記同じエリアと異なる前記三次元仮想空間のエリアに配置されていると特定することと、
(i)前記第1及び第2のオーディオストリームを減衰させることであって、それにより、前記第1及び第2のオーディオストリームが前記第3のユーザによって聞かれることを阻止し、前記第1のユーザと前記第2のユーザとの間での私的な会話を可能にする、減衰させることと、
を更に含む、請求項99に記載のデバイス。 - 前記複数のエリアにおける各エリアは、前記オーディオストリームが(e)において減衰される量を指定する壁伝達係数を有する、請求項99に記載のデバイス。
- 前記複数のエリアにおける各エリアは距離伝達係数を有し、
(g)前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、
(h)前記仮想カメラと前記アバターとの間の少なくとも1つのエリアを特定することと、
(i)(g)において特定された前記距離及び(h)において特定された前記少なくとも1つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項99に記載のデバイス。 - 前記複数のエリアは階層として構造化される、請求項99に記載のデバイス。
- 前記複数のエリアにおける各エリアは、壁伝達係数を有し、
(g)前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、
(h)(g)において特定された前記エリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項103に記載のデバイス。 - 仮想会議にオーディオを提供するシステムであって、
メモリに結合されたプロセッサと、
前記プロセッサで実施されるレンダラーであって、第1のユーザの仮想カメラの視点から、前記第1のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングするように構成され、前記三次元仮想空間は第2のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第1の位置にあり、前記アバターは前記三次元仮想空間における第2の位置にあり、前記三次元仮想空間は、階層として構造化される複数のエリアにセグメント化される、レンダラーと、
前記第2のユーザのデバイスのマイクロホンからオーディオストリームを受信するように構成されるネットワークインターフェースであって、前記マイクロホンは前記第2のユーザの発話を捕捉するように位置決めされる、ネットワークインターフェースと、
前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否か及び前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定し、前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させ、前記オーディオストリームを出力し、前記第1のユーザに対して再生するように構成される、オーディオプロセッサと、
を備える、システム。 - 前記複数のエリアにおける各エリアは、前記オーディオストリームが減衰される量を指定する壁伝達係数を有する、請求項105に記載のシステム。
- 前記複数のエリアにおける各エリアは距離伝達係数を有し、前記オーディオプロセッサは、(i)前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、(ii)前記仮想カメラと前記アバターとの間の少なくとも1つのエリアを特定することと、(iii)前記特定された距離及び前記特定された少なくとも1つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることとを行うように構成される、請求項105に記載のシステム。
- 前記複数のエリアにおける各エリアは、壁伝達係数を有し、前記オーディオプロセッサは、前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、前記特定されたエリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることとを行うように構成される、請求項105に記載のシステム。
- テレビ会議のビデオをストリーミングするコンピュータ実施方法であって、
(a)仮想会議空間における第1のユーザと第2のユーザとの間の距離を特定することと、
(b)前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
(c)前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
(d)前記仮想会議空間内で、前記第2のユーザに表示するために、前記第2のユーザのデバイスに前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第2のユーザに表示するために、前記第1のユーザのアバターにマッピングされる、要求することと、
を含む、方法。 - (e)第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信することであって、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされる、受信することと、
(f)前記仮想会議のデータを前記第2のユーザに送信するために利用可能な帯域幅を特定することと、
(g)仮想会議空間における第1のユーザと第2のユーザとの間の第2の距離を特定することと、
(h)(a)において特定された前記距離に相対する(g)において特定された前記C第2の距離に基づいて、(b)において受信された前記ビデオストリームと(e)において受信した前記第2のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項109に記載の方法。 - 前記分配すること(h)は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与することを含む、請求項110に記載の方法。
- (i)前記第1のユーザのデバイスから第1のオーディオストリームを受信することと、
(j)前記第3のユーザのデバイスから第2のオーディオストリームを受信することであって、前記分配すること(h)は、前記第1及び第2のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項110に記載の方法。 - (k)前記確保された部分のサイズに従って前記第1及び第2のオーディオストリームの品質を下げることを更に含む、請求項112に記載の方法。
- 前記下げること(k)は、(a)において特定された前記距離に相対する(g)において特定された前記第2の距離から独立して、前記品質を下げることを含む、請求項113に記載の方法。
- (e)前記仮想会議空間における前記第1のユーザと前記第2のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
(e)における前記特定に応答して、
(f)前記第2のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
(g)前記ビデオストリームを静止画像で置換することを前記第2のユーザの前記デバイスに通知することと、
を更に含む、請求項109に記載の方法。 - 前記低下された解像度における前記ビデオストリームは、前記第2のユーザに表示するために、前記第2のユーザの前記デバイスにより、前記仮想会議空間内の前記第2のユーザの位置にレンダリングされるアバターにマッピングされる、請求項109に記載の方法。
- 命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも1つの計算デバイスによって実行されると、前記少なくとも1つの計算デバイスに、テレビ会議のビデオをストリーミングする動作を実行させ、前記動作は、
(a)仮想会議空間における第1のユーザと第2のユーザとの間の距離を特定することと、
(b)前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
(c)前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
(d)前記仮想会議空間内で、前記第2のユーザに表示するために、前記第2のユーザのデバイスに前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第2のユーザに表示するために、前記第1のユーザのアバターにマッピングされる、要求することと、
を含む、デバイス。 - 前記動作は、
(e)第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信することであって、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされる、受信することと、
(f)前記仮想会議のデータを前記第2のユーザに送信するために利用可能な帯域幅を特定することと、
(g)仮想会議空間における第1のユーザと第2のユーザとの間の第2の距離を特定することと、
(h)(a)において特定された前記距離に相対する(g)において特定された前記C第2の距離に基づいて、(b)において受信された前記ビデオストリームと(e)において受信した前記第2のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項117に記載のデバイス。 - 前記分配すること(h)は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与することを含む、請求項118に記載のデバイス。
- 前記動作は、
(i)前記第1のユーザのデバイスから第1のオーディオストリームを受信することと、
(j)前記第3のユーザのデバイスから第2のオーディオストリームを受信することであって、前記分配すること(h)は、前記第1及び第2のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項118に記載のデバイス。 - 前記動作は、
(k)前記確保された部分のサイズに従って前記第1及び第2のオーディオストリームの品質を下げることを更に含む、請求項120に記載のデバイス。 - 前記下げること(k)は、(a)において特定された前記距離に相対する(g)において特定された前記第2の距離から独立して、前記品質を下げることを含む、請求項121に記載のデバイス。
- 前記動作は、
(e)前記仮想会議空間における前記第1のユーザと前記第2のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
(e)における前記特定に応答して、
(f)前記第2のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
(g)前記ビデオストリームを静止画像で置換することを前記第2のユーザの前記デバイスに通知することと、
を更に含む、請求項117に記載のデバイス。 - 前記低下された解像度における前記ビデオストリームは、前記第2のユーザに表示するために、前記第2のユーザの前記デバイスにより、前記仮想会議空間内の前記第2のユーザの位置にレンダリングされるアバターにマッピングされる、請求項117に記載のデバイス。
- 仮想会議のためにビデオをストリーミングするシステムであって、
メモリに結合されたプロセッサと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信するネットワークインターフェースであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、ネットワークインターフェースと、
仮想会議空間における第1のユーザと第2のユーザとの間の距離を特定し、前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの解像度を下げるように構成されたストリーム調整器と、
を備え、
前記ネットワークインターフェースは、前記仮想会議空間内の前記第2のユーザに表示するために、前記第2のユーザのデバイスに前記低下した解像度で前記ビデオストリームを送信するように構成され、前記ビデオストリームは、前記仮想会議空間内の前記第2のユーザに表示するために、前記第1のユーザのアバターにマッピングされる、システム。 - 前記ネットワークインターフェースは、第3のユーザのデバイスのカメラから捕捉された第2のビデオストリームを受信し、前記カメラは前記第3のユーザの写真画像を捕捉するように位置決めされ、
前記ストリーム調整器は、(i)前記仮想会議のデータを前記第2のユーザに送信するために利用可能な帯域幅を特定することと、(ii)仮想会議空間における第1のユーザと第2のユーザとの間の第2の距離を特定することと、(iii)前記距離に相対する前記第2の距離に基づいて前記利用可能な帯域幅を前記ビデオストリーム及び前記第2のビデオストリームに分配する、請求項125に記載のシステム。 - 前記ストリーム調整器は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与するように構成される、請求項126に記載のシステム。
- 前記ネットワークインターフェースは、前記第1のユーザのデバイスから第1のオーディオストリームを受信し、前記第3のユーザのデバイスから第2のオーディオストリームを受信するように構成され、前記ストリーム調整器は、前記第1及び第2のオーディオストリームの一部を確保するように構成される、請求項126に記載のシステム。
- 仮想会議のためにビデオをストリーミングするコンピュータ実施方法であって、
仮想環境の三次元モデルを受信することと、
物体の三次元モデルを表すメッシュを受信することと、
前記仮想テレビ会議の第1の参加者のビデオストリームを受信することであって、前記ビデオストリームは複数のフレームを含む、受信することと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングすることであって、それにより、前記第1の参加者によって操作可能なアバターを生成し、前記メッシュは前記ビデオストリームから独立して生成される、マッピングすることと、
第2の参加者の仮想カメラの視点から、前記第2の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングすることと、
を含む、方法。 - 前記物体は製品であり、前記第2の参加者は、前記製品の前記三次元モデルの周囲で前記仮想カメラをナビゲートすることができる、請求項129に記載の方法。
- 前記物体は広告である、請求項129に記載の方法。
- 前記製品を前記仮想会議空間においてデモンストレーションすることを更に含む、請求項129に記載の方法。
- 前記仮想環境は建物である、請求項129に記載の方法。
- 前記メッシュは第1のメッシュであり、前記方法は、
前記第1のメッシュについての要求を前記第2の参加者から送信することであって、前記第1のメッシュの受信は、前記要求に応答して行われる、送信することを更に含む、請求項129に記載の方法。 - 前記三次元仮想空間における前記第1のユーザの位置及び方向を受信することと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることであって、前記レンダリングすることは、前記位置に位置決めされ前記方向を向いた前記アバターのマッピングされた三次元モデルを含むように前記仮想会議をレンダリングすることを含む、マッピングすることと、
を更に含む、請求項129に記載の方法。 - 命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも1つの計算デバイスによって実行されると、前記少なくとも1つの計算デバイスに、仮想会議のためにビデオをストリーミングする動作を実行させ、前記動作は、
仮想環境の三次元モデルを受信することと、
物体の三次元モデルを表すメッシュを受信することと、
前記仮想テレビ会議の第1の参加者のビデオストリームを受信することであって、前記ビデオストリームは複数のフレームを含む、受信することと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングすることであって、それにより、前記第1の参加者によって操作可能なアバターを生成し、前記メッシュは前記ビデオストリームから独立して生成される、マッピングすることと、
第2の参加者の仮想カメラの視点から、前記第2の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングすることと、
を含む、デバイス。 - 前記物体は製品であり、前記第2の参加者は、前記製品の前記三次元モデルの周囲で前記仮想カメラをナビゲートすることができる、請求項136に記載の非一時的有形コンピュータ可読デバイス。
- 前記物体は広告である、請求項136に記載の非一時的有形コンピュータ可読デバイス。
- 前記製品を前記仮想会議空間においてデモンストレーションすることを更に含む、請求項137に記載の非一時的有形コンピュータ可読デバイス。
- 前記仮想環境は建物である、請求項136に記載の非一時的有形コンピュータ可読デバイス。
- 前記メッシュは第1のメッシュであり、
前記第1のメッシュについての要求を前記第2の参加者から送信することであって、前記第1のメッシュの受信は、前記要求に応答して行われる、送信することを更に含む、請求項136に記載の非一時的有形コンピュータ可読デバイス。 - 前記三次元仮想空間における前記第1のユーザの位置及び方向を受信することと、
前記第1のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第1のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることであって、前記レンダリングすることは、前記位置に位置決めされ前記方向を向いた前記アバターのマッピングされた三次元モデルを含むように前記仮想会議をレンダリングすることを含む、マッピングすることと、
を更に含む、請求項136に記載の非一時的有形コンピュータ可読デバイス。 - 仮想テレビ会議のためにビデオをストリーミングするシステムであって、
メモリに結合されたプロセッサと、
ネットワークインターフェースであって、(i)仮想環境の三次元モデル、(ii)物体の三次元モデルを表すメッシュ、(iii)前記仮想テレビ会議の第1の参加者のビデオストリームを受信するように構成され、前記ビデオストリームは複数のフレームを含む、ネットワークインターフェースと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングして、前記第1の参加者により操作可能なアバターを生成するマッパであって、前記メッシュは前記ビデオストリームから独立して生成される、マッパと、
第2の参加者の仮想カメラの視点から、前記第2の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングするように構成されるレンダラーと、
を備える、システム。 - 前記物体は製品であり、前記第2の参加者は、前記製品の前記三次元モデルの周囲で前記仮想カメラをナビゲートすることができる、請求項143に記載のシステム。
- 前記物体は広告である、請求項143に記載のシステム。
- 前記仮想環境は建物である、請求項143に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023117467A JP2023139110A (ja) | 2020-10-20 | 2023-07-19 | 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 |
Applications Claiming Priority (15)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/075,428 | 2020-10-20 | ||
US17/075,454 US11457178B2 (en) | 2020-10-20 | 2020-10-20 | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
US17/075,362 | 2020-10-20 | ||
US17/075,408 US11070768B1 (en) | 2020-10-20 | 2020-10-20 | Volume areas in a three-dimensional virtual conference space, and applications thereof |
US17/075,428 US11076128B1 (en) | 2020-10-20 | 2020-10-20 | Determining video stream quality based on relative position in a virtual space, and applications thereof |
US17/075,362 US11095857B1 (en) | 2020-10-20 | 2020-10-20 | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
US17/075,408 | 2020-10-20 | ||
US17/075,454 | 2020-10-20 | ||
US17/075,390 | 2020-10-20 | ||
US17/075,338 | 2020-10-20 | ||
US17/075,390 US10952006B1 (en) | 2020-10-20 | 2020-10-20 | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
US17/075,338 US10979672B1 (en) | 2020-10-20 | 2020-10-20 | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
US17/198,323 US11290688B1 (en) | 2020-10-20 | 2021-03-11 | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
US17/198,323 | 2021-03-11 | ||
PCT/US2021/055875 WO2022087147A1 (en) | 2020-10-20 | 2021-10-20 | A web-based videoconference virtual environment with navigable avatars, and applications thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117467A Division JP2023139110A (ja) | 2020-10-20 | 2023-07-19 | 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7318139B1 JP7318139B1 (ja) | 2023-07-31 |
JP2023534092A true JP2023534092A (ja) | 2023-08-08 |
Family
ID=81289363
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562717A Active JP7318139B1 (ja) | 2020-10-20 | 2021-10-20 | 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 |
JP2023117467A Pending JP2023139110A (ja) | 2020-10-20 | 2023-07-19 | 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117467A Pending JP2023139110A (ja) | 2020-10-20 | 2023-07-19 | 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 |
Country Status (9)
Country | Link |
---|---|
EP (1) | EP4122192A1 (ja) |
JP (2) | JP7318139B1 (ja) |
KR (2) | KR102580110B1 (ja) |
CN (1) | CN116018803A (ja) |
AU (2) | AU2021366657B2 (ja) |
BR (1) | BR112022024836A2 (ja) |
CA (1) | CA3181367C (ja) |
IL (2) | IL298268B2 (ja) |
WO (1) | WO2022087147A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
WO2024020452A1 (en) * | 2022-07-20 | 2024-01-25 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
WO2024020562A1 (en) * | 2022-07-21 | 2024-01-25 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
WO2024053845A1 (ko) * | 2022-09-08 | 2024-03-14 | 삼성전자주식회사 | 오브젝트에 기초한 컨텐츠 공유를 제공하는 전자 장치 및 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101208723A (zh) * | 2005-02-23 | 2008-06-25 | 克雷格·萨默斯 | 用于3维照相机和3维视频的自动场景建模 |
US7576766B2 (en) * | 2005-06-30 | 2009-08-18 | Microsoft Corporation | Normalized images for cameras |
US20110225039A1 (en) * | 2010-03-10 | 2011-09-15 | Oddmobb, Inc. | Virtual social venue feeding multiple video streams |
WO2013119802A1 (en) * | 2012-02-11 | 2013-08-15 | Social Communications Company | Routing virtual area based communications |
US20130321564A1 (en) * | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US8994780B2 (en) | 2012-10-04 | 2015-03-31 | Mcci Corporation | Video conferencing enhanced with 3-D perspective control |
US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
CN110999281B (zh) * | 2017-06-09 | 2021-11-26 | Pcms控股公司 | 一种用于允许在虚拟景观中探索的方法及装置 |
US11553158B2 (en) | 2018-11-09 | 2023-01-10 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
JP6684952B1 (ja) | 2019-06-28 | 2020-04-22 | 株式会社ドワンゴ | コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法 |
-
2021
- 2021-10-20 IL IL298268A patent/IL298268B2/en unknown
- 2021-10-20 BR BR112022024836A patent/BR112022024836A2/pt unknown
- 2021-10-20 WO PCT/US2021/055875 patent/WO2022087147A1/en unknown
- 2021-10-20 JP JP2022562717A patent/JP7318139B1/ja active Active
- 2021-10-20 KR KR1020227039238A patent/KR102580110B1/ko active IP Right Grant
- 2021-10-20 AU AU2021366657A patent/AU2021366657B2/en active Active
- 2021-10-20 CN CN202180037563.6A patent/CN116018803A/zh active Pending
- 2021-10-20 CA CA3181367A patent/CA3181367C/en active Active
- 2021-10-20 IL IL308489A patent/IL308489A/en unknown
- 2021-10-20 KR KR1020237026431A patent/KR20230119261A/ko active Application Filing
- 2021-10-20 EP EP21807405.2A patent/EP4122192A1/en active Pending
-
2023
- 2023-07-19 JP JP2023117467A patent/JP2023139110A/ja active Pending
- 2023-09-14 AU AU2023229565A patent/AU2023229565A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7318139B1 (ja) | 2023-07-31 |
KR20230119261A (ko) | 2023-08-16 |
KR102580110B1 (ko) | 2023-09-18 |
BR112022024836A2 (pt) | 2023-05-09 |
CA3181367C (en) | 2023-11-21 |
IL298268A (en) | 2023-01-01 |
EP4122192A1 (en) | 2023-01-25 |
AU2021366657A1 (en) | 2022-12-08 |
CA3181367A1 (en) | 2022-04-28 |
JP2023139110A (ja) | 2023-10-03 |
IL298268B1 (en) | 2024-01-01 |
AU2023229565A1 (en) | 2023-10-05 |
IL308489A (en) | 2024-01-01 |
KR20220160699A (ko) | 2022-12-06 |
AU2021366657B2 (en) | 2023-06-15 |
WO2022087147A1 (en) | 2022-04-28 |
IL298268B2 (en) | 2024-05-01 |
CN116018803A (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11290688B1 (en) | Web-based videoconference virtual environment with navigable avatars, and applications thereof | |
US10952006B1 (en) | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof | |
US11076128B1 (en) | Determining video stream quality based on relative position in a virtual space, and applications thereof | |
US11095857B1 (en) | Presenter mode in a three-dimensional virtual conference space, and applications thereof | |
US11070768B1 (en) | Volume areas in a three-dimensional virtual conference space, and applications thereof | |
US11140361B1 (en) | Emotes for non-verbal communication in a videoconferencing system | |
US11457178B2 (en) | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof | |
JP7318139B1 (ja) | 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用 | |
US11184362B1 (en) | Securing private audio in a virtual conference, and applications thereof | |
US11743430B2 (en) | Providing awareness of who can hear audio in a virtual conference, and applications thereof | |
US20240087236A1 (en) | Navigating a virtual camera to a video avatar in a three-dimensional virtual environment, and applications thereof | |
US11928774B2 (en) | Multi-screen presentation in a virtual videoconferencing environment | |
US11700354B1 (en) | Resituating avatars in a virtual environment | |
US20240031531A1 (en) | Two-dimensional view of a presentation in a three-dimensional videoconferencing environment | |
US11741664B1 (en) | Resituating virtual cameras and avatars in a virtual environment | |
US11748939B1 (en) | Selecting a point to navigate video avatars in a three-dimensional environment | |
US20240007593A1 (en) | Session transfer in a virtual videoconferencing environment | |
WO2024020452A1 (en) | Multi-screen presentation in a virtual videoconferencing environment | |
WO2022235916A1 (en) | Securing private audio in a virtual conference, and applications thereof | |
WO2022204356A1 (en) | Emotes for non-verbal communication in a videoconferencing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230106 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7318139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |