JP2023523847A - リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時の乗り物酔いを鎮静化するための方法、装置、およびコンピュータプログラム - Google Patents

リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時の乗り物酔いを鎮静化するための方法、装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP2023523847A
JP2023523847A JP2022566708A JP2022566708A JP2023523847A JP 2023523847 A JP2023523847 A JP 2023523847A JP 2022566708 A JP2022566708 A JP 2022566708A JP 2022566708 A JP2022566708 A JP 2022566708A JP 2023523847 A JP2023523847 A JP 2023523847A
Authority
JP
Japan
Prior art keywords
fov
user
velocity
processor
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022566708A
Other languages
English (en)
Inventor
ロヒト・アビシェーク
イーラジ・ソダガー
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023523847A publication Critical patent/JP2023523847A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ユーザがストリーミングセッション内で別のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するための方法およびデバイスが提供される。方法は、フォローされているユーザの視野（FoV）の速度に基づいてユーザのFoVを決定するステップを含む。フォローされているユーザのFoVは、縮小なしの元のFoVである。さらに、方法は、（1）増大するフォローされているユーザのFoVの速度に基づいてユーザのFoVを縮小すること、および（2）低下するフォローされているユーザのFoVの速度に基づいてユーザのFoVを拡大することのうちの少なくとも1つによって修正された第1のFoVを生成するステップと、修正された第1のFoVを新しいビューポートとしてユーザに送信するステップとを含む。

Description

関連出願の相互参照
本出願は、2021年3月29日に出願された米国仮特許出願第63／167，304号に基づき、それに対する優先権を主張し、その開示は全体が参照により本明細書に組み込まれる。
本開示の実施形態は、リモート端末のためのテレビ会議およびテレプレゼンスにおいて乗り物酔いを鎮静化することに関し、より具体的には、ユーザが別のユーザのビューポートをフォローしているときにユーザの乗り物酔いを鎮静化することに関する。
全方位メディアストリームが使用されるとき、ユーザのビューポートに対応するコンテンツの一部のみがレンダリングされ、ヘッドマウントディスプレイ（HMD）を使用する間、ユーザにメディアストリームの現実的な観点を与える。
図1は、没入型テレビ会議通話についての関連シナリオ（シナリオ1）を示し、通話は、部屋A（101）、ユーザB（102）、およびユーザC（103）の間で編成される。図1に示されたように、部屋A（101）は、全方位／360度カメラ（104）を備えた会議室を表し、ユーザB（102）およびユーザC（103）は、それぞれ、HMDおよびモバイルデバイスを使用するリモート参加者である。この場合、参加者のユーザB（102）およびユーザC（103）は、自分のビューポート方向を部屋A（101）に送信し、部屋A（101）は、ユーザB（102）およびユーザC（103）にビューポート依存ストリームを送信する。
複数の会議室（2a01、2a02、2a03、2a04）を含む拡張シナリオ（シナリオ2）が図2Aに示されている。ユーザB（2a06）は、HMDを使用して360度カメラ（104）からのビデオストリームを視聴し、ユーザC（2a07）は、モバイルデバイスを使用してビデオストリームを視聴する。ユーザB（2a06）およびユーザC（2a07）は、自分のビューポート方向を会議室（2a01、2a02、2a03、2a04）のうちの少なくとも1つに送信し、それらは、ユーザB（2a06）およびユーザC（2a07）にビューポート依存ストリームを送信する。
図2Bに示されたように、別の例示的なシナリオ（シナリオ3）は、MRF／MCU（2b05）を使用して通話がセットアップされる場合であり、メディアリソース機能（MRF）およびメディア制御ユニット（MCU）は、多者間会議通話において端末をブリッジするためのメディア関連機能を提供するマルチメディアサーバである。会議室は、それぞれのビデオをMRF／MCU（2b05）に送信することができる。これらのビデオは、ビューポート独立ビデオであり、すなわち、ユーザのビューポートが特定のビデオをストリーミングすることにかかわらず、360度ビデオ全体がメディアサーバ（すなわち、MRF／MCU）に送信される。メディアサーバは、ユーザ（ユーザB（2b06）およびユーザC（2b07））のビューポート方向を受信し、それに応じてユーザにビューポート依存ストリームを送信する。
シナリオ3に付け加えて、リモートユーザは、会議室（2a01～2a04、2b01～2b04）から利用可能な360度ビデオのうちの1つを視聴するように選択することができる。そのような場合、ユーザは、ストリーミングしたいビデオおよびそのビューポート方向に関する情報を会議室またはMRF／MCU（2b05）に送信する。ユーザはまた、アクティブスピーカに基づいてある部屋から別の部屋への切り替えをトリガすることができる。
上記のシナリオに対する別の拡張は、例えば、HMDを装着しているユーザAが別のユーザのビューポートをフォローすることに関心がある場合である。この具体例では、他のユーザはユーザB（102）である。これは、ユーザB（102）が会議室（部屋A、2a01、2a02、2a03、および／または2a04）に出席しているとき、またはユーザAがユーザB（102）のフォーカスもしくはビューポートに関心があるときに起こる可能性がある。しかしながら、これが起こり、ユーザAのビューポートが切り替えられると、ユーザAは乗り物酔いを患う可能性がある。
本開示の1つまたは複数の例示的な実施形態は、リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時に乗り物酔いを鎮静化するためのシステムおよび方法を提供する。
実施形態によれば、第1のユーザがストリーミングセッション内で第2のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するための方法が提供される。方法は、第2のユーザの視野（FoV）の速度に基づいて第1のFoVを決定するステップであって、第2のユーザのFoVが縮小なしの元のFoVである、ステップと、増大する第2のユーザのFoVの速度に基づいて第1のFoVを縮小すること、および低下する第2のユーザのFoVの速度に基づいて第1のFoVを拡大することのうちの少なくとも1つによって修正された第1のFoVを生成するステップと、修正された第1のFoVを第1のユーザに送信し、修正された第1のFoVを新しいビューポートとして第1のユーザに提示するステップとを含んでもよい。
実施形態によれば、第1のユーザが第2のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するためのデバイスが提供される。デバイスは、プログラムコードを記憶するように構成された1つまたは複数のメモリと、プログラムコードを読み取り、プログラムコードによって指示されたように動作するように構成された1つまたは複数のプロセッサとを含んでもよい。プログラムコードは、第2のユーザの視野（FoV）の速度に基づいて第1のFoVを少なくとも1つのプロセッサに決定させるように構成された決定コードであって、第2のユーザのFoVが縮小なしの元のFoVである、決定コードと、増大する第2のユーザのFoVの速度に基づいて第1のFoVを縮小すること、および低下する第2のユーザのFoVの速度に基づいて第1のFoVを拡大することのうちの少なくとも1つによって修正された第1のFoVを少なくとも1つのプロセッサに生成させるように構成された修正コードと、修正された第1のFoVを第1のユーザに送信し、修正された第1のFoVを新しいビューポートとして第1のユーザに提示することを少なくとも1つのプロセッサに行わせるように構成された送信コードとを含む。
実施形態によれば、第1のユーザが第2のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するための非一時的コンピュータ可読媒体が提供される。コンピュータ可読媒体は、1つまたは複数のプロセッサに接続されてもよく、デバイスの少なくとも1つのプロセッサによって実行されると、第2のユーザの視野（FoV）の速度に基づいて第1のFoVを決定することであって、第2のユーザのFoVが縮小なしの元のFoVである、決定することと、増大する第2のユーザのFoVの速度に基づいて第1のFoVを縮小すること、および低下する第2のユーザのFoVの速度に基づいて第1のFoVを拡大することのうちの少なくとも1つによって修正された第1のFoVを生成することと、修正された第1のFoVを第1のユーザに送信し、修正された第1のFoVを新しいビューポートとして第1のユーザに提示することとを少なくとも1つのプロセッサに行わせる命令を記憶するように構成されてもよい。
さらなる態様は、以下の説明に部分的に記載され、部分的には、説明から明らかになるか、または本開示の提示された実施形態の実践によって習得されてもよい。
本開示の実施形態の上記および他の態様、特徴、および態様は、以下の添付図面と併せて以下の説明からより明らかになるであろう。
没入型テレビ会議のためのエコシステムの概略図である。 多者間マルチ会議室テレビ会議の概略図である。 MRF／MCUを使用する多者間マルチ会議室テレビ会議の概略図である。 1つまたは複数の実施形態による、通信システムの簡略化されたブロック図である。 1つまたは複数の実施形態による、ストリーミング環境の簡略化された例示的な図である。 実施形態による、視野（FoV）の変化の概略図である。 実施形態による、ユーザがストリーミングセッション内で別のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するための方法のフローチャートである。 実施形態による、コンピュータシステムの概略図である。
本開示は、ユーザが別のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するための方法および装置に関する。
乗り物酔いは、人間の目が見た動きを実際の身体の動きと一致させることができないときに発生する。脳は、内耳のバランス器官および眼から受信された情報の違いによって混乱する。この現象は、没入型ビデオでは一般的であり、没入型ビデオストリーミングおよび没入型テレビ会議に影響を及ぼす。図2Aおよび図2Bに示されたように、全方位カメラを備えた複数の会議室がテレビ会議中である。ユーザは、会議室（2a01、2a02、2a03、2a04）のうちの1つまたは没入型ストリームとして表示されるテレビ会議に参加している別のユーザのビューポートからビデオストリームを選択することができる。
本開示の実施形態は、添付図面を参照して包括的に記載される。しかしながら、実装例は、様々な複数の形態で実装されてもよく、本開示は、本明細書に記載された例に限定されると理解されるべきではない。逆に、実装例は、本開示の技術的解決策をより包括的かつ完全にし、実装例の概念を当業者に包括的に伝えるために提供される。添付図面は、本開示の例示にすぎず、必ずしも縮尺通りに描かれていない。添付図面内の同じ参照番号は同じまた同様の構成要素を示すので、構成要素の重複する説明は省略される。
以下で説明される提案された特徴は、別々に使用されてもよく、任意の順序で組み合わされてもよい。添付図面に示されたいくつかのブロック図は機能エンティティであり、必ずしも物理的または論理的に独立したエンティティに対応するとは限らない。さらに、実施形態は、処理回路（例えば、1つもしくは複数のプロセッサまたは1つもしくは複数の集積回路）によって実装されてもよく、ソフトウェアの形態で実装されてもよく、異なるネットワークおよび／またはプロセッサ装置および／またはマイクロコントローラ装置によって実装されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。
図3は、本開示の実施形態による、通信システム（300）の簡略化されたブロック図である。通信システム（300）は、ネットワーク（305）を介して相互接続された少なくとも2つの端末（302、303）を含んでもよい。データの単方向送信のために、第1の端末（303）は、ネットワーク（305）を介して他の端末（302）に送信するためにローカル位置でビデオデータをコード化することができる。第2の端末（302）は、ネットワーク（305）から他の端末のコード化ビデオデータを受信し、コード化データを復号し、復元されたビデオデータを表示することができる。単方向データ送信は、テレビ会議などのメディアサービング用途で一般的であり得る。
図3は、例えば、ビデオ会議中に行われる場合があるコード化されたビデオの双方向送信をサポートするために設けられた端末の第2のペア（301、304）を示す。データの双方向送信の場合、各端末（301、304）は、ネットワーク（305）を介して他の端末に送信するために、ローカル位置で取り込まれたビデオデータをコード化することができる。各端末（301、304）はまた、他の端末によって送信されたコード化ビデオデータを受信することができ、復元されたビデオデータをローカルディスプレイデバイスに表示することができる。
図3では、端末（301、302、303、304）は、サーバ、パーソナルコンピュータ、およびモバイルデバイスとして示され得るが、本開示の原理はこれに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、HMD、他のメディアプレーヤ、および／または専用ビデオ会議機器を用いるアプリケーションを見出す。ネットワーク（305）は、例えば、有線および／またはワイヤレスの通信ネットワークを含む、端末（301、302、303、304）の間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（305）は、回線交換チャネルおよび／またはパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはインターネットが含まれる。本開示の実施形態で説明された没入型ビデオは、ネットワーク（305）などで送信および／または受信されてもよい。
図4は、開示された主題についてのアプリケーションのための例示的なストリーミング環境を示す。開示された主題は、例えば、没入型テレビ会議、ビデオテレビ会議、およびテレプレゼンスなどを含む他のビデオ対応アプリケーションに等しく適用可能であり得る。
ストリーミング環境は、ビデオソース（401）、例えばビデオカメラ、および会議の1人または複数の参加者（402）を含む場合がある1つまたは複数の会議室（403）を含んでもよい。図4に示されたビデオソース（401）は、例えば、ビデオサンプルストリームを作成することができる360度ビデオカメラである。ビデオサンプルストリームは、将来の使用のために、ストリーミングサーバ（404）に送信および／または記憶されてもよい。1つまたは複数のストリーミングクライアント（405、406）も、それぞれのビューポート情報をストリーミングサーバ（404）に送信することができる。ビューポート情報に基づいて、ストリーミングサーバ（404）は、対応するストリーミングクライアント（405、406）にビューポート依存ストリームを送信することができる。別の例示的な実施形態では、ストリーミングクライアント（405、406）は、ストリーミングサーバ（404）にアクセスして、ビューポート依存ストリームを検索することができる。実施形態はこの構成に限定されず、1つまたは複数の会議室（403）は、ネットワーク（例えば、ネットワーク305）を介してストリーミングクライアント（405、406）と通信することができる。さらに、ストリーミングサーバ（404）および／またはストリーミングクライアント（405、406）は、以下でより詳細に記載されるように、開示された主題の態様を可能にするか、または実装するために、ハードウェア、ソフトウェア、またはそれらの組合せを含んでもよい。ストリーミングクライアント（405、406）は、FoV（視野）構成要素（407a、407b）を含んでもよい。FoV構成要素（407a、407b）は、以下でより詳細に記載される実施形態に従ってストリーミングクライアントのビューポートまたはFoVを調整し、ディスプレイ408またはHDM、スピーカ、モバイルデバイスなどの他のレンダリングデバイス上でレンダリングすることができる発信ビデオサンプルストリームを作成することができる。
没入型テレビ会議通話では、ストリーミングクライアント（以下、「ユーザ」）は、360度ビデオをストリーミングしている複数の部屋（例えば、1つまたは複数の会議室（403））からの利用可能な没入ビデオのうちの1つまたは複数の間を切り替えるように選択することができる。没入型ビデオは、自動または手動のいずれかで、ある部屋のストリーミング没入型ビデオから別の部屋のストリーミング没入型ビデオに切り替えられてもよい。没入型ビデオがユーザによって1つのソースから別のソースに手動で切り替えられるとき、ユーザは切り替えに備えることができる。したがって、ユーザが乗り物酔いを起こす可能性が低減されてもよい。しかしながら、ビデオが自動的に切り替わると、ユーザはその切り替えに備えておらず、ユーザに乗り物酔いを経験させる可能性がある。例えば、ユーザAのビューポートが別のユーザBのビューポートに続くように自動的に切り替えられたとき。これが起こると、ユーザAの眼は、ユーザBのビューポート内の動きを、ユーザAの内耳および／または眼によって受信された情報と一致させることができない。
いくつかの実施形態では、ユーザAが別のユーザBのビューポートをフォローしているとき、ユーザAのFoVは、乗り物酔いの影響を鎮静化し、ユーザAにより多くの視覚的快適さを提供するために縮小される。FoVは、フォローされているユーザのFoVのHMD速度／ダイナミシティ(dynamicity)の関数として定義されてもよい。したがって、ユーザAのFoVはそれに応じて調整されて、ユーザAが別のユーザBのビューポートをフォローすることによる乗り物酔いの影響を効果的に低減することができる。例えば、（ユーザAによってフォローされている）ユーザBのFoVのHMD速度／ダイナミシティが大きくなると、ユーザAのFoVが縮小されてもよい。同じまたは別の例示的な実施形態では、（ユーザAによってフォローされている）ユーザBのFoVのHMD速度／ダイナミシティが小さくなると、ユーザAのFoVが拡大されてもよい。
図5は、別のユーザBをフォローするユーザAのFoVの変化を示し、別のユーザBのFoVのHMD速度／ダイナミシティが増大している。
図5に示されたように、フォローされているユーザBのFoVのHMD速度／ダイナミシティのレベルを変化させた画像（50a、50b、50c）が示されている。画像（50a、50b、50c）の各々は、高解像度部分（501、503、505）および低解像度部分（502、504、506）を含む。それぞれの画像（50a、50b、50c）の高解像度部分（501、503、505）および低解像度部分（502、504、506）は、ユーザBのFoVのHMD速度／ダイナミシティに基づく。図5によれば、画像50aにおけるFoVのHMD速度／ダイナミシティは、画像50bにおけるFoVのHMD速度／ダイナミシティよりも小さく、画像50bにおけるFoVのHMD速度／ダイナミシティは、画像50cにおけるFoVのHMD速度／ダイナミシティよりも小さい（すなわち、画像50aにおけるHMD速度＜50b＜50cである）。ユーザAのビューポートがユーザBのビューポートに変更されたときの乗り物酔いの影響を軽減するために、FoVのHMD速度／ダイナミシティの増大に従って画像（50a、50b、50c）の高解像度部分（501、503、505）を縮小することができる。したがって、画像50aの高解像度部分501は、画像50bの高解像度部分503よりも大きく、高解像度部分503は、画像50cの高解像度部分505よりも大きい（すなわち、高解像度部分501＞503＞505である）。画像の高解像度部分は、HMD速度／ダイナミシティが低下するにつれて増大する。同様に、画像の低解像度部分は、HMD速度／ダイナミシティが低下するにつれて縮小する。
同じまたは別の実施形態では、ユーザAのFoVが縮小されると、初期FoV（縮小なし）と縮小されたFoV（以下「FoVReduced」）との間の領域は、低解像度で送信されてもよい。例えば、図5の画像50aを参照すると、ユーザAのFoVが高解像度部分501に縮小されると、縮小されていない初期FoV（すなわち、画像50a）とFoVReduced（すなわち、高解像度部分501）との間の領域は、低解像度（すなわち、低解像度部分502）で送信されてもよい。
同じまたは別の実施形態では、ユーザAのFoVが縮小されると、FoVReducedのみが高解像度、低解像度、またはそれらの組合せでユーザAに送信されてもよい。
同じまたは別の実施形態では、縮小係数λが定義されてもよい。縮小係数λの値は、自分の視野を変更しているユーザ（例えば、自分のビューを別のユーザBのビューに変更しているユーザA）にとってより良好な視覚的快適性を保証することを意図したFoVReduced（例えば、高解像度部分501、503、および／または505）を取得するために、初期または元のFoVに適用されてもよい。FoVReducedと縮小係数λとの間の関係は、以下の式を使用して記載されてもよい。
FoVReduced＝λFoV／HMD速度 （1）
同じまたは別の実施形態では、縮小されたFoVの最小値（以下、「FoVMin」）は、没入度を妨げないようにユーザAに対して定義されてもよい。例えば、FoVを縮小しすぎると、ユーザの受容性に影響を及ぼし、ビデオの没入度を妨げることになる。したがって、以下に記載されるように、FoVMinはFoVReduced以下である。
FoVMin＜＝FoVReduced （2）
同じまたは別の実施形態では、縮小係数λは、1と（FoVMin／FoV）との間の値を有し、最端部間で線形に減少する重みを有してもよい。値が1の縮小係数λは、顧客が乗り物酔いしやすいことを意味する。縮小係数λの値は、ビューポートをフォローするユーザ（例えば、ユーザA）によって設定されてもよい。したがって、縮小係数λは、受信ユーザに自分のFoVの縮小を定義する制御を与える。
実施形態によれば、ユーザAは、ユーザBのFoVを受信する前に、縮小されたFoVが、例えば、必要なビットレートに関して最適な方式でユーザAに送信され得るように、そのデバイス能力の一部として縮小係数λおよびFoVminの値を送信者（ユーザB）に伝達する必要がある。これは、セッションの開始時またはセッションの間に、例えば、ユーザAによって必要とされるようにSDPを介して送信されてもよい。送信者（ユーザB）が縮小された高解像度FoVを送信することにより、帯域幅要件は、元のFoVを受信した後にFoVを縮小する受信ユーザと比較して低減されてもよい。
図6は、一実施形態による、第1のユーザがストリーミングセッション内で第2のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するための方法600のフローチャートである。
図6に示されたように、ステップS610において、方法600は、第1のユーザが自分のビューポートを第2のユーザのビューポートに変更するかどうかを判定することを含む。ステップS610において「いいえ」の場合、方法600はステップS610を繰り返す。ステップS610において「はい」の場合、方法600はステップS620に進む。
ステップS620において、方法600は、第2のユーザのFoVの速度に基づいて第1のユーザのFoVを決定する。第2のユーザのFoVの速度が変化すると、第1のユーザのFoVが決定および／または修正される。第2のユーザのFoVは、縮小も拡大もされていない元のFoVである。
ステップS630において、方法600は、第2のユーザのFoVの速度が増大しているかどうかを判定する。ステップS630において「はい」の場合、第1のユーザのFoVが縮小され（S640）、縮小されたFoVが第1のユーザに送信される（S670）。ステップS630において「いいえ」の場合、方法600はステップS620に戻る。
ステップS650において、方法600は、第2のユーザのFoVの速度が低下しているかどうかを判定する。ステップS650において「はい」の場合、第1のユーザのFoVが拡大され（S660）、拡大されたFoVが第1のユーザに送信される（S670）。ステップS650において「いいえ」の場合、方法600はステップS620に戻る。
図6は、方法の例示的なブロックを示すが、いくつかの実装形態では、方法は、図6に描写されたブロックよりもさらなるブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。追加または代替として、方法のブロックのうちの2つ以上が並行して実行されてもよい。
上述された没入型テレビ会議およびテレプレゼンスに対して乗り物酔いを鎮静化するための技法は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装することができ、1つまたは複数のコンピュータ可読媒体に物理的に記憶することができる。例えば、図7は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム700を示す。
コンピュータソフトウェアは、コンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）などにより、直接、または解釈、マイクロコード実行などを介して実行することができる命令を含むコードを作成するために、アセンブル、コンパイル、リンク、または同様のメカニズムを受けることができる任意の適切なマシンコードまたはコンピュータ言語を使用してコード化することができる。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそれらの構成要素上で実行することができる。
コンピュータシステム700について図7に示された構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲または機能に関するいかなる制限も示唆するものではない。構成要素の構成は、コンピュータシステム700の例示的な実施形態に示された構成要素のいずれか1つまたは組合せに関するいかなる依存関係または要件も有すると解釈されるべきでない。
コンピュータシステム700は、特定のヒューマンインターフェース入力デバイスを含んでもよい。そのようなヒューマンインターフェース入力デバイスは、例えば、（キーストローク、スワイプ、データグローブの動きなどの）触覚入力、（音声、拍手などの）オーディオ入力、（ジェスチャなどの）視覚入力、嗅覚入力を介して、1人または複数の人間のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスはまた、（音声、音楽、周囲の音などの）オーディオ、（スキャン画像、静止画カメラから取得された写真画像などの）画像、（2次元ビデオ、立体ビデオを含む3次元ビデオなどの）ビデオなどの、人間による意識的な入力に必ずしも直接関連しない特定の媒体を取り込むために使用することができる。
入力ヒューマンインターフェースデバイスには、キーボード701、トラックパッド702、マウス703、タッチスクリーン709、データグローブ、ジョイスティック704、マイクロフォン705、カメラ706、スキャナ707のうちの1つまたは複数が含まれてもよい（各々の1つのみが描写されている）。
コンピュータシステム700はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚を介して、1人または複数の人間のユーザの感覚を刺激している場合がある。そのようなヒューマンインターフェース出力デバイスには、触覚出力デバイス（例えば、タッチスクリーン709、データグローブ、またはジョイスティック704による触覚フィードバック、しかし入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、（スピーカ708、ヘッドフォンなどの）オーディオ出力デバイス、（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン709など、各々タッチスクリーン入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にかかわらず、それらのうちのいくつかは、ステレオグラフィック出力、仮想現実眼鏡、ホログラフィックディスプレイ、およびスモークタンクなどの手段を介して2次元視覚出力または3次元以上の出力を出力することが可能な場合がある）視覚出力デバイス、ならびにプリンタが含まれてもよい。
コンピュータシステム700はまた、CD／DVDまたは同様の媒体710を有するCD／DVD ROM／RW711を含む光学媒体、サムドライブ712、リムーバブルハードドライブまたはソリッドステートドライブ713、テープおよびフロッピーディスクなどのレガシー磁気媒体、セキュリティドングルなどの特殊なROM／ASIC／PLDベースのデバイスなどの、人間がアクセス可能なストレージデバイスおよびそれらに関連する媒体を含むことができる。
当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。
コンピュータシステム700はまた、1つまたは複数の通信ネットワーク714へのインターフェース715を含むことができる。ネットワーク714は、例えば、ワイヤレス、有線、光であり得る。ネットワーク714はさらに、ローカル、広域、メトロポリタン、車両および産業用、リアルタイム、遅延耐性などであり得る。ネットワーク714の例には、イーサネット、ワイヤレスLANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、および地上波ブロードキャストTVを含むTVの有線またはワイヤレスの広域デジタルネットワーク、CANBusを含む車両および産業用などが含まれる。特定のネットワーク714は、通常、（例えば、コンピュータシステム700のUSBポートなどの）特定の汎用データポートまたは周辺バス716に取り付けられた外部ネットワークインターフェースアダプタ（例えば、グラフィックスアダプタ725）を必要とし、他のネットワークは、通常、以下に記載されるシステムバスに取り付けることによってコンピュータシステム700のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワーク714のいずれかを使用して、コンピュータシステム700は他のエンティティと通信することができる。そのような通信は、単方向受信のみ（例えば、ブロードキャストTV）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または、例えば、ローカルもしくは広域のデジタルネットワークを使用する他のコンピュータシステムとの双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上述されたそれらのネットワークおよびネットワークインターフェースの各々で使用することができる。
前述のヒューマンインターフェースデバイス、人間がアクセス可能なストレージデバイス、およびネットワークインターフェースは、コンピュータシステム700のコア717に取り付けることができる。
コア717は、1つまたは複数の中央処理装置（CPU）718、グラフィックス処理装置（GPU）719、フィールドプログラマブルゲートエリア（FPGA）720の形態の特殊なプログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ721などを含むことができる。これらのデバイスは、読取り専用メモリ（ROM）723、ランダムアクセスメモリ（RAM）724、内部のユーザがアクセスできないハードドライブ、SSDなどの内部の大容量ストレージ722とともに、システムバス726を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス726は、追加のCPU、GPUなどによる拡張を可能にするために、1つまたは複数の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、コアのシステムバス726に直接取り付けるか、または周辺バス716を介して取り付けることができる。周辺バス用のアーキテクチャには、PCI、USBなどが含まれる。
CPU718、GPU719、FPGA720、およびアクセラレータ721は、組み合わせて前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM723またはRAM724に記憶することができる。暫定データもRAM724に記憶することができるが、永続データは、例えば、内部の大容量ストレージ722に記憶することができる。メモリデバイスのいずれかに対する高速の記憶および検索は、1つまたは複数のCPU718、GPU719、大容量ストレージ722、ROM723、RAM724などと密接に関連付けることができるキャッシュメモリを使用して可能にすることができる。
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードをそこに有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術のスキルを有する人々に周知かつ利用可能な種類であり得る。
一例として、かつ限定としてではなく、アーキテクチャを有するコンピュータシステム700、具体的にはコア717は、1つまたは複数の有形のコンピュータ可読媒体内に具現化されたソフトウェアを（CPU、GPU、FPGA、アクセラレータなどを含む）プロセッサが実行する結果として、機能を実現することができる。そのようなコンピュータ可読媒体は、上記で紹介されたユーザアクセス可能な大容量ストレージ、ならびにコア内部の大容量ストレージ722またはROM723などの非一時的な性質のコア717の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア717によって実行することができる。コンピュータ可読媒体は、特定のニーズに応じて、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア717、および具体的にはその中の（CPU、GPU、FPGAなどを含む）プロセッサに、RAM724に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。追加または代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、またはソフトウェアと一緒に動作することができる回路（例えば、アクセラレータ721）内に配線された、またはさもなければ具現化されたロジックの結果として、機能を実現することができる。必要に応じて、ソフトウェアへの参照はロジックを包含することができ、その逆も同様である。必要に応じて、コンピュータ可読媒体への参照は、実行のためにソフトウェアを記憶する（集積回路（IC）などの）回路、実行のためにロジックを具現化する回路、または両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。
本開示はいくつかの例示的な実施形態を記載しているが、本開示の範囲内にある変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書に明示的に図示または記載されていないが、本開示の原理を具現化し、したがって、その趣旨および範囲内にある多数のシステムおよび方法を考案できることが諒解されよう。
2a01 会議室
2a02 会議室
2a03 会議室
2a04 会議室
2a06 ユーザB
2a07 ユーザC
2b01 会議室
2b02 会議室
2b03 会議室
2b04 会議室
2b05 MRF／MCU
2b06 ユーザ
2b07 ユーザ
50a 画像
50b 画像
50c 画像
101 部屋A
102 ユーザB
103 ユーザC
104 全方位／360度カメラ
300 通信システム
301 端末
302 端末
303 端末
304 端末
305 ネットワーク
401 ビデオソース
402 参加者
403 会議室
404 ストリーミングサーバ
405 ストリーミングクライアント
406 ストリーミングクライアント
407a FoV構成要素
407b FoV構成要素
408 ディスプレイ
501 高解像度部分
502 低解像度部分
503 高解像度部分
504 低解像度部分
505 高解像度部分
506 低解像度部分
600 方法
700 コンピュータシステム
701 キーボード
702 トラックパッド
703 マウス
704 ジョイスティック
705 マイクロフォン
706 カメラ
707 スキャナ
708 スピーカ
709 タッチスクリーン
710 CD／DVDまたは同様の媒体
711 CD／DVD ROM／RW
712 サムドライブ
713 リムーバブルハードドライブまたはソリッドステートドライブ
714 通信ネットワーク
715 ネットワークインターフェース
716 汎用データポートまたは周辺バス
717 コア
718 中央処理装置（CPU）
719 グラフィックス処理装置（GPU）
720 フィールドプログラマブルゲートエリア（FPGA）
721 ハードウェアアクセラレータ
722 大容量ストレージ
723 読取り専用メモリ（ROM）
724 ランダムアクセスメモリ（RAM）
725 グラフィックスアダプタ
726 システムバス

Claims (20)

  1. 第1のユーザがストリーミングセッション内で第2のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するための方法であって、前記方法が、
    前記第2のユーザの第2の視野（FoV）の速度に基づいて第1のFoVを決定するステップであって、前記第2のユーザの前記FoVが縮小なしの元のFoVである、ステップと、
    （1）増大する前記第2のユーザの前記第2のFoVの前記速度に基づいて前記第1のFoVを縮小すること、および
    （2）低下する前記第2のユーザの前記第2のFoVの前記速度に基づいて前記第1のFoVを拡大すること
    のうちの少なくとも1つによって修正された第1のFoVを生成するステップと、
    前記修正された第1のFoVを前記第1のユーザに送信し、前記修正された第1のFoVを新しいビューポートとして前記第1のユーザに提示するステップと
    を含む、方法。
  2. 前記第2のユーザの前記第2のFoVの前記速度を、前記第2のユーザによって装着されたヘッドマウントディスプレイの速度または前記第2のユーザによって操作されるハンドヘルドデバイスの前記速度であると判断するステップをさらに含む、請求項1に記載の方法。
  3. 前記第1のユーザの前記第1のFoVが縮小されることに基づいて、前記第2のユーザの前記第2のFoVと前記第1のユーザの前記修正された第1のFoVとの間の領域を低解像度で送信するステップをさらに含む、請求項1に記載の方法。
  4. 前記第2のユーザの前記第2のFoVに縮小係数を適用することにより、前記第1のユーザの前記第1のFoVを決定するステップをさらに含む、請求項1に記載の方法。
  5. セッション記述プロトコル（SDP）を介して前記第2のユーザに前記縮小係数を送信するステップをさらに含み、
    前記縮小係数が前記第1のユーザによって定義される、
    請求項4に記載の方法。
  6. 前記縮小係数が、前記ストリーミングセッションの開始時または前記ストリーミングセッションの間に前記第2のユーザに送信される、請求項5に記載の方法。
  7. セッション記述プロトコル（SDP）を介して前記第2のユーザに最小FoVを送信するステップをさらに含み、
    前記最小FoVが前記第1のユーザによって定義され、前記第1のユーザの前記FoVが前記最小FoVよりも小さくない、
    請求項1に記載の方法。
  8. 前記最小FoVが、前記ストリーミングセッションの開始時または前記ストリーミングセッションの間に前記第2のユーザに送信される、請求項7に記載の方法。
  9. 第1のユーザがストリーミングセッション内で第2のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するためのデバイスであって、前記デバイスが、
    プログラムコードを記憶するように構成された少なくとも1つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードによって指示されたように動作するように構成された少なくとも1つのプロセッサと
    を備え、前記プログラムコードが、
    前記第2のユーザの第2の視野（FoV）の速度に基づいて第1のFoVを前記少なくとも1つのプロセッサに決定させるように構成された決定コードであって、前記第2のユーザの前記第2のFoVが縮小なしの元のFoVである、決定コードと、
    （1）増大する前記第2のユーザの前記第2のFoVの前記速度に基づいて前記第1のFoVを縮小すること、および（2）低下する前記第2のユーザの前記第2のFoVの前記速度に基づいて前記第1のFoVを拡大することのうちの少なくとも1つによって修正された第1のFoVを前記少なくとも1つのプロセッサに生成させるように構成された修正コードと、
    前記修正された第1のFoVを前記第1のユーザに送信し、前記修正された第1のFoVを新しいビューポートとして前記第1のユーザに提示することを前記少なくとも1つのプロセッサに行わせるように構成された送信コードと
    を備える、デバイス。
  10. 前記決定コードが、前記第2のユーザの前記第2のFoVの前記速度を、前記第2のユーザによって装着されたヘッドマウントディスプレイの速度または前記第2のユーザによって操作されるハンドヘルドデバイスの前記速度であると前記少なくとも1つのプロセッサに判断させるようにさらに構成される、請求項9に記載のデバイス。
  11. 前記送信コードが、前記第1のユーザの前記第1のFoVが縮小されることに基づいて、前記第2のユーザの前記第2のFoVと前記第1のユーザの前記修正された第1のFoVとの間の領域を低解像度で前記少なくとも1つのプロセッサに送信させるようにさらに構成される、請求項9に記載のデバイス。
  12. 前記決定コードが、前記第2のユーザの前記第2のFoVに縮小係数を適用することにより、前記第1のユーザの前記第1のFoVを前記少なくとも1つのプロセッサに決定させるようにさらに構成される、請求項9に記載のデバイス。
  13. 前記送信コードが、前記ストリーミングセッションの開始時または前記ストリーミングセッションの間に、セッション記述プロトコル（SDP）を介して前記縮小係数を前記第2のユーザに送信することを前記少なくとも1つのプロセッサに行わせるようにさらに構成され、
    前記縮小係数が前記第1のユーザによって定義される、
    請求項12に記載のデバイス。
  14. 前記送信コードが、前記ストリーミングセッションの開始時または前記ストリーミングセッションの間に、セッション記述プロトコル（SDP）を介して最小FoVを前記第2のユーザに送信することを前記少なくとも1つのプロセッサに行わせるようにさらに構成され、
    前記最小FoVが前記第1のユーザによって定義され、前記第1のFoVが前記最小FoVよりも小さくない、
    請求項9に記載のデバイス。
  15. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、第1のユーザがストリーミングセッション内で第2のユーザのビューポートをフォローしているときに乗り物酔いを鎮静化するためのデバイスの少なくとも1つのプロセッサによって実行されると、
    前記第2のユーザの第2の視野（FoV）の速度に基づいて第1のFoVを決定することであって、前記第2のユーザの前記FoVが縮小なしの元のFoVである、決定することと、
    （1）増大する前記第2のユーザの前記第2のFoVの前記速度に基づいて前記第1のFoVを縮小すること、および（2）低下する前記第2のユーザの前記第2のFoVの前記速度に基づいて前記第1のFoVを拡大することのうちの少なくとも1つによって修正された第1のFoVを生成することと、
    前記修正された第1のFoVを前記第1のユーザに送信し、前記修正された第1のFoVを新しいビューポートとして前記第1のユーザに提示することと
    を前記少なくとも1つのプロセッサに行わせる1つまたは複数の命令を含む、非一時的コンピュータ可読媒体。
  16. 前記命令が、前記少なくとも1つのプロセッサによって実行されると、前記第2のユーザの前記第2のFoVの前記速度を、前記第2のユーザによって装着されたヘッドマウントディスプレイの速度または前記第2のユーザによって操作されるハンドヘルドデバイスの前記速度であると前記少なくとも1つのプロセッサにさらに判断させる、請求項15に記載の非一時的コンピュータ可読媒体。
  17. 前記命令が、前記少なくとも1つのプロセッサによって実行されると、前記第1のユーザの前記第1のFoVが縮小されることに基づいて、前記第2のユーザの前記第2のFoVと前記修正された第1のFoVとの間の領域を低解像度で前記少なくとも1つのプロセッサにさらに送信させる、請求項15に記載の非一時的コンピュータ可読媒体。
  18. 前記命令が、前記少なくとも1つのプロセッサによって実行されると、前記第2のユーザの前記第2のFoVに縮小係数を適用することにより、前記第1のユーザの前記第1のFoVを前記少なくとも1つのプロセッサにさらに決定させる、請求項15に記載の非一時的コンピュータ可読媒体。
  19. 前記命令が、前記少なくとも1つのプロセッサによって実行されると、前記ストリーミングセッションの開始時または前記ストリーミングセッションの間に、セッション記述プロトコル（SDP）を介して前記縮小係数を前記第2のユーザに送信することを前記少なくとも1つのプロセッサにさらに行わせ、
    前記縮小係数が前記第1のユーザによって定義される、
    請求項18に記載の非一時的コンピュータ可読媒体。
  20. 前記命令が、前記少なくとも1つのプロセッサによって実行されると、前記ストリーミングセッションの開始時または前記ストリーミングセッションの間に、セッション記述プロトコル（SDP）を介して最小FoVを前記第2のユーザに送信することを前記少なくとも1つのプロセッサにさらに行わせ、
    前記最小FoVが前記第1のユーザによって定義され、前記第1のFoVが前記最小FoVよりも小さくない、
    請求項15に記載の非一時的コンピュータ可読媒体。
JP2022566708A 2021-03-29 2022-03-24 リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時の乗り物酔いを鎮静化するための方法、装置、およびコンピュータプログラム Pending JP2023523847A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163167304P 2021-03-29 2021-03-29
US63/167,304 2021-03-29
US17/698,082 US20220308341A1 (en) 2021-03-29 2022-03-18 Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals
US17/698,082 2022-03-18
PCT/US2022/021675 WO2022212157A1 (en) 2021-03-29 2022-03-24 Techniques for subsiding motion sickness when viewport sharing in teleconferencing and telepresence for remote terminals

Publications (1)

Publication Number Publication Date
JP2023523847A true JP2023523847A (ja) 2023-06-07

Family

ID=83363531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022566708A Pending JP2023523847A (ja) 2021-03-29 2022-03-24 リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時の乗り物酔いを鎮静化するための方法、装置、およびコンピュータプログラム

Country Status (6)

Country Link
US (1) US20220308341A1 (ja)
EP (1) EP4100820A4 (ja)
JP (1) JP2023523847A (ja)
KR (1) KR20220157436A (ja)
CN (1) CN115552358A (ja)
WO (1) WO2022212157A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US9489044B2 (en) * 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
US11258999B2 (en) * 2017-05-18 2022-02-22 Samsung Electronics Co., Ltd. Method and device for reducing motion sickness when providing 360-degree video
US10803642B2 (en) 2017-08-18 2020-10-13 Adobe Inc. Collaborative virtual reality anti-nausea and video streaming techniques
KR101951406B1 (ko) 2017-10-11 2019-02-22 한양대학교 산학협력단 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
CN110384921B (zh) 2018-04-23 2023-03-28 北京五一视界数字孪生科技股份有限公司 一种基于自适应边缘视野遮挡的vr应用防眩晕技术
US11557105B2 (en) * 2020-09-16 2023-01-17 Concordia University Managing real world and virtual motion

Also Published As

Publication number Publication date
CN115552358A (zh) 2022-12-30
US20220308341A1 (en) 2022-09-29
KR20220157436A (ko) 2022-11-29
WO2022212157A1 (en) 2022-10-06
EP4100820A4 (en) 2023-07-12
EP4100820A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US11662975B2 (en) Method and apparatus for teleconference
JP7411791B2 (ja) リモート端末の没入型遠隔会議及びテレプレセンスのためのオーバーレイ処理のパラメータ
JP7508586B2 (ja) 没入型テレカンファレンスおよびテレプレゼンスのためのマルチグルーピングの方法、装置、およびコンピュータプログラム
US20220311814A1 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals
JP2023523847A (ja) リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時の乗り物酔いを鎮静化するための方法、装置、およびコンピュータプログラム
JP7399549B2 (ja) リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法
JP7518195B2 (ja) テレコンファレンス及びリモートターミナル用のテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術
JP7505029B2 (ja) 適応オーディオ配信およびレンダリング
JP7419529B2 (ja) 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理
JP2024512904A (ja) Ｒｔｃｐフィードバックを使用したリモート端末のためのテレコンファレンス及びリモートターミナルのためのテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507