JP2023516045A - 調節/修正されたビデオを伴うビデオ会議を提供する方法および関係するビデオ会議ノード - Google Patents

調節/修正されたビデオを伴うビデオ会議を提供する方法および関係するビデオ会議ノード Download PDF

Info

Publication number
JP2023516045A
JP2023516045A JP2022552412A JP2022552412A JP2023516045A JP 2023516045 A JP2023516045 A JP 2023516045A JP 2022552412 A JP2022552412 A JP 2022552412A JP 2022552412 A JP2022552412 A JP 2022552412A JP 2023516045 A JP2023516045 A JP 2023516045A
Authority
JP
Japan
Prior art keywords
video
participant
glasses
camera
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022552412A
Other languages
English (en)
Inventor
エッサイリ, アリ エル
イエルク クリスティアン エーヴェルト,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2023516045A publication Critical patent/JP2023516045A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

第1の前向きグラスカメラをもつ第1の拡張現実(AR)グラス(A1)を使用するおよび第1の会議カメラ(C1)を使用する第1の参加者(P1)と、第2の前向きグラスカメラをもつ第2のARグラス(A2)を使用するおよび第2の会議カメラ(C2)を使用する第2の参加者(P2)との間のビデオ会議が提供され得る。第2の参加者(P2)のビデオが、第2の会議カメラ(C2)から受信され得る。ビデオが、第1のARグラス(A1)の第1の前向きグラスカメラから受信され得る。第2の参加者(P2)のビデオは、調節されたビデオを提供するために、第1の前向きグラスカメラからのビデオに基づいて調節され得る。調節されたビデオは、第1の参加者(P1)のための第1のARグラス(A1)によってレンダリングされるように提供され得る。【選択図】図8

Description

本開示は、一般に会議に関し、より詳細には、ビデオ会議方法ならびにビデオ会議をサポートする関係するデバイスおよびノードに関する。
ビデオ会議(たとえば、Skype)は、個人および企業が任意の時間および/または場所において仮想的に通信するためのやり方を提供する。拡張現実(AR)会議は、参加者が現実世界上のオーバーレイされた環境において通信することを可能にする。ビデオ会議と比較して、AR会議は、向上したおよび没入型オーディオビジュアルユーザ体感を提供する。ARデバイスは、複合現実(MR)スタンドアロンヘッドセット(たとえば、Magic Leap、Microsoft HoloLens)と、モバイルフォンにテザリングされたARグラス(たとえば、NReal)と、モバイルARフォンおよびタブレットとに分類され得る。AR市場は、今後何年かで急速に成長することが予想される。
現在のARデバイス技術の概観が図1に示されている。HoloLensヘッドセットでは、ヘッドセットとローカルコンピューティングデバイスCDとの間の有線接続が提供され、ローカルコンピューティングデバイスは、(たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはセルラ通信ネットワークを介した)クラウドベース会議アプリケーションサーバとの無線(たとえば、WiFi)または有線接続を提供し得る。その上、HoloLensヘッドセットは、29度の水平視野および17度の垂直視野とともに、60フレーム毎秒(fps)における1268×720ピクセルの解像度を提供し得る。
Magicleapヘッドセットでは、ヘッドセットとローカルコンピューティングデバイスCDとの間の有線接続が提供され、ローカルコンピューティングデバイスは、(たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはセルラ通信ネットワークを介した)クラウドベース会議アプリケーションサーバとの無線(たとえば、WiFi)または有線接続を提供し得る。その上、Magicleapヘッドセットは、40度の水平視野および30度の垂直視野とともに、60フレーム毎秒(fps)における1280×960ピクセルの解像度を提供し得る。
Vuzixグラスでは、(たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはセルラ通信ネットワークを介した)スマートグラスとクラウドベース会議アプリケーションサーバとの間の無線(たとえば、WiFi)および/または有線接続が提供され得る。その上、Vuzixグラスは、19度の水平視野および28度の垂直視野とともに、480×853ピクセルの解像度を提供し得る。
NRealグラスでは、グラスとモバイルスマートフォンSPとの間の有線接続が提供され、モバイルスマートフォンSPは、(たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはセルラ通信ネットワークを介した)クラウドベース会議アプリケーションサーバとの無線(たとえば、5G)または有線接続を提供し得る。その上、NRealグラスは、50度の水平視野および30度の垂直視野とともに、1920×1080の解像度を提供し得る。
概して、一対のARグラスにおける各レンズは、各眼のためにビデオをレンダリングするように設定されたディスプレイを提供し得る。ビデオ会議のために使用されるとき、ARグラスとビデオ会議アプリケーションサーバとの間の有線および/または無線接続が提供され得る。したがって、ビデオ会議におけるリモート参加者からのビデオは、ビデオ会議アプリケーションサーバを介してARグラスにおいて受信され、ARグラスのレンズ上でレンダリングされ得る。概して、ビデオ会議におけるリモート参加者からのビデオは、ARグラス上で受信され、レンダリングされるか、あるいは、ARグラスにテザリングされたネットワークノードまたはモバイルフォン上で受信され、レンダリングされ得る。
XR(エクステンデッドリアリティ)は、AR、MR、およびVR(仮想現実)のために広く使用される。XR会議は、中国出願CN108076307A(参考文献[1]とも呼ばれる)において考慮されており、各参加者の深度情報が、人体輪郭概要図と実際の参加者シーンロケーションとを抽出するために使用される。米国特許第9,524,588号(参考文献[2]とも呼ばれる)では、リモート参加者からの受信されたビデオは、リモート参加者の位置を決定することと、ヘッドマウントディスプレイ(HMD)のビューを決定することとを行うために使用される。米国特許第9,712,751号(参考文献[3]とも呼ばれる)では、単一のモバイルデバイスを考慮し、複数の参加者をもつXR会議シナリオを含めずに、視野に基づいて、画像スケーリングが実施される。
しかしながら、リモート会議アプリケーションでは、直接の(in person)ミーティングの知覚を提供することが困難であり得る。
発明概念のいくつかの実施形態によれば、方法が、第1の前向きグラスカメラをもつ第1の拡張現実ARグラスを使用するおよび第1の会議カメラを使用する第1の参加者(P1)と、第2の前向きグラスカメラをもつ第2のARグラスを使用するおよび第2の会議カメラを使用する第2の参加者との間のビデオ会議を提供する。第2の参加者のビデオが、第2の会議カメラから受信される。ビデオが、第1のARグラスの第1の前向きグラスカメラから受信される。第2の参加者のビデオは、調節されたビデオを提供するために、第1の前向きグラスカメラからのビデオに基づいて調節される。調節されたビデオは、第1の参加者のための第1のARグラスによってレンダリングされるように提供される。
発明概念のいくつかの実施形態によれば、方法が、第1の前向きグラスカメラをもつ第1の拡張現実ARグラスを使用するおよび第1の会議カメラを使用する第1の参加者と、第2の前向きグラスカメラをもつ第2のARグラスを使用するおよび第2の会議カメラを使用する第2の参加者との間のビデオ会議を提供する。第2の参加者のビデオが、第2の会議カメラから受信される。第2の参加者のビデオは、調節されたビデオを提供するために、第1の参加者と第2の参加者との間のターゲット知覚距離を提供するために第2の参加者のビデオをスケーリングすることによって、調節される。調節されたビデオは、第1の参加者のための第1のARグラスによってレンダリングされるように提供される。
発明概念のいくつかの実施形態によれば、方法が、第1の拡張現実ARグラスを使用するおよび第1の会議カメラを使用する第1の参加者と、第2のARグラスを使用するおよび第2の会議カメラを使用する第2の参加者との間のビデオ会議を提供する。メモリにおける第1のARグラスなしの第1の参加者の画像が提供され、第1の参加者の画像は、第1のARグラスなしの第1の参加者の頭部の異なる配向で提供される。第1の会議カメラから、第1のARグラスを装着している第1の参加者の予備会議ビデオが受信される。第1の参加者の予備会議ビデオは、第1のARグラスなしの第1の参加者の修正された会議ビデオを提供するために、第1の参加者の画像に基づいて修正される。第1のARグラスなしの第1の参加者の修正された会議ビデオは、第2の参加者のための第2のARグラスによってレンダリングされるように提供される。
発明概念のいくつかの実施形態によれば、ビデオ会議のために、アイコンタクトおよび/または適切な社会的距離の知覚が提供され得る。
本開示のさらなる理解を提供するために含まれ、本出願に組み込まれ、本出願の一部をなす、添付の図面は、発明概念のいくつかの非限定的な実施形態を示す。
ARデバイスの概観を提供する図である。 通常の会話におけるアイコンタクト、およびビデオ会議におけるアイコンタクトの欠如を示す写真である。 発明概念のいくつかの実施形態による、AR会議についてのモデルを示す図である。 発明概念のいくつかの実施形態による、ビデオ会議におけるスケーリングおよびアイコンタクトを示す図である。 発明概念のいくつかの実施形態による、直接の会話におけるアイコンタクトおよび適切な社会的距離、ビデオ会議におけるアイコンタクトの欠如、ならびにARビデオ会議におけるアイコンタクトを示す図である。 発明概念のいくつかの実施形態による、眼位置の検出を示す写真である。 発明概念のいくつかの実施形態による、ビデオ会議において使用されるARグラスについてのビデオ調節を示す図である。 発明概念のいくつかの実施形態による、ARビデオ会議システムを示す図である。 発明概念のいくつかの実施形態による、ビデオ会議動作を示すフローチャートである。 発明概念のいくつかの実施形態による、無線デバイスUEを示すブロック図である。 発明概念のいくつかの実施形態による、無線アクセスネットワークRANノード(たとえば、基地局eNB/gNB)を示すブロック図である。 発明概念のいくつかの実施形態による、コアネットワークCNノード(たとえば、AMFノード、SMFノードなど)を示すブロック図である。 発明概念のいくつかの実施形態による、ビデオ会議ノードを示すブロック図である。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 いくつかの実施形態による、無線ネットワークのブロック図である。 いくつかの実施形態による、ユーザ機器のブロック図である。 いくつかの実施形態による、仮想化環境のブロック図である。 いくつかの実施形態による、中間ネットワークを介してホストコンピュータに接続された通信ネットワークのブロック図である。 いくつかの実施形態による、部分的無線接続上で基地局を介してユーザ機器と通信するホストコンピュータのブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。
次に、発明概念の実施形態の例が示されている添付の図面を参照しながら、発明概念が以下でより十分に説明される。しかしながら、発明概念は、多くの異なる形態で具現され得、本明細書に記載される実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明概念の範囲を当業者に十分に伝達するように提供される。これらの実施形態は相互排他的でないことにも留意されたい。一実施形態からの構成要素が、別の実施形態において存在する/使用されると暗に仮定され得る。
以下の説明は、開示される主題の様々な実施形態を提示する。これらの実施形態は、教示例として提示され、開示される主題の範囲を限定するものと解釈されるべきではない。たとえば、説明される実施形態のいくらかの詳細は、説明される主題の範囲から逸脱することなく、修正、省略、または拡大され得る。
図10は、発明概念の実施形態による、無線通信を提供するように設定された(モバイル端末、モバイル通信端末、無線デバイス、無線通信デバイス、無線端末、モバイルデバイス、無線通信端末、ユーザ機器(UE)、ユーザ機器ノード/端末/デバイスなどとも呼ばれる)通信デバイスUE300のエレメントを示すブロック図である。(通信デバイス300は、たとえば、図15の無線デバイス4110に関して以下で説明されるように、提供され得る。)示されているように、通信デバイスUEは、(たとえば、図15のアンテナ4111に対応する)アンテナ307と、無線アクセスネットワークの(たとえば、RANノードとも呼ばれる、図15のネットワークノード4160に対応する)(1つまたは複数の)基地局とのアップリンク無線通信およびダウンリンク無線通信を提供するように設定された送信機および受信機を含む(たとえば、図15のインターフェース4114に対応する、トランシーバとも呼ばれる)トランシーバ回路301とを含み得る。通信デバイスUEは、トランシーバ回路に接続された(たとえば、図15の処理回路4120に対応する、プロセッサとも呼ばれる)処理回路303と、処理回路に接続された(たとえば、図15のデバイス可読媒体4130に対応する、メモリとも呼ばれる)メモリ回路305とをも含み得る。メモリ回路305は、処理回路303によって実行されたとき、処理回路に、本明細書で開示される実施形態による動作を実施させる、コンピュータ可読プログラムコードを含み得る。他の実施形態によれば、処理回路303は、別個のメモリ回路が必要とされないようなメモリを含むように規定され得る。通信デバイスUEは、処理回路303に接続された(ユーザインターフェースなどの)インターフェースをも含み得、および/または通信デバイスUEは車両に組み込まれ得る。
本明細書で説明されるように、通信デバイスUEの動作は、処理回路303および/またはトランシーバ回路301によって実施され得る。たとえば、処理回路303は、(基地局とも呼ばれる)無線アクセスネットワークノードに無線インターフェース上でトランシーバ回路301を通して通信を送信し、および/またはRANノードから無線インターフェース上でトランシーバ回路301を通して通信を受信するように、トランシーバ回路301を制御し得る。その上、モジュールがメモリ回路305に記憶され得、これらのモジュールは、モジュールの命令が処理回路303によって実行されたとき、処理回路303がそれぞれの動作(たとえば、無線通信デバイスに関して以下で説明される動作)を実施するような命令を提供し得る。
図11は、発明概念の実施形態による、セルラ通信を提供するように設定された無線アクセスネットワーク(RAN)の(ネットワークノード、基地局、eノードB/eNB、gノードB/gNBなどとも呼ばれる)無線アクセスネットワークRANノード400のエレメントを示すブロック図である。(RANノード400は、たとえば、図15のネットワークノード4160に関して以下で説明されるように、提供され得る。)示されているように、RANノードは、モバイル端末とのアップリンク無線通信およびダウンリンク無線通信を提供するように設定された送信機および受信機を含む(たとえば、図15のインターフェース4190の部分に対応する、トランシーバとも呼ばれる)トランシーバ回路401を含み得る。RANノードは、RANおよび/またはコアネットワークCNの他のノードとの(たとえば、他の基地局との)通信を提供するように設定された(たとえば、図15のインターフェース4190の部分に対応する、ネットワークインターフェースとも呼ばれる)ネットワークインターフェース回路407を含み得る。ネットワークノードは、トランシーバ回路に接続された(たとえば、処理回路4170に対応する、プロセッサとも呼ばれる)処理回路403と、処理回路に接続された(たとえば、図15のデバイス可読媒体4180に対応する、メモリとも呼ばれる)メモリ回路405とをも含み得る。メモリ回路405は、処理回路403によって実行されたとき、処理回路に、本明細書で開示される実施形態による動作を実施させる、コンピュータ可読プログラムコードを含み得る。他の実施形態によれば、処理回路403は、別個のメモリ回路が必要とされないようなメモリを含むように規定され得る。
本明細書で説明されるように、RANノードの動作は、処理回路403、ネットワークインターフェース407、および/またはトランシーバ401によって実施され得る。たとえば、処理回路403は、1つまたは複数のモバイル端末UEに、無線インターフェース上でトランシーバ401を通してダウンリンク通信を送信し、および/または無線インターフェース上で1つまたは複数のモバイル端末UEからトランシーバ401を通してアップリンク通信を受信するように、トランシーバ401を制御し得る。同様に、処理回路403は、1つまたは複数の他のネットワークノードに、ネットワークインターフェース407を通して通信を送信し、および/またはネットワークインターフェースを通して1つまたは複数の他のネットワークノードから通信を受信するように、ネットワークインターフェース407を制御し得る。その上、モジュールがメモリ405に記憶され得、これらのモジュールは、モジュールの命令が処理回路403によって実行されたとき、処理回路403がそれぞれの動作(たとえば、RANノードに関して以下で説明される動作)を実施するような命令を提供し得る。
いくつかの他の実施形態によれば、ネットワークノードは、トランシーバがないコアネットワークCNノードとして実装され得る。そのような実施形態では、無線通信デバイスUEへの送信は、無線通信デバイスUEへの送信が、トランシーバを含むネットワークノードを通して(たとえば、基地局またはRANノードを通して)提供されるように、ネットワークノードによって始動され得る。ネットワークノードが、トランシーバを含むRANノードである実施形態によれば、送信を始動することは、トランシーバを通して送信することを含み得る。
図12は、発明概念の実施形態による、セルラ通信を提供するように設定された通信ネットワークのコアネットワークCNノード(たとえば、SMFノード、AMFノードなど)のエレメントを示すブロック図である。示されているように、CNノードは、コアネットワークおよび/または無線アクセスネットワークRANの他のノードとの通信を提供するように設定された(ネットワークインターフェースとも呼ばれる)ネットワークインターフェース回路507を含み得る。CNノードは、ネットワークインターフェース回路に接続された(プロセッサとも呼ばれる)処理回路503と、処理回路に接続された(メモリとも呼ばれる)メモリ回路505とをも含み得る。メモリ回路505は、処理回路503によって実行されたとき、処理回路に、本明細書で開示される実施形態による動作を実施させる、コンピュータ可読プログラムコードを含み得る。他の実施形態によれば、処理回路503は、別個のメモリ回路が必要とされないようなメモリを含むように規定され得る。
本明細書で説明されるように、CNノードの動作は、処理回路503および/またはネットワークインターフェース回路507によって実施され得る。たとえば、処理回路503は、1つまたは複数の他のネットワークノードにネットワークインターフェース回路507を通して通信を送信し、および/または1つまたは複数の他のネットワークノードからネットワークインターフェース回路を通して通信を受信するように、ネットワークインターフェース回路507を制御し得る。その上、モジュールがメモリ505に記憶され得、これらのモジュールは、モジュールの命令が処理回路503によって実行されたとき、処理回路503がそれぞれの動作(たとえば、コアネットワークノードに関して以下で説明される動作)を実施するような命令を提供し得る。
図13は、発明概念の実施形態による、ビデオ会議を提供するように設定されたビデオ会議ノードのエレメントを示すブロック図である。示されているように、ビデオ会議ノードは、たとえば、無線モバイル/セルラ通信システム/ネットワーク(たとえば、第3世代パートナーシッププロジェクト3GPP通信システム/ネットワーク)のコアネットワークおよび/または無線アクセスネットワークRANのノードとの通信を提供するように設定された、(ネットワークインターフェースとも呼ばれる)ネットワークインターフェース回路607を含み得る。ビデオ会議ノードは、ネットワークインターフェース回路に接続された(プロセッサとも呼ばれる)処理回路603と、処理回路に接続された(メモリとも呼ばれる)メモリ回路605とをも含み得る。メモリ回路605は、処理回路603によって実行されたとき、処理回路に、本明細書で開示される実施形態による動作を実施させる、コンピュータ可読プログラムコードを含み得る。他の実施形態によれば、処理回路603は、別個のメモリ回路が必要とされないようなメモリを含むように規定され得る。
本明細書で説明されるように、ビデオ会議ノードの動作は、処理回路603および/またはネットワークインターフェース回路607によって実施され得る。たとえば、処理回路603は、1つまたは複数の他のネットワークノードにネットワークインターフェース回路607を通して通信を送信し、および/または1つまたは複数の他のネットワークノードからネットワークインターフェース回路を通して通信を受信するように、ネットワークインターフェース回路607を制御し得る。その上、モジュールがメモリ605に記憶され得、これらのモジュールは、モジュールの命令が処理回路603によって実行されたとき、処理回路603がそれぞれの動作(たとえば、ビデオ会議ノードに関係する例示的な実施形態に関して以下で説明される動作)を実施するような命令を提供し得る。
発明概念のいくつかの実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信ネットワーク/システム内のノードとして提供され得る。発明概念のいくつかの他の実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信ネットワーク/システム外の、および無線モバイル/セルラ通信ネットワーク/システム上でビデオ会議サービスを提供する、ビデオ会議アプリケーションサーバとして提供され得る。いくつかの実施形態によれば、ビデオ会議ノード600は、ビデオ会議ネットワーク構成要素エンティティおよび/またはビデオ会議ネットワーク構成要素機能と呼ばれることがある。
今日のオーディオ/ビデオ会議(たとえば、Skype)では、図2A~図2Bに示されているように、直接アイコンタクトがしばしば無視される。図2Aは、直接の会話中の直接アイコンタクトを示す写真である。図2Bは、ビデオ会議における参加者の一般的なビューを示す写真であり、カメラが、参加者が閲覧しているスクリーンの中心に置かれていないので、アイコンタクトの外観が失われる。たとえば、ビデオ会議を行うためにラップトップコンピュータを使用するとき、参加者は、ビデオ会議における(1人または複数の)他の参加者を見るためにスクリーンに目を向けており、カメラは、スクリーンの上に配置されている。したがって、カメラは、参加者が(カメラに対して)下に目を向けている画像をキャプチャする。その結果、各参加者は、他の参加者が下に目を向けているように見える他の参加者の画像を見、したがって、アイコンタクトの知覚が失われる。
AR会議シナリオでは、第1のカメラによってキャプチャされた第1の人のビデオが送信され、第2の人のARグラス上でレンダリングされる。第2のカメラによってキャプチャされた第2の人のビデオも送信され、第1の人のARグラス上でレンダリングされる。
いくつかの問題があり得、それらのうちのいくつかが以下で説明される。
AR会議シナリオでは、キャプチャされたシーンは、グラス上のレンダリングされたシーンと整合しないことがあり、したがって、アイコンタクトおよび適切な社会的距離(1~1.2m)の知覚は、達成することが困難であり得る。
AR会議シナリオでは、異なるカメラが異なる解像度を有し得、異なるグラスが異なる解像度を有し得る。したがって、グラスによってレンダリングされる他の人のサイズは、はるかに小さくなり、アイコンタクトおよび/または社会的コンタクト/距離の知覚を達成するのを困難/不可能にし得る。
AR会議シナリオでは、人がその人の眼または頭部を移動したとき、シーンは、アイコンタクトおよび/または社会的距離の知覚を維持するように調節される必要があり得る。
発明概念のいくつかの実施形態によれば、2人またはそれ以上の参加者が、アイコンタクトおよび社会的距離の知覚を維持しながらAR会議セッション(たとえば、ビデオ、オーディオ)を体感することを可能にする、システムおよび方法が提供される。いくつかの実施形態によれば、アイコンタクトおよび/または適切な社会的距離の知覚を提供するために、(たとえば、ARグラス解像度およびアイトラッキング情報を含む)参加者デバイスからの入力に基づいて各カメラのセッティング(たとえば、カメラマーカーおよび/または解像度)を決定する、ネットワークエンティティが導入される。
いくつかの実施形態によれば、改善されたユーザ体感がAR会議シナリオにおいて提供され得る。現在利用可能である標準的なビデオ会議と比較して、向上した体感を提供することによって、XR会議空間における通信サービスソリューションのビジネス可能性が改善され得る。
図3A~図3Bは、発明概念のいくつかの実施形態による、AR会議についてのシステムモデルの概略図を提供する。ビデオ会議における2人の参加者を伴うシナリオで示されているが、システムは、マルチユーザAR会議(すなわち、3人またはそれ以上の参加者)のために適用され得る。部屋1 R1において、ARグラスA1を装着している第1の参加者P1が、部屋R2においてARグラスA2を装着しており、遠いロケーションに位置する、第2の参加者P2とのAR会議セッションに参加している。参加者P1およびP2は、それぞれのモバイルフォンH1およびH2(たとえば、データコネクティビティを提供するモバイルスマートフォン)を使用し得る。図3A~図3Bでは、キスタおよびアーヘンからの2人の人(参加者P1およびP2)がAR会議セッションに参加している。キスタからの参加者P1は、グラスA1上で、カメラC2によって撮影される(物理的にアーヘンに位置する)参加者P2を見ることができ、アーヘンからの参加者P2は、グラスA2上で、カメラC1を使用して撮影される(物理的にキスタに位置する)参加者P1を見ることができる。図3Aの下部のピクチャは、ARグラスAR2を使用して参加者P2から見た参加者P1の画像を示し、図3Bの下部のピクチャは、ARグラスAR1を使用して参加者P1から見た参加者P2の画像を示す。モバイルフォンH1は、カメラC1およびARグラスA1に無線で接続され得、モバイルフォンH2は、カメラC2およびARグラスA2に無線で接続され得る。モバイルフォンH1は、アプリケーションサーバへのモバイル通信ネットワークを介した送信のために、カメラC1からのビデオ情報とグラスA1からの関係する情報とを受信し得、アプリケーションサーバにおいて、その情報は、ARグラスA2上でレンダリングされるべきビデオを生成するために処理され、ARグラスA2は、モバイルフォンH2を介してこのビデオを受信し得る。同様に、モバイルフォンH2は、アプリケーションサーバへのモバイル通信ネットワークを介した送信のために、カメラC2からのビデオ情報とグラスA2からの関係する情報とを受信し得、アプリケーションサーバにおいて、その情報は、ARグラスA1上でレンダリングされるべきビデオを生成するために処理され、ARグラスA1は、モバイルフォンH1を介してこのビデオを受信し得る。
図4A~図4B中の発明概念のいくつかの実施形態が、アイコンタクトおよび社会的距離を考慮するAR会議を提供する。図4B中のARグラスA2上の参加者P1の投影は、図4A中のARグラスA1上の参加者P2の投影に適切にスケーリングし、個人的/社会的コンタクトを可能にするものとする。アイコンタクトでは、参加者P1の眼および参加者P2の眼は、それぞれ、シーン中で整合されて、ARグラスA2およびARグラスA1においてレンダリングされるべきである。
AR会議におけるアイコンタクトが、図5A~図5Cに関して以下で説明される。
図5Aは、参加者間の1メートル~1.2メートルの距離がある、直接の議論中の直接アイコンタクトを示し、そのような直接アイコンタクトおよび距離の知覚がAR会議にとって望ましいことがある。
図5Bは、現在の1対1ビデオ会議の一例を示し、カメラは、一般に、(たとえば、ラップトップコンピュータまたはタブレットコンピュータ上の)スクリーンの上に配置され、不可能ではないとしても、アイコンタクトの知覚を達成するのを困難にする。示されているように、スクリーンに目を向けている第1の参加者のビデオが、より高いカメラによってキャプチャされ、したがって、第1の参加者は、下に目を向ける外観で、第2の参加者のスクリーン上にレンダリングされる。
図5Cは、2人の参加者のARグラス間のアイコンタクトを維持する知覚を提供する1対1AR会議を示す。
AR会議におけるアイコンタクトを提供/維持するための手法が、発明概念のいくつかの実施形態に従って以下で説明される。
動作1において、3次元(3D)深度カメラC2(たとえば、立体視3Dビデオ深度カメラ)が、図6Bに示されているように、ある深度h(すなわち、カメラC2から参加者P2までの距離)をもつ、部屋R2中の参加者P2のビデオをキャプチャする。動作2において、参加者P2の眼位置が、キャプチャされたビデオから検出される。眼位置を検出するための技法は当技術分野で知られていることに留意されたい。動作2は、たとえば、カメラC2からのビデオを受信した後に、図8に示されているネットワークエンティティN(たとえば、ビデオ会議アプリケーションサーバ)によって実施され得る。
(図7A~図7Bに示されている)動作3では、参加者P2のビデオは、ターゲット距離d(たとえば、1.20m)および深度hを使用してスケーリングされる。図7Aでは、dは、2人の参加者P1およびP2間の適切な社会的距離の知覚を提供することが意図されるターゲット距離(たとえば、1.2m)であり、図7Bでは、hは、参加者P2とカメラC2との間の距離である。さらに、ARグラスA1のカメラからの画像/ビデオが、カメラC1上のマーカーMを決定するために使用され得る。マーカーMは、参加者P1にアイコンタクトの知覚を提供するためにARグラスA1におけるピクチャの参加者P2の眼を正しく配置するために、ネットワークエンティティNによって使用され得る。
図8は、ネットワークエンティティNを含む、AR会議を提供するためのシステムを示す。参加者間の適正なスケーリングおよびアイコンタクトを維持するために、ネットワーク機能Nは、適切な社会的距離およびアイコンタクトの知覚を維持するための所望のシーン設定を決定するためのパラメータ(たとえば、ARグラスA1およびA2の各セットについてのARグラス解像度、眼位置、および人のサイズ)を収集する。所望のシーン設定は、マーカー位置およびカメラ解像度に関してパラメータ化され、それぞれのカメラに提供され得る。パラメータのリストが排他的でないことに留意されたい。
図9は、ネットワークエンティティNが所望のシーン設定を決定するためのコールフローを示す。ブロック901において、ネットワークエンティティNは、ARグラス解像度、ならびに実際の人のサイズおよび眼位置など、リモート参加者からのパラメータを収集する。眼位置は、カメラ画像から決定されるか、またはARグラス中のアイトラッキングシステムから直接提供されるかのいずれかであり得る。人のサイズは、カメラ画像を分析することによって決定され得る。
ブロック902において、ネットワークエンティティNは、それぞれ、グラスA2およびグラスA1上に投影されるときの、参加者P1および参加者P2の実際のサイズを決定する。この動作は、リモート参加者がARグラス上にレンダリングされるときに距離および深度を維持するための、必要とされる解像度をカメラに提供する。
ブロック903において、ネットワークエンティティNは、シーン中の参加者間のアイコンタクトを維持するためのカメラについてのターゲットマーカー位置を決定する。この動作は、図6~図7に関して上記で説明された。
解像度/深度およびカメラマーカー位置に関する出力設定が、ネットワークエンティティNからカメラに提供される。アイジェスチャー再構築が以下で説明される。
ARグラスが通常の眼鏡と同じ外観を有するまで、少なくとも2~5年かかり得る。ARグラスの現在の外観はAR会議の受入れを低下させ得る。
この問題点に対処するための1つの手法が、以下で説明される。
動作1:深度カメラC1と深度カメラC2の両方が、その時点において、グラスを装着していないそれぞれの参加者P1および参加者P2のビデオを提供/記録する。各参加者は、ある時間期間(たとえば、10~20秒)の間それぞれのカメラに目を向け、遅い頭部運動を実施する。
動作2:参加者P1およびP2のビデオからの画像が記憶され、関連するパラメータ(たとえば、傾き、角度、眼球運動、まばたきなど)により分類される。
動作3:両方の参加者は、現在、ARグラスを装着している。
動作4:カメラC1からの(ARグラスA1を装着している)参加者P1のビデオは、角度、傾きなどを決定するために連続的に分析される。さらに、眼球運動、まばたきなどは、参加者P1のARグラスA1からの後ろ向きビデオを使用して決定される。
動作5:これらのパラメータ(傾き、角度、眼球運動、まばたきなど)は、参加者P2のARグラスA2において参加者P1のビデオを再構築するために使用される。この再構築プロセスでは、ARグラスの画像は、たとえば、ニューラルネットワークを使用して、前の記憶されたビデオを使用して、パラメータ(傾き、角度、眼球運動、まばたきなど)を使用して参加者P1のピクチャから除去される。
いくつかの実施形態によれば、カメラC1およびC2は、無線インターフェース(たとえば、4G、5Gなどのモバイル通信インターフェース)を装備し、および/またはARグラスA1およびA2は、無線インターフェース(たとえば、4G、5Gなどのモバイル通信インターフェース)を装備する。いくつかの例では、ARグラスA1および/またはA2は、それらのARグラスが長距離通信を介して基地局に接続されること、および/または短距離通信を介して別の無線デバイス(たとえば、モバイルフォン)に接続されることを可能にする、5Gインターフェースを装備する。
いくつかの実施形態によれば、ネットワークエンティティNは、セルラネットワーク内に、あるいは(たとえば、クラウド中の)アプリケーションサーバまたはバックエンドシステムにおいて存在する。
いくつかの実施形態によれば、ネットワーク機能Nは、サービス品質QoSセッティング、および/またはAR会議セッションのための無線リソースを設定するために、3GPPネットワークシステム(たとえば、5G)と対話する。
いくつかの実施形態によれば、AR会議は、3GPPシステム(たとえば、IPマルチメディアシステムIMS)または(たとえば、WebRTC技法に基づく)オーバーザトップシステムを使用する。
いくつかの実施形態によれば、パラメータは、(たとえば、セッションプロトコルを使用する)帯域内または帯域外のいずれかのネットワークエンティティにおよびそのネットワークエンティティから提供される。
いくつかの実施形態によれば、シーン設定は、初期設定においてまたはシーン変化(たとえば、頭部運動)において実施され得る。
いくつかの実施形態によれば、提案される方法/システムがマルチパーティ会議に適用され得る。
ヘテロジニアスカメラタイプおよびセッティングが考慮され得る。たとえば、会議のために使用されるべきビデオをキャプチャするために、ある参加者が深度カメラを使用し、別の参加者がモバイルフォンを使用し得る。
いくつかの実施形態によれば、参加者間のアイコンタクトおよび適切な社会的距離の知覚を維持するための、AR会議のためのシステムおよび方法が提供される。
次に、発明概念のいくつかの実施形態による、図14のフローチャートを参照しながら、(図13の構造を使用して実装される)ビデオ会議ノード600の動作が説明される。たとえば、モジュールが図13のメモリ605に記憶され得、これらのモジュールは、モジュールの命令がそれぞれのビデオ会議ノード処理回路603によって実行されたとき、処理回路603がフローチャートのそれぞれの動作を実施するような命令を提供し得る。
図14の動作によれば、ビデオ会議ノード600は、第1の参加者P1と第2の参加者P2との間のビデオ会議を提供する。ビデオ会議では、第1の参加者P1は、第1の会議カメラC1と、第1の前向きグラスカメラをもつ第1の拡張現実ARグラスA1とを使用し、第2の参加者P2は、第2の会議カメラC2と、第2の前向きグラスカメラをもつ第2のARグラスA2とを使用する。
ブロック1405において、処理回路603は、(ネットワークインターフェース607を通して)第2の会議カメラC2から第2の参加者P2のビデオを受信する。
ブロック1409において、処理回路603は、(ネットワークインターフェース607を通して)第1のARグラスA1の第1の前向きグラスカメラからビデオを受信する。
ブロック1415において、処理回路603は、調節されたビデオを提供するために、第1の前向きグラスカメラからのビデオに基づいて第2の参加者P2のビデオを調節する。
いくつかの実施形態によれば、処理回路603は、ブロック1415において、第2の会議カメラC2によって提供されたビデオを調節し、それにより、第2の参加者P2の調節されたビデオを提供するために、第2の会議カメラに制御パラメータを送信することによって、第2の参加者P2のビデオを調節し得る。たとえば、制御パラメータは、第2の会議カメラC2の位置を調節するための制御パラメータ、第2の会議カメラC2のズームを調節するための制御パラメータ、および/または第2の会議カメラC2の焦点深度を調節するための制御パラメータのうちの少なくとも1つを含み得る。いくつかの実施形態によれば、処理回路603は、ブロック1415において、調節されたビデオを提供するために、第2の会議カメラC2から受信された第2の参加者P2のビデオの変換(たとえば、平行移動または回転などのジオメトリ変換)を提供することによって、第2の参加者P2のビデオを調節し得る。
いくつかの実施形態によれば、処理回路603は、第1の前向きグラスカメラからのビデオに基づいて第2の参加者P2のビデオを調節することによって、および、第1のARグラス上でレンダリングされるとき、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離(d)を提供するために第2の参加者P2のビデオをスケーリングすることによって、調節されたビデオを提供するためにビデオを調節し得る。スケーリングに関するさらなる詳細が、図16~図17のフローチャートに関して以下で説明される。
ブロック1419において、処理回路603は、第1の参加者P1のための第1のARグラスA1によってレンダリングされるように、調節されたビデオを(ネットワークインターフェース607を通して)提供する。いくつかの実施形態によれば、処理回路603は、調節されたビデオを第1の参加者P1のための第1のARグラスA1に送信することによって、調節されたビデオを提供し得る。
いくつかの実施形態によれば、処理回路603は、ブロック1419において、無線モバイル/セルラ通信システム(たとえば、第3世代パートナーシッププロジェクト(3GPP)通信システム)を使用して、調節されたビデオの通信を(ネットワークインターフェース607を通して)第1のARグラスA1に提供することによって、調節されたビデオを提供し得る。いくつかの実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信システムのエレメントとして含まれ得るか、または、ビデオ会議ノードは、無線モバイル/セルラ通信システムの外部で動作するビデオ会議アプリケーションサーバとして提供され得る。
図14のフローチャートからの様々な動作は、ビデオ会議ノードおよび関係する方法のいくつかの実施形態に関して随意であり得る。
次に、発明概念のいくつかの実施形態による、図15のフローチャートを参照しながら、(図13の構造を使用して実装される)ビデオ会議ノード600の動作が説明される。たとえば、モジュールが図13のメモリ605に記憶され得、これらのモジュールは、モジュールの命令がそれぞれのビデオ会議ノード処理回路603によって実行されたとき、処理回路603がフローチャートのそれぞれの動作を実施するような命令を提供し得る。
図15の動作によれば、ビデオ会議ノード600は、第1の参加者P1と第2の参加者P2との間のビデオ会議を提供する。ビデオ会議では、第1の参加者P1は、第1の会議カメラC1と、第1の前向きグラスカメラをもつ第1の拡張現実ARグラスA1とを使用し、第2の参加者P2は、第2の会議カメラC2と、第2の前向きグラスカメラをもつ第2のARグラスA2とを使用する。
ブロック1505において、処理回路603は、(ネットワークインターフェース607を通して)第2の会議カメラC2から第2の参加者P2のビデオを受信する。
ブロック1509において、処理回路603は、(ネットワークインターフェース607を通して)第1のARグラスA1の第1の前向きグラスカメラからビデオを受信する。
ブロック1511において、処理回路603は、第1の前向きグラスカメラからのビデオを使用して第1の会議カメラC1の位置を決定し得る。たとえば、処理回路603は、第1の会議カメラC1上のマーカー(M)の位置を決定し得る。
ブロック1513において、処理回路603は、第2のカメラC2からのビデオ中の第2の参加者P2の眼位置を決定し得る。
ブロック1515において、処理回路603は、調節されたビデオを提供するために、第1の前向きグラスカメラからのビデオに基づいて第2の参加者P2のビデオを調節する。
いくつかの実施形態によれば、処理回路603は、ブロック1515において、第2の会議カメラC2によって提供されたビデオを調節し、それにより、第2の参加者P2の調節されたビデオを提供するために、第2の会議カメラに制御パラメータを送信することによって、第2の参加者P2のビデオを調節し得る。たとえば、制御パラメータは、第2の会議カメラC2の位置を調節するための制御パラメータ、第2の会議カメラC2のズームを調節するための制御パラメータ、および/または第2の会議カメラC2の焦点深度を調節するための制御パラメータのうちの少なくとも1つを含み得る。いくつかの実施形態によれば、処理回路603は、ブロック1515において、調節されたビデオを提供するために、第2の会議カメラC2から受信された第2の参加者P2のビデオの変換(たとえば、平行移動または回転などのジオメトリ変換)を提供することによって、第2の参加者P2のビデオを調節し得る。
いくつかの実施形態によれば、処理回路603は、第1の前向きグラスカメラからのビデオに基づいて第2の参加者P2のビデオを調節することによって、および、第1のARグラス上でレンダリングされるとき、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離(d)を提供するために第2の参加者P2のビデオをスケーリングすることによって、調節されたビデオを提供するためにビデオを調節し得る。スケーリングに関するさらなる詳細が、図16~図17のフローチャートに関して以下で説明される。
いくつかの実施形態によれば、処理回路603は、ブロック1511において第1の前向きグラスカメラからのビデオを使用して決定された第1の会議カメラC1の位置に基づいて、調節されたビデオを提供するために第2の参加者P2のビデオを調節し得る。たとえば、処理回路603は、マーカーMの位置に基づいて、調節されたビデオを提供するために第2の参加者P2のビデオを調節し得る。
いくつかの実施形態によれば、処理回路603は、ブロック1513において決定された第2の参加者P2の眼位置に基づいて、および第1の前向きグラスカメラからのビデオに基づいて、調節されたビデオを提供するために第2の参加者P2のビデオを調節し得る。たとえば、処理回路603は、第2の参加者P2の眼位置を使用して、およびアイコンタクトの知覚を提供するために第1の前向きグラスカメラからのビデオを使用して、調節されたビデオを提供するために第2の参加者P2のビデオを調節し得る。
ブロック1519において、処理回路603は、第1の参加者P1のための第1のARグラスA1によってレンダリングされるように、調節されたビデオを(ネットワークインターフェース607を通して)提供する。いくつかの実施形態によれば、処理回路603は、調節されたビデオを第1の参加者P1のための第1のARグラスA1に送信することによって、調節されたビデオを提供し得る。
いくつかの実施形態によれば、処理回路603は、ブロック1519において、無線モバイル/セルラ通信システム(たとえば、第3世代パートナーシッププロジェクト(3GPP)通信システム)を使用して、調節されたビデオの通信を(ネットワークインターフェース607を通して)第1のARグラスA1に提供することによって、調節されたビデオを提供し得る。いくつかの実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信システムのエレメントとして含まれ得るか、または、ビデオ会議ノードは、無線モバイル/セルラ通信システムの外部で動作するビデオ会議アプリケーションサーバとして提供され得る。
図15のフローチャートからの様々な動作は、ビデオ会議ノードおよび関係する方法のいくつかの実施形態に関して随意であり得る。(以下に記載される)例示的な実施形態1の方法に関して、たとえば、図15のブロック1511および/または1513の動作は随意であり得る。
次に、発明概念のいくつかの実施形態による、図16のフローチャートを参照しながら、(図13の構造を使用して実装される)ビデオ会議ノード600の動作が説明される。たとえば、モジュールが図13のメモリ605に記憶され得、これらのモジュールは、モジュールの命令がそれぞれのビデオ会議ノード処理回路603によって実行されたとき、処理回路603がフローチャートのそれぞれの動作を実施するような命令を提供し得る。
図16の動作によれば、ビデオ会議ノード600は、第1の参加者P1と第2の参加者P2との間のビデオ会議を提供する。ビデオ会議では、第1の参加者P1は、第1の会議カメラC1と、第1の前向きグラスカメラをもつ第1の拡張現実ARグラスA1とを使用し、第2の参加者P2は、第2の会議カメラC2と、第2の前向きグラスカメラをもつ第2のARグラスA2とを使用する。
ブロック1605において、処理回路603は、(ネットワークインターフェース607を通して)第2の会議カメラC2から第2の参加者P2のビデオを受信する。
ブロック1619において、処理回路603は、調節されたビデオを提供するために、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離(d)を提供するために第2の参加者P2のビデオをスケーリングすることによって、第2の参加者P2のビデオを調節する。いくつかの実施形態によれば、処理回路603は、第1のARグラスA1の解像度および/または第2のARグラスA2の解像度のうちの少なくとも1つに基づいて、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離を提供するために第2の参加者P2のビデオをスケーリングし得る。
ブロック1625において、処理回路603は、第1の参加者P1のための第1のARグラスA1によってレンダリングされるように、調節されたビデオを(ネットワークインターフェース607を通して)提供する。
いくつかの実施形態によれば、処理回路603は、ブロック1625において、無線モバイル/セルラ通信システム(たとえば、第3世代パートナーシッププロジェクト(3GPP)通信システム)を使用して、調節されたビデオの通信を(ネットワークインターフェース607を通して)第1のARグラスA1に提供することによって、調節されたビデオを提供し得る。いくつかの実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信システムのエレメントとして含まれ得るか、または、ビデオ会議ノードは、無線モバイル/セルラ通信システムの外部で動作するビデオ会議アプリケーションサーバとして提供され得る。
図16のフローチャートからの様々な動作は、ビデオ会議ノードおよび関係する方法のいくつかの実施形態に関して随意であり得る。
次に、発明概念のいくつかの実施形態による、図17のフローチャートを参照しながら、(図13の構造を使用して実装される)ビデオ会議ノード600の動作が説明される。たとえば、モジュールが図13のメモリ605に記憶され得、これらのモジュールは、モジュールの命令がそれぞれのビデオ会議ノード処理回路603によって実行されたとき、処理回路603がフローチャートのそれぞれの動作を実施するような命令を提供し得る。
図17の動作によれば、ビデオ会議ノード600は、第1の参加者P1と第2の参加者P2との間のビデオ会議を提供する。ビデオ会議では、第1の参加者P1は、第1の会議カメラC1と、第1の前向きグラスカメラをもつ第1の拡張現実ARグラスA1とを使用し、第2の参加者P2は、第2の会議カメラC2と、第2の前向きグラスカメラをもつ第2のARグラスA2とを使用する。
ブロック1705において、処理回路603は、(ネットワークインターフェース607を通して)第2の会議カメラC2から第2の参加者P2のビデオを受信する。
ブロック1707において、いくつかの実施形態によれば、処理回路603は、第2の参加者P2と第2の会議カメラC2との間の距離(h)を決定し得る。
ブロック1709において、いくつかの実施形態によれば、処理回路603は、第2の参加者P2のビデオに基づいて第2の参加者のサイズを決定し得る。
ブロック1711において、いくつかの実施形態によれば、処理回路603は、(ネットワークインターフェース607を通して)第1の会議カメラC1から第1の参加者P1のビデオを受信し得る。ブロック1713において、いくつかの実施形態によれば、処理回路603は、第1の参加者P1のビデオに基づいて第1の参加者のサイズを決定し得る。
ブロック1715において、いくつかの実施形態によれば、処理回路603は、(ネットワークインターフェース607を通して)第1のARグラスA1の第1の前向きグラスカメラからビデオを受信し得る。
ブロック1719において、処理回路603は、調節されたビデオを提供するために、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離(d)を提供するために第2の参加者P2のビデオをスケーリングすることによって、第2の参加者P2のビデオを調節する。いくつかの実施形態によれば、処理回路603は、第1のARグラスA1の解像度および/または第2のARグラスA2の解像度のうちの少なくとも1つに基づいて、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離を提供するために第2の参加者P2のビデオをスケーリングし得る。
いくつかの実施形態によれば、処理回路603は、ブロック1707において決定された第2の参加者P2と第2の会議カメラC2との間の距離(h)に基づいて、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離を提供するために第2の参加者P2のビデオをスケーリングし得る。
いくつかの実施形態によれば、処理回路603は、ブロック1709において決定された第2の参加者P2のサイズに基づいて、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離を提供するために第2の参加者P2のビデオをスケーリングし得る。
いくつかの実施形態によれば、処理回路603は、ブロック1713において決定された第1の参加者P1のサイズに基づいて、第1の参加者P1と第2の参加者P2との間のターゲット知覚距離を提供するために第2の参加者P2のビデオをスケーリングし得る。
いくつかの実施形態によれば、処理回路603は、調節されたビデオを提供するために、第1の前向きグラスカメラからのビデオに基づいて、および第1の参加者P1と第2の参加者P2との間のターゲット知覚距離(d)を提供するために第2の参加者P2のビデオをスケーリングすることによって、第2の参加者P2のビデオを調節し得る。第1の前向きグラスカメラからのビデオに基づいてビデオを調節する動作は、図14~図15のフローチャートに関して上記でより詳細に説明された。
ブロック1725において、処理回路603は、第1の参加者P1のための第1のARグラスA1によってレンダリングされるように、調節されたビデオを(ネットワークインターフェース607を通して)提供する。
いくつかの実施形態によれば、処理回路603は、ブロック1725において、無線モバイル/セルラ通信システム(たとえば、第3世代パートナーシッププロジェクト(3GPP)通信システム)を使用して、調節されたビデオの通信を(ネットワークインターフェース607を通して)第1のARグラスA1に提供することによって、調節されたビデオを提供し得る。いくつかの実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信システムのエレメントとして含まれ得るか、または、ビデオ会議ノードは、無線モバイル/セルラ通信システムの外部で動作するビデオ会議アプリケーションサーバとして提供され得る。
図17のフローチャートからの様々な動作は、ビデオ会議ノードおよび関係する方法のいくつかの実施形態に関して随意であり得る。(以下に記載される)例示的な実施形態15の方法に関して、たとえば、図17のブロック1707、1708、1711、1713、および/または1715の動作は随意であり得る。
次に、発明概念のいくつかの実施形態による、図18のフローチャートを参照しながら、(図13の構造を使用して実装される)ビデオ会議ノード600の動作が説明される。たとえば、モジュールが図13のメモリ605に記憶され得、これらのモジュールは、モジュールの命令がそれぞれのビデオ会議ノード処理回路603によって実行されたとき、処理回路603がフローチャートのそれぞれの動作を実施するような命令を提供し得る。
図18の動作によれば、ビデオ会議ノード600は、第1の参加者P1と第2の参加者P2との間のビデオ会議を提供する。ビデオ会議では、第1の参加者P1は、第1の会議カメラC1と第1の拡張現実ARグラスA1とを使用し、第2の参加者P2は、第2の会議カメラC2と第2のARグラスA2とを使用する。
ブロック1805において、処理回路603は、メモリ605における第1のARグラスA1なしの第1の参加者P1の画像を提供する。第1の参加者P1の画像は、第1のARグラスA1なしの第1の参加者P1の頭部の異なる配向で提供される。いくつかの実施形態によれば、第1の参加者P1の画像を提供することは、(ネットワークインターフェース607を通して)第1のARグラスA1なしの第1の参加者P1の初期化ビデオを受信することと、初期化ビデオに基づいて画像を提供することとを含み得る。
ブロック1809において、処理回路603は、(ネットワークインターフェース607を通して)第1の会議カメラC1から、第1のARグラスA1を装着している第1の参加者P1の予備会議ビデオを受信する。
ブロック1815において、処理回路603は、第1のARグラスなしの第1の参加者P1の修正された会議ビデオを提供するために、第1の参加者P1の画像に基づいて第1の参加者P1の予備会議ビデオを修正する。
いくつかの実施形態によれば、第1の参加者P1の画像は、第1の参加者P1の頭部の配向に従ってカテゴリー分類され得、処理回路603は、予備会議ビデオのフレームを画像のうちの1つと、フレーム中のおよび画像中の頭部の配向に基づいて、整合させることによってフレームを修正することと、画像に基づいて、第1のARグラスA1を含むフレームの部分を再構築することとによって、予備会議ビデオを修正し得る。
ブロック1819において、処理回路603は、第2の参加者P2のための第2のARグラスA1によってレンダリングされるように、(ネットワークインターフェース607を通して)第1のARグラスA1なしの第1の参加者P1の修正された会議ビデオを提供する。
いくつかの実施形態によれば、処理回路603は、ブロック1819において、無線モバイル/セルラ通信システム(たとえば、第3世代パートナーシッププロジェクト(3GPP)通信システム)を使用して、修正された会議ビデオの通信を(ネットワークインターフェース607を通して)第2のARグラスA2に提供することによって、修正された会議ビデオを提供し得る。いくつかの実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信システムのエレメントとして含まれ得るか、または、ビデオ会議ノードは、無線モバイル/セルラ通信システムの外部で動作するビデオ会議アプリケーションサーバとして提供され得る。
図18のフローチャートからの様々な動作は、ビデオ会議ノードおよび関係する方法のいくつかの実施形態に関して随意であり得る。
次に、発明概念のいくつかの実施形態による、図19のフローチャートを参照しながら、(図13の構造を使用して実装される)ビデオ会議ノード600の動作が説明される。たとえば、モジュールが図13のメモリ605に記憶され得、これらのモジュールは、モジュールの命令がそれぞれのビデオ会議ノード処理回路603によって実行されたとき、処理回路603がフローチャートのそれぞれの動作を実施するような命令を提供し得る。
図19の動作によれば、ビデオ会議ノード600は、第1の参加者P1と第2の参加者P2との間のビデオ会議を提供する。ビデオ会議では、第1の参加者P1は、第1の会議カメラC1と第1の拡張現実ARグラスA1とを使用し、第2の参加者P2は、第2の会議カメラC2と第2のARグラスA2とを使用する。
ブロック1905において、処理回路603は、メモリ605における第1のARグラスA1なしの第1の参加者P1の画像を提供する。第1の参加者P1の画像は、第1のARグラスA1なしの第1の参加者P1の頭部の異なる配向で提供される。いくつかの実施形態によれば、第1の参加者P1の画像を提供することは、(ネットワークインターフェース607を通して)第1のARグラスA1なしの第1の参加者P1の初期化ビデオを受信することと、初期化ビデオに基づいて画像を提供することとを含み得る。
ブロック1909において、処理回路603は、(ネットワークインターフェース607を通して)第1の会議カメラC1から、第1のARグラスA1を装着している第1の参加者P1の予備会議ビデオを受信する。
いくつかの実施形態によれば、第1のARグラスA1は、少なくとも1つの後ろ向きアイトラッキングカメラを含み得、ブロック1911において、処理回路603は、少なくとも1つの後ろ向きアイトラッキングカメラからアイトラッキングビデオを受信し得る。
ブロック1915において、処理回路603は、第1のARグラスなしの第1の参加者P1の修正された会議ビデオを提供するために、第1の参加者P1の画像に基づいて第1の参加者P1の予備会議ビデオを修正する。
いくつかの実施形態によれば、第1の参加者P1の画像は、第1の参加者P1の頭部の配向に従ってカテゴリー分類され得、処理回路603は、予備会議ビデオのフレームを画像のうちの1つと、フレーム中のおよび画像中の頭部の配向に基づいて、整合させることによってフレームを修正することと、画像に基づいて、第1のARグラスA1を含むフレームの部分を再構築することとによって、予備会議ビデオを修正し得る。
いくつかの実施形態によれば、処理回路は、第1のARグラスなしの第1の参加者P1の修正された会議ビデオを提供するために、第1の参加者P1の画像に基づいておよびアイトラッキングビデオに基づいて予備会議ビデオを修正することによって、予備会議ビデオを修正し得る。たとえば、予備会議ビデオは、修正された会議ビデオ中にアイトラッキングビデオからの眼球運動および/またはまばたきのうちの少なくとも1つを含めるために、アイトラッキングビデオに基づいて修正され得る。
ブロック1919において、処理回路603は、第2の参加者P2のための第2のARグラスA1によってレンダリングされるように、(ネットワークインターフェース607を通して)第1のARグラスA1なしの第1の参加者P1の修正された会議ビデオを提供する。
いくつかの実施形態によれば、処理回路603は、ブロック1919において、無線モバイル/セルラ通信システム(たとえば、第3世代パートナーシッププロジェクト(3GPP)通信システム)を使用して、修正された会議ビデオの通信を(ネットワークインターフェース607を通して)第2のARグラスA2に提供することによって、修正された会議ビデオを提供し得る。いくつかの実施形態によれば、ビデオ会議ノード600は、無線モバイル/セルラ通信システムのエレメントとして含まれ得るか、または、ビデオ会議ノードは、無線モバイル/セルラ通信システムの外部で動作するビデオ会議アプリケーションサーバとして提供され得る。
図19のフローチャートからの様々な動作は、ビデオ会議ノードおよび関係する方法のいくつかの実施形態に関して随意であり得る。(以下に記載される)例示的な実施形態29の方法に関して、たとえば、図19のブロック1911の動作は随意であり得る。
例示的な実施形態が以下で説明される。
実施形態1. 第1の前向きグラスカメラをもつ第1の拡張現実(AR)グラス(A1)を使用するおよび第1の会議カメラ(C1)を使用する第1の参加者(P1)と、第2の前向きグラスカメラをもつ第2のARグラス(A2)を使用するおよび第2の会議カメラ(C2)を使用する第2の参加者(P2)との間のビデオ会議を提供する方法であって、方法が、
第2の会議カメラ(C2)から第2の参加者(P2)のビデオを受信すること(1405、1505)と、
第1のARグラス(A1)の第1の前向きグラスカメラからビデオを受信すること(1409、1509)と、
調節されたビデオを提供するために、第1の前向きグラスカメラからのビデオに基づいて第2の参加者(P2)のビデオを調節すること(1415、1515)と、
第1の参加者(P1)のための第1のARグラス(A1)によってレンダリングされるように、調節されたビデオを提供すること(1419、1519)と
を含む、方法。
実施形態2. 第2の参加者(P2)のビデオを調節することが、第2の会議カメラ(C2)によって提供されたビデオを調節し、それにより、第2の参加者(P2)の調節されたビデオを提供するために、第2の会議カメラに制御パラメータを送信することを含む、実施形態1に記載の方法。
実施形態3. 制御パラメータが、第2の会議カメラ(C2)の位置を調節するための制御パラメータ、第2の会議カメラ(C2)のズームを調節するための制御パラメータ、および/または第2の会議カメラ(C2)の焦点深度を調節するための制御パラメータのうちの少なくとも1つを含む、実施形態2に記載の方法。
実施形態4. 第2の参加者(P2)のビデオを調節することが、調節されたビデオを提供するために、第2の会議カメラ(C2)から受信された第2の参加者(P2)のビデオのジオメトリ変換を提供することを含む、実施形態1から3のいずれか1つに記載の方法。
実施形態5.
第1の前向きグラスカメラからのビデオを使用して第1の会議カメラ(C1)の位置を決定すること(1511)
をさらに含み、
ビデオを調節することが、第1の前向きグラスカメラからのビデオを使用して決定された第1の会議カメラ(C1)の位置に基づいて、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、
実施形態1から4のいずれか1つに記載の方法。
実施形態6. 第1の会議カメラ(C1)の位置を決定することが、第1の会議カメラ(C1)上のマーカー(M)の位置を決定することを含み、ビデオを調節することが、マーカー(M)の位置に基づいて、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、実施形態5に記載の方法。
実施形態7.
第2のカメラ(C2)からのビデオ中の第2の参加者(P2)の眼位置を決定すること(1513)
をさらに含み、
ビデオを調節することが、第2の参加者(P2)の眼位置と第1の前向きグラスカメラからのビデオとに基づいて、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、
実施形態1から6のいずれか1つに記載の方法。
実施形態8. ビデオを調節することが、第2の参加者(P2)の眼位置を使用して、およびアイコンタクトの知覚を提供するために第1の前向きグラスカメラからのビデオを使用して、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、実施形態7に記載の方法。
実施形態9. 調節されたビデオを提供するためにビデオを調節することが、第1の前向きグラスカメラからのビデオに基づいて第2の参加者(P2)のビデオを調節することと、第1のARグラス上でレンダリングされるとき、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離(d)を提供するために第2の参加者(P2)のビデオをスケーリングすることとを含む、実施形態1から8のいずれか1つに記載の方法。
実施形態10.
第2の参加者(P2)と第2の会議カメラ(C2)との間の距離(h)を決定すること
をさらに含み、
ビデオをスケーリングすることが、第2の参加者(P2)と第2の会議カメラ(C2)との間の距離(h)に基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、
実施形態9に記載の方法。
実施形態11. ビデオをスケーリングすることが、第1のARグラス(A1)の解像度および/または第2のARグラス(A2)の解像度のうちの少なくとも1つに基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、実施形態9または10に記載の方法。
実施形態12.
第2の参加者(P2)のビデオに基づいて第2の参加者のサイズを決定すること
をさらに含み、
ビデオをスケーリングすることが、第2の参加者(P2)のサイズに基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、
実施形態9から11のいずれか1つに記載の方法。
実施形態13.
第1の会議カメラ(C1)から第1の参加者(P1)のビデオを受信することと、
第1の参加者(P1)のビデオに基づいて第1の参加者のサイズを決定することと
をさらに含み、
ビデオをスケーリングすることが、第1の参加者(P1)のサイズに基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、
実施形態9から12のいずれか1つに記載の方法。
実施形態14. 調節されたビデオを提供することが、調節されたビデオを第1の参加者(P1)のための第1のARグラス(A1)に送信することを含む、実施形態1から13のいずれか1つに記載の方法。
実施形態15. 第1の前向きグラスカメラをもつ第1の拡張現実(AR)グラス(A1)を使用するおよび第1の会議カメラ(C1)を使用する第1の参加者(P1)と、第2の前向きグラスカメラをもつ第2のARグラス(A2)を使用するおよび第2の会議カメラ(C2)を使用する第2の参加者(P2)との間のビデオ会議を提供する方法であって、方法が、
第2の会議カメラ(C2)から第2の参加者(P2)のビデオを受信すること(1605、1705)と、
調節されたビデオを提供するために、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離(d)を提供するために第2の参加者(P2)のビデオをスケーリングすることによって、第2の参加者(P2)のビデオを調節すること(1619、1719)と、
第1の参加者(P1)のための第1のARグラス(A1)によってレンダリングされるように、調節されたビデオを提供すること(1625、1725)と
を含む、方法。
実施形態16.
第2の参加者(P2)と第2の会議カメラ(C2)との間の距離(h)を決定すること(1707)
をさらに含み、
ビデオをスケーリングすることが、第2の参加者(P2)と第2の会議カメラ(C2)との間の距離(h)に基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、
実施形態15に記載の方法。
実施形態17. ビデオをスケーリングすることが、第1のARグラス(A1)の解像度および/または第2のARグラス(A2)の解像度のうちの少なくとも1つに基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、実施形態15または16に記載の方法。
実施形態18.
第2の参加者(P2)のビデオに基づいて第2の参加者のサイズを決定すること(1709)
をさらに含み、
ビデオをスケーリングすることが、第2の参加者(P2)のサイズに基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、
実施形態15から17のいずれか1つに記載の方法。
実施形態19.
第1の会議カメラ(C1)から第1の参加者(P1)のビデオを受信すること(1711)と、
第1の参加者(P1)のビデオに基づいて第1の参加者のサイズを決定すること(1713)と
をさらに含み、
ビデオをスケーリングすることが、第1の参加者(P1)のサイズに基づいて、第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離を提供するために第2の参加者(P2)のビデオをスケーリングすることを含む、
実施形態15から18のいずれか1つに記載の方法。
実施形態20.
第1のARグラス(A1)の第1の前向きグラスカメラからビデオを受信すること(1715)
をさらに含み、
調節されたビデオを提供するためにビデオを調節することが、調節されたビデオを提供するために、第1の前向きグラスカメラからのビデオに基づいて、および第1の参加者(P1)と第2の参加者(P2)との間のターゲット知覚距離(d)を提供するために第2の参加者(P2)のビデオをスケーリングすることによって、第2の参加者(P2)のビデオを調節することを含む、
実施形態15から19のいずれか1つに記載の方法。
実施形態21. 第1の前向きグラスカメラからのビデオに基づいて第2の参加者(P2)のビデオを調節することが、第2の会議カメラ(C2)によって提供されたビデオを調節し、それにより、第2の参加者(P2)の調節されたビデオを提供するために、第2の会議カメラに制御パラメータを送信することを含む、実施形態20に記載の方法。
実施形態22. 制御パラメータが、第2の会議カメラ(C2)の位置を調節するための制御パラメータ、第2の会議カメラ(C2)のズームを調節するための制御パラメータ、および/または第2の会議カメラ(C2)の焦点深度を調節するための制御パラメータのうちの少なくとも1つを含む、実施形態21に記載の方法。
実施形態23. 第1の前向きグラスカメラからのビデオに基づいて第2の参加者(P2)のビデオを調節することが、調節されたビデオを提供するために、第2の会議カメラ(C2)から受信された第2の参加者(P2)のビデオのジオメトリ変換を提供することを含む、実施形態20から22のいずれか1つに記載の方法。
実施形態24.
第1の前向きグラスカメラからのビデオを使用して第1の会議カメラ(C1)の位置を決定すること
をさらに含み、
第1の前向きグラスカメラからのビデオに基づいてビデオを調節することが、第1の前向きグラスカメラからのビデオを使用して決定された第1の会議カメラ(C1)の位置に基づいて、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、
実施形態20から23のいずれか1つに記載の方法。
実施形態25. 第1の会議カメラ(C1)の位置を決定することが、第1の会議カメラ(C1)上のマーカー(M)の位置を決定することを含み、ビデオを調節することが、マーカー(M)の位置に基づいて、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、実施形態24に記載の方法。
実施形態26.
第2のカメラ(C2)からのビデオ中の第2の参加者(P2)の眼位置を決定すること
をさらに含み、
第1の前向きグラスカメラからのビデオに基づいてビデオを調節することが、第2の参加者(P2)の眼位置と第1の前向きグラスカメラからのビデオとに基づいて、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、
実施形態20から25のいずれか1つに記載の方法。
実施形態27. 第1の前向きグラスカメラからのビデオに基づいてビデオを調節することが、第2の参加者(P2)の眼位置を使用して、およびアイコンタクトの知覚を提供するために第1の前向きグラスカメラからのビデオを使用して、調節されたビデオを提供するために第2の参加者(P2)のビデオを調節することを含む、実施形態26に記載の方法。
実施形態28. 調節されたビデオを提供することが、無線モバイル/セルラ通信システムを使用して、調節されたビデオの通信を第1のARグラス(A1)に提供することを含む、実施形態1から27のいずれか1つに記載の方法。
実施形態29. 第1の拡張現実(AR)グラス(A1)を使用するおよび第1の会議カメラ(C1)を使用する第1の参加者(P1)と、第2のARグラス(A2)を使用するおよび第2の会議カメラ(C2)を使用する第2の参加者(P2)との間のビデオ会議を提供する方法であって、方法は、
メモリにおける第1のARグラス(A1)なしの第1の参加者(P1)の画像を提供すること(1805、1905)であって、第1の参加者(P1)の画像が、第1のARグラス(A1)なしの第1の参加者(P1)の頭部の異なる配向で提供される、第1の参加者(P1)の画像を提供すること(1805、1905)と、
第1の会議カメラ(C1)から、第1のARグラス(A1)を装着している第1の参加者(P1)の予備会議ビデオを受信すること(1809、1909)と、
第1のARグラスなしの第1の参加者(P1)の修正された会議ビデオを提供するために、第1の参加者(P1)の画像に基づいて第1の参加者(P1)の予備会議ビデオを修正すること(1815、1915)と、
第2の参加者(P2)のための第2のARグラス(A1)によってレンダリングされるように、第1のARグラス(A1)なしの第1の参加者(P1)の修正された会議ビデオを提供すること(1819、1919)と
を含む、方法。
実施形態30. 第1の参加者(P1)の画像を提供することが、第1のARグラス(A1)なしの第1の参加者(P1)の初期化ビデオを受信することと、初期化ビデオに基づいて画像を提供することとを含む、実施形態29に記載の方法。
実施形態31. 第1の参加者(P1)の画像が、第1の参加者(P1)の頭部の配向に従ってカテゴリー分類され、予備会議ビデオを修正することが、予備会議ビデオのフレームを画像のうちの1つと、フレーム中のおよび画像中の頭部の配向に基づいて、整合させることによってフレームを修正することと、画像に基づいて、第1のARグラス(A1)を含むフレームの部分を再構築することとを含む、実施形態29または30に記載の方法。
実施形態32. 第1のARグラス(A1)が、少なくとも1つの後ろ向きアイトラッキングカメラを含み、方法が、
少なくとも1つの後ろ向きアイトラッキングカメラからアイトラッキングビデオを受信すること(1911)
をさらに含み、
予備会議ビデオを修正することが、第1のARグラスなしの第1の参加者(P1)の修正された会議ビデオを提供するために、第1の参加者(P1)の画像に基づいておよびアイトラッキングビデオに基づいて予備会議ビデオを修正することを含む、
実施形態29から31のいずれか1つに記載の方法。
実施形態33. 予備会議ビデオを修正することが、修正された会議ビデオ中にアイトラッキングビデオからの眼球運動および/またはまばたきのうちの少なくとも1つを含めるために、アイトラッキングビデオに基づいて予備会議ビデオを修正することを含む、実施形態32に記載の方法。
実施形態34. 修正された会議ビデオを提供することが、無線モバイル/セルラ通信システムを使用して、修正された会議ビデオの通信を第2のARグラス(A2)に提供することを含む、実施形態29から33のいずれか1つに記載の方法。
実施形態35.
処理回路(603)と、
処理回路に接続されたメモリ(605)と
を備えるビデオ会議ノード(600)であって、メモリが、処理回路によって実行されたとき、ビデオ会議ノード(600)に実施形態1から34のいずれか1つに記載の動作を実施させる命令を含む、ビデオ会議ノード(600)。
実施形態36. 実施形態1から34のいずれか1つに従って実施するように適応されたビデオ会議ノード(600)。
実施形態37. ビデオ会議ノード(600)の処理回路(603)によって実行されるべきプログラムコードを備えるコンピュータプログラムであって、それにより、プログラムコードの実行が、ビデオ会議ノード(600)に実施形態1から34のいずれか1つに記載の動作を実施させる、コンピュータプログラム。
実施形態38. ビデオ会議ノード(600)の処理回路(603)によって実行されるべきプログラムコードを含む非一時的記憶媒体を備えるコンピュータプログラム製品であって、それにより、プログラムコードの実行が、ビデオ会議ノード(600)に実施形態1から34のいずれか1つに記載の動作を実施させる、コンピュータプログラム製品。
本開示で使用される様々な略語/頭字語についての説明が、以下で提供される。
略語 説明
AR 拡張現実
IMS IPマルチメディアシステム
VR 仮想現実
XR エクステンデッドリアリティ
参考文献が以下で識別される。
参考文献[1]CN108076307A、Video conferencing system based on AR and the video-meeting method based on AR、公開日2018年5月
参考文献[2]US9524588B2、Enhanced communication between remote participants using augmented and virtual reality、公開日2015年7月
参考文献[3]US9712751B2、CAMERA FIELD OF VIEW EFFECTS BASED ON DEVICE ORIENTATION AND SCENE CONTENT、公開日2016年7月
追加の説明が以下で提供される。
概して、本明細書で使用されるすべての用語は、異なる意味が、明確に与えられ、および/またはその用語が使用されるコンテキストから暗示されない限り、関連する技術分野における、それらの用語の通常の意味に従って解釈されるべきである。1つの(a/an)/その(the)エレメント、装置、構成要素、手段、ステップなどへのすべての言及は、別段明示的に述べられていない限り、そのエレメント、装置、構成要素、手段、ステップなどの少なくとも1つの事例に言及しているものとしてオープンに解釈されるべきである。本明細書で開示されるいずれの方法のステップも、ステップが、別のステップに後続するかまたは先行するものとして明示的に説明されない限り、および/あるいはステップが別のステップに後続するかまたは先行しなければならないことが暗黙的である場合、開示される厳密な順序で実施される必要はない。本明細書で開示される実施形態のいずれかの任意の特徴は、適切であればいかなる場合も、任意の他の実施形態に適用され得る。同様に、実施形態のいずれかの任意の利点は、任意の他の実施形態に適用され得、その逆も同様である。同封の実施形態の他の目標、特徴、および利点は、以下の説明から明らかになる。
次に、添付の図面を参照しながら、本明細書で企図される実施形態のうちのいくつかがより十分に説明される。しかしながら、他の実施形態は、本明細書で開示される主題の範囲内に含まれており、開示される主題は、本明細書に記載される実施形態のみに限定されるものとして解釈されるべきではなく、むしろ、これらの実施形態は、当業者に主題の範囲を伝達するために、例として提供される。
図15は、いくつかの実施形態による無線ネットワークを示す。
本明細書で説明される主題は、任意の好適な構成要素を使用する任意の適切なタイプのシステムにおいて実装され得るが、本明細書で開示される実施形態は、図15に示されている例示的な無線ネットワークなどの無線ネットワークに関して説明される。簡単のために、図15の無線ネットワークは、ネットワーク4106、ネットワークノード4160および4160b、ならびに(モバイル端末とも呼ばれる)WD4110、4110b、および4110cのみを図示する。実際には、無線ネットワークは、無線デバイス間の通信、あるいは無線デバイスと、固定電話、サービスプロバイダ、または任意の他のネットワークノードもしくはエンドデバイスなどの別の通信デバイスとの間の通信をサポートするのに好適な任意の追加のエレメントをさらに含み得る。示されている構成要素のうち、ネットワークノード4160および無線デバイス(WD)4110は、追加の詳細とともに図示される。無線ネットワークは、1つまたは複数の無線デバイスに通信および他のタイプのサービスを提供して、無線デバイスの、無線ネットワークへのアクセス、および/あるいは、無線ネットワークによってまたは無線ネットワークを介して提供されるサービスの使用を容易にし得る。
無線ネットワークは、任意のタイプの通信(communication)、通信(telecommunication)、データ、セルラ、および/または無線ネットワーク、あるいは他の同様のタイプのシステムを含み、および/またはそれらとインターフェースし得る。いくつかの実施形態では、無線ネットワークは、特定の規格あるいは他のタイプのあらかじめ規定されたルールまたはプロシージャに従って動作するように設定され得る。したがって、無線ネットワークの特定の実施形態は、汎欧州デジタル移動電話方式(GSM)、Universal Mobile Telecommunications System(UMTS)、Long Term Evolution(LTE)、ならびに/あるいは他の好適な2G、3G、4G、または5G規格などの通信規格、IEEE802.11規格などの無線ローカルエリアネットワーク(WLAN)規格、ならびに/あるいは、マイクロ波アクセスのための世界的相互運用性(WiMax)、Bluetooth、Z-Waveおよび/またはZigBee規格など、任意の他の適切な無線通信規格を実装し得る。
ネットワーク4106は、1つまたは複数のバックホールネットワーク、コアネットワーク、IPネットワーク、公衆交換電話網(PSTN)、パケットデータネットワーク、光ネットワーク、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)、無線ローカルエリアネットワーク(WLAN)、有線ネットワーク、無線ネットワーク、メトロポリタンエリアネットワーク、およびデバイス間の通信を可能にするための他のネットワークを備え得る。
ネットワークノード4160およびWD4110は、以下でより詳細に説明される様々な構成要素を備える。これらの構成要素は、無線ネットワークにおいて無線接続を提供することなど、ネットワークノードおよび/または無線デバイス機能を提供するために協働する。異なる実施形態では、無線ネットワークは、任意の数の有線または無線ネットワーク、ネットワークノード、基地局、コントローラ、無線デバイス、リレー局、ならびに/あるいは有線接続を介してかまたは無線接続を介してかにかかわらず、データおよび/または信号の通信を容易にするかまたはその通信に参加し得る、任意の他の構成要素またはシステムを備え得る。
本明細書で使用されるネットワークノードは、無線デバイスと、ならびに/あるいは、無線デバイスへの無線アクセスを可能にし、および/または提供するための、および/または、無線ネットワークにおいて他の機能(たとえば、アドミニストレーション)を実施するための、無線ネットワーク中の他のネットワークノードまたは機器と、直接または間接的に通信することが可能な、そうするように設定された、構成された、および/または動作可能な機器を指す。ネットワークノードの例は、限定はしないが、アクセスポイント(AP)(たとえば、無線アクセスポイント)、基地局(BS)(たとえば、無線基地局、ノードB、エボルブドノードB(eNB)およびNRノードB(gNB))を含む。基地局は、基地局が提供するカバレッジの量(または、言い方を変えれば、基地局の送信電力レベル)に基づいてカテゴリー分類され得、その場合、フェムト基地局、ピコ基地局、マイクロ基地局、またはマクロ基地局と呼ばれることもある。基地局は、リレーを制御する、リレーノードまたはリレードナーノードであり得る。ネットワークノードは、リモート無線ヘッド(RRH)と呼ばれることがある、集中型デジタルユニットおよび/またはリモートラジオユニット(RRU)など、分散無線基地局の1つまたは複数(またはすべて)の部分をも含み得る。そのようなリモートラジオユニットは、アンテナ統合無線機としてアンテナと統合されることも統合されないこともある。分散無線基地局の部分は、分散アンテナシステム(DAS)において、ノードと呼ばれることもある。ネットワークノードのまたさらなる例は、マルチスタンダード無線(MSR)BSなどのMSR機器、無線ネットワークコントローラ(RNC)または基地局コントローラ(BSC)などのネットワークコントローラ、基地トランシーバ局(BTS)、送信ポイント、送信ノード、マルチセル/マルチキャスト協調エンティティ(MCE)、コアネットワークノード(たとえば、MSC、MME)、O&Mノード、OSSノード、SONノード、測位ノード(たとえば、E-SMLC)、および/あるいはMDTを含む。別の例として、ネットワークノードは、以下でより詳細に説明されるように、仮想ネットワークノードであり得る。しかしながら、より一般的には、ネットワークノードは、無線ネットワークへのアクセスを可能にし、および/または無線デバイスに提供し、あるいは、無線ネットワークにアクセスした無線デバイスに何らかのサービスを提供することが可能な、そうするように設定された、構成された、および/または動作可能な任意の好適なデバイス(またはデバイスのグループ)を表し得る。
図15では、ネットワークノード4160は、処理回路4170と、デバイス可読媒体4180と、インターフェース4190と、補助機器4184と、電源4186と、電力回路4187と、アンテナ4162とを含む。図15の例示的な無線ネットワーク中に示されているネットワークノード4160は、ハードウェア構成要素の示されている組合せを含むデバイスを表し得るが、他の実施形態は、構成要素の異なる組合せをもつネットワークノードを備え得る。ネットワークノードが、本明細書で開示されるタスク、特徴、機能および方法を実施するために必要とされるハードウェアおよび/またはソフトウェアの任意の好適な組合せを備えることを理解されたい。その上、ネットワークノード4160の構成要素が、より大きいボックス内に位置する単一のボックスとして、または複数のボックス内で入れ子にされている単一のボックスとして図示されているが、実際には、ネットワークノードは、単一の示されている構成要素を組成する複数の異なる物理構成要素を備え得る(たとえば、デバイス可読媒体4180は、複数の別個のハードドライブならびに複数のRAMモジュールを備え得る)。
同様に、ネットワークノード4160は、複数の物理的に別個の構成要素(たとえば、ノードB構成要素およびRNC構成要素、またはBTS構成要素およびBSC構成要素など)から組み立てられ得、これらは各々、それら自体のそれぞれの構成要素を有し得る。ネットワークノード4160が複数の別個の構成要素(たとえば、BTS構成要素およびBSC構成要素)を備えるいくつかのシナリオでは、別個の構成要素のうちの1つまたは複数が、いくつかのネットワークノードの間で共有され得る。たとえば、単一のRNCが複数のノードBを制御し得る。そのようなシナリオでは、各一意のノードBとRNCとのペアは、いくつかの事例では、単一の別個のネットワークノードと見なされ得る。いくつかの実施形態では、ネットワークノード4160は、複数の無線アクセス技術(RAT)をサポートするように設定され得る。そのような実施形態では、いくつかの構成要素は複製され得(たとえば、異なるRATのための別個のデバイス可読媒体4180)、いくつかの構成要素は再使用され得る(たとえば、同じアンテナ4162がRATによって共有され得る)。ネットワークノード4160は、ネットワークノード4160に統合された、たとえば、GSM、WCDMA、LTE、NR、WiFi、またはBluetooth無線技術など、異なる無線技術のための様々な示されている構成要素の複数のセットをも含み得る。これらの無線技術は、同じまたは異なるチップまたはチップのセット、およびネットワークノード4160内の他の構成要素に統合され得る。
処理回路4170は、ネットワークノードによって提供されるものとして本明細書で説明される、任意の決定動作、計算動作、または同様の動作(たとえば、いくつかの取得動作)を実施するように設定される。処理回路4170によって実施されるこれらの動作は、処理回路4170によって取得された情報を、たとえば、取得された情報を他の情報にコンバートすることによって、処理すること、取得された情報またはコンバートされた情報をネットワークノードに記憶された情報と比較すること、ならびに/あるいは、取得された情報またはコンバートされた情報に基づいて、および前記処理が決定を行ったことの結果として、1つまたは複数の動作を実施することを含み得る。
処理回路4170は、単体で、またはデバイス可読媒体4180などの他のネットワークノード4160構成要素と併せてのいずれかで、ネットワークノード4160機能を提供するように動作可能な、マイクロプロセッサ、コントローラ、マイクロコントローラ、中央処理ユニット、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、または任意の他の好適なコンピューティングデバイス、リソースのうちの1つまたは複数の組合せ、あるいはハードウェア、ソフトウェアおよび/または符号化された論理の組合せを備え得る。たとえば、処理回路4170は、デバイス可読媒体4180に記憶された命令、または処理回路4170内のメモリに記憶された命令を実行し得る。そのような機能は、本明細書で説明される様々な無線特徴、機能、または利益のうちのいずれかを提供することを含み得る。いくつかの実施形態では、処理回路4170は、システムオンチップ(SOC)を含み得る。
いくつかの実施形態では、処理回路4170は、無線周波数(RF)トランシーバ回路4172とベースバンド処理回路4174とのうちの1つまたは複数を含み得る。いくつかの実施形態では、無線周波数(RF)トランシーバ回路4172とベースバンド処理回路4174とは、別個のチップ(またはチップのセット)、ボード、または無線ユニットおよびデジタルユニットなどのユニット上にあり得る。代替実施形態では、RFトランシーバ回路4172とベースバンド処理回路4174との一部または全部は、同じチップまたはチップのセット、ボード、あるいはユニット上にあり得る。
いくつかの実施形態では、ネットワークノード、基地局、eNBまたは他のそのようなネットワークデバイスによって提供されるものとして本明細書で説明される機能の一部または全部は、デバイス可読媒体4180、または処理回路4170内のメモリに記憶された、命令を実行する処理回路4170によって実施され得る。代替実施形態では、機能の一部または全部は、ハードワイヤード様式などで、別個のまたは個別のデバイス可読媒体に記憶された命令を実行することなしに、処理回路4170によって提供され得る。それらの実施形態のいずれでも、デバイス可読記憶媒体に記憶された命令を実行するか否かにかかわらず、処理回路4170は、説明される機能を実施するように設定され得る。そのような機能によって提供される利益は、処理回路4170単独に、またはネットワークノード4160の他の構成要素に限定されないが、全体としてネットワークノード4160によって、ならびに/または概してエンドユーザおよび無線ネットワークによって、享受される。
デバイス可読媒体4180は、限定はしないが、永続記憶域、固体メモリ、リモートマウントメモリ、磁気媒体、光媒体、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、大容量記憶媒体(たとえば、ハードディスク)、リムーバブル記憶媒体(たとえば、フラッシュドライブ、コンパクトディスク(CD)またはデジタルビデオディスク(DVD))を含む、任意の形態の揮発性または不揮発性コンピュータ可読メモリ、ならびに/あるいは、処理回路4170によって使用され得る情報、データ、および/または命令を記憶する、任意の他の揮発性または不揮発性、非一時的デバイス可読および/またはコンピュータ実行可能メモリデバイスを備え得る。デバイス可読媒体4180は、コンピュータプログラム、ソフトウェア、論理、ルール、コード、表などのうちの1つまたは複数を含むアプリケーション、および/または処理回路4170によって実行されることが可能であり、ネットワークノード4160によって利用される、他の命令を含む、任意の好適な命令、データまたは情報を記憶し得る。デバイス可読媒体4180は、処理回路4170によって行われた計算および/またはインターフェース4190を介して受信されたデータを記憶するために使用され得る。いくつかの実施形態では、処理回路4170およびデバイス可読媒体4180は、統合されていると見なされ得る。
インターフェース4190は、ネットワークノード4160、ネットワーク4106、および/またはWD4110の間のシグナリングおよび/またはデータの有線または無線通信において使用される。示されているように、インターフェース4190は、たとえば有線接続上でネットワーク4106との間でデータを送るおよび受信するための(1つまたは複数の)ポート/(1つまたは複数の)端末4194を備える。インターフェース4190は、アンテナ4162に接続されるか、またはいくつかの実施形態では、アンテナ4162の一部であり得る、無線フロントエンド回路4192をも含む。無線フロントエンド回路4192は、フィルタ4198と増幅器4196とを備える。無線フロントエンド回路4192は、アンテナ4162および処理回路4170に接続され得る。無線フロントエンド回路は、アンテナ4162と処理回路4170との間で通信される信号を調整するように設定され得る。無線フロントエンド回路4192は、無線接続を介して他のネットワークノードまたはWDに送出されるべきであるデジタルデータを受信し得る。無線フロントエンド回路4192は、デジタルデータを、フィルタ4198および/または増幅器4196の組合せを使用して適切なチャネルおよび帯域幅パラメータを有する無線信号にコンバートし得る。無線信号は、次いで、アンテナ4162を介して送信され得る。同様に、データを受信するとき、アンテナ4162は無線信号を収集し得、次いで、無線信号は無線フロントエンド回路4192によってデジタルデータにコンバートされる。デジタルデータは、処理回路4170に受け渡され得る。他の実施形態では、インターフェースは、異なる構成要素および/または構成要素の異なる組合せを備え得る。
いくつかの代替実施形態では、ネットワークノード4160は別個の無線フロントエンド回路4192を含まないことがあり、代わりに、処理回路4170は、無線フロントエンド回路を備え得、別個の無線フロントエンド回路4192なしでアンテナ4162に接続され得る。同様に、いくつかの実施形態では、RFトランシーバ回路4172の全部または一部が、インターフェース4190の一部と見なされ得る。さらに他の実施形態では、インターフェース4190は、無線ユニット(図示せず)の一部として、1つまたは複数のポートまたは端末4194と、無線フロントエンド回路4192と、RFトランシーバ回路4172とを含み得、インターフェース4190は、デジタルユニット(図示せず)の一部であるベースバンド処理回路4174と通信し得る。
アンテナ4162は、無線信号を送り、および/または受信するように設定された、1つまたは複数のアンテナまたはアンテナアレイを含み得る。アンテナ4162は、無線フロントエンド回路4192に接続され得、データおよび/または信号を無線で送信および受信することが可能な任意のタイプのアンテナであり得る。いくつかの実施形態では、アンテナ4162は、たとえば2GHzから66GHzの間の無線信号を送信/受信するように動作可能な1つまたは複数の全指向性、セクタまたはパネルアンテナを備え得る。全指向性アンテナは、任意の方向に無線信号を送信/受信するために使用され得、セクタアンテナは、特定のエリア内のデバイスから無線信号を送信/受信するために使用され得、パネルアンテナは、比較的直線ラインで無線信号を送信/受信するために使用される見通し線アンテナであり得る。いくつかの事例では、2つ以上のアンテナの使用は、MIMOと呼ばれることがある。いくつかの実施形態では、アンテナ4162は、ネットワークノード4160とは別個であり得、インターフェースまたはポートを通してネットワークノード4160に接続可能であり得る。
アンテナ4162、インターフェース4190、および/または処理回路4170は、ネットワークノードによって実施されるものとして本明細書で説明される任意の受信動作および/またはいくつかの取得動作を実施するように設定され得る。任意の情報、データおよび/または信号が、無線デバイス、別のネットワークノードおよび/または任意の他のネットワーク機器から受信され得る。同様に、アンテナ4162、インターフェース4190、および/または処理回路4170は、ネットワークノードによって実施されるものとして本明細書で説明される任意の送信動作を実施するように設定され得る。任意の情報、データおよび/または信号が、無線デバイス、別のネットワークノードおよび/または任意の他のネットワーク機器に送信され得る。
電力回路4187は、電力管理回路を備えるか、または電力管理回路に接続され得、本明細書で説明される機能を実施するための電力を、ネットワークノード4160の構成要素に供給するように設定される。電力回路4187は、電源4186から電力を受信し得る。電源4186および/または電力回路4187は、それぞれの構成要素に好適な形態で(たとえば、各それぞれの構成要素のために必要とされる電圧および電流レベルにおいて)、ネットワークノード4160の様々な構成要素に電力を提供するように設定され得る。電源4186は、電力回路4187および/またはネットワークノード4160中に含まれるか、あるいは電力回路4187および/またはネットワークノード4160の外部にあるかのいずれかであり得る。たとえば、ネットワークノード4160は、電気ケーブルなどの入力回路またはインターフェースを介して外部電源(たとえば、電気コンセント)に接続可能であり得、それにより、外部電源は電力回路4187に電力を供給する。さらなる例として、電源4186は、電力回路4187に接続された、または電力回路4187中で統合された、バッテリーまたはバッテリーパックの形態の電力源を備え得る。バッテリーは、外部電源が落ちた場合、バックアップ電力を提供し得る。光起電力デバイスなどの他のタイプの電源も使用され得る。
ネットワークノード4160の代替実施形態は、本明細書で説明される機能、および/または本明細書で説明される主題をサポートするために必要な機能のうちのいずれかを含む、ネットワークノードの機能のいくつかの態様を提供することを担当し得る、図15に示されている構成要素以外の追加の構成要素を含み得る。たとえば、ネットワークノード4160は、ネットワークノード4160への情報の入力を可能にするための、およびネットワークノード4160からの情報の出力を可能にするための、ユーザインターフェース機器を含み得る。これは、ユーザが、ネットワークノード4160のための診断、メンテナンス、修復、および他のアドミニストレーティブ機能を実施することを可能にし得る。
本明細書で使用される無線デバイス(WD)は、ネットワークノードおよび/または他の無線デバイスと無線で通信することが可能な、そうするように設定された、構成された、および/または動作可能なデバイスを指す。別段に記載されていない限り、WDという用語は、本明細書ではユーザ機器(UE)と互換的に使用され得る。無線で通信することは、空中で情報を伝達するのに好適な、電磁波、電波、赤外波、および/または他のタイプの信号を使用して無線信号を送信および/または受信することを伴い得る。いくつかの実施形態では、WDは、直接人間対話なしに情報を送信および/または受信するように設定され得る。たとえば、WDは、内部または外部イベントによってトリガされたとき、あるいはネットワークからの要求に応答して、所定のスケジュールでネットワークに情報を送信するように設計され得る。WDの例は、限定はしないが、スマートフォン、モバイルフォン、セルフォン、ボイスオーバーIP(VoIP)フォン、無線ローカルループ電話、デスクトップコンピュータ、携帯情報端末(PDA)、無線カメラ、ゲーミングコンソールまたはデバイス、音楽記憶デバイス、再生器具、ウェアラブル端末デバイス、無線エンドポイント、移動局、タブレット、ラップトップコンピュータ、ラップトップ組込み機器(LEE)、ラップトップ搭載機器(LME)、スマートデバイス、無線顧客構内機器(CPE)、車載無線端末デバイスなどを含む。WDは、たとえばサイドリンク通信、V2V(Vehicle-to-Vehicle)、V2I(Vehicle-to-Infrastructure)、V2X(Vehicle-to-Everything)のための3GPP規格を実装することによって、D2D(device-to-device)通信をサポートし得、この場合、D2D通信デバイスと呼ばれることがある。また別の特定の例として、モノのインターネット(IoT)シナリオでは、WDは、監視および/または測定を実施し、そのような監視および/または測定の結果を別のWDおよび/またはネットワークノードに送信する、マシンまたは他のデバイスを表し得る。別の例として、モバイルフォンにテザリングされたARグラスは、通信サービスのためにネットワークノードと通信するWDを表す。WDは、この場合、マシンツーマシン(M2M)デバイスであり得、M2Mデバイスは、3GPPコンテキストではMTCデバイスと呼ばれることがある。1つの特定の例として、WDは、3GPP狭帯域モノのインターネット(NB-IoT)規格を実装するUEであり得る。そのようなマシンまたはデバイスの特定の例は、センサー、電力計などの計量デバイス、産業用機械類、あるいは家庭用または個人用電気器具(たとえば冷蔵庫、テレビジョンなど)、個人用ウェアラブル(たとえば、時計、フィットネストラッカーなど)である。他のシナリオでは、WDは車両または他の機器を表し得、車両または他の機器は、その動作ステータスを監視することおよび/またはその動作ステータスに関して報告すること、あるいはその動作に関連付けられた他の機能が可能である。上記で説明されたWDは無線接続のエンドポイントを表し得、その場合、デバイスは無線端末と呼ばれることがある。さらに、上記で説明されたWDはモバイルであり得、その場合、デバイスはモバイルデバイスまたはモバイル端末と呼ばれることもある。
示されているように、無線デバイス4110は、アンテナ4111と、インターフェース4114と、処理回路4120と、デバイス可読媒体4130と、ユーザインターフェース機器4132と、補助機器4134と、電源4136と、電力回路4137とを含む。WD4110は、WD4110によってサポートされる、たとえば、ほんの数個を挙げると、GSM、WCDMA、LTE、NR、WiFi、WiMAX、またはBluetooth無線技術など、異なる無線技術のための示されている構成要素のうちの1つまたは複数の複数のセットを含み得る。これらの無線技術は、WD4110内の他の構成要素と同じまたは異なるチップまたはチップのセットに統合され得る。
アンテナ4111は、無線信号を送るおよび/または受信するように設定された、1つまたは複数のアンテナまたはアンテナアレイを含み得、インターフェース4114に接続される。いくつかの代替実施形態では、アンテナ4111は、WD4110とは別個であり、インターフェースまたはポートを通してWD4110に接続可能であり得る。アンテナ4111、インターフェース4114、および/または処理回路4120は、WDによって実施されるものとして本明細書で説明される任意の受信動作または送信動作を実施するように設定され得る。任意の情報、データおよび/または信号が、ネットワークノードおよび/または別のWDから受信され得る。いくつかの実施形態では、無線フロントエンド回路および/またはアンテナ4111は、インターフェースと見なされ得る。
示されているように、インターフェース4114は、無線フロントエンド回路4112とアンテナ4111とを備える。無線フロントエンド回路4112は、1つまたは複数のフィルタ4118と増幅器4116とを備える。無線フロントエンド回路4112は、アンテナ4111および処理回路4120に接続され、アンテナ4111と処理回路4120との間で通信される信号を調整するように設定される。無線フロントエンド回路4112は、アンテナ4111に接続されるか、またはアンテナ4111の一部であり得る。いくつかの実施形態では、WD4110は別個の無線フロントエンド回路4112を含まないことがあり、むしろ、処理回路4120は、無線フロントエンド回路を備え得、アンテナ4111に接続され得る。同様に、いくつかの実施形態では、RFトランシーバ回路4122の一部または全部が、インターフェース4114の一部と見なされ得る。無線フロントエンド回路4112は、無線接続を介して他のネットワークノードまたはWDに送出されるべきであるデジタルデータを受信し得る。無線フロントエンド回路4112は、デジタルデータを、フィルタ4118および/または増幅器4116の組合せを使用して適切なチャネルおよび帯域幅パラメータを有する無線信号にコンバートし得る。無線信号は、次いで、アンテナ4111を介して送信され得る。同様に、データを受信するとき、アンテナ4111は無線信号を収集し得、次いで、無線信号は無線フロントエンド回路4112によってデジタルデータにコンバートされる。デジタルデータは、処理回路4120に受け渡され得る。他の実施形態では、インターフェースは、異なる構成要素および/または構成要素の異なる組合せを備え得る。
処理回路4120は、単体で、またはデバイス可読媒体4130などの他のWD4110構成要素と併せてのいずれかで、WD4110機能を提供するように動作可能な、マイクロプロセッサ、コントローラ、マイクロコントローラ、中央処理ユニット、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、または任意の他の好適なコンピューティングデバイス、リソースのうちの1つまたは複数の組合せ、あるいはハードウェア、ソフトウェアおよび/または符号化された論理の組合せを備え得る。そのような機能は、本明細書で説明される様々な無線特徴または利益のうちのいずれかを提供することを含み得る。たとえば、処理回路4120は、本明細書で開示される機能を提供するために、デバイス可読媒体4130に記憶された命令、または処理回路4120内のメモリに記憶された命令を実行し得る。
示されているように、処理回路4120は、RFトランシーバ回路4122、ベースバンド処理回路4124、およびアプリケーション処理回路4126のうちの1つまたは複数を含む。他の実施形態では、処理回路は、異なる構成要素および/または構成要素の異なる組合せを備え得る。いくつかの実施形態では、WD4110の処理回路4120は、SOCを備え得る。いくつかの実施形態では、RFトランシーバ回路4122、ベースバンド処理回路4124、およびアプリケーション処理回路4126は、別個のチップまたはチップのセット上にあり得る。代替実施形態では、ベースバンド処理回路4124およびアプリケーション処理回路4126の一部または全部は1つのチップまたはチップのセットになるように組み合わせられ得、RFトランシーバ回路4122は別個のチップまたはチップのセット上にあり得る。さらに代替の実施形態では、RFトランシーバ回路4122およびベースバンド処理回路4124の一部または全部は同じチップまたはチップのセット上にあり得、アプリケーション処理回路4126は別個のチップまたはチップのセット上にあり得る。また他の代替実施形態では、RFトランシーバ回路4122、ベースバンド処理回路4124、およびアプリケーション処理回路4126の一部または全部は、同じチップまたはチップのセット中で組み合わせられ得る。いくつかの実施形態では、RFトランシーバ回路4122は、インターフェース4114の一部であり得る。RFトランシーバ回路4122は、処理回路4120のためのRF信号を調整し得る。
いくつかの実施形態では、WDによって実施されるものとして本明細書で説明される機能の一部または全部は、デバイス可読媒体4130に記憶された命令を実行する処理回路4120によって提供され得、デバイス可読媒体4130は、いくつかの実施形態では、コンピュータ可読記憶媒体であり得る。代替実施形態では、機能の一部または全部は、ハードワイヤード様式などで、別個のまたは個別のデバイス可読記憶媒体に記憶された命令を実行することなしに、処理回路4120によって提供され得る。それらの特定の実施形態のいずれでも、デバイス可読記憶媒体に記憶された命令を実行するか否かにかかわらず、処理回路4120は、説明される機能を実施するように設定され得る。そのような機能によって提供される利益は、処理回路4120単独に、またはWD4110の他の構成要素に限定されないが、全体としてWD4110によって、ならびに/または概してエンドユーザおよび無線ネットワークによって、享受される。
処理回路4120は、WDによって実施されるものとして本明細書で説明される、任意の決定動作、計算動作、または同様の動作(たとえば、いくつかの取得動作)を実施するように設定され得る。処理回路4120によって実施されるようなこれらの動作は、処理回路4120によって取得された情報を、たとえば、取得された情報を他の情報にコンバートすることによって、処理すること、取得された情報またはコンバートされた情報をWD4110によって記憶された情報と比較すること、ならびに/あるいは、取得された情報またはコンバートされた情報に基づいて、および前記処理が決定を行ったことの結果として、1つまたは複数の動作を実施することを含み得る。
デバイス可読媒体4130は、コンピュータプログラム、ソフトウェア、論理、ルール、コード、表などのうちの1つまたは複数を含むアプリケーション、および/または処理回路4120によって実行されることが可能な他の命令を記憶するように動作可能であり得る。デバイス可読媒体4130は、コンピュータメモリ(たとえば、ランダムアクセスメモリ(RAM)または読取り専用メモリ(ROM))、大容量記憶媒体(たとえば、ハードディスク)、リムーバブル記憶媒体(たとえば、コンパクトディスク(CD)またはデジタルビデオディスク(DVD))、ならびに/あるいは、処理回路4120によって使用され得る情報、データ、および/または命令を記憶する、任意の他の揮発性または不揮発性、非一時的デバイス可読および/またはコンピュータ実行可能メモリデバイスを含み得る。いくつかの実施形態では、処理回路4120およびデバイス可読媒体4130は、統合されていると見なされ得る。
ユーザインターフェース機器4132は、人間のユーザがWD4110と対話することを可能にする構成要素を提供し得る。そのような対話は、視覚、聴覚、触覚など、多くの形態のものであり得る。ユーザインターフェース機器4132は、ユーザへの出力を作り出すように、およびユーザがWD4110への入力を提供することを可能にするように動作可能であり得る。対話のタイプは、WD4110にインストールされるユーザインターフェース機器4132のタイプに応じて変動し得る。たとえば、WD4110がスマートフォンである場合、対話はタッチスクリーンを介したものであり得、WD4110がスマートメーターである場合、対話は、使用量(たとえば、使用されたガロンの数)を提供するスクリーン、または(たとえば、煙が検出された場合)可聴警報を提供するスピーカーを通したものであり得る。ユーザインターフェース機器4132は、入力インターフェース、デバイスおよび回路、ならびに、出力インターフェース、デバイスおよび回路を含み得る。ユーザインターフェース機器4132は、WD4110への情報の入力を可能にするように設定され、処理回路4120が入力情報を処理することを可能にするために、処理回路4120に接続される。ユーザインターフェース機器4132は、たとえば、マイクロフォン、近接度または他のセンサー、キー/ボタン、タッチディスプレイ、1つまたは複数のカメラ、USBポート、あるいは他の入力回路を含み得る。ユーザインターフェース機器4132はまた、WD4110からの情報の出力を可能にするように、および処理回路4120がWD4110からの情報を出力することを可能にするように設定される。ユーザインターフェース機器4132は、たとえば、スピーカー、ディスプレイ、振動回路、USBポート、ヘッドフォンインターフェース、または他の出力回路を含み得る。ユーザインターフェース機器4132の1つまたは複数の入力および出力インターフェース、デバイス、および回路を使用して、WD4110は、エンドユーザおよび/または無線ネットワークと通信し、エンドユーザおよび/または無線ネットワークが本明細書で説明される機能から利益を得ることを可能にし得る。
補助機器4134は、概してWDによって実施されないことがある、より固有の機能を提供するように動作可能である。これは、様々な目的のために測定を行うための特殊化されたセンサー、有線通信などの追加のタイプの通信のためのインターフェースなどを備え得る。補助機器4134の構成要素の包含およびタイプは、実施形態および/またはシナリオに応じて変動し得る。
電源4136は、いくつかの実施形態では、バッテリーまたはバッテリーパックの形態のものであり得る。外部電源(たとえば、電気コンセント)、光起電力デバイスまたは電池など、他のタイプの電源も使用され得る。WD4110は、電源4136から、本明細書で説明または指示される任意の機能を行うために電源4136からの電力を必要とする、WD4110の様々な部分に電力を配信するための、電力回路4137をさらに備え得る。電力回路4137は、いくつかの実施形態では、電力管理回路を備え得る。電力回路4137は、追加または代替として、外部電源から電力を受信するように動作可能であり得、その場合、WD4110は、電力ケーブルなどの入力回路またはインターフェースを介して(電気コンセントなどの)外部電源に接続可能であり得る。電力回路4137はまた、いくつかの実施形態では、外部電源から電源4136に電力を配信するように動作可能であり得る。これは、たとえば、電源4136の充電のためのものであり得る。電力回路4137は、電源4136からの電力に対して、その電力を、電力が供給されるWD4110のそれぞれの構成要素に好適であるようにするために、任意のフォーマッティング、コンバーティング、または他の修正を実施し得る。
図16は、いくつかの実施形態によるユーザ機器を示す。
図16は、本明細書で説明される様々な態様による、UEの一実施形態を示す。本明細書で使用されるユーザ機器またはUEは、必ずしも、関連するデバイスを所有し、および/または動作させる人間のユーザという意味におけるユーザを有するとは限らない。代わりに、UEは、人間のユーザへの販売、または人間のユーザによる動作を意図されるが、特定の人間のユーザに関連付けられないことがあるか、または特定の人間のユーザに初めに関連付けられないことがある、デバイス(たとえば、スマートスプリンクラーコントローラ)を表し得る。代替的に、UEは、エンドユーザへの販売、またはエンドユーザによる動作を意図されないが、ユーザに関連付けられるか、またはユーザの利益のために動作され得る、デバイス(たとえば、スマート電力計)を表し得る。UE42200は、NB-IoT UE、マシン型通信(MTC)UE、および/または拡張MTC(eMTC)UEを含む、第3世代パートナーシッププロジェクト(3GPP)によって識別される任意のUEであり得る。図16に示されているUE4200は、第3世代パートナーシッププロジェクト(3GPP)のGSM、UMTS、LTE、および/または5G規格など、3GPPによって公表された1つまたは複数の通信規格による通信のために設定されたWDの一例である。前述のように、WDおよびUEという用語は、互換的に使用され得る。したがって、図16はUEであるが、本明細書で説明される構成要素は、WDに等しく適用可能であり、その逆も同様である。
図16では、UE4200は、入出力インターフェース4205、無線周波数(RF)インターフェース4209、ネットワーク接続インターフェース4211、ランダムアクセスメモリ(RAM)4217と読取り専用メモリ(ROM)4219と記憶媒体4221などとを含むメモリ4215、通信サブシステム4231、電源4213、および/または任意の他の構成要素、あるいはそれらの任意の組合せに動作可能に接続された、処理回路4201を含む。記憶媒体4221は、オペレーティングシステム4223と、アプリケーションプログラム4225と、データ4227とを含む。他の実施形態では、記憶媒体4221は、他の同様のタイプの情報を含み得る。いくつかのUEは、図16に示されている構成要素のすべてを利用するか、またはそれらの構成要素のサブセットのみを利用し得る。構成要素間の統合のレベルは、UEごとに変動し得る。さらに、いくつかのUEは、複数のプロセッサ、メモリ、トランシーバ、送信機、受信機など、構成要素の複数のインスタンスを含んでいることがある。
図16では、処理回路4201は、コンピュータ命令およびデータを処理するように設定され得る。処理回路4201は、(たとえば、ディスクリート論理、FPGA、ASICなどにおける)1つまたは複数のハードウェア実装状態機械など、機械可読コンピュータプログラムとしてメモリに記憶された機械命令を実行するように動作可能な任意の逐次状態機械、適切なファームウェアと一緒のプログラマブル論理、適切なソフトウェアと一緒のマイクロプロセッサまたはデジタル信号プロセッサ(DSP)など、1つまたは複数のプログラム内蔵、汎用プロセッサ、あるいは上記の任意の組合せを実装するように設定され得る。たとえば、処理回路4201は、2つの中央処理ユニット(CPU)を含み得る。データは、コンピュータによる使用に好適な形態での情報であり得る。
図示された実施形態では、入出力インターフェース4205は、入力デバイス、出力デバイス、または入出力デバイスに通信インターフェースを提供するように設定され得る。UE4200は、入出力インターフェース4205を介して出力デバイスを使用するように設定され得る。出力デバイスは、入力デバイスと同じタイプのインターフェースポートを使用し得る。たとえば、UE4200への入力およびUE4200からの出力を提供するために、USBポートが使用され得る。出力デバイスは、スピーカー、サウンドカード、ビデオカード、ディスプレイ、モニタ、プリンタ、アクチュエータ、エミッタ、スマートカード、別の出力デバイス、またはそれらの任意の組合せであり得る。UE4200は、ユーザがUE4200に情報をキャプチャすることを可能にするために、入出力インターフェース4205を介して入力デバイスを使用するように設定され得る。入力デバイスは、タッチセンシティブまたはプレゼンスセンシティブディスプレイ、カメラ(たとえば、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなど)、マイクロフォン、センサー、マウス、トラックボール、方向性パッド、トラックパッド、スクロールホイール、スマートカードなどを含み得る。プレゼンスセンシティブディスプレイは、ユーザからの入力を検知するための容量性または抵抗性タッチセンサーを含み得る。センサーは、たとえば、加速度計、ジャイロスコープ、チルトセンサー、力センサー、磁力計、光センサー、近接度センサー、別の同様のセンサー、またはそれらの任意の組合せであり得る。たとえば、入力デバイスは、加速度計、磁力計、デジタルカメラ、マイクロフォン、および光センサーであり得る。
図16では、RFインターフェース4209は、送信機、受信機、およびアンテナなど、RF構成要素に通信インターフェースを提供するように設定され得る。ネットワーク接続インターフェース4211は、ネットワーク4243aに通信インターフェースを提供するように設定され得る。ネットワーク4243aは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、コンピュータネットワーク、無線ネットワーク、通信ネットワーク、別の同様のネットワークまたはそれらの任意の組合せなど、有線および/または無線ネットワークを包含し得る。たとえば、ネットワーク4243aは、Wi-Fiネットワークを備え得る。ネットワーク接続インターフェース4211は、イーサネット、TCP/IP、SONET、ATMなど、1つまたは複数の通信プロトコルに従って通信ネットワーク上で1つまたは複数の他のデバイスと通信するために使用される、受信機および送信機インターフェースを含むように設定され得る。ネットワーク接続インターフェース4211は、通信ネットワークリンク(たとえば、光学的、電気的など)に適した受信機および送信機機能を実装し得る。送信機および受信機機能は、回路構成要素、ソフトウェアまたはファームウェアを共有し得るか、あるいは、代替的に、別個に実装され得る。
RAM4217は、オペレーティングシステム、アプリケーションプログラム、およびデバイスドライバなど、ソフトウェアプログラムの実行中に、データまたはコンピュータ命令の記憶またはキャッシングを提供するために、バス4202を介して処理回路4201にインターフェースするように設定され得る。ROM4219は、処理回路4201にコンピュータ命令またはデータを提供するように設定され得る。たとえば、ROM4219は、不揮発性メモリに記憶される、基本入出力(I/O)、起動、またはキーボードからのキーストロークの受信など、基本システム機能のための、不変低レベルシステムコードまたはデータを記憶するように設定され得る。記憶媒体4221は、RAM、ROM、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、磁気ディスク、光ディスク、フロッピーディスク、ハードディスク、リムーバブルカートリッジ、またはフラッシュドライブなど、メモリを含むように設定され得る。一例では、記憶媒体4221は、オペレーティングシステム4223と、ウェブブラウザアプリケーション、ウィジェットまたはガジェットエンジン、あるいは別のアプリケーションなどのアプリケーションプログラム4225と、データファイル4227とを含むように設定され得る。記憶媒体4221は、UE4200による使用のために、多様な様々なオペレーティングシステムまたはオペレーティングシステムの組合せのうちのいずれかを記憶し得る。
記憶媒体4221は、独立ディスクの冗長アレイ(RAID)、フロッピーディスクドライブ、フラッシュメモリ、USBフラッシュドライブ、外部ハードディスクドライブ、サムドライブ、ペンドライブ、キードライブ、高密度デジタル多用途ディスク(HD-DVD)光ディスクドライブ、内蔵ハードディスクドライブ、Blu-Ray光ディスクドライブ、ホログラフィックデジタルデータ記憶(HDDS)光ディスクドライブ、外部ミニデュアルインラインメモリモジュール(DIMM)、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、外部マイクロDIMM SDRAM、加入者識別モジュールまたはリムーバブルユーザ識別情報(SIM/RUIM)モジュールなどのスマートカードメモリ、他のメモリ、あるいはそれらの任意の組合せなど、いくつかの物理ドライブユニットを含むように設定され得る。記憶媒体4221は、UE4200が、一時的または非一時的メモリ媒体に記憶されたコンピュータ実行可能命令、アプリケーションプログラムなどにアクセスすること、データをオフロードすること、あるいはデータをアップロードすることを可能にし得る。通信システムを利用する製造品などの製造品は、記憶媒体4221中に有形に具現され得、記憶媒体4221はデバイス可読媒体を備え得る。
図16では、処理回路4201は、通信サブシステム4231を使用してネットワーク4243bと通信するように設定され得る。ネットワーク4243aとネットワーク4243bとは、同じ1つまたは複数のネットワークまたは異なる1つまたは複数のネットワークであり得る。通信サブシステム4231は、ネットワーク4243bと通信するために使用される1つまたは複数のトランシーバを含むように設定され得る。たとえば、通信サブシステム4231は、IEEE802.11、CDMA、WCDMA、GSM、LTE、UTRAN、WiMaxなど、1つまたは複数の通信プロトコルに従って、無線アクセスネットワーク(RAN)の別のWD、UE、または基地局など、無線通信が可能な別のデバイスの1つまたは複数のリモートトランシーバと通信するために使用される、1つまたは複数のトランシーバを含むように設定され得る。各トランシーバは、RANリンク(たとえば、周波数割り当てなど)に適した送信機機能または受信機機能をそれぞれ実装するための、送信機4233および/または受信機4235を含み得る。さらに、各トランシーバの送信機4233および受信機4235は、回路構成要素、ソフトウェアまたはファームウェアを共有し得るか、あるいは、代替的に、別個に実装され得る。
示されている実施形態では、通信サブシステム4231の通信機能は、データ通信、ボイス通信、マルチメディア通信、Bluetoothなどの短距離通信、ニアフィールド通信、ロケーションを決定するための全地球測位システム(GPS)の使用などのロケーションベース通信、別の同様の通信機能、またはそれらの任意の組合せを含み得る。たとえば、通信サブシステム4231は、セルラ通信と、Wi-Fi通信と、Bluetooth通信と、GPS通信とを含み得る。ネットワーク4243bは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、コンピュータネットワーク、無線ネットワーク、通信ネットワーク、別の同様のネットワークまたはそれらの任意の組合せなど、有線および/または無線ネットワークを包含し得る。たとえば、ネットワーク4243bは、セルラネットワーク、Wi-Fiネットワーク、および/またはニアフィールドネットワークであり得る。電源4213は、UE4200の構成要素に交流(AC)または直流(DC)電力を提供するように設定され得る。
本明細書で説明される特徴、利益および/または機能は、UE4200の構成要素のうちの1つにおいて実装されるか、またはUE4200の複数の構成要素にわたって区分され得る。さらに、本明細書で説明される特徴、利益、および/または機能は、ハードウェア、ソフトウェアまたはファームウェアの任意の組合せで実装され得る。一例では、通信サブシステム4231は、本明細書で説明される構成要素のうちのいずれかを含むように設定され得る。さらに、処理回路4201は、バス4202上でそのような構成要素のうちのいずれかと通信するように設定され得る。別の例では、そのような構成要素のうちのいずれかは、処理回路4201によって実行されたとき、本明細書で説明される対応する機能を実施する、メモリに記憶されたプログラム命令によって表され得る。別の例では、そのような構成要素のうちのいずれかの機能は、処理回路4201と通信サブシステム4231との間で区分され得る。別の例では、そのような構成要素のうちのいずれかの非計算集約的機能が、ソフトウェアまたはファームウェアで実装され得、計算集約的機能がハードウェアで実装され得る。
図17は、いくつかの実施形態による仮想化環境を示す。
図17は、いくつかの実施形態によって実装される機能が仮想化され得る、仮想化環境4300を示す概略ブロック図である。本コンテキストでは、仮想化することは、ハードウェアプラットフォーム、記憶デバイスおよびネットワーキングリソースを仮想化することを含み得る、装置またはデバイスの仮想バージョンを作成することを意味する。本明細書で使用される仮想化は、ノード(たとえば、仮想化された基地局または仮想化された無線アクセスノード)に、あるいはデバイス(たとえば、UE、無線デバイスまたは任意の他のタイプの通信デバイス)またはそのデバイスの構成要素に適用され得、機能の少なくとも一部分が、(たとえば、1つまたは複数のネットワークにおいて1つまたは複数の物理処理ノード上で実行する、1つまたは複数のアプリケーション、構成要素、機能、仮想マシンまたはコンテナを介して)1つまたは複数の仮想構成要素として実装される、実装形態に関する。
いくつかの実施形態では、本明細書で説明される機能の一部または全部は、ハードウェアノード4330のうちの1つまたは複数によってホストされる1つまたは複数の仮想環境4300において実装される1つまたは複数の仮想マシンによって実行される、仮想構成要素として実装され得る。さらに、仮想ノードが、無線アクセスノードではないか、または無線コネクティビティ(たとえば、コアネットワークノード)を必要としない実施形態では、ネットワークノードは完全に仮想化され得る。
機能は、本明細書で開示される実施形態のうちのいくつかの特徴、機能、および/または利益のうちのいくつかを実装するように動作可能な、(代替的に、ソフトウェアインスタンス、仮想アプライアンス、ネットワーク機能、仮想ノード、仮想ネットワーク機能などと呼ばれることがある)1つまたは複数のアプリケーション4320によって実装され得る。アプリケーション4320は、処理回路4360とメモリ4390とを備えるハードウェア4330を提供する、仮想化環境4300において稼働される。メモリ4390は、処理回路4360によって実行可能な命令4395を含んでおり、それにより、アプリケーション4320は、本明細書で開示される特徴、利益、および/または機能のうちの1つまたは複数を提供するように動作可能である。
仮想化環境4300は、1つまたは複数のプロセッサのセットまたは処理回路4360を備える、汎用または専用のネットワークハードウェアデバイス4330を備え、1つまたは複数のプロセッサのセットまたは処理回路4360は、商用オフザシェルフ(COTS)プロセッサ、専用の特定用途向け集積回路(ASIC)、あるいは、デジタルもしくはアナログハードウェア構成要素または専用プロセッサを含む任意の他のタイプの処理回路であり得る。各ハードウェアデバイスはメモリ4390-1を備え得、メモリ4390-1は、処理回路4360によって実行される命令4395またはソフトウェアを一時的に記憶するための非永続的メモリであり得る。各ハードウェアデバイスは、ネットワークインターフェースカードとしても知られる、1つまたは複数のネットワークインターフェースコントローラ(NIC)4370を備え得、ネットワークインターフェースコントローラ(NIC)4370は物理ネットワークインターフェース4380を含む。各ハードウェアデバイスは、処理回路4360によって実行可能なソフトウェア4395および/または命令を記憶した、非一時的、永続的、マシン可読記憶媒体4390-2をも含み得る。ソフトウェア4395は、1つまたは複数の(ハイパーバイザとも呼ばれる)仮想化レイヤ4350をインスタンス化するためのソフトウェア、仮想マシン4340を実行するためのソフトウェア、ならびに、それが、本明細書で説明されるいくつかの実施形態との関係において説明される機能、特徴および/または利益を実行することを可能にする、ソフトウェアを含む、任意のタイプのソフトウェアを含み得る。
仮想マシン4340は、仮想処理、仮想メモリ、仮想ネットワーキングまたはインターフェース、および仮想ストレージを備え、対応する仮想化レイヤ4350またはハイパーバイザによって稼働され得る。仮想アプライアンス4320の事例の異なる実施形態が、仮想マシン4340のうちの1つまたは複数上で実装され得、実装は異なるやり方で行われ得る。
動作中に、処理回路4360は、ソフトウェア4395を実行してハイパーバイザまたは仮想化レイヤ4350をインスタンス化し、ハイパーバイザまたは仮想化レイヤ4350は、時々、仮想マシンモニタ(VMM)と呼ばれることがある。仮想化レイヤ4350は、仮想マシン4340に、ネットワーキングハードウェアのように見える仮想動作プラットフォームを提示し得る。
図17に示されているように、ハードウェア4330は、一般的なまたは特定の構成要素をもつスタンドアロンネットワークノードであり得る。ハードウェア4330は、アンテナ43225を備え得、仮想化を介していくつかの機能を実装し得る。代替的に、ハードウェア4330は、多くのハードウェアノードが協働し、特に、アプリケーション4320のライフサイクル管理を監督する、管理およびオーケストレーション(MANO)43100を介して管理される、(たとえば、データセンタまたは顧客構内機器(CPE)の場合のような)ハードウェアのより大きいクラスタの一部であり得る。
ハードウェアの仮想化は、いくつかのコンテキストにおいて、ネットワーク機能仮想化(NFV)と呼ばれる。NFVは、多くのネットワーク機器タイプを、データセンタおよび顧客構内機器中に位置し得る、業界標準高ボリュームサーバハードウェア、物理スイッチ、および物理ストレージ上にコンソリデートするために使用され得る。
NFVのコンテキストでは、仮想マシン4340は、プログラムを、それらのプログラムが、物理的な仮想化されていないマシン上で実行しているかのように稼働する、物理マシンのソフトウェア実装形態であり得る。仮想マシン4340の各々と、その仮想マシンに専用のハードウェアであろうと、および/またはその仮想マシンによって仮想マシン4340のうちの他の仮想マシンと共有されるハードウェアであろうと、その仮想マシンを実行するハードウェア4330のその一部とは、別個の仮想ネットワークエレメント(VNE)を形成する。
さらにNFVのコンテキストでは、仮想ネットワーク機能(VNF)は、ハードウェアネットワーキングインフラストラクチャ4330の上の1つまたは複数の仮想マシン4340において稼働する特定のネットワーク機能をハンドリングすることを担当し、図17中のアプリケーション4320に対応する。
いくつかの実施形態では、各々、1つまたは複数の送信機43220と1つまたは複数の受信機43210とを含む、1つまたは複数の無線ユニット43200は、1つまたは複数のアンテナ43225に接続され得る。無線ユニット43200は、1つまたは複数の適切なネットワークインターフェースを介してハードウェアノード4330と直接通信し得、無線アクセスノードまたは基地局など、無線能力をもつ仮想ノードを提供するために仮想構成要素と組み合わせて使用され得る。
いくつかの実施形態では、何らかのシグナリングが、ハードウェアノード4330と無線ユニット43200との間の通信のために代替的に使用され得る制御システム43230を使用して、実現され得る。
図18は、いくつかの実施形態による、中間ネットワークを介してホストコンピュータに接続された通信ネットワークを示す。
図18を参照すると、一実施形態によれば、通信システムが、無線アクセスネットワークなどのアクセスネットワーク4411とコアネットワーク4414とを備える、3GPPタイプセルラネットワークなどの通信ネットワーク4410を含む。アクセスネットワーク4411は、NB、eNB、gNBまたは他のタイプの無線アクセスポイントなど、複数の基地局4412a、4412b、4412cを備え、各々が、対応するカバレッジエリア4413a、4413b、4413cを規定する。各基地局4412a、4412b、4412cは、有線接続または無線接続4415上でコアネットワーク4414に接続可能である。カバレッジエリア4413c中に位置する第1のUE4491が、対応する基地局4412cに無線で接続するか、または対応する基地局4412cによってページングされるように設定される。カバレッジエリア4413a中の第2のUE4492が、対応する基地局4412aに無線で接続可能である。この例では複数のUE4491、4492が示されているが、開示される実施形態は、唯一のUEがカバレッジエリア中にある状況、または唯一のUEが、対応する基地局4412に接続している状況に等しく適用可能である。
通信ネットワーク4410は、それ自体、ホストコンピュータ4430に接続され、ホストコンピュータ4430は、スタンドアロンサーバ、クラウド実装サーバ、分散サーバのハードウェアおよび/またはソフトウェアにおいて、あるいはサーバファーム中の処理リソースとして具現され得る。ホストコンピュータ4430は、サービスプロバイダの所有または制御下にあり得、あるいはサービスプロバイダによってまたはサービスプロバイダに代わって動作され得る。通信ネットワーク4410とホストコンピュータ4430との間の接続4421および4422は、コアネットワーク4414からホストコンピュータ4430に直接延び得るか、または随意の中間ネットワーク4420を介して進み得る。中間ネットワーク4420は、パブリックネットワーク、プライベートネットワークまたはホストされたネットワークのうちの1つ、またはそれらのうちの2つ以上の組合せであり得、中間ネットワーク4420は、もしあれば、バックボーンネットワークまたはインターネットであり得、特に、中間ネットワーク4420は、2つまたはそれ以上のサブネットワーク(図示せず)を備え得る。
図18の通信システムは全体として、接続されたUE4491、4492とホストコンピュータ4430との間のコネクティビティを可能にする。コネクティビティは、オーバーザトップ(OTT)接続4450として説明され得る。ホストコンピュータ4430および接続されたUE4491、4492は、アクセスネットワーク4411、コアネットワーク4414、任意の中間ネットワーク4420、および考えられるさらなるインフラストラクチャ(図示せず)を媒介として使用して、OTT接続4450を介して、データおよび/またはシグナリングを通信するように設定される。OTT接続4450は、OTT接続4450が通過する、参加する通信デバイスが、アップリンクおよびダウンリンク通信のルーティングに気づいていないという意味で、透過的であり得る。たとえば、基地局4412は、接続されたUE4491にフォワーディング(たとえば、ハンドオーバ)されるべき、ホストコンピュータ4430から発生したデータを伴う着信ダウンリンク通信の過去のルーティングについて、知らされないことがあるかまたは知らされる必要がない。同様に、基地局4412は、UE4491から発生してホストコンピュータ4430に向かう発信アップリンク通信の将来のルーティングに気づいている必要がない。
図19は、いくつかの実施形態による、部分的無線接続上で基地局を介してユーザ機器と通信するホストコンピュータを示す。
次に、一実施形態による、前の段落において説明されたUE、基地局およびホストコンピュータの例示的な実装形態が、図19を参照しながら説明される。通信システム4500では、ホストコンピュータ4510が、通信システム4500の異なる通信デバイスのインターフェースとの有線接続または無線接続をセットアップおよび維持するように設定された通信インターフェース4516を含む、ハードウェア4515を備える。ホストコンピュータ4510は、記憶能力および/または処理能力を有し得る、処理回路4518をさらに備える。特に、処理回路4518は、命令を実行するように適応された、1つまたは複数のプログラマブルプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、またはこれらの組合せ(図示せず)を備え得る。ホストコンピュータ4510は、ホストコンピュータ4510に記憶されるかまたはホストコンピュータ4510によってアクセス可能であり、処理回路4518によって実行可能である、ソフトウェア4511をさらに備える。ソフトウェア4511はホストアプリケーション4512を含む。ホストアプリケーション4512は、UE4530およびホストコンピュータ4510において終端するOTT接続4550を介して接続するUE4530など、リモートユーザにサービスを提供するように動作可能であり得る。リモートユーザにサービスを提供する際に、ホストアプリケーション4512は、OTT接続4550を使用して送信されるユーザデータを提供し得る。
通信システム4500は、通信システム中に提供される基地局4520をさらに含み、基地局4520は、基地局4520がホストコンピュータ4510およびUE4530と通信することを可能にするハードウェア4525を備える。ハードウェア4525は、通信システム4500の異なる通信デバイスのインターフェースとの有線接続または無線接続をセットアップおよび維持するための通信インターフェース4526、ならびに基地局4520によってサーブされるカバレッジエリア(図19に図示せず)中に位置するUE4530との少なくとも無線接続4570をセットアップおよび維持するための無線インターフェース4527を含み得る。通信インターフェース4526は、ホストコンピュータ4510への接続4560を容易にするように設定され得る。接続4560は直接であり得るか、あるいは、接続4560は、通信システムのコアネットワーク(図19に図示せず)を、および/または通信システムの外部の1つまたは複数の中間ネットワークを通過し得る。図示の実施形態では、基地局4520のハードウェア4525は、処理回路4528をさらに含み、処理回路4528は、命令を実行するように適応された、1つまたは複数のプログラマブルプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、またはこれらの組合せ(図示せず)を備え得る。基地局4520は、内部的に記憶されるかまたは外部接続を介してアクセス可能なソフトウェア4521をさらに有する。
通信システム4500は、すでに言及されたUE4530をさらに含む。UE4530のハードウェア4535は、UE4530が現在位置するカバレッジエリアをサーブする基地局との無線接続4570をセットアップおよび維持するように設定された、無線インターフェース4537を含み得る。UE4530のハードウェア4535は、処理回路4538をさらに含み、処理回路4538は、命令を実行するように適応された、1つまたは複数のプログラマブルプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、またはこれらの組合せ(図示せず)を備え得る。UE4530は、UE4530に記憶されるかまたはUE4530によってアクセス可能であり、処理回路4538によって実行可能である、ソフトウェア4531をさらに備える。ソフトウェア4531はクライアントアプリケーション4532を含む。クライアントアプリケーション4532は、ホストコンピュータ4510のサポートのもとに、UE4530を介して人間のまたは人間でないユーザにサービスを提供するように動作可能であり得る。ホストコンピュータ4510では、実行しているホストアプリケーション4512は、UE4530およびホストコンピュータ4510において終端するOTT接続4550を介して、実行しているクライアントアプリケーション4532と通信し得る。ユーザにサービスを提供する際に、クライアントアプリケーション4532は、ホストアプリケーション4512から要求データを受信し、要求データに応答してユーザデータを提供し得る。OTT接続4550は、要求データとユーザデータの両方を転送し得る。クライアントアプリケーション4532は、クライアントアプリケーション4532が提供するユーザデータを生成するためにユーザと対話し得る。
図19に示されているホストコンピュータ4510、基地局4520およびUE4530は、それぞれ、図18のホストコンピュータ4430、基地局4412a、4412b、4412cのうちの1つ、およびUE4491、4492のうちの1つと同様または同等であり得ることに留意されたい。つまり、これらのエンティティの内部の働きは、図19に示されているようなものであり得、別個に、周囲のネットワークトポロジーは、図18のものであり得る。
図19では、OTT接続4550は、仲介デバイスとこれらのデバイスを介したメッセージの正確なルーティングとへの明示的言及なしに、基地局4520を介したホストコンピュータ4510とUE4530との間の通信を示すために抽象的に描かれている。ネットワークインフラストラクチャが、ルーティングを決定し得、ネットワークインフラストラクチャは、UE4530からまたはホストコンピュータ4510を動作させるサービスプロバイダから、またはその両方からルーティングを隠すように設定され得る。OTT接続4550がアクティブである間、ネットワークインフラストラクチャは、さらに、ネットワークインフラストラクチャが(たとえば、ネットワークの負荷分散考慮または再設定に基づいて)ルーティングを動的に変更する判断を行い得る。
UE4530と基地局4520との間の無線接続4570は、本開示全体にわたって説明される実施形態の教示に従う。様々な実施形態のうちの1つまたは複数は、無線接続4570が最後のセグメントを形成するOTT接続4550を使用して、UE4530に提供されるOTTサービスの性能を改善し得る。より正確には、これらの実施形態の教示は、ランダムアクセス速度を改善し、および/またはランダムアクセス障害レートを低減し、それにより、より速いおよび/またはより信頼できるランダムアクセスなどの利益を提供し得る。
1つまたは複数の実施形態が改善する、データレート、レイテンシおよび他のファクタを監視する目的での、測定プロシージャが提供され得る。測定結果の変動に応答して、ホストコンピュータ4510とUE4530との間のOTT接続4550を再設定するための随意のネットワーク機能がさらにあり得る。測定プロシージャおよび/またはOTT接続4550を再設定するためのネットワーク機能は、ホストコンピュータ4510のソフトウェア4511およびハードウェア4515でまたはUE4530のソフトウェア4531およびハードウェア4535で、またはその両方で実装され得る。実施形態では、OTT接続4550が通過する通信デバイスにおいて、またはその通信デバイスに関連して、センサー(図示せず)が展開され得、センサーは、上記で例示された監視された量の値を供給すること、またはソフトウェア4511、4531が監視された量を算出または推定し得る他の物理量の値を供給することによって、測定プロシージャに参加し得る。OTT接続4550の再設定は、メッセージフォーマット、再送信セッティング、好ましいルーティングなどを含み得、再設定は、基地局4520に影響を及ぼす必要がなく、再設定は、基地局4520に知られていないかまたは知覚不可能であり得る。そのようなプロシージャおよび機能は、当技術分野において知られ、実践され得る。いくつかの実施形態では、測定は、スループット、伝搬時間、レイテンシなどのホストコンピュータ4510の測定を容易にするプロプライエタリUEシグナリングを伴い得る。測定は、ソフトウェア4511および4531が、ソフトウェア4511および4531が伝搬時間、エラーなどを監視する間にOTT接続4550を使用して、メッセージ、特に空のまたは「ダミー」メッセージが送信されることを引き起こすことにおいて、実装され得る。
図20は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図20は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図20への図面参照のみがこのセクションに含まれる。ステップ4610において、ホストコンピュータはユーザデータを提供する。ステップ4610の(随意であり得る)サブステップ4611において、ホストコンピュータは、ホストアプリケーションを実行することによって、ユーザデータを提供する。ステップ4620において、ホストコンピュータは、UEにユーザデータを搬送する送信を始動する。(随意であり得る)ステップ4630において、基地局は、本開示全体にわたって説明される実施形態の教示に従って、ホストコンピュータが始動した送信において搬送されたユーザデータをUEに送信する。(また、随意であり得る)ステップ4640において、UEは、ホストコンピュータによって実行されるホストアプリケーションに関連付けられたクライアントアプリケーションを実行する。
図21は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図21は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図21への図面参照のみがこのセクションに含まれる。方法のステップ4710において、ホストコンピュータはユーザデータを提供する。随意のサブステップ(図示せず)において、ホストコンピュータは、ホストアプリケーションを実行することによって、ユーザデータを提供する。ステップ4720において、ホストコンピュータは、UEにユーザデータを搬送する送信を始動する。送信は、本開示全体にわたって説明される実施形態の教示に従って、基地局を介して通り得る。(随意であり得る)ステップ4730において、UEは、送信において搬送されたユーザデータを受信する。
図22は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図22は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図22への図面参照のみがこのセクションに含まれる。(随意であり得る)ステップ4810において、UEは、ホストコンピュータによって提供された入力データを受信する。追加または代替として、ステップ4820において、UEはユーザデータを提供する。ステップ4820の(随意であり得る)サブステップ4821において、UEは、クライアントアプリケーションを実行することによって、ユーザデータを提供する。ステップ4810の(随意であり得る)サブステップ4811において、UEは、ホストコンピュータによって提供された受信された入力データに反応してユーザデータを提供する、クライアントアプリケーションを実行する。ユーザデータを提供する際に、実行されたクライアントアプリケーションは、ユーザから受信されたユーザ入力をさらに考慮し得る。ユーザデータが提供された特定の様式にかかわらず、UEは、(随意であり得る)サブステップ4830において、ホストコンピュータへのユーザデータの送信を始動する。方法のステップ4840において、ホストコンピュータは、本開示全体にわたって説明される実施形態の教示に従って、UEから送信されたユーザデータを受信する。
図23は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図23は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図23への図面参照のみがこのセクションに含まれる。(随意であり得る)ステップ4910において、本開示全体にわたって説明される実施形態の教示に従って、基地局は、UEからユーザデータを受信する。(随意であり得る)ステップ4920において、基地局は、ホストコンピュータへの、受信されたユーザデータの送信を始動する。(随意であり得る)ステップ4930において、ホストコンピュータは、基地局によって始動された送信において搬送されたユーザデータを受信する。
本明細書で開示される任意の適切なステップ、方法、特徴、機能、または利益は、1つまたは複数の仮想装置の1つまたは複数の機能ユニットまたはモジュールを通して実施され得る。各仮想装置は、いくつかのこれらの機能ユニットを備え得る。これらの機能ユニットは、1つまたは複数のマイクロプロセッサまたはマイクロコントローラを含み得る、処理回路、ならびに、デジタル信号プロセッサ(DSP)、専用デジタル論理などを含み得る、他のデジタルハードウェアを介して実装され得る。処理回路は、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、キャッシュメモリ、フラッシュメモリデバイス、光記憶デバイスなど、1つまたはいくつかのタイプのメモリを含み得るメモリに記憶されたプログラムコードを実行するように設定され得る。メモリに記憶されたプログラムコードは、1つまたは複数の通信および/またはデータ通信プロトコルを実行するためのプログラム命令、ならびに本明細書で説明される技法のうちの1つまたは複数を行うための命令を含む。いくつかの実装形態では、処理回路は、それぞれの機能ユニットに、本開示の1つまたは複数の実施形態による、対応する機能を実施させるために使用され得る。
ユニットという用語は、エレクトロニクス、電気デバイス、および/または電子デバイスの分野での通常の意味を有し得、たとえば、本明細書で説明されるものなど、それぞれのタスク、プロシージャ、算出、出力、および/または表示機能を行うための、電気および/または電子回路、デバイス、モジュール、プロセッサ、メモリ、論理固体および/または個別デバイス、コンピュータプログラムまたは命令などを含み得る。
略語
以下の略語のうちの少なくともいくつかが本開示で使用され得る。略語間の不整合がある場合、その略語が上記でどのように使用されるかが選好されるべきである。以下で複数回リストされる場合、最初のリスティングが(1つまたは複数の)後続のリスティングよりも選好されるべきである。
1x RTT CDMA2000 1x無線送信技術
3GPP 第3世代パートナーシッププロジェクト
5G 第5世代
ABS オールモストブランクサブフレーム
ARQ 自動再送要求
AWGN 加法性白色ガウス雑音
BCCH ブロードキャスト制御チャネル
BCH ブロードキャストチャネル
CA キャリアアグリゲーション
CC キャリアコンポーネント
CCCH SDU 共通制御チャネルSDU
CDMA 符号分割多重化アクセス
CGI セルグローバル識別子
CIR チャネルインパルス応答
CP サイクリックプレフィックス
CPICH 共通パイロットチャネル
CPICH Ec/No 帯域中の電力密度で除算されたチップごとのCPICH受信エネルギー
CQI チャネル品質情報
C-RNTI セルRNTI
CSI チャネル状態情報
DCCH 専用制御チャネル
DL ダウンリンク
DM 復調
DMRS 復調用参照信号
DRX 間欠受信
DTX 間欠送信
DTCH 専用トラフィックチャネル
DUT 被試験デバイス
E-CID 拡張セルID(測位方法)
E-SMLC エボルブドサービングモバイルロケーションセンタ
ECGI エボルブドCGI
eNB E-UTRANノードB
ePDCCH 拡張物理ダウンリンク制御チャネル
E-SMLC エボルブドサービングモバイルロケーションセンタ
E-UTRA 拡張UTRA
E-UTRAN 拡張UTRAN
FDD 周波数分割複信
FFS さらなる検討が必要
GERAN GSM EDGE無線アクセスネットワーク
gNB NRにおける基地局
GNSS グローバルナビゲーション衛星システム
GSM 汎欧州デジタル移動電話方式
HARQ ハイブリッド自動再送要求
HO ハンドオーバ
HSPA 高速パケットアクセス
HRPD 高速パケットデータ
LOS 見通し線
LPP LTE測位プロトコル
LTE Long-Term Evolution
MAC 媒体アクセス制御
MBMS マルチメディアブロードキャストマルチキャストサービス
MBSFN マルチメディアブロードキャストマルチキャストサービス単一周波数ネットワーク
MBSFN ABS MBSFNオールモストブランクサブフレーム
MDT ドライブテスト最小化
MIB マスタ情報ブロック
MME モビリティ管理エンティティ
MSC モバイルスイッチングセンタ
NPDCCH 狭帯域物理ダウンリンク制御チャネル
NR 新無線
OCNG OFDMAチャネル雑音生成器
OFDM 直交周波数分割多重
OFDMA 直交周波数分割多元接続
OSS 運用サポートシステム
OTDOA 観測到達時間差
O&M 運用保守
PBCH 物理ブロードキャストチャネル
P-CCPCH 1次共通制御物理チャネル
PCell 1次セル
PCFICH 物理制御フォーマットインジケータチャネル
PDCCH 物理ダウンリンク制御チャネル
PDP プロファイル遅延プロファイル
PDSCH 物理ダウンリンク共有チャネル
PGW パケットゲートウェイ
PHICH 物理ハイブリッドARQ指示チャネル
PLMN パブリックランドモバイルネットワーク
PMI プリコーダ行列インジケータ
PRACH 物理ランダムアクセスチャネル
PRS 測位参照信号
PSS 1次同期信号
PUCCH 物理アップリンク制御チャネル
PUSCH 物理アップリンク共有チャネル
RACH ランダムアクセスチャネル
QAM 直交振幅変調
RAN 無線アクセスネットワーク
RAT 無線アクセス技術
RLM 無線リンク管理
RNC 無線ネットワークコントローラ
RNTI 無線ネットワーク一時識別子
RRC 無線リソース制御
RRM 無線リソース管理
RS 参照信号
RSCP 受信信号コード電力
RSRP 参照シンボル受信電力または
参照信号受信電力
RSRQ 参照信号受信品質または
参照シンボル受信品質
RSSI 受信信号強度インジケータ
RSTD 参照信号時間差
SCH 同期チャネル
SCell 2次セル
SDU サービスデータユニット
SFN システムフレーム番号
SGW サービングゲートウェイ
SI システム情報
SIB システム情報ブロック
SNR 信号対雑音比
SON 自己最適化ネットワーク
SS 同期信号
SSS 2次同期信号
TDD 時分割複信
TDOA 到達時間差
TOA 到達時間
TSS 3次同期信号
TTI 送信時間間隔
UE ユーザ機器
UL アップリンク
UMTS Universal Mobile Telecommunication System
USIM ユニバーサル加入者識別モジュール
UTDOA アップリンク到達時間差
UTRA ユニバーサル地上無線アクセス
UTRAN ユニバーサル地上無線アクセスネットワーク
WCDMA ワイドCDMA
WLAN ワイドローカルエリアネットワーク
さらなる規定および実施形態が以下で説明される。
本発明概念の様々な実施形態の上記の説明では、本明細書で使用される専門用語は、特定の実施形態を説明するためのものにすぎず、本発明概念を限定するものではないことを理解されたい。別段に規定されていない限り、本明細書で使用される(技術用語および科学用語を含む)すべての用語は、本発明概念が属する技術の当業者によって通常理解されるものと同じ意味を有する。通常使用される辞書において規定される用語など、用語は、本明細書および関連技術のコンテキストにおけるそれらの用語の意味に従う意味を有するものとして解釈されるべきであり、明確にそのように本明細書で規定されない限り、理想的なまたは過度に形式的な意味において解釈されないことをさらに理解されよう。
エレメントが、別のエレメントに「接続された」、「接続された」、「応答する」、またはそれらの変形態であると呼ばれるとき、そのエレメントは、別のエレメントに直接、接続され、接続され、または応答し得、あるいは介在するエレメントが存在し得る。対照的に、エレメントが、別のエレメントに「直接接続された」、「直接接続された」、「直接応答する」、またはそれらの変形態であると呼ばれるとき、介在するエレメントが存在しない。同様の番号は、全体にわたって同様のエレメントを指す。さらに、本明細書で使用される、「接続された」、「接続された」、「応答する」、またはそれらの変形態は、無線で接続された、無線で接続された、または無線で応答する、を含み得る。本明細書で使用される単数形「a」、「an」および「the」は、コンテキストが別段に明確に指示するのでなければ、複数形をも含むものとする。簡潔および/または明快のために、よく知られている機能または構築が詳細に説明されないことがある。「および/または」(「/」と略される)という用語は、関連するリストされた項目のうちの1つまたは複数の任意のおよび全部の組合せを含む。
様々なエレメント/動作を説明するために、第1の、第2の、第3の、などの用語が本明細書で使用され得るが、これらのエレメント/動作は、これらの用語によって限定されるべきでないことを理解されよう。これらの用語は、あるエレメント/動作を別のエレメント/動作と区別するために使用されるにすぎない。したがって、本発明概念の教示から逸脱することなしに、いくつかの実施形態における第1のエレメント/動作が、他の実施形態において第2のエレメント/動作と呼ばれることがある。同じ参照番号または同じ参照符号は、本明細書全体にわたって同じまたは同様のエレメントを示す。
本明細書で使用される、「備える、含む(comprise)」、「備える、含む(comprising)」、「備える、含む(comprises)」、「含む(include)」、「含む(including)」、「含む(includes)」、「有する(have)」、「有する(has)」、「有する(having)」という用語、またはそれらの変形態は、オープンエンドであり、1つまたは複数の述べられた特徴、完全体、エレメント、ステップ、構成要素または機能を含むが、1つまたは複数の他の特徴、完全体、エレメント、ステップ、構成要素、機能またはそれらのグループの存在または追加を排除しない。さらに、本明細書で使用される、「たとえば(exempli gratia)」というラテン語句に由来する「たとえば(e.g.)」という通例の略語は、前述の項目の一般的な1つまたは複数の例を紹介するかまたは具体的に挙げるために使用され得、そのような項目を限定するものではない。「すなわち(id est)」というラテン語句に由来する「すなわち(i.e.)」という通例の略語は、より一般的な具陳から特定の項目を具体的に挙げるために使用され得る。
例示的な実施形態が、コンピュータ実装方法、装置(システムおよび/またはデバイス)および/またはコンピュータプログラム製品のブロック図および/またはフローチャート例示を参照しながら本明細書で説明された。ブロック図および/またはフローチャート例示のブロック、ならびにブロック図および/またはフローチャート例示中のブロックの組合せが、1つまたは複数のコンピュータ回路によって実施されるコンピュータプログラム命令によって実装され得ることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ回路、専用コンピュータ回路、および/またはマシンを作り出すための他のプログラマブルデータ処理回路のプロセッサ回路に提供され得、したがって、コンピュータおよび/または他のプログラマブルデータ処理装置のプロセッサを介して実行する命令は、ブロック図および/またはフローチャートの1つまたは複数のブロックにおいて指定された機能/行為を実装するために、およびそれにより、ブロック図および/またはフローチャートの(1つまたは複数の)ブロックにおいて指定された機能/行為を実装するための手段(機能)および/または構造を作成するために、トランジスタ、メモリロケーションに記憶された値、およびそのような回路内の他のハードウェア構成要素を変換および制御する。
これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラマブルデータ処理装置に特定の様式で機能するように指示することができる、有形コンピュータ可読媒体に記憶され得、したがって、コンピュータ可読媒体に記憶された命令は、ブロック図および/またはフローチャートの1つまたは複数のブロックにおいて指定された機能/行為を実装する命令を含む製造品を作り出す。したがって、本発明概念の実施形態は、ハードウェアで、および/または「回路」、「モジュール」またはそれらの変形態と総称して呼ばれることがある、デジタル信号プロセッサなどのプロセッサ上で稼働する(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)ソフトウェアで具現され得る。
また、いくつかの代替実装形態では、ブロック中で言及される機能/行為は、フローチャート中で言及される順序から外れて行われ得ることに留意されたい。たとえば、関与する機能/行為に応じて、連続して示されている2つのブロックが、事実上、実質的にコンカレントに実行され得るか、またはブロックが、時々、逆の順序で実行され得る。その上、フローチャートおよび/またはブロック図の所与のブロックの機能が、複数のブロックに分離され得、ならびに/あるいはフローチャートおよび/またはブロック図の2つまたはそれ以上のブロックの機能が、少なくとも部分的に統合され得る。最後に、他のブロックが、示されているブロック間に追加/挿入され得、および/または発明概念の範囲から逸脱することなく、ブロック/動作が省略され得る。その上、図のうちのいくつかが、通信の主要な方向を示すために通信経路上に矢印を含むが、通信が、図示された矢印と反対方向に行われ得ることを理解されたい。
本発明概念の原理から実質的に逸脱することなしに、実施形態に対して多くの変形および修正が行われ得る。すべてのそのような変形および修正は、本発明概念の範囲内で本明細書に含まれるものとする。したがって、上記で開示された主題は、例示であり、限定するものではないと見なされるべきであり、実施形態の例は、本発明概念の趣旨および範囲内に入る、すべてのそのような修正、拡張、および他の実施形態をカバーするものとする。したがって、法によって最大限に許容される限りにおいて、本発明概念の範囲は、実施形態およびそれらの等価物の例を含む、本開示の最も広い許容可能な解釈によって決定されるべきであり、上記の詳細な説明によって制限または限定されるべきでない。
ARデバイスの概観を提供する図である。 通常の会話におけるアイコンタクト、およびビデオ会議におけるアイコンタクトの欠如を示す写真である。 発明概念のいくつかの実施形態による、AR会議についてのモデルを示す図である。 発明概念のいくつかの実施形態による、ビデオ会議におけるスケーリングおよびアイコンタクトを示す図である。 発明概念のいくつかの実施形態による、直接の会話におけるアイコンタクトおよび適切な社会的距離、ビデオ会議におけるアイコンタクトの欠如、ならびにARビデオ会議におけるアイコンタクトを示す図である。 発明概念のいくつかの実施形態による、眼位置の検出を示す写真である。 発明概念のいくつかの実施形態による、ビデオ会議において使用されるARグラスについてのビデオ調節を示す図である。 発明概念のいくつかの実施形態による、ARビデオ会議システムを示す図である。 発明概念のいくつかの実施形態による、ビデオ会議動作を示すフローチャートである。 発明概念のいくつかの実施形態による、無線デバイスUEを示すブロック図である。 発明概念のいくつかの実施形態による、無線アクセスネットワークRANノード(たとえば、基地局eNB/gNB)を示すブロック図である。 発明概念のいくつかの実施形態による、コアネットワークCNノード(たとえば、AMFノード、SMFノードなど)を示すブロック図である。 発明概念のいくつかの実施形態による、ビデオ会議ノードを示すブロック図である。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 発明概念のいくつかの実施形態による、ビデオ会議ノードの動作を示すフローチャートである。 いくつかの実施形態による、無線ネットワークのブロック図である。 いくつかの実施形態による、ユーザ機器のブロック図である。 いくつかの実施形態による、仮想化環境のブロック図である。 いくつかの実施形態による、中間ネットワークを介してホストコンピュータに接続された通信ネットワークのブロック図である。 いくつかの実施形態による、部分的無線接続上で基地局を介してユーザ機器と通信するホストコンピュータのブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。 いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法のブロック図である。
図11は、発明概念の実施形態による、セルラ通信を提供するように設定された無線アクセスネットワーク(RAN)の(ネットワークノード、基地局、eノードB/eNB、gノードB/gNBなどとも呼ばれる)無線アクセスネットワークRANノード400のエレメントを示すブロック図である。(RANノード400は、たとえば、図20のネットワークノード4160に関して以下で説明されるように、提供され得る。)示されているように、RANノードは、モバイル端末とのアップリンク無線通信およびダウンリンク無線通信を提供するように設定された送信機および受信機を含む(たとえば、図20のインターフェース4190の部分に対応する、トランシーバとも呼ばれる)トランシーバ回路401を含み得る。RANノードは、RANおよび/またはコアネットワークCNの他のノードとの(たとえば、他の基地局との)通信を提供するように設定された(たとえば、図20のインターフェース4190の部分に対応する、ネットワークインターフェースとも呼ばれる)ネットワークインターフェース回路407を含み得る。ネットワークノードは、トランシーバ回路に接続された(たとえば、処理回路4170に対応する、プロセッサとも呼ばれる)処理回路403と、処理回路に接続された(たとえば、図20のデバイス可読媒体4180に対応する、メモリとも呼ばれる)メモリ回路405とをも含み得る。メモリ回路405は、処理回路403によって実行されたとき、処理回路に、本明細書で開示される実施形態による動作を実施させる、コンピュータ可読プログラムコードを含み得る。他の実施形態によれば、処理回路403は、別個のメモリ回路が必要とされないようなメモリを含むように規定され得る。
20は、いくつかの実施形態による無線ネットワークを示す。
本明細書で説明される主題は、任意の好適な構成要素を使用する任意の適切なタイプのシステムにおいて実装され得るが、本明細書で開示される実施形態は、図20に示されている例示的な無線ネットワークなどの無線ネットワークに関して説明される。簡単のために、図20の無線ネットワークは、ネットワーク4106、ネットワークノード4160および4160b、ならびに(モバイル端末とも呼ばれる)WD4110、4110b、および4110cのみを図示する。実際には、無線ネットワークは、無線デバイス間の通信、あるいは無線デバイスと、固定電話、サービスプロバイダ、または任意の他のネットワークノードもしくはエンドデバイスなどの別の通信デバイスとの間の通信をサポートするのに好適な任意の追加のエレメントをさらに含み得る。示されている構成要素のうち、ネットワークノード4160および無線デバイス(WD)4110は、追加の詳細とともに図示される。無線ネットワークは、1つまたは複数の無線デバイスに通信および他のタイプのサービスを提供して、無線デバイスの、無線ネットワークへのアクセス、および/あるいは、無線ネットワークによってまたは無線ネットワークを介して提供されるサービスの使用を容易にし得る。
20では、ネットワークノード4160は、処理回路4170と、デバイス可読媒体4180と、インターフェース4190と、補助機器4184と、電源4186と、電力回路4187と、アンテナ4162とを含む。図20の例示的な無線ネットワーク中に示されているネットワークノード4160は、ハードウェア構成要素の示されている組合せを含むデバイスを表し得るが、他の実施形態は、構成要素の異なる組合せをもつネットワークノードを備え得る。ネットワークノードが、本明細書で開示されるタスク、特徴、機能および方法を実施するために必要とされるハードウェアおよび/またはソフトウェアの任意の好適な組合せを備えることを理解されたい。その上、ネットワークノード4160の構成要素が、より大きいボックス内に位置する単一のボックスとして、または複数のボックス内で入れ子にされている単一のボックスとして図示されているが、実際には、ネットワークノードは、単一の示されている構成要素を組成する複数の異なる物理構成要素を備え得る(たとえば、デバイス可読媒体4180は、複数の別個のハードドライブならびに複数のRAMモジュールを備え得る)。
ネットワークノード4160の代替実施形態は、本明細書で説明される機能、および/または本明細書で説明される主題をサポートするために必要な機能のうちのいずれかを含む、ネットワークノードの機能のいくつかの態様を提供することを担当し得る、図20に示されている構成要素以外の追加の構成要素を含み得る。たとえば、ネットワークノード4160は、ネットワークノード4160への情報の入力を可能にするための、およびネットワークノード4160からの情報の出力を可能にするための、ユーザインターフェース機器を含み得る。これは、ユーザが、ネットワークノード4160のための診断、メンテナンス、修復、および他のアドミニストレーティブ機能を実施することを可能にし得る。
図21は、いくつかの実施形態によるユーザ機器を示す。
図21は、本明細書で説明される様々な態様による、UEの一実施形態を示す。本明細書で使用されるユーザ機器またはUEは、必ずしも、関連するデバイスを所有し、および/または動作させる人間のユーザという意味におけるユーザを有するとは限らない。代わりに、UEは、人間のユーザへの販売、または人間のユーザによる動作を意図されるが、特定の人間のユーザに関連付けられないことがあるか、または特定の人間のユーザに初めに関連付けられないことがある、デバイス(たとえば、スマートスプリンクラーコントローラ)を表し得る。代替的に、UEは、エンドユーザへの販売、またはエンドユーザによる動作を意図されないが、ユーザに関連付けられるか、またはユーザの利益のために動作され得る、デバイス(たとえば、スマート電力計)を表し得る。UE42200は、NB-IoT UE、マシン型通信(MTC)UE、および/または拡張MTC(eMTC)UEを含む、第3世代パートナーシッププロジェクト(3GPP)によって識別される任意のUEであり得る。図21に示されているUE4200は、第3世代パートナーシッププロジェクト(3GPP)のGSM、UMTS、LTE、および/または5G規格など、3GPPによって公表された1つまたは複数の通信規格による通信のために設定されたWDの一例である。前述のように、WDおよびUEという用語は、互換的に使用され得る。したがって、図21はUEであるが、本明細書で説明される構成要素は、WDに等しく適用可能であり、その逆も同様である。
図21では、UE4200は、入出力インターフェース4205、無線周波数(RF)インターフェース4209、ネットワーク接続インターフェース4211、ランダムアクセスメモリ(RAM)4217と読取り専用メモリ(ROM)4219と記憶媒体4221などとを含むメモリ4215、通信サブシステム4231、電源4213、および/または任意の他の構成要素、あるいはそれらの任意の組合せに動作可能に接続された、処理回路4201を含む。記憶媒体4221は、オペレーティングシステム4223と、アプリケーションプログラム4225と、データ4227とを含む。他の実施形態では、記憶媒体4221は、他の同様のタイプの情報を含み得る。いくつかのUEは、図21に示されている構成要素のすべてを利用するか、またはそれらの構成要素のサブセットのみを利用し得る。構成要素間の統合のレベルは、UEごとに変動し得る。さらに、いくつかのUEは、複数のプロセッサ、メモリ、トランシーバ、送信機、受信機など、構成要素の複数のインスタンスを含んでいることがある。
図21では、処理回路4201は、コンピュータ命令およびデータを処理するように設定され得る。処理回路4201は、(たとえば、ディスクリート論理、FPGA、ASICなどにおける)1つまたは複数のハードウェア実装状態機械など、機械可読コンピュータプログラムとしてメモリに記憶された機械命令を実行するように動作可能な任意の逐次状態機械、適切なファームウェアと一緒のプログラマブル論理、適切なソフトウェアと一緒のマイクロプロセッサまたはデジタル信号プロセッサ(DSP)など、1つまたは複数のプログラム内蔵、汎用プロセッサ、あるいは上記の任意の組合せを実装するように設定され得る。たとえば、処理回路4201は、2つの中央処理ユニット(CPU)を含み得る。データは、コンピュータによる使用に好適な形態での情報であり得る。
図21では、RFインターフェース4209は、送信機、受信機、およびアンテナなど、RF構成要素に通信インターフェースを提供するように設定され得る。ネットワーク接続インターフェース4211は、ネットワーク4243aに通信インターフェースを提供するように設定され得る。ネットワーク4243aは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、コンピュータネットワーク、無線ネットワーク、通信ネットワーク、別の同様のネットワークまたはそれらの任意の組合せなど、有線および/または無線ネットワークを包含し得る。たとえば、ネットワーク4243aは、Wi-Fiネットワークを備え得る。ネットワーク接続インターフェース4211は、イーサネット、TCP/IP、SONET、ATMなど、1つまたは複数の通信プロトコルに従って通信ネットワーク上で1つまたは複数の他のデバイスと通信するために使用される、受信機および送信機インターフェースを含むように設定され得る。ネットワーク接続インターフェース4211は、通信ネットワークリンク(たとえば、光学的、電気的など)に適した受信機および送信機機能を実装し得る。送信機および受信機機能は、回路構成要素、ソフトウェアまたはファームウェアを共有し得るか、あるいは、代替的に、別個に実装され得る。
図21では、処理回路4201は、通信サブシステム4231を使用してネットワーク4243bと通信するように設定され得る。ネットワーク4243aとネットワーク4243bとは、同じ1つまたは複数のネットワークまたは異なる1つまたは複数のネットワークであり得る。通信サブシステム4231は、ネットワーク4243bと通信するために使用される1つまたは複数のトランシーバを含むように設定され得る。たとえば、通信サブシステム4231は、IEEE802.11、CDMA、WCDMA、GSM、LTE、UTRAN、WiMaxなど、1つまたは複数の通信プロトコルに従って、無線アクセスネットワーク(RAN)の別のWD、UE、または基地局など、無線通信が可能な別のデバイスの1つまたは複数のリモートトランシーバと通信するために使用される、1つまたは複数のトランシーバを含むように設定され得る。各トランシーバは、RANリンク(たとえば、周波数割り当てなど)に適した送信機機能または受信機機能をそれぞれ実装するための、送信機4233および/または受信機4235を含み得る。さらに、各トランシーバの送信機4233および受信機4235は、回路構成要素、ソフトウェアまたはファームウェアを共有し得るか、あるいは、代替的に、別個に実装され得る。
図22は、いくつかの実施形態による仮想化環境を示す。
図22は、いくつかの実施形態によって実装される機能が仮想化され得る、仮想化環境4300を示す概略ブロック図である。本コンテキストでは、仮想化することは、ハードウェアプラットフォーム、記憶デバイスおよびネットワーキングリソースを仮想化することを含み得る、装置またはデバイスの仮想バージョンを作成することを意味する。本明細書で使用される仮想化は、ノード(たとえば、仮想化された基地局または仮想化された無線アクセスノード)に、あるいはデバイス(たとえば、UE、無線デバイスまたは任意の他のタイプの通信デバイス)またはそのデバイスの構成要素に適用され得、機能の少なくとも一部分が、(たとえば、1つまたは複数のネットワークにおいて1つまたは複数の物理処理ノード上で実行する、1つまたは複数のアプリケーション、構成要素、機能、仮想マシンまたはコンテナを介して)1つまたは複数の仮想構成要素として実装される、実装形態に関する。
図22に示されているように、ハードウェア4330は、一般的なまたは特定の構成要素をもつスタンドアロンネットワークノードであり得る。ハードウェア4330は、アンテナ43225を備え得、仮想化を介していくつかの機能を実装し得る。代替的に、ハードウェア4330は、多くのハードウェアノードが協働し、特に、アプリケーション4320のライフサイクル管理を監督する、管理およびオーケストレーション(MANO)43100を介して管理される、(たとえば、データセンタまたは顧客構内機器(CPE)の場合のような)ハードウェアのより大きいクラスタの一部であり得る。
さらにNFVのコンテキストでは、仮想ネットワーク機能(VNF)は、ハードウェアネットワーキングインフラストラクチャ4330の上の1つまたは複数の仮想マシン4340において稼働する特定のネットワーク機能をハンドリングすることを担当し、図22中のアプリケーション4320に対応する。
図23は、いくつかの実施形態による、中間ネットワークを介してホストコンピュータに接続された通信ネットワークを示す。
図23を参照すると、一実施形態によれば、通信システムが、無線アクセスネットワークなどのアクセスネットワーク4411とコアネットワーク4414とを備える、3GPPタイプセルラネットワークなどの通信ネットワーク4410を含む。アクセスネットワーク4411は、NB、eNB、gNBまたは他のタイプの無線アクセスポイントなど、複数の基地局4412a、4412b、4412cを備え、各々が、対応するカバレッジエリア4413a、4413b、4413cを規定する。各基地局4412a、4412b、4412cは、有線接続または無線接続4415上でコアネットワーク4414に接続可能である。カバレッジエリア4413c中に位置する第1のUE4491が、対応する基地局4412cに無線で接続するか、または対応する基地局4412cによってページングされるように設定される。カバレッジエリア4413a中の第2のUE4492が、対応する基地局4412aに無線で接続可能である。この例では複数のUE4491、4492が示されているが、開示される実施形態は、唯一のUEがカバレッジエリア中にある状況、または唯一のUEが、対応する基地局4412に接続している状況に等しく適用可能である。
図23の通信システムは全体として、接続されたUE4491、4492とホストコンピュータ4430との間のコネクティビティを可能にする。コネクティビティは、オーバーザトップ(OTT)接続4450として説明され得る。ホストコンピュータ4430および接続されたUE4491、4492は、アクセスネットワーク4411、コアネットワーク4414、任意の中間ネットワーク4420、および考えられるさらなるインフラストラクチャ(図示せず)を媒介として使用して、OTT接続4450を介して、データおよび/またはシグナリングを通信するように設定される。OTT接続4450は、OTT接続4450が通過する、参加する通信デバイスが、アップリンクおよびダウンリンク通信のルーティングに気づいていないという意味で、透過的であり得る。たとえば、基地局4412は、接続されたUE4491にフォワーディング(たとえば、ハンドオーバ)されるべき、ホストコンピュータ4430から発生したデータを伴う着信ダウンリンク通信の過去のルーティングについて、知らされないことがあるかまたは知らされる必要がない。同様に、基地局4412は、UE4491から発生してホストコンピュータ4430に向かう発信アップリンク通信の将来のルーティングに気づいている必要がない。
図24は、いくつかの実施形態による、部分的無線接続上で基地局を介してユーザ機器と通信するホストコンピュータを示す。
次に、一実施形態による、前の段落において説明されたUE、基地局およびホストコンピュータの例示的な実装形態が、図24を参照しながら説明される。通信システム4500では、ホストコンピュータ4510が、通信システム4500の異なる通信デバイスのインターフェースとの有線接続または無線接続をセットアップおよび維持するように設定された通信インターフェース4516を含む、ハードウェア4515を備える。ホストコンピュータ4510は、記憶能力および/または処理能力を有し得る、処理回路4518をさらに備える。特に、処理回路4518は、命令を実行するように適応された、1つまたは複数のプログラマブルプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、またはこれらの組合せ(図示せず)を備え得る。ホストコンピュータ4510は、ホストコンピュータ4510に記憶されるかまたはホストコンピュータ4510によってアクセス可能であり、処理回路4518によって実行可能である、ソフトウェア4511をさらに備える。ソフトウェア4511はホストアプリケーション4512を含む。ホストアプリケーション4512は、UE4530およびホストコンピュータ4510において終端するOTT接続4550を介して接続するUE4530など、リモートユーザにサービスを提供するように動作可能であり得る。リモートユーザにサービスを提供する際に、ホストアプリケーション4512は、OTT接続4550を使用して送信されるユーザデータを提供し得る。
通信システム4500は、通信システム中に提供される基地局4520をさらに含み、基地局4520は、基地局4520がホストコンピュータ4510およびUE4530と通信することを可能にするハードウェア4525を備える。ハードウェア4525は、通信システム4500の異なる通信デバイスのインターフェースとの有線接続または無線接続をセットアップおよび維持するための通信インターフェース4526、ならびに基地局4520によってサーブされるカバレッジエリア(図24に図示せず)中に位置するUE4530との少なくとも無線接続4570をセットアップおよび維持するための無線インターフェース4527を含み得る。通信インターフェース4526は、ホストコンピュータ4510への接続4560を容易にするように設定され得る。接続4560は直接であり得るか、あるいは、接続4560は、通信システムのコアネットワーク(図24に図示せず)を、および/または通信システムの外部の1つまたは複数の中間ネットワークを通過し得る。図示の実施形態では、基地局4520のハードウェア4525は、処理回路4528をさらに含み、処理回路4528は、命令を実行するように適応された、1つまたは複数のプログラマブルプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、またはこれらの組合せ(図示せず)を備え得る。基地局4520は、内部的に記憶されるかまたは外部接続を介してアクセス可能なソフトウェア4521をさらに有する。
図24に示されているホストコンピュータ4510、基地局4520およびUE4530は、それぞれ、図23のホストコンピュータ4430、基地局4412a、4412b、4412cのうちの1つ、およびUE4491、4492のうちの1つと同様または同等であり得ることに留意されたい。つまり、これらのエンティティの内部の働きは、図24に示されているようなものであり得、別個に、周囲のネットワークトポロジーは、図23のものであり得る。
図24では、OTT接続4550は、仲介デバイスとこれらのデバイスを介したメッセージの正確なルーティングとへの明示的言及なしに、基地局4520を介したホストコンピュータ4510とUE4530との間の通信を示すために抽象的に描かれている。ネットワークインフラストラクチャが、ルーティングを決定し得、ネットワークインフラストラクチャは、UE4530からまたはホストコンピュータ4510を動作させるサービスプロバイダから、またはその両方からルーティングを隠すように設定され得る。OTT接続4550がアクティブである間、ネットワークインフラストラクチャは、さらに、ネットワークインフラストラクチャが(たとえば、ネットワークの負荷分散考慮または再設定に基づいて)ルーティングを動的に変更する判断を行い得る。
図25は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図25は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図25への図面参照のみがこのセクションに含まれる。ステップ4610において、ホストコンピュータはユーザデータを提供する。ステップ4610の(随意であり得る)サブステップ4611において、ホストコンピュータは、ホストアプリケーションを実行することによって、ユーザデータを提供する。ステップ4620において、ホストコンピュータは、UEにユーザデータを搬送する送信を始動する。(随意であり得る)ステップ4630において、基地局は、本開示全体にわたって説明される実施形態の教示に従って、ホストコンピュータが始動した送信において搬送されたユーザデータをUEに送信する。(また、随意であり得る)ステップ4640において、UEは、ホストコンピュータによって実行されるホストアプリケーションに関連付けられたクライアントアプリケーションを実行する。
図26は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図26は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図26への図面参照のみがこのセクションに含まれる。方法のステップ4710において、ホストコンピュータはユーザデータを提供する。随意のサブステップ(図示せず)において、ホストコンピュータは、ホストアプリケーションを実行することによって、ユーザデータを提供する。ステップ4720において、ホストコンピュータは、UEにユーザデータを搬送する送信を始動する。送信は、本開示全体にわたって説明される実施形態の教示に従って、基地局を介して通り得る。(随意であり得る)ステップ4730において、UEは、送信において搬送されたユーザデータを受信する。
図27は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図27は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図27への図面参照のみがこのセクションに含まれる。(随意であり得る)ステップ4810において、UEは、ホストコンピュータによって提供された入力データを受信する。追加または代替として、ステップ4820において、UEはユーザデータを提供する。ステップ4820の(随意であり得る)サブステップ4821において、UEは、クライアントアプリケーションを実行することによって、ユーザデータを提供する。ステップ4810の(随意であり得る)サブステップ4811において、UEは、ホストコンピュータによって提供された受信された入力データに反応してユーザデータを提供する、クライアントアプリケーションを実行する。ユーザデータを提供する際に、実行されたクライアントアプリケーションは、ユーザから受信されたユーザ入力をさらに考慮し得る。ユーザデータが提供された特定の様式にかかわらず、UEは、(随意であり得る)サブステップ4830において、ホストコンピュータへのユーザデータの送信を始動する。方法のステップ4840において、ホストコンピュータは、本開示全体にわたって説明される実施形態の教示に従って、UEから送信されたユーザデータを受信する。
図28は、いくつかの実施形態による、ホストコンピュータと、基地局と、ユーザ機器とを含む通信システムにおいて実装される方法を示す。
図28は、一実施形態による、通信システムにおいて実装される方法を示すフローチャートである。通信システムは、図23~図24を参照しながら説明されたものであり得る、ホストコンピュータと基地局とUEとを含む。本開示の簡単のために、図28への図面参照のみがこのセクションに含まれる。(随意であり得る)ステップ4910において、本開示全体にわたって説明される実施形態の教示に従って、基地局は、UEからユーザデータを受信する。(随意であり得る)ステップ4920において、基地局は、ホストコンピュータへの、受信されたユーザデータの送信を始動する。(随意であり得る)ステップ4930において、ホストコンピュータは、基地局によって始動された送信において搬送されたユーザデータを受信する。

Claims (38)

  1. 第1の前向きグラスカメラをもつ第1の拡張現実(AR)グラス(A1)を使用するおよび第1の会議カメラ(C1)を使用する第1の参加者(P1)と、第2の前向きグラスカメラをもつ第2のARグラス(A2)を使用するおよび第2の会議カメラ(C2)を使用する第2の参加者(P2)との間のビデオ会議を提供する方法であって、前記方法が、
    前記第2の会議カメラ(C2)から前記第2の参加者(P2)のビデオを受信すること(1405、1505)と、
    前記第1のARグラス(A1)の前記第1の前向きグラスカメラからビデオを受信すること(1409、1509)と、
    調節されたビデオを提供するために、前記第1の前向きグラスカメラからの前記ビデオに基づいて前記第2の参加者(P2)の前記ビデオを調節すること(1415、1515)と、
    前記第1の参加者(P1)のための前記第1のARグラス(A1)によってレンダリングされるように、前記調節されたビデオを提供すること(1419、1519)と
    を含む、方法。
  2. 前記第2の参加者(P2)の前記ビデオを調節することが、前記第2の会議カメラ(C2)によって提供された前記ビデオを調節し、それにより、前記第2の参加者(P2)の前記調節されたビデオを提供するために、前記第2の会議カメラに制御パラメータを送信することを含む、請求項1に記載の方法。
  3. 前記制御パラメータが、前記第2の会議カメラ(C2)の位置を調節するための制御パラメータ、前記第2の会議カメラ(C2)のズームを調節するための制御パラメータ、および/または前記第2の会議カメラ(C2)の焦点深度を調節するための制御パラメータのうちの少なくとも1つを含む、請求項2に記載の方法。
  4. 前記第2の参加者(P2)の前記ビデオを調節することが、前記調節されたビデオを提供するために、前記第2の会議カメラ(C2)から受信された前記第2の参加者(P2)の前記ビデオのジオメトリ変換を提供することを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記第1の前向きグラスカメラからの前記ビデオを使用して前記第1の会議カメラ(C1)の位置を決定すること(1511)
    をさらに含み、
    前記ビデオを調節することが、前記第1の前向きグラスカメラからの前記ビデオを使用して決定された前記第1の会議カメラ(C1)の前記位置に基づいて、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、
    請求項1から4のいずれか一項に記載の方法。
  6. 前記第1の会議カメラ(C1)の前記位置を決定することが、前記第1の会議カメラ(C1)上のマーカー(M)の位置を決定することを含み、前記ビデオを調節することが、前記マーカー(M)の前記位置に基づいて、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、請求項5に記載の方法。
  7. 前記第2のカメラ(C2)からの前記ビデオ中の前記第2の参加者(P2)の眼位置を決定すること(1513)
    をさらに含み、
    前記ビデオを調節することが、前記第2の参加者(P2)の前記眼位置と前記第1の前向きグラスカメラからの前記ビデオとに基づいて、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、
    請求項1から6のいずれか一項に記載の方法。
  8. 前記ビデオを調節することが、前記第2の参加者(P2)の前記眼位置を使用して、およびアイコンタクトの知覚を提供するために前記第1の前向きグラスカメラからの前記ビデオを使用して、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、請求項7に記載の方法。
  9. 前記調節されたビデオを提供するために前記ビデオを調節することが、前記第1の前向きグラスカメラからの前記ビデオに基づいて前記第2の参加者(P2)の前記ビデオを調節することと、前記第1のARグラス上でレンダリングされるとき、前記第1の参加者(P1)と前記第2の参加者(P2)との間のターゲット知覚距離(d)を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることとを含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記第2の参加者(P2)と前記第2の会議カメラ(C2)との間の距離(h)を決定すること
    をさらに含み、
    前記ビデオをスケーリングすることが、前記第2の参加者(P2)と前記第2の会議カメラ(C2)との間の前記距離(h)に基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、
    請求項9に記載の方法。
  11. 前記ビデオをスケーリングすることが、前記第1のARグラス(A1)の解像度および/または前記第2のARグラス(A2)の解像度のうちの少なくとも1つに基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、請求項9または10に記載の方法。
  12. 前記第2の参加者(P2)の前記ビデオに基づいて前記第2の参加者のサイズを決定すること
    をさらに含み、
    前記ビデオをスケーリングすることが、前記第2の参加者(P2)の前記サイズに基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、
    請求項9から11のいずれか一項に記載の方法。
  13. 前記第1の会議カメラ(C1)から前記第1の参加者(P1)のビデオを受信することと、
    前記第1の参加者(P1)の前記ビデオに基づいて前記第1の参加者のサイズを決定することと
    をさらに含み、
    前記ビデオをスケーリングすることが、前記第1の参加者(P1)の前記サイズに基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、
    請求項9から12のいずれか一項に記載の方法。
  14. 前記調節されたビデオを提供することが、前記調節されたビデオを前記第1の参加者(P1)のための前記第1のARグラス(A1)に送信することを含む、請求項1から13のいずれか一項に記載の方法。
  15. 第1の前向きグラスカメラをもつ第1の拡張現実(AR)グラス(A1)を使用するおよび第1の会議カメラ(C1)を使用する第1の参加者(P1)と、第2の前向きグラスカメラをもつ第2のARグラス(A2)を使用するおよび第2の会議カメラ(C2)を使用する第2の参加者(P2)との間のビデオ会議を提供する方法であって、前記方法が、
    前記第2の会議カメラ(C2)から前記第2の参加者(P2)のビデオを受信すること(1605、1705)と、
    調節されたビデオを提供するために、前記第1の参加者(P1)と前記第2の参加者(P2)との間のターゲット知覚距離(d)を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることによって、前記第2の参加者(P2)の前記ビデオを調節すること(1619、1719)と、
    前記第1の参加者(P1)のための前記第1のARグラス(A1)によってレンダリングされるように、前記調節されたビデオを提供すること(1625、1725)と
    を含む、方法。
  16. 前記第2の参加者(P2)と前記第2の会議カメラ(C2)との間の距離(h)を決定すること(1707)
    をさらに含み、
    前記ビデオをスケーリングすることが、前記第2の参加者(P2)と前記第2の会議カメラ(C2)との間の前記距離(h)に基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、
    請求項15に記載の方法。
  17. 前記ビデオをスケーリングすることが、前記第1のARグラス(A1)の解像度および/または前記第2のARグラス(A2)の解像度のうちの少なくとも1つに基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、請求項15または16に記載の方法。
  18. 前記第2の参加者(P2)の前記ビデオに基づいて前記第2の参加者のサイズを決定すること(1709)
    をさらに含み、
    前記ビデオをスケーリングすることが、前記第2の参加者(P2)の前記サイズに基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、
    請求項15から17のいずれか一項に記載の方法。
  19. 前記第1の会議カメラ(C1)から前記第1の参加者(P1)のビデオを受信すること(1711)と、
    前記第1の参加者(P1)の前記ビデオに基づいて前記第1の参加者のサイズを決定すること(1713)と
    をさらに含み、
    前記ビデオをスケーリングすることが、前記第1の参加者(P1)の前記サイズに基づいて、前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることを含む、
    請求項15から18のいずれか一項に記載の方法。
  20. 前記第1のARグラス(A1)の前記第1の前向きグラスカメラからビデオを受信すること(1715)
    をさらに含み、
    前記調節されたビデオを提供するために前記ビデオを調節することが、前記調節されたビデオを提供するために、前記第1の前向きグラスカメラからの前記ビデオに基づいて、および前記第1の参加者(P1)と前記第2の参加者(P2)との間の前記ターゲット知覚距離(d)を提供するために前記第2の参加者(P2)の前記ビデオをスケーリングすることによって、前記第2の参加者(P2)の前記ビデオを調節することを含む、
    請求項15から19のいずれか一項に記載の方法。
  21. 前記第1の前向きグラスカメラからの前記ビデオに基づいて前記第2の参加者(P2)の前記ビデオを調節することが、前記第2の会議カメラ(C2)によって提供された前記ビデオを調節し、それにより、前記第2の参加者(P2)の前記調節されたビデオを提供するために、前記第2の会議カメラに制御パラメータを送信することを含む、請求項20に記載の方法。
  22. 前記制御パラメータが、前記第2の会議カメラ(C2)の位置を調節するための制御パラメータ、前記第2の会議カメラ(C2)のズームを調節するための制御パラメータ、および/または前記第2の会議カメラ(C2)の焦点深度を調節するための制御パラメータのうちの少なくとも1つを含む、請求項21に記載の方法。
  23. 前記第1の前向きグラスカメラからの前記ビデオに基づいて前記第2の参加者(P2)の前記ビデオを調節することが、前記調節されたビデオを提供するために、前記第2の会議カメラ(C2)から受信された前記第2の参加者(P2)の前記ビデオのジオメトリ変換を提供することを含む、請求項20から22のいずれか一項に記載の方法。
  24. 前記第1の前向きグラスカメラからの前記ビデオを使用して前記第1の会議カメラ(C1)の位置を決定すること
    をさらに含み、
    前記第1の前向きグラスカメラからの前記ビデオに基づいて前記ビデオを調節することが、前記第1の前向きグラスカメラからの前記ビデオを使用して決定された前記第1の会議カメラ(C1)の前記位置に基づいて、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、
    請求項20から23のいずれか一項に記載の方法。
  25. 前記第1の会議カメラ(C1)の前記位置を決定することが、前記第1の会議カメラ(C1)上のマーカー(M)の位置を決定することを含み、前記ビデオを調節することが、前記マーカー(M)の前記位置に基づいて、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、請求項24に記載の方法。
  26. 前記第2のカメラ(C2)からの前記ビデオ中の前記第2の参加者(P2)の眼位置を決定すること
    をさらに含み、
    前記第1の前向きグラスカメラからの前記ビデオに基づいて前記ビデオを調節することが、前記第2の参加者(P2)の前記眼位置と前記第1の前向きグラスカメラからの前記ビデオとに基づいて、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、
    請求項20から25のいずれか一項に記載の方法。
  27. 前記第1の前向きグラスカメラからの前記ビデオに基づいて前記ビデオを調節することが、前記第2の参加者(P2)の前記眼位置を使用して、およびアイコンタクトの知覚を提供するために前記第1の前向きグラスカメラからの前記ビデオを使用して、前記調節されたビデオを提供するために前記第2の参加者(P2)の前記ビデオを調節することを含む、請求項26に記載の方法。
  28. 前記調節されたビデオを提供することが、無線モバイル/セルラ通信システムを使用して、前記調節されたビデオの通信を前記第1のARグラス(A1)に提供することを含む、請求項1から27のいずれか一項に記載の方法。
  29. 第1の拡張現実(AR)グラス(A1)を使用するおよび第1の会議カメラ(C1)を使用する第1の参加者(P1)と、第2のARグラス(A2)を使用するおよび第2の会議カメラ(C2)を使用する第2の参加者(P2)との間のビデオ会議を提供する方法であって、前記方法は、
    メモリにおける前記第1のARグラス(A1)なしの前記第1の参加者(P1)の画像を提供すること(1805、1905)であって、前記第1の参加者(P1)の前記画像が、前記第1のARグラス(A1)なしの前記第1の参加者(P1)の頭部の異なる配向で提供される、前記第1の参加者(P1)の画像を提供すること(1805、1905)と、
    前記第1の会議カメラ(C1)から、前記第1のARグラス(A1)を装着している前記第1の参加者(P1)の予備会議ビデオを受信すること(1809、1909)と、
    前記第1のARグラスなしの前記第1の参加者(P1)の修正された会議ビデオを提供するために、前記第1の参加者(P1)の前記画像に基づいて前記第1の参加者(P1)の前記予備会議ビデオを修正すること(1815、1915)と、
    前記第2の参加者(P2)のための前記第2のARグラス(A1)によってレンダリングされるように、前記第1のARグラス(A1)なしの前記第1の参加者(P1)の前記修正された会議ビデオを提供すること(1819、1919)と
    を含む、方法。
  30. 前記第1の参加者(P1)の前記画像を提供することが、前記第1のARグラス(A1)なしの前記第1の参加者(P1)の初期化ビデオを受信することと、前記初期化ビデオに基づいて前記画像を提供することとを含む、請求項29に記載の方法。
  31. 前記第1の参加者(P1)の前記画像が、前記第1の参加者(P1)の前記頭部の配向に従ってカテゴリー分類され、
    前記予備会議ビデオを修正することが、前記予備会議ビデオのフレームを前記画像のうちの1つと、前記フレーム中のおよび前記画像中の前記頭部の配向に基づいて、整合させることによって前記フレームを修正することと、前記画像に基づいて、前記第1のARグラス(A1)を含む前記フレームの部分を再構築することとを含む、
    請求項29または30に記載の方法。
  32. 前記第1のARグラス(A1)が、少なくとも1つの後ろ向きアイトラッキングカメラを含み、前記方法が、
    前記少なくとも1つの後ろ向きアイトラッキングカメラからアイトラッキングビデオを受信すること(1911)
    をさらに含み、
    前記予備会議ビデオを修正することが、前記第1のARグラスなしの前記第1の参加者(P1)の前記修正された会議ビデオを提供するために、前記第1の参加者(P1)の前記画像に基づいておよび前記アイトラッキングビデオに基づいて前記予備会議ビデオを修正することを含む、
    請求項29から31のいずれか一項に記載の方法。
  33. 前記予備会議ビデオを修正することが、前記修正された会議ビデオ中に前記アイトラッキングビデオからの眼球運動および/またはまばたきのうちの少なくとも1つを含めるために、前記アイトラッキングビデオに基づいて前記予備会議ビデオを修正することを含む、請求項32に記載の方法。
  34. 前記修正された会議ビデオを提供することが、無線モバイル/セルラ通信システムを使用して、前記修正された会議ビデオの通信を前記第2のARグラス(A2)に提供することを含む、請求項29から33のいずれか一項に記載の方法。
  35. 処理回路(603)と、
    前記処理回路に接続されたメモリ(605)と
    を備えるビデオ会議ノード(600)であって、前記メモリが、前記処理回路によって実行されたとき、前記ビデオ会議ノード(600)に請求項1から34のいずれか一項に記載の動作を実施させる命令を含む、ビデオ会議ノード(600)。
  36. 請求項1から34のいずれか一項に従って実施するように適応されたビデオ会議ノード(600)。
  37. ビデオ会議ノード(600)の処理回路(603)によって実行されるべきプログラムコードを備えるコンピュータプログラムであって、それにより、前記プログラムコードの実行が、前記ビデオ会議ノード(600)に請求項1から34のいずれか一項に記載の動作を実施させる、コンピュータプログラム。
  38. ビデオ会議ノード(600)の処理回路(603)によって実行されるべきプログラムコードを含む非一時的記憶媒体を備えるコンピュータプログラム製品であって、それにより、前記プログラムコードの実行が、前記ビデオ会議ノード(600)に請求項1から34のいずれか一項に記載の動作を実施させる、コンピュータプログラム製品。
JP2022552412A 2020-03-06 2021-03-03 調節/修正されたビデオを伴うビデオ会議を提供する方法および関係するビデオ会議ノード Pending JP2023516045A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062986394P 2020-03-06 2020-03-06
US62/986,394 2020-03-06
PCT/EP2021/055333 WO2021175920A1 (en) 2020-03-06 2021-03-03 Methods providing video conferencing with adjusted/modified video and related video conferencing nodes

Publications (1)

Publication Number Publication Date
JP2023516045A true JP2023516045A (ja) 2023-04-17

Family

ID=74858439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552412A Pending JP2023516045A (ja) 2020-03-06 2021-03-03 調節/修正されたビデオを伴うビデオ会議を提供する方法および関係するビデオ会議ノード

Country Status (4)

Country Link
US (1) US20230101902A1 (ja)
EP (1) EP4115603A1 (ja)
JP (1) JP2023516045A (ja)
WO (1) WO2021175920A1 (ja)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2506068A (en) * 2011-05-31 2014-03-19 Promptcam Ltd Apparatus and method
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9524588B2 (en) * 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
WO2017027338A1 (en) * 2015-08-07 2017-02-16 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
EP3335418A1 (en) * 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
US9743040B1 (en) * 2015-12-03 2017-08-22 Symantec Corporation Systems and methods for facilitating eye contact during video conferences
WO2018005235A1 (en) * 2016-06-30 2018-01-04 Pcms Holdings, Inc. System and method for spatial interaction using automatically positioned cameras
US11151796B2 (en) * 2016-09-02 2021-10-19 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US20180101989A1 (en) * 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US20180158246A1 (en) * 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
CN109952759B (zh) * 2017-02-03 2021-06-15 伟视达电子工贸有限公司 用于具有hmd的视频会议的改进的方法和系统
CN108076307B (zh) 2018-01-26 2021-01-05 南京华捷艾米软件科技有限公司 基于ar的视频会议系统和基于ar的视频会议方法
US11270116B2 (en) * 2018-12-04 2022-03-08 Apple Inc. Method, device, and system for generating affordances linked to a representation of an item

Also Published As

Publication number Publication date
EP4115603A1 (en) 2023-01-11
WO2021175920A1 (en) 2021-09-10
US20230101902A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
JP7072073B2 (ja) 新無線(nr)統合アクセス・バックホール(iab)ノードが非スタンドアロン(nsa)セルで動作するのを可能にする方法
JP7163423B2 (ja) パケットデータコンバージェンスプロトコルデータ回復
US20200280872A1 (en) Notification Control Over RAN Interfaces
WO2019097481A1 (en) Information exchange for initial user equipment access
WO2020076203A1 (en) Methods and apparatuses for cell-free massive mimo communication
US20220166558A1 (en) Methods providing sidelink harq at access stratum and related wireless devices
JP7110395B2 (ja) マルチセルidシナリオにおけるセルid選択
JP7434395B2 (ja) 5gのための効率的plmn符号化
JP7284234B2 (ja) 識別子の検証処理
JP2024054127A (ja) 低遅延通信のためのharqコードブック決定方法
CA3119979C (en) Nas-as interaction for early data transmission
JP7407310B2 (ja) 複数のセルについての情報を記憶することを求める要求
US11864247B2 (en) Data network name (DNN) manipulation
US20230101902A1 (en) Methods providing video conferencing with adjusted/modified video and related video conferencing nodes
JP2023549175A (ja) 物理リソースブロック利用率を計算する方法および関連するネットワークノード
US11595929B2 (en) Methods providing release and re-direct message contents and UE behavior and related wireless devices
WO2021223676A1 (en) Associating remote ue with relay ue in 5gc
US20220393740A1 (en) Capability handling related to per-bwp mimo layer indication
EP4278800A1 (en) Communication device pre-grant assistance
KR20230129512A (ko) 하프-듀플렉스 주파수 분할 듀플렉스 사용자 장비에서다운링크 및 업링크 충돌을 핸들링
WO2020161679A1 (en) Data volume reporting in 5gs
WO2021198730A1 (en) Methods providing generation and deployment of network configurations and related management nodes, computer programs, and computer program products

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419