JP6285941B2 - 制御された三次元通信エンドポイント - Google Patents
制御された三次元通信エンドポイント Download PDFInfo
- Publication number
- JP6285941B2 JP6285941B2 JP2015536848A JP2015536848A JP6285941B2 JP 6285941 B2 JP6285941 B2 JP 6285941B2 JP 2015536848 A JP2015536848 A JP 2015536848A JP 2015536848 A JP2015536848 A JP 2015536848A JP 6285941 B2 JP6285941 B2 JP 6285941B2
- Authority
- JP
- Japan
- Prior art keywords
- participant
- endpoint
- virtual
- participants
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 64
- 238000000034 method Methods 0.000 claims description 105
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Description
[0032]制御された3D通信エンドポイントシステムおよび方法の諸実施形態が、没入型オンライン会議およびミーティングのための制御された取り込みおよび表示空間を作成する。このシステムおよび方法の諸実施形態は、参加者がオンライン会議またはミーティングに参加しているとき、エンドポイントにおいて一貫性を確保する。エンドポイントは、照明、部屋設計、および形状などを含んで、オンラインミーティング中に完全に制御される。さらに、エンドポイントは、見る者には、参加者と共に他の参加者が実際に部屋(または同じ物理的空間)にいるように見えるように、3D没入型会議の取り込みおよび表示のための機器を含む。
[0050]システム100および方法の諸実施形態は、参加者にオンラインミーティングにおける没入体験を提供するために共に使用される様々な構成要素および装置を含む。次に、構成要素および装置について説明する。他の実施形態が可能であること、および説明する構成要素および装置の目的および機能を実現するために、他の装置が使用される、または代用されることがあることに留意されたい。
[0052]図2は、図1に示す3D通信処理システム105のシステム詳細を示すブロック図である。図2に示すように、3D通信処理システム105は、取り込みおよび作成構成要素200、シーンジオメトリ構成要素210、および仮想視点構成要素220を含む。取り込みおよび作成構成要素200は、エンドポイントにおいて参加者の3Dビデオ画像を取り込み、作成するために使用される。
[0057]上記のように、システム100および方法の取り込みおよび作成構成要素200は、エンドポイントにおいて参加者およびシーンを取り込むために使用される複数のカメラポッドを含む。各カメラポッドは、複数のセンサを有する。図3は、図1に示す制御された3D通信エンドポイントシステム100および方法の諸実施形態のカメラポッド300の例示的実施形態の詳細を示すブロック図である。図1に示すように、システム100および方法の諸実施形態は、一般的に2つ以上のカメラポッド300を含む。しかしながら、教育上の目的で、単一のカメラポッドのみを説明する。さらに、複数のカメラポッドは、必ずしも同じセンサを含む必要がないことに留意されたい。システム100および方法のいくつかの実施形態は、互いとは異なるセンサを含んだ複数のカメラポッドを含むことができる。
[0060]1つまたは複数のカメラポッドは、参加者の1人または複数を含むエンドポイントの3D画像を取り込むために特定のレイアウトで構成される。カメラポッドの数は、取り込まれる画像の質およびオクルージョンの数に直接影響を及ぼす。カメラポッドの数が増えるにつれて、利用できるRGBデータが多くなり、これにより画質が向上する。さらに、オクルージョンの数は、カメラポッドの数が増えるにつれて減少する。
[0065]モニタおよびスクリーンなど、いくつかの表示装置は、他の参加者の少なくとも一部の取り込まれた画像を表示し、各参加者に提示するために、特定のレイアウトで構成される。システム100および方法の諸実施形態は、配列がエンドポイントで参加者の少なくとも180度を囲むように構成された表示装置を有する。これにより、システム100および方法の諸実施形態が、スケール変更することができ、参加者に没入体験を提供することが確実になる。言い換えれば、少なくとも180度の表示装置をエンドポイントの参加者に提供することにより、参加者は、同時に仮想テーブルについたすべての人を見ることができるようになる。少なくとも180度の表示装置を用いると、見る者が丸い仮想テーブルの左右を見渡すとき、見る者は、テーブルについたすべての人を見ることができることになる。
[0068]制御された3D通信エンドポイントシステム100および方法の諸実施形態の動作概要および詳細をさらに続ける前に、ここで、制御された3D通信エンドポイントシステム100および方法の諸実施形態が動作することができる例示的動作環境について説明を提示する。本明細書に記載する制御された3D通信エンドポイントシステム100および方法の諸実施形態は、非常に多くのタイプの汎用または特殊用途のコンピューティングシステム環境または構成の中で動作する。
[0077]図7は、図1に示す制御された3D通信エンドポイントシステムの一般的動作を示す流れ図である。図7に示すように、システム100の動作は、ローカルエンドポイントにおいてローカル参加者の3D映像を取り込むことによって始まる(ボックス700)。例として、ローカルエンドポイントは、オフィスビルディングの部屋であることがある。取り込まれる映像は、RGBデータと奥行き情報の両方を取り込む複数のカメラポッドを使用して取得される(ボックス705)。複数のカメラポッドは、ローカル参加者の周りの360度に置かれる。言い換えれば、取り込まれる映像は、ローカル参加者の周りの全域にわたるビューを含む。
[0085]制御された3D通信エンドポイントシステム100および方法の諸実施形態の動作詳細について、次に説明する。これは、システム100のスケーラビリティ、幾何プロキシ作成、およびシーンジオメトリの作成の詳細を含む。さらに、仮想カメラの概念、幾何プロキシおよびシーンジオメトリへの運動視差および奥行きの追加、および同じ環境にいて、同じ表示装置またはモニタを見ている2人以上の参加者の扱いについても説明する。
[0086]制御された3D通信エンドポイントシステム100および方法の諸実施形態は、スケーラブルである。これは、さらなるエンドポイントがオンラインミーティングに追加されるときはいつでも、システム100および方法の諸実施形態は、さらなるエンドポイントに対応するために容易にスケールアップできることを意味する。図9は、さらなるエンドポイントに対応するために、システム100および方法の諸実施形態をスケールアップする例示的実施形態を示す。
[0091]取り込みおよび作成構成要素200の別の部分は、幾何プロキシ作成モジュール245である。モジュール245は、会議またはミーティングの参加者のそれぞれに幾何プロキシを作成する。奥行き情報は、カメラポッド300によって取り込まれるレンジデータから計算される。奥行き情報が取得されると、取り込まれた奥行き情報に含まれる奥行きポイントから、希薄なポイントクラウドが作成される。高密度の奥行きポイントクラウドが、次に、知られている方法および取り込まれた奥行き情報を使用して生成される。いくつかの実施形態では、高密度のポイントクラウドと幾何プロキシから、メッシュが構築され、メッシュから幾何プロキシが生成される。代替的実施形態では、高密度のポイントクラウドは、幾何プロキシを生成するためにテクスチャ加工される。
[0093]制御された3D通信エンドポイントシステム100および方法の諸実施形態の第2の構成要素は、シーンジオメトリ構成要素210である。これは、3Dボリュームのレジストレーションと、カメラポッド300が取り込む3D空間のアライメントの両方を含む。シーンジオメトリ構成要素210の一般的な考えは、会議参加者間に相対的ジオメトリを作成することである。シーンは、あたかも参加者が同じ物理的場所にいて、直に会っての会話に関わっているかのように正確にシーンを整合させることが望まれる。
[00101]シーンジオメトリ構成要素210はまた、仮想カメラを含む。仮想カメラは、透視投影を定義し、これに従って3D幾何プロキシの新規のビューがレンダリングされることになる。これにより、自然な視線および人々の間のつながりを取得するためのシステム100および方法の諸実施形態が可能になる。現在のビデオ会議における1つのブレークダウンは、人々が、カメラの配置されている場所を見ておらず、したがって会議のリモート参加者は、あたかも相手がリモート参加者を見ていないかのように感じることから起こる。これは不自然であり、直に会っての会話では一般的に起こらない。
[00106]システム100および方法の第3の構成要素は、仮想視点構成要素220である。レンダリングされた幾何プロキシおよびシーンジオメトリが参加者に送信されると、それは参加者のモニタ上にレンダリングされる。モニタ上に表示されるシーンに現実感を加えるために、運動視差を使用した奥行きが加えられて、何かを見ている誰かの位置が変わるときに発生するビュー中のニュアンスを含んだ変化をもたらす。
[00109]システム100および方法の諸実施形態は、エンドポイントに2人以上の参加者が存在する状況もまた含む。運動視差による奥行きの上記の技法は、見る者を追跡する、および視聴角度および場所に基づいてモニタ上に適切なビューを提供する能力のために、単一見る者に対してうまく機能する。しかしながらこれは、同じエンドポイントに、同じモニタを見ている第2の人物が存在する場合、モニタが一度に1つのシーンしか提供できず、一方の人物にロックされることになるために、うまくいかない。このためにビューは、追跡されていない他方の見る者にとってずれたものになる。
Claims (20)
- 直に会ってのコミュニケーションをシミュレートするための方法であって、
ローカルエンドポイントでローカル参加者の三次元映像を取り込むステップであって、前記三次元映像の取り込みは、前記ローカルエンドポイントにて、前記ローカル参加者の周りの360度から前記ローカル参加者に関するRGBデータと奥行き情報の両方を取り込む複数のカメラポッドを使用する制御された手法において行われる、ステップと、
取り込んだ前記三次元映像を使用して、前記ローカル参加者のためのローカル幾何プロキシを作成するステップと、
正確な視線を有するシーンジオメトリおよび直に会ってのコミュニケーションと一致する会話のジオメトリを生成するステップと、
前記シーンジオメトリに前記ローカル幾何プロキシを置いて、仮想環境を作成するステップと、
前記ローカル幾何プロキシおよび前記シーンジオメトリを、リモートエンドポイントのリモート参加者に送信するステップであって、前記ローカル参加者と前記リモート参加者との直に会ってのコミュニケーションをシミュレートするように、前記ローカルエンドポイントおよび前記リモートエンドポイントは異なる物理的場所にある、ステップと
を含む方法。 - 請求項1に記載の方法であって、前記RGBデータと前記奥行き情報を加えて前記ローカル幾何プロキシを作成するステップをさらに含む方法。
- 請求項1に記載の方法であって、
前記リモートエンドポイントで前記リモート参加者の三次元映像を取り込むステップと、
前記リモート参加者のリモート幾何プロキシを作成するステップと、
前記シーンジオメトリおよび仮想環境に前記リモート幾何プロキシを置くステップと、
前記シーンジオメトリおよび仮想環境において、前記ローカル幾何プロキシと前記リモート幾何プロキシの両方を互いにレンダリングするステップと
をさらに含む方法。 - 請求項3に記載の方法であって、レンダリングした前記ローカル幾何プロキシ、レンダリングした前記リモート幾何プロキシ、および前記シーンジオメトリを前記ローカルエンドポイントおよび前記リモートエンドポイントに送信するステップをさらに含む方法。
- 請求項1に記載の方法であって、前記リモートエンドポイントの前記リモート参加者に、前記リモート参加者の周りの少なくとも180度の空間を占める表示装置上で前記仮想環境を表示して、前記リモート参加者に前記仮想環境の仮想視点を提供するステップをさらに含む方法。
- 請求項5に記載の方法であって、前記表示装置は、前記リモート参加者の前に配置された第1の表示装置と、前記第1の表示装置のある側にある第2の表示装置と、前記第1の表示装置の別の側にある第3の表示装置とを含む、方法。
- 請求項6に記載の方法であって、
前記第1の表示装置に対して直角に前記第2の表示装置を配置するステップと、
前記第1の表示装置に対して直角に前記第3の表示装置を配置するステップと
をさらに含む方法。 - 請求項6に記載の方法であって、
前記第1の表示装置に対して90度未満である第1の角度で前記第2の表示装置を配置するステップと、
前記第1の表示装置に対して90度未満である第2の角度で前記第3の表示装置を配置するステップと
をさらに含む方法。 - 請求項8に記載の方法であって、前記第1の角度および前記第2の角度を互いに等しく設定するステップをさらに含む方法。
- 請求項3に記載の方法であって、
前記仮想環境において仮想テーブルを定めるステップと、
前記ローカル幾何プロキシおよび前記リモート幾何プロキシを前記仮想テーブルの周りに置いて、前記仮想環境において前記直に会ってのコミュニケーションをシミュレートするステップと
をさらに含む方法。 - 請求項10に記載の方法であって、第1の直径の円形を有するものとして前記仮想テーブルを定めるステップをさらに含む方法。
- 請求項11に記載の方法であって、
2人の参加者から2人より多くの参加者へ参加者の数を増やすことによって仮想環境をスケールアップするステップと、
第1の直径から第2の直径へ前記仮想テーブルのサイズを大きくするステップであって、前記第2の直径は前記第1の直径よりも大きい、ステップと、
前記仮想テーブルに前記参加者のそれぞれの幾何プロキシを置くステップと
をさらに含む方法。 - 請求項5に記載の方法であって、運動視差を使用して前記仮想視点に奥行きを加えるステップをさらに含む方法。
- 請求項13に記載の方法であって、
前記リモート参加者の頭部を追跡するステップと、
前記リモート参加者の頭部の位置および向きに基づいて、前記仮想視点を通して前記リモート参加者に表示されるものを変更するステップと
をさらに含む方法。 - 第1のエンドポイントの周りに配置されて、参加者の周りの360度が複数のカメラポッドによって取り込まれるように、前記第1のエンドポイントで前記参加者の3D映像を取り込む前記複数のカメラポッドと、
前記3D映像からの取り込んだRGBデータと取り込んだ奥行き情報を加えることによって取得される前記参加者の幾何プロキシと、
仮想環境を作成するための、正確な視線を有するシーンジオメトリおよび直に会ってのコミュニケーションと一致する会話のジオメトリと、
複数の表示装置を有する表示装置構成であって、前記複数の表示装置が第2のエンドポイントにて見る者の周りの少なくとも180度に置かれて、前記見る者が仮想視点を通して前記参加者を見ることができるように、前記複数の表示装置は前記第2のエンドポイントに位置し、前記見る者の、前記仮想環境における前記参加者の見え方は、前記見る者の頭部の位置および向きに基づいて変化する、表示装置構成と
を含む、制御された三次元(3D)エンドポイントシステム。 - 請求項15に記載の制御された3Dエンドポイントシステムであって、
前記仮想環境に配置された丸い仮想テーブルと、
オンラインミーティングの他のエンドポイントの他の参加者と共に前記丸い仮想テーブルの周りに置かれた前記参加者のレンダリングされた幾何プロキシと
をさらに含む、制御された3Dエンドポイントシステム。 - エンドポイントにおいて、前記エンドポイントのそれぞれの周りに配置された複数のカメラポッドを有する制御された取り込み環境を整えるステップと、
前記複数のカメラポッドを使用して、各前記エンドポイントの各参加者の三次元映像を取り込むステップと、
前記参加者のそれぞれの幾何プロキシを作成するステップと、
参加者の数に基づいてシーンジオメトリを生成するステップであって、前記シーンジオメトリは仮想テーブルを含む、ステップと、
直に会ってのコミュニケーションに一致する前記シーンジオメトリにおいて、前記幾何プロキシのそれぞれを互いにレンダリングするステップと、
前記シーンジオメトリにおいて前記仮想テーブルの周りに、レンダリングした前記幾何プロキシを置いて、仮想環境を作成するステップと、
前記エンドポイントにおいて、前記エンドポイントの前記参加者の周り少なくとも180度を覆う表示装置を有する制御された見る環境を整えるステップと、
前記表示装置を使用する前記制御された見る環境において前記参加者に前記仮想環境を表示するステップと、
各参加者の頭部の位置および向きに基づいて、前記表示装置を見ている参加者の仮想視点を変えるステップと、
さらなる参加者が追加されるように、参加者の数を増やすステップと、
前記さらなる参加者に対応するために前記仮想テーブルのサイズを大きくするステップと
を含む、オンラインミーティングにおいて参加者の数のスケール変更を行うための方法。 - 請求項17に記載の方法であって、前記仮想テーブルを、ある直径を有する丸い仮想テーブルとして定めるステップをさらに含む方法。
- 請求項18に記載の方法であって、前記仮想テーブルのサイズを大きくするステップは、前記さらなる参加者に対応するために前記丸い仮想テーブルの前記直径を大きくするステップをさらに含む、方法。
- 請求項1に記載の方法であって、
前記リモート参加者の視線を追跡するステップと、
前記リモート参加者に前記仮想環境の仮想視点を通じて表示されるものを、前記リモート参加者の視線の位置及び向きに基づいて変更するステップと
をさらに含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/648,888 | 2012-10-10 | ||
US13/648,888 US8976224B2 (en) | 2012-10-10 | 2012-10-10 | Controlled three-dimensional communication endpoint |
PCT/US2013/063952 WO2014058931A2 (en) | 2012-10-10 | 2013-10-09 | Controlled three-dimensional communication endpoint |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016500954A JP2016500954A (ja) | 2016-01-14 |
JP2016500954A5 JP2016500954A5 (ja) | 2016-11-24 |
JP6285941B2 true JP6285941B2 (ja) | 2018-02-28 |
Family
ID=49474709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015536848A Active JP6285941B2 (ja) | 2012-10-10 | 2013-10-09 | 制御された三次元通信エンドポイント |
Country Status (6)
Country | Link |
---|---|
US (2) | US8976224B2 (ja) |
EP (2) | EP3651454A1 (ja) |
JP (1) | JP6285941B2 (ja) |
KR (1) | KR102108596B1 (ja) |
CN (1) | CN104782122B (ja) |
WO (1) | WO2014058931A2 (ja) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140168375A1 (en) * | 2011-07-25 | 2014-06-19 | Panasonic Corporation | Image conversion device, camera, video system, image conversion method and recording medium recording a program |
US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US9185345B2 (en) * | 2012-09-14 | 2015-11-10 | Ricoh Company, Limited | Video conference system and method for performing the same |
US10341611B2 (en) * | 2013-04-30 | 2019-07-02 | Inuitive Ltd. | System and method for video conferencing |
TWI530157B (zh) * | 2013-06-18 | 2016-04-11 | 財團法人資訊工業策進會 | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 |
US10885227B2 (en) | 2013-11-26 | 2021-01-05 | CaffeiNATION Signings (Series 3 of Caffeination Series, LLC) | Systems, methods and computer program products for managing remote execution of transaction documents |
US9407871B2 (en) * | 2014-03-31 | 2016-08-02 | Electronics And Telecommunications Research Instit | Apparatus and method for controlling eye-to-eye contact function |
TWI556624B (zh) * | 2014-07-18 | 2016-11-01 | 友達光電股份有限公司 | 影像顯示方法以及影像顯示裝置 |
JP2016032277A (ja) * | 2014-07-30 | 2016-03-07 | 日本電信電話株式会社 | 映像通信システム及び映像通信方法 |
BE1022580A9 (fr) * | 2014-10-22 | 2016-10-06 | Parallaxter | Méthode d'obtention de vidéos immersives avec parallaxe interactive et méthode de visualisation de vidéos immersives avec parallaxe interactive |
US9542603B2 (en) | 2014-11-17 | 2017-01-10 | Polycom, Inc. | System and method for localizing a talker using audio and video information |
US10154246B2 (en) | 2014-11-20 | 2018-12-11 | Cappasity Inc. | Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras |
US20180027220A1 (en) * | 2015-01-30 | 2018-01-25 | Ent. Services Development Corporation Lp | Virtual space calibration |
US9880729B2 (en) | 2015-07-13 | 2018-01-30 | International Business Machines Corporation | Provision of extended content on a flexible display |
EP3335418A1 (en) | 2015-08-14 | 2018-06-20 | PCMS Holdings, Inc. | System and method for augmented reality multi-view telepresence |
US20170061689A1 (en) * | 2015-08-24 | 2017-03-02 | Caterpillar Inc. | System for improving operator visibility of machine surroundings |
US9661271B1 (en) | 2015-11-30 | 2017-05-23 | International Business Machines Corporation | Multiple display planes for participant collaboration |
WO2017094543A1 (ja) * | 2015-12-02 | 2017-06-08 | セイコーエプソン株式会社 | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法 |
CN108370431B (zh) | 2015-12-11 | 2021-03-19 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
US9955120B2 (en) * | 2016-02-12 | 2018-04-24 | Sony Interactive Entertainment LLC | Multiuser telepresence interaction |
WO2017172528A1 (en) | 2016-04-01 | 2017-10-05 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
JP7074056B2 (ja) * | 2016-05-13 | 2022-05-24 | ソニーグループ株式会社 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
EP3461125A4 (en) * | 2016-05-18 | 2019-05-22 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
US9681096B1 (en) | 2016-07-18 | 2017-06-13 | Apple Inc. | Light field capture |
US20180077437A1 (en) | 2016-09-09 | 2018-03-15 | Barrie Hansen | Parallel Video Streaming |
US20180096504A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
EP3331240A1 (en) | 2016-12-02 | 2018-06-06 | Thomson Licensing | Method and device for setting up a virtual meeting scene |
EP3513379A4 (en) | 2016-12-05 | 2020-05-06 | Hewlett-Packard Development Company, L.P. | AUDIO-VISUAL TRANSMISSION ADJUSTMENTS VIA OMNIDIRECTIONAL CAMERAS |
WO2018116253A1 (en) * | 2016-12-21 | 2018-06-28 | Interaptix Inc. | Telepresence system and method |
CN108259806A (zh) * | 2016-12-29 | 2018-07-06 | 中兴通讯股份有限公司 | 一种视频通信方法、设备和终端 |
JP6482580B2 (ja) * | 2017-02-10 | 2019-03-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7159057B2 (ja) * | 2017-02-10 | 2022-10-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
US10503456B2 (en) | 2017-05-05 | 2019-12-10 | Nvidia Corporation | Method and apparatus for rendering perspective-correct images for a tilted multi-display environment |
CN108876852B (zh) * | 2017-05-09 | 2021-06-22 | 中国科学院沈阳自动化研究所 | 一种基于3d视觉的在线实时物体识别定位方法 |
EP3635949A1 (en) * | 2017-06-09 | 2020-04-15 | PCMS Holdings, Inc. | Spatially faithful telepresence supporting varying geometries and moving users |
CN107465518A (zh) * | 2017-08-16 | 2017-12-12 | 北京大生在线科技有限公司 | 一种基于网络的多人同时语音聊天方法及系统 |
CN109819200B (zh) * | 2019-01-22 | 2021-02-09 | 视联动力信息技术股份有限公司 | 一种对参会终端进行查岗的方法和装置 |
US12069408B2 (en) | 2019-04-15 | 2024-08-20 | Nyu Shanghai | Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display |
US20230164304A1 (en) * | 2020-04-30 | 2023-05-25 | Virtualwindow Co., Ltd. | Communication terminal device, communication method, and software program |
US20210358227A1 (en) | 2020-05-12 | 2021-11-18 | True Meeting Inc. | Updating 3d models of persons |
US11870939B2 (en) | 2020-05-12 | 2024-01-09 | True Meeting Inc. | Audio quality improvement related to a participant of a virtual three dimensional (3D) video conference |
US11570404B2 (en) * | 2020-05-12 | 2023-01-31 | True Meeting Inc. | Predicting behavior changes of a participant of a 3D video conference |
US11502861B2 (en) * | 2020-08-17 | 2022-11-15 | T-Mobile Usa, Inc. | Simulated auditory space for online meetings |
JP6888854B1 (ja) * | 2020-09-02 | 2021-06-16 | シンメトリー・ディメンションズ・インク | 遠隔勤務支援システム及び遠隔勤務支援方法 |
US11539935B2 (en) * | 2020-12-02 | 2022-12-27 | Meta Platforms Technologies, Llc | Videotelephony with parallax effect |
US11546385B1 (en) | 2020-12-31 | 2023-01-03 | Benjamin Slotznick | Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform |
US11621979B1 (en) * | 2020-12-31 | 2023-04-04 | Benjamin Slotznick | Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants |
US11330021B1 (en) | 2020-12-31 | 2022-05-10 | Benjamin Slotznick | System and method of mirroring a display of multiple video feeds in videoconferencing systems |
WO2022211667A1 (ru) * | 2021-03-30 | 2022-10-06 | Хальдун Саид Аль-Зубейди | Многоэкранный панорамный телевизор |
FI20215726A1 (en) * | 2021-06-21 | 2022-12-22 | Teknologian Tutkimuskeskus Vtt Oy | Broadcast terminal for 3D telepresence |
CN114339120A (zh) * | 2021-12-13 | 2022-04-12 | 微软技术许可有限责任公司 | 沉浸式视频会议系统 |
JP7200439B1 (ja) * | 2021-12-23 | 2023-01-06 | ソフトバンク株式会社 | アバター表示装置、アバター生成装置及びプログラム |
CN117201720A (zh) * | 2022-06-01 | 2023-12-08 | 微软技术许可有限责任公司 | 在视频会话中提供实时虚拟背景 |
US20240203075A1 (en) * | 2022-12-14 | 2024-06-20 | Microsoft Technology Licensing, Llc | Collaborative system |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064771A (en) | 1997-06-23 | 2000-05-16 | Real-Time Geometry Corp. | System and method for asynchronous, adaptive moving picture compression, and decompression |
US6072496A (en) | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
US6226003B1 (en) | 1998-08-11 | 2001-05-01 | Silicon Graphics, Inc. | Method for rendering silhouette and true edges of 3-D line drawings with occlusion |
JP2000175171A (ja) * | 1998-12-03 | 2000-06-23 | Nec Corp | テレビ会議の映像生成装置及びその生成方法 |
US6919906B2 (en) | 2001-05-08 | 2005-07-19 | Microsoft Corporation | Discontinuity edge overdraw |
US6781591B2 (en) | 2001-08-15 | 2004-08-24 | Mitsubishi Electric Research Laboratories, Inc. | Blending multiple images using local and global information |
US7023432B2 (en) | 2001-09-24 | 2006-04-04 | Geomagic, Inc. | Methods, apparatus and computer program products that reconstruct surfaces from data point sets |
US7096428B2 (en) | 2001-09-28 | 2006-08-22 | Fuji Xerox Co., Ltd. | Systems and methods for providing a spatially indexed panoramic video |
US7515173B2 (en) | 2002-05-23 | 2009-04-07 | Microsoft Corporation | Head pose tracking system |
US7106358B2 (en) | 2002-12-30 | 2006-09-12 | Motorola, Inc. | Method, system and apparatus for telepresence communications |
US20050017969A1 (en) | 2003-05-27 | 2005-01-27 | Pradeep Sen | Computer graphics rendering using boundary information |
US7184052B2 (en) | 2004-06-18 | 2007-02-27 | Microsoft Corporation | Real-time texture rendering using generalized displacement maps |
US7292257B2 (en) | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
US7671893B2 (en) | 2004-07-27 | 2010-03-02 | Microsoft Corp. | System and method for interactive multi-view video |
US20060023782A1 (en) | 2004-07-27 | 2006-02-02 | Microsoft Corporation | System and method for off-line multi-view video compression |
US7561620B2 (en) | 2004-08-03 | 2009-07-14 | Microsoft Corporation | System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding |
US7142209B2 (en) | 2004-08-03 | 2006-11-28 | Microsoft Corporation | Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid |
US7221366B2 (en) | 2004-08-03 | 2007-05-22 | Microsoft Corporation | Real-time rendering system and process for interactive viewpoint video |
US8477173B2 (en) | 2004-10-15 | 2013-07-02 | Lifesize Communications, Inc. | High definition videoconferencing system |
JPWO2006062199A1 (ja) | 2004-12-10 | 2008-06-12 | 国立大学法人京都大学 | 3次元画像データ圧縮装置、該方法、該プログラム及び記録媒体 |
WO2006084385A1 (en) | 2005-02-11 | 2006-08-17 | Macdonald Dettwiler & Associates Inc. | 3d imaging system |
US8228994B2 (en) | 2005-05-20 | 2012-07-24 | Microsoft Corporation | Multi-view video coding based on temporal and view decomposition |
WO2007005752A2 (en) | 2005-07-01 | 2007-01-11 | Dennis Christensen | Visual and aural perspective management for enhanced interactive video telepresence |
JP4595733B2 (ja) | 2005-08-02 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置 |
US7551232B2 (en) | 2005-11-14 | 2009-06-23 | Lsi Corporation | Noise adaptive 3D composite noise reduction |
KR100810268B1 (ko) | 2006-04-06 | 2008-03-06 | 삼성전자주식회사 | 모바일 디스플레이 장치에서의 색약자를 위한 구현 방법 |
US7778491B2 (en) | 2006-04-10 | 2010-08-17 | Microsoft Corporation | Oblique image stitching |
US7679639B2 (en) | 2006-04-20 | 2010-03-16 | Cisco Technology, Inc. | System and method for enhancing eye gaze in a telepresence system |
US7692680B2 (en) | 2006-04-20 | 2010-04-06 | Cisco Technology, Inc. | System and method for providing location specific sound in a telepresence system |
USD610105S1 (en) | 2006-07-10 | 2010-02-16 | Cisco Technology, Inc. | Telepresence system |
SG176440A1 (en) * | 2006-11-21 | 2011-12-29 | Mantisvision Ltd | 3d geometric modeling and 3d video content creation |
US8213711B2 (en) | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
JP4947593B2 (ja) | 2007-07-31 | 2012-06-06 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
US8279254B2 (en) * | 2007-08-02 | 2012-10-02 | Siemens Enterprise Communications Gmbh & Co. Kg | Method and system for video conferencing in a virtual environment |
US8223192B2 (en) | 2007-10-31 | 2012-07-17 | Technion Research And Development Foundation Ltd. | Free viewpoint video |
US8451265B2 (en) | 2007-11-16 | 2013-05-28 | Sportvision, Inc. | Virtual viewpoint animation |
US8259155B2 (en) * | 2007-12-05 | 2012-09-04 | Cisco Technology, Inc. | Providing perspective-dependent views to video conference participants |
EP2255530A4 (en) * | 2008-03-17 | 2012-11-21 | Hewlett Packard Development Co | PRESENTATION OF FLOW OF PANORAMIC VIDEO IMAGES |
US8319819B2 (en) * | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
US7840638B2 (en) | 2008-06-27 | 2010-11-23 | Microsoft Corporation | Participant positioning in multimedia conferencing |
US8106924B2 (en) | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
JP5170249B2 (ja) | 2008-09-29 | 2013-03-27 | パナソニック株式会社 | 立体画像処理装置および立体画像処理装置のノイズ低減方法 |
US8537196B2 (en) | 2008-10-06 | 2013-09-17 | Microsoft Corporation | Multi-device capture and spatial browsing of conferences |
US8200041B2 (en) | 2008-12-18 | 2012-06-12 | Intel Corporation | Hardware accelerated silhouette detection |
US8436852B2 (en) | 2009-02-09 | 2013-05-07 | Microsoft Corporation | Image editing consistent with scene geometry |
US8477175B2 (en) | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
US8217993B2 (en) | 2009-03-20 | 2012-07-10 | Cranial Technologies, Inc. | Three-dimensional image capture system for subjects |
US20100259595A1 (en) | 2009-04-10 | 2010-10-14 | Nokia Corporation | Methods and Apparatuses for Efficient Streaming of Free View Point Video |
US8719309B2 (en) | 2009-04-14 | 2014-05-06 | Apple Inc. | Method and apparatus for media data transmission |
US8665259B2 (en) | 2009-04-16 | 2014-03-04 | Autodesk, Inc. | Multiscale three-dimensional navigation |
US8629866B2 (en) | 2009-06-18 | 2014-01-14 | International Business Machines Corporation | Computer method and apparatus providing interactive control and remote identity through in-world proxy |
US9648346B2 (en) | 2009-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Multi-view video compression and streaming based on viewpoints of remote viewer |
US8194149B2 (en) | 2009-06-30 | 2012-06-05 | Cisco Technology, Inc. | Infrared-aided depth estimation |
US8633940B2 (en) | 2009-08-04 | 2014-01-21 | Broadcom Corporation | Method and system for texture compression in a system having an AVC decoder and a 3D engine |
US8908958B2 (en) | 2009-09-03 | 2014-12-09 | Ron Kimmel | Devices and methods of generating three dimensional (3D) colored models |
US8284237B2 (en) | 2009-09-09 | 2012-10-09 | Nokia Corporation | Rendering multiview content in a 3D video system |
US9154730B2 (en) | 2009-10-16 | 2015-10-06 | Hewlett-Packard Development Company, L.P. | System and method for determining the active talkers in a video conference |
US8537200B2 (en) | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
US8665309B2 (en) * | 2009-11-03 | 2014-03-04 | Northrop Grumman Systems Corporation | Video teleconference systems and methods for providing virtual round table meetings |
US8487977B2 (en) | 2010-01-26 | 2013-07-16 | Polycom, Inc. | Method and apparatus to virtualize people with 3D effect into a remote room on a telepresence call for true in person experience |
US20110211749A1 (en) | 2010-02-28 | 2011-09-01 | Kar Han Tan | System And Method For Processing Video Using Depth Sensor Information |
US8659597B2 (en) | 2010-09-27 | 2014-02-25 | Intel Corporation | Multi-view ray tracing using edge detection and shader reuse |
US9628755B2 (en) * | 2010-10-14 | 2017-04-18 | Microsoft Technology Licensing, Llc | Automatically tracking user movement in a video chat application |
US20120200676A1 (en) | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
US8675067B2 (en) * | 2011-05-04 | 2014-03-18 | Microsoft Corporation | Immersive remote conferencing |
-
2012
- 2012-10-10 US US13/648,888 patent/US8976224B2/en active Active
-
2013
- 2013-10-09 CN CN201380053160.6A patent/CN104782122B/zh active Active
- 2013-10-09 WO PCT/US2013/063952 patent/WO2014058931A2/en active Application Filing
- 2013-10-09 EP EP19217742.6A patent/EP3651454A1/en not_active Withdrawn
- 2013-10-09 JP JP2015536848A patent/JP6285941B2/ja active Active
- 2013-10-09 EP EP13780272.4A patent/EP2907302A2/en not_active Ceased
- 2013-10-09 KR KR1020157009265A patent/KR102108596B1/ko active IP Right Grant
-
2015
- 2015-02-13 US US14/621,781 patent/US9332222B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2014058931A2 (en) | 2014-04-17 |
WO2014058931A3 (en) | 2014-08-07 |
US9332222B2 (en) | 2016-05-03 |
US8976224B2 (en) | 2015-03-10 |
EP3651454A1 (en) | 2020-05-13 |
CN104782122A (zh) | 2015-07-15 |
KR20150067194A (ko) | 2015-06-17 |
CN104782122B (zh) | 2018-01-19 |
US20140098183A1 (en) | 2014-04-10 |
US20150163454A1 (en) | 2015-06-11 |
KR102108596B1 (ko) | 2020-05-07 |
JP2016500954A (ja) | 2016-01-14 |
EP2907302A2 (en) | 2015-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6285941B2 (ja) | 制御された三次元通信エンドポイント | |
US10535181B2 (en) | Virtual viewpoint for a participant in an online communication | |
US11563779B2 (en) | Multiuser asymmetric immersive teleconferencing | |
US11450071B2 (en) | Adapting acoustic rendering to image-based object | |
US10602121B2 (en) | Method, system and apparatus for capture-based immersive telepresence in virtual environment | |
JP2017532847A (ja) | 立体録画及び再生 | |
Gotsch et al. | TeleHuman2: A Cylindrical Light Field Teleconferencing System for Life-size 3D Human Telepresence. | |
TWI813098B (zh) | 用於新穎視圖合成之神經混合 | |
JP6091850B2 (ja) | テレコミュニケーション装置及びテレコミュニケーション方法 | |
EP2355500A1 (en) | Method and system for conducting a video conference with a consistent viewing angle | |
CN113632458A (zh) | 广角相机透视体验的系统、算法和设计 | |
Thatte et al. | Real-World Virtual Reality With Head-Motion Parallax | |
US20240022688A1 (en) | Multiuser teleconferencing with spotlight feature | |
Tat | Holotab: Design and Evaluation of Interaction Techniques for a Handheld 3D Light Field Display | |
FI20196130A1 (en) | Procedure for a remote presence system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161004 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6285941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |