JP4465278B2 - 格納式カメラ装置 - Google Patents

格納式カメラ装置 Download PDF

Info

Publication number
JP4465278B2
JP4465278B2 JP2004555393A JP2004555393A JP4465278B2 JP 4465278 B2 JP4465278 B2 JP 4465278B2 JP 2004555393 A JP2004555393 A JP 2004555393A JP 2004555393 A JP2004555393 A JP 2004555393A JP 4465278 B2 JP4465278 B2 JP 4465278B2
Authority
JP
Japan
Prior art keywords
cameras
video
user
coupled
arm portions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004555393A
Other languages
English (en)
Other versions
JP2006508586A (ja
Inventor
トーマス マルツベンダー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2006508586A publication Critical patent/JP2006508586A/ja
Application granted granted Critical
Publication of JP4465278B2 publication Critical patent/JP4465278B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Description

本発明は、概して、ビデオ遠隔会議に関し、特に、共有仮想環境内でのリアルタイムビデオ通信を可能にする格納式カメラ装置に関する。
[関連出願の相互参照]
本発明は、本明細書に参照することにより援用される「Method and System for Real-Time Video Communication Within a Virtual Environment」という名称の同時係属中の出願番号第10/176,494号に関連する。
ビデオ遠隔会議システムは、2人以上の当事者が、略リアルタイムの映像を伴う遠隔会話に参加できるようにする。従来のビデオ遠隔会議システムを理解するために、これより図1を参照されたい。図1に示すように、従来のビデオ遠隔会議システムでは、ローカルの参加者が遠隔会議ステーション10を用いて通信する。会話の映像部分を処理するために、各遠隔会議ステーションは、会話の他の当事者(1人または複数人)を表示する表示装置12、すなわちモニタ、および映像を会話の他の当事者に伝送するビデオカメラ14を備える。ビデオカメラ14は通常、ディスプレイ12の真上に搭載される。
ビデオ遠隔会議に伴う問題の1つは、参加者同士でのアイコンタクトがないことである。通常、参加者は、ローカル参加者の映画像を取り込むために配置された録画カメラではなく、コミュニケーションのためにディスプレイとやりとりする。ローカルユーザの関心は、コミュニケーションのために主にディスプレイに集中する。ユーザは通常、ディスプレイの中の参加者に向かって話し、ディスプレイの中の参加者を注視することにより、ディスプレイ中の参加者の画像とやりとりする。
ビデオカメラは、ローカル参加者が関心を向ける位置(すなわち、ディスプレイ12の中央)ちょうどの場所に物理的に配置することができないため、リモート参加者はローカル参加者の正面を向いた画を見ることがない。ローカルユーザは、視線を別の方向に逸らすことでアイコンタクトを避けているように見える。さらに、ローカルユーザも正面を向いていないリモート参加者のビデオストリームを見るため、ローカルユーザのディスプレイにも同じ問題がある。
アイコンタクトがないという問題を解決するにあたって見つけ出された一手法は、参加者の顔の特徴のモデルを静的合成環境で表示するというものである。このようにして、正面を向いた参加者のモデルが作成される。そのモデルは、顔の特徴の実際の状態に置き換えて参加者の様々な顔の特徴を用いることによって作成される。置き換えられる顔の特徴は、参加者のサンプル画像から作成することができる。たとえば、口は様々な感情の状態、すなわち微笑み、唇をすぼめる等とし得る。参加者がリアルタイムで微笑み、かつ眉をひそめている場合、微笑みおよび眉がひそめられていることを反映したモデルが生成され、他の参加者に提示される。
しかし、この手法に限度があることは、特に、参加者の視覚的特徴を解釈する際に誤りがあり、視覚的特徴が誤って表示される場合に明らかである。たとえば、参加者の口が実際には微笑んでいるが、唇のすぼまりが検出される場合、参加者のモデルはすぼめられた唇を表示し得る。付随する音声ストリームおよび他の顔の特徴は、すぼめられた唇という誤表示に対応しない可能性があるが、すべての顔の特徴は実際の画像から再構築されるため、モデルに誤りがあるようには見えない場合がある。したがって、モデルを見る人は、誤りが発生したか否かを判断することができない。
さらに、現状の限られた計算資源では、モデルのリアルタイム表示をリアルタイムビデオ遠隔会議のために行うには、単純化のため、感情を表すのに数個の特徴しか再構築されない。したがって、モデルは見る側の参加者にとってリアルに見えない。また、モデルはサンプル画像から再構築されるため、参加者の実際の画像は見る側の参加者に伝達されない。したがって、サンプル画像に感情が含まれない場合、または再構築された顔の特徴が、関心のある顔の特徴を包含しない場合、顔の特徴によって表される感情の微妙な違いは、モデルでは表現することができない。
したがって、既存の技術の欠点に対処したビデオ遠隔会議装置が必要である。その装置は単純であり、費用効率的であり、かつ既存の技術に容易に適合可能であるべきである。本発明はこういったニーズに応えるものである。
格納式カメラ装置を開示する。本発明による装置の使用を通して、ビデオ遠隔会議環境は、ジェスチャー、表情、およびボディランゲージ等の個人的な特徴をリアルタイムで伝達することができる。さらに、カメラ装置の格納可能な性質により、ユーザは装置を格納位置にし、それにより、装置を利用していないときには装置をユーザの視界から事実上消すことができる。
本発明の第1の態様は、格納式カメラ装置を含む。この装置は、収容部と、収容部に結合された少なくとも1つのアーム部であって、格納位置と展開位置とで可動である少なくとも1つのアーム部と、少なくとも1つのアーム部に結合された少なくとも1つのカメラと、を備える。
本発明の第2の態様は、画像を取り込むシステムを含む。このシステムは、デスクトップビデオディスプレイと、デスクトップビデオディスプレイに結合された格納式カメラ装置と、を備え、格納式カメラ装置は、収容部と、収容部に結合された少なくとも1つのアーム部であって、格納位置と展開位置との間で可動である少なくとも1つのアーム部と、少なくとも1つのアーム部に結合された少なくとも1つのカメラと、を備える、装置を含む。
本発明の他の態様および利点が、本発明の原理を例として示す添付図面と併せて行われる以下の詳細な説明から明らかになろう。
本発明は、格納式カメラ装置に関する。以下の説明は、当業者が本発明を利用することができるようにするために提示され、特許出願およびその要件に則り、提供される。好ましい実施形態、ならびに本明細書において説明する一般原理および特徴に対する様々な変更が当業者に容易に明らかになろう。したがって、本発明は、図示の実施形態への限定を意図せず、本明細書において説明する原理および特徴に一致する最も広い範囲が認められることを意図する。
したがって、本発明の一実施形態は、仮想環境におけるリアルタイムビデオ通信を容易にする装置である。この装置は、ローカル参加者のビデオストリームを生成するために利用される。こういったビデオストリームはビュー合成技法と併せて利用されて、ビデオ通信セッション中に、リモート参加者により観察される、ローカル参加者のリアルタイム映画像が生成される。
図2Aは、本発明の一実施形態による装置200の図である。装置200は、3つのアーム部202、211、214、中央収容部208、および基部218を備える。外側アーム部202、214はそれぞれ、中央収容部208に格納可能に結合され、中央収容部208は基部218に結合される。中央アーム部211もまた中央収容部208に結合される。
本発明の一実施形態による装置をよりよく理解するために、これより図2Bを参照されたい。図2Bは、本発明による装置200の一実施形態の背面斜視図である。図2Bにおいて見て取ることができるように、中央アーム部211は中央収容部208に結合される。一実施形態では、装置200はプラスチック等の材料からなる。
再び図2Aを参照すると、装置200はデスクトップビデオディスプレイに結合することが可能である。図2Aに示す実施形態では、デスクトップビデオディスプレイはフラットパネルデスクトップビデオディスプレイ220である。装置200は、複数のデジタルカメラ204、206、210、212、216をさらに備える。一実施形態では、2つのカメラ204、206は第1の外側アーム202に結合され、2つのカメラ212、216は第2の外側アーム214に結合される。第5のカメラ210は中央アーム211に結合される。
本実施形態はフラットパネルデスクトップビデオディスプレイ220と併せて示されるが、当業者は、本発明による装置200は、本発明の精神および範囲内にありながら、様々な異なるビデオディスプレイ向けに構成することが可能なことを容易に認めるであろうことに留意されたい。
本発明の一実施形態では、外側アーム202、214は、中央収容部208の中に可動的に格納することができる。したがって、装置200は展開位置および格納位置に配置することが可能である。一実施形態では、展開位置は図2Aに示す位置である。展開位置では、アーム202、214は、カメラ204、206、212、214がディスプレイ220の正面にある画像を取り込むことが可能となるように、中央収容部208の両側から延出する。逆に、格納位置では、アーム202、214は中央収容部208の中に可動的に格納される。図2Cは、格納位置にある装置200を示し、アーム(見えない)は中央収容部208の中に可動的に格納されている。外側アーム202、214の格納可能な性質により、ユーザは、装置200を格納位置に配置することができ、それによって装置200は、利用されていないときにはユーザの視界から事実上消える。
これより図2Dを参照されたい。図2Dは、本発明の一実施形態による装置の上面斜視図を示す。図2Dにおいてはっきりと見て取ることができるように。5つのデジタルカメラ204、206、210、212、216はすべてローカル参加者250と対面し、ローカル参加者250を取り囲む。ローカル参加者250は5つのカメラ204、206、210、212、216と対面する。一実施形態では、装置200は、5つのデジタルカメラ204、206、210、212、216を介して5つのビデオストリームをリアルタイムで、複数の視点から生成する。これら複数のビデオストリームから、ビュー合成方法を実施し、ローカル参加者の任意の視点からの新しいビューを生成することができる。新しいビューの生成はリアルタイムで行われ、仮想環境内のリアルタイムビデオ通信を提供する。
5つの別個のカメラが本実施形態において使用されるが、所望の画質に応じてカメラの台数を増減することが可能である。一実施形態では、カメラは5つの低コストの小型デジタルカメラである。しかし、当業者は、本発明の精神および範囲内にありながら、様々な異なるカメラを本発明と併せて採用し得ることを容易に理解できるであろう。
本発明の代替の一実施形態では、装置200は音声機能をさらに備える。これには、装置200に結合された1つまたは複数の小型マイクロホンを利用することが関わる。たとえば、マイクロホン(複数可)をアーム部202、211、214のうちの1つもしくはすべてに、または中央収容部208に結合することができる。各マイクロホン(複数可)は、音声入力をリアルタイムで受け取ることが可能である。したがって、音声入力をビデオストリームと組み合わせて、たとえば、ビデオ遠隔会議環境において他の見る側の参加者との音声および映像のコミュニケーションインタラクションを行うことができる。
さらに、他の見る側の参加者とのコミュニケーションインタラクションをさらに提供するために、本発明の代替の一実施形態は、装置200に結合され、ビデオ遠隔会議環境において他の見る側の参加者から受け取った音声入力を伝送する1つまたは複数のスピーカを備える。
本発明のさらに別の実施形態では、装置200は、コンピュータシステム上のオペレーティングシステムに結合され、オペレーティングシステムと併せて、またサーバに接続して利用されように設計される。しかし、装置200についてコンピュータシステム上のオペレーティングシステムと併せて、またサーバに接続して利用される一般的な状況で説明するが、当業者は、本発明は他のプログラムモジュールと併せて実施することも可能なことを理解できるであろう。一般に、プログラムモジュールとしては、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、オペレーティングシステム、アプリケーションプログラム、構成要素、データ構造等が挙げられる。さらに、当業者は、本発明が、ハンドヘルド装置、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含め、他のコンピュータシステム構成を使用して実施することも可能なことを理解できるであろう。
本発明による装置と併せて利用することができるコンピュータシステムの例として、図3を参照されたい。図3では、キーボード311、マウス312、およびディスプレイ220(図2A)を備えたコンピュータシステム300をブロック図の形で示す。システム300は1つまたは複数のシステムバス321を備え、システムバス321に様々な構成要素が結合され、システムバス321により、様々な構成要素間での通信が実現する。システムバス321にはマイクロプロセッサ322が接続され、マイクロプロセッサ322は、これらもまたシステムバス321に接続された読み取り専用メモリ(ROM)323およびランダムアクセスメモリ(RAM)324によってサポートされる。マイクロプロセッサは、386、486、またはPentiumマイクロプロセッサを含むIntelマイクロプロセッサファミリの1つである。しかし、68000、68020、または68030マイクロプロセッサ等のMotorolaのマイクロプロセッサファミリ、およびIBM製のPowerPCチップ等の様々な縮小命令セットコンピュータ(RISC)マイクロプロセッサを含むが、これらに限定されない他のマイクロプロセッサ。Hewlett Packard、Sun、Motorola、および他製の他のRISCチップも特定のコンピュータにおいて使用することが可能である。
ROM323は、特に、プロセッサ、ディスクドライブ、およびキーボードの対話等、基本的なハードウェア動作を制御する基本入出力システム(BIOS)を含む。RAM324は、オペレーティングシステム340およびビデオ取り込みソフトウェアモジュール350がロードされるメインメモリである。メモリ管理チップ325がシステムバス321に接続され、RAM324、ハードディスクドライブ326、およびフロッピーディスクドライブ327の間でのデータの受け渡しを含むダイレクトメモリアクセス動作を制御する。CD ROM332もシステムバス321に結合され、大量のデータ、たとえばマルチメディアプログラムまたはプレゼンテーションの記憶に使用される。
このシステムバス321には、様々なI/Oコントローラ、すなわちキーボードコントローラ328、マウスコントローラ329、ビデオコントローラ330、およびオーディオコントローラ331も接続される。予想し得るように、キーボードコントローラ328はキーボード311のハードウェアインタフェースを提供し、マウスコントローラ329はマウス312のハードウェアインタフェースを提供し、ビデオコントローラ330はディスプレイ220のハードウェアインタフェースであり、オーディオコントローラ331はスピーカ313、314のハードウェアインタフェースである。トークンリングアダプタ等のI/Oコントローラ333により、ネットワークを介して他の同様に構成されたデータ処理システムと通信することが可能になる。
一実施形態では、本発明は、通信ネットワークを通してリンクされた遠隔処理装置がタスクを実行する分散計算環境と併せて利用することも可能である。分散計算環境では、プログラムモジュールはローカルおよびリモート両方のメモリ記憶装置にあり得る。プログラムモジュールの実行は、スタンドアロン形式でローカルに、またはクライアント/サーバ形式でリモートで行うことができる。このような分散計算環境の例としては、オフィスのローカルエリアネットワーク、企業規模のコンピュータネットワーク、およびインターネットが挙げられる。
再び図3を参照されたい。分散計算環境に対応するため、ローカルハブノード380が利用されて、セッション管理を受け持つ中央ホストと調整が取られる。たとえば、ローカルハブノード380は中央ホストにコンタクトをとり、仮想環境内の既存の通信セッションに参加するか、あるいは新しい通信セッションを作成する。ローカルが既存のセッションに参加ようとしている場合、中央ホストは、通信セッションに参加しているもののポータルにある各ローカルハブノードに、新しい参加者がいることを通知する。新しいポータルロケーション(ローカルハブノード)が初期化され、これ以降、通信セッションのすべての参加者は、仮想環境でのいずれの位置更新も互いに通知し合う。これは、ピアツーピア接続で行われ、仮想環境内のリアルタイムインタラクションを容易にすることができる。
本発明をよりよく理解するために、これより図4を参照されたい。図4は、本発明の一実施形態と併せて利用することができるビデオ取り込みソフトウェアモジュール350のより詳細な図である。ビデオ取り込みソフトウェアモジュール350は、カメラ取り込みモジュール351、輪郭抽出モジュール352、ビュー合成モジュール353、音声取り込みモジュール354、オプションの記憶されたビデオフレーム355、ネットワークインタフェースモジュール356、および仮想環境ユーザインタフェースモジュール357を備える。
カメラ取り込みモジュール351は、カメラ204〜216からビデオストリームを受け取る。輪郭抽出モジュール352は、カメラ204〜216それぞれからやって来る各リアルタイムビデオストリームから、ローカル参加者を割り出す、または切り離す。オプションのモジュール355は、代替のビデオストリームソースを輪郭抽出モジュールに入力するために(たとえば、デバッグのために)カメラ204〜216から生成されるビデオフレームを記憶することができる。前景に位置するローカル参加者は、カメラ204〜216が受け取っている各ビデオストリームにより、物理的な背景から切り離される。このようにして、ローカル参加者は、物理世界の背景から分けられる。ビュー合成技法を利用して、ローカル参加者の三次元モデルが、見る側の参加者に関連付けられた新しいビューから生成される。その後、他の見る側の参加者とのコミュニケーションインタラクションのために、三次元モデルの画像ベースの表現を合成すなわち仮想環境に仮想的に配置することができる。
輪郭抽出は、カメラ取り込みモジュール351から受け取った各ビデオストリームに対して別個に行われる。たとえば、輪郭抽出は、輪郭抽出モジュール352内で、カメラ204が出力したリアルタイムビデオストリームに対して、ならびにモジュール355からの記憶されていたビデオフレームに対して行われる。さらに、輪郭抽出は、輪郭抽出モジュール352内で、カメラ206が出力したリアルタイムビデオストリームに対して、ならびにモジュール355からの記憶されていたビデオフレームに対しても行われる。同じことがカメラ210、212、216から受け取られるビデオストリームに対しても言える。
物理的な背景から前景を割り出すために、装置200は較正段階を経る。まず、第1の動作段階はカメラの較正である。この動作により、各カメラ204〜216の内因性および外因性両方のカメラパラメータが抽出される。内因性パラメータは各ビデオカメラ内部のものであり、レンズ歪みパラメータ、焦点距離、視野、アスペクト比、および色感度の定量化を含む。外因性パラメータは、ローカル参加者(たとえば、図3の参加者250)と対向する各カメラ取り込みモジュールの向きおよび位置である、カメラの姿勢を含む。
次に、前景に参加者が存在しない複数の画像が集められ、各カメラでの各ピクセルごとに背景モデルを構築する。このデータは、輪郭抽出のためにモジュール355に記憶することができる。このモデルは、背景を見た際に、各センサ素子にある各カラーチャネルごとの平均および標準偏差が何であるかを指定する統計的な特徴である。これにより、各カメラビューにおいてユーザを背景から割り出すことができる。多モードの色統計表現およびガウス分布関数の混合等、他の背景モデルも容易に実施することができる。
ビュー合成モジュール353が用いられて、仮想環境内の他の見る側のリモート参加者の視点からの、ローカル参加者の新しいビューが生成される。見る側の各参加者の視点がそれぞれ、仮想環境の座標空間内におけるローカル参加者から見る側の各参加者への方向と関連付けられる。ローカル参加者の新しいビューは、見る側の参加者それぞれごとに生成される。ローカル参加者の新しいビューはリアルタイムで生成される。たとえば、m人の見る側の参加者がいる場合、m人の見る側の参加者のそれぞれにつき1個ずつ、ローカル参加者のm個の新しいビューが生成される。
m個の新しいビューのそれぞれの構築は、様々なビュー合成技法を用いて行われる。ビュー合成技法は、複数のサンプル視点から撮影されたローカル参加者の様々なリアルタイムビデオストリームから、仮想環境における見る側の参加者の視点等、新しく任意の視点から見た新しいビューを再構築する。ローカル参加者の新しいビューは、ローカル参加者と見る側の参加者との間のアイコンタクトを取り込むことが可能である。次いで、ローカル参加者の新しいビューは再構築からレンダリングされる。
中間ステップは、ローカル参加者の三次元モデルを、見る側の参加者の視点からレンダリングすることを含む。三次元モデルは、ローカル参加者の様々なリアルタイムビデオストリームから生成される。仮想環境の三次元合成レンダリングでブレンディングするため、モデルが二次元でレンダリングされる。
たとえば、ビュー合成モジュール353内で、第1の見る側の参加者の視点からの新しいビューの出力が、カメラ204〜216に関連する複数のサンプル視点のそれぞれからのビデオストリームから再構築される。各サンプル視点からのリアルタイムビデオストリームは、輪郭抽出モジュール352において物理的な背景からローカル参加者を抽出しており、ビュー合成モジュール353に入力される。
同様に、ビュー合成モジュール353は、仮想環境における第2の見る側の参加者の視点からのローカル参加者の新しい映画像ストリームを出力する。見る側の参加者の視点からの新しいビデオストリームのそれぞれは、物理的な背景からローカル参加者が抽出された、カメラ204〜216に関連する複数のサンプル視点のそれぞれからのビデオストリームから再構築される。
一実施形態では、ビデオ取り込みソフトウェアモジュール350は、音声取り込みモジュール354も備える。モジュール354は、ローカル参加者の音声入力をリアルタイムで受け取るマイクロホンも備えることができる。音声入力を、見る側の参加者の視点からのビデオストリームとネットワークインタフェースモジュール356内で組み合わせて、リアルタイムインタラクションのためにローカル参加者の写実的なレンダリングを生成することができる。
モジュール356から、ビデオストリームおよび音声ストリームを、対応する見る側の参加者にピアツーピア通信接続を介して直接送ることができる。ピアツーピア通信は、音声/ビデオデータに対する処理量を最小限に抑えて、リアルタイムインタラクションを確保する。
さらに、ビデオ取り込みソフトウェアモジュール350は、仮想環境ユーザインタフェースモジュール357も備える。モジュール357は、仮想環境内でのローカル参加者インタラクションを提供する。各参加者は、その参加者を表す、関連する仮想アバターの、仮想環境内での仮想位置を制御することができる。実施形態はマウスまたはカーソルキーを使用して、仮想環境の中でローカル参加者を動かすが、他の入力手法も同様に使用することが可能である。たとえば、ユーザインタフェースモジュール357を使用して、仮想環境内の、ローカル参加者を表す仮想アバターを移動させることができる。また、ユーザインタフェースモジュール357を使用して、仮想環境において、ローカル参加者を表す仮想アバターを、垂直軸を中心として回転させることができる。これは、仮想環境の座標系内の、ローカル参加者を表す仮想アバターの向きを確定させる。これにより、ローカル参加者は、仮想環境内の特定位置で360度にわたる様々な視点を得ることができる。
さらに、モジュール357は、仮想環境内でローカル参加者とやりとりしている見る側の参加者に関連する、対応する入力音声ストリームおよびビデオ画像ストリームを受け取る。入力音声ストリームおよび対応するビデオ画像ストリームは、見る側の参加者から送られる。仮想環境内のローカル参加者の視点から、別個の音声ストリームおよび対応するビデオ画像ストリームが、見る側の参加者それぞれごとに生成され、仮想環境の座標空間内の、見る側の各参加者からローカル参加者への方向が関連付けられる。これらの音声ストリームおよびビデオ画像ストリームは、見る側の参加者の、それぞれの物理的な場所にあるシステム上で生成することができる。このようにして、仮想環境内の各参加者は、物理的には離れた場所にいても、通信セッションに参加することができる。
ディスプレイ220はユーザインタフェースモジュール357に結合され、ローカル参加者の視点から仮想環境を見るために利用される。ローカル参加者の向きに応じて、見る側の参加者からの各ビデオストリームをディスプレイ220で見ることができる。ディスプレイ220の視野は限られているため、ディスプレイ220に表示される仮想空間の歪みおよび変形により、仮想環境の視野が広げられる。これは、仮想世界と物理的なディスプレイの間に幾何学的形状の不一致をもたらし得るが、依然として、その歪んだ空間内で、アイコンタクト等、参加者の写実的な画像をすぐに利用することが可能である。
したがって、本発明はローカル参加者と見る側のリモート参加者の間とのアイコンタクトの知覚を生成するため、自然なコミュニケーションが通信セッションの参加者間に保たれる。たとえば、ローカル参加者の感情の現れが、カメラ204、206、210、212、216によって取り込まれ、通信セッションの他の参加者に送られて、対応するアバターを使用して写実的に表示される。アイコンタクトを意図的に避けることに関連する緊張感も残る。これにより、ローカル参加者と仮想環境に含まれる通信セッション内の複数の見る側の参加者との間にリアルタイムビデオ通信が可能になる。
格納式カメラ装置を開示する。本発明による装置の使用を通して、ビデオ遠隔会議環境は、ジェスチャー、表情、およびボディランゲージ等の個人的な特徴をリアルタイムで伝達することができる。さらに、装置の格納可能な性質により、ユーザは装置を格納位置に配置し、それにより、装置を利用していないときには装置をユーザの視界から事実上消すことができる。
本発明について図示の実施形態に従って説明したが、当業者は、実施形態に対する変形が存在することが可能であり、それらの変形は本発明の精神および範囲内にあることを容易に認識できるであろう。したがって、当業者は、添付の特許請求の範囲の精神および範囲から逸脱することなく多くの変更を行うことが可能である。
従来のビデオ遠隔会議システムを示す。 本発明の一実施形態による装置の正面斜視図である。 本発明の一実施形態による装置の背面斜視図である。 本発明の一実施形態による格納位置にある装置を示す。 本発明の一実施形態による装置の上面斜視図である。 本発明の一実施形態による装置と併せて利用することが可能なコンピュータシステムの例を示す。 本発明の一実施形態によるビデオ取り込みソフトウェアモジュールのより詳細な図を示す。

Claims (5)

  1. ビデオ遠隔会議環境用の格納式カメラ装置であって、
    収容部と、
    前記収容部に結合された少なくとも2つのアーム部であって、それぞれが格納位置と展開位置との間で可動である、少なくとも2つのアーム部と、
    前記少なくとも2つのアーム部のそれぞれに結合された複数のカメラと、
    を備え、
    前記少なくとも2つのアーム部は、前記展開位置において、前記複数のカメラが当該装置のユーザと対面し、当該装置のユーザを取り囲むように位置するように構成され、
    前記格納位置には前記複数のカメラの少なくとも2つのカメラが前記収納部に可動的に収納され当該装置を当該装置のユーザの視界から事実上消すことができる位置が含まれる
    ことを特徴とする、ビデオ遠隔会議環境用の格納式カメラ装置。
  2. 前記展開位置は、前記複数のカメラが前記装置の正面において画像を取り込むことが可能なように、前記少なくとも2つのアーム部が前記収容部から可動的に延出した位置を含むことを特徴とする、請求項1記載のビデオ遠隔会議環境用の格納式カメラ装置。
  3. デスクトップビデオディスプレイと、
    前記デスクトップビデオディスプレイに結合されたビデオ遠隔会議環境用の格納式カメラ装置と、
    を備え、
    前記ビデオ遠隔会議環境用の格納式カメラ装置が、
    収容部と、
    前記収容部に結合された少なくとも2つのアーム部であって、それぞれが格納位置と展開位置との間で可動である少なくとも2つのアーム部と、
    前記少なくとも2つのアーム部のそれぞれに結合された複数のカメラと、
    を備え、
    前記少なくとも2つのアーム部は、前記展開位置において、前記複数のカメラが当該装置のユーザと対面し、当該装置のユーザを取り囲むように位置するように構成され、
    前記格納位置には前記複数のカメラの少なくとも2つのカメラが前記収納部に可動的に収納され当該装置を当該装置のユーザの視界から事実上消すことができる位置が含まれることを特徴とする、ビデオ遠隔会議環境用の画像を取り込むシステム。
  4. 前記展開位置は、前記複数のカメラが前記装置の正面において画像を取り込むことが可能なように、前記少なくとも2つのアーム部が前記収容部から可動的に延出した位置を含むことを特徴とする、請求項3記載のビデオ遠隔会議環境用の画像を取り込むシステム。
  5. ビデオ遠隔会議環境用の格納式カメラ装置を利用する方法であって、前記装置は、収容部と、前記収容部に結合された少なくとも2つのアーム部であって、それぞれが格納位置と展開位置との間で可動である少なくとも2つのアーム部と、前記少なくとも2つのアーム部のそれぞれに結合された複数のカメラとを備え、
    前記少なくとも2つのアーム部は、前記展開位置において、前記複数のカメラが当該装置のユーザと対面し、当該装置のユーザを取り囲むように位置するように構成され、
    前記格納位置には前記複数のカメラの少なくとも2つのカメラが前記収納部に可動的に収納され当該装置を当該装置のユーザの視界から事実上消すことができる位置が含まれ、
    前記方法は、
    前記複数のカメラから、前記装置の正面における画像のリアルタイムビデオストリームを受け取ることと、
    ビュー合成モジュールを用いることであって、それにより、前記リアルタイムビデオストリームにビュー合成技法を適用することによって複数の出力ビデオ画像ストリームを生成する、用いることと、
    輪郭抽出モジュールを用いることであって、それによって物理的な背景から前記画像を抽出する、用いることと
    を含むことを特徴とする、ビデオ遠隔会議環境用の格納式カメラ装置を利用する方法。
JP2004555393A 2002-11-22 2003-11-07 格納式カメラ装置 Expired - Fee Related JP4465278B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/302,513 US7057662B2 (en) 2002-11-22 2002-11-22 Retractable camera apparatus
PCT/US2003/035628 WO2004049712A1 (en) 2002-11-22 2003-11-07 Retractable camera apparatus

Publications (2)

Publication Number Publication Date
JP2006508586A JP2006508586A (ja) 2006-03-09
JP4465278B2 true JP4465278B2 (ja) 2010-05-19

Family

ID=32324805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004555393A Expired - Fee Related JP4465278B2 (ja) 2002-11-22 2003-11-07 格納式カメラ装置

Country Status (5)

Country Link
US (1) US7057662B2 (ja)
EP (1) EP1563680A1 (ja)
JP (1) JP4465278B2 (ja)
AU (1) AU2003291383A1 (ja)
WO (1) WO2004049712A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4090896B2 (ja) * 2003-01-16 2008-05-28 シャープ株式会社 情報端末装置
US7285047B2 (en) * 2003-10-17 2007-10-23 Hewlett-Packard Development Company, L.P. Method and system for real-time rendering within a gaming environment
US20060279652A1 (en) * 2005-06-13 2006-12-14 Shou-An Yang Display panel with camera function
EP1826606B1 (en) * 2006-02-24 2012-12-26 Semiconductor Energy Laboratory Co., Ltd. Display device
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
EP1999741A4 (en) * 2006-03-30 2014-09-03 Arjuna Indraeswaran Rajasingham REAL AND VIRTUAL NAVIGATION SYSTEMS
WO2008008893A2 (en) * 2006-07-12 2008-01-17 Medical Cyberworlds, Inc. Computerized medical training system
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US7845605B2 (en) * 2008-03-17 2010-12-07 Bose Corporation Multimedia device bracket
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8364866B2 (en) * 2008-04-14 2013-01-29 Bose Corporation Automatic device function control based on device hub coupling selection
US7813118B2 (en) * 2008-04-14 2010-10-12 Bose Corporation Device bracket with integrated device hub
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US8681268B2 (en) * 2012-05-24 2014-03-25 Abisee, Inc. Vision assistive devices and user interfaces
KR101947572B1 (ko) * 2012-07-06 2019-02-14 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
USD747388S1 (en) * 2013-01-08 2016-01-12 Samsung Electronics Co., Ltd. Pc
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
NO20160400A1 (no) * 2016-03-08 2017-09-11 Blue Planet Communication As Anordninger for sikkerhet mot datainnbrudd gjennom videokonferansesystemer
EP3857867A4 (en) * 2018-09-28 2022-09-14 Brainbaby Inc LOW PROFILE STANDALONE LANDSCAPE VIDEO DEVICE
US10971033B2 (en) 2019-02-07 2021-04-06 Freedom Scientific, Inc. Vision assistive device with extended depth of field

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4032940A (en) 1975-01-10 1977-06-28 W. Haking Industries, Ltd. Retractable camera
US4485400A (en) * 1981-01-13 1984-11-27 Lemelson Jerome H Video telephone
JPH074011B2 (ja) * 1987-03-18 1995-01-18 株式会社日立製作所 画像合成装置
KR920007919B1 (ko) * 1988-06-27 1992-09-19 미쯔비시 덴끼 가부시기가이샤 텔레비젼 전화기
JPH0652945B2 (ja) * 1988-08-24 1994-07-06 日本電信電話株式会社 テレビ電話装置
JPH0799644A (ja) * 1993-09-29 1995-04-11 Canon Inc 画像通信装置
JPH07162827A (ja) * 1993-12-06 1995-06-23 Hitachi Ltd 多地点通信方法および通信端末
JPH07154763A (ja) * 1993-11-26 1995-06-16 Fujitsu Ltd 在席テレビ会議装置
DE19511713A1 (de) 1995-03-30 1996-10-10 C Vis Computer Vision Und Auto Verfahren und Vorrichtung zur automatischen Bildaufnahme von Gesichtern
US6545775B1 (en) * 1995-07-21 2003-04-08 Canon Kabushiki Kaisha Control system and units removably attachable to the same
US5666153A (en) 1995-10-03 1997-09-09 Virtual Shopping, Inc. Retractable teleconferencing apparatus
JPH1075287A (ja) * 1996-08-30 1998-03-17 Kokusai Electric Co Ltd 携帯テレビ電話
KR100423134B1 (ko) * 1997-03-10 2004-05-17 삼성전자주식회사 화상회의 시스템의 카메라/마이크 장치
US5801919A (en) * 1997-04-04 1998-09-01 Gateway 2000, Inc. Adjustably mounted camera assembly for portable computers
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
US6812958B1 (en) * 1998-09-10 2004-11-02 Intel Corporation Storable digital camera associated with a computer system
US6208373B1 (en) * 1999-08-02 2001-03-27 Timothy Lo Fong Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
US6739096B2 (en) * 2001-06-22 2004-05-25 Steelcase Development Corporation Movable office support system
US7515173B2 (en) * 2002-05-23 2009-04-07 Microsoft Corporation Head pose tracking system

Also Published As

Publication number Publication date
JP2006508586A (ja) 2006-03-09
US7057662B2 (en) 2006-06-06
EP1563680A1 (en) 2005-08-17
US20040100575A1 (en) 2004-05-27
WO2004049712A1 (en) 2004-06-10
AU2003291383A1 (en) 2004-06-18

Similar Documents

Publication Publication Date Title
JP4465278B2 (ja) 格納式カメラ装置
US6853398B2 (en) Method and system for real-time video communication within a virtual environment
US11381778B2 (en) Hybrid texture map to be used during 3D video conferencing
US20200294317A1 (en) Augmented reality conferencing system and method
Kauff et al. An immersive 3D video-conferencing system using shared virtual team user environments
US7616226B2 (en) Video conference system and a method for providing an individual perspective view for a participant of a video conference between multiple participants
US7532230B2 (en) Method and system for communicating gaze in an immersive virtual environment
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
Zhang et al. Viewport: A distributed, immersive teleconferencing system with infrared dot pattern
US20110292054A1 (en) System and Method for Low Bandwidth Image Transmission
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
Baker et al. Understanding performance in coliseum, an immersive videoconferencing system
US8902280B2 (en) Communicating visual representations in virtual collaboration systems
Eisert Immersive 3D video conferencing: challenges, concepts, and implementations
Giger et al. Gaze correction with a single webcam
CN111402399A (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
KR20140122275A (ko) 비디오 인터페이스 제어 방법, 비디오 인터페이스 동작 방법, 얼굴 방위 검출기, 및 화상 회의 서버
JP2000090288A (ja) 3次元共有仮想空間通信サービスにおける顔画像制御方法,3次元共有仮想空間通信用装置およびそのプログラム記録媒体
EP4163876A1 (en) Information processing device, information processing method, and program
CN114143494A (zh) 一种视频通信方法、电子设备和通信系统
Xu et al. Computer vision for a 3-D visualisation and telepresence collaborative working environment
Feldmann et al. Immersive multi-user 3D video communication
JP2002269546A (ja) 自動顔トラッキングシステムおよび自動顔トラッキング方法
Tanger et al. Immersive Meeting Point: An Approach Towards Immersive Media Portals
Xu et al. True-view videoconferencing system through 3-D impression of telepresence

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090716

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090811

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees