WO2012157516A1

WO2012157516A1 - 映像提示システム、映像提示方法、プログラム及び記録媒体

Info

Publication number: WO2012157516A1
Application number: PCT/JP2012/061996
Authority: WO
Inventors: 大津　誠; 幹生瀬戸
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2011-05-17
Filing date: 2012-05-10
Publication date: 2012-11-22
Anticipated expiration: 2013-11-17
Also published as: JP2012242930A; JP5200141B2

Abstract

　遠隔地作業者が隣にいるような位置関係で共通の電子作業オブジェクトを見ながら作業を行うことができるようにする。映像提示システムは、撮影装置（２ａ）．（２ｂ）によって取得された撮影映像を入力し、その撮影映像に電子データを合成して送受信することにより、遠隔地間のコミュニケーションを可能とする。本システムは、撮影する範囲の奥行き情報を基に、奥行き情報と映像情報とからなる映像モデルを生成する映像モデル生成部（２０２）と、入力した電子データの基準情報に基づいて電子データモデルを生成する電子データモデル生成部（２０５）と、共通の座標系を設けて、映像モデルと電子データモデルを共通の座標系内で合成する映像・データ合成部（２０６）と、共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する視点生成部（２０７）とを有し、視点生成部で取得した映像を送信する。

Description

映像提示システム、映像提示方法、プログラム及び記録媒体

　本発明は、映像提示システム、映像提示方法、プログラム及び記録媒体に関し、より具体的には、撮影画像に対してリアルタイムに電子データを合成表示することで、遠隔地のシステム間で、コミュニケーションをとって共同作業を行うことができるようにした映像提示システム、及び該システムの機能を実現する映像提示方法とプログラム及び記録媒体に関する。

　複数の作業者によるフェイスツーフェイスの共同作業には様々な形態がある。例えば、フェイスツーフェイスの共同作業として、実在の物を使った作業（モックアップを用いたプロダクトデザイン確認、作業リーダによる製造装置の使用方法に関するレクチャー等）や、作業者がお互いに横に座りながら、あるいは側に立ち、共通の画面を見ながら計算機を使った作業（ペアプログラミング、作業画面を使った状況報告等）等があり、これらの作業は頻繁に行われている。

　撮影された実写映像に計算機で利用することができる電子データを合成表示することで、上記実際の作業に近いコミュニケーションを遠隔地間で実現することができる。さらに撮影された実写映像の３次元的な空間や位置関係を考慮して電子データを合成できると、２次元平面に単純に電子データを貼り付ける場合に比べて、視認性や物体位置認識効果を高めることができる。これらの研究は、拡張現実（ＡＲ：Augmented Reality）・複合現実（ＭＲ：Mixed Reality）と呼ばれ、多くの実施例がある。

　例えば、特許文献１には、送信者側の映像を受信者側に転送し、仮想空間内で送信者と受信者のアバターと呼ばれる人物映像を仮想空間の背景画像と合成しリアルタイムに表示することで、コミュニケーションや協調作業を行うための装置について開示されている。送信者の映像は、送信者と受信者の仮想空間内の位置関係から、複数の角度に設置された撮影装置の中から適切な位置の映像が選択されて伝送されるような構成になっている。しかし、双方の利用者は仮想空間内の位置を考慮して、アバターを適切に配置する必要がある。

　例えば、非特許文献１には、利用者の前に設置された特殊な表示面、具体的には偏光された光がその後方に透過できない半透過の投影面を設置し、上部より偏光された遠隔地の映像をその投影面に映し出す。さらに、半透過投影面の背後に撮影カメラを設置し、透過してきた利用者の映像を撮影し遠隔地に送信する。また、遠隔地の映像内に電子データを重畳することで、双方の間に電子的な作業オブジェクトを表示させて協調作業を行うための装置について開示されている。

特開２００４－１７８０３６号公報

"Integration of Interpersonal Space and Shared Workspace: ClearBoard Design and Experiments" ACM Transaction on Information Systems,Vol.11,No.4,October 1993,Pages349-375

　特許文献１で開示されている方法は、利用者自身が、仮想空間内の位置や向いている方向を常に意識する必要があることと、双方が同一の役割で利用できるシステムになっていないという課題がある。
　非特許文献２で開示されているシステムは、特殊な投影面が必要であり、かつ投影面の上部に偏光した映像を投影するための装置と投影面の後方に利用者を撮影する装置を設置する必要があり、システムとして非常に大がかりになる課題がある。

　本発明は、上記特許文献１の課題にあるような、利用者が仮想的な３次元空間位置を考慮する必要なく、共通に利用する電子データの３次元的な位置を介して、双方の利用者の位置及び表示装置の相対的な位置を確定させ、その情報に基づいて双方のシステムに送る映像を生成することで、遠隔地作業者が隣にいるような位置関係で共通の電子作業オブジェクトを見ながら作業を行うことができるようにすること、また、そのような作業を実現するシステムを汎用的なディスプレイや撮影装置を用いて実現することを目的とするものである。

　上記課題を解決するために、本発明の第１の技術手段は、撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示システムであって、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行情報に貼り付けた映像情報とからなる映像モデルを生成する映像モデル生成部と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて電子データモデルを生成する電子データモデル生成部と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する映像・データ合成部と、該映像・データ合成部で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する視点生成部と、該視点生成部で取得した映像を送信する送信部と、を有することを特徴としたものである。

　第２の技術手段は、第１の技術手段において、前記視点生成部が、前記電子データの３次元的な位置と前記共通の座標系における利用者の相対的な位置関係に基づいて算出された視点位置の映像を生成することを特徴としたものである。

　第３の技術手段は、第２の技術手段において、利用者による操作入力を受け付ける操作装置と、前記電子データの位置及び利用者の視点位置を設定するための表示画面を表示装置に表示させる制御手段とを有し、前記視点生成部は、前記表示画面に対する前記操作装置の操作入力に従って、前記電子データの３次元的な位置及び利用者の視点位置を決定することを特徴としたものである。

　第４の技術手段は、第１～第３のいずれか１の技術手段において、利用者の３次元上の位置を計測する３次元位置計測装置を有し、前記視点生成部は、前記３次元位置計測装置による計測結果に従って、利用者の位置をリアルタイムに変更することを特徴としたものである。

　第５の技術手段は、第１～第４のいずれか１の技術手段において、前記撮影装置を複数備え、前記映像モデル生成部が、複数の前記撮影装置で撮影された映像から視差画像を生成し、該生成した視差画像に基づいて撮影された対象のデプスを示すデプスマップを生成し、該デプスマップから前記撮影装置の固有の座標系における奥行き情報を生成し、該撮影装置の固有の座標系を前記映像提示システムで扱う共通座標系に変換して、奥行き情報と該奥行き情報に貼り付けた映像情報とからなる前記映像モデルを生成することを特徴としたものである。

　第６の技術手段は、撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示方法であって、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する第１の過程と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する第２の過程と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する第３の過程と、該第３の過程で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する第４の過程と、該第４の過程で取得した映像を送信する第５の過程と、を有することを特徴としたものである。

　第７の技術手段は、撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示装置のコンピュータに、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付ける映像情報とからなる映像モデルを生成する手順と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する手順と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する手順と、該合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する手順と、該生成された映像を送信する手順を実行させるための映像提示プログラムである。

　第８技術手段は、第７の技術手段の映像提示プログラムを、コンピュータ読み取り可能に記録した記録媒体である。

　遠隔コミュニケーションにおいて、双方がお互いに隣にいるような位置関係で、共通の電子データを見ながらコミュニケーションを行うことが可能になる。

本発明の映像提示システムの第１の実施形態を模式的に示す図である。本発明の映像提示システムの第１の実施形態における映像・音声処理機能を示すブロック図である。図２の映像処理機能を更に詳しく説明するためのブロック図である。カメラ座標系に変換されたデプスマップから３次元的な位置に復元する方法を説明する図である。本発明の映像提示システムの第１の実施形態において、システムと利用者の位置関係及び座標系を、従来のテレビ会議システムにおける位置関係を例にして説明する図である。本発明の映像提示システムの第１の実施形態において、利用者と電子データの仮想的な位置関係を説明する利用形態の一例を示す図である。図６における利用形態において、双方の利用者が見る映像の模式図である。本発明の映像提示システムの第１の実施形態において、遠隔地に送る映像を生成するための視点位置を算出する方法を説明するために用いる図である。利用者が容易に位置関係を設定するためのグラフィカルなインタフェース図である。本発明の映像提示システムの第１の実施形態において、システム全体の制御フローを示すフローチャート図である。図１０における、データ送信スレッド処理のフローチャート図である。図１１における、送信フレーム情報生成処理のフローチャート図である。図１０における、データ受信スレッド処理のフローチャート図である。図１０における、電子データ制御スレッド処理のフローチャート図である。電子データ制御スレッド内で生成・伝送される電子データ属性情報の構造を示す図である。データ送信スレッド内で生成・伝送される送信フレーム情報の構造を示す図である。

　以下、図面を参照しながら本発明の実施形態について説明する。
［実施形態１］
＜システム構成＞
　図１は映像と音声を双方向通信できる本発明に係る映像提示システムの第１の実施形態を模式的に示す図である。広域のネットワーク６より先の遠隔地にも同じ映像提示システムが設置されており、映像提示システム間で、映像と音声を使ったコミュニケーションをリアルタイムに行うことができる。

　図１について詳しく説明する。本発明に係る映像提示システムの実施形態は、計算機４で実行され、計算機４の有する機能により映像・音声処理が行われる。計算機４は、例えばＰＣなどの情報処理装置を適用することができる。
　計算機４には、遠隔地の利用者７の映像、及び遠隔地の相手と一緒に作業を行っている電子データ８を表示する液晶ディスプレイなどの表示装置１と、遠隔地の音声を再生する音声再生装置３とが接続される。計算機４は、遠隔地から伝送されてきた映像と音声の情報を受け取り、表示装置１と音声再生装置３に映像や音声を提示するためのものである。

　表示装置１の上部には、利用者の映像と音声を一度に取得するマルチメディア情報取得装置２が設置されている。映像や音声を取得するためのマルチメディア情報取得装置２は必ずしも一体化している必要はなく、映像の取得と音声の取得を分離した装置で実現する構成も可能である。例えば、マルチメディア情報取得装置２をマイク及び撮影装置（カメラ）によって構成し、音声を取得するためのマイクを利用者の近くに置き、撮影カメラのみを表示装置１の上部に設置した構成としてもよい。また、マルチメディア情報取得装置２は、複数の、例えば２個のカメラを備えている。マルチメディア情報取得装置２は、上記遠隔地からの映像と音声を提示するための計算機４に接続されている。

　計算機４は、上記受信側の処理とは別に、遠隔地に映像や音声を伝送するための送信制御も行っている。
　また、計算機４には、キーボードなどの操作装置５が接続されており、利用者が作業形態等の情報を入力したり電子作業オブジェクトの属性を変更することが可能で、システムを制御することが可能である。
　計算機４は、ネットワーク６を介して、遠隔地の同一の映像提示システムと繋がっており、映像や音声の送受信を行うことができる。利用者９はこの映像提示システムを利用することで、遠隔地に設置された同システムの利用者とリアルタイムに電子データ８を見ながらコミュニケーションを行うことができる。

＜ブロック構成＞
（システム基本ブロックの説明）
　計算機４の内部で行われる基本の処理について、図２のブロック図を用いて説明する。図２において、広域のネットワーク６より左側が上記利用者９の側を示し、右側が遠隔地の側を示している。

　利用者９側の映像提示システムにおける送信機能についてはじめに説明する。カメラやマイクで構成されるマルチメディア情報取得装置２で取得された映像と音声の信号は、映像・音声処理装置１００の内部にある送信装置１０１に取り込まれる。映像・音声処理装置１００は、図１の計算機４と等価な装置である。ここでは、映像信号は送信装置１０１内の映像処理装置（送信側）１０２に、音声信号は音声処理装置（送信側）１０３に入力され、遠隔地に送信するための信号処理が施された後に、外部に出力され、広域のネットワーク６を経由して遠隔地に伝送される。

　続いて、映像提示システムの受信機能について説明する。広域のネットワーク６を経由して遠隔地から送られてきた映像と音声の信号が、映像・音声処理装置１００の内部の受信装置１０４に取り込まれる。映像信号は受信装置１０４内の映像処理装置（受信側）１０５に入力され、音声信号は音声処理装置（受信側）１０６に入力される。そしてこれら映像信号及び音声信号は、映像や音声を再現できる形に信号処理され、ディスプレイ（表示装置）やスピーカで構成されるマルチメディア情報提示装置１０に出力される。

　遠隔地の処理についても同様で、映像・音声処理装置１０７は映像・音声処理装置１００に、受信装置１０９は受信装置１０４に、送信装置１０８は送信装置１０１に、マルチメディア情報提示装置１２はマルチメディア情報提示装置１０に、マルチメディア情報取得装置１１はマルチメディア情報取得装置２に、それぞれ対応している。

＜処理＞
（映像・音声処理装置１００の詳細説明）
　映像・音声処理装置１００について、図３のブロック図を用いて具体的に説明する。但し、音声処理については、支障がない限り説明を省略する。以下、上記利用者９が使用する映像提示システムにおいて、撮影された利用者の撮像画像に作業で扱う電子データを合成（重畳）した映像を遠隔地に伝送する流れと、遠隔地から送られてきた映像を受信して表示するまでの流れについて説明する。もう一方の遠隔地側の流れについては、利用者９のシステムと同じであるため説明は省略する。

　撮影装置２ａ、２ｂは、マルチメディア情報取得装置２に含まれる装置であり、本映像提示システムを使う利用者９を含めて撮影する。この撮影装置２ａ、２ｂは、ＷｅｂカメラやＨＤ（High-Definition）解像度の撮影カメラなどの汎用の撮像デバイスを利用することが可能で、レンズ、露光調整機構、ＣＣＤ（Charge Coupled Device）など基本的な撮像デバイス構成要素を有している。撮影装置２ａ、２ｂは、それぞれ外部入力端子（Ｉ／Ｆ）２００、２０１によって映像・音声処理装置１００に接続されている。撮影装置２ａ、２ｂでは、撮影対象を含む視野からの光が、レンズ・露光調整機構を通してＣＣＤ上に結像される。ＣＣＤは入力された受光量に応じた信号を生成し出力する。

　ＣＣＤで生成された信号は、カメラ用の所定の信号処理が施された後に、画像信号（映像信号）として映像処理装置（送信側）１０２の内部に取り込まれる。撮影装置２ａ、２ｂは、動画像を扱うため一定間隔で、お互いに同期して映像を取得し、逐次映像信号を映像処理装置（送信側）１０２に供給する。

　映像モデル生成部２０２は、物理的に位置の異なる撮影装置２ａと撮影装置２ｂで取得した映像を、外部入力端子（Ｉ／Ｆ）２００と外部入力端子（Ｉ／Ｆ）２０１を介して入力し、ある時刻において取り出したフレーム（画像）信号（２ａ、２ｂの画像）を用いて、視差画像信号を生成する。視差画像信号は、撮影装置２ａのある時刻のフレーム（画像信号：Ｉ_ｂａｓｅ（ｘ，ｙ））を基準画像とし、これと同一時刻の撮影装置２ｂのフレーム（画像信号：Ｉ_ｒｅｆ（ｘ，ｙ））との間で、ブロックマッチング法によって画素の対応点を求めることによって生成できる。この場合、撮影装置２ｂの画像信号を、参照画像と呼ぶ。

（視差画像生成）
　映像モデル生成部２０２は、ブロックマッチングを行う際に、基準画像を所定の大きさのブロックに分割を行う。分割の大きさは、例えば１６画素×１６画素である。当該分割されたブロックと参照画像の間の指標値を領域毎に算出し、算出した指標値が最小となる領域を探し出す（対応点）。映像モデル生成部２０２は、基準画像の分割ブロックを画素単位でずらしていき、すべての画素において対応点を算出する。

　ブロックマッチングで用いる指標値は、画像信号間の相関性や類似性を示すものであればよい。映像モデル生成部２０２は、例えば、分割されたブロックに含まれる画素の輝度値と参照画像のある領域における輝度値の差の絶対値総和（ＳＡＤ；Sum of Absolute Difference）を用いる。基準画像信号から分割されたブロック（例えば、大きさがＮ×Ｎ画素）と参照画像信号のブロックとの間のＳＡＤは次の式で表される。

　式（１）において、Ｉ_ｂａｓｅ（ｉ_０＋ｉ，ｊ_０＋ｊ）は基準画像の座標（ｉ_０＋ｉ，ｊ_０＋ｊ）における輝度値、（ｉ_０，ｊ_０）は視差算出する処理対象画素座標を示す。Ｉ_ｒｅｆ（ｉ_０＋ｉ＋ｐ，ｊ_０＋ｊ）は参照画像の座標（ｉ_０＋ｉ＋ｐ，ｊ_０＋ｊ）における輝度値で、ｐは当該分割されたブロックの中心座標（ｉ_０，ｊ_０）を基準としたｘ軸方向（水平方向）のシフト量（視差）である。撮影装置２ａと撮影装置２ｂを水平になるように設置した場合、対応する画素は水平な直線上であり、ｙ軸方向（垂直方向）のパラメータは削除できる。
　映像モデル生成部２０２は、ブロックマッチングにおいて、パラメータｐ毎にＳＡＤ（ｐ）を算出し、ＳＡＤ（ｐ）を最小とするｐを探し出す。ｐは基準画像から当該分割されたブロックと当該参照領域の位置までの視差を表す。

　式（２）において、右辺の

は、評価式（｛｝内の数式）を最小にするｐ（視差）値を抽出する関数である。以上により、映像モデル生成部２０２は、視差画像を画素単位で求めることができる。

（デプスマップ生成）
　映像モデル生成部２０２は、上記算出した視差画像を、式（３）を用いて実際の距離を示すデプスマップに変換する。

　ここで、ｚはデプス値、ｄは視差、ｆとｂはそれぞれカメラの焦点距離とカメラ間のベースライン距離、Δｄはカメラオフセットを示している。

（カメラ座標における３次元モデル生成）
　次に、映像モデル生成部２０２は、得られたデプスマップから、カメラ座標における奥行き情報（３次元モデル）を生成する。カメラ座標とは、撮影したカメラ固有の座標系である。
　その前に、式（３）で得られたデプスマップを、画像座標系Ｘ_ｉｍｇから前記カメラ座標系Ｘ_ｃaｍに変換する必要がある。画像座標系とは、画像の画素を扱うための座標系である。その変換式は、以下の通りである。

　式（４）において、

は画像座標系Ｘ_ｉｍｇの斉次座標を表しており、２次元の画像座標（ｉ，ｊ）に１次元加えた３次元の座標（ｉ，ｊ，１）である。斉次座標とは、一般的に、空間の次元を１次上げ、これらの比によって空間を表現する座標の取り方である。
　Ａは、前記基準カメラの撮像面に投影された前記カメラ座標系の平面画像を前記画像座標系に変換するマトリクスであり、カメラの内部行列と呼ばれている。Ａ^－１は、その逆行列を示している。内部行列は、前記撮影装置のカメラ特性を示すパラメータ（内部パラメータ）を含むマトリクスで、具体的には以下のとおりである。

　ここで、ｆは焦点距離、（ｕ_０，ｖ_０）は画像中心の座標、ｋ_ｕおよびｋ_ｖはｕ軸（ｘ軸）、ｖ軸（ｙ軸）方向のスケールファクタで、ｋ_ｓは直角性を保たないような歪みを表すパラメータである。

　図４を用いて、３次元空間の奥行き情報を復元する方法について説明する。デプスマップ上のある座標（ｉ，ｊ）が、式（４）によってカメラ座標系の画像平面（ｚ＝ｆ）上の１点ｍ（ｘ，ｙ，ｆ）に変換されたとし、座標（ｉ，ｊ）におけるデプス値がｚである場合、投影元の３次元空間内の点ｍ_ｃの座標は、図４に示すｘ_ｃ軸とｚ_ｃ軸で表せる平面上にある三角形と、ｙ_ｃ軸とｚ_ｃ軸で表せる平面上にある三角形の相似の関係から以下のようになる。

（ワールド座標における３次元モデル生成）
　図３に戻り、映像モデル生成部２０２は、続いて座標系の変換を行う。具体的には、上記撮影装置で撮影されたカメラの座標系を、本システムで扱う共通の座標系（以下、ワールド座標系Ｘ_{ｗｏｒｌｄ}）に変換する必要がある。ワールド座標系は、図１の表示装置の中心を原点に、ディスプレイ面に向かって右の方向にｘ軸の正の方向、ディスプレイ面の上部の方向にｙ軸の正の方向、ディスプレイ面から奥の方向にｚ軸の正の方向とする。
座標系の変換は、一般的に以下の式によって行うことができる。

　ここで、Ｘ_ｆｒｏｍは変換前の座標系、Ｘ_ｔｏは変換後の座標系を表し、ＲとＴは変換前の座標系から変化後の座標系への回転と併進を示すマトリクスである。回転と併進のマトリクスを具体的に示すと、以下のとおりである。

　ここでθ_ｘ、θ_ｙ、θ_ｚは、それぞれＸ軸周り、Ｙ軸周り、Ｚ軸周りの回転を示す。

　ここでＴ_ｘ、Ｔ_ｙ、Ｔ_ｚは、それぞれＸ軸方向、Ｙ軸方向、Ｚ軸方向の併進を示す。
　上記、カメラの特性や位置を表す行列Ａ、行列Ｒや行列Ｔは、カメラ校正によって一般的に求めることができる。

　以上により、映像モデル生成部２０２は、上記ワールド座標系における３次元空間上の位置を取得でき、映像モデルを生成することができる。映像モデルとは、３次元的な奥行き情報（位置情報）と、それに貼り付ける映像（テクスチャ）情報で構成されるものである。テクスチャを奥行き情報に貼り付ける処理は、テクスチャマッピングとも呼ばれる。

　図３に戻り、電子データを取得する方法について説明する。
　共同作業で用いる電子データは、映像・音声処理装置１００に接続された、外部記憶装置／外部サーバ２０３に格納されており、外部入力端子（Ｉ／Ｆ）２０４を通じて、電子データモデル生成部２０５に入力される。外部記憶装置／外部サーバは、ネットワークに接続されており、遠隔地に設置された映像提示システムからも参照することが可能である。

　電子データモデル生成部２０５は、入力した電子データの基準情報（位置、大きさ、向き）を基に電子データモデルを生成し、映像・データ合成部２０６に出力する。電子データは、コンピュータで扱うことができる、テキストによる文字情報、あるいは画像（映像）や図形などのビジュアル情報によって構成されたオフィスドキュメントである。一般的に、電子データモデルは、矩形状の面で形成される。具体的には、電子データモデルは、３次元の位置情報を有した最小単位の三角形（ポリゴン）を２枚組み合わせ（三角形の長辺を接合し）、上記オフィスドキュメントの画像（映像）を貼り付けたモデルである。
　なお、電子データの位置や角度は、後述する電子データ制御方法によって、システム稼働中に可変しても良い。なお、基準設定については、後述する作業スタイルと利用者位置毎に準備し、作業内容に応じて切り替えることもできる。

　映像・データ合成部２０６及び視点生成部２０７は、前記ワールド座標系でモデルデータを処理するための３次元モデル処理機能を有しており、具体的にはＣＧなどの３次元モデルを扱うＧＰＵ（Graphics Processing Unit）によってその機能を実現することができる。

（３次元位置に基づいたレンダリング方法）
　映像・データ合成部２０６は、ＧＰＵで実現される一般的な３ＤＣＧレンダリング技術によって、映像モデル生成部２０２から入力する映像モデルと電子データモデル生成部２０５から入力する電子データモデルを共通の座標系（ワールド座標系）内に配置させ、お互いを合成させる。

　具体的には、供給される３次元位置を持った複数の平面、あるいは最小単位である三角形（ポリゴン）を複数組み合わせて表現する立体的な面を仮想的な３次元空間内（ワールド座標系）に配置することでシーンが形成され、さらに、それらの面に直接撮影した映像（電子データの絵）を貼り付けたり、あるいは撮影位置からそれらの面に向けて映像（電子データの絵）を投影（投影テクスチャリング）することで、３次元的な奥行き構造を持ったモデルに映像を貼り付けることができる。各モデル間の前後関係の処理（奥のオブジェクトが、手前のオブジェクトによって隠れる領域については表示させないための処理）は、ＧＰＵの機能によって実現される。

　視点生成部２０７は、映像・データ合成部２０６から映像と電子データを合成したモデルを入力し、ＧＰＵで実現される一般的な３ＤＣＧレンダリング技術によって、上記算出したワールド座標系において想定する利用者位置（詳細は後述する）に仮想的なカメラ（仮想視点）を設置し、そのカメラによって３次元空間に再現されたシーンを撮影する。
　具体的には、視点生成部２０７は、ビュー変換処理によって想定する観察者位置から見た画像を切り出すことができる。ビュー変換処理は、ワールド座標系から観察者位置に置かれた仮想カメラを基準とする座標に変換することである。仮想カメラのＸ軸を示すベクトルをＲ＝（ｒ_ｘ，ｕ_ｘ，ν_ｘ）、仮想撮像装置のＹ軸を示すベクトルをＵ＝（ｒ_ｙ，ｕ_ｙ，ν_ｙ）、仮想撮像装置のＺ軸を示すベクトルをＶ＝（ｒ_ｚ，ｕ_ｚ，ν_ｚ）、仮想撮像装置の位置を示すベクトルをＰ＝（ｘ，ｙ，ｚ）としたときに、ビュー変換行列は式（１０）のようになる。

　続いて、ビュー変換されたシーンに対して遠くのものが小さく、近くのものが大きく見えるように透視投影処理が実施される。透視投影処理では、撮像装置に近いところ（前方投影面）と、遠いところ（後方投影面）に対して２つの投影面が導入され、撮像装置原点を中心とした錘状になるように設定される。プロジェクション変換によって、近いところの面と遠いところの面の間の空間が立方体になるように変換することによって、近いところが大きく、遠いところが小さく見えるような変換がなされる。このプロジェクション変換によって、射影座標系に変換される。水平方向の視野角をｗ、垂直方向の視野角をｈとし、仮想撮像装置の位置から前方投影面までの距離をｚｎ、後方投影面までの距離をｚｆとすると、以下の行列によって射影座標系に変換することができる。

　さらに、表示装置に表示するために、射影座標系からスクリーン座標系への変換が行なわれる。スクリーン座標系では、表示装置の左上を原点に、またＹ軸の向きが逆になるような変換が行なわれる。表示装置の水平方向の画素数をＷｉｄｔｈ、垂直方向の画素数をＨｅｉｇｈｔとすると変換行列は、以下のようになる。

　以上３ＤＣＧレンダリング技術により利用者の位置から見た画像が生成される。

　続いて、本発明に関わる、遠隔地に居る利用者が隣にいるような位置関係で、共通の作業オブジェクトを見ながらコミュニケーションを行うための視点制御方法について、図５～図９を用いて説明する。
　図５は、本システムを一般的な対面のテレビ会議システムのように利用した場合に、システム全体を上部から見下ろした図（上面図）である。図の５００及び５０１は、図１に示した１～５の構成を含む映像提示システムである。５００は、図１で示した利用者９側の映像提示システムで、５０１は遠隔地に設置してある映像提示システムである。利用者は９と７で、７は遠隔地に居る利用者である。

　システム間は、ネットワーク６等を介して接続され、お互いが通信できるようなっている。５０４及び５０５は、それぞれ利用者９の側のシステムのワールド座標系Ｘ_{ｗｏｒｌｄ＿Ａ}と利用者７の側のシステムのワールド座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}を示している。ワールド座標系Ｘ_{ｗｏｒｌｄ＿Ａ}は、ディスプレイ面に向かって右の方向にｘ軸の正の方向、ディスプレイ面の奥に向かってｚ軸の正の方向となり、また図示していないｙ軸の正の方向は上方向に向かっているものとする。

　同様に、ワールド座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}は、利用者７がディスプレイに向かっている方向を基準として、ディスプレイの右方向（図面では左方向）をｘ軸の正の方向、ディスプレイ面の奥の方向（図面では下方向）をｚ軸の正の方向とし、また図示していないｙ軸の正の方向は上方向に向かっているものとする。

　続いて、本発明に関わる作業の形態（利用者と電子データの位置関係）を図示したものが図６である。利用者９と利用者７が隣に居て、お互いに作業物６００（電子データを明示的に示したもの）を見ることができる位置関係を模式的に示している。
　図７は、図６の位置関係を実現した場合に、表示装置に映る遠隔地の映像を模式的に示した図である。図７（Ａ）は利用者９が見る映像で、図７（Ｂ）は利用者７が見る映像である。

　図６に示したように、利用者９にとって、作業物６００は左側で利用者７は右側に位置する。従って、利用者９が見る遠隔地の映像５０６は、作業物６００は左に見え、利用者７の映像７００は右側に見える。一方、利用者７にとって、作業物６００は右側で、利用者９は左側に位置する。従って、利用者７が見る遠隔地の映像５０７は、作業物６００は右に見え、利用者９の映像７０１は左側に見える。
　以上、図７に示した映像を提示することによって、利用者は図６に示したような位置関係で、遠隔地間で共通の電子データと相手の映像を見ながらコミュニケーションを行うことができる。

　具体的に、上記図７に示したような視点の映像を生成する方法について、図８を用いて説明する。初めに、利用者の位置関係を明確にしておく必要がある。これは、利用者は２地点に居て、図６あるいは図７に示したように、利用者９であるか、利用者７であるかによって、提示される映像内の相手の映像と電子データの表示位置が異なるためである。

　利用者の位置関係を確定させる方法として、例えば、予め双方の位置（図６におけるどちらの利用者であるか）を決めておく方法がある。利用者は、映像・音声処理装置１００に接続された操作装置５を使って、図９に示すユーザ表示に従い、お互いの位置を設定することができる。設定結果は、映像・音声処理装置１００の内部にあるＣＰＵ２０８に保持される。ＣＰＵ２０８は、図示していない通信手段を用いて、遠隔地にある映像提示システムと連携して、図９に示す設定値が排他的（一方が選択した項目は、相手側では選択できない）になるように制御しても良い。以上の方法により、双方の位置が明確になる。

　続いて、映像の取得方法について説明する。図８において、利用者７の側のシステム５０１に表示する遠隔地の映像は、利用者９の側の映像である。その映像の取得方法は、利用者９及びシステム５００の側に、図６に示すような位置関係になるように利用者７が存在していると仮定して、その利用者７の位置にカメラを設置して取得する。つまり、実際には存在していない遠隔地の利用者が仮に隣に居たとして、そこから撮影した映像を相手側に伝送することで実現できる。そのためには、お互いの利用者位置をもう一方のシステムにおける仮想的な位置に変換する処理、すなわち、一方のシステムの座標系をもう一方のシステムの座標系に変換することが必要である。この変換によって、もう一方のシステムの座標系における位置を同じ座標系として扱うことが可能で、例えば、利用者９の側のシステムにおける、利用者７の仮想的な位置、すなわち、利用者７の側のシステムに送る映像を取得するカメラ設置位置を算出することが可能になる。しかしながら、システム５００とシステム５０１は物理的に接合しておらず、双方の座標系を関連付けることができない（座標系を変換する基準となる物理的な位置関係が不明確である）。本発明では、共通に利用する電子データ６００を座標系変換の基準とすることで、双方の座標系を関連付けて、座標系変換を実現する。利用者９の側のシステム５００に表示する遠隔地の映像の取得方法も同様である。

　ＣＰＵ２０８は、映像提示システムに設定されたワールド座標系（図８の５００のシステムの場合Ｘ_{ｗｏｒｌｄ＿Ａ}（５０４）、５０１のシステムの場合Ｘ_{ｗｏｒｌｄ＿Ｂ}（５０５））内に配置された電子データの基本情報のうち、各ワールド座標系における位置（５００のシステムの場合８０５、５０１のシステムの場合８０６）とその方向ベクトル（５００のシステムの場合８０７、５０１のシステムの場合８０８）を用いて、以下の方法によって遠隔地システムのための映像を取得するカメラ設置位置を決める。

　ＣＰＵ２０８は、遠隔地のシステムのワールド座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}を、電子データの座標系を経由して、利用するシステムの座標系Ｘ_{ｗｏｒｌｄ＿Ａ}に変換する。ここで、システム５００の座標系Ｘ_{ｗｏｒｌｄ＿Ａ}における電子データ中心の３次元位置８０５をＰ_Ｅ＿Ａ、方向ベクトル８０７を→Ｈ_Ｅ＿Ａとし、システム５０１の座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}における電子データ中心の３次元位置８０６をＰ_Ｅ＿Ｂ、方向ベクトル８０８を→Ｈ_Ｅ＿Ｂとする。ＣＰＵ２０８は、式（７）を用いて、システム５０１の座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}を、一旦システム５０１における電子データの座標系に変換する。式（７）に適用する、回転マトリクスＲ_{Ｗ＿ＢＥ＿Ｂ}と併進マトリクスＴ_{Ｗ＿ＢＥ＿Ｂ}は以下の様に求める。

　回転マトリクスＲ_{Ｗ＿ＢＥ＿Ｂ}は、システム５０１の座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}から電子データ６００の座標系への回転であり、システム５０１の表示装置の向いている方向から電子データ６００の向いている方向への回転と同じである。ここで、システム５０１の表示装置の向き８０３を→Ｈ_Ｄ＿Ｂ（座標系Ｘ_{ｗｏｒｌｄ＿B}を用いると→Ｈ_Ｄ＿Ｂ＝（０，０，－１）である）、電子データ６００の向きを→Ｈ_Ｅ＿Ｂとすると、→Ｈ_Ｄ＿Ｂと→Ｈ_Ｅ＿Ｂ間において、内積の公式を展開してＸ軸周り、Ｙ軸周り、Ｚ軸周りの回転角度（θ_{ｘ＿ＤＥ＿Ｂ}，θ_{ｙ＿ＤＥ＿Ｂ}，θ_{ｚ＿ＤＥ＿Ｂ}）を求める。以上の回転角度を、式（８）に代入して回転マトリクスＲ_{Ｗ＿ＢＥ＿Ｂ}を算出する。
　併進マトリクスＴ_{Ｗ＿ＢＥ＿Ｂ}は、システム５０１の座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}の原点Ｏ_Ｗ＿Ｂから電子データ６００の中心位置Ｐ_Ｅ＿Ｂに向かうベクトルから構成され、以下の式のとおりである。

　続いて、ＣＰＵ２０８は、システム５００において、上記方法と同様に電子データの座標系からワールド座標系Ｘ_{ｗｏｒｌｄ＿Ａ}に変換するための回転マトリクスＲ_{Ｅ＿ＡＷ＿Ａ}と併進マトリクスＴ_{Ｅ＿ＡＷ＿Ａ}を求める。
　ＣＰＵ２０８は、以下の式を用いて、遠隔地のシステム５０１の座標系を利用するシステム５００の座標系に変換する。

　この変換式によって、ＣＰＵ２０８は、遠隔地のシステム５０１におけるワールド座標系Ｘ_{ｗｏｒｌｄ＿Ｂ}内の座標を、利用するシステム５００の座標系Ｘ_{ｗｏｒｌｄ＿Ａ}における座標に変換することができる。
　ＣＰＵ２０８は、遠隔地の利用者７の位置を式（１４）に従って変換し、変換された座標位置に遠隔地システムのための映像を取得するカメラを設置する。ＣＰＵ２０８は、そのカメラによって取得した映像を、遠隔地のシステム５０１に伝送する。
　利用者９及び利用者７の位置は、適正視距離、例えば３Ｈ（ディスプレイ面の垂直の長さの３倍）によって、設定可能である。あるいは、例えば利用者の位置をトラッキングする装置を装着して、利用者位置をリアルタイムに算出しても良い。

　以上により、利用者が３次元的な位置に関する設定を行うことなく、簡易な手法で、遠隔地の人が隣に居るような位置関係で共通の電子データを見ることができる視点の映像を取得することができる。双方にこの映像を伝送し合うことで、上記位置関係でコミュニケーションをすることができる。なお、上記視点の制御は、システム開始時に一度設定するだけにしても良いし、随時設定を変えるような仕組みにしても良い。なお、仮想カメラの撮影画角については、上記システムが既知、つまり表示装置の大きさが限定できる場合は、設定を変える必要はない。また、システムごとに表示装置の大きさが変わる場合には、相手の表示装置に応じて撮影画角を変えるような仕組みを設けても良い。

＜フローチャート＞
　次に、本実施形態に係る映像・音声処理装置（映像処理）１００が行う処理について説明する。図１０～図１４は、本実施形態に係る映像・音声処理装置（映像処理）１００が行う処理を示すフローチャートである。なお、以下のフローチャート及び、その説明において、音声信号の処理は必要なところのみ記述する。
　映像・音声処理装置（映像処理）１００は、図示していないシステム全体を制御する制御部によって、システム処理を開始すると、ステップＳ１００に進む。

（ステップＳ１００）映像・音声処理装置（映像処理）１００は、前記制御部によって、システム全体の稼働を監視するための処理（図１０の左側の処理、Ｓ１０１～Ｓ１０４）と通信を行うための処理（図１０の右側の処理、Ｓ１０５～Ｓ１０９）を同時に開始させる。双方の処理を開始させると、ステップＳ１０１とＳ１０５に進む。

　始めに、システム全体の稼働を監視するための処理について説明する。
（ステップＳ１０１）映像・音声処理装置（映像処理）１００は、前記制御部によって、システムが終了したか否かを常に監視し、終了していない場合はステップＳ１０１の処理を繰り返す。終了した場合には、ステップＳ１０２に進む。
（ステップＳ１０２）映像・音声処理装置（映像処理）１００は、前記制御部によって、前記通信を行うための処理において実行するスレッドの状態を監視し、スレッドが実行中である場合はステップＳ１０３に進み、スレッドが全て完了している場合はステップＳ１０４に進む。

（ステップＳ１０３）映像・音声処理装置（映像処理）１００は、前記制御部によって、前記通信を行うための処理において実行しているスレッドを強制的に終了させ、ステップＳ１０４に進む。
（ステップＳ１０４）映像・音声処理装置（映像処理）１００は、前記制御部によって、全ての処理が停止していることを確認して、システムを終了させる。
続いて、通信を行うための処理について説明する。

（ステップＳ１０５）映像・音声処理装置（映像処理）１００は、前記制御部によって、常に遠隔地との間で通信を開始できる状態にあるかを監視し、通信を開始できる状態であればステップＳ１０６に進み、通信を開始できる状態でない場合はステップＳ１０５の処理を繰り返す。
（ステップＳ１０６）映像・音声処理装置（映像処理）１００は、前記制御部によって、後述するデータ送信スレッドを開始させ、ステップＳ１０７に進む。
（ステップＳ１０７）映像・音声処理装置（映像処理）１００は、前記制御部によって、後述するデータ受信スレッドを開始させ、ステップＳ１０８に進む。

（ステップＳ１０８）映像・音声処理装置（映像処理）１００は、前記制御部によって、後述する電子データ制御スレッドを開始させ、ステップＳ１０９に進む。
（ステップＳ１０９）映像・音声処理装置（映像処理）１００は、前記制御部によって、上記開始させたスレッドの状態を常に監視し、全てのスレッドの処理が完了していることを検知した場合はステップＳ１０５に戻り上記処理を繰り返す。一方監視しているスレッドが全て終了していない場合は、ステップＳ１０９に戻り処理を繰り返す。

　次に、データ送信スレッドについて、図１１を用いて説明する。データ送信スレッドは、上記システム処理によって起動される。
（ステップＳ２００）映像処理装置（送信側）１０２は、後述する送信フレーム情報生成処理によって、送信するフレーム情報を生成し、ステップＳ２０１に進む。
（ステップＳ２０１）映像処理装置（送信側）１０２の内部にある送信制御部２０９は、生成された送信フレーム情報を、よりデータ量の少ない符号に圧縮する方法（例えば、国際標準動画圧縮規格Ｈ.２６４等）を用いて符号化（エンコード）し、ステップＳ２０２に進む。

（ステップＳ２０２）映像処理装置（送信側）１０２の内部にある送信制御部２０９は、図２の音声処理装置（送信側）１０３と連携して、符号化された映像信号と音声信号をパッキング（ｐａｃｋｉｎｇ；詰込）し、ステップＳ２０３に進む。
（ステップＳ２０３）映像・音声処理装置１００は、生成された符号データを、ネットワークを介して、遠隔地の映像提示装置に向けて伝送する。その後、ステップＳ２０４に進む。
（ステップＳ２０４）映像・音声処理装置１００は、前記制御部によって、通信を終了させるか否かを常に監視し、終了させる場合はステップＳ２０５に進み、終了させない場合はステップＳ２００に戻り上記処理を繰り返す。
（ステップＳ２０５）映像・音声処理装置１００は、データ送信スレッドを終了させる。

　次に、ステップＳ２００で実施する送信フレーム情報生成処理について、図１２を用いて説明する。
（ステップＳ３００）映像処理装置（送信側）１０２は、外部入力端子（Ｉ／Ｆ）２００及び２０１を介して、撮影装置２ａと２ｂで撮影した映像（フレーム）を取り込む。その後、ステップＳ３０１に進む。
（ステップＳ３０１）映像モデル生成部２０２は、前記入力されたマルチ画像を基に、映像モデルを生成する。その後、ステップＳ３０２に進む。
（ステップＳ３０２）電子データモデル生成部２０５は、後述する電子データ制御スレッドが生成する最新の電子データ属性情報に基づいて電子データのモデル情報を生成する。その後、ステップＳ３０３に進む。

（ステップＳ３０３）映像・データ合成部２０６は、映像モデル生成部２０２から入力した映像モデルと電子データモデル生成部２０５から入力した電子データモデルをワールド座標系内で合成し、ステップＳ３０４に進む。
（ステップＳ３０４）視点生成部２０７は、映像・データ合成部２０６から入力した合成されたモデル情報に基づいて、本発明に関わる前記視点の画像（フレーム）を生成し、ステップＳ３０５に進む。
（ステップＳ３０５）視点生成部２０７は、生成したフレームの信号を、送信制御部２０９に出力して、送信フレーム情報生成処理を終了する。

　次に、データ受信スレッドについて、図１３を用いて説明する。データ受信スレッドは、上記システム処理によって起動される。
（ステップＳ４００）映像処理装置１０５の内部にある受信制御部２１２は、遠隔地にある映像提示システムから送信された符号化データを、ネットワークを介して受信する。その後、ステップＳ４０１に進む。
（ステップＳ４０１）映像処理装置１０４の内部にある受信制御部２１２は、音声処理装置１０６の内部にある図示していない受信制御部と連携して、受信した符号化データを映像符号化データと音声符号化データに分割する。その後、ステップＳ４０２に進む。

（ステップＳ４０２）映像処理装置１０４の内部にある受信制御部２１２は、映像符号化データに対して、前記圧縮とは逆の処理を行い、データ量の多い元の信号を復元する。その後、ステップＳ４０３に進む。
（ステップＳ４０３）受信制御部２１２は、復元した画像信号を、表示メモリ２１３に書き込む。表示装置１は、表示メモリ２１３に書き込まれた画像信号を、定期的に読み出し、画面に表示する。その後、ステップＳ４０４に進む。

（ステップＳ４０４）映像・音声処理装置１００は、前記制御部によって、通信を終了させるか否かを常に監視し、終了させる場合はステップＳ４０５に進み、終了させない場合はステップＳ４００に戻り上記処理を繰り返す。
（ステップＳ４０５）映像・音声処理装置１００は、データ受信スレッドを終了させる。

　次に、電子データ制御スレッドについて、図１４を用いて説明する。電子データ制御スレッドは、上記システム処理によって起動される。
（ステップＳ５００）映像処理装置（送信側）１０２内のＣＰＵ２０８は、操作装置５を用いてユーザが設定する電子データの属性（後述）変更を常に監視し、属性が変更された場合はステップＳ５０１に進む。属性が変更されない場合は、ステップＳ５００の処理を繰り返す。

（ステップＳ５０１）ＣＰＵ２０８は、電子データの属性情報を更新し、電子データモデル生成部２０５に最新の属性情報を出力し、前記電子データモデル生成処理にその内容を反映させる。その後、ステップＳ５０２に進む。
（ステップＳ５０２）ＣＰＵ２０８は、更新された電子データ属性情報を図示しないネットワークを介した別の手段によって、遠隔地の映像提示装置にその属性情報を伝送する。その後、ステップＳ５０３に進む。

（ステップＳ５０３）映像・音声処理装置１００は、前記制御部によって、通信を終了させるか否かを常に監視し、終了させる場合はステップＳ５０４に進み、終了させない場合はステップＳ５００に戻り上記処理を繰り返す。
（ステップＳ５０４）映像・音声処理装置１００は、電子データ制御スレッドを終了させる。

＜送信するデータ＞
　図１４のステップＳ５０１において生成する電子データ属性情報について、図１５を用いて説明する。電子データ属性情報は、例えば電子データの３次元位置と面の向きと大きさを示す情報で、電子データを上記ワールド座標系内の３次元位置に配置させることが可能な情報である。
　図１２の送信フレーム情報生成処理で生成する送信フレーム情報について、図１６を用いて説明する。送信フレーム情報は、例えば画素数（横方向）：ｗｉｄｔｈと画素数（縦方向）：ｈｅｉｇｈｔと画素情報から構成された、１枚分の画像を表す情報である。

（実施形態２）
＜ソフトウェア＞
　上述した実施形態における映像・音声処理装置１００の一部、例えば、映像モデル生成部２０２、電子データモデル生成部２０５、映像・データ合成部２０６、視点生成部２０７、送信制御部２０９、並びに受信制御部２１２をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、映像・音声処理装置に内蔵されたコンピュータシステム及びＤＳＰ（デジタル・シグナル・プロセッサ）であって、ＯＳや周辺機器等のハードウェアを含むものとする。

　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

　また、上述した実施形態における映像・音声処理装置１００の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現しても良い。映像・音声処理装置１００の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

１…表示装置、２…マルチメディア情報取得装置、２ａ…撮影装置、２ｂ…撮影装置、３…音声再生装置、４…計算機、５…操作装置、６…ネットワーク、７…利用者、８…電子データ、９…利用者、１０…マルチメディア情報提示装置、１１…マルチメディア情報取得装置、１２…マルチメディア情報提示装置、１００…映像・音声処理装置、１０１…送信装置、１０２…映像処理装置、１０３…音声処理装置、１０４…受信装置、１０６…音声処理装置、１０７…映像・音声処理装置、１０８…送信装置、１０９…受信装置、２０２…映像モデル生成部、２０３…外部サーバ、２０５…電子データモデル生成部、２０６…映像・データ合成部、２０７…視点生成部、２０８…ＣＰＵ、２０９…送信制御部、２１２…受信制御部、２１３…表示メモリ、５００…システム、５０１…システム、５０６…映像、５０７…映像、６００…作業物、７００…映像、７０１…映像。

Claims

　撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示システムであって、
　撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する映像モデル生成部と、
　電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて電子データモデルを生成する電子データモデル生成部と、
　共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する映像・データ合成部と、
　該映像・データ合成部で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する視点生成部と、
　該視点生成部で取得した映像を送信する送信部と、を有することを特徴とする映像提示システム。
　前記視点生成部は、前記電子データの３次元的な位置と前記共通の座標系における利用者の相対的な位置関係に基づいて算出された視点位置の映像を生成することを特徴とする請求項１に記載の映像提示システム。
　利用者による操作入力を受け付ける操作装置と、
　前記電子データの位置及び利用者の視点位置を設定するための表示画面を表示装置に表示させる制御手段とを有し、前記視点生成部は、前記表示画面に対する前記操作装置の操作入力に従って、前記電子データの３次元的な位置及び利用者の視点位置を決定することを特徴とする請求項２に記載の映像提示システム。
　利用者の３次元上の位置を計測する３次元位置計測装置を有し、
　前記視点生成部は、前記３次元位置計測装置による計測結果に従って、利用者の位置をリアルタイムに変更することを特徴とする請求項１～３のいずれか１に記載の映像提示システム。
　前記撮影装置を複数備え、
　前記映像モデル生成部は、複数の前記撮影装置で撮影された映像から視差画像を生成し、該生成した視差画像に基づいて撮影された対象のデプスを示すデプスマップを生成し、該デプスマップから前記撮影装置の固有の座標系における奥行き情報を生成し、該撮影装置の固有の座標系を前記映像提示システムで扱う共通座標系に変換して、奥行き情報と該奥行き情報に貼り付けた映像情報とからなる前記映像モデルを生成することを特徴とする、請求項１～４のいずれか１に記載の映像提示システム。
　撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示方法であって、
　撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する第１の過程と、
　電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する第２の過程と、
　共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する第３の過程と、
　該第３の過程で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する第４の過程と、
　該第４の過程で取得した映像を送信する第５の過程と、を有することを特徴とする映像提示方法。
　撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示装置のコンピュータに、
　撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する手順と、
　電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する手順と、
　共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する手順と、
　該合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する手順と、
　該生成された映像を送信する手順を実行させるための映像提示プログラム。　
　請求項７に記載の映像提示プログラムを、コンピュータ読み取り可能に記録した記録媒体。