JP6091850B2 - テレコミュニケーション装置及びテレコミュニケーション方法 - Google Patents

Description

本発明は、離れたところにいる相手の映像と音声を送受信することでコミュニケーションを行うことができるテレコミュニケーション装置において、複数の投影方式による映像を合成して作りだされた映像を扱うことができるテレコミュニケーション装置に関する。

遠隔地で取得した映像と音声とをネットワークを介して伝送し、再生装置でそれらの情報を再現することで遠隔地との間でコミュニケーションすることができるシステムが一般に知られている。このようなシステムは、主にオフィスにおける遠隔会議に利用されている。そのため、会議室にシステムが設置されていることが多く、参加者は共通の会議に出席して同一の目的でそのシステムを使うことが多い。このようなテレビ会議システムの利用時の使い勝手を高めるために、発話者の位置を特定して、撮影装置の向きを物理的に向けて撮影する技術が開示されている（特許文献１）。該技術によると、発話者を中心に拡大した映像を取得することが可能で、より見やすい映像を遠隔地に送信することが可能になる。

一方、近年複数の表示装置をタイル状に配置させたマルチタイル表示装置が市販されている。マルチタイル表示装置では、構成する表示装置の数を増やすことで比較的容易に巨大な表示領域を確保することが可能になっている。このような巨大な表示装置をオフィスに設置して、遠隔地と常時接続した臨場感の高い遠隔オフィスを実現することが可能である。

特開平５−１２２６８９号公報

上記特許文献の方法によれば、従来型スタイルによる一つの目的のコミュニケーション（例えば、会議など）を、テレコミュニケーション装置を用いて実現することができる。
一方、表示装置が大型化し、あるいは複数のディスプレイを組み合わせることで比較的容易に表示領域を拡大できるようになると、そういった表示装置をオフィスの居室内に設置して、遠隔地のオフィスと常時接続して遠隔オフィスを実現することが期待されている。これは、出張費の削減や、日常業務において遠隔地間が映像と音声を通じで接続していることによる業務効率の向上といった効果が考えられるためである。その際に、従来の利用スタイルのように一つの会議が装置を占有してしまうと利用効率が下がるため、大画面の表示装置を分割して同時に複数で利用できることが望まれている。

その際の利用シーンを図１、図２に示す。図１は、大画面の表示装置を分割して利用するシーンを説明するための図、図２は、表示装置全体を上から俯瞰した上面図である。この利用シーンについて説明すると、図１において、１０１は遠隔地の映像を表示する表示装置で、その表示装置をおおざっぱに３か所に分割（分割部１０２，１０３，１０４）して、それぞれが独立して異なる目的で利用しているシーンである（ただし、実際に線などで領域を区切っているわけではない）。

しかしながら、従来型のテレビ会議システムでは、図２の撮影装置１０５に示すように、撮影装置が一つ備わっているだけであり、撮影画角を仮に十分に広くできたとしても、１０７に示すように利用者は撮影装置の方向（撮影中心方向）に向かないと、相手側に正面を向いているように表示されない。そのため、例えば図１の分割部１０２や分割部１０４の場合のように、表示装置の端に居る利用者がコミュニケーションする場合には、正面を向いた映像を相手に提示することが非常に困難になる。これは相手からの映像を見るためには利用者１０６に示されるように正面を向くのが自然であるためである。ここで仮に発話者を検知してその人の映像を拡大して表示したとしても、同時に複数の人が発話すると誰を中心に捉えて映像を取得すべきであるかを判断することが難しくなるということもあるが、上記撮影装置が一つ備わっている場合と同様の理由により図１のような利用スタイルを実現することが困難である。

それでは、撮影装置を複数設置できたと仮定すると、図３に示すように２種類の方法が存在する。図３（Ａ）では撮影装置の光軸原点を中心に扇状に配置させて撮影範囲を拡大させたものであるが、これは前述の撮影装置が一つ備わっていて撮影画角を拡大させた時と同じ課題が発生する。つまり、撮影周辺において、遠隔地の表示映像を見るための向きと自分が相手にとって正面を向くような撮影の向きが一致しないという問題である。次に、図３（Ｂ）に示すように、複数の撮影装置を撮影範囲が重なるように配置させた場合は、図中の点線３００で示したところに位置する被写体（例えば被写体３０１）しか、撮影装置を跨る映像領域で連続した絵として提示することができない。

すなわち、表示面（あるいは撮影装置）に向かって、点線より位置が後方になると、異なるカメラで撮影された映像の連結部において２重になって表示されるという問題が起こる。これは、例えば被写体３０２の被写体位置では、２台の撮影装置３０３，３０４の両方の撮影範囲に入るためである。この場合、特に離れた位置にある物体が２重に表示されるため、オフィスの居室内に常時接続して遠隔地の映像を表示しておく使い方には適していない。

本発明は以上の課題に鑑みてなされたものであり、１台もしくは複数の撮影装置によって撮影された映像を、一旦演算装置内の３次元空間に実写映像モデルとして構築しておき、それを複数の投影方式を用いて取得した２次元の画像を合成し、得られた画像を双方で送り合うことで、図１に示すような大画面の表示面を分割して（概念的な分割をして）複数の目的のコミュニケーションを同時に実現させるテレコミュニケーション装置及びテレコミュニケーション方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとを入力し、前記撮影装置による撮影画像の３次元モデルを生成する映像モデル処理部と、該映像モデル処理部により生成された３次元モデルに対して、第１の投影方式により画像を取得する仮想カメラと、該第１の投影方式とは異なる第２の投影方式により画像を取得する仮想カメラを配置し、各仮想カメラにより取得した画像から２次元平面画像を生成する投影処理部と、該投影処理部で生成された２次元平面画像を符号化する符号化部と、該符号化部で符号化された符号化データを送信する送信部と、を有することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記映像モデル処理部が、入力した前記奥行きデータから、前記撮影装置が撮影した撮影画像内の被写体までの距離を算出し、前記第１の投影方式と前記第２の投影方式とを、前記撮影装置が撮影した撮影画像内の被写体までの距離に応じて切り替えることを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記撮影装置が撮影した撮影画像内の被写体までの距離の分布に応じて、前記第１の投影方式と前記第２の投影方式とを切り換える距離を可変にすることを特徴としたものである。

第４の技術手段は、撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとを受信する受信部と、該受信部が受信した画像データ及び奥行きデータを復号する復号部と、該復号部が復号した画像データ及び奥行きデータから、前記撮影装置による撮影画像の３次元モデルを生成する映像モデル処理部と、該映像モデル処理部により生成された３次元モデルに対して、第１の投影方式により画像を取得する仮想カメラと、該１の投影方式とは異なる第２の投影方式により画像を取得する仮想カメラを配置し、各仮想カメラにより取得した画像から２次元平面画像を生成する投影処理部と、該投影処理部で生成された２次元平面画像を表示する表示部と、を有することを特徴としたものである。

第５の技術手段は、映像と音声に関するデータを送受信することで遠隔コミュニケーションを実現するテレコミュニケーション装置により実行するテレコミュニケーション方法であって、前記テレコミュニケーション装置が、撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとを入力し、前記撮影装置による撮影画像の３次元モデルを生成するステップと、前記生成した３次元モデルに対して、第１の投影方式により画像を取得する仮想カメラと、該１の投影方式とは異なる第２の投影方式により画像を取得する仮想カメラを配置し、各仮想カメラにより取得した画像から２次元平面画像を生成するステップと、該生成した２次元平面画像を符号化するステップと、該符号化するステップで符号化した符号化データを送信するステップと、を有することを特徴としたものである。

本発明によれば、テレコミュニケーション装置において、一つの装置内であっても自然なスタイルで遠隔地との間で複数の異なる目的のコミュニケーションを同時に実現するコミュニケーション装置を提供することができる。

大画面の表示装置を分割して利用するシーンを説明するための図である。 図１の表示装置全体を上から俯瞰した上面図である。 撮影装置を複数設置できたときの撮影状態を説明するための図である。 映像と音声を双方向通信できる本発明の第１の実施形態に係るテレコミュニケーション装置および入・出力装置の外観を模式的に示す図である。 図４の計算機の内部で行う処理を説明するためのブロック図である。 図５の送信映像処理部と受信映像処理部について説明するためのブロック図である。 奥行き画像の例を示す図である。 テレコミュニケーション装置を適用したシステムで扱う座標系について説明するための図である。 投影方式に応じた撮影画像を説明するための図である。 ｏｐｅｎＧＬの固定パイプライン処理で扱われる座標系とその変換処理、及び３ＤＣＧにおける固定パイプライン処理を表す図である。 投影処理部で実施される視野変換処理と射影変換処理を説明するための図である。 本発明の第２の実施形態で作成する奥行き値のヒストグラムの一例を示す図である。

以下、本発明に係わる実施の形態を、図面を参照して説明する。
（第１の実施の形態）
＜テレコミュニケーション装置の外観＞
図４は映像と音声を双方向通信できる本発明の第１の実施形態に係るテレコミュニケーション装置および入・出力装置の外観を模式的に示す図である。インターネットなどの広域のネットワーク４０６より先の遠隔地にも同じテレコミュニケーション装置が接続されており、双方で映像と音声を送信し合うことで、リアルタイムにコミュニケーションを行うことができる。

図４について詳しく説明する。本発明に係るテレコミュニケーションの実施形態は、計算機４０４で実行され、計算機４０４の有する機能により映像・音声に関わる情報の取得・処理・送受信が行われる。計算機４０４は、後述する機能を実現することができれば、汎用のＰＣであったり、専用の処理装置であってもよい。

計算機４０４には、遠隔地の映像を表示する液晶ディスプレイなどの表示装置４０１（単一の表示ディスプレイであっても良いし、複数のディスプレイを組合せたタイルドディスプレイでも良い）と、遠隔地の音声を再生する音声再生装置４０３とが接続される。
また、表示装置４０１の上部には、利用者の映像、音声および後述する本発明に関わる処理を実施するために必要な情報（計算機内に仮想的な３次元モデルを構築することができる情報で、例えば被写体までの奥行き情報である）を取得するマルチメディア情報取得装置４０２が置かれて、計算機４０４に接続されている。

但し、マルチメディア情報取得装置４０２は必ずしも上述の機能を全て盛り込んで一体化している必要はなく、例えば、映像の取得と音声の取得を分離した装置で実現する構成も可能である。また奥行きを取得する機能を分離した装置で備えても良い。そのように分離した例としては、マルチメディア情報取得装置４０２をマイク及び撮影装置（映像取得＋奥行き取得）によって構成し、音声を取得するためのマイクを利用者の近くに置き、撮影カメラ（映像取得＋奥行き取得）のみを表示装置４０１の上部に設置した構成としてもよい。ここで述べた奥行き情報を取得できる装置として様々な測距デバイスが既に市販されており、それらを利用することが可能である。あるいは、２台の一般的なカメラを組合せて、三角測量の原理に基づき映像内の対応関係より奥行き情報を取得するようにすることも可能である。
計算機４０４には、さらにキーボードなどの操作装置４０５が接続されており、システム全体を制御するためのコマンドを入力することが可能である。

＜処理ブロック構成＞
続いて、計算機４０４の内部で行う処理について、図５のブロック図を用いて説明する。図５において、広域のネットワーク４０６より左側が例えば上記外観図（図４）で示したテレコミュニケーション装置の側を示し、右側が遠隔地の側を示している。

まずは、図５の左側のテレコミュニケーション装置５００の送信部５０１における送信機能について説明する。カメラ、マイクおよび測距デバイスより構成されるマルチメディア情報取得装置４０２で取得された映像、音声および奥行きの信号は、テレコミュニケーション装置５００の内部にある送信部５０１に取り込まれる。
映像信号及び奥行き信号は送信部５０１内の送信映像処理部５０２に、音声信号は送信音声処理部５０３に入力され、信号処理および遠隔地に送信するための符号化処理が施される。その後、図示していないパッキング部により映像と音声の符号化データがパッキング（ｐａｃｋｉｎｇ；詰込）されて、広域のネットワーク４０６を経由して遠隔地に伝送される。

次に、テレコミュニケーション装置５００の受信部５０４における受信機能について説明する。広域のネットワーク４０６を経由して遠隔地から送られてきた符号化データが、図示していないアンパック部によって映像と音声の符号化データにアンパック（Ｕｎｐａｃｋ；分割）され、テレコミュニケーション装置５００の内部の受信部５０４に取り込まれる。
映像符号化データは受信部５０４内の受信映像処理部５０５に入力され、音声信号は受信音声処理装置５０６に入力される。そしてこれら映像信号及び音声信号は、映像や音声を再現できる形に信号処理され、ディスプレイ（表示装置）４０１やスピーカ（音声再生装置）４０３に出力される。

遠隔地のテレコミュニケーション装置についても同様で、受信部５１４は上述の受信部５０４に、送信部５１１は送信部５０１にそれぞれ対応している。受信部５１４の内部には図示していない受信映像処理部と受信音声処理部、送信部５１１の内部には送信映像処理部と送信音声処理部をそれぞれ備えている。
図示していないが、テレコミュニケーション装置５００，５１０には、ＩＴＵ−Ｔ（International Telecommunication Union- Telecommunication sector）にて策定されたテレビ会議向けのプロトコルである、Ｈ.３２０やＨ.３２３等に従って通信する機能を備えており、本テレコミュニケーション装置とは異なる一般的なテレビ会議システムと相互に接続して、コミュニケーションを行うことも可能である。

続いて、本実施の形態を実現する上で重要な送信映像処理部５０２と受信映像処理部５０５の内容について、図６を用いてより詳細に説明する。図６に示したテレコミュニケーション装置５００には、特に支障がない限り音声処理に関わる部分を省略している。音声処理については、既存のテレビ会議システムに使われる音声処理をそのまま用いることができる。

映像処理に関わる部分を抽出して示した図６におけるテレコミュニケーション装置５００は、映像モデル処理部６００、投影処理部Ａ６０１、投影処理部Ｂ６０２、合成処理部６０３、制御部６０４及び符号化部６０５よりなる送信映像処理部５０２と、復号部６１０及び表示メモリ６１１よりなる受信映像処理部５０５から構成される。

テレコミュニケーション装置５００に接続されたマルチメディア情報取得装置４０２によって取得された映像と奥行き情報はデジタル化され、映像モデル処理部６００に入力される。
映像モデル処理部６００は、計算機内に仮想的に設けた３次元空間に、前記入力された奥行き情報に基づいて映像データと共に３次元実写映像モデルとして再現する。投影処理部Ａ６０１及び投影処理部Ｂ６０２は、映像モデル処理部６００において再現された３次元実写映像モデルに対して、所定の距離範囲にある映像モデルをそれぞれ異なる投影方式による仮想的なカメラで写し撮って２次元の平面画像を生成する。

合成処理部６０３は、投影処理部Ａ６０１および投影処理部Ｂ６０２で取得した異なる投影方式による画像を合成して一枚の画像を生成する。上記内容の処理を連続して繰り返すことで動画像の処理を行うものとする。符号化部６０５は、合成処理部６０３で生成された動画像を、例えばＭＰＥＧ（Moving Picture Experts Group）によって策定されたＨ.２６４／ＡＶＣなどの符号化方式を用いて圧縮符号化する。なお、２次元の動画像を符号化することができれば、その他の動画符号化方式を用いることもできる。

テレコミュニケーション装置５００は、図示していない送信音声処理部５０３にて生成される音声符号化データと上記送信映像処理部５０２にて生成される映像符号化データをパッキングして外部の広域のネットワーク４０６などに出力する。
制御部６０４は、外部に接続された操作装置４０５を使って利用者が入力した動作指示に従って、図示していない各種パラメータ群を保持しておくメモリから適切なパラメータセットを抽出して各処理部に設定したり、あるいはネットワークを介して繋がる外部のテレコミュニケーション装置や一般的なテレビ会議システムとを相互に接続させるための通信処理を実現できる機能を有している。

続いて、受信について説明する。テレコミュニケーション装置５００は、外部よりネットワークを介して送られてきた符号化データを受信して、音声符号化データと映像符号化データにアンパック（分割）する。
音声符号化データは、図示していないが、前述の一般的なテレビ会議システムで行われているように再生可能な音声信号に復号した後、映像と同期して外部に接続したスピーカに信号を出力し、音声として再現される。
一方映像符号化データは、復号部６１０に入力され、前述の符号化部６０５で行われた符号化処理による符号化データを復号する処理を実施する。復号された映像信号は表示メモリ６１１に入力され、テレコミュニケーション装置５００の外部に接続された表示装置（ディスプレイ）４０１に供給され映像として表示される。

（処理内容）
以下、本発明の特徴である複数の異なる投影方式で取得した撮影画像を合成して１枚の画像を作りだし、それをテレコミュニケーション装置で扱う映像とすることで、図１に示すようなテレコミュニケーションのスタイルを実現できることについて説明する。

始めに、従来のテレコミュニケーション装置は、ピンホールカメラを理想的なモデルとする透視投影に基づく投影方式で撮影された画像を用いている。これを模式的に示した図が図９（Ａ）である。
このモデルでは、被写体とカメラの原点を結ぶ直線と撮影装置の投影面９００とが交わるところに、被写体像として結像され画像が生成される。そのため、被写体が撮影装置の中心を向いていないと、正面を向いたような画像として取得することができない。具体的には、位置９０７にある被写体を正面を向いたような画像として捉えるためには、方向９０８を向いている必要があるということである。これは、特に大画面の表示装置を用いて遠隔のコミュニケーションを行う場合に問題になり、利用者位置が中心から離れるほど、画面内の相手を見る向きと自分が正面を向いているように撮影される向きが一致しなくなる。

そこで、本発明では図９（Ｂ）に示すように、撮影範囲９０２では平行投影ができ、撮影範囲９０３では透視投影できる、すなわち距離によって２種類の投影方式を切り替えることができる撮影装置を導入する。平行投影される撮影範囲９０２では、被写体は表示装置に向かっているそのままの方向で撮影され、透視投影される撮影範囲９０３では従来のように遠くのものほど小さく近くのものほど大きく遠近感のある絵として撮影される。これによって、被写体９０５は表示面の端に表示される映像を見ているにも関わらず、正面方向９０６を向いているように撮影されることになる。

以上のように、２種類の投影方式を組み合わせることによって、近くの被写体は画面内の映像を向いていても正面を見ているように撮影することができ、ある程度離れた被写体に対しては従来のように遠近感を持たせた映像として取得することができるため、図１に示すようなコミュニケーションのスタイルを実現することができる。

上記複数の投影方式を切り替えることができる撮影装置を実現するため、下記に示すように演算装置内に実写の３次元モデルを再現して、それを撮影する仮想的な撮影装置を作り出すことを行う。一旦演算装置内に実写の３次元モデルを構築することができれば、後は３ＤＣＧ技術によって、複数の投影方式による撮影装置を実現することも容易である。

まずは、本発明に係るテレコミュニケーション装置を適用するシステムで扱う座標系について図８を用いて説明する。図８は、図４に示した表示装置４０１およびマルチメディア情報取得装置４０２を側面より見た図である。
後述する映像モデル処理部６００において生成する３次元実写映像モデルは、この図におけるマルチメディア情報取得装置４０２の座標系を用いて規定する３次元モデルである。以下、このマルチメディア情報取得装置４０２の座標系をマルチメディア情報取得装置座標系ＸＹＺ＿ｍｕｌｔｉと呼ぶこととする。図８においてその原点を８０１、座標軸のｚ軸の正の方向を８０４、ｙ軸の正の方向を８０５として示し、図示していないがｘ軸の正の方向は原点８０１を起点として紙面の裏の方向に向かっているものとする。原点８０１は、マルチメディア情報取得装座標系の原点であるとともに、マルチメディア情報取得装置４０２の光学中心でもある。

ところで、システムの利用者は、表示装置４０１に映される映像を見ながら遠隔地との間でコミュニケーションを行うため、その表示装置の中心をテレコミュニケーション装置の中心（原点）と捉えたほうが都合がよい。従って、表示装置の中心８００を原点とする新しい座標系（以下システム座標系と呼ぶ）を次のように設ける。システム座標系ＸＹＺ＿ｓｙｓｔｅｍの原点は表示装置４０１の中心であり、表示装置の表示面から利用者の側に向かってｚ軸の正の方向８０２があり、ディスプレイ面にそって上側に向かってｙ軸の正の方向８０３が設定される。ｘ軸の方向は、図示していないが、紙面に向かってその裏側に向かう方向である。ｘ軸、ｙ軸、ｚ軸は、それぞれお互いに直交する軸である。

マルチメディア情報取得装置４０２より入力される映像情報は、一般的なカメラによって取得され、Ｒ、Ｇ、Ｂ３色のデジタル信号として入力される。入力される映像信号の方式は特にこれに限定するわけではなく、例えばＹＵＶやＬＣＣであっても良く、一般的に与えられる変換式によって容易にＲ、Ｇ、Ｂ信号に変換することができるため問題ない。

続いて、奥行き情報について説明する。奥行き情報は、デプスマップ（ｄｅｐｔｈ ｍａｐ）と呼ばれることもあり、撮影装置からその撮影範囲内にある被写体までの奥行、すなわち距離を表す距離情報である。具体的には、画素毎に与えられた量子化値を含む画像として与えられ（以降、奥行き情報を奥行き画像と呼ぶ）、その量子化値の各々をデプス（ｄｅｐｔｈ）値といい、例えば８ビットで量子化された値をとる。

図７に奥行き画像の例を示す。図７（Ａ）は撮影画像７０１を示し、図７（Ｂ）は図７（Ａ）の撮影画像７０１に対応する奥行き画像７０２を示す。奥行き画像７０２は、輝度のみのモノクロ画像として表される。輝度が高い（＝奥行き値が大きい）領域ほど撮影装置からの距離が近いことを意味し、輝度が低い（＝奥行き値が小さい）領域ほど撮影装置からの距離が遠いことを意味する。

映像モデル処理部６００は、上記入力した奥行き画像に対して、奥行き画像を取得したカメラの特性を示すカメラ内部パラメータを用いて、以下のように実際の距離値に変換を行うことができる。カメラ内部パラメータは３×３の行列であり、該撮影装置を製造するメーカによって与えられていたり、あるいは、キャリブレーションパターンを実際にその撮影装置を用いて撮影することによって求めることができる（佐藤著「コンピュータビジョン−視覚の幾何学−」コロナ社、６.１章 校正器具を使ったカメラ校正法）。

奥行きを取得する撮影装置のカメラ内部パラメータをＫ（３×３行列）、奥行き画像の画素位置をｕ＝（ｘ，ｙ）、奥行き画像をＤ（ｕ）とすると、奥行き情報を取得したカメラの座標系に従って、各画素位置に対応する３次元位置ｖを以下のように算出することができる。
ｖ（ｕ）＝Ｄ（ｕ）Ｋ^−１［ｕ１］^Ｔ ・・・（１）
ここで、［ ］^Ｔは行列の転置を表し、［ｕ１］は画素位置ｕの次元を一つ増やした斉次行列を表している。

（１）式による変換により、映像モデル処理部６００は、入力した奥行画像Ｄ（ｕ）を用いて画素位置ｕに１対１に対応する３次元空間上の位置を確定することができ、同時にその画素位置に対応する映像の画素値を実写映像より抽出して、３次元空間上の位置に張り付けることで、実写の３次元モデルを作成することができる。３次元ＣＧでは、この処理をテクスチャマッピングと呼ぶ。

映像モデル処理部６００において、実写の３次元モデルを生成することができれば、コンピュータグラフィックス処理（３ＤＣＧ技術）によって、後述する３次元映像処理を汎用的なプログラミングインターフェースであるｏｐｅｎＧＬ（Ｋｈｒｏｎｏｓグループが策定している３次元映像処理ができるグラフィクスハードウェアのアプリケーションプログラミングインタフェース。http://www.opengl.org/）等を用いて実現することができる。

さらに、このｏｐｅｎＧＬは、汎用的なＰＣに搭載することができるＧＰＵ（Graphics Processing Unit）などで実行でき、３次元処理を高速に処理することができる。以下、ｏｐｅｎＧＬで扱うことができる命令を用いて説明する。

図１０（Ａ）は、ｏｐｅｎＧＬの固定パイプライン処理で扱われる座標系とその変換処理を表している。順番に、オブジェクト座標系１０００とは、３次元モデル（オブジェクト）を規定するためのオブジェクトに固有のローカルな座標系である。３ＤＣＧでは、一般的にオブジェクトは複数存在しているため、それらを共通に扱うことができる座標系が必要となり、それをワールド座標系１００１と呼ぶ。オブジェクト座標系１０００からワールド座標系１００１への変換は、モデリング変換と呼ばれ、各オブジェクトごとに与えられる回転と併進移動によって実現することができる。一旦各オブジェクトが、ワールド座標系１００１に配置されると、以下の座標系変換によって最終的に表示装置に表示することができる２次元画像に変換することができる。

ワールド座標系１００１に配置されたオブジェクトに向けて、３次元空間から２次元の画像として切り出すための仮想的なカメラが設置される。この時の仮想的なカメラによる座標系が視点座標系１００２で、カメラの視点位置とそのカメラの向きによって規定することができる。ワールド座標系１００１から、視点座標系１００２への変換を視野変換処理と呼ぶ。

続いて、上記仮想的なカメラによって、２次元に投影する射影変換を実施する。この射影変換処理には、遠くのものを小さく近くのものを大きく表現することができる透視投影変換と、遠くのものも近くのものも同じ大きさのものは同じ大きさで表現することができる平行変換（正射影変換）が存在する。
また３ＤＣＧ技術による射影変換では、射影変換の対象となる範囲を規定することが可能で、ある所定の距離にあるオブジェクトに対して個別に射影変換を行うことができる。視点座標系１００２を射影変換して得られる座標系は、クリップ座標系・正規化デバイス座標系１００３と呼ばれる。

最後に、表示装置に表示できるように、ビューポート変換によって、左下を原点にして右方向にｘ座標の正の方向、上方向にｙ軸の正の方向となるウィンドウ座標系・あるいはフルスクリーン座標系１００４に変換する。
以上により、個々の座標系を持った３次元モデルを、共通の座標系であるワールド座標系に変換して、さらに計算機内の仮想的なカメラによる所定の視点の映像として取得することができる。最終的には、表示装置で表示できるような座標系を持つ画像に変換することができる。

上記３ＤＣＧにおける固定パイプライン処理を、本発明のテレコミュニケーション装置で実施する。但し、本発明では２種類の異なる投影方式を用いる必要があるため、図１０（Ｂ）に示すようなパイプラインを用いて実現する。
まずは、映像モデル処理部６００にて生成する３次元実写モデルが、上記説明におけるオブジェクトであり、その座標系であるマルチメディア取得装置座標系ＸＹＺ＿ｍｕｌｔｉがオブジェクト座標系１０１０に対応している。表示装置中心に設置した座標系ＸＹＺ＿ｓｙｓｔｅｍが、ワールド座標系１０１１であり、図８における表示装置４０１の中心８００からマルチメディア情報取得装置４０２までのｙ方向の距離Ｈとシステム座標系ＸＹＺ＿ｓｙｓｔｅｍのｚ軸に平行な補助直線８０６との角度Θを用いて、以下の様にモデリング変換を行うことができる（式（２））。

ｇｌＭａｔｒｉｘＭｏｄｅ（ＧＬ＿ＭＯＤＥＬＶＩＥＷ）
ｇｌＲｏｔａｔｅ（Θ、１.０、０.０、０.０）
ｇｌＴｒａｎｓｌａｔｅ（０、Ｈ／２、０） ・・・（２）

各命令はｏｐｅｎＧＬの実行命令になっており、上から順番に実行されるものである。
例えば式（２）では、最初にｇｌＭａｔｒｉｘＭｏｄｅ（）が実行され、続いてｇｌＲｏｔａｔｅ（）、ＧｌＴｒａｎｓｌａｔｅ（）の順に実行される。
次に、式（２）で実行される命令について説明すると、ｇｌＭａｔｒｉｘＭｏｄｅ（ＧＬ＿ＭＯＤＥＬＶＩＥＷ）が、以降の処理がモデリング変換であることを宣言する命令で、ｇｌＲｏｔａｔｅ（Θ、１.０、０.０、０.０）は、ｘ軸を中心としてΘ角度分モデルを回転させる命令である。最後のｇｌＴｒａｎｓｌａｔｅ（０、Ｈ／２、０）は、ｙ軸の方向にＨ／２併進させる命令である。以上により、ローカルなオブジェクト座標系からワールド座標系に変換することができ、映像モデル処理部６００で生成した３次元実写モデルをワールド座標系に配置させることができる。

上記例では、マルチメディア情報取得装置が一つである場合を示しているが、仮に、マルチメディア情報取得装置が複数存在する場合には、各マルチメディア情報取得装置の位置に応じたモデリング変換を実施することによって、オブジェクトを共通の座標系であるワールド座標系に変換して配置させることが可能である。その場合、モデリング変換は複数行われる。

続いて、投影処理部Ａ６０１および投影処理部Ｂ６０２において、それぞれ異なる投影処理を行い２種類の２次元画像を取得する。以下にその処理内容について図１１を用いて説明する。図１１は、図８と同様に図４のテレコミュニケーション装置を側面から捉えた図であり、投影処理部Ａ６０１および投影処理部Ｂで実施される視野変換処理と射影変換処理を説明するために用いる図である。
投影処理部Ａ６０１が近領域を対象とした平行投影法を実施する処理部とし、投影処理部Ｂ６０２が遠領域を対象とした透視投影を実施する処理部とする。従って、図１０（Ｂ）では、視野変換Ａ，射影変換Ａのパスが投影処理部Ａ６０１にて実施され、視野変換Ｂ、射影変換Ｂのパスが投影処理部Ｂ６０２において実行されるものとする。

まず、投影処理部Ａ６０１では、図１１の位置１１００に仮想的なカメラを設けることで視野変換Ａを実施する。一方、投影処理部Ｂ６０２では、位置１１０１に仮想的なカメラを設けることで視野変換Ｂを実施する。投影処理部Ａ６０１および投影処理部Ｂ６０２で実施される視野変換処理は、それぞれ以下のようになる（視野変換Ａは式（３）、視野変換Ｂは式（４）に対応）。

ｇｌＬｏｏｋＡＴ（０、０、０.１、０、０、１、０、１、０） ・・・（３）
ｇｌＬｏｏｋＡＴ（０、０、０.５、０、０、１、０、１、０） ・・・（４）

ここで、ｇｌＬｏｏｋＡＴ（Ｘ０、Ｙ０、Ｚ０、Ｘ１、Ｙ１、Ｚ１、ＵＸ、ＵＹ、ＵＺ）は、視野変換のための命令で、（Ｘ０、Ｙ０、Ｚ０）が仮想的なカメラの３次元位置を示し、（Ｘ１、Ｙ１、Ｚ１）がそのカメラの向いている方向、（ＵＸ、ＵＹ、ＵＺ）がカメラの上向きとなる向きを示している。

続いて、実施される射影変換処理はそれぞれ次のようになる（射影変換Ａは式（５）、射影変換Ｂは式（６）に対応）。

ｇｌＭａｔｒｉｘＭｏｄｅ（ＧＬ＿ＰＲＯＪＥＣＴＩＯＮ）
ｇｌＯｒｔｈｏ（−Ｗ／２、＋Ｗ／２、−Ｈ／２、＋Ｈ／２、０.７、２.４）
・・・（５）
ｇｌＭａｔｒｉｘＭｏｄｅ（ＧＬ＿ＰＲＯＪＥＣＴＩＯＮ）
ｇｌＦｒｕｓｔｕｍ（−Ｗ／２、＋Ｗ／２、−Ｈ／２、＋Ｈ／２、１.８、２０）
・・・（６）

ここで、ｇｌＭａｔｒｉｘＭｏｄｅ（ＧＬ＿ＰＲＯＪＥＣＴＩＯＮ）は、以降の処理が投影処理を行うことを宣言する命令である。ｇｌＯｒｔｈｏ（ｌｅｆｔ、ｒｉｇｈｔ、ｂｏｔｔｏｍ、ｔｏｐ、ｎｅａｒ、ｆａｒ）は平行投影変換を実行する命令で、（ｌｅｆｔ、ｒｉｇｈｔ、ｂｏｔｔｏｍ、ｔｏｐ）で位置１１０２の表示面のサイズに対応するように左、右、下、上の位置をそれぞれ指定するパラメータである（表示面のサイズを、縦Ｈ×横Ｗとする）。また、ｎｅａｒ、ｆａｒは実際に投影変換を適用する範囲を規定するパラメータで、位置１１０２までの距離と、位置１１０３までの距離を指定する。

次に、ｇｌＦｒｕｓｔｕｍ（ｌｅｆｔ、ｒｉｇｈｔ、ｂｏｔｔｏｍ、ｔｏｐ、ｎｅａｒ、ｆａｒ）は透視投影変換を実行する命令で、上記平行投影変換のパラメータと同様な意味を持つパラメータである。
以上により、投影処理部Ａ６０１と投影処理部Ｂ６０２は異なる投影方式を適用することができる。

続いて、投影処理部Ａ６０１、投影処理部Ｂ６０２で実施されるビューポート変換の内容は同一で、以下のように実行される。
ｇｌＶｉｅｗｐｏｒｔ（０、０、ｗｉｄｔｈ、ｈｅｉｇｈｔ） ・・・（７）

ｇｌＶｉｅｗｐｏｒｔ（ｕ、ｖ、ｗｉｄｔｈ、ｈｅｉｇｈｔ）は、ビューポート変換を行うための命令で、その引数は表示ターゲットとなる表示窓（ウィンドウもしくはフルスクリーン）の左下の座標（ｕ、ｖ）とそのサイズ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）を示すパラメータである。

以上の構成によって、複数の異なる投影方式による画像を用いたテレコミュニケーション装置を実現させることができ、ある程度離れた被写体は遠近感を持たせた自然な映像でありながら、表示装置に近いところでは相手の映像を見る方向と利用者が正面を向いているように撮影させる方向とを一致さることができる。

なお、本願発明に係る実施形態では、３次元モデルを生成する画像を撮影する撮影装置は、１台または複数台使用できる。例えば、一台の撮影装置の撮影画像で３次元モデルを生成する場合には、平行投影画像を生成するための実写映像の情報が不足するが、この場合には、公知の画像処理によって情報が不足した領域を埋めることで平行投影画像を生成することがきる。
つまり、被写体までの奥行き情報を何らかの方法で映像情報取得することができれば、その情報を用いて平行投影画像を作り出すことができる。１台の撮影装置によってそういった画像を作る際の問題として、実写映像の情報が足りなくなることがある。ここでは撮影装置の台数が多いほど、お互いに映像を補完することができ、より緻密に平行投影画像を生成することができるが、撮影装置の台数が少ないと、撮影装置から見えない場所（カメラが捉えていない場所＝オクルージョン）が多く発生するため、そういった問題が起きやすくなる。その場合の対策の一例として、画像処理による穴埋め処理を行うことができる。穴埋め処理（オクルージョン処理）については公知の様々な方法が存在しているが、周辺の情報＋奥行きの情報を用いて（例えば、距離の遠い周辺実写映像情報を用いて）、上記情報が不足した領域を目立たないように埋めることができ、平行投影画像を生成することができる。

（第２の実施の形態）
上記第１の実施例では、予め設定した距離によって２種類の投影方式を切り替える方法について示した。単純に被写体までの距離によって投影方式を切り替えているため、計算量を削減できるメリットがある。これは、システムの利用シーンがある程度想定できる場合には、その切り替え位置を簡単に決められるという前提に基づくものである。
ところが、被写体が上記２種類の投影方式を跨ぐ位置にある場合には、その切り替えのため映像ギャップが発生し画質劣化となる課題が発生する。

そこで、第２の実施例では、図１２に示すようにマルチメディア取得装置で取得した奥行き値のヒストグラムを作成して、できるだけ同一被写体をまたいで投影方式が切り替わらないように、その切り替えポイントを制御する。その方法は、例えば奥行き値のヒストグラムを作成し、予め設定したしきい値１２００より初めて、最初の近傍の極小値１２０１を求め、その値（距離）を新たなしきい値（図１０における位置１００３）に設定することで実現することができる。局小値の求め方はどのような方法でもよく、例えば再急降下法でも良い。

以上により、極力被写体を跨らないように、投影方式の切り替え位置を動的に制御することが可能になる。また、新しいしきい値は、当初想定するしきい値の値からは大きく離れないように制御することも可能である。

（第３の実施の形態）
本発明による複数の投影方式を切り替えることによるテレコミュニケーションでは、システムで扱う表示装置の大きさにその切り替え位置が依存する。つまり、極端な場合、表示装置の大きさが十分に小さい場合には通常の方式で撮影を行っても、これまで説明してきたような問題は生じにくい。従って、システムで扱う表示装置の大きさを、双方でやり取りできる仕組みを持つことは重要である。この際に扱う情報は、お互いの装置を接続する時に一度だけやり取りすればよい。お互いのシステムの表示装置の大きさ情報を起動時の接続プロセスにおける通信時にやり取りする。その方式は特に限定するものではない。

（第４の実施の形態）
第１の実施の形態では、送信側で最終的な映像（２種類の投影方式による画像を合成した送信用の画像）を作り出して、それを圧縮符号化して伝送する構成になっている。この方式では、伝送する画像は既に加工が完了した所謂通常の画像になった後のデータであるため、符号化データは映像のみ（当然音声データは含まれるが、奥行き情報は含んでいないという意味）の情報で良く、これまでの通信プロトコルをそのまま適用することができるというメリットがある。一方で、受信側には自由度が無く、送られてきた符号化データを復号してそのまま表示するのみになる。つまり、受け手側で、本発明による映像表示方式をＯＮにしたりＯＦＦにしたりすることができない。

そこで、第４の実施形態では、受信側の自由度を高めるために、送り手はマルチメディア取得装置で取得した映像と奥行き情報を個別に符号化して伝送することを考える。その時の、符号化方式としては、映像と奥行き情報を符号化することができればよく（できれば圧縮効率の高い方式が望ましいが）、例えばＭＰＥＧにおいて現在策定が進んでいる３ＤＶの方式を用いることも可能である。３ＤＶでは、映像と奥行き情報をそれぞれの関連性を用いて効率よく圧縮・符号化できる方式である。
あるいは、ＭＰＥＧ−Ｃ ＰＡＲＴ３による動画像とデプスを含むデータの圧縮・符号化方式を適用することも可能である。以上により、送り手側より映像と奥行き情報を受け手側に送ってあげれば、受け手側で上述の第１の実施形態において送り手側が行ったような３次元映像モデルの再構築、異なる複数の投影方式による映像の取得および合成処理を行い、同様の結果を受信側で作り出すことが可能である。

第４の実施形態で示した方式によると、受信側の自由度を高めることができるとともに、例えば多対多のテレコミュニケーションにおいて、ある拠点では本発明の表示方式で映像を表示しつつ、別の拠点では従来型の表示方式で映像を表示させることも可能になる。

＜第１乃至第４の実施形態について＞
上記の各実施例において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

上記の各実施例の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施例の機能を実現するテレコミュケーション装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していれば良い。

また、上記の各実施例で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明の実施形態に係るテレミュニケーション装置は、撮影装置で撮影された画像データと、撮影装置で撮影された被写体の奥行きデータとを入力し、撮影装置による撮影画像の３次元モデルを生成する映像モデル処理部と、映像モデル処理部により生成された３次元モデルに対して、第１の投影方式により画像を取得する仮想カメラと、第１の投影方式とは異なる第２の投影方式により画像を取得する仮想カメラを配置し、各仮想カメラにより取得した画像から２次元平面画像を生成する投影処理部と、投影処理部で生成された２次元平面画像を符号化する符号化部と、符号化部で符号化された符号化データを送信する送信部と、を有するものであってよい。これにより、１台もしくは複数の撮影装置によって撮影された映像を、一旦演算装置内の３次元空間に３次元モデルとして構築しておき、それを複数の投影方式を用いて取得した２次元の画像を合成して得られた映像を双方で送り合うことで、画面の表示面を分割して複数の目的のコミュニケーションを同時に実現させることができるようになる。

また、テレコミュニケーション装置は、映像モデル処理部は、入力した前記奥行きデータから、前記撮影装置が撮影した撮影画像内の被写体までの距離を算出し、第１の投影方式と第２の投影方式とを、前記撮影装置が撮影した撮影画像内の被写体までの距離に応じて切り替えるものであってよい。ここでは、第１の投影方式は透視投影方式で、第２の投影方式は平行投影とするものであってよい。
２種類の投影方式を距離によって切り換えることにより、複数の目的のコミューケーションを違和感なく実現することができるようになる。例えば、近くの被写体は画面内の映像を向いていても正面を見ているように撮影することができ、ある程度離れた被写体に対しては遠近感を持たせた映像とすることができる。

また、テレコミュニケーション装置は、前記撮影装置が撮影した撮影画像内の被写体までの距離の分布に応じて、前記第１の投影方式と前記第２の投影方式とを切り換える距離を可変にするものであってよい。ここでは。距離の分布は、距離値のヒストグラムであってよい。これにより、例えばできるだけ同一被写体を跨いで投影方式が切り替わらないようにすることができ、画質劣化を抑えることができる。

また、テレコミュニケーション装置は、撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとを受信する受信部と、該受信部が受信した画像データ及び奥行きデータを復号する復号部と、該復号部が復号した画像データ及び奥行きデータから、前記撮影装置による撮影画像の３次元モデルを生成する映像モデル処理部と、該映像モデル処理部により生成された３次元モデルに対して、第１の投影方式により画像を取得する仮想カメラと、該１の投影方式とは異なる第２の投影方式により画像を取得する仮想カメラを配置し、各仮想カメラにより取得した画像から２次元平面画像を生成する投影処理部と、該投影処理部で生成された２次元平面画像を表示する表示部と、を有するものであってよい。映像と奥行きデータとを個別に符号化して伝送し、これを受信することで受信側のテレコミュニュケーション装置の自由度を高めることができる。

また、テレコミュニケーション方法は、映像と音声に関するデータを送受信することで遠隔コミュニケーションを実現するテレコミュニケーション装置により実行するテレコミュニケーション方法であって、前記テレコミュニケーション装置が、撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとを入力し、前記撮影装置による撮影画像の３次元モデルを生成するステップと、前記生成した３次元モデルに対して、第１の投影方式により画像を取得する仮想カメラと、該１の投影方式とは異なる第２の投影方式により画像を取得する仮想カメラを配置し、各仮想カメラにより取得した画像から２次元平面画像を生成するステップと、該生成した２次元平面画像を符号化するステップと、該符号化するステップで符号化した符号化データを送信するステップと、を有するものであってよい。これにより、１台もしくは複数の撮影装置によって撮影された映像を、一旦演算装置内の３次元空間に３次元モデルとして構築しておき、それを複数の投影方式を用いて取得した２次元の画像を合成して得られた映像を双方で送り合うことで、画面の表示面を分割して複数の目的のコミュニケーションを同時に実現させることができるようになる。

また、テレコミュニケーション装置は、撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとを受信する受信部と、該受信部が受信した画像データ及び奥行きデータを復号する復号部と、該復号部が復号した画像データ及び奥行きデータから、前記撮影装置による撮影画像の３次元モデルを生成する映像モデル処理部と、該映像モデル処理部により生成された３次元モデルに対して、第１の投影方式により画像を取得する仮想カメラと、該１の投影方式とは異なる第２の投影方式により画像を取得する仮想カメラを配置し、各仮想カメラにより取得した画像から２次元平面画像を生成する投影処理部と、該投影処理部で生成された２次元平面画像を表示する表示部と、を有するものであってよい。映像と奥行きデータとを個別に符号化して伝送し、これを受信することで受信側のテレコミュニュケーション装置の自由度を高めることができる。

また、上記のテレコミュケーション装置の機能を実現するプログラム、及び当該プログラムをコンピュータ読み取り可能な記録媒体は、上記テレコミュニケーション装置の効果が得られるプログラム、及びそのプログラムを記録した記録媒体を提供することができる。

１０１…表示装置、１０２，１０３，１０４…分割部、１０５…撮影装置、１０６…利用者、３００…点線、３０１…被写体、３０２…被写体、３０３，３０４…撮影装置、４０１…表示装置、４０２…マルチメディア情報取得装置、４０３…音声再生装置、４０４…計算機、４０５…操作装置、４０６…ネットワーク、５００，５１０…テレコミュニケーション装置、５０１…送信部、５０２…送信映像処理部、５０３…送信音声処理部、５０４…受信部、５０５…受信映像処理部、５０６…受信音声処理装置、５１１…送信部、５１４…受信部、６００…映像モデル処理部、６０１…投影処理部Ａ、６０２…投影処理部Ｂ、６０３…合成処理部、６０４…制御部、６０５…符号化部、６１０…復号部、６１１…表示メモリ、７０１…撮影画像、７０２…奥行き画像、８００…中心、８０１…原点、８０２…方向、８０３…方向、８０６…補助直線、９００…投影面、９０２…撮影範囲、９０３…撮影範囲、９０５…被写体、９０６…正面方向、９０７…位置、９０８…方向、１０００…オブジェクト座標系、１００１…ワールド座標系、１００２…視点座標系、１００３…クリップ座標系・正規化デバイス座標系、１００４…フルスクリーン座標系、１０１０…オブジェクト座標系、１０１１…ワールド座標系、１１０１…位置、１１０２…位置、１１０３…位置、１２００…しきい値、１２０１…極小値。

Claims (5)

1. 撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとに対応する３次元オブジェクトの、第１の投影方式による投影画像と、該３次元オブジェクトの、該第１の投影方式とは異なる第２の投影方式による投影画像とから２次元平面画像を生成する投影処理部と、
   該投影処理部で生成された２次元平面画像を表すデータを送信する送信部と、を有することを特徴とするテレコミュニケーション装置。
2. 前記奥行きデータから、前記撮影装置が撮影した撮影画像内の被写体までの距離を算出し、
   前記第１の投影方式と前記第２の投影方式とを、前記撮影装置が撮影した撮影画像内の被写体までの距離に応じて切り替えることを特徴とする請求項１に記載のテレコミュニケーション装置。
3. 前記撮影装置が撮影した撮影画像内の被写体までの距離の分布に応じて、前記第１の投影方式と前記第２の投影方式とを切り換える距離を可変にすることを特徴とする請求項２に記載のテレコミュニケーション装置。
4. 撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとを受信する受信部と、
   該画像データと該奥行きデータとに対応する３次元オブジェクトの、第１の投影方式による投影画像と、該３次元オブジェクトの、該第１の投影方式とは異なる第２の投影方式による投影画像とから２次元平面画像を生成する投影処理部と、
   該投影処理部で生成された２次元平面画像を表示する表示部と、を有することを特徴とするテレコミュニケーション装置。
5. 映像と音声に関するデータを送受信することで遠隔コミュニケーションを実現するテレコミュニケーション装置により実行するテレコミュニケーション方法であって、
   前記テレコミュニケーション装置が、
   撮影装置で撮影された画像データと、該撮影装置で撮影された被写体の奥行きデータとに対応する３次元オブジェクトの、第１の投影方式による投影画像と、該３次元オブジェクトの、該第１の投影方式とは異なる第２の投影方式による投影画像とから２次元平面画像を生成するステップと、
   該生成した２次元平面画像を表すデータを送信するステップと、を有することを特徴とするテレコミュニケーション方法。

Images