JP2024053273A - 三次元ビデオ通話システム - Google Patents

Abstract

【課題】リアルタイムな三次元ビデオ通話を携帯端末で実現する。【解決手段】三次元ビデオ通話システム１は、少なくとも１個のインカメラ及び光線再生型の三次元ディスプレイを備える携帯端末３と、携帯端末３に対応する演算装置４との組である通話装置２を通話者Ｐ毎に備え、インカメラ画像から簡易的な顔モデルを構築し、通話者Ｐに視点追従し、座標変換手段４０１で求めた通話者Ｐの視点位置を要素画像生成手段４２の視点追従に流用する。【選択図】図４

Description

本発明は、三次元ビデオ通話システムに関する。

近年、コミュニケーションツールとして、音声通話やメールに加えてビデオ通話を使用する機会が増えてきている。その理由として、スマートフォンやタブレットなどの携帯端末の普及、及び、インターネットの通信速度の高速化などがあげられる。それらに加え、リモートワークの普及や感染症対策などによるライフスタイルの変化も影響している。ビデオ通話は、音声通話やメールと比較して相手の表情がわかるため、より密なコミュニケーションをとることができる。しかし、依然として直接会っての会話とは大きな差があるため、より高い臨場感や実在感のあるコミュニケーションツールが求められている。

高い臨場感や実在感を与えるメディアの一つとして、様々な方式の三次元映像が提案されている（例えば、非特許文献１）。光線再生型の三次元映像では、実際にそこに物があるのとほぼ同様の光線が再現できる。つまり、光線再生型の三次元映像では、実物を見る時と同様に両眼視差や運動視差などの視覚特性が再現できる。これらの特徴により、光線再生型の三次元映像では、従来の二次元映像と比較して、より高い臨場感や実在感を感じられる。従って、光線再生型の三次元映像を用いてビデオ通話を行えば（以後、「三次元ビデオ通話」）、従来の二次元映像でのビデオ通話よりも高い臨場感や実在感が実現できると考えられる。

岡市 他、"視点追従型インテグラル３Ｄ映像表示システムの開発"、映像情報メディア学会誌、Ｖｏｌ．７５、Ｎｏ.１、ｐ.１２５－１３０、２０２１年

スマートフォン、タブレットなどの携帯端末で三次元ビデオ通話を実現するためには、携帯端末に光線再生型のディスプレイを搭載し、様々な処理をリアルタイムで行う必要がある。以後、光線再生型に対応した携帯端末を単に「携帯端末」と記載する。ここで、三次元ビデオ通話で要求される処理としては、通話者の顔の三次元モデル化、三次元映像を生成するのに必要なデータや音声の伝送、三次元映像の生成及び表示があげられる。しかし、以下で述べるように、携帯端末の搭載機器や処理性能を考慮すると、携帯端末でリアルタイムの三次元ビデオ通話を実現するのが困難である。

複数台のカメラやデプスカメラが必要であるが、一般的な携帯端末には搭載されておらず、精緻な顔モデルの構築が困難である（問題点１）。次に、光線再生型の三次元ディスプレイの表示品質が十分でないため、高い臨場感や実在感を再現できるように高品質化が必要である（問題点２）。さらに、携帯端末の処理能力では、前記した処理を全てリアルタイムで実行することが困難であり、演算処理を効率化する必要がある（問題点３）。

前記した問題に鑑みて、本発明は、リアルタイムな三次元ビデオ通話を携帯端末で実現できる三次元ビデオ通話システムを提供することを課題とする。

前記課題を解決するため、本発明に係る三次元ビデオ通話システムは、少なくとも１個のインカメラ及び光線再生型の三次元ディスプレイを備える携帯端末と携帯端末に対応する演算装置との組である通話装置を通話者毎に備える構成とした。

この携帯端末は、インカメラで通話者を撮影したインカメラ画像が入力される画像入力手段と、インカメラ画像から通話者の顔領域を検出する顔領域検出手段と、を備える。

また、演算装置は、通話者の両眼が含まれる顔パーツの二次元座標を通話者の顔領域画像から検出する顔パーツ検出手段と、顔パーツの二次元座標を三次元座標に変換し、通話者の顔領域画像と顔パーツの二次元座標及び三次元座標とを顔データとして相手方の通話装置に送信する座標変換手段と、相手方の通話装置から顔データを受信し、受信した相手方の顔データから相手方の顔モデルを構築する顔モデル構築手段と、通話者の両眼の三次元座標である視点位置に追従するように相手方の顔モデルから要素画像を生成し、生成した要素画像を三次元ディスプレイに表示する要素画像生成手段と、を備える。

ここで、三次元ビデオ通話システムでは、演算装置が、携帯端末の代わりに顔パーツ検出手段を備えてもよい。
また、三次元ビデオ通話システムでは、演算装置を備えずに、携帯端末が全手段を備えてもよい。

かかる三次元ビデオ通話システムによれば、一般的な携帯端末が通話者を撮影するためのインカメラを一台備えることが多いので、そのインカメラ画像から簡易的な顔モデルを構築する（問題点１に対処）。また、三次元ビデオ通話システムによれば、ディスプレイを見ている通話者に視点追従することで、三次元映像の品質を向上させる（問題点２に対処）。さらに、三次元ビデオ通話システムによれば、座標変換手段で求めた通話者の視点位置を要素画像生成手段の視点追従に流用することで、視点位置の検出回数を低減し、演算処理を効率化できる（問題点３に対処）。このようにして、三次元ビデオ通話システムは、リアルタイムな三次元ビデオ通話を携帯端末で実現できる。

本発明は、リアルタイムな三次元ビデオ通話を携帯端末で実現できる。

第１実施形態に係る三次元ビデオ通話システムの全体構成を示す図である。 第１実施形態に係る三次元ビデオ通話システムの処理概要として、相手方の顔を立体表示するための処理のみを説明する説明図である。 第１実施形態に係る三次元ビデオ通話システムの処理概要として、通話者双方の顔を立体表示するための処理を説明する説明図である。 第１実施形態に係る三次元ビデオ通話システムの構成を示すブロック図である。 第１実施形態において、仮想カメラアレイによる撮影を説明する説明図である。 （ａ）及び（ｂ）は、第１実施形態における仮想ディスプレイの配置を説明する説明図である。 第２実施形態に係る三次元ビデオ通話システムの構成を示すブロック図である。 第３実施形態に係る三次元ビデオ通話システムの全体構成を示す図である。 第３実施形態に係る三次元ビデオ通話システムの構成を示すブロック図である。 変形例１に係る三次元ビデオ通話システムの全体構成を示す図である。 変形例１において、仮想カメラアレイによる撮影を説明する説明図である。 変形例２において、仮想カメラアレイによる撮影を説明する説明図である。

以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。

（第１実施形態）
［三次元ビデオ通話システムの全体構成］
図１を参照し、第１実施形態に係る三次元ビデオ通話システム１の全体構成について説明する。第１実施形態では、２人の通話者Ｐ_１，Ｐ_２が三次元ビデオ通話するための基本的な構成について説明する。

図１に示すように、三次元ビデオ通話システム１は、少なくとも１個のインカメラ及び光線再生型の三次元ディスプレイを備える携帯端末３と携帯端末３に対応する演算装置４との組である通話装置２を通話者Ｐ毎に備えるものである。

前記したように、三次元ビデオ通話システム１では、通話者Ｐが２人であるため、通話装置２が２台である。つまり、三次元ビデオ通話システム１では、携帯端末３及び演算装置４で構成された通話装置２を２組備える。以後、通話者Ｐ_１の通話装置２_１、携帯端末３_１及び演算装置４_１とし、通話者Ｐ_２の通話装置２_２、携帯端末３_２及び演算装置４_２とする。

ここで、通話者Ｐは、通話装置２に備えられた携帯端末３を使用し、三次元ビデオ通話を行う。一般的には、コンピュータなどの演算装置４と比べて、携帯端末３の処理性能が低いため、携帯端末３の処理負荷を軽減するために演算装置４を用いる。

三次元ビデオ通話システム１では、ルータ５を用いて、通話装置２をインターネットなどのネットワーク６に接続する。以後、通話者Ｐ_１側のルータ５_１とし、通話者Ｐ_２側のルータ５_２とする。なお、通話装置２同士の通信手法は、図１の例に制限されない。

携帯端末３は、一般的なスマートフォンやタブレット、又は、これらと同様の機能を備えている。例えば、一般的な機能としては、ＣＰＵ（Central Processing Unit）による処理機能、Ｗｉ－Ｆｉ（登録商標）、４Ｇ／５Ｇなどの通信機能、ディスプレイやスピーカによる視聴機能、インカメラによる通話者の撮影機能があげられる。さらに、携帯端末３は、光線再生型の三次元ディスプレイを備える（非特許文献１）。この三次元ディスプレイは、既存の二次元ディスプレイにレンズアレイを装着し、要素画像を表示することで三次元映像を表示できる。本実施形態では、光線再生方式としてインテグラル方式を採用することとする。つまり、光線再生型の三次元ディスプレイは、インテグラル方式のディスプレイである。

演算装置４は、例えば、ＣＰＵ、メモリ、ハードディスクドライブを備える一般的なコンピュータである。ここで、演算装置４_１が携帯端末３_１に対応するように備えられ、演算装置４_２が携帯端末３_２に対応するように備えられている。

ルータ５は、例えば、一般的なＷｉ－Ｆｉルータである。例えば、通話者Ｐ_１側のルータ５_１は、Ｗｉ－Ｆｉで携帯端末３_１及び演算装置４_１を接続し、ネットワーク６を介して、通話者Ｐ_２の通話装置２_２に接続する。

［三次元ビデオ通話システムの処理概要］
図２を参照し、三次元ビデオ通話システム１の処理概要について説明する。
なお、図２では、通話者Ｐ_２が三次元ビデオ通話を行うための処理、つまり、通話者Ｐ_２の通話装置２_２に相手方となる通話者Ｐ_１の顔を立体表示するための処理のみを図示した。

ステップＳ１において、通話者Ｐ_１の通話装置２_１は、携帯端末３_１のインカメラで通話者Ｐ_１を撮影したインカメラ画像を入力する。

ステップＳ２において、通話装置２_１は、インカメラ画像に対して顔検出処理を行う。具体的には、ステップＳ２１において、通話装置２_１は、インカメラ画像９０から通話者Ｐ_１の顔領域９１を検出する。ステップＳ２２において、通話装置２_１は、通話者Ｐ_１の顔領域画像９２から通話者Ｐ_１の顔パーツの二次元座標９３を検出する。顔領域画像９２とは、インカメラ画像９０から検出した顔領域９１の画像のことである。また、顔パーツとは、通話者Ｐの顔を構成する目、鼻、口などのパーツのことである。ステップＳ２３において、通話装置２_１は、通話者Ｐ_１の顔パーツの二次元座標９３を三次元座標９４に変換し、通話者Ｐ_１の顔データを通話者Ｐ_２の通話装置２_２に送信する。この顔データ９５には、通話者Ｐ_１の顔領域画像と顔パーツの二次元座標９３及び三次元座標９４とが含まれている。また、顔パーツの三次元座標９４のうち、両目の三次元座標を視点位置とする。

ステップＳ３において、通話者Ｐ_２の通話装置２_２は、通話者Ｐ_１の通話装置２_１から通話者Ｐ_１の顔データ９５を受信し、受信した通話者Ｐ_１の顔データ９５から通話者Ｐ_１の顔モデル９６を構築する。

ステップＳ４において、通話装置２_２は、通話者Ｐ_２の視点位置に追従するように通話者Ｐ_１の顔モデル９６から要素画像９８を生成する。例えば、通話装置２_２は、仮想カメラアレイ９７で通話者Ｐ_１の顔モデル９６を撮影することで、要素画像９８を生成する。そして、通話装置２_２は、通話者Ｐ_１の顔モデル９６を表す要素画像９８を三次元ディスプレイに表示する。このようにして、通話者Ｐ_２は、通話者Ｐ_１の顔の立体映像を見ながら、通話者Ｐ_１と三次元ビデオ通話を行うことができる。
なお、三次元ビデオ通話システム１における音声処理は、一般的な処理のため、説明を省略した。

図２では、通話者Ｐ_２が三次元ビデオ通話を行うための処理を図示したが、通話者Ｐ_１，Ｐ_２の両方で三次元ビデオ通話を行うための処理を図３に図示した。図３に示すように、通話者Ｐ_１の通話装置２_１は、通話者Ｐ_１の視点位置に追従するように、通話者Ｐ_２の顔データ９５から通話者Ｐ_２の要素画像９８を生成し、通話者Ｐ_２の顔を立体表示する。これと同様、通話者Ｐ_２の通話装置２_２は、通話者Ｐ_２の視点位置に追従するように、通話者Ｐ_１の顔データ９５から通話者Ｐ_１の要素画像９８を生成し、通話者Ｐ_１の顔を立体表示する。

［通話装置の構成］
図４を参照し、通話装置２の構成について説明する。
図４に示すように、通話装置２は、携帯端末３と、演算装置４とを備える。なお、通話者Ｐ_１，Ｐ_２の通話装置２_１，２_２は、同一構成であるため、重複する説明を省略する。また、図４では、図面を見やすくするため、ルータ５及びネットワーク６の図示を省略した。

＜携帯端末＞
図４に示すように、携帯端末３は、インカメラ３０と、顔領域処理手段３１と、三次元ディスプレイ３２とを備える。
インカメラ３０は、通話者Ｐを撮影できるように、通話者Ｐに向けて配置されたカメラである。例えば、インカメラ３０は、携帯端末３の表示画面側の上部に配置された小型のカラーカメラである。

顔領域処理手段３１は、画像入力手段３１０と、顔領域検出手段３１１とを備える。
画像入力手段３１０は、インカメラ３０で通話者Ｐを撮影したインカメラ画像９０（図２）が入力されるものである。そして、画像入力手段３１０は、入力されたインカメラ画像９０を顔領域検出手段３１１に出力する。

顔領域検出手段３１１は、インカメラ画像９０から通話者Ｐの顔領域９１（図２）を検出するものである。ここでは、インカメラ画像９０に一人の通話者Ｐが含まれることとする。本実施形態では、顔領域検出手段３１１は、通話者Ｐの視点位置に追従するため、既知の手法を用いて、インカメラ画像９０の各フレームから顔領域９１を検出する（例えば、参考文献１，２）。そして、顔領域検出手段３１１は、顔領域画像９２（図２）を顔パーツ検出手段４００に出力する。なお、顔領域検出手段３１１は、顔領域画像９２を切り抜いたときに始点となる左上座標（ｕ，ｖ）を、顔パーツ検出手段４００に出力してもよい。

参考文献１：“ＯｐｅｎＣＶ”，［online］，［令和４年８月２日検索］，インターネット＜URL：https://opencv.org/＞
参考文献２：“Ｄｌｉｂ”，［online］，［令和４年８月２日検索］，インターネット＜URL：http://dlib.net/＞

三次元ディスプレイ３２は、光線再生型（例えば、インテグラル方式）の一般的な三次元ディスプレイである。例えば、三次元ディスプレイ３２は、携帯端末３の二次元ディスプレイと、この二次元ディスプレイと対向するように配置されたレンズアレイとを備える。このレンズアレイは、微小レンズが二次元状に配列されたものである。

＜演算装置＞
演算装置４は、顔パーツ三次元化手段４０と、顔モデル構築手段４１と、要素画像生成手段４２とを備える。
顔パーツ三次元化手段４０は、顔パーツ検出手段４００と、座標変換手段４０１とを備える。

顔パーツ検出手段４００は、通話者Ｐの両眼が含まれる顔パーツの二次元座標を通話者Ｐの顔領域画像９２から検出するものである。本実施形態では、顔パーツ検出手段４００は、顔領域検出手段３１１より入力された顔領域画像９２から、顔パーツとして、通話者Ｐの両目、鼻及び口の画像座標を検出する。顔パーツ検出手段４００が顔パーツを検出すると、顔領域画像９２内で両目などの２次元座標が既知となる。ここで、顔パーツ検出手段４００は、既知の手法で顔パーツを検出できる（例えば、前記参考文献１，２）。例えば、参考文献２に記載の手法では、６８点の顔パーツを検出できる。
その後、顔パーツ検出手段４００は、検出した顔パーツの二次元座標９３（図２）及び顔領域画像９２を座標変換手段４０１に出力する。

座標変換手段４０１は、顔パーツの二次元座標９３を三次元座標９４（図２）に変換するものである。つまり、座標変換手段４０１は、顔パーツの二次元座標９３から顔パーツの三次元座標９４を算出する（例えば、参考文献３）。具体的には、座標変換手段４０１は、予め設定した顔パーツの三次元座標初期値と顔パーツの二次元座標９３とからＰｎＰ（Perspective n-Point）問題を解くことで、カメラ座標系で両目を含む顔パーツの三次元座標９４を算出する。

なお、ＰｎＰ問題を解くため、インカメラ３０の内部パラメータやレンズ歪み係数が必要になる。そこで、演算装置４は、事前にカメラキャリブレーションを行ってパラメータを求めることが好ましい。例えば、カメラキャリブレーションの手法は参考文献４に記載されている。

参考文献３：ディジタル画像処理（改訂新版）、ＣＧ－ＡＲＴＳ協会、２０１５年
参考文献４：Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334 (2000)

その後、座標変換手段４０１は、通話者Ｐの顔領域画像９２と顔パーツの二次元座標９３及び三次元座標９４とを顔データ９５（図２）として相手方の通話装置２に送信する。ここで、顔領域画像９２は、カラー画像であるため、そのデータ量が大きくなる。また、顔領域画像９２以外のデータ量は、顔パーツの数に依存し、それほど大きくならない。
また、座標変換手段４０１は、通話者Ｐの視点位置として、顔パーツに含まれる両目の三次元座標９４を要素画像生成手段４２に出力する。

顔モデル構築手段４１は、相手方の通話装置２から顔データ９５を受信し、受信した相手方の顔データ９５から相手方の顔モデル９６（図２）を構築するものである。例えば、通話者Ｐ_１の通話装置２_１では、顔モデル構築手段４１が、相手方である通話者Ｐ_２の通話装置２_２から顔データ９５を受信し、その顔データ９５から通話者Ｐ_２の顔モデル９６を生成する。また、通話者Ｐ_２の通話装置２_２では、顔モデル構築手段４１が、相手方である通話者Ｐ_１の通話装置２_１から顔データ９５を受信し、その顔データ９５から通話者Ｐ_１の顔モデル９６を生成する。

具体的には、顔モデル構築手段４１は、顔パーツの三次元座標９４が示す三次元点群情報に顔領域画像９２をテクスチャとして張り付けることで、三次元の顔モデル９６を生成する。このとき、顔モデル構築手段４１は、顔以外の髪の毛を含めた頭部分について、一般的な顔モデルに顔領域画像９２がカバーしている範囲をテクスチャとして貼り付ける。ここで、通話者Ｐを撮影するインカメラ３０が一台の場合、三次元ディスプレイ３２に表示可能な顔モデル９６の全体を再現することが難しいため、遮蔽領域が生じることがある。そこで、顔モデル構築手段４１は、通話者Ｐの顔モデル９６の全体を予め生成しておき、通話者Ｐの顔が変化したときに、顔モデル９６で変化した部分のみを更新してもよい。
その後、顔モデル構築手段４１は、生成した顔モデル９６を要素画像生成手段４２に出力する。

要素画像生成手段４２は、通話者Ｐの両眼の三次元座標である視点位置に追従するように相手方の顔モデル９６から要素画像９８を生成し、生成した要素画像９８を三次元ディスプレイに表示するものである。

＜要素画像の生成＞
図５及び図６を参照し、要素画像の生成を具体的に説明する。
図５に示すように、要素画像生成手段４２は、ＣＧ空間に配置された顔モデル９６を仮想カメラアレイ９７で撮影する。この仮想カメラアレイ９７は、アレイ状に配列された複数の仮想カメラ９７ａで構成されている。図５の例では、６台の仮想カメラ９７ａを図示したが、実際には多数の仮想カメラ９７ａが配列されている。そして、要素画像生成手段４２は、各仮想カメラ９７ａで撮影した視点画像の画素を並べ替えて、要素画像９８を生成する。

具体的には、ＣＧ空間に仮想ディスプレイ９９を配置する。この仮想ディスプレイ９９は、実際の三次元ディスプレイ３２に対応するものである。ＣＧ空間内の仮想ディスプレイ９９と顔モデル９６の位置関係が、実際の三次元ディスプレイ３２に表示される相手方の顔の位置となる。また、仮想ディスプレイ９９の配置、レンズアレイのスペック、三次元ディスプレイ３２を見る通話者Ｐの視点位置などを考慮し、仮想カメラアレイ９７の配置を設定すればよい。そして、仮想カメラアレイ９７で顔モデル９６を撮影することで、様々な視点で顔モデル９６を撮影した視点画像が得られる。

本実施形態では、前記したように視点追従を用いて、三次元ディスプレイ３２を見る通話者Ｐの視点位置に応じた要素画像を生成する。なお、視点追従による要素画像の生成手法は、一般的なものである（例えば、参考文献５）。具体的には、要素画像生成手段４２は、通話者Ｐの視点位置が上下左右に動くのに伴い、仮想カメラアレイ９７も同様に上下左右に移動させる。通話者Ｐの視点位置が左側に動いた場合、要素画像生成手段４２は、仮想カメラアレイ９７を左側に移動させる。さらに視距離が変化した場合、要素画像生成手段４２は、視距離の変化に応じて、仮想カメラアレイ９７を前後に移動させる。このとき、要素画像生成手段４２は、仮想カメラアレイ９７の移動に応じて、仮想ディスプレイ９９の領域を撮影できるように内部パラメータも変更する。そして、要素画像生成手段４２は、仮想カメラアレイ９７で撮影した各視点画像の画素位置を並べ替えることで、要素画像Ｅを生成する。

参考文献５：特開２０２２－１１３４７８号公報

現在の三次元ディスプレイ３２は、解像度が大きく低下するため、ディスプレイ面から手前や奥に大きく離れた位置に映像を表現するのが難しい。そこで、三次元ディスプレイ３２を見る通話者Ｐが快適に相手方の顔を見るためには、顔モデル９６に対して適切に仮想ディスプレイ９９を配置する必要がある。ここでは、図６を参照し、仮想ディスプレイ９９の配置手法を２つ説明する。なお、図６では、インカメラ３０の撮影画角θを図示した。

第１の手法では、図６（ａ）に示すように、通話者Ｐが仮想ディスプレイ９９の位置を任意に設定する。例えば、通話者Ｐ_１が、相手方となる通話者Ｐ_２の顔モデル９６の中心に仮想ディスプレイ９９が重なるように、仮想ディスプレイ９９の位置を設定する。この第１の手法によれば、通話者Ｐ_１が、三次元ディスプレイ３２の好きな位置に通話者Ｐ_２の顔を表示できる。通話者Ｐ_１が仮想ディスプレイ９９の位置を再設定しない限りその位置が一定なので、通話者Ｐ_２が前後に大きく動いた場合、通話者Ｐ_２の顔にボケが発生してしまう。

第２の手法では、図６（ｂ）に示すように、顔パーツの位置の近似平面に、仮想ディスプレイ９９の位置を自動的に設定する。この第２の手法によれば、通話者Ｐ_２の顔表面が三次元ディスプレイ３２のディスプレイ面に表示されるので、通話者Ｐ_２の顔を高解像度で表示できる。

［作用・効果］
以上のように、第１実施形態に係る三次元ビデオ通話システム１によれば、一般的な携帯端末３が通話者Ｐを撮影するためのインカメラ３０を一台備えることが多いので、インカメラ画像から簡易的な顔モデルを構築する。

三次元ビデオ通話システム１によれば、三次元ディスプレイ３２を見ている通話者Ｐに視点追従することで、三次元映像の品質を向上させる。つまり、三次元ビデオ通話システム１は、視点追従を用いない場合と比較して、視点追従を用いるので視域に優れる。

三次元ビデオ通話システム１によれば、座標変換手段４０１で求めた通話者Ｐの視点位置を要素画像生成手段４２の視点追従に流用することで、演算処理を効率化できる。さらに、三次元ビデオ通話システム１によれば、通話装置２として、処理能力が低い携帯端末３だけでなく処理能力が高い演算装置４も使用するので、演算量が多い処理を演算装置４に分担させることができる。
このようにして、三次元ビデオ通話システム１は、リアルタイムな三次元ビデオ通話を携帯端末３で実現できる。

（第２実施形態）
［三次元ビデオ通話システムの構成］
図７を参照し、第２実施形態に係る三次元ビデオ通話システム１Ｂについて、第１実施形態と異なる点を説明する。
三次元ビデオ通話システム１Ｂでは、顔パーツの検出を演算装置４Ｂではなく携帯端末３Ｂで行う点が、第１実施形態と異なる。

図７に示すように、三次元ビデオ通話システム１Ｂは、通話装置２Ｂとして、携帯端末３Ｂと、演算装置４Ｂとを備える。
携帯端末３Ｂは、インカメラ３０と、顔領域処理手段３１Ｂと、三次元ディスプレイ３２とを備える。
顔領域処理手段３１Ｂは、画像入力手段３１０と、画像入力手段３１０と、顔領域検出手段３１１と、顔パーツ検出手段３１２とを備える。なお、顔パーツ検出手段３１２以外の各手段は、第１実施形態と同様のため、説明を省略する。

顔パーツ検出手段３１２は、図４の顔パーツ検出手段４００と同様、通話者Ｐの両眼が含まれる顔パーツの二次元座標を通話者Ｐの顔領域画像９２から検出するものである。この顔パーツ検出手段３１２の処理内容は、第１実施形態と同様のため、これ以上の説明を省略する。

演算装置４Ｂは、顔パーツ三次元化手段４０Ｂと、顔モデル構築手段４１と、要素画像生成手段４２とを備える。
顔パーツ三次元化手段４０Ｂは、座標変換手段４０１を備える。つまり、顔パーツ三次元化手段４０Ｂは、図４の顔パーツ三次元化手段４０と異なり、顔パーツ検出手段を備えていない。
なお、座標変換手段４０１の処理内容は、第１実施形態と同様のため、これ以上の説明を省略する。

［作用・効果］
以上のように、第２実施形態に係る三次元ビデオ通話システム１Ｂは、第１実施形態と同様、リアルタイムな三次元ビデオ通話を携帯端末３Ｂで実現できる。
さらに、三次元ビデオ通話システム１Ｂによれば、携帯端末３Ｂの処理能力に余裕がある場合、顔パーツの検出を携帯端末３Ｂに分担させることができる。これにより、三次元ビデオ通話システム１Ｂでは、第１実施形態と比較して、携帯端末３Ｂの処理量は増えるが、携帯端末３Ｂから演算装置４Ｂに送信するデータ量をより少なくすることができる。つまり、携帯端末３，３Ｂの処理能力に応じて、三次元ビデオ通話システム１，１Ｂの構成を選択できる。

（第３実施形態）
［三次元ビデオ通話システムの構成］
図８及び図９を参照し、第３実施形態に係る三次元ビデオ通話システム１Ｃについて、第２実施形態と異なる点を説明する。
図８に示すように、三次元ビデオ通話システム１Ｃは、少なくとも１個のインカメラ３０及び光線再生型の三次元ディスプレイ３２を備える携帯端末３Ｃである通話装置２Ｃを通話者Ｐ毎に備えるものである。つまり、三次元ビデオ通話システム１Ｃは、演算装置を備えずに、携帯端末３Ｃで全ての処理を行う点が、第２実施形態と異なる。

図９に示すように、携帯端末３Ｃは、インカメラ３０と、顔領域処理手段３１Ｃと、三次元ディスプレイ３２と、顔パーツ三次元化手段３３と、顔モデル構築手段３４と、要素画像生成手段３５とを備える。
なお、インカメラ３０、顔領域処理手段３１Ｃ及び三次元ディスプレイ３２は、第２実施形態と同様のため、説明を省略する。
また、図８では、携帯端末３Ｃがネットワーク６に直接接続するように図示したが、ルータ（不図示）を介して、携帯端末３Ｃがネットワーク６に接続してもよい。

顔パーツ三次元化手段３３は、座標変換手段３３０を備える。また、顔パーツ三次元化手段３３は、顔領域処理手段３１Ｃの代わりに、顔パーツ検出手段３１２を備えてもよい（不図示）。
なお、座標変換手段３３０は、図７の座標変換手段４０１と同様のため、説明を省略する。また、顔モデル構築手段３４及び要素画像生成手段３５は、第２実施形態と同様のため、説明を省略する。

［作用・効果］
以上のように、第３実施形態に係る三次元ビデオ通話システム１Ｃは、第２実施形態と同様、リアルタイムな三次元ビデオ通話を携帯端末３Ｃで実現できる。
さらに、三次元ビデオ通話システム１Ｃによれば、演算装置を備える必要がないので、簡素な構成を実現できる。

以上、各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

（変形例１）
前記した第１実施形態では、通話者Ｐが２名であることとして説明したが、通話者ＰがＮ名以上であってもよい（但し、Ｎ≧３以上の整数）。つまり、図１０に示すように、三次元ビデオ通話システム１Ｄは、Ｎ台の通話装置２_１，…，２_Ｎを備えてもよい。通話者ＰがＮ人に増えても１台の通話装置２に着目すれば、その通話装置２を使用する通話者Ｐを除いたＮ－１人分の顔モデル９６_１，…，９６_Ｎを生成するだけでよい（図１１）。従って、通話装置２は、Ｎ－１人分の顔を表示する要素画像を生成する。

なお、自分以外の通話者Ｐが相手方の通話者Ｐとなる。変形例１のように、相手方の通話者Ｐが３名以上の場合、任意の相手方の通話装置に顔データを送信してもよい。

（変形例２）
三次元ビデオ通話では、通話者Ｐ_１の顔が相手方である通話者Ｐ_２にどのように見えているか確認するために、通話者Ｐ_１の通話装置２_１に通話者Ｐ_１の顔も表示すればよい。具体的には、顔モデル構築手段４１は、通話者Ｐ_１の顔データから通話者Ｐ_１の顔モデルを生成する。そして、要素画像生成手段４２は、図１２に示すように、通話者Ｐ_１，Ｐ_２の顔モデル９６_Ａ，９６_Ｂが含まれる要素画像を生成する。通話者Ｐ_２の顔モデル９６_Ａの横に通話者Ｐ_１の顔モデル９６_Ｂを配置した状態で要素画像を生成すればよい。ここでは、通話者Ｐ_２の顔モデル９６_Ｂよりも通話者Ｐ_１の顔モデル９６_Ａを小さくしている。

（その他変形例）
前記した実施形態では、光線再生型の三次元ディスプレイ３２がインテグラル方式に対応していることとして説明したが、レンチキュラー方式に対応したものであってもよい。

三次元ビデオ通話システムでは、異なる形態の通話装置が混在していてもよい。例えば、三次元ビデオ通話システムは、図１の通話装置２、図７の通話装置２Ｂ、及び、図９の通話装置２Ｃの何れか２以上が混在していてもよい。

１，１Ｂ～１Ｄ 三次元ビデオ通話システム
２，２Ｂ，２Ｃ 通話装置
３，３Ｂ，３Ｃ 携帯端末
４，４Ｂ 演算装置
５ ルータ
６ ネットワーク
３０ インカメラ
３１ 顔領域処理手段
３２ 三次元ディスプレイ
３３，４０，４０Ｂ 顔パーツ三次元化手段
３４，４１ 顔モデル構築手段
３５，４２ 要素画像生成手段
９０ インカメラ画像
９１ 顔領域
９２ 顔領域画像
９３ 顔パーツの二次元座標
９４ 顔パーツの三次元座標
９５ 顔データ
９６ 顔モデル
９７ 仮想カメラアレイ
９７ａ 仮想カメラ
３１０ 画像入力手段
３１１ 顔領域検出手段
３１２，４００ 顔パーツ検出手段
３３０，４０１ 座標変換手段
Ｐ 通話者

Claims (6)

1. 少なくとも１個のインカメラ及び光線再生型の三次元ディスプレイを備える携帯端末と前記携帯端末に対応する演算装置との組である通話装置を通話者毎に備える三次元ビデオ通話システムであって、
   前記携帯端末は、
   前記インカメラで前記通話者を撮影したインカメラ画像が入力される画像入力手段と、
   前記インカメラ画像から前記通話者の顔領域を検出する顔領域検出手段と、を備え、
   前記演算装置は、
   前記通話者の両眼が含まれる顔パーツの二次元座標を前記通話者の顔領域画像から検出する顔パーツ検出手段と、
   前記顔パーツの二次元座標を三次元座標に変換し、前記通話者の顔領域画像と前記顔パーツの二次元座標及び三次元座標とを顔データとして相手方の前記通話装置に送信する座標変換手段と、
   前記相手方の通話装置から前記顔データを受信し、受信した前記相手方の顔データから前記相手方の顔モデルを構築する顔モデル構築手段と、
   前記通話者の両眼の三次元座標である視点位置に追従するように前記相手方の顔モデルから要素画像を生成し、生成した前記要素画像を前記三次元ディスプレイに表示する要素画像生成手段と、
   を備えることを特徴とする三次元ビデオ通話システム。
2. 少なくとも１個のインカメラ及び光線再生型の三次元ディスプレイを備える携帯端末と前記携帯端末に対応する演算装置との組である通話装置を通話者毎に備える三次元ビデオ通話システムであって、
   前記携帯端末は、
   前記インカメラで前記通話者を撮影したインカメラ画像が入力される画像入力手段と、
   前記インカメラ画像から前記通話者の顔領域を検出する顔領域検出手段と、
   前記通話者の両眼が含まれる顔パーツの二次元座標を前記通話者の顔領域画像から検出する顔パーツ検出手段と、を備え、
   前記演算装置は、
   前記顔パーツの二次元座標を三次元座標に変換し、前記通話者の顔領域画像と前記顔パーツの二次元座標及び三次元座標とを顔データとして相手方の前記通話装置に送信する座標変換手段と、
   前記相手方の通話装置から前記顔データを受信し、受信した前記相手方の顔データから前記相手方の顔モデルを構築する顔モデル構築手段と、
   前記通話者の両眼の三次元座標である視点位置に追従するように前記相手方の顔モデルから要素画像を生成し、生成した前記要素画像を前記三次元ディスプレイに表示する要素画像生成手段と、
   を備えることを特徴とする三次元ビデオ通話システム。
3. 少なくとも１個のインカメラ及び光線再生型の三次元ディスプレイを備える携帯端末である通話装置を通話者毎に備える三次元ビデオ通話システムであって、
   前記携帯端末は、
   前記インカメラで前記通話者を撮影したインカメラ画像が入力される画像入力手段と、
   前記インカメラ画像から前記通話者の顔領域を検出する顔領域検出手段と、
   前記通話者の両眼が含まれる顔パーツの二次元座標を前記通話者の顔領域画像から検出する顔パーツ検出手段と、
   前記顔パーツの二次元座標を三次元座標に変換し、前記通話者の顔領域画像と前記顔パーツの二次元座標及び三次元座標とを顔データとして相手方の前記通話装置に送信する座標変換手段と、
   前記相手方の通話装置から前記顔データを受信し、受信した前記相手方の顔データから前記相手方の顔モデルを構築する顔モデル構築手段と、
   前記通話者の両眼の三次元座標である視点位置に追従するように前記相手方の顔モデルから要素画像を生成し、生成した前記要素画像を前記三次元ディスプレイに表示する要素画像生成手段と、
   を備えることを特徴とする三次元ビデオ通話システム。
4. 前記顔モデル構築手段は、前記通話者の顔データから前記通話者の顔モデルを生成し、
   前記要素画像生成手段は、前記相手方及び前記通話者の顔モデルが含まれる要素画像を生成することを特徴とする請求項１から請求項３の何れか一項に記載の三次元ビデオ通話システム。
5. 前記光線再生型の三次元ディスプレイは、インテグラル方式又はレンチキュラー方式の三次元ディスプレイであることを特徴とする請求項１から請求項３の何れか一項に記載の三次元ビデオ通話システム。
6. 前記通話装置は、２台又は３台以上であることを特徴とする請求項１から請求項３の何れか一項に記載の三次元ビデオ通話システム。

Images