JP2024055596A

JP2024055596A - 端末装置

Info

Publication number: JP2024055596A
Application number: JP2022162659A
Authority: JP
Inventors: 航加来; 達朗堀; ホルヘペラエズ
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2022-10-07
Filing date: 2022-10-07
Publication date: 2024-04-18
Also published as: CN117857770A; US20240121359A1

Abstract

【課題】仮想の対面コミュニケーションにおけるリアリティを向上させる端末装置を提供する。【解決手段】通話システムにおいて、端末装置は、通信部と、画像を表示するとともに描画を受け付ける透過パネルと、前記透過パネルに重畳する表示部と、前記表示部付近に配置されユーザを撮像する撮像部と、前記通信部により通信を行う制御部と、を有する。制御部は、他の端末装置を用いる他のユーザの撮像画像に基づき当該他のユーザを表すモデル画像を表示するための情報と、当該他のユーザが当該他の端末装置の透過パネルに描画具により描画する描画画像の情報とを当該他の端末装置から受け、前記モデル画像を当該端末装置の前記表示部に、前記他のユーザの前記描画具を保持する手の手元画像と前記描画画像とを当該端末装置の前記透過パネルに表示させる。【選択図】図５Ｂ

Description

本開示は、端末装置に関する。

透過型のタッチパネルに画像等を表示し、ユーザに各種情報を出力するとともに各種情報の入力を受け付ける装置が知られている。かかる装置を、ネットワーク経由での映像通話を可能にするテレビ電話端末として用いる技術が提案されている。例えば、特許文献１には、大画面のホログラムスクリーンに映像光を投射し、フルカラー又はモノクロの動画又は静止画を映し出すとともに情報端末としての機能を有するテレビ電話装置が開示されている。

特開２００３－００５６１７号公報

透過型タッチパネルを有する端末装置を用いてユーザ同士が互いの撮像画像、描画等をやりとりしてコミュニケーションを行う技術において、コミュニケーションのリアリティを向上させる余地がある。

本開示は、透過型タッチパネルを用いたコミュニケーションにおけるリアリティの向上を可能にする、端末装置等を提供する。

本開示における端末装置は、通信部と、画像を表示するとともに描画を受け付ける透過パネルと、前記透過パネルに重畳する表示部と、前記表示部付近に配置されユーザを撮像する撮像部と、前記通信部により通信を行う制御部とを有する端末装置であって、前記制御部は、他の端末装置を用いる他のユーザの撮像画像に基づき当該他のユーザを表すモデル画像を表示するための情報と、当該他のユーザが当該他の端末装置の透過パネルに描画具により描画する描画画像の情報とを当該他の端末装置から受け、前記モデル画像を当該端末装置の前記表示部に、前記他のユーザの前記描画具を保持する手の手元画像と前記描画画像とを当該端末装置の前記透過パネルに表示させる。

本開示における端末装置等によれば、透過パネルを用いたコミュニケーションにおけるリアリティの向上が可能となる。

通話システムの構成例を示す図である。端末装置を使用するユーザの態様を示す図である。端末装置による表示の例を示す図である。端末装置による表示の例を示す図である。通話システムの動作例を示すシーケンス図である。端末装置の動作例を示すフローチャート図である。端末装置の動作例を示すフローチャート図である。端末装置による表示の例を示す図である。端末装置による表示の例を示す図である。

以下、実施の形態について説明する。

図１は、一実施形態における通話システム１の構成例を示す図である。通話システム１は、ネットワーク１１を介して互いに情報通信可能に接続される、サーバ装置１０と複数の端末装置１２を有する。通話システム１は、ユーザが端末装置１２を用いて画像、音声等を送受して互いに仮想の対面コミュニケーション（以下、仮想対面コミュニケーションという）を行うことを可能にするためのシステムである。

サーバ装置１０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１０は、情報通信可能に接続されて連携動作する二以上のサーバコンピュータにより構成されてもよい。サーバ装置１０は、仮想対面コミュニケーションの提供に必要な情報の送受及び情報処理を実行する。

端末装置１２は、通信機能と、画像、音声等の入出力機能を備えた情報処理装置であって、ユーザにより使用される。端末装置１２は、通信機能及び画像等の表示機能を備えた情報処理装置と、透過型タッチパネルとを備える。端末装置１２は、仮想対面コミュニケーション専用の装置であってもよいし、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、デジタルサイネージ等と、透過型タッチパネルとを組み合わせて構成されてもよい。

ネットワーク１１は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。

本実施形態において、端末装置１２は、他の端末装置１２を用いる他ユーザの撮像画像に基づき他のユーザを表すモデル画像を表示するための情報と、他ユーザが他の端末装置１２の透過型タッチパネルに描画具により描画する描画画像の情報とを他の端末装置１２から受け、モデル画像を自らの表示部に、描画具を保持する手の手元画像と描画画像を自らの透過型タッチパネルに表示させる。撮像画像を撮像する撮像部の位置及び画角に起因し、他ユーザの描画具を保持する手元が撮像画像に写らない場合であっても、手元画像を補うことで、表示されるモデル画像のリアリティ向上が可能となる。

サーバ装置１０と端末装置１２のそれぞれの構成について詳述する。

サーバ装置１０は、通信部１０１、記憶部１０２、制御部１０３、入力部１０５、及び出力部１０６を有する。これらの構成は、サーバ装置１０が二以上のサーバコンピュータで構成される場合には、二以上のコンピュータに適宜に配置される。

通信部１０１は、一以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部１０１は、サーバ装置１０の動作に用いられる情報を受信し、またサーバ装置１０の動作によって得られる情報を送信する。サーバ装置１０は、通信部１０１によりネットワーク１１に接続され、ネットワーク１１経由で端末装置１２と情報通信を行う。

記憶部１０２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static RAM）又はＤＲＡＭ（Dynamic RAM）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）である。記憶部１０２は、サーバ装置１０の動作に用いられる情報と、サーバ装置１０の動作によって得られた情報とを格納する。

制御部１０３は、一以上のプロセッサ、一以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用プロセッサ、又は特定の処理に特化したＧＰＵ（Graphics Processing Unit）等の専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１０３は、サーバ装置１０の各部を制御しながら、サーバ装置１０の動作に係る情報処理を実行する。

入力部１０５は、一以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチパネル、又は音声入力を受け付けるマイクロフォンである。入力部１０５は、サーバ装置１０の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部１０３に送る。

出力部１０６は、一以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro-Luminescence）ディスプレイである。出力部１０６は、サーバ装置１０の動作によって得られる情報を出力する。

サーバ装置１０の機能は、制御プログラムを、制御部１０３に含まれるプロセッサが実行することにより実現される。制御プログラムは、コンピュータをサーバ装置１０として機能させるためのプログラムである。また、サーバ装置１０の一部又は全ての機能が、制御部１０３に含まれる専用回路により実現されてもよい。また、制御プログラムは、サーバ装置１０に読取り可能な非一過性の記録・記憶媒体に格納され、サーバ装置１０が媒体から読み取ってもよい。

端末装置１２は、通信部１１１、記憶部１１２、制御部１１３、入出力部１１５、及び撮像部１１７を有する。

通信部１１１は、有線又は無線ＬＡＮ規格に対応する通信モジュール、ＬＴＥ、４Ｇ、５Ｇ等の移動体通信規格に対応するモジュール等を有する。端末装置１２は、通信部１１１により、近傍のルータ装置又は移動体通信の基地局を介してネットワーク１１に接続され、ネットワーク１１経由でサーバ装置１０等と情報通信を行う。

記憶部１１２は一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１１２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１１２は、制御部１１３の動作に用いられる情報と、制御部１１３の動作によって得られた情報とを格納する。

制御部１１３は、例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等の一以上の汎用プロセッサ、又は特定の処理に特化したＧＰＵ等の一以上の専用プロセッサを有する。あるいは、制御部１１３は、一以上の、ＦＰＧＡ、ＡＳＩＣ等の専用回路を有してもよい。制御部１１３は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、端末装置１２の動作を統括的に制御する。そして、制御部１１３は、通信部１１１を介してサーバ装置１０等と各種情報を送受し、本実施形態にかかる動作を実行する。

制御部１１３の機能は、制御部１１３に含まれるプロセッサが制御プログラムを実行することにより実現される。制御プログラムは、プロセッサを制御部１１３として機能させるためのプログラムである。また、制御部１１３の一部又は全ての機能が、制御部１１３に含まれる専用回路により実現されてもよい。また、制御プログラムは、端末装置１２に読取り可能な非一過性の記録・記憶媒体に格納され、端末装置１２が媒体から読み取ってもよい。

入出力部１１５は、透過型タッチパネル、ディスプレイ及び一以上の入力用及び出力用インタフェースを含む。入出力部１１５は、透過型タッチパネルに対する指、ポインティングデバイス等の接触位置の変位に基づき、描画画像の入力を検出し、検出した情報を制御部１１３へ送る。また、透過型タッチパネルは、透過型ディスプレイを含んで構成され、制御部１１３から送られる画像、ポインティングデバイス等の接触に対応する画像等の情報を表示する。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイであり、制御部１１３から送られる画像等の情報を表示する。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイスを含む。また、入力用インタフェースは、音声入力を受け付けるマイクロフォンを含む。さらに、入力用インタフェースは、画像コードをスキャンするスキャナ又はカメラ、ＩＣカードリーダを含んでもよい。出力用インタフェースは、例えば、スピーカを含む。入出力部１１５は、制御部１１３の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部１１３に送り、また、制御部１１３の動作によって得られる情報を出力する。

撮像部１１７は、可視光による被写体の撮像画像を撮像するカメラと、被写体までの距離を測定して距離画像を取得する測距センサとを含む。カメラは、例えば毎秒１５～３０フレームで被写体を撮像して連続した撮像画像からなる動画像を生成する。測距センサは、ＴｏＦ（Time Of Flight）カメラ、ＬｉＤＡＲ（Light Detection And Ranging）、ステレオカメラを含み、距離情報を含んだ被写体の距離画像を生成する。撮像部１１７は、撮像画像と距離画像とを制御部１１３へ送る。

図２は、入出力部１１５の透過型タッチパネル、ディスプレイ、及び撮像部１１７のカメラの配置の例を示す。透過型タッチパネル２１は、ディスプレイ２２とユーザ２３の間に位置する。ユーザ２３は、ディスプレイ２２に表示される他ユーザのモデル画像を、透過型タッチパネル２１を介して見ることができるとともに、透過型タッチパネル２１に描画具２４により画像を描画する。ディスプレイ２２をユーザ２３から透過型タッチパネル２１越しに設け、そこに他ユーザのモデル画像を表示することで、あたかも他ユーザと透過型タッチパネル２１を介して描画を行いつつコミュニケーションを行うといった、ユーザ体験のリアリティを向上させることが可能となる。かかる構成により、例えば、透過型タッチパネル２１に他ユーザのモデル画像を表示する場合と較べ、奥行きを伴ったリアリティを生起させることが可能となる。カメラ２０は、ディスプレイ２２の付近、例えば上方に設けられる。カメラ２０をディスプレイ２２に重畳する位置に設けると、ディスプレイ２２に表示される画像をカメラ２０が遮ったり、透過型タッチパネル２１に描画される描画画像がカメラ２０によるユーザ２３の撮像を遮ったりするおそれがある。その点、カメラ２０をディスプレイ２２の上方に設けることで、画像の表示又は撮像が遮られることなく、ユーザ２３を透過型タッチパネル２１越しに撮像することが可能となる。

上述のように構成される端末装置１２において、制御部１１３は、ユーザ２３の撮像画像と距離画像を撮像部１１７により取得する。また、制御部１１３は、ユーザ２３の発話音声を入出力部１１５のマイクロフォンで集音する。さらに、制御部１１３は、入出力部１１５の透過型タッチパネル２１にユーザ２３が描画する描画画像の情報を入出力部１１５から取得する。制御部１１３は、ユーザ２３のモデル画像を生成するためのユーザ２３の撮像画像と距離画像、ユーザ２３が描画した描画画像、及びユーザ２３の音声を再生するための音声情報を符号化して符号化情報を生成する。モデル画像は、例えば３Ｄモデル、２Ｄモデル等であるが、以下では３Ｄモデルを例とする。制御部１１３は、符号化に際して、撮像画像等に対して任意の加工処理（例えば解像度変更、トリミング）を行ってもよい。ここで、カメラ２０がディスプレイ２２の上方に位置することに起因して、カメラ２０の画角の範囲２６に描画具２４を保持するユーザ２３の手元２５が入らない場合がある。よって、制御部１１３は、３Ｄモデルから手元２５を省略する。また、制御部１１３は、ユーザ２３の撮像画像に基づき、ユーザ２３に対する描画画像の位置を導出する。例えば、カメラ２０と透過型タッチパネル２１との位置関係、カメラ２０に対するユーザ２３の位置関係、及び透過型タッチパネル２１における描画画像の位置に基づいて、ユーザ２３に対する描画画像の位置が導出される。そして、制御部１１３は、導出した位置に対応するように、ユーザ２３の３Ｄモデルに対し描画画像を表示する位置を決定する。かかる位置の情報も、符号化情報に含まれる。制御部１１３は、符号化情報を通信部１１１によりサーバ装置１０を介して他の端末装置１２へ送る。

また、制御部１１３は、他の端末装置１２からサーバ装置１０を介して送られる符号化情報を、通信部１１１により受ける。制御部１１３は、他の端末装置１２から受けた符号化情報を復号すると、復号された情報を用いて、他の端末装置１２を用いる他ユーザを表す３Ｄモデルを生成する。３Ｄモデル生成に際し、制御部１１３は、他ユーザの距離画像を用いてポリゴンモデルを生成し、他ユーザの撮像画像を用いたテクスチャマッピングをポリゴンモデルに施すことにより、他ユーザの３Ｄモデルを生成する。ただし、３Ｄモデルの生成には、ここに示す例に限られず任意の手法が採用可能である。制御部１１３は、３Ｄモデルを含んだ仮想空間を仮想の視点から見たレンダリング画像を生成する。仮想の視点は、例えば、ユーザ２３の目の位置である。制御部１１３は、ユーザ２３の撮像画像から、任意の基準に対する目の空間座標を導出し、仮想空間内の空間座標に対応付ける。任意の基準は、例えばカメラ２０の位置である。他ユーザの３Ｄモデルは、仮想の視点に対し例えばアイコンタクトを取りうる位置、角度に配置される。このとき、他ユーザの手元２５のモデルが省略されている。制御部１１３は、レンダリング画像をディスプレイ２２に表示させるとともに、描画具を保持する手の手元画像と描画画像とを透過型タッチパネル２１に表示させる。手元画像は、描画具の画像を含んだ描画具を保持する手元の画像であって、予め記憶部１１２に格納されている。制御部１１３は、表示・出力部１１６により、表示用画像を表示するとともに他ユーザの音声情報に基づく他ユーザの発話音声を出力する。

図３Ａは、他ユーザの３Ｄモデルが表示される例を示す。透過型タッチパネル２１の後方に位置するディスプレイ２２に、他ユーザの３Ｄモデル３０が表示される。一方、透過型タッチパネル２１には、手元画像３３と描画画像３２が表示される。図３Ｂに拡大して示すように、手元画像３３は、描画具と描画具を保持した手首から先の部分を、描画具の先端側又は手の平側から観察した態様を示す画像である。手元画像３３と描画画像３２が手前の透過型タッチパネル２１に表示されることで、他ユーザの３Ｄモデル３０に、更なる立体感が付与される。よって、表示される３Ｄモデルのリアリティ向上が可能となる。

図４は、通話システム１の動作手順を説明するためのシーケンス図である。このシーケンス図は、サーバ装置１０及び複数の端末装置１２（それぞれを区別する際は、便宜上、端末装置１２Ａ及び１２Ｂという）の連係動作にかかる手順を示す。この手順は、端末装置１２Ａが端末装置１２Ｂを呼び出すときの手順である。複数の端末装置１２Ｂが呼び出される場合には、ここに示す端末装置１２Ｂに係る動作手順は複数の端末装置１２Ｂのそれぞれにより、又は複数の端末装置１２Ｂのそれぞれとサーバ装置１０とにより、実行される。

図４におけるサーバ装置１０及び端末装置１２の各種情報処理に係るステップは、それぞれの制御部１０３及び１１３により実行される。また、サーバ装置１０及び端末装置１２の各種情報の送受に係るステップは、それぞれの制御部１０３及び１１３が、それぞれ通信部１０１、及び１１１を介して互いに情報を送受することにより実行される。サーバ装置１０及び端末装置１２では、それぞれ制御部１０３及び１１３が、それぞれ送受する情報を記憶部１０２及び１１２及びに適宜格納する。さらに、端末装置１２の制御部１１３は、入出力部１１５により各種情報の入力を受け付け、表示・出力部１１６により各種情報を出力する。

ステップＳ４００において、端末装置１２Ａはそのユーザからの設定情報の入力を受け付ける。設定情報は、通話のスケジュール、通話相手のリスト等を含む。リストは、通話相手のユーザ名と各ユーザのメールアドレスとを含む。そして、ステップＳ４０１において、端末装置１２Ａは、設定情報をサーバ装置１０へ送る。サーバ装置１０は、端末装置１２Ａから送られる情報を受ける。例えば、端末装置１２Ａは、サーバ装置１０から設定情報の入力画面を取得し、入力画面をユーザに表示する。そして、ユーザが入力画面に設定情報を入力することで、設定情報がサーバ装置１０へ送られる。

ステップＳ４０２において、サーバ装置１０は、設定情報に基づいて、通話相手を特定する。制御部１０３は、設定情報と通話相手の情報とを対応付けて記憶部１０２に格納する。

ステップＳ４０３において、サーバ装置１０は、端末装置１２Ｂへ認証情報を送る。認証情報は、端末装置１２Ｂを用いる通話相手を特定して認証するためのＩＤ、パスコード等の情報である。これらの情報は、例えば、電子メールに添付されて送られる。端末装置１２Ｂは、サーバ装置１０から送られる情報を受ける。

ステップＳ４０５において、端末装置１２Ｂは、サーバ装置１０から受けた認証情報と認証申請の情報を、サーバ装置１０へ送る。通話相手は、端末装置１２Ｂを操作して、サーバ装置１０から送られた認証情報を用いて、認証を申請する。例えば、端末装置１２Ｂは、サーバ装置１０が提供する通話のためのサイトにアクセスして、認証情報と認証申請のための情報の入力画面を取得し、入力画面を通話相手に表示する。そして、端末装置１２Ｂは、通話相手が入力する情報を受け付けてサーバ装置１０へ送る。

ステップＳ４０６において、サーバ装置１０は、通話相手の認証を行う。記憶部１０２には、端末装置１２Ｂの識別情報と通話相手の識別情報が対応付けて格納される。

ステップＳ４０８及びＳ４０９において、サーバ装置１０は、それぞれ端末装置１２Ａ及び１２Ｂへ、通話の開始通知を送る。端末装置１２Ａ及び１２Ｂはそれぞれサーバ装置１０から送られる情報を受けると、それぞれユーザの撮像と発話音声の集音を開始する。

ステップＳ４１０において、サーバ装置１０を介して端末装置１２Ａ及び１２Ｂによりユーザ間の通話を含む仮想対面コミュニケーションが実行される。端末装置１２Ａ及び１２Ｂは、それぞれのユーザを表す３Ｄモデルを表示するための情報、描画画像、及び発話音声の情報を、サーバ装置１０を介して互いに送受する。また、端末装置１２Ａ及び１２Ｂは、それぞれのユーザに、他のユーザを表す３Ｄモデルを含む画像と他ユーザの発話音声とを出力する。

図５Ａ、５Ｂは、仮想対面コミュニケーションの実行に係る端末装置１２の動作手順を説明するフローチャート図である。ここに示す手順は、端末装置１２Ａ及び１２Ｂに共通の手順であり、端末装置１２Ａ及び１２Ｂを区別せずに説明する。

図５Ａは、各端末装置１２が、その端末装置１２を用いる自ユーザの３Ｄモデルを表示するための情報を送出するときの、制御部１１３の動作手順に関する。

ステップＳ５０２において、制御部１１３は、可視光画像、距離画像の取得、描画画像の取得、及び音声の集音を行う。制御部１１３は、撮像部１１７により、任意に設定されるフレームレートでの自ユーザの可視光画像の撮像及び距離画像の取得を行う。また、制御部１１３は、入出力部１１５により、描画画像を取得する。さらに、制御部１１３は、入出力部１１５により自ユーザの発話の音声を集音する。

ステップＳ５０３において、制御部１１３は、手元画像を決定する。制御部１１３は、撮像画像に対しパターンマッチングを含む任意の画像処理を行い、自ユーザの属性を推定する。属性は、利き手、性別、年齢等である。利き手は、すなわち、描画具を持つ手の左右の区別である。記憶部１１２には、予め、左手及び右手の手元画像が格納される。手元画像は、性別毎又は年齢層毎の手元画像を含む。かかる手元画像は、性別又は年齢層が異なるモデルの手の画像に基づき予め作成される。制御部１１３は、推定した属性に対応する手元画像を選択し決定する。あるいは、制御部１１３は、過去の撮像画像から、手元画像を抽出してもよい。自ユーザの描画動作において、カメラ２０の画角の範囲に描画具とそれを保持する手の部分が含まれることで、撮像画像に描画具を保持する手の画像が含まれる場合がある。かかる撮像画像を制御部１１３は検出し、撮像画像から手元画像を抽出してもよい。

ステップＳ５０４において、制御部１１３は、撮像画像、距離画像、手元画像、描画画像及び音声情報を符号化し、符号化情報を生成する。

ステップＳ５０６において、制御部１１３は、通信部１１１により符号化情報をパケット化し、他の端末装置１２に向けてサーバ装置１０へ送出する。

制御部１１３は、撮像、集音を中断するための、又は仮想対面コミュニケーションを退出するための、自ユーザによる操作に対応して入力される情報を取得すると（Ｓ５０８のＹｅｓ）、図５Ａの処理手順を終了し、中断又は退出のための操作に対応する情報を取得しない間は（Ｓ５０８のＮｏ）ステップＳ５０２～Ｓ５０６を実行して、自ユーザを表す３Ｄモデルを表示するための情報、描画画像、及び音声を出力するための情報を他の端末装置１２に向けてサーバ装置へ送出する。なお、ステップＳ５０３における手元画像の決定は、ステップＳ５０２～Ｓ５０６の処理サイクル毎に実行されてもよいし、数サイクル毎等、任意のタイミングで実行されてもよい。

図５Ｂは、端末装置１２が他ユーザの３Ｄモデルの画像、手元画像、描画画像、及び音声を出力するときの、制御部１１３の動作手順に関する。制御部１１３は、他の端末装置１２が図５Ａの手順を実行することで送出するパケットを、サーバ装置１０を介して受けると、ステップＳ５１０～Ｓ５１３を実行する。

ステップＳ５１０において、制御部１１３は、他の端末装置１２から受けたパケットに含まれる符号化情報を復号して撮像画像、距離画像、手元画像、描画画像及び音声情報を取得する。

ステップＳ５１１において、制御部１１３は、他ユーザの３Ｄモデルを表示するときの手元画像を設定する。制御部１１３は、他の端末装置１２から送られた手元画像を表示するための画像として設定する。

ステップＳ５１２において、制御部１１３は、撮像画像及び距離画像に基づいて、他の端末装置１２の自ユーザを表す３Ｄモデルを生成する。複数の他の端末装置１２から情報を受ける場合、制御部１１３は、他の端末装置１２それぞれについてステップＳ５１０～Ｓ５１２を実行し、各自ユーザの３Ｄモデルを生成する。

ステップＳ５１３において、制御部１１３は、仮想空間に他ユーザを表す３Ｄモデルを配置する。記憶部１１２には、予め、仮想空間の座標情報と、他ユーザ毎の、例えば認証された順番に応じて３Ｄモデルを配置すべき座標の情報が格納される。制御部１１３は、仮想空間内の座標に、生成した３Ｄモデルを配置する。

ステップＳ５１４において、制御部１１３は、表示用画像を生成する。制御部１１３は、仮想空間に配置した３Ｄモデルを仮想の視点から撮像したレンダリング画像を生成する。

ステップＳ５１６において、制御部１１３は、入出力部１１５により表示用画像、手元画像、及び描画画像を表示するとともに音声を出力する。制御部１１３は、表示用画像をディスプレイ２２に、手元画像と描画画像とを透過型タッチパネル２１に表示する。この時制御部は、表示用画像に含まれる３Ｄモデルの手元の位置に、手元画像の表示位置を対応させる。また、制御部１１３は、手元画像の角度を、３Ｄモデルの前腕部の角度に合致させるように回転させる。例えば、図６Ａに示すように、制御部１１３は、手元画像３３の水平方向に対する傾きの角度θを、３Ｄモデルの前腕部６０の水平方向に対する角度θと一致させる。また、図６Ｂに示すように、他ユーザの動作に伴い前腕部６０の傾きの角度θが異なる角度θ´に変化した場合には、制御部１１３は、手元画像３３の水平方向に対する傾きが角度θ´になるように手元画像３３を回転させる。そうすることで、自ユーザがより自然な３Ｄモデルと手元画像とを視認することが可能となる。

制御部１１３がステップＳ５１０～Ｓ５１６を繰り返し実行することで、自ユーザは、他ユーザの３Ｄモデルと、その３Ｄモデルが描画する描画画像を含んだ動画を見ながら、他ユーザの発話の音声を聞くことができる。なお、ステップＳ５１１における手元画像の設定は、ステップＳ５１０～Ｓ５１６の処理サイクル毎に実行されてもよいし、数サイクル毎等、任意のタイミングで実行されてもよい。

変形例においては、図５ＡのステップＳ５０３で手元画像が決定される代わりに、図５ＢのステップＳ５１１において手元画像が決定されて設定される。例えば、制御部１１３は、他の端末装置１２においてステップＳ５０３で推定された他ユーザの属性を取得し、ステップＳ５１２において、他ユーザの属性に合致する手元画像を記憶部１１２に予め格納される手元画像のなかから抽出することで手元画像を決定する。そして、制御部１１３は、決定した手元画像を設定することが可能である。

上述のように、本実施形態によれば、透過型タッチパネルを用いたコミュニケーションにおけるリアリティの向上が可能になる。

上述の例では、端末装置１２が他の端末装置１２から他ユーザの３Ｄモデルを生成するための情報、すなわち、撮像画像、距離画像等を受けてから、３Ｄモデルを生成して仮想空間に３Ｄモデルを配置したレンダリング画像を生成した。しかしながら、３Ｄモデルの生成、レンダリング画像の生成等の処理は、適宜、端末装置１２間で分散してもよい。例えば、他の端末装置１２にて撮像画像等に基づき他ユーザの３Ｄモデルが生成され、３Ｄモデルの情報を受けた端末装置１２が、その３Ｄモデルを用いてレンダリング画像を生成してもよい。

上述の例では、モデル画像が３Ｄモデルである場合について説明した。しかしながら、モデル画像は２Ｄモデルであってもよい。ディスプレイに他ユーザの２Ｄモデルが表示され、その手前の透過型タッチパネルに他ユーザの手元画像が表示されるという立体的な構造により、比較的簡易な構成で奥行きの表現が可能となる。

上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１通話システム
１０サーバ装置
１１ネットワーク
１２端末装置
１０１、１１１通信部
１０２、１１２記憶部
１０３、１１３制御部
１０５入力部
１０６出力部
１１５入出力部
１１７撮像部

Claims

通信部と、
画像を表示するとともに描画を受け付ける透過パネルと、
前記透過パネルに重畳する表示部と、
前記表示部付近に配置されユーザを撮像する撮像部と、
前記通信部により通信を行う制御部とを有する端末装置において、
前記制御部は、他の端末装置を用いる他のユーザの撮像画像に基づき当該他のユーザを表すモデル画像を表示するための情報と、当該他のユーザが当該他の端末装置の透過パネルに描画具により描画する描画画像の情報とを当該他の端末装置から受け、前記モデル画像を当該端末装置の前記表示部に、前記他のユーザの前記描画具を保持する手の手元画像と前記描画画像とを当該端末装置の前記透過パネルに表示させる、
端末装置。
請求項１において、
前記制御部は、前記手元画像を前記モデル画像の腕の角度に対応させる、
端末装置。
請求項１において、
前記制御部は、前記モデル画像における前記他のユーザの利き手に対応する前記手元画像を用いる、
端末装置。
請求項１において、
前記制御部は、前記モデル画像における前記他のユーザの属性に対応する前記手元画像を用いる、
端末装置。
請求項１において、
前記制御部は、前記撮像画像から抽出される前記手元画像を前記他の端末装置から受け、当該手元画像を用いる、
端末装置。