JPWO2021220494A5

JPWO2021220494A5 -

Info

Publication number: JPWO2021220494A5
Application number: JP2022518567A
Authority: JP
Filing date: 2020-04-30
Publication date: 2023-02-22

Claims

通信回線を介して複数で相互接続する通信端末装置であって、
自装置を用いる自ユーザの声を含む音声を取得する音声取得部と、
所定のユーザ空間上にある人物の三次元データを形成可能にする視覚情報を取得する視覚情報取得部と、
前記ユーザ空間の視覚情報に基づく画像伝達情報と、前記音声に基づく音声伝達情報とを他装置に伝達する情報伝達部と、
前記他装置から伝達された画像伝達情報に基づく、前記自装置のユーザ空間と前記他装置のユーザ空間とを配置した共有仮想空間上にある人物の三次元データを、前記共有仮想空間に対して相対位置が固定された表示面に投影するように射影変換をして生成される、前記自ユーザの視点位置から前記表示面を介して共有仮想空間上の前記人物を見たときのような見え方となる表示画像を、前記表示面に表示する画像表示部と、
前記他装置から伝達された音声伝達情報に基づいて音声を出力する音声出力部と、
を有する通信端末装置。
継続的に前記ユーザ空間の視覚情報に基づいて前記自ユーザの視点位置を特定する人物捕捉部を更に有し、
前記画像表示部は、前記特定される視点位置を追跡して前記表示画像を生成し、前記表示面に表示する、
請求項１に記載の通信端末装置。
前記人物捕捉部は、前記ユーザ空間の視覚情報に基づいて、前記自ユーザを検出し、
前記情報伝達部は、前記自ユーザが検出されると、前記画像伝達情報として、前記自ユーザの顔部分を表す情報を前記他装置に送信し、
前記画像表示部は、前記他装置から受信した顔部分を表す情報に基づく顔画像を含む画像を前記表示面に表示する、
請求項２に記載の通信端末装置。
前記情報伝達部は、前記自ユーザが検出されると、前記画像伝達情報として、更に、前記自ユーザの骨格を表す情報を前記他装置に送信し、
前記画像表示部は、前記他装置から受信した顔部分を表す情報に基づく顔画像と、前記他装置から受信した骨格を表す情報に基づく画像とを含む前記共有仮想空間の画像を前記表示面に表示する、
請求項３に記載の通信端末装置。
前記画像表示部は、前記共有仮想空間の人物を加工処理が可能な点群および／もしくはポリゴンメッシュにより表示する、
請求項１に記載の通信端末装置。
前記音声出力部は、前記他装置から伝達された音声伝達情報に基づいて、前記共有仮想空間における前記他装置のユーザ空間が配置された方向から聞こえる音声を再生する、
請求項１に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし、
前記視覚情報取得部は、それぞれの撮像方向の視覚情報を取得する複数の撮像器を有し、前記複数の撮像器は、それぞれが、互いに隔離して前記ユーザ定位置との相対位置を固定し、前記ユーザ空間の少なくとも一部が撮像される方向に前記撮像方向を向けて配置され、
前記情報伝達部は、前記他装置の複数の撮像器のうち、前記撮像器の撮像方向と、前記他装置のユーザ定位置と前記自装置のユーザ定位置を結ぶ直線との相対角度に基づいて選択した撮像器のみについて、当該撮像器で取得された視覚情報に基づく画像伝達情報を、前記他装置から取得する、
請求項１に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし、
前記視覚情報取得部は、前記ユーザ定位置から所定の方向をユーザ定方向とし、前記ユーザ定方向の右側に配置された右側撮像器と、前記ユーザ定方向の左側に配置された左側撮像器とを含み、
前記情報伝達部は、前記共有仮想空間において前記自装置のユーザ定位置から前記ユーザ定方向の右側に前記他装置のユーザ定位置が配置される場合には前記他装置の右側撮像器による情報を含み前記他装置の左側撮像器による情報を含まない画像伝達情報を前記他装置から取得し、前記共有仮想空間において前記自装置のユーザ定位置から前記ユーザ定方向の左側に前記他装置のユーザ定位置が配置される場合には前記他装置の左側撮像器による情報を含み前記他装置の右側撮像器による情報を含まない画像伝達情報を前記他装置から受信する、
請求項１に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし前記ユーザ定位置から所定の方向をユーザ定方向とし、
前記画像表示部は、互いに並んだ第１線と第２線のそれぞれの上に前記自装置および前記他装置のうち少なくとも１つの装置のユーザ定位置を配置し、前記第１線上にユーザ定位置が配置された装置のユーザ定方向を前記第２線に向かう方向とし、前記第２線上にユーザ定位置が配置された装置のユーザ定方向を前記第１線に向かう方向とするように、前記共有仮想空間を形成する、
請求項１に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし前記ユーザ定位置から所定の方向をユーザ定方向とし、
前記画像表示部は、前記自装置および前記他装置のユーザ定位置をリングもしくは多角形状に配置し、前記自装置および前記他装置のユーザ定方向を前記リングもしくは多角形の内側に向かう方向とするように、前記共有仮想空間を形成する、
請求項１に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし前記ユーザ定位置から所定の方向をユーザ定方向とし、
前記画像表示部は、所定の線上に前記自装置および前記他装置のユーザ定位置を配置し、前記自装置および前記他装置のユーザ定方向を前記線に対して同一方向とするように、前記共有仮想空間を形成する、
請求項１に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし前記ユーザ定位置から所定の方向をユーザ定方向とし、
前記画像表示部は、前記ユーザ定位置から見て前記ユーザ定方向に配置された矩形で平面の表示面を有する正面表示器と、前記ユーザ定位置から見て前記ユーザ定方向の右側に配置された矩形で平面の表示面を有する右側表示器と、前記ユーザ定位置から見て前記ユーザ定方向の左側に配置された矩形で平面の表示面を有する左側表示器とを有し、前記右側表示器の表示面は、前記正面表示器の表示面の右辺に近接し、前記左側表示器の表示面は、前記正面表示器の表示面の左辺と近接する、
請求項１に記載の通信端末装置。
前記画像表示部は、前記正面表示器、前記左側表示器、前記右側表示器からなる３つの表示器の底辺に近接して配置され矩形の上面に表示面を有する下側表示器を更に有する、および／または、前記正面表示器、前記左側表示器、前記右側表示器からなる３つの表示器の天井側の辺に近接して配置され矩形の下面に表示面を有する上側表示器を更に有する、
請求項１２に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし、
前記画像表示部は、前記ユーザ定位置から見て所定の方向であるユーザ定方向に配置された矩形で平面の表示面を有する正面表示器と、前記正面表示器の底辺に近接して配置され矩形の上面に表示面を有する下側表示器を更に有する、および／または、前記正面表示器の上辺に近接して配置され矩形の下面に表示面を有する上側表示器を更に有する、
請求項１に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし、
前記画像表示部は、前記表示面が前記ユーザ定位置を水平方向に囲む内面である、
請求項１に記載の通信端末装置。
前記画像表示部は、前記ユーザ定位置を水平方向に囲む内面である表示面を有する表示器と、前記表示器の底辺に近接して配置され上面に表示面を有する下側表示器を更に有する、および／または、前記表示器の上辺に近接して配置され下面に表示面を有する上側表示器を更に有する、
請求項１５に記載の通信端末装置。
前記ユーザ空間における所定の位置をユーザ定位置とし、
前記画像表示部は、前記表示面の少なくとも一部の外縁近傍が前記ユーザ定位置に向かって湾曲している、
請求項１に記載の通信端末装置。
前記画像表示部は、前記表示面の少なくとも一部の外縁近傍が前記ユーザ定位置に向かって湾曲している表示面を有する表示器と、前記表示器の底辺に近接して配置され上面に表示面を有する下側表示器を更に有する、および／または、前記表示器の上辺に近接して配置され下面に表示面を有する上側表示器を更に有する、
請求項１７に記載の通信端末装置。
前記画像表示部は、前記表示面が柱形状の外周面である、
請求項１に記載の通信端末装置。
前記自装置に対応するオブジェクトと前記他装置に対応するオブジェクトを移動可能に配置することができる画面を表示し、前記画面に対する前記オブジェクトの配置により、前記共有仮想空間に対する前記自装置および前記他装置のユーザ空間の配置の指定を受け付ける配置指定受付部を更に有する、
請求項１に記載の通信端末装置。
前記音声取得部と前記視覚情報取得部と前記情報伝達部と前記画像表示部と前記音声出力部とが筐体に内蔵され、前記視覚情報取得部の撮像器が前記筐体の所定の位置に配設され、平面の表示面を備える少なくとも１つ以上の表示器に接続され前記画像表示部による画像のデータを前記表示器に出力する少なくとも１つ以上の外部出力端子が前記筐体に設けられ、
前記画像表示部は、前記表示面のサイズと前記筐体に対する前記表示面の相対位置および相対姿勢の指定を受け、前記指定に基づいて、前期共有仮想空間上にある人物の三次元データを前記表示面に投影することにより、前記自ユーザの視点位置から前記表示面を介して共有仮想空間上の前記人物を見たときのような見え方となる表示画像を生成し、前記外部出力端子から出力する、
請求項１に記載の通信端末装置。
前記情報伝達部は、前記画像伝達情報に含まれている人物の該画像伝達情報に含まれていない部分の情報を補完する、
請求項１に記載の通信端末装置。
外部接続端子を更に有し、
前記音声取得部、前記視覚情報取得部、人物捕捉部、前記情報伝達部、前記画像表示部、前記音声出力部の少なくともひとつに対する制御を受け付けるための制御情報を前記外部接続端子から入力する、
請求項１に記載の通信端末装置。
前記人物捕捉部は、前記自ユーザが所定の動作を行ったことを検知し、
前記音声取得部、前記視覚情報取得部、前記情報伝達部、前記画像表示部、前記音声出力部の少なくともひとつが前記動作に対応する処理を実行する、
請求項２に記載の通信端末装置。
前記人物捕捉部は、前記自ユーザが前記共有仮想空間上の物体に手をかざす第１動作と、前記物体に向けた手を握って移動させる第２動作とを検知し、
前記画像表示部は、前記第１動作が検知された後に前記第２動作が検知されたら前記物体を移動させ、前記第１動作が検知されずに前記第２動作が検知されても前記物体を移動させない、
請求項２に記載の通信端末装置。
前記画像表示部は、前記画像を前記表示面に表示する表示装置と、前記ユーザが着用する三次元眼鏡装置とを有し、
前記表示装置は、前記視点位置に応じて、視差を有する左眼用画像および右眼用画像を生成し、前記表示面に表示し、
前記三次元眼鏡装置は、前記左眼用画像を前記自ユーザの左眼に見せ、前記右眼用画像を前記自ユーザの右眼に見せる、
請求項１に記載の通信端末装置。
前記人物捕捉部は、所望の心理状態の指定を受けると、前記視覚情報における前記自ユーザの顔部分を前記心理状態を表す表情に加工し、
前記情報伝達部は、前記自ユーザの顔部分が加工された視覚情報に基づく画像伝達情報を他装置に伝達する、
請求項２に記載の通信端末装置。
通信回線を介して複数で相互接続する通信端末装置による通信方法であって、
前記通信端末装置が、
自装置を用いる自ユーザの声を含む音声を取得し、
所定のユーザ空間上にある人物の三次元データを形成可能にする視覚情報を取得し、
前記ユーザ空間の視覚情報に基づく画像伝達情報と、前記音声に基づく音声伝達情報とを他装置に伝達し、
前記他装置から伝達された画像伝達情報に基づく、前記自装置のユーザ空間と前記他装置のユーザ空間とを配置した共有仮想空間上にある人物の三次元データを、前記共有仮想空間に対して相対位置が固定された表示面に投影するように射影変換をして生成される、前記自ユーザの視点位置から前記表示面を介して共有仮想空間上の前記人物を見たときのような見え方となる表示画像を、前記表示面に表示し、
前記他装置から伝達された音声伝達情報に基づいて音声を出力する、
通信方法。
コンピュータを通信回線を介して複数で相互接続する通信端末装置の制御装置として動作させるためのソフトウェアプログラムであって、
自装置を用いる自ユーザの声を含む音声を取得し、
所定のユーザ空間上にある人物の三次元データを形成可能にする視覚情報を取得し、
前記ユーザ空間の視覚情報に基づく画像伝達情報と、前記音声に基づく音声伝達情報とを他装置に伝達し、
前記他装置から伝達された画像伝達情報に基づく、前記自装置のユーザ空間と前記他装置のユーザ空間とを配置した共有仮想空間上にある人物の三次元データを、前記共有仮想空間に対して相対位置が固定された表示面に投影するように射影変換をして生成される、前記自ユーザの視点位置から前記表示面を介して共有仮想空間上の前記人物を見たときのような見え方となる表示画像を、前記表示面に表示し、
前記他装置から伝達された音声伝達情報に基づいて音声を出力する、
手順をコンピュータに実行させるためのソフトウェアプログラム。