JPH11252523A - 仮想空間画像の生成装置および仮想空間システム - Google Patents

Abstract

(57)【要約】 【課題】 ユーザの周囲状況を実際の位置関係を保ちな
がら仮想空間に表示して会話が展開するよう支援する装
置及びシステムを実現する。 【解決手段】 各ユーザは、画像入力部３７で撮影した
画像、カメラの光軸方向の情報、ユーザとの相対位置の
情報及び自動焦点調節装置からの焦点距離情報を信号送
信部４２によりサーバ４１に送る。サーバ４１は、アク
セスしたユーザ全員のデータを処理し、各ユーザに配信
する。各ユーザは、これを信号受信部４３で受信し、演
算処理部４４で仮想空間中の表示位置と表示サイズを計
算し、これを画像合成部４５で仮想空間に表示して仮想
画像を合成、構築し、この仮想画像を画像表示部４６，
４７に表示する。これにより、各ユーザは、他のユーザ
に関して背景画像等の実空間画像とユーザとの位置関係
や、被写体の大きさを臨場感をもって知ることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、通信を介して参加
したユーザを３次元コンピュータグラフィックスで表示
されるアバタ（化身）として表示し、ユーザ相互のコミ
ュニケーションを行う多人数参加型の仮想空間システム
に関し、ユーザの実空間での状況を仮想空間中の他ユー
ザに伝達する技術に関するものである。

【０００２】

【従来の技術】３次元コンピュータグラフィックスを利
用して、多人数参加型の仮想環境社会と呼ばれる空間を
提供しようとするシステムがある。この中でユーザはア
バタと呼ばれる化身を操り、仮想世界を動き回り、他の
ユーザと音声や文字によってコミュニケーションをする
ことができる。

【０００３】このようなシステムに加えて、ビデオカメ
ラで撮影された顔画像をアバタの頭部に貼り付けること
によって相手の顔を表示し、仮想環境社会におけるコミ
ュニケーションを支援するシステムもある。

【０００４】

【発明が解決しようとする課題】従来の多人数参加型の
仮想空間システムで個人から発信される情報は、音声や
文字によって伝えられる言語や顔画像によって伝えられ
る表情しかなく、実際の対面コミュニケーションと比較
して伝えられる情報量が少なかった。そのため、自然で
豊かな会話をするために重要な役割を果たすユーザの置
かれている状況が伝わらないために会話の展開が阻害さ
れていた。

【０００５】本発明は、前記の問題を解決するために、
ユーザの周囲状況を実際の位置関係を保ちながら仮想空
間に表示してコミュニケーションが良好に展開するよう
に支援する装置およびシステムを実現することを課題と
する。

【０００６】

【課題を解決するための手段】前記の課題を解決するた
めに、本発明の仮想空間画像の生成装置は、自動焦点調
節装置を備えるビデオカメラ、前記ビデオカメラに固定
され前記ビデオカメラとユーザとの相対位置と前記ビデ
オカメラの光軸方向を検出する位置センサ、および前記
ビデオカメラを支持し該ビデオカメラの光軸を任意の方
向に向ける電動雲台で構成される画像入力部と、前記画
像入力部を頭部に固定する固定部と、前記画像入力部の
前記位置センサの出力信号、前記自動焦点調節装置の検
出した焦点距離情報、および前記ビデオカメラの出力画
像信号を送信する信号送信部と、他ユーザが送信した位
置センサの出力信号、他ユーザの自動焦点調節装置が検
出した焦点距離情報、およびビデオカメラの出力画像信
号を受信する信号受信部と、前記信号受信部が受信した
他ユーザのビデオカメラの光軸方向を示す位置センサ出
力信号および他ユーザの自動焦点調節装置が検出した焦
点距離情報に従い、受信したビデオカメラの画像の仮想
空間中での表示位置と表示サイズを計算する演算処理部
と、前記演算処理部で計算した表示位置と表示サイズに
従い前記ビデオカメラの画像を仮想空間中に表示して仮
想画像を合成し構築する仮想画像合成部と、前記合成し
構築した仮想画像の表示を行う画像表示部と、を有する
ことを特徴とする。

【０００７】また、上記において、演算処理部は、前記
受信したビデオカメラの画像の仮想空間中での表示位置
と表示サイズを計算する際、前記ビデオカメラの撮影時
の光軸方向、該光軸周りの回転角および焦点距離情報を
もとに仮想空間中でのベクトルを求め、該ベクトルに垂
直な平面上での該ベクトルの終点を前記画像の中心の表
示位置とし、該焦点距離情報と前記ビデオカメラの画角
に応じた前記平面上のウインドウを前記表示サイズと
し、前記光軸周りの回転角に合わせて前記ウインドウを
傾けた位置を該ウインドウの表示位置として計算するも
のであることを特徴とする。

【０００８】また、前記の課題を解決するために、本発
明の仮想空間システムは、前記の仮想空間画像の生成装
置を複数有し、前記仮想空間画像の生成装置の信号送信
部から送信された位置センサの出力信号、自動焦点調節
装置の検出した焦点距離情報、およびビデオカメラの出
力画像信号を、アクセスしている前記仮想空間画像の生
成装置の信号受信部に対して配信するサーバを有するこ
とを特徴とする。

【０００９】本発明では、ユーザの周囲の被写体をビデ
オカメラで撮影した実空間画像を、ユーザと被写体との
位置関係を保ちながら仮想空間に表示することにより、
会話等の展開を支援する。

【００１０】本発明によれば、ビデオカメラに取り付け
られた位置センサによって計測されるビデオカメラの光
軸方向とビデオカメラの自動焦点調節機能によって計測
される焦点距離情報は、それぞれ、ユーザの頭部から主
たる被写体に向けた方向と、ユーザの頭部から主たる被
写体までの距離を表すので、位置センサの出力信号と焦
点距離情報を用いれば、ユーザの頭部と主たる被写体の
位置関係を特定することができる。

【００１１】そして、ビデオカメラによって撮影された
画像を仮想空間中に表示する際に、仮想空間中のユーザ
の位置であるアバタの頭部と画像の表示位置の関係を、
画像を撮影した際のユーザ頭部と主たる被写体との位置
関係と同じくすることで、ユーザの背景等の画像を、実
空間におけるユーザと被写体の位置関係を保ちながら、
仮想空間に表示することができる。

【００１２】また、ビデオカメラの画角と主たる被写体
までの距離情報から仮想空間中に表示する画像の大きさ
を決定することで、ユーザは表示された画像を通じて被
写体の大きさを知ることができる。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００１４】はじめに、図１、図２、図３、図４により
本発明の一実施形態例による装置およびシステムの構成
について説明する。

【００１５】図１、図２、図３により画像入力部の説明
を行う。

【００１６】図１において、１１は画像を撮影するビデ
オカメラ（以下、単にカメラと略す）である。これは焦
点を自動に調節するための自動焦点調節機能を備え、焦
点位置は信号として取り出すことができる。焦点は撮影
される主たる被写体に自動的に合わされるので焦点位置
は主たる被写体とカメラとの距離を表す。１２はカメラ
に固定されたカメラの光軸方向とカメラとユーザとの相
対位置を検知するための位置センサである。

【００１７】図２において、位置センサの基準位置を示
す。図２中のＵＡはユーザＡを表す。ユーザの腰の位置
に位置センサの基準をおくことで、ユーザが動いても概
ね常に水平かつユーザの正面方向に位置センサの基準方
向を保つことができる。

【００１８】図３（ａ）は画像入力部の構成を示し、図
３（ｂ）は画像入力部を実際に装着している様子を示
す。

【００１９】図３（ａ）において、３１が回転円盤部で
あり、垂直軸を軸にして回転する。３３は前記回転円盤
部３１に取り付けられたモータであり、前記回転円盤部
３１の回転角度を決定する。３２が回転棒軸部であり、
水平軸を軸にして回転する。３４は前記回転棒軸部３２
に取り付けられたモータであり、前記回転棒軸部３２の
回転角度を決定する。３５は回転棒軸部に固定されたカ
メラ台座であり、カメラ１１は台座３５に固定される。

【００２０】モータ３３とモータ３４によって回転円盤
部３１と回転棒軸部３２の回転角度を制御することで、
カメラ１１の光軸を任意の方向に向けることができる。

【００２１】３６は画像入力部全体をユーザの頭部に固
定するための固定部である。

【００２２】図３（ｂ）において、３８はユーザの頭部
であり、３７は図３（ａ）に詳しい構成を示した画像入
力部である。画像入力部３７は、固定部３６によりユー
ザの頭部３８に固定される。

【００２３】図４により、前記の画像入力部を用いての
本発明の多人数参加型仮想空間システムの実施形態例を
説明する。

【００２４】ＵＡ，ＵＢ，ＵＣは、それぞれユーザＡ、
ユーザＢ、ユーザＣを示す。４１は各ユーザの装置から
送られてきた信号を処理し、各ユーザに配信するサーバ
である。各ユーザの装置は、それぞれ画像入力部３７と
４２の信号送信部と４３の信号受信部と４４の演算処理
部と４５の画像合成部と４６のＣＲＴモニタによる画像
表示部、または４７のヘッドマウントディスプレイによ
る画像表示部から構成される。

【００２５】３７の画像入力部で撮影された画像と、カ
メラの光軸方向の情報と、ユーザとの相対位置の情報
と、自動焦点調節装置からの焦点距離情報は信号送信部
４２によってサーバ４１に送られる。サーバ４１はアク
セスしているユーザ全員のデータを処理し、各ユーザの
信号受信部４３に配信する。各ユーザの装置の演算処理
部４４では、画像入力部３７で撮影された画像の仮想空
間中での表示位置と表示サイズを計算し、画像合成部４
５では、この計算された表示位置と表示サイズに従い撮
影画像を仮想空間中に表示して、例えば３次元的に見た
ような仮想画像を合成、構築し、画像表示部４６，４７
に表示する。４６の画像合成部の表示方法はＣＲＴモニ
タを用いているが、４７のように表示方法としてヘッド
マウントディスプレイを用いて仮想空間を３次元立体表
示することにより、他のユーザは表示される背景画像等
の実空間画像とユーザとの位置関係や、被写体の大きさ
を臨場感をもって知ることができる。

【００２６】次に、図５、図６、図７、図８、図９、図
１０により、演算処理部におけるカメラの角度情報と距
離情報を用いて画像の表示位置を計算する方法を説明
し、具体的な利用形態の例を示す。

【００２７】図５によりカメラの回転角度の説明をす
る。

【００２８】基準座標系として次の座標系を定義する。
位置センサのソースの位置を座標の原点としてユーザの
正面方向をＺ軸の正方向、鉛直軸の上向き方向をＹ軸の
正方向として、Ｙ軸、Ｚ軸によって構成される平面に垂
直に交わり座標の原点を通る直線をＸ軸とする。Ｘ軸の
正方向はＹ軸、Ｚ軸における正方向単位ベクトルの外積
（Ｙ×Ｚ）ベクトルの向きとする。

【００２９】画像入力部のカメラの基準状態は、カメラ
の光軸方向を水平かつユーザの正面方向に向け、カメラ
で撮影される画像の横が水平となる状態とする。この時
のカメラと座標系の状態をＳ１とする。まず回転角度α
は、状態Ｓ１でのカメラの光軸方向と、図５に示した基
準座標系のＹ軸を中心に回転した後のカメラの光軸方向
とのなす角度とする。Ｘ，Ｚ基準軸はＹ軸を中心に角度
α移行してＸ’，Ｚ’軸となる。この時のカメラと座標
系の状態をＳ２とする。

【００３０】次に回転角度βは、状態Ｓ２でのカメラの
光軸方向と、Ｙ軸とＺ’軸がＸ’軸を中心に回転した後
のカメラの光軸方向とのなす角度とする。Ｙ基準、Ｚ’
移行軸はＸ’軸を中心に角度β移行してＹ’，Ｚ”軸と
なる。この時のカメラと座標系の状態をＳ３とする。

【００３１】次に回転角度γは、状態Ｓ３でのカメラの
上向き方向と、Ｘ’軸とＹ’軸がＺ”軸を中心に回転し
た後のカメラの上向き方向とのなす角度とする。Ｘ’，
Ｙ’移行軸はＺ”軸を中心に角度γ移行してＸ”，Ｙ”
軸となる。この時のカメラと座標系の状態をＳ４とす
る。状態Ｓ４が撮影時のカメラの状態である。

【００３２】撮影時のカメラの状態は、カメラの基準方
向状態を以上のようにα，β，γの値で回転したものと
して定義される。

【００３３】図６により、カメラと主たる被写体との距
離Ｈを示す。ここで主たる被写体とは、撮影時に自動焦
点機構が焦点を合わせた被写体とする。

【００３４】まず、カメラ光軸周りの回転角度γを考慮
しなかった場合について説明する。

【００３５】図７により、回転αと回転βを利用しての
演算処理部４４での演算方法と、その結果を用いてユー
ザのカメラから入力された画像信号を仮想空間に表示す
る方法を示す。

【００３６】カメラの光軸の基準方向の単位ベクトルを
Ｖとすると物体撮影時の光軸方向の単位ベクトルＶ’
は、回転角度α，βを基に求めた値を行列要素として含
むアフィン変換を表す行列Ａを用いて、Ｖ’＝ＡＶと表
される。さらに距離Ｈを用いてＶ’の大きさがＨになる
Ｖ”＝Ｈ・Ｖ’を求める。仮想空間中のユーザを表すア
バタの頭部を始点としたベクトルＶ”の終点を中心とし
て、このベクトルに垂直になるような平面上にカメラの
出力画像表示用のウィンドウを開く。こうすることで、
アバタとウインドウとの距離が実空間でのユーザと被写
体との距離に比例する。上記の平面上に開くウィンドウ
の大きさは距離Ｈに比例し撮影レンズの画角に応じた大
きさとする。つまり、被写体を画像枠いっぱいに撮影し
たときのウインドウの大きさは被写体の実物大となり、
画像対角方向の撮影レンズの画角をΘとすると、開かれ
るウィンドウの仮想空間中での対角方向のサイズＷはＷ
＝２Ｈｔａｎ（Θ／２）となる。ウィンドウの縦横比は
画像の比に依存して決定される。仮想空間中に開かれた
前記ウィンドウにカメラの出力画像を表示することによ
って、実空間におけるユーザの背景等の画像が、実空間
におけるユーザと背景等との位置関係を保ちながら仮想
空間に表示される。つまり、実空間におけるユーザと被
写体との位置関係が仮想空間におけるアバタとウィンド
ウ表示された画像中の被写体像の位置関係と同じにな
る。

【００３７】次に図８により、カメラの光軸周りの回転
角度γを合わせて用いた画像表示位置の計算方法と利用
方法を説明する。

【００３８】カメラの出力画像表示用のウィンドウを開
く手順は前述の演算方法において、ベクトルＶ’を求め
る時に回転角度γを基に求めた値を行列要素として加え
たアフィン変換を表す行列Ａを用いる。その他の手順は
前述の演算方法と同様である。

【００３９】図８中のＵＡはユーザＡを、ＵＡ＊は仮想
空間に表示されたユーザＡのアバタを表す。図８（ａ）
では実空間においてユーザが首を傾けた状態でカメラに
より背景を撮影している様子を示す。図８（ｂ）では角
度α，βだけを用いて、仮想空間に実空間画像を表示し
た時の様子を示す。ユーザが顔を傾けた際の角度γを考
慮していないので仮想空間に開かれるウィンドウの横軸
は水平軸と並行を保っているが、そのウィンドウに表示
される画像はユーザが首を傾けた角度の分だけ傾いて表
示されてしまう。図８（ｃ）では角度α，βにユーザが
首を傾けることによる回転γを加えた位置センサ信号を
用いて仮想空間に実空間画像を表示した時の様子を示
す。開くウィンドウは、ユーザの首の傾きに従い傾くの
で、表示される画像が傾くことはない。

【００４０】図９、図１０により具体的な利用形態を示
す。

【００４１】図９により本装置によってユーザＡの実空
間における周囲の状況を撮影し、仮想空間中のユーザ
Ｂ、ユーザＣに提示する場合の表示方法を説明する。図
９中のＵＡはユーザＡを、ＵＡ＊，ＵＢ＊，ＵＣ＊はそ
れぞれ仮想空間に表示されたユーザＡ、ユーザＢ、ユー
ザＣのアバタを表す。図９の（ａ）は実空間内のユーザ
Ａと背景の位置関係、図９（ｂ）はその位置関係に基づ
いて生成されユーザに表示される画像を示す。

【００４２】図９の（ａ）に示されるようにユーザＡの
頭部に固定された画像入力部により実空間内のＵＡの後
方にある背景が撮影される。センサの出力信号とカメラ
の出力画像信号はサーバを介して他のユーザの装置に送
られ、演算処理部において前述の計算方法によりカメラ
の撮影した画像を仮想空間に表示する位置と大きさを計
算し、これを画像合成部において仮想空間に表示して仮
想空間画像を合成、構築し、各ユーザの画像表示部に表
示する。図９の例では、図９（ａ）においてユーザの後
方に位置した実空間内の背景が、仮想空間において図９
（ｂ）に示されるようにアバタＵＡ＊の後方に表示され
る。

【００４３】このようにしてユーザの実空間周囲画像を
ユーザと被写体との位置関係を保ちながら仮想空間に表
示することができるので、ユーザの周囲状況を、画像を
通じて他のユーザに示すことが出来る。

【００４４】図１０により、カメラを台座から取り外
し、机上の物体等の背景以外の画像を撮影し、仮想空間
中に表示する場合の表示方法を説明する。図１０の
（ａ）は実空間内のユーザＡと物体Ｄとの位置関係、図
１０（ｂ）はその位置関係に基づいて生成されユーザに
表示される画像を示す。

【００４５】図１０（ａ）に示されるようにユーザは画
像入力部３７の台座に支持されているカメラ１１を取り
外し、それを手に持って床面にある物体Ｄを撮影する。
位置センサ１２の出力信号とカメラ１１の出力画像信号
はサーバを介して他のユーザの装置に送られ、演算処理
部によってカメラからの画像を仮想空間に表示する位置
と大きさを計算し、これを画像合成部において仮想空間
に表示して仮想空間画像を合成、構築し、各ユーザの画
像表示部に表示する。カメラ１１に取り付けられた位置
センサ１２は、図５に示すようにユーザの腰を基準位置
とするので、カメラ１１を台座から取り外して任意の位
置に動かしても、ユーザとの相対位置を計ることができ
る。

【００４６】図７で示したユーザのカメラから入力され
た画像信号を仮想空間に表示する方法で求めたベクトル
Ｖ”の始点をカメラの位置として、ベクトルＶ”の終点
を中心としてベクトルＶ”に垂直になる平面上にカメラ
の出力画像表示用のウィンドウを開き、カメラの出力画
像を表示する。つまり、カメラの出力画像は図１０
（ｂ）のように、実空間におけるユーザと物体Ｄとの位
置関係を保ちながらアバタＵＡ＊の前に表示される。

【００４７】このようにすることによってユーザは背景
画像だけではなく、任意の対象を撮影し、その画像を仮
想空間に表示することが出来る。その際に、前述の表示
位置計算方法により、画像の表示位置はカメラの方向と
カメラと被写体との距離を反映させて決定されるので、
カメラを任意の位置に動かしたとしても表示された画像
を見る他のユーザは、撮影された被写体とユーザとの位
置関係を知ることが出来る。

【００４８】

【発明の効果】以上説明したように、本発明によれば、
実空間のユーザの周囲画像情報を仮想空間に位置関係を
一致させた状態で表示することができるので、３次元仮
想コミュニケーション環境の他ユーザの周囲状況を把握
しながらのコミュニケーションが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態例での画像入力部のカメラ
部分を示す図である。

【図２】本発明の一実施形態例での位置センサの基準位
置を示す図である。

【図３】（ａ）は本発明の一実施形態例での画像入力部
を示す図、（ｂ）はこの画像入力部を頭に装着した様子
を示す図である。

【図４】上記の画像入力部を用いての多人数参加型仮想
空間システムを説明する図である。

【図５】上記実施形態例でのカメラの回転角度の説明図
である。

【図６】上記実施形態例でのカメラと被写体との距離を
表した図である。

【図７】カメラ光軸周りの回転角度を考慮しなかった場
合、図１のカメラからの入力画像を仮想空間に表示する
方法の説明図である。

【図８】（ａ），（ｂ），（ｃ）は、本発明の一実施形
態例でのカメラの光軸周りの回転角度の利用方法を示す
図である。

【図９】（ａ），（ｂ）は、本発明の具体的な利用形態
例を示す図である。

【図１０】（ａ），（ｂ）は、本発明の別の具体的な利
用形態例を示す図である。

【符号の説明】

１１…カメラ １２…位置センサ ２１…位置センサのソース ３１…回転円盤部 ３２…回転棒軸部 ３３…モータ１ ３４…モータ２ ３５…台座 ３６…固定部 ３７…画像入力部 ３８…ユーザの頭部 ４１…サーバ ４２…信号送信部 ４３…信号受信部 ４４…演算処理部 ４５…画像合成部 ４６…画像表示部（ＣＲＴモニタ） ４７…画像表示部（ヘッドマウントディスプレイ）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 一之瀬 進 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 自動焦点調節装置を備えるビデオカメ
   ラ、前記ビデオカメラに固定され前記ビデオカメラとユ
   ーザとの相対位置と前記ビデオカメラの光軸方向を検出
   する位置センサ、および前記ビデオカメラを支持し該ビ
   デオカメラの光軸を任意の方向に向ける電動雲台で構成
   される画像入力部と、 前記画像入力部を頭部に固定する固定部と、 前記画像入力部の前記位置センサの出力信号、前記自動
   焦点調節装置の検出した焦点距離情報、および前記ビデ
   オカメラの出力画像信号を送信する信号送信部と、 他ユーザが送信した位置センサの出力信号、他ユーザの
   自動焦点調節装置が検出した焦点距離情報、およびビデ
   オカメラの出力画像信号を受信する信号受信部と、 前記信号受信部が受信した他ユーザのビデオカメラの光
   軸方向を示す位置センサ出力信号および他ユーザの自動
   焦点調節装置が検出した焦点距離情報に従い、受信した
   ビデオカメラの画像の仮想空間中での表示位置と表示サ
   イズを計算する演算処理部と、 前記演算処理部で計算した表示位置と表示サイズに従い
   前記ビデオカメラの画像を仮想空間中に表示して仮想画
   像を合成し構築する仮想画像合成部と、 前記合成し構築した仮想画像の表示を行う画像表示部
   と、 を有することを特徴とする仮想空間画像の生成装置。
2. 【請求項２】 前記演算処理部は、前記受信したビデオ
   カメラの画像の仮想空間中での表示位置と表示サイズを
   計算する際、前記ビデオカメラの撮影時の光軸方向、該
   光軸周りの回転角および焦点距離情報をもとに仮想空間
   中でのベクトルを求め、該ベクトルに垂直な平面上での
   該ベクトルの終点を前記画像の中心の表示位置とし、該
   焦点距離情報と前記ビデオカメラの画角に応じた前記平
   面上のウインドウを前記表示サイズとし、前記光軸周り
   の回転角に合わせて前記ウインドウを傾けた位置を該ウ
   インドウの表示位置として計算するものである、 ことを特徴とする請求項１記載の仮想空間画像の生成装
   置。
3. 【請求項３】 請求項１記載の仮想空間画像の生成装置
   を複数有し、 前記仮想空間画像の生成装置の信号送信部から送信され
   た位置センサの出力信号、自動焦点調節装置の検出した
   焦点距離情報、およびビデオカメラの出力画像信号を、
   アクセスしている前記仮想空間画像の生成装置の信号受
   信部に対して配信するサーバを有する、 ことを特徴とする仮想空間システム。