JPH10208073A - 仮想現実作成装置 - Google Patents

Abstract

(57)【要約】 【課題】従来の仮想現実作成装置では、ユーザが仮想現
実を体験するためにブルーバックなどの特別な部屋を必
要とした。また、入力装置の位置が固定であることか
ら、画像の質を保つことが難しかった。別の技術では、
これらの問題は解決されるものの、仮想世界のキャラク
タが動くだけで、現実世界と仮想世界とで相互作用を及
ぼし合うことができなかった。 【解決手段】移動ロボット（１１）が入力手段（１２）
の付属した入力装置（１０）を備え、入力装置１０から
の入力をベースに入力装置１０からの入力とデータ供与
装置（２０）からの入力とをデータの加工・合成装置
（３０）で加工・合成し、出力装置（４０）に出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、別々のデータを合
成可能なデータ合成装置およびデータ合成方法に関す
る。特に、移動ロボットを使用した仮想現実を実現する
装置に関する。詳しくは、移動ロボットから入力された
映像に基づいて映像（仮想現実）を実現することに関す
る。

【０００２】

【従来の技術】仮想現実を作成するための従来技術に
は、次のようなものがある。まず、「現実世界の対象を
主役とする」仮想現実作成装置には、あらかじめ撮影用
に作られた部屋の中で対象を撮影し、その対象をあらか
じめ作られた仮想世界に埋め込んで出力する装置があ
る。これは一般にバーチャルスタジオと呼ばれるもので
ある。あるいは、撮影対象となる人間にあらかじめマー
カーを身につけてもらい、複数台のカメラでそのマーカ
ーの動きを撮り、解析装置上でそれらのマーカーの動き
を追っていくことによって自然な動作をデジタルデータ
として取り込む技術がある。これは一般にモーションキ
ャプチャ技術と呼ばれるものである。

【０００３】次に、「実写をベースに仮想世界の要素を
埋め込む」仮想現実作成技術には、何枚かの画像から撮
影環境の３次元形状を復元し、その環境に３次元ＣＧキ
ャラクタを埋め込みんで様々な動作をさせ、その映像を
出力する技術がある。これは一般に実写ＣＧ合成技術と
呼ばれるものである。

【０００４】さらに、移動ロボットを使うものとして
は、あらかじめ定められたパラメータによってロボット
を動かし、撮影を行う装置がある。これは映画撮影など
で使われているもので、一般にモーションコントロール
カメラと呼ばれているものである。

【０００５】

【発明が解決しようとする課題】これらの技術では、仮
想世界へ埋め込む対象を現実世界の映像から自動で切り
出すことは難しいため、前記バーチャルスタジオでは切
り出しを容易にするためにブルーバックの部屋など特別
な条件の部屋を必要とした。そのため、その部屋の中で
なければ仮想現実を体験することができなかった。ま
た、カメラは部屋の特定の位置に設置されており、角度
調節はできるが場所の移動はできないものであるので、
撮影対象とカメラとの距離が離れてしまうと画像の質が
劣化してしまう。また、モーションキャプチャ技術にお
いては、撮影対象があらかじめマーカーを身につけなけ
ればならないという煩わしさがあり、また、マーカーを
身につけながら動かなければならないので意識せず自然
に仮想現実を体験することができないという問題があ
る。

【０００６】また、実写ＣＧ合成技術においては、「場
所を選ばない」「画像の質が維持できる」などの利点が
あるものの、仮想世界のキャラクタが動くだけであり、
現実世界と仮想世界との相互作用がない。また、現実世
界と仮想世界との相互作用がない点については、モーシ
ョンコントロールカメラも実写ＣＧ合成技術と同様であ
る。

【０００７】本発明は、以上の課題に対し、現実世界と
仮想世界との自然な形の融和を場所を選ばずに実現する
装置を提供することを目的とするものである。すなわ
ち、装置の使用に特定の部屋などを必要とせず、仮想現
実を体験するためにマーカーをつけるなどのユーザ側の
準備が必要なく、入力手段からの入力の質を高いまま維
持することができ、さらに現実世界と仮想世界との間で
相互作用を及ぼしあうことができるような装置を提供す
ることを目的とする。

【０００８】

【課題を解決するための手段】本発明は、前記の問題を
解決するために、以下の構成とした。データ入力可能な
移動体から入力されたデータとは別のデータを供与可能
なデータ供与装置と、前記移動体から入力されたデータ
を、前記移動体の移動に対応づけて、前記データ供与手
段から供与されたデータと合成するデータ加工・合成装
置と、前記データ加工・合成装置で合成されたデータを
出力するデータ出力装置とを有することを特徴とするデ
ータ合成装置である。また、移動体から入力された第１
のデータおよび前記データとは別の第２のデータとを受
け取り、前記第１のデータを、前記移動体の移動に対応
づけて、前記第２のデータとを合成することを特徴とす
るデータ合成方法である。

【０００９】より具体的には、以下の通りである。移動
ロボットとそれに付属するデータ入力手段を備えたデー
タ入力装置と、データ入力手段あるいは通信手段あるい
は記憶手段あるいはそれらのうちの２種以上を備えるこ
とを特徴とするデータ供与装置と、データ加工・合成装
置と、データ出力手段と、データ入力装置の制御手段と
を備え、データ加工・合成装置が前記入力装置および前
記データ供与装置から得たデータを順次加工・合成し出
力手段に出力するという構成をとった。

【００１０】データ入力手段が移動ロボットに付属して
いることにより、データ入力手段が自由に動くことが可
能となるので特定の場所によらずにデータ入力を行うこ
とができ、データ入力装置の制御手段によってデータ入
力装置を制御することができるので入力されるデータの
質を保つことができる。さらに、データ入力手段が自由
に動けることに加え「現実世界を表現するデータに仮想
世界の要素を埋め込む」「入力されたデータを順次処理
して出力する」ための手段を提供することで、現実世界
と仮想世界との間で相互作用を及ぼしあうことができ
る。また、現実世界をベースに仮想世界の要素を埋め込
む手段を提供することで、ユーザ側の準備が不要とな
る。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態につい
て詳細に説明する。図１は本発明の一実施例を示す機能
構成図である。図１において、データ入力装置１０は移
動ロボット１１とロボット１１に付属するデータ入力手
段１２を備え、通信手段６２、６３と信号（データ）の
受け渡しが行えるものであり、通信手段６２からの入力
信号によって制御され、移動ロボット１１からの信号お
よびデータ入力手段１２からの信号を通信手段６３を用
いて出力する。データ供与装置２０はデータ供与手段２
１を備えるようなものである。データ加工・合成装置３
０は、データ加工・合成手段３１を備え、通信手段６４
からの入力信号とデータ供与手段２０からの入力信号を
データ加工・合成手段３１を用いて加工・合成し出力す
るものである。データ出力装置４０はデータ出力手段４
１を備え、データ加工・合成手段からの入力信号をデー
タ出力手段４１を用いて出力するものである。データ入
力装置の制御装置５０はデータ入力装置の制御手段５１
を備え、通信手段６１と信号の受け渡しが行えるような
ものであり、移動ロボット１１およびデータ入力手段１
２を制御する制御信号を制御手段５１によって生成し、
その信号を通信手段６１を用いて出力する。

【００１２】なお、本実施例においては、制御装置５０
とデータ入力装置１０の間およびデータ入力装置１０と
データ加工・合成装置３０の間は通信手段を用いた方法
で接続し、データ供与装置２０とデータ加工・合成装置
３０の間およびデータ加工・合成装置３０とデータ出力
装置４０との間は信号線で直接接続する構成を取った
が、これらの装置間の接続では信号の受け渡しができれ
ばよく、装置５０と装置１０の間あるいは装置１０と装
置３０の間を信号線で直接接続することもできるし、装
置２０と装置３０の間あるいは装置３０と装置４０との
間を通信手段を用いた方法で接続することもできる。ま
た、信号線で直接接続する方法と通信手段を用いて接続
する方法を併用してもよい。

【００１３】さらに、本実施例ではデータ供与装置２
０、データ加工・合成装置３０、制御装置５０をそれぞ
れ用意したが、本発明による装置においては、データ加
工・合成装置３０がデータ供与手段を備えることによっ
てデータ供与装置２０の役割の一部または全部を兼ねる
ような構成や、データ加工・合成装置３０が制御手段を
備えることによって制御装置５０の役割の一部または全
部を兼ねるような構成も可能である。特に、データ加工
・合成装置３０がデータ供与手段を備えるような構成を
取る場合には、データ加工・合成装置の構成要素として
データ入力手段を含む構成が考えられることに注意す
る。

【００１４】図２は、図１の構成を具体的な機器で構成
した場合の一実施例を示す装置構成図である。図２にお
いて、移動ロボット１１０はコマンド・デコーダ１１
１、移動ロボット制御機構１１２、駆動系１１３、セン
サ１１４、ビデオカメラ制御機構１１５、マイク制御機
構１１６、Ａ／Ｄコンバータ１１７および１１８、通信
ボード６１１および６２１および６２２および６２３を
備え、ビデオカメラ１２１、マイク１２２が付属してい
る。通信手段６１１を介して入力された制御信号をコマ
ンド・デコーダ１１１で解析し、コマンド・デコーダ１
１１は適切な制御信号を各制御機構１１２、１１５、１
１６に送る。移動ロボット制御機構１１２はコマンド・
デコーダ１１１から送られてくる制御信号に基づき駆動
系１１３およびセンサ１１４を制御する。

【００１５】駆動系１１３としては、移動ロボット１１
０の移動機構のほか、ビデオカメラ１２１の移動ロボッ
ト１１０内での位置変更もしくはカメラアングルの変
更、およびマイク１２２の移動ロボット１１０内での位
置変更などを行う機構も含む。また、センサ１１４から
得たデータは、通信ボード６２３から出力される。ビデ
オカメラ制御機構１１５はコマンド・デコーダ１１１か
ら送られてくる制御信号に基づきビデオカメラ１２１の
電源の入／切および焦点距離および絞りの制御を行う。
ビデオカメラ１２１から入力された信号はＡ／Ｄコンバ
ータ１１７によってデジタル信号に変換され、通信ボー
ド６２１から出力される。また、マイク制御機構１１６
はコマンド・デコーダ１１１から送られてくる制御信号
に基づきマイク１２２の電源の入／切の制御を行う。

【００１６】マイク１２２から入力された信号はＡ／Ｄ
コンバータ１１８によってデジタル信号に変換され、通
信ボード６２２から出力される。通信ボード６２１、６
２２、６２３から出力され、それぞれ通信ボード６４
１、６４２、６４３から入力された信号は、仮想キャラ
クタのＣＧモデル２１１および仮想キャラクタの音声デ
ータ２１２とともにデータ加工プログラム３１２１およ
びデータ合成プログラム３１２２を用いて中央演算処理
装置３１１によって加工・合成され、さらにデータ出力
プログラム３１２３によって適切な形に変換された上
で、グラフィックボード３１４を用いてスクリーン４１
１に、またはサウンドボード３１５を用いてスピーカ４
１２に出力される。

【００１７】ここで、通信ボード６４１、６４２、６４
３からの入力は通信制御プログラム３１２４を用いて中
央演算処理装置３１１によって制御されている。また、
ＣＧモデル２１１、音声データ２１２、プログラム３１
２１、３１２２、３１２３、３１２４は必要に応じて外
部記憶装置３１３から主記憶装置３１２内に読み込まれ
るものである。移動ロボットのコントローラ（人間）８
１は、ビデオカメラ５１１から入力される移動ロボット
１１０の周辺環境の映像をモニタテレビ５１２１で見な
がら、キーボード５１６あるいはマウス５１７により移
動ロボット１１０を制御する。キーボード５１６および
マウス５１７からの入力は、移動ロボット制御用データ
５１４１およびビデオカメラ制御用データ５１４２およ
びマイク制御用データ５１４３を用いて入力→制御コー
ド変換プログラム５１４４に基づいて中央演算処理装置
５１３によって制御コードに変換され、通信ボード６８
１から出力される。ここで、通信ボード６８１は通信制
御プログラム５１４５に基づいて中央演算処理装置によ
って制御されている。

【００１８】また、制御用データ５１４１、５１４２、
５１４３およびプログラム５１４４、５１４５は必要に
応じて外部記憶装置５１５から主記憶装置５１４に読み
込まれるものである。なお、通信ボード６１１と６８１
の間、通信ボード６２１と６４１の間、通信ボード６２
２と６４２の間、通信ボード６２３と６４３の間は無線
で信号の受け渡しを行う。また、前記実施例においては
外部記憶装置３１３を用意したが、データ領域およびプ
ログラム領域および作業領域のすべてが主記憶装置上に
確保できるのであれば、外部記憶装置３１３を省略する
ことも可能である。

【００１９】また、前記実施例においては、制御手段の
ユーザインタフェースとしてキーボード５１６およびマ
ウス５１７を使用したが、本発明における制御手段のユ
ーザインタフェースは入力→制御コード変換プログラム
５１４４が作成できるものであればよく、これらに限る
ものではない。例えば、データグローブ、ジョイスティ
ックなどを使用することも可能である。また、前記実施
例においてはコントローラ８１はモニタテレビ５１２１
からの情報をもとにデータ入力装置１０を制御していた
が、あらたにモニタテレビ５１２２およびスピーカ５１
８１を準備し、データ加工・合成装置３０からの出力を
分岐してモニタテレビ５１２２およびスピーカ５１８１
にも出力することにより、データ入力装置１０の制御の
際にこれらの機器からの情報も利用することができる。

【００２０】また、前記実施例においてはコントローラ
８１はデータ入力装置１０のコントロールのみを行って
いたが、本発明における装置では、データ加工・合成装
置３０としてデータ入力手段を備えたものを使用するこ
とで、コントローラ８１はデータ入力装置１０をコント
ロールしつつ出力に関しても何らかの作用を加えること
が可能である。

【００２１】図３および図４は、図２で示される構成を
ベースとした装置を立食形式のパーティ会場で使用する
場合の一実施例を示す図である。図３はこの場合のデー
タ入力装置の一実施例を示す装置図であり、図４はこの
場合のパーティ会場の一実施例を示す概略図である。

【００２２】図３において、データ入力装置１０は図２
の移動ロボット１１０にビデオカメラ１２１、マイク１
２２、腕１３１、お盆１３２を付属させたものである。
このとき、センサ１１４は、移動ロボットの移動速度、
向き、ビデオカメラ１２１の移動ロボット１１０内での
位置、ビデオカメラ１２１の移動ロボット１１０内での
向きの４つのデータが検出できるようなセンサ群である
とする。なお、ビデオカメラ１２１はあらかじめキャリ
ブレートを行っておく。図４において、１０１、１０２
は図３のデータ入力装置１０と同じものであり、これら
はともに制御室７１１から制御装置５０１、制御装置５
０２を用いてコントローラ８１によって制御されてい
る。

【００２３】データ入力装置１０１のカメラ１２１１お
よびマイク１２２１から入力された画像および音声は、
データ供与装置２０１からの入力と、データ加工・合成
装置３０１によって合成され、スクリーン４１１１およ
びスピーカ４１２１から出力される。同様に、データ入
力装置１０２のカメラ１２１２およびマイク１２２２か
ら入力された画像および音声は、データ供与装置２０２
からの入力と、データ加工・合成装置３０２によって合
成され、スクリーン４１１２およびスピーカ４１２２か
ら出力される。データ供与装置２０１および２０２から
の入力は、ともに仮想キャラクタのＣＧモデル２１１お
よび仮想キャラクタの音声データ２１２より成る。ま
た、データ加工・合成装置３０の設置場所は問わない。
会場の様子は会場に設置されたビデオカメラ５１１によ
って制御室７１１内に設置されたモニタテレビ５１２１
に映し出され、コントローラ８１はその映像を見ながら
データ入力装置１０１、１０２を制御することができ
る。

【００２４】図４において、ビデオカメラ１２１１によ
って得られた映像は、移動ロボット１０１を仮想キャラ
クタ２１１１、移動ロボット１０２を仮想キャラクタ２
１１２に置き換える形で仮想世界と合成され、スクリー
ン４１１１に出力される。同様に、ビデオカメラ１２１
２によって得られた映像は、移動ロボット１０１を仮想
キャラクタ２１１１、移動ロボット１０２を仮想キャラ
クタ２１１２に置き換える形で仮想世界と合成され、ス
クリーン４１１２に出力される。同様に、マイク１２２
１からの入力は音声データ２１２１と合成されてスピー
カ４１２１に、マイク１２２２からの入力は音声データ
２１２２と合成されてスピーカ４１２２に出力される。
ここで、映像の合成には、時系列画像処理によってそれ
ぞれのビデオカメラの映像から奥行き情報を求め、得ら
れた３次元フィールドから移動ロボットを取り除き仮想
キャラクタの３次元ＣＧモデル２１１を加工したものを
埋め込んだ上で、再び２次元データに変換するという方
法を用いる。また、音声情報の合成は、ミキシングによ
り行うことができる。

【００２５】なお、前記実施例においては制御室７１１
をパーティ会場の２階に設置したが、制御室７１１はパ
ーティ会場に付属している必要はなく、制御室をどこに
設置するかは任意である。また、制御手段の形態によっ
ては、制御室７１１を省略することもできる。また、前
記実施例において、データ入力装置１０は、移動ロボッ
トとそれに付属する入力手段を備えていればよく、例示
したものに限る必要はない。特に、前記実施例において
はセンサ１１４および通信ボード６２３を備えていた
が、これはデータ入力装置の必須の構成要素ではなく、
データの加工・合成方法によっては省略可能であること
を注意しておく。

【００２６】また、前記実施例においてはデータ入力手
段１２はビデオカメラ１２１およびマイク１２２だけで
あったが、本発明のデータ入力手段はこれらに限るもの
ではない。同様に、前記実施例においてはデータ出力手
段４１はスクリーン４１１およびスピーカ４１２だけで
あったが、本発明のデータ出力手段はこれらに限るもの
ではない。例えば、データ入力手段としてペン・タブレ
ット１２３、データ出力手段として液晶ディスプレイ４
１３を加える。ここで、ペン・タブレット１２３の背景
には液晶ディスプレイ４１３の映像が映るようにしてお
く。データ加工・合成装置３０の出力を分岐させ、液晶
ディスプレイ４１３にスクリーン４１１と同じ映像が映
るようにしておけば、スクリーン４１１にイラストを合
作で描くことができるし、スクリーン４１１上の仮想キ
ャラクタの顔に落書きをすることもできる。

【００２７】特に、データ入力手段およびデータ出力手
段の扱う信号は、画像信号および音声信号に限るもので
はないことに注意する。例えば、移動ロボット１１０
に、腕１３１の代わりに、物が握れるような構造をした
腕１３３を付属させ、入力手段として圧力センサを用意
し、データ供与装置２０から腕１３３の制御用データが
得られるようにする。圧力センサからの入力をデータ供
与装置２０から得た腕１３３の制御用データに基づいて
データ加工・合成装置３０において加工・合成し、適切
な制御コードを腕１３３に出力してやることで、「強く
握れば痛そうな顔をして（この表情はスクリーン４１１
に出力される）強く握り返してくる」などの特殊効果を
含めて仮想キャラクタと握手をすることができるし、２
台の移動ロボットを介して離れたところで握手をするこ
ともできる。なお、この場合データ加工・合成装置３０
と出力手段の一つとしての腕１３３との間の信号の受け
渡しは、通信手段を用いて無線で行う。

【００２８】さらに、前記実施例においてはデータ供与
装置として主記憶装置を用いていたが、本発明における
データ供与手段はデータ入力手段あるいは通信手段ある
いは記憶手段あるいはそれらの２種以上を備えていれば
よく、主記憶装置に限るものではない。よって、データ
供与装置２０の出力としては、あらかじめ用意したデー
タ（記憶手段を備える場合）、本装置外の各種処理装置
の出力（通信手段を備える場合）、ユーザの入力（デー
タ入力手段を備える場合）などが考えられるが、本発明
に置けるデータ供与装置２０の出力はこれらに限るもの
ではない。さらに、ここでは、データ供与装置から出力
するデータは仮想キャラクタのＣＧモデルおよび仮想キ
ャラクタの音声データであったが、データ供与装置から
出力するデータとしては、これらに限るものではない。

【００２９】さらに、前記実施例において、データ加工
・合成装置はデータ入力装置１０からの入力とデータ供
与装置２０からの入力を取得しそれらを加工・合成し通
信手段を用いてデータ出力装置４０に出力できるもので
あればよく、例示したものに限る必要はない。さらに、
前記実施例において、データ入力装置の制御装置として
はデータ入力装置の構成要素のうち必要なものを制御で
きるものであればよく、例示したものに限るものではな
い。例えば、前記実施例においてビデオカメラ１２１お
よびマイク１２２の電源を移動ロボット１１０の電源と
同じくし、電源の入／切以外にビデオカメラ１２１およ
びマイク１２２の制御を行わないことにすれば、制御機
構１１５および１１６、制御用データ５１４２および５
１４３、コマンド・デコーダ１１１は省略可能である。
また、例えば、前記実施例のように制御室７１１から会
場が見渡せるような場合には、ビデオカメラ５１１およ
びモニタテレビ５１２１を使わずに、直接会場の様子を
見ながら制御することも可能である。

【００３０】さらに、データ入力装置１０からの出力を
受け取るような通信手段を制御装置５０の構成要素とし
て加え、データ入力装置１０からフィードバックされた
データを利用してデータ入力装置１０の制御をより容易
にすることもできる。また、制御装置５０が制御する対
象としては、例えば、移動ロボット１１の動きや、デー
タ入力手段１２の移動ロボット１１内における位置およ
び姿勢、データ入力手段の各種設定（例えばカメラの焦
点距離や絞りなど）などがあるが、制御装置５０の制御
対象はこれらに限るものではない。また、前記実施例に
おいてはデータ入力装置１０の数は２台であったが、デ
ータ入力装置１０の数は２台に限るものではなく、１台
に減らすこともできるし、多数使うこともできる。例え
ば、前記実施例において、何台かのデータ入力装置１０
のお盆１３２の上に飲み物などを載せ、パーティ会場内
をウェイターの代わりに動き回らせることも可能であ
る。

【００３１】さらに、前記実施例においては入力装置１
０に付属するビデオカメラ１２１およびマイク１２２は
１台ずつであったが、これらはそれぞれ１台に限る必要
はなく、必要なだけ用いることができる。例えば、それ
ぞれ２台ずつ用いることにすることにより、映像および
音声のステレオ入力が可能となる。

【００３２】さらに、前記実施例においてはデータ供与
装置２０の数およびデータ加工・合成装置３０の数およ
びデータ出力装置４０の数およびデータ入力装置の制御
装置５０の数はデータ入力装置１０の数と一致していた
が、本発明におけるこれらの装置の数は、データ入力装
置１０の数に依存するものではなく、各々必要な数だけ
用いることができる。例えば、前記実施例において、デ
ータ入力装置が１０１、１０２、１０３、１０４の４台
であり、データ供与装置およびデータ加工・合成装置が
それぞれ１台（２０および３０）、データ出力装置が４
１１１、４１１２の２台、データ入力装置の制御装置が
１台（５０）という構成も可能である。この場合、例え
ばデータ入力手段としてビデオカメラ、データ出力手段
としてスクリーンを用いるのであれば、データ入力装置
１０１に関する出力をスクリーン４１１１の左半分に、
データ入力装置１０２に関する出力をスクリーン４１１
１の右半分に、データ入力装置１０３に関する出力をス
クリーン４１１２の左半分に、データ入力装置１０４に
関する出力をスクリーン４１１２の右半分に、それぞれ
表示するということができる。また、どの入力装置に関
する出力を表示するかを一定時間ごとに自動で切替える
ことも可能であるし、データ加工・合成装置３０が入力
手段を備えていれば、コントローラ８１が様々な効果を
狙ってどの出力を表示させるかを切替えることも可能で
ある。

【００３３】さらに、前記実施例においてはパーティ会
場は１つだけであったが、本発明はこれに限るものでは
ない。データ入力装置が移動可能であり、いくつかの場
所で現実世界の入力を行うことが可能であるので、例え
ば前記実施例と同様のパーティ会場を２つ（７０１、７
０２）用意しておいて、スクリーン４１１１にパーティ
会場７０１の様子を、スクリーン４１１２にパーティ会
場７０２の様子を映し出すことも可能である。また、前
記実施例においては映像から奥行き情報を得るためにあ
らかじめカメラのキャリブレーションを行い移動ロボッ
トにセンサ１１０を付属させたが、上記の準備・データ
入力装置の構成変更は例示したものに限るものではな
い。

【００３４】さらに、映像からの３次元形状推定技術は
前記の時系列画像処理に限るものではない。例えば、デ
ータ入力手段として２台のビデオカメラを用いれば、ス
テレオ画像処理によって奥行き情報を得ることができ
る。さらに、例えば、会場の平面図・障害物(テーブル
・椅子など)の位置などのパーティ会場のデータをあら
かじめ得て主記憶装置に蓄えておきデータ供与装置から
データ加工・合成装置に与えたり、会場にあるテーブル
・椅子などの障害物に発信機を付け移動ロボット１１０
にその受信機を取りつけてより正確な位置・角度情報を
データ加工・合成装置に与えたり、会場にある障害物お
よび移動ロボットに発信機を付け会場の天井にその受信
機を付けて受信機から得たデータをデータ供与装置を介
してデータ加工・合成装置に与えたりすれば、奥行き情
報の復元の推定精度を向上させることができる。

【００３５】さらに、前記実施例においては画像信号の
入力に対する加工・合成処理に関して「奥行き情報を復
元して仮想キャラの３次元モデルを埋め込み、それを２
次元データに変換して出力する」という処理を行ってい
たが、本発明における画像信号の入力に対する加工・合
成処理はこれに限るものではない。例えば、必要に応じ
て、入力された映像の適切な位置に２次元の仮想キャラ
クタを上描きする処理を行うことにしてもよい。さら
に、例えば、移動ロボットおよび仮想キャラクタの影に
関する処理を施すことや、移動ロボットの映像を除去し
欠落部分を他の映像から補間して「移動ロボットのいな
いパーティ会場」の映像を映し出すことも可能である。

【００３６】さらに、前記実施例においてはデータの加
工・合成装置３０での音声信号の合成は単なるミキシン
グを行うだけであったが、声質変換技術を用いること
で、ユーザの声質を加工することも可能である。例え
ば、前記実施例においてスクリーン４１１１の左半分、
右半分にそれぞれユーザ８２１、８２２をアップで映し
出し、あらかじめ主記憶装置３１２に蓄えておいた歌手
の声質データを用いてユーザ８２１、８２２の声質を加
工してスピーカ４１２１、４１２２に出力すれば、「も
のまねデュエット」を実現させることができる。

【００３７】また、前記実施例においては仮想キャラク
タは移動ロボットの置き換えとしてだけ使用したが、仮
想キャラクタの使用はこれに限るものではない。例え
ば、何人かの仮想キャラクタを入力された映像に合成し
「主催者」としてスクリーン４１１に出力することもで
きるし、何人かの仮想キャラクタを入力された映像に合
成し「パーティの参加者」としてスクリーン４１１に出
力することもできる。これによって、パーティの参加者
８２と仮想キャラクタがスクリーン４１１に映された映
像の中でデュエットすることや、パーティの参加者８２
と仮想キャラクタがスクリーン４１１に映された映像の
中で「じゃんけん」をすることなどが可能である。な
お、仮想キャラクタのＣＧモデルとしては、ドローツー
ルで描いた２次元キャラクタ、架空のキャラクタの３次
元モデル、実在の人物の３次元モデル、モーションキャ
プチャ技術によって取り込んだ実在の人物の動きなど、
データ加工・合成装置３０で扱えるデータであればその
種別を問わない。

【００３８】また、前記実施例においてはデータ入力装
置１０は制御装置５０を用いてコントローラ８１にコン
トロールされていたが、本発明におけるデータ入力装置
の制御は、人間によるリモートコントロールに限るもの
ではない。例えば、各種制御用データおよび制御用プロ
グラムを記憶した主記憶装置と、それらのデータおよび
プログラムを用いて制御用コードを生成する中央演算処
理装置と、制御に必要なだけのセンサとを移動ロボット
１１０に組み込んで、データ入力装置１０に自律行動を
させることも可能である。

【００３９】以上の実施例によれば、データ入力装置を
「移動ロボットとデータ入力手段」とすることで、本発
明による装置はパーティ会場などの人混みの中などでも
問題無く使用できる。また、データ入力手段が移動ロボ
ットとともに自由に動き回ることができるので、従来の
位置固定型のカメラと違い、目的とする対象に近付いて
質のよい入力を得ることや、様々なカメラアングル(上
下左右の移動、仰角の変更)による入力を行うこと、撮
りたい対象を追い回すことができる。

【００４０】また、「現実世界を表現するデータに仮想
世界の要素を埋め込む」という方針により、撮影対象と
なるユーザ側ではマーカーをつけるなどの準備が不要で
あるので意識せずに仮想現実の世界を体験することがで
き、さらに、「現実世界」をベースに必要なだけ「仮想
世界」を埋め込むことができるのでより現実に近い仮想
現実を実現することができ、さらに、リアルタイム性を
重視する場合であれば、装置性能に見合っただけの加工
・合成処理で済ますことによってリアルタイム性を向上
させることができる。さらに、「仮想世界をベースに実
写から切り取った現実世界の要素を埋め込む」場合に比
べ加工・合成に要する処理の量が削減されることによっ
てリアルタイム性が向上することから、現実世界と仮想
世界とで相互作用を及ぼし合う際の現実感が向上する。
さらに、仮想キャラクタを現実世界の映像に埋め込む際
の処理によっては、前後関係・パース効果・影などの点
において矛盾のないはめ込み映像が得られ、よりリアル
な仮想現実が作成できる。

【００４１】また、「入力を順次加工・合成し出力して
いく」という方針により現実世界での行動と仮想世界で
の行動を同期させることが可能となる。さらに、移動ロ
ボットに入力手段を付属させることで入力手段が常にユ
ーザの近くに存在することが可能となるので、例えば、
ユーザがロボットと握手をすればスクリーン内ではユー
ザが仮想キャラクタと握手する、といったことが実現で
きる。これによって、ユーザは出力における仮想世界と
の相互作用をその入力段階においても疑似体験すること
となり、現実感が向上する。また、スクリーン内だけに
存在する仮想キャラクタを使用したり、現実世界からの
入力を加工して出力することで、パーティの参加者たち
は、「現実世界」と「スクリーンの中の世界」とのギャ
ップを楽しむことができ、現実世界では体験できない仮
想現実を体験することができる。なお、スクリーン内だ
けに存在する架空の仮想キャラクタを使用する時には、
着ぐるみなどを使用してパーティ会場内にも架空のキャ
ラクタを一部存在させておくと、意外性が増し、上記効
果が増すことが期待できる。

【００４２】また、データ加工・合成装置の出力を分岐
して制御室７１１内でもパーティ会場に設置した出力装
置と同じ出力が得られるようにし、データ供与装置から
出力する音声データとしてコントローラ８１の声をそれ
ぞれの仮想キャラクタ用に変換したものをデータ供与装
置を介して使用することにすれば、コントローラ８１は
制御室７１１に居ながらにしてアンケートを取ったりク
イズを出したりなどパーティの観客と相互作用を及ぼし
合うことができ、パーティ会場にいないにもかかわらず
間接的にパーティに参加することができる。また、出力
手段として大型スクリーンを用いれば、ステージなどの
特別な設備がなくても、移動ロボットに近づいて映して
もらうことで各々のユーザはパーティ会場全体に体全体
を使って自己表現をすることができる。また、心理的効
果としては、移動ロボットに飲み物などを運ばせるなど
の付加価値を付け加えることにより、パーティの参加者
たちの意識の中から「データ入力装置」としての移動ロ
ボットのイメージを薄れさせ、「撮影されている」「見
られている」といった緊張感のない、より自然な映像が
撮影できることが期待できる。

【００４３】さらに、移動ロボットを仮想キャラクタで
置き換えスクリーン内に表示させることで、移動ロボッ
トへの親近感が増し、移動ロボットがパーティ会場内に
存在することに対する違和感が薄れ、パーティの参加者
たちの意識の中から「データ入力装置」としての移動ロ
ボットのイメージがより一層薄れることが期待できる。
さらに、「移動ロボット」という感情を持たないものが
カメラマン、ウェイターなどの役を兼ねることにより、
パーティの参加者以外の第三者が直接パーティに介入す
ることがなくなり、パーティの参加者たちをリラックス
させることができるという効果も期待できる。

【００４４】なお、前記実施例は立食形式のパーティ会
場を例に取って説明したが、本発明による装置は、レス
トラン・エンターテイメントの一部としての利用あるい
は各種テーマパークにおける利用あるいはシミュレータ
ーとしての利用など、立食形式のパーティ会場での利用
に限るものではない。

【００４５】

【発明の効果】以上に述べたように、本発明によれば、
入力手段を移動ロボットに付属させ、「現実世界を表現
するデータに仮想世界の要素を埋め込む」「入力を順次
加工・合成し出力していく」ための手段を提供すること
で、現実世界をベースにした、現実に近く質のよい仮想
現実を、場所を選ばず、ユーザが意識せず、自然な形で
実現することができる。

【図面の簡単な説明】

【図１】本発明による装置の一実施例を示す機能構成図
である。

【図２】本発明による装置の一実施例を示す装置構成図
である。

【図３】データ入力装置の一実施例を示す装置図であ
る。

【図４】本発明による装置をパーティ会場で用いた場合
の一実施例を示す概念図である。

【符号の説明】

１０…データ入力装置、１１…移動ロボット、１２…デ
ータ入力手段、１２１…ビデオカメラ、１２２…マイ
ク、１３１…腕、１３２…お盆、２０…データ供与装
置、２１…データ供与手段、３０…データ加工・合成装
置、３１…データ加工・合成手段、４０…データ出力装
置、４１…データ出力手段、４１１…スクリーン、４１
２…スピーカ、５０…データ入力装置の制御装置、５１
…データ入力装置の制御手段、５１１…パーティ会場全
景撮影用ビデオカメラ、６…通信手段、７１１…制御
室、７１２…テーブル、８１…データ入力装置１０のコ
ントローラ(人間)、８２…パーティの参加者(人間）

Claims (4)

【特許請求の範囲】
1. 【請求項１】データ入力可能な移動体から入力されたデ
   ータとは別のデータを供与可能なデータ供与装置と、前
   記移動体から入力されたデータを、前記移動体の移動に
   対応づけて、前記データ供与手段から供与されたデータ
   と合成するデータ加工・合成装置と、前記データ加工・
   合成装置で合成されたデータを出力するデータ出力装置
   とを有することを特徴とするデータ合成装置。
2. 【請求項２】請求項１に記載のデータ合成装置におい
   て、 前記移動体から入力されるデータは、前記移動体が撮像
   する画像データであることを特徴とするデータ合成装
   置。
3. 【請求項３】請求項１に記載のデータ合成装置におい
   て、 前記データ加工・合成装置とデータ出力手段の間のデー
   タの受け渡しを通信手段を用いて無線で行うことを特徴
   とするデータ合成装置。
4. 【請求項４】移動体から入力された第１のデータおよび
   前記データとは別の第２のデータとを受け取り、前記第
   １のデータを、前記移動体の移動に対応づけて、前記第
   ２のデータとを合成することを特徴とするデータ合成方
   法。