JPH1049134A - ３次元ビデオキーシステム - Google Patents

Abstract

(57)【要約】 【課題】 ３次元仮想空間のコンピュータ画像と現実空
間のカメラ画像とを、両者の位置関係を同調させつつ融
合できる３次元ビデオキーシステムを提供する。 【解決手段】 仮想空間に構成された複数の物体の画像
及び前記画像それぞれの位置に対応するグレースケール
情報を生成するプロセッサ１と、現実空間の観客の画像
を取得するカメラ２と、前記観客を上から見た画像を取
得する赤外線カメラ３と、赤外線カメラ３により取得さ
れた画像に基づき前記観客の画像の中心点の位置を求め
る位置検出器５と、位置検出器５の出力に基づき前記観
客の位置に対応するグレースケール情報を生成するグレ
ースケール情報生成手段６と、前記画像のグレースケー
ル情報と前記観客のグレースケール情報とを比較するこ
とにより、前記仮想空間と前記現実空間との同期をとり
つつ前記複数の物体の画像と前記観客の画像とを合成す
る合成手段７と、合成された画像を投影するプロジェク
タ８を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、仮想空間と現実
空間との位置関係を同期させる画像処理システムである
３次元ビデオキーシステムに関するものである。

【０００２】

【従来の技術】近年、コンピュータグラフィック技術が
非常に進歩し、芸術、美術、放送、映画などさまざまな
分野において利用が進んでいる。平面的な映像ばかりで
なく、仮想的な３次元空間において物品を構成し、これ
を画面上に立体的に表現することも多い。例えば、３次
元仮想空間において物体を複数のポリゴン（多角形）で
構成し、この物体をある視点から見たときの画像を生成
することがなされている。

【０００３】

【発明が解決しようとする課題】ところで、従来のコン
ピュータグラフィックス技術においては、仮想空間内に
おける表現が主であり、仮想物体の画像と現実に存在す
る物体を撮影した画像との融合について考慮されている
ものは少ない。これらを合成するにあたって両者の位置
関係を無視して単純に合成する場合は問題ないが、両者
の位置関係を考慮して、つまり、仮想空間内の適切な位
置に現実の物体を表現しようとすると、複雑な処理が必
要になる。例えば、仮想空間の座標と現実空間の座標と
を定義し、これら座標の位置合わせをし、両者の座標を
比較しながら特定の視点から見た画像を生成しなければ
ならない。このように、仮想空間内と現実空間とを同調
させようとすると演算量が過大で処理が困難であった。

【０００４】この発明はこのような問題点を解決するた
めになされたもので、コンピュータにより仮想空間に構
成された物品の画像と、カメラにより撮影された現実の
物品の画像とを比較的簡単な処理により融合できる３次
元ビデオキーシステムを提供することを目的とする。

【０００５】

【課題を解決するための手段】この発明は、次の手段を
備える３次元ビデオキーシステムである。

【０００６】（１）第１の対象物の画像を生成するとと
もに、前記第１の対象物の属性情報を生成する第１画像
生成手段 （２）第２の対象物の画像を生成するとともに、前記第
２の対象物の属性情報を生成する第２画像生成手段 （ｅ）前記第１画像生成手段の属性情報と前記第２画像
生成手段の属性情報とを比較するとともに、この比較結
果に基づき前記第１の対象物の画像と前記第２の対象物
の画像とを合成する合成手段 この発明は、次の手段を備える３次元ビデオキーシステ
ムである。

【０００７】（ｉ）第ｉの対象物の画像を生成するとと
もに、前記第ｉの対象物の属性情報を生成する第ｉ画像
生成手段（ｉ＝１、２、・・・、ｎ：ただしｎは整数） （ｅ‘）前記第１画像生成手段の属性情報ないし前記第
ｎ画像生成手段の属性情報を相互に比較するとともに、
この比較結果に基づき前記第１の対象物の画像ないし前
記第ｎの対象物の画像を合成する合成手段 この発明は、上記複数の画像生成手段のうちのいずれか
は、次の手段を備える３次元ビデオキーシステムであ
る。

【０００８】（ａ）仮想空間に構成された物体の画像及
び前記画像の属性情報を生成する画像生成手段 この発明は、上記複数の画像生成手段のうちのいずれか
は、次の手段を備える３次元ビデオキーシステムであ
る。

【０００９】（ｂ）現実空間の対象物の画像を取得する
画像取得手段 （ｃ）前記対象物の位置を取得する位置取得手段 （ｄ）前記対象物の位置に基づき前記対象物の属性情報
を生成する属性情報生成手段 この発明は、前記画像の属性情報を前記仮想空間におけ
る前記物体の位置に対応するグレースケールとする３次
元ビデオキーシステムである。

【００１０】この発明は、前記対象物の属性情報を前記
対象物の位置に対応するグレースケールとする３次元ビ
デオキーシステムである。

【００１１】この発明は、前記位置取得手段に、前記対
象物を撮影するカメラと、前記カメラによる画像の輪郭
を求めることにより前記対象物の位置を取得する位置検
出手段とを備える３次元ビデオキーシステムである。

【００１２】この発明は、上記３次元ビデオキーシステ
ムを複数備え、これらを縦続接続した３次元ビデオキー
システムである。

【００１３】３次元ビデオキーシステムとは、３次元仮
想空間と現実空間との位置関係同調システムである。

【００１４】この３次元ビデオキーシステムを２台以上
接続することにより、複数の出力及び画像を得ることも
できる。これにより、仮想空間の複数の画像についても
対象とすることができる。この３次元ビデオキーシステ
ムは２つに限らず、所望の数のシステムを相互接続する
ことができる。この３次元ビデオキーシステムは非常に
柔軟性に富み、縦続接続したり、複数の入力を結合して
複数の出力を生成できる。この３次元ビデオキーシステ
ムは、例えば、ＴＶスタジオのための「バーチャルセッ
ト」にも適用できる。

【００１５】また、対象物の画像を取得する手段と対象
物の位置を取得する手段とは共用されてもよい。これら
の手段が個別に設けられているか、共用されているかは
問題ではなく、要するに、対象物に関する画像情報及び
位置（深さ情報）を取得できればよい。例えば、対象物
の前面に配置されたカメラ（画像を得ることのできる他
のセンサ、例えば、赤外線センサ、超音波センサ、高分
解能レーダがある）、と対象物の上部に配置されたカメ
ラとで構成してもよいし、あるいは、対象物の側面に配
置されたカメラと対象物の上部に配置されたカメラとで
構成してもよい。また、例えば、対象物の位置を取得す
る手段として、画像と位置を取得できるカメラ（レーダ
ーカメラ）を用いてもよい。また、位置取得手段とし
て、あるいは超音波センサ、光センサ等の非接触タイプ
のセンサ、マットスイッチ等の接触タイプのセンサを用
いてもよい。要するに、位置情報を得ることが重要なの
であって、カメラを配置することは本質ではない。

【００１６】前記カメラは、被写体の前面や上部に取り
付けられたり、あるいはこれら以外の場所に取り付けら
れる。

【００１７】前記対象物の位置を求める方法として、画
像の輪郭に基づき求められる方法、例えば、中心、重心
などを求める方法がある。

【００１８】

【発明の実施の形態】

発明の実施の形態１． １．システムの概要 まず、この発明の実施の形態のシステムの概要について
説明する。

【００１９】この発明の実施の形態に係るシステムは
「３次元ビデオキーシステム（３ＤVideo Key Syste
m）」と呼ばれ、画素（ピクセル）高精度深さ分解能で
２つのビデオ信号をいかに結合するかの新しい方法であ
り、深さ情報に基づいて異なる画素で２つのビデオ信号
を統合することができる。

【００２０】入力は２つのビデオ信号の組みであり、一
つは色のためのもので、もう一方は深さのためのもので
あり、グレースケールである。

【００２１】４つの信号が同期信号（sync）にゲンロッ
クされており、このシステムは画素ごとに異なる深さ信
号を比較し、適切な出力信号を選択する優先度を決定す
る。

【００２２】このシステムはどのような数の入力信号に
も拡張できて、どのような数の構成可能な層においても
結果を得られる。

【００２３】さらに、結果の深さ画面を発生させること
もできて、このシステムを縦続接続することもできる。

【００２４】２．システムの用途 この「３次元ビデオキーシステム」の応用、実施、及
び、さらなる用途について説明する。

【００２５】２．１ 博物館、娯楽、教育（edu-tainme
nt）、テーマパーク及びアーケードのリアルタイム・イ
ンタラクティブ・コンピュータ実施 例えば、２つのコンピュータで１つの情景を発生させる
ことができる。ここでは、１つはカラー画面を発生し、
他方は深さ画面を発生する。これら２つの画面をライブ
ビデオカメラから入ってきた人の画面で結合する。人の
深さは異なるシステムにより発生される。「３次元ビデ
オキーシステム」のこのような応用は、すでに、１９９
５年１月に東京都写真美術館で「トランスプラント（Tr
ans Plant）」と呼ばれるインタラクティブコンピュー
タ装置に、ソムラー及びミニョノーにより実施された
（画面が展示されたのみで、装置自体の構成は開示され
なかった）。

【００２６】この「トランスプラント」システムの二重
のセットアップは、１９９５年１１月に京都のＡＴＲ
（Advanced Telecommunications Research）でソムラ
ー及びミニョノーにより、「ＭＩＣ 探検空間（ＭＩＣ
Exploration Space）」と呼ばれるそれらのために
「３次元ビデオキーシステム」を用いて実施された（実
施状況は上記と同様）。

【００２７】「３次元ビデオキーシステム」の他のひと
つの応用は、１９９５年１１月にBiennale de Lyon展
示会で「イントロアクト（Intro Act）」と呼ばれるイ
ンタラクティブコンピュータ装置に実施された（実施状
況は上記と同様）。

【００２８】２．２ バーチャルセット（実際上の装
置） このような「３次元ビデオキーシステム」は、バーチャ
ルセットにも適用できる。コンピュータが発生する情景
に画素高精度及びリアルタイムでＴＶモデレーターを統
合できる。

【００２９】実際のカメラ位置に対して適当な画面用い
ることは、２つのビデオソース、例えば、今まで行われ
ていたように、ハイエンドで高価なグラフィックスーパ
ーコンピュータを用いてリアルタイムで画面を発生する
かわりに、レーザーディスクプレーヤーから戻ってプレ
イされる。

【００３０】２．３ ２つあるいはいくつかのビデオイ
メージのキーイング 「３次元ビデオキーシステム」のための入力ソースとし
て、さらに商業的に重要ないかなるシステムをも使用で
きる。これは与えられたいかなる画面に対する深さ情報
をも提供できる。このように、互いに深さ情報について
いかなるビデオ画面をリアルタイムで「３次元ビデオキ
ー」することができる。

【００３１】これはいかなる数のビデオ画像及び層にも
適用できる。

【００３２】このようにシステムは、システムへの通常
のビデオ入力を結合させることができるので、テレビ会
議、テレビ電話、インラタクティブムービー及びインタ
ラクティブＴＶについて広く用いられることができる。

【００３３】３．システムの詳細説明 次に、具体的な構成例に基づき発明の実施の形態１につ
いて説明する。

【００３４】図１はこの装置の概略ブロック図である。
図２はこの装置の使用状況を説明するための斜視図であ
る。図３はカラー画面の例である。図４はグレースケー
ルマスクの例である。グレースケールマスクの説明は後
述する。図５から図１１は、図１の装置の動作を説明す
るための図である。

【００３５】図１において、プロセッサ１は、図３のカ
ラー画面及び図４のグレースケールマスクにそれぞれ対
応するカラー映像信号９及びグレースケール信号１０を
生成して出力する。カメラ２はＣＣＤカラービデオカメ
ラであり、通常のＮＴＳＣ方式のカラーＴＶ信号を出力
する。カメラ３はＣＣＤモノクロ（赤外線）ビデオカメ
ラであり、観客の赤外線映像信号を出力する。カメラ３
の出力信号はアダプタ４を介して位置検出器５に入力さ
れる。位置検出器（position detector）４は、赤外線
画像に基づき観客の位置座標(x、z)を出力する。キーコ
ントロールモノクロ結合器（Key ＆ Ctrl B&W Mat
e）６は、位置検出器４が出力する位置座標（主にｚ座
標）に基づきその観客のグレースケール値を決定し、こ
のグレースケール値を、カメラ３が出力する観客のカラ
ー映像信号信号に結合させる。このグレースケール値は
観客の画像の属性値となる。カラー映像信号とグレース
ケール値は共に最終キーミキサ（Final key＋mixer）
７に入力される。最終キーミキサ７には、プロセッサ１
からのカラー映像信号９及びグレースケール信号１０も
入力される。最終キーミキサ７は、これら入力信号に基
づき３次元仮想空間に配置された植物等の映像と現実空
間に存在する観客との位置関係を同調させる。この処理
については、後に詳述する。ミキシングされたカラー映
像信号は、プロジェクタ８に入力される。

【００３６】以上、この装置の構成要素間の信号の流れ
について説明したが、次に、これら構成要素の実際の配
置状況について説明する。図２において、部屋内の観客
Ｍは前面のスクリーン１１の方向を向いている。スクリ
ーン１１は観客から見て凹面状になっている。部屋の外
側にはプロジェクタ８が配置され、スクリーン１１に所
定の映像が投影される。この図では、プロセッサ１によ
り生成された多数の仮想的な植物２１が表示されてい
る。また、観客Ｍも、多数の植物群２１の間に表示され
ている。観客Ｍは、あたかも仮想植物群の間を動きまわ
るかのごとく感じる。このように、この装置によれば、
仮想的な空間に表示される植物２１の位置と現実の空間
にいる観客Ｍの位置との対応関係をとるので、仮想空間
内の適切な位置に観客Ｍを投影することができる。

【００３７】カメラ２はスクリーン１１の上部に取り付
けられている。これは、カメラ２が観客Ｍを正面から撮
影できるように、また、観客Ｍがスクリーン１１を見る
ときに邪魔にならないようにするためである。カメラ３
は部屋の上部に設けられている。カメラ３は観客Ｍが部
屋のどの位置にいるのかを検出するためのものであり、
部屋全体又は大部分を視野に納めている。部屋の床１２
は、カメラ３が観客を容易に検出できるように、白色で
ある。以下の説明のために図２の実線のようにｘ，ｙ，
ｚ座標軸を定める。なお、ｚ軸を点線のように定めても
よい。

【００３８】図５はカメラ２の出力画像の例Ｐ１であ
る。図中、Ｍは観客であり、観客Ｍは正面から写されて
いる。

【００３９】図６はカメラ３の出力画像の例Ｐ２であ
る。観客Ｍは真上から写されている。

【００４０】図７は位置検出器５の出力画像の例Ｐ３で
ある。位置検出器５は画像Ｐ２から観客Ｍの位置座標
（例えば、観客Ｍの画像の重心位置）ｘ0、ｙ0を求め
る。

【００４１】図８は、画像Ｐ１に対応するグレースケー
ル値の画像の例Ｐ４である。

【００４２】図９は、最終キーミクサ７の出力画像の例
Ｐ５である。

【００４３】図１０及び図１１は、観客Ｍの位置座標
（ｘ0，ｙ0）とグレースケール値Ｇ（ｘ，ｙ）との関係
を示す特性図である。

【００４４】次に動作について説明する。

【００４５】図１のシステムは３次元ビデオキーシステ
ムを構成する。３次元ビデオキーシステムとは、３次元
仮想空間と現実空間との位置関係同調システムであっ
て、コンピュータにより仮想空間に構成された画像と、
カメラにより撮影された現実の画像とを比較的簡単な処
理により融合するものである。この処理は、コンピュー
タと観客、あるいは、コンピュータを介した観客同士の
間でインタラクティブな画像処理を可能にする。従来の
コンピュータグラフィックス技術においては、３次元仮
想空間において物体を複数のポリゴンで構成し、ある視
点から見たこの物体の画像を生成したが、現実に撮影さ
れた画像との融合について、考慮されていなかった。

【００４６】図１のシステムはグレースケール値を用い
ることにより、比較的簡単に３次元ビデオキーシステム
を構成できる。

【００４７】プロセッサ１は、仮想空間中にさまざまな
画像を生成する。例えば、観客の動きに応じて種類や形
状を変えながら、人工的に植物の画像を生成する（トラ
ンスプラント）。また、それら画像の中に昆虫を表現す
る。ところで、これら植物や昆虫などの表示対象物は３
次元的に生成されるが、表示画像はその視点が固定され
ており、結局、２次元的に表現することができる。そこ
で、プロセッサ１は、表示対象物を２次元的に表現した
画像を生成する。この例が図３の画像Ｐｃである。この
図において、複数の植物の画像２１ａ〜２１ｃが表現さ
れている。これら植物２１ａ〜２１ｃは仮想３次元空間
上に生成されるから、これらを平面画像として表すと図
３のように、それらの奥行きに応じて重ね合わされる。
すなわち、観客Ｍから見て最も奥にある（遠い）植物２
１ｃは、その一部が植物２１ａ，２１ｂにより隠され
る。また、その手前にある植物２１ｂは、その一部が植
物２１ａにより隠される。観客Ｍの最も手前にある（近
い）植物２１ａはどれにも隠されず、その全体が表現さ
れる。このような処理は、例えば、遠いものから順に画
像を描画していき、その上に近いものを塗り重ねること
により簡単に実現できる。また、後述するグレースケー
ル値を用いて描画の制御を行うことにより比較的簡単に
実現できる。このように、プロセッサ１は３次元仮想空
間中の物体を２次元的に表現する。

【００４８】プロセッサ１は、また、図３の画像２１ａ
〜２１ｃそれぞれに対応して、これらの奥行き方向に対
応する画像であるグレースケールマスクを生成する。こ
の例が図４である。この図Ｐｇにおいて、植物２１ａ〜
２１ｃは、その奥行き方向の位置に応じてグレースケー
ル値をもつ。図４において、（植物２１ａのグレースケ
ール値）＜（植物２１ｂのグレースケール値）＜（植物
２１ｃのグレースケール値）である。このグレースケー
ル値は、図１０及び図１１の関係から定められる。図１
０のように、ｘ軸方向のグレースケール値は一定であ
る。これはｘ軸は画面の横方向に対応し、奥行き方向と
直交するからである。一方、図１１のように、ｚ軸方向
のグレースケール値は、その位置ｚに応じて直線的（一
般的にはグレースケールの関数が単調増加あるいは単調
減少であればよい）に変化する。したがって、図３にお
いて失われたｚ軸方向（奥行き方向）の情報は、グレー
スケール値として保存される。なお、植物２１ａ〜２１
ｃは、現実の場合と異なり、１つの植物はすべて同じ位
置にある。したがって、１つの植物はすべて同じグレー
スケール値を持つ。このことにより処理が簡単になる
が、現実の場合に近づけるように、植物の部分ごとに位
置が異なるように、グレースケール値を植物の部分ごと
に対応づけてもよい。

【００４９】図３の画像Ｐｃはカラー映像信号９とし
て、図４の画像Ｐｇはグレースケール信号１０として最
終キーミクサ７に送られる。

【００５０】上述のように、プロセッサ１は仮想空間の
画像を生成するが、カメラ２〜キーコントロールモノク
ロ結合器６は現実空間の観客の画像（カラー画像及びグ
レースケール画像）を生成する。

【００５１】カメラ３は観客Ｍを正面から撮影し、その
カラー画像（図５のＰ１）をキーコントロールモノクロ
結合器６及び最終キーミクサ７にそれぞれ送る。カメラ
３のカラー画像が図３の画像Ｐｃと最終的に合成され
る。

【００５２】カメラ４は観客を真上から撮影し、そのモ
ノクロ画像（図６のＰ２）をアダプタ４に送る。カメラ
４は赤外線カメラであるから、床１２が白色であること
とあいまって観客Ｍのみの画像を得ることができる。他
の物体（他の荷物等）が映らないことは位置検出処理に
おいて有利である。アダプタ４はレベル調整等を行った
後、調整後の信号を位置検出器５に送る。アダプタ４の
出力画像は、例えば、観客Ｍの有無を示すだけのデジタ
ル信号に近いものである。

【００５３】位置検出器５は図６の画像に基づき観客Ｍ
の位置を求める。カメラ４は観客を真上から撮影してい
るから、図７のように観客のｘ，ｚ座標を求めることが
できる。例えば、位置検出器５は観客Ｍのｚ軸方向の長
さ、及び、ｘ軸方向の長さを求め、これらの値に基づき
観客Ｍの像を長方形で囲み、観客Ｍの輪郭を求め、この
長方形（あるいは輪郭）の中心（重心）を観客の中心座
標とする。この座標値はキーコントロールモノクロ結合
器６に送られる。なお、観客が複数の場合でも、それぞ
れの画像を切り出して重心位置を求めることにより対応
することができる。

【００５４】なお、長方形に代えて、ｘ軸，ｚ軸いずれ
かの長さに対応する一定の半径の円で観客Ｍの画像を囲
むようにしてもよい。

【００５５】なお、長方形で囲むことなく、位置検出器
５は観客Ｍの画像（の輪郭）そのものの重心位置（ある
いは中央位置）を求めるようにしてもよい。図６は観客
Ｍの有無を示すデジタル的なものであるから、簡単な算
術演算により重心位置を求めることができる。このよう
に、観客のｘ−ｚ平面における位置（ｘ0，ｚ0）が求め
られる。

【００５６】キーコントロールモノクロ結合器６は、位
置検出器５の位置座標に基づきカメラ２のカラー映像信
号に所定のグレースケール値を対応づける。この処理に
ついて具体的に説明する。先に説明したように、グレー
スケール値はｚ座標にのみ依存するからｘ座標を無視す
る。観客Ｍのｚ座標がｚ0であったとすれば、図１１の
特性図から対応するグレースケール値Ｇ0が得られる。
この特性曲線は、単調増加（あるいは図とは逆に単調減
少）であってｚ座標と１対１の対応がつく限りにおいて
他の曲線を選択することも可能である。また、この特性
曲線は、いわゆるルックアップテーブルにより実現して
も、プロセッサにより関数を演算することにより実現し
てもよい。

【００５７】キーコントロールモノクロ結合器６は、こ
のように得られたグレースケール値Ｇ0を、カメラ２の
カラー映像信号に対応させる。観客Ｍの画像全体にわた
ってグレースケール値Ｇ0をもつ図８の映像Ｐ４が得ら
れる。なお、観客が複数の場合でも、それぞれグレース
ケール値を持たせることができる。

【００５８】最終キーミクサ７は、プロセッサ１が生成
したグレースケール値とキーコントロールモノクロ結合
器６が生成したグレースケール値とを比較しつつ、プロ
セッサ１が生成した仮想空間のカラー映像とカメラ２が
撮影した現実空間のカラー映像とを合成する。先に述べ
たように、グレースケール値は奥行き方向の位置を示す
から、最終キーミクサ７はグレースケール値が小さいほ
ど手前にあると判断し、奥にある画像に重ねて表示す
る。

【００５９】例えば、植物２１ａのグレースケール値を
Ｇａ、植物２１ｂのグレースケール値をＧｂ、植物２１
ｃのグレースケール値をＧｃ、観客Ｍのグレースケール
値をＧ0としたとき、次のような関係があるとする。

【００６０】Ｇａ＜Ｇ0＜Ｇｂ＜Ｇｃ これは観客は植物２１ａと植物２１ｂの間にいることを
意味する。このように、グレースケール値をキーとして
仮想空間と現実空間が対応する。

【００６１】したがって、最終キーミクサ７は、観客Ｍ
を植物２１ｂ，２１ｃの上に重ねて描画するとともに、
植物２１ａをこれらの上に重ねて描画する。この処理に
より図９の画像Ｐ５が得られる。具体的には、描画の際
にグレースケール値を比較し、観客Ｍのグレースケール
値が小さければ描画し、大きければ描画しないように処
理する。

【００６２】プロジェクタ８は、最終キーミクサ７から
映像信号を受け、スクリーン１１に図９のような映像を
投影する。

【００６３】以上のように、この発明の実施の形態１に
よれば、グレースケール値をキーに用いるので、比較的
簡単な処理により仮想空間と現実空間とを対応付けるこ
とが可能である。したがって、コンピュータが生成する
画像とカメラで撮影された画像とをひとつの画面上で自
然に合成することができる。従来はこの種の合成はほと
んど行われていなかったが、この装置により実現可能と
なる。コンピュータと人間との間のインタフェースが向
上するとともに、インタラクティブな会話が可能にな
る。マルチメディアの分野における利用が期待される。

【００６４】なお、以上の説明において、１つの仮想空
間の映像と１つの現実空間の映像とを合成したが、グレ
ースケール値を共通キーとして複数の仮想空間の映像と
１つの現実空間の映像とを合成しても、１つの仮想空間
の映像と複数の現実空間の映像とを合成することができ
る。

【００６５】発明の実施の形態２．発明の実施の形態２
のシステムについて説明する。

【００６６】図１２はこのシステム全体の機能ブロック
図である。プロセッサ１〜プロジェクタ８ａ，８ｂは、
図１で示された同じ符号の構成要素と同一あるいは相当
部分である。図からわかるように、このシステムは、２
つのカメラ２、３及びプロジェクタ８を持っている。

【００６７】図１３はこのシステム全体の構成を示す斜
視図である。図からわかるように、分離された２つの部
屋にそれぞれスクリーン１１ａ，１１ｂとプロジェクタ
８ａ，８ｂを備え、観客Ｍ１、Ｍ２と仮想空間の植物の
画像とが合成される。それぞれのスクリーン１１ａ，１
１ｂには同じ画像が表示されている。観客Ｍ１、Ｍ２は
実施の形態１で説明した方法により、同じ画面上に合成
される。すなわち、仮想空間の植物の画像の中を、観客
Ｍ１の画像Ｍ１‘と観客Ｍ２の画像Ｍ２’とが同時に表
示される。したがって、２つの部屋の距離に関らず、二
人の観客Ｍ１、Ｍ２は、あたかも同じ空間の中に存在し
ているかのように感じることができる。このシステム
は、仮想空間とのインタラクティブ性とともに、現実空
間とのインタラクティブ性をも併せ持つ。

【００６８】図１４はこのシステム全体の他の構成を示
す斜視図である。図１４のシステムとは仮想空間におい
て表現されるものの点で異なる。図１４のシステムでは
仮想空間にはドア、額、テーブル（ｔａｂｌｅ）等が表
現されている。図からわかるように、スクリーン１１
ａ、１１ｂに表示される画像において、観客Ｍ１は手前
に、観客Ｍ２は奥に、彼らの間にテーブルが存在する。
なお、スクリーン１１ｂにおいて観客Ｍ２を手前に表示
するようにしてもよい。

【００６９】図１５及び図１６は、プロセッサ１が生成
するカラー映像Ｐｃとグレースケール映像Ｐｇである。
これらはそれぞれ図３及び図４に相当する。

【００７０】図１７及び図１８は、カメラ２ａ、２ｂが
取得する観客Ｍ１、Ｍ２の映像である。これらはいずれ
も図５に相当する。

【００７１】図１９及び図２０は、カメラ３ａ，３ｂが
取得する観客Ｍ１、Ｍ２を真上から見た赤外線（あるい
は通常の可視光線）映像である。これらはいずれも図６
に相当する。

【００７２】図２１及び図２２は、位置検出器５の動作
を説明するための図である。これらはいずれも図７に相
当する。

【００７３】図２３及び図２４は、最終キーミクサ７の
動作を説明するための図である。これらはいずれも図８
及び図９に相当する。

【００７４】図２５は、最終キーミクサ７で合成された
画像である。この画像信号がプロジェクタ８ａ，８ｂに
供給される。

【００７５】次に動作について説明する。基本的な動作
は実施の形態１の場合と同様である。しかし、２つの現
実空間の座標と１つの仮想空間の座標との同期をとる点
で異なる。以下、この相違点を中心に図１４に基づき説
明する。

【００７６】観客Ｍ１の位置が求められると、実施の形
態１の場合と同様にして観客Ｍ１のグレースケール値Ｇ
M1が得られる。同様に、観客Ｍ２のグレースケール値Ｇ
M2が得られる。

【００７７】例えば、テーブルのグレースケール値をＧ
tableとしたとき、次のような関係があるとする。

【００７８】ＧM1＜Ｇtable＜ＧM2 これは、観客Ｍ１が手前に、観客Ｍ２が奥に、かれらの
間にテーブルがあることを意味する。このように、現実
空間の座標系が複数であってもグレースケール値をキー
として仮想空間と現実空間が対応する。

【００７９】したがって、最終キーミクサ７は、テーブ
ルを観客Ｍ２の上に重ねて描画するとともに、観客Ｍ１
をこれらの上に重ねて描画する。この処理により図１４
の画像が得られる。具体的には、描画の際にグレースケ
ール値を比較し、グレースケール値が小さければ描画
（上書き）し、大きければ描画しないように処理する。

【００８０】以上のように、この発明の実施の形態１に
よれば、グレースケール値を用いて１つの仮想空間と２
つの現実空間との合成を可能にした。

【００８１】なお、図１２は１つのシステムとして構成
した場合を示したが、２つのシステムとして構成し、こ
れらの間を通信回線を用いて接続するようにしてもよ
い。例えば、プロセッサ１、カメラ２ａ，３ａ、位置検
出器５、キーコントロールモノクロ結合器６、最終キー
ミキサ７、プロジェクタ８ａをひとつの装置とし、他
方、カメラ２ｂ，３ｂ、プロジェクタ８ｂをひとつの装
置とし、両者の間をビデオ伝送装置で接続する。あるい
は、位置検出器５、キーコントロールモノクロ結合器６
を２つ設け、キーコントロールモノクロ結合器６と最終
キーミキサ７との間をデジタル伝送装置で接続する。こ
のように構成することにより、例えば、テレビ会議シス
テムにおいて仮想空間と現実空間の同期をとりつつ合成
することが可能になる。

【００８２】発明の実施の形態３．発明の実施の形態３
のシステムについて説明する。上記発明の実施の形態
１、２において、１つのカメラ画像と１つのコンピュー
タ画像とを合成する装置について説明した。この発明は
さらに他の構成をとることができる。

【００８３】カメラ画像は、現実空間画像発生手段のひ
とつである。現実空間画像発生手段とは、なんらかの手
段（スチルカメラ、ムービーカメラ、ビデオカメラ、レ
ーザースキャナ、高分解能レーダセンサ、超音波センサ
等）により実在の物体、人物等の対象に関する二次元あ
るいは三次元情報を得る手段である。

【００８４】コンピュータ画像は、仮想空間画像発生手
段のひとつである。仮想空間画像発生手段とは、なんら
かの手段（コンピュータグラフィックス等）により仮想
空間中に二次元あるいは三次元情報を生成する手段であ
る。

【００８５】図２６は、この発明の実施の形態３の画像
合成システムの機能ブロック図である。現実空間画像発
生手段(REAL PICTURE GENERATOR)５１は画像信号ＰＡ及
び画像合成のための属性信号ＺＡを出力する。仮想空間
画像発生手段(VIRTUAL PICTURE GENERATOR)５２は画像
信号ＰＢ及び画像合成のための属性信号ＺＢを出力す
る。合成手段(SYNTHESIZER)５３は、これら画像信号Ｐ
ＡとＰＢを属性信号ＺＡ，ＺＢに基づき合成し、合成後
の画像信号ＰＣ及び属性信号ＺＣを出力する。合成手段
５３の出力は、例えば、ＣＲＴディスプレイ、液晶ディ
スプレイ、プロジェクタ等のディスプレイ５４に入力さ
れる。なお、ディスプレイ５４の代わりに、あるいはこ
れに加えて、ビデオテープレコーダ、ＤＶＤ等の光ある
いは磁気的作用に基づく媒体に記録するようにしてもよ
い。

【００８６】図２７は、この発明の実施の形態３の他の
画像合成システムの機能ブロック図である。２つの仮想
空間画像発生手段５２ａ，５２ｂを備え、合成手段５３
は、これらの出力を合成する。

【００８７】図２８は、この発明の実施の形態３の他の
画像合成システムの機能ブロック図である。２つの仮想
空間画像発生手段５１ａ，５１ｂを備え、合成手段５３
は、これらの出力を合成する。

【００８８】ところで、図２６〜図２８のシステムを複
数備え、これらを互いに縦続接続することによりシステ
ムを構成してもよい。この種のシステムの一例を図２９
に示す。この図において、合成手段５３ａ〜５３ｃは縦
続接続されている。現実空間画像発生手段５１ａ、仮想
空間画像発生手段５２ａ、合成手段５３ａは、図２６と
同じものである。合成手段５３ｂは、その合成出力と現
実空間画像発生手段５１ｂの出力とを合成する。合成手
段５３ｃは、さらに、その合成出力と仮想空間画像発生
手段５２ｂの出力とを合成する。すなわち、合成手段５
３ａで現実画像と仮想画像とが合成され、合成手段５３
ｂでさらに現実画像が加えられ、合成手段５３ｃでさら
に仮想画像が加えられる。このように、複数の合成手段
を用いることにより多数の仮想画像及び現実画像を合成
することができる。

【００８９】なお、図２９のシステムは３つの合成手段
を示すが、これに限らず、２段、４段、５段、・・・の
合成手段を縦続接続するようにしてもよい。また、現実
空間画像発生手段５１と仮想空間画像発生手段５２の接
続は図２９に限らず、任意である。

【００９０】なお、合成手段間の接続は、ツイストペ
ア、同軸ケーブル、光ファイバのような接続線でもよい
し、電話回線、マイクロ波回線のような通信回線でもよ
い。たとえば、インターネット等のコンピュータネット
ワークを利用してシステムを構成することができる。し
たがって、合成手段の配置は近くでも遠くでもどちらで
もよく、自由である。例えば、合成手段５３ａはある会
社Ａの会議室、合成手段５３ｂは他の会社Ｂの会議室に
設置され、合成手段５３ｃは画像提供会社Ｃに設置され
る。そうすれば、会社Ｃは、会社Ａの出演者と会社Ｂの
出演者とが共演している画像に、さらに所定の背景を追
加した画像を生成して、ユーザーに供給することができ
る。この場合、会社Ａの出演者と会社Ｂの出演者とが同
じ所で会する必要はない。

【００９１】なお、以上の合成手段３の入力は２つであ
ったが、３つ以上でもよい。この場合でもグレースケー
ルを用いることにより、複数の画像を容易に合成するこ
とができる。

【００９２】

【発明の効果】以上のように、この発明によれば、仮想
空間に構成された物体の画像及び前記画像の属性情報を
生成する画像生成手段と、現実空間の対象物の画像を取
得する画像取得手段と、前記対象物の位置を取得する位
置取得手段と、前記対象物の位置に基づき前記対象物の
属性情報を生成する属性情報生成手段と、前記画像の属
性情報と前記対象物の属性情報とを比較するとともに、
この比較結果に基づき前記仮想空間の物体の画像と前記
現実空間の対象物の画像とを合成する合成手段とを備え
るので、仮想空間に構成された物品の画像とカメラ等に
より撮影された現実の物品の画像とを、属性情報をキー
として比較的簡単な処理により融合できる。

【００９３】また、この発明によれば、複数の画像取得
手段、位置取得手段、及び、属性情報手段を備えるの
で、異なる座標系に存在する複数の対象物の画像と仮想
空間に構成された物品の画像とを融合できる。

【図面の簡単な説明】

【図１】この発明の実施の形態１の装置の機能ブロック
図である。

【図２】この発明の実施の形態１の装置の配置を示す斜
視図である。

【図３】この発明の実施の形態１のプロセッサが生成す
るカラー映像である。

【図４】この発明の実施の形態１のプロセッサが生成す
るグレースケール映像である。

【図５】この発明の実施の形態１のカメラが撮影する観
客のカラー映像である。

【図６】この発明の実施の形態１のカメラが撮影する真
上からみた観客の赤外線映像である。

【図７】この発明の実施の形態１の観客の赤外線映像か
らその座標を求める方法の説明図である。

【図８】この発明の実施の形態１の観客のグレースケー
ル映像である。

【図９】この発明の実施の形態１の合成後のカラー映像
である。

【図１０】この発明の実施の形態１のグレースケール特
性の例である。

【図１１】この発明の実施の形態１のグレースケール特
性の例である。

【図１２】この発明の実施の形態２の装置の機能ブロッ
ク図である。

【図１３】この発明の実施の形態２の装置の配置を示す
斜視図である。

【図１４】この発明の実施の形態２の装置の他の配置を
示す斜視図である。

【図１５】この発明の実施の形態２のプロセッサが生成
するカラー映像である。

【図１６】この発明の実施の形態２のプロセッサが生成
するグレースケール映像である。

【図１７】この発明の実施の形態２のカメラが撮影する
観客のカラー映像である。

【図１８】この発明の実施の形態２の他のカメラが撮影
する観客のカラー映像である。

【図１９】この発明の実施の形態２のカメラが撮影する
真上からみた観客の赤外線映像である。

【図２０】この発明の実施の形態２の他のカメラが撮影
する真上からみた観客の赤外線映像である。

【図２１】この発明の実施の形態２の観客の赤外線映像
からその座標を求める方法の説明図である。

【図２２】この発明の実施の形態２の観客の赤外線映像
からその座標を求める方法の説明図である。

【図２３】この発明の実施の形態２の一方の観客のグレ
ースケール映像、及び、この観客を合成後のカラー映像
である。

【図２４】この発明の実施の形態２の他方の観客のグレ
ースケール映像、及び、この観客を合成後のカラー映像
である。

【図２５】この発明の実施の形態２の最終合成後のカラ
ー映像である。

【図２６】この発明の実施の形態３のシステムの機能ブ
ロック図である。

【図２７】この発明の実施の形態３のシステムの他の機
能ブロック図である。

【図２８】この発明の実施の形態３のシステムの他の機
能ブロック図である。

【図２９】この発明の実施の形態３のシステムの他の機
能ブロック図である。

【符号の説明】

１ プロセッサ ２ カメラ ３ カメラ ４ アダプタ ５ 位置検出器 ６ キーコントロールモノクロ結合器 ７ 最終キーミキサ ８ プロジェクタ ９ カラー映像信号 １０ グレースケール信号 １１ スクリーン １２ 床 ５１ 現実空間画像発生手段 ５２ 仮想空間画像発生手段 ５３ 合成手段 ５４ 表示手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ロラン ミニョノー 京都府相楽郡精華町大字乾谷小字砂ヶ谷 118番地 アミティ光台２棟302号

Claims (8)

【特許請求の範囲】
1. 【請求項１】 次の手段を備える３次元ビデオキーシス
   テム。 （１）第１の対象物の画像を生成するとともに、前記第
   １の対象物の属性情報を生成する第１画像生成手段 （２）第２の対象物の画像を生成するとともに、前記第
   ２の対象物の属性情報を生成する第２画像生成手段 （ｅ）前記第１画像生成手段の属性情報と前記第２画像
   生成手段の属性情報とを比較するとともに、この比較結
   果に基づき前記第１の対象物の画像と前記第２の対象物
   の画像とを合成する合成手段
2. 【請求項２】 次の手段を備える３次元ビデオキーシス
   テム。 （ｉ）第ｉの対象物の画像を生成するとともに、前記第
   ｉの対象物の属性情報を生成する第ｉ画像生成手段（ｉ
   ＝１、２、・・・、ｎ：ただしｎは整数） （ｅ‘）前記第１画像生成手段の属性情報ないし前記第
   ｎ画像生成手段の属性情報を相互に比較するとともに、
   この比較結果に基づき前記第１の対象物の画像ないし前
   記第ｎの対象物の画像を合成する合成手段
3. 【請求項３】 請求項１又は請求項２記載の複数の画像
   生成手段のうちのいずれかは、次の手段を備える３次元
   ビデオキーシステム。 （ａ）仮想空間に構成された物体の画像及び前記画像の
   属性情報を生成する画像生成手段
4. 【請求項４】 請求項１又は請求項２記載の複数の画像
   生成手段のうちのいずれかは、次の手段を備える３次元
   ビデオキーシステム。 （ｂ）現実空間の対象物の画像を取得する画像取得手段 （ｃ）前記対象物の位置を取得する位置取得手段 （ｄ）前記対象物の位置に基づき前記対象物の属性情報
   を生成する属性情報生成手段
5. 【請求項５】 前記画像の属性情報を前記仮想空間にお
   ける前記物体の位置に対応するグレースケールとする請
   求項３記載の３次元ビデオキーシステム。
6. 【請求項６】 前記対象物の属性情報を前記対象物の位
   置に対応するグレースケールとする請求項４記載の３次
   元ビデオキーシステム。
7. 【請求項７】 前記位置取得手段に、前記対象物を撮影
   するカメラと、前記カメラによる画像の輪郭を求めるこ
   とにより前記対象物の位置を取得する位置検出手段とを
   備える請求項４記載の３次元ビデオキーシステム。
8. 【請求項８】 請求項１又は請求項２に記載の３次元ビ
   デオキーシステムを複数備え、これらを縦続接続した３
   次元ビデオキーシステム。