JPH05241123A - 画像情報合成方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 電気的処理による画像合成のための専用の装
置を用いずに安価且つ簡便に実画像とコンピュータ画像
とを合成することができる画像情報合成方法及び装置を
提供する。 【構成】 使用者の視界上で、ＣＧ作成用コンピュータ
９０から出力されるコンピュータ画像をテレビカメラ１
２０で撮影される実画像に合成する方法であって、前記
使用者の視線上にハーフミラー５０を配置し、前記使用
者の視線上で、前記ハーフミラー５０を挟んで前記使用
者とは反対側にスクリーン１４０を配置し、前記ハーフ
ミラー５０とスクリーン１４０との一方に前記実画像を
表示させ、前記ハーフミラー５０とスクリーン１４０と
の他方に前記コンピュータ画像を表示させるようにした
ことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビカメラで撮像し
た実画像とコンピュータグラフィック装置により作成さ
れたコンピュータ画像とを合成する方法及び装置に関す
るものである。

【０００２】

【従来の技術】例えば、ビル等の建設予定地における竣
工後の風景を映像で表示する場合には、そのビルの竣工
予定のビル等の画像をコンピュータグラフィック（以
下、ＣＧと略記する）で作成し、建設予定地の風景をテ
レビカメラで撮影して、この２つの画像を合成するのが
一般であり、このようなテレビカメラで撮影した実画像
とＣＧで作成したコンピュータ画像との合成は、例えば
シミュレーションゲーム機等その他の分野でも広く行わ
れている。そして従来、テレビカメラで撮影した実画像
とＣＧで作成したコンピュータ画像との合成は、前記コ
ンピュータ画像のデータにクロマキ処理を施して背景部
分のデータの消去を行い、テレビカメラで撮影した実画
像を一旦ＲＧＢ変換してこのＲＧＢ変換された実画像の
データにクロマキ処理されたコンピュータ画像のデータ
を重ねる等の電気的処理により行われている。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像合成方法では、実画像をＲＧＢ変換したり
ＲＧＢ変換された実画像にコンピュータ画像を電気的処
理により合成するための専用の装置が必要となり、コス
トや装置構成的に不利であるという不具合があった。本
発明は上述の点に鑑みてなされたものであり、電気的処
理による画像合成のための専用の装置を用いずに安価且
つ簡便に実画像とコンピュータ画像とを合成することが
できる画像情報合成方法及び装置を提供することを目的
とする。

【０００４】

【課題を解決するための手段】上記目的を達成するため
に本発明は、使用者の視界上で、コンピュータグラフィ
ック装置から出力されるコンピュータ画像をテレビカメ
ラで撮影される実画像に合成する方法であって、前記使
用者の視線上にハーフミラーを配置し、前記使用者の視
線上で、前記ハーフミラーを挟んで前記使用者とは反対
側にスクリーンを配置し、前記ハーフミラーとスクリー
ンとの一方に前記実画像を表示させ、前記ハーフミラー
とスクリーンとの他方に前記コンピュータ画像を表示さ
せるようにしたことを特徴とする。

【０００５】また、本発明は、前記使用者の頭部の向き
及び位置の変化をセンサで検出し、前記センサの検出結
果に基づいて、前記テレビカメラの撮影領域と前記コン
ピュータ画像の出力領域との少なくとも一方を変化させ
るようにしたことを特徴とする。

【０００６】さらに、本発明は、使用者の視線上に配置
されたハーフミラーと、前記使用者の頭部に装着され、
前記ハーフミラーを前記位置に保持する保持手段と、前
記使用者の頭部の向き及び位置を検出するセンサと、前
記センサの検出結果に基づいて、前記使用者の頭部の向
き及び位置に対応した部分のコンピュータ画像を出力す
るコンピュータグラフィック装置と、前記使用者の頭部
の向き及び位置に対応した所定の撮像領域を撮影するテ
レビカメラと、前記保持手段に保持され、前記コンピュ
ータグラフィック装置から出力されるコンピュータ画像
とテレビカメラで撮影される撮影画像とのうち一方の画
像を表示して前記ハーフミラーに投影する画像表示装置
と、前記使用者の視線上で、前記ハーフミラーを挟んで
前記使用者とは反対側に配置され、前記コンピュータグ
ラフィック装置から出力されるコンピュータ画像とテレ
ビカメラで撮影される撮影画像とのうち他方の画像を表
示するスクリーンとを備えることを特徴とする。

【０００７】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明の一実施例による画像情報合成装置
の表示部分の概略構成を示す側面図、図２は図１中のＡ
矢視図である。図１において１０は保持手段としてのベ
ースマウントであり、図３に示すようにヘルメットＭや
ヘッドバンド（図示せず）等に取着されて使用者の頭部
Ｈに装着されるものである。図１に示すようにこのベー
スマウント１０の上面１１には、前記ヘルメットＭやヘ
ッドバンド等を使用者の頭部Ｈに装着した際に使用者の
両眼Ｅの視線上に位置して使用者の前方を指向するよう
に、画像表示装置としての液晶表示装置３０，３０が、
使用者の視線方向Ｌにスライド可能なスライドフレーム
２０を介して左右に１つずつ倒立状態で配設されてい
る。さらに、前記スライドフレーム２０より前方のベー
スマウント１０には、図１及び図２に示すように２つの
透過窓１５，１５が設けられており、各透過窓１５には
フレネルレンズ６０が嵌着されている。

【０００８】また、図１及び図２に示すように前記ベー
スマウント１０の上面１１には反射ミラー４０が、２つ
の透過窓１５に臨み、且つベースマウント１０に対して
４５°の傾きをなすように設けられている。一方、図１
に示すようにベースマウント１０の下面１３に取着され
たＬ字片１４には、スクリーンとしてのハーフミラー５
０が、２つの透過窓１５に臨むと共に前記ベースマウン
ト１０に対して４５°の傾きをなし、且つ前記反射ミラ
ー４０に対して９０°の傾きをなして使用者の眼Ｅの視
線上に位置するように取着されている。

【０００９】さらに、図１に示すように前記ハーフミラ
ー５０の、使用者の眼Ｅ側とは反対の面には保持片５１
が取着されており、この保持片５１によって、反射ミラ
ー４０で反射されてハーフミラー５０に投影される画像
の輝度を調節するための偏光ガラス７０が、使用者の視
線上に位置するように着脱可能に保持されている。そし
て、使用者の眼Ｅの視線上で、ハーフミラー５０を挟ん
で使用者とは反対側には、後述するＣＧ作成用コンピュ
ータ９０から出力されるコンピュータ画像を表示するス
クリーン１４０が配置されている。

【００１０】尚、前記ヘルメットＭには図３に示すよう
に、例えばＧＰＳ衛星からの電波を受信する受信器や地
磁気センサ、ジャイロ等からなり、ヘルメットＭを装着
した使用者の頭部Ｈの向き及び位置を検出するためのセ
ンサ８０が設けられており、このセンサ８０は後述する
ＣＧ作成用コンピュータ９０の座標設定部９１に有線又
は無線で接続されている。

【００１１】次に、前記左右の液晶表示装置３０，３０
にて映像を表示するための構成の一例を図３に基づいて
説明する。図３において３１は、ＮＴＳＣ方式による映
像信号を受信して前記液晶表示装置３０に表示させる受
信部であり、空中線３２を介して例えば極超短波（ＵＨ
Ｆ）帯域のＮＴＳＣ方式による映像信号を受信するチュ
ーナー（図示せず）を備えている。尚、本実施例では左
右の液晶表示装置３０，３０に対応して、互いに異なる
周波数の映像信号を受信する２組のチューナーが受信部
３１内に設けられている。

【００１２】また、図３において３３は、前記受信部３
１に対応して２つ設けられる送信部であり、各送信部３
３は互いに異なる周波数で前記受信部３１内のチューナ
ーへの送信を行う。また、各送信部３３には夫々、略々
同一の領域を指向性を異ならせて撮像する２台のテレビ
カメラ１０２が１台ずつ接続されており、この２台のテ
レビカメラ１０２は、使用者から離れた位置に設けられ
た雲台１００に載置されている。

【００１３】そして、前記雲台１００には、テレビカメ
ラ１０２，１０２の指向方向及び位置を３次元方向に変
位させるための、例えば歯車群とこれら歯車群を回転駆
動するモータ（いずれも図示せず）等や、雲台１００を
走行且つ回転可能に保持するＸＹＺ軸等からなる駆動装
置１０１が設けられており、さらに、２台のテレビカメ
ラ１０２，１０２の指向方向及び位置を検出するため
の、前記センサ８０と同様の構成によるセンサ１０３が
設けられていて、該センサ１０３は後述するＣＧ作成用
コンピュータ９０の座標設定部９４に有線又は無線で接
続されている。

【００１４】一方、前記スクリーン１４０にて表示され
るコンピュータ画像を出力するコンピュータグラフィッ
ク装置としてのＣＧ作成用コンピュータ９０には、図３
に示すように、前記センサ８０，１０３の検出結果に基
づいて、使用者の頭部Ｈや２台のテレビカメラ１０２，
１０２の向き及び位置を表わす座標値を設定する座標設
定部９１，９４が設けられている。この座標設定部９
１，９４にて設定された２つの座標値は座標比較部９５
にて比較され、この比較結果に基づいて座標比較部９５
は、前記テレビカメラ１０２，１０２の指向方向及び位
置が使用者の頭部Ｈの向き及び位置の変位に追従して変
位するように、前記駆動装置１０１の駆動を制御するた
めの制御信号を生成し、駆動装置１０１に出力する。

【００１５】また、ＣＧ作成用コンピュータ９０は図３
に示すように、コンピュータ画像のデータを保持するＣ
Ｇデータ保持部９６と、座標設定部９４にて設定された
座標値に基づいて、前記ＣＧデータ保持部９６に保持さ
れたコンピュータ画像のデータからスクリーン１４０に
出力する表示領域のデータを抽出し、且つ、抽出された
領域のコンピュータ画像の向き及び大きさを、テレビカ
メラ１０２，１０２の指向方向及び位置、ひいては使用
者の頭部Ｈの向き及び位置に対応したものに変換すると
共に、その変換されたコンピュータ画像を、使用者の左
右の眼Ｅに対応するように、左右に少し指向性をずらし
た２つのコンピュータ画像に変換し、この２つのコンピ
ュータ画像を所定間隔おきに交互に出力する画像変換部
９２と、変換されたコンピュータ画像のデータから、背
景（バックグランド）部分のデータを消去する背景消去
部９３とを備えている。

【００１６】このため、例えば使用者の頭部Ｈの向き乃
至眼Ｅの視線が上下或は左右に動くと、これに呼応して
上下或は左右方向にスクロールしたコンピュータ画像が
画像変換部９２から出力され、使用者の頭部Ｈが前後方
向に動くと、これに呼応して拡大或は縮小したコンピュ
ータ画像が画像変換部９２から出力されて、この出力さ
れたコンピュータ画像から背景部分が背景消去部９３に
て消去されてＣＧ作成用コンピュータ９０の外部に出力
される。また、例えば使用者の頭部Ｈの向き乃至眼Ｅの
視線が上下或は左右に動くと、座標設定部９１にて設定
される座標値が変化するので、これに呼応して座標比較
部９５が駆動装置１０１の駆動を制御する制御信号を生
成、出力し、２つのテレビカメラ１０２の指向方向が使
用者の頭部Ｈの向きの動きに追従して上下或は左右方向
に変化する。

【００１７】尚、前記座標設定部９１，９４には、使用
者の頭部Ｈの向き及び位置によらず任意にコンピュータ
画像や実画像の表示領域を設定するための、例えばマウ
スやトラックボール等からなる座標変更装置９７が接続
されており、この座標変更装置９７には、テレビカメラ
１０２の指向方向を変えてハーフミラー５０に投影され
る実画像の表示領域を任意に設定するか、スクリーン１
４０に表示されるコンピュータ画像の抽出領域、向き、
大きさを任意に設定するか、或はその両方であるかを指
定するスイッチ（不図示）が付設されている。

【００１８】そして、実画像が指定されて座標変更装置
９７が操作された場合には、前記センサ８０の検出結果
に基づいて設定される座標値がキャンセルされて、その
操作に応じた新たな座標値が座標設定部９１にて設定さ
れ、この新たな座標値に基づいて座標比較部９５から出
力される制御信号によって、２つのテレビカメラ１０２
の指向方向が所望の状態に変更されて、ハーフミラー５
０に投影される実画像の表示領域が所望の領域に変化す
る。

【００１９】また、コンピュータ画像が指定されて座標
変更装置９７が操作された場合には、前記センサ１０３
の検出結果に基づいて設定される座標値がキャンセルさ
れて、その操作に応じた新たな座標値が座標設定部９４
にて設定され、この新たな座標値に基づいてコンピュー
タ画像の抽出領域、向き、大きさの変換が画像変換部９
２で行われ、スクリーン１４０に表示されるコンピュー
タ画像の表示領域、向き、大きさが座標変更装置９７の
操作に応じて変化する。

【００２０】このように構成された本実施例の画像情報
合成装置では、２つのテレビカメラ１０２からの左眼用
と右眼用の撮影画像の信号が送信部３３から極超短波で
空中に送信され、空中線３２を介して受信部３１で受信
される。そして、受信された映像信号による左眼用と右
眼用の互いに指向性が異なる撮影画像がそれぞれ左右の
液晶表示装置３０に倒立状態で表示され、液晶表示装置
３０に倒立状態で表示された撮影画像はそれぞれ反射ミ
ラー４０にて反射され、ハーフミラー５０上に正立状態
で投影される。一方、ＣＧ作成用コンピュータ９０から
交互に出力される左眼用と右眼用のコンピュータ画像は
スクリーン１４０に表示される。

【００２１】この場合、使用者の頭部Ｈの向き及び位置
が動くと、それに応じてセンサ８０，１０３の検出結果
や座標設定部９１，９４にて設定される座標値が変り、
コンピュータ画像が座標変換部９２にて上下左右方向に
スクロールされ或は拡大縮小されると共に、テレビカメ
ラ１０２の指向方向が頭部Ｈの動きに追従して変位する
ので、液晶表示装置３０に表示されてハーフミラー５０
上に投影される実画像やスクリーン１４０に表示される
コンピュータ画像の領域が、使用者の頭部Ｈの向き及び
位置、つまり眼Ｅの視線及び視野の変化に追従して変化
する。

【００２２】また、ハーフミラー５０上に投影される合
成画像の大きさはフレネルレンズ６０により拡大され、
ハーフミラー５０上に投影される左眼用と右眼用の合成
画像があたかも使用者の前方例えば１〜５ｍ先にあるよ
うに使用者に視認される。尚、ハーフミラー５０上に投
影される合成画像の輝度は、偏光ガラス７０の偏光度を
任意に選択して保持片５１に保持させることにより所望
の輝度に設定することができる。また、左右の液晶表示
装置３０，３０にて表示されてハーフミラー５０上に投
影される実画像の焦点距離は、前記スライドフレーム２
０をベースマウント１０に対して前記視線方向Ｌへ移動
させることにより適宜調整される。

【００２３】このような構成の画像情報合成装置では、
テレビカメラ１０２で撮影した実画像が使用者の眼Ｅの
視線上に配置されたハーフミラー５０に投影され、この
ハーフミラー５０の向う側の視線上に配置されたスクリ
ーン１４０にＣＧ作成用コンピュータ９０にて作成され
たコンピュータ画像が表示されるので、ハーフミラー５
０を通してスクリーン１４０に表示されたコンピュータ
画像を見ることにより、コンピュータ画像を実画像に重
ねて見ることができ、これら２つの画像を天気的に合成
処理する専用の装置を用いることなく安価且つ簡便に合
成された画像を見ることができる。

【００２４】また、左右の眼Ｅでハーフミラー５０を目
視する使用者の頭部Ｈの向き及び位置が変って視線の向
きや視界が変わると、その変化に追従してコンピュータ
画像やテレビカメラ１０２の撮影画像が変化するので、
使用者の眼Ｅの視線が変わっても、その視線に応じた領
域の実画像とコンピュータ画像とを重ねて見ることがで
きる。しかも、左右の液晶表示装置３０，３０には、使
用者の左右の眼Ｅに対応して互いに若干向きをずらした
撮影画像が表示され、スクリーン１４０には、使用者の
左右の眼Ｅに対応するように、左右に少し指向性をずら
した２つのコンピュータ画像が所定間隔おきに交互に表
示されるので、左右の眼Ｅでハーフミラー５０やその向
こうのスクリーン１４０を目視した使用者は、実画像、
コンピュータ画像共に立体的な３次元映像として見るこ
とができ、より臨場感を増加させることができる。

【００２５】尚、本実施例では、ＣＧ作成用コンピュー
タ９０から交互に出力される、互いに指向性が若干ずれ
た同一部分の２つのコンピュータ画像をスクリーン１４
０で表示させ、２つのテレビカメラ１０２，１０２で撮
影された実画像を２つの液晶表示装置３０，３０にて表
示させる構成としたが、液晶表示装置やテレビカメラ受
信部のチューナー、送信部を各１組と、且つＣＧ作成用
コンピュータ９０から単一のコンピュータ画像を出力さ
せて、所謂モノラル映像を表示するものとしてもよい。

【００２６】また、前記２つのコンピュータ画像を２つ
のＣＧ作成用コンピュータから個別に出力させ、この２
つのコンピュータ画像をスクリーン１４０に同時に表示
させるようにしてもよく、２つのテレビカメラ１０２，
１０２で撮影された実画像を、座標変換部９２による２
つのコンピュータ画像の切り換えのタイミングに同期さ
せて所定間隔おきに切り換えて交互に出力させ、この交
互に出力される２つのテレビカメラ１０２，１０２の撮
影画像を単一の液晶表示装置３０にて表示させるように
してもよい。

【００２７】さらに、２つのテレビカメラ１０２，１０
２で撮影された互いに指向性が異なる２つの実画像を重
畳して単一の液晶表示装置３０に表示させ、この重畳さ
れた実画像をレンティキュラレンズ（図示せず）により
２つの画像に分割してハーフミラー５０に投影させるよ
うにしてもよい。このような構成によっても、使用者は
コンピュータ画像や実画像を立体的な映像として視認す
ることができる。

【００２８】尚、本実施例では液晶表示装置３０を倒立
状態で配設し、反射ミラー４０で反射させた後にハーフ
ミラー５０上に映像を投影する構成としたが、映像を左
右反転させた像で表示する液晶表示装置を用いる場合に
は、反射ミラーを省略して液晶表示装置から直接ハーフ
ミラー上に投影する構成としてもよく、液晶表示装置３
０を２つ設ける場合には、これに対応して反射ミラー４
０及びハーフミラー５０を２つずつ設けてもよい。ま
た、前記ベースマウント１０に設けた透過窓１５にフレ
ネルレンズ６０を嵌着するものとしたが、該フレネルレ
ンズ６０を省略してもよく、スライドフレーム２０はベ
ースマウント１０に対して前記視線方向Ｌへ移動可能で
なくてもよく、テレビカメラ１０２で撮影した実画像を
無線伝送するものとしたが、テレビカメラ１０２から有
線で直接液晶表示装置３０に接続してもよい。

【００２９】さらに、画像表示装置としては小型ブラウ
ン管やその他の表示装置を用いてもよいが、上記実施例
のように液晶表示装置３０を用いれば、小型ブラウン管
やその他の表示装置に比べて重量を軽量化することがで
き、長時間使用した場合の使用者の疲労度を軽減するこ
とが可能となる。加えて、上記実施例ではスクリーンと
してコンピュータ画像を直接表示するものを用いたが、
コンピュータ画像を表示する装置と、該装置に表示され
たコンピュータ画像が投影される投影幕等からなる構成
のものであってもよい。

【００３０】また、上記実施例では、画像変換部９２に
てコンピュータ画像の向き及び大きさを使用者の頭部Ｈ
の向き及び位置に対応したものに変換する際に、テレビ
カメラ１０２，１０２の指向方向及び位置を検出するセ
ンサ１０３の検出結果に基づいて変換を行うものとした
が、使用者の頭部Ｈの向き及び位置を検出するセンサ８
０の検出結果に基づいて変換を行うようにしてもよく、
テレビカメラをヘルメットＭの側部に取り付けて雲台１
００や駆動装置１０１、及び駆動装置１０１の制御用の
構成を省略するようにしてもよい。さらに、ハーフミラ
ー５０に投影される画像とスクリーン１４０に表示され
る画像とを逆とし、コンピュータ画像をハーフミラー５
０に投影させ、実画像をスクリーン１４０に表示させる
ようにしてもよく、実画像は例えばビデオ再生装置から
出力される画像であってもよい。

【００３１】

【発明の効果】以上説明したように本発明によれば、使
用者の視界上で、コンピュータグラフィック装置から出
力されるコンピュータ画像をテレビカメラで撮影される
実画像に合成する方法であって、前記使用者の視線上に
ハーフミラーを配置し、前記使用者の視線上で、前記ハ
ーフミラーを挟んで前記使用者とは反対側にスクリーン
を配置し、前記ハーフミラーとスクリーンとの一方に前
記実画像を表示させ、前記ハーフミラーとスクリーンと
の他方に前記コンピュータ画像を表示させるようにした
ので、電気的処理による画像合成のための専用の装置を
用いずに実画像とコンピュータ画像とを合成することが
でき、画像の合成処理を安価且つ簡便に行うことができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例による画像情報合成装置の表
示部分の概略構成を示す側面図である。

【図２】図１中のＡ矢視図である。

【図３】本発明の一実施例による画像情報合成装置の概
略構成を一部ブロックにて示す説明図である。

【符号の説明】

１０ ベースマウント（保持手段） ３０ 液晶表示装置（画像表示装置） ５０ ハーフミラー ８０ センサ ９０ ＣＧ作成用コンピュータ（コンピュータグラフィ
ック装置） １０２ テレビカメラ １４０ スクリーン Ｅ 眼 Ｈ 頭部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 使用者の視界上で、コンピュータグラフ
   ィック装置から出力されるコンピュータ画像をテレビカ
   メラで撮影される実画像に合成する方法であって、 前記使用者の視線上にハーフミラーを配置し、 前記使用者の視線上で、前記ハーフミラーを挟んで前記
   使用者とは反対側にスクリーンを配置し、 前記ハーフミラーとスクリーンとの一方に前記実画像を
   表示させ、 前記ハーフミラーとスクリーンとの他方に前記コンピュ
   ータ画像を表示させるようにした、 ことを特徴とする画像情報合成方法。
2. 【請求項２】 前記使用者の頭部の向き及び位置の変化
   をセンサで検出し、前記センサの検出結果に基づいて、
   前記テレビカメラの撮影領域と前記コンピュータ画像の
   出力領域との少なくとも一方を変化させるようにしたこ
   とを特徴とする請求項１記載の画像情報合成方法。
3. 【請求項３】 使用者の視線上に配置されたハーフミラ
   ーと、 前記使用者の頭部に装着され、前記ハーフミラーを前記
   位置に保持する保持手段と、 前記使用者の頭部の向き及び位置を検出するセンサと、
   前記センサの検出結果に基づいて、前記使用者の頭部の
   向き及び位置に対応した部分のコンピュータ画像を出力
   するコンピュータグラフィック装置と、 前記使用者の頭部の向き及び位置に対応した所定の撮像
   領域を撮影するテレビカメラと、 前記保持手段に保持され、前記コンピュータグラフィッ
   ク装置から出力されるコンピュータ画像とテレビカメラ
   で撮影される撮影画像とのうち一方の画像を表示して前
   記ハーフミラーに投影する画像表示装置と、 前記使用者の視線上で、前記ハーフミラーを挟んで前記
   使用者とは反対側に配置され、前記コンピュータグラフ
   ィック装置から出力されるコンピュータ画像とテレビカ
   メラで撮影される撮影画像とのうち他方の画像を表示す
   るスクリーンと、 を備えることを特徴とする画像情報合成装置。