JP4211097B2 - 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ＴＶ番組のキャラクタを仮想空間上に飛び出させる、いわゆる「飛び出すテレビ」などに適用して好適な受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置に関する。
【０００２】
詳しくは、点滅パターンの異なる光源画像を受像機の特定位置に表示して、その光源画像の位置から受像機の位置を画像処理系で容易に認識できるようにすると共に、観察者の視聴するＴＶ画像に仮想体の画像を再現性良く立体的に合成できるようにしたものである。
【０００３】
【従来の技術】
近年、バーチャル・リアリティ（仮想現実感）に基づく表示技術の向上に伴い、複数の画像表示面に跨って仮想現実感を観察者に提供するための仮想画像立体合成装置が出現している。
【０００４】
この種の立体表示装置は、特開平９−２３７３５３号の技術文献に見られる。この技術文献によれば、縦横数ｍ程度の大きさの映写空間が設けられ、各々の面に表示装置が配置され、各々の表示装置から恐竜、怪獣や武器などの仮想体の画像が立体表示される。そして、観察者は液晶シャッター付きの眼鏡をかけ、その映写空間に立つと、あたかも、各々の表示装置で表示された仮想体と同じ場所に居るようなされる。
【０００５】
また、観察者が仮想空間上で手にする武器がカメラによって撮像され、その武器の動きによって仮想体が反応するように画像処理されている。これにより、観察者は数千年前の原始時代にタイムスリップして、恐竜退治などをゲーム感覚で行うことができる。
【０００６】
【発明が解決しようとする課題】
ところで、従来方式の物体の位置認識方法によれば、観察者が実空間上で手にする武器などの物体の位置を画像処理系に認識させようとした場合に、その物体を含む背景画像を撮像してその物体の輪郭部を抽出し、予め格納されたその物体に関する基準パターンとその物体の輪郭パターンとを比較している。
【０００７】
従って、その物体の位置だけを画像処理系で認識させて、仮想空間上の物体に仮想体画像などの合成しようとした場合に、その画像処理系のパターン認識に係る計算量が多くなったり、その演算器の負担が重くなる。
【０００８】
これにより、例えば、観察者の視聴する受像機の受信画面上に、ＴＶ番組のキャラクタなどを仮想的に飛び出させ、その仮想空間上の観察者の手のひらでそのキャラクタを遊ばせるような仮想画像立体合成装置を構成しようとしたときに、従来方式のパターン認識方法をそのまま適用すると、画像処理系でその受像機の位置を容易に認識することが困難なことから、そのパターン認識処理が大がかりとなったり、ＴＶ画面を認識するための画像処理が複雑になったり、その時の計算量が多くなったりして、仮想画像立体合成装置などのコストアップにつながるという問題がある。
【０００９】
そこで、本発明は上記の課題に鑑み創作されたものであり、撮像可能な任意の表示画面の位置を画像処理系で容易に認識できるようにすると共に、観察者の視聴するＴＶ画像に仮想体の画像を立体的に合成するためのシステムを再現性よく構築できるようにした受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題は、撮像可能な任意の画面内の特定の位置に、少なくとも、３点以上の光源画像を表示する表示手段と、この表示手段に表示された光源画像を各々点滅パターンが異なるように点滅制御する制御手段とを備える受像機によって解決される。
【００１１】
この発明に係る受像機によれば、当該表示画面内の特定の位置に表示された３点以上の光源画像が、制御手段によってその点滅パターンが異なるように点滅制御されるので、流し撮りＣＣＤ装置のような特殊撮影装置で当該受像機を撮像した場合に、複数の光源画像を一律に点灯した場合に比べてその光源画像の位置を容易に特定することができる。従って、その光源画像の位置から当該受像機の位置を仮想画像立体合成装置などの画像処理系に容易に認識させることができる。
【００１２】
本発明に係る受像機の位置認識装置は、各画素を構成する複数の光電変換素子を有した二次元撮像デバイスが使用され、光電変換素子から得られた信号電荷を所定の方向に転送するとき、少なくとも、同一フィールド期間中に複数回、光電変換素子から信号電荷を読み出す撮影モードを流し撮りとしたとき、点滅パターンが異なる複数の光源画像を画面内の特定の位置に表示した受像機を流し撮りする撮像手段と、この撮像手段による光源画像の輝度信号を画像処理して光源画像の各々の位置を求める演算手段とを備え、受像機の位置を認識するものである。
【００１３】
この発明の受像機の位置認識装置によれば、所定の撮像方向に流すように撮像された光源画像の点滅パターンに関して、その点滅パターンに係る輝度情報が画像処理されてその光源画像の位置が演算手段によって求められるので、その光源画像の位置を容易に特定することができる。従って、その光源画像の位置から受像機の位置を画像処理系に容易に認識させることができる。
【００１４】
本発明に係る受像機の第１の位置認識方法は、撮像可能な任意の画面内の特定の位置に点滅パターンが異なる３点以上の光源画像を表示し、点滅パターンの異なった光源画像を所定の撮像方向に流すように撮像し、ここで撮像された光源画像の輝度情報を画像処理して光源画像の各々の位置情報を求めるものである。
【００１５】
この発明の第１の位置認識方法によれば、光源画像の位置を容易に特定することができるので、その光源画像の位置から受像機の位置を画像処理系で容易に認識することができる。従って、受像機の表示画面を精度良く認識させることができるので、この位置認識方法を仮想画像立体合成装置の面認識手段などに十分に応用することができる。
【００１６】
本発明に係る受像機の第２の位置認識方法は、受像機の表示画面内に、少なくとも、白地に黒で表示されたｎ行×ｎ列の白黒マトリクスから成る２次元マトリクスコード画像を表示し、その二次元マトリクスコード画像を撮像し、ここで撮像された二次元マトリクスコード画像による輝度信号を画像処理して二次元マトリクスコード画像の四隅の位置情報を求めるものである。
【００１７】
この発明の第２の位置認識方法によれば、二次元マトリクスコード画像の四隅の位置情報から受像機の位置を画像処理系に容易に認識させることできる。従って、受像機の表示画面を精度良く認識させることができるので、この位置認識方法を仮想画像立体合成装置の面認識手段などに十分に応用することができる。
【００１８】
本発明の第１の仮想画像立体合成装置は、各画素を構成する複数の光電変換素子を有した二次元撮像デバイスが使用され、光電変換素子から得られた信号電荷を所定の方向に転送するとき、少なくとも、同一フィールド期間中に複数回、光電変換素子から信号電荷を読み出す撮影モードを流し撮りとしたとき、観察者の視聴する受像機の表示画面上で任意の基準面を認識する面認識手段と、この面認識手段により認識された仮想空間の基準面上に仮想体の画像を合成する合成手段とを備え、
面認識手段は、点滅パターンが異なるように点滅する３点以上の光源画像を画面内の特定の位置に表示した受像機であって、仮想体の画像を合成しようとする受像機を流し撮りする撮像手段と、この撮像手段による光源画像の点滅パターンの輝度信号を画像処理して光源画像の３点の位置を求め、その後、３点の光源画像の位置を結んで基準面を求める演算手段とを有し、観察者の視聴するＴＶ画像に仮想体の画像を立体的に合成するものである。
【００１９】
この発明の第１の仮想画像立体合成装置によれば、本発明に係る受像機の第１の位置認識方法が応用されるので、光源画像の位置から受像機の位置を画像処理系に容易に認識させることができる。従って、受像機の表示画面を精度良く認識させることができるので、観察者の視聴するＴＶ画像に仮想体の画像を再現性良く立体的に合成することができる。例えば、受像機に表示されたＴＶ画像から、あたかも、仮想体が飛び出すような立体画像システムを構築することができる。
【００２０】
本発明の第２の仮想画像立体合成装置は、観察者の視聴する受像機の表示画面上で任意の基準面を認識する面認識手段と、この面認識手段により認識された仮想空間の基準面上に仮想体の画像を合成する合成手段とを備え、面認識手段は、仮想体の画像を合成しようとする受像機の表示画面内に表示される、白地に黒で表示されたｎ行×ｎ列の白黒マトリクスから成る二次元マトリクスコード画像を撮像する撮像手段と、この撮像手段により撮像された二次元マトリクスコード画像の輝度信号を画像処理して二次元マトリクスコード画像の四隅の位置情報を求める演算手段を有し、観察者の視聴するＴＶ画像に仮想体の画像を立体的に合成するものである。
【００２１】
この発明の第２の仮想画像立体合成装置によれば、本発明に係る受像機の第２の位置認識方法が応用されるので、二次元マトリクスコード画像の四隅の位置情報から受像機の位置を画像処理系に容易に認識させることができる。従って、受像機の表示画面を精度良く認識させることができるので、第１の仮想画像立体合成装置と同様にして観察者の視聴するＴＶ画像に仮想体の画像を再現性良く立体的に合成することができる。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての受像機、その位置認識装置、その位置認識方法及び仮想画像立体表示装置について説明をする。
（１）実施形態としての受像機
図１は本発明に係る実施形態としての受像機１００の構成例を示す正面図である。この実施形態では、点滅パターンの異なる光源画像を受像機の特定位置に表示し、その光源画像の位置から受像機の位置を仮想画像立体合成装置などの画像処理系で容易に認識できるようにしたものである。
【００２３】
図１に示す受像機１００は撮像可能な任意の画面を有した表示手段１を備えている。この表示手段１には陰極線管（以下ＣＲＴ１’という）、液晶表示パネル、プラズマ・ディスプレイパネル及び平面表示パネルなどが使用される。もちろん、受像機１００はカラー表示形式又は白黒表示形式であり、ＴＶ放送を受信して画像を表示したり、ビデオ信号を受けて画像を表示するものである。これらの受像機１００の画面内であって、少なくとも、その画面内の特定の位置に３点以上の光源画像が表示される。
【００２４】
この例では、表示手段１の表示映像画面の四隅に矩形状の光源画像ＬＰ１〜ＬＰ４が表示される。この光源画像ＬＰ１〜ＬＰ４は予めＴＶ放送局側で送信画像に重畳して送る方法が考えられるが、受信機側でそのカラー映像信号に重畳する方法も考えられる。ここでは、後者の場合であって表示手段１にＣＲＴ１’を使用する場合について説明をする。
【００２５】
図２に示す受像機１００はＣＲＴ１’、画像処理手段９及び制御手段６を有している。例えば、画像処理手段９には映像検波回路９１が設けられ、図示しない前段の映像中間増幅回路から出力されたカラー映像中間信号Ｓinからカラー映像信号ＳＣが検出される。この映像検波回路９１の出力段には加算回路９２が接続され、カラー映像信号ＳＣの所定表示期間に点滅パターンの異なる光源画像信号ＳＰｉ（ｉ＝１〜４）を加算するようになされる。
【００２６】
つまり、加算回路９２の入力段には制御手段６が接続され、ＣＲＴ１’の画面内に表示される光源画像ＬＰ１〜ＬＰ４を各々点滅パターンが異なるように点滅制御される。この例の制御手段６は光源画像発生部６１を有しており、所定周波数のパルス状の光源画像信号ＳＰ１が発生される。光源画像信号ＳＰ１は３０〜５０Ｈｚを除いた低域の周波数が好ましい。これは、３０〜５０Ｈｚで点滅する光では、観察者が光てんかん発作を引き起こすおそれがあるからである。
【００２７】
この光源画像発生部６１には１／２分周回路６２、１／３分周回路６３、１／４分周回路６４が接続されており、所定周波数の光源画像信号ＳＰ１と、この光源画像信号ＳＰ１を１／２分周回路６２で１／２分周した光源画像信号ＳＰ２と、１／３分周回路６３で１／３分周した光源画像信号ＳＰ３と、１／４分周回路６４で１／４分周した光源画像信号ＳＰ４とが出力される。
【００２８】
この光源画像発生部６１、１／２分周回路６２、１／３分周回路６３及び１／４分周回路６４の出力段には出力回路６５が接続され、垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、各々の光源画像信号ＳＰ１〜４を選択して加算回路９２に出力するようになされている。
【００２９】
この加算回路９２の出力段には、映像増幅回路９３が接続され、カラー映像信号ＳＣの所定表示期間に加算された点滅パターンの異なる光源画像信号ＳＰｉが増幅される。この加算回路９２は図２の破線で示すように映像増幅回路９３の出力段に接続してもよい。映像増幅回路９３の出力段にはカラー処理回路９４及び走査処理回路９５が接続されている。カラー処理回路９４では、カラー映像信号ＳＣ及び光源画像信号ＳＰｉが所定の階調処理などが施された後に、ＣＲＴ１’のカソード及びグリッドに駆動電圧ＶＫ、ＶＧとなって供給される。
【００３０】
また、映像増幅回路９３に接続された走査処理回路９５では同期信号ＳＳが検出され、１周期が１６．６ｍｓecの垂直同期信号ＳＶ及び１周期６３μsecが水平同期信号ＳＨが上述の出力回路６５に出力される。更に、この垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて発生した水平偏向電圧ＶＶ、垂直偏向電圧ＶＨが偏水平・垂直向コイルに供給され、同様にして発生した高電圧ＶＨＨがＣＲＴ１’のアノードに供給される。
【００３１】
これにより、ＣＲＴ１’に表示された任意の受信画面上に光源画像ＰＬｉを合成表示することができ、光源画像ＰＬｉを点滅させることができる。この例では、特定の波長Ｘの可視光が光源画像ＰＬｉから放出される状態、又は、それが放出されない状態を作ることができる。
【００３２】
この可視光は人間の目では認識できないような色差にすることが好ましい。例えば、光源画像ＰＬｉが点滅される位置に、ｘ，ｙマトリクスフィルムを貼るようにする。このフィルムにはガルバゾール及びその誘導体などから成る透過域変動高分子材料を使用するよい。例えば、この種の緑色のフィルムを通った特定の波長の光は、人間の目には緑一色に見えるが、流し撮りＣＣＤ装置のような特殊は撮像装置で特定の透過帯域の薄膜フィルタ３７を通すと、この光を検出することができる（図９参照）。従って、光源画像を３０〜５０Ｈｚで点滅させても、上述の光てんかん発作を防止することができる。
【００３３】
続いて、受像機１００の光源画像信号の挿入時の動作例を説明する。図３は光源画像信号ＳＰｉの発生例を示す波形図であり、図４はカラー映像信号ＳＣに対する光源画像信号ＳＰｉ、ＳＰｊの重畳例を示す波形図である。
【００３４】
この例では、受像機１００のＣＲＴ１’で表示される上下の５ラインの左右数画素を使用して光源画像ＬＰｉを表示する場合であって、カラー映像信号ＳＣの１水平期間の両縁に光源画像信号ＳＰｉ（ｉ＝１，３）、ＳＰｊ（ｊ＝２，４）を重畳する場合を想定する。例えば、ＮＴＣＳ方式で走査線が５２５本の場合であって、飛越走査方式の場合に、奇数フレームの第１、第３及び第５ラインの左端部に光源画像ＬＰ１を表示し、同じラインの右端部に光源画像ＬＰ２を表示する。その第５２１、第５２３及び第５２５ラインの左端部に光源画像ＬＰ３を表示し、同じラインの右端部に光源画像ＬＰ４を表示する。
【００３５】
また、偶数フレームのラインの第２及び第４ラインの左端部に光源画像ＬＰ１を表示し、同じラインの右端部に光源画像ＬＰ２を表示する。その第５２２及び第５２４ラインの左端部に光源画像ＬＰ３を表示し、同じラインの右端部に光源画像ＬＰ４を表示する。
【００３６】
この前提条件の下に、上述の制御手段６では、１垂直期間の奇数フレームにおいて、第１、第３及び第５ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、数画素の表示に対応した時間間隔で光源画像信号ＳＰ１を選択した後に、その１水平期間の終了直前に光源画像信号ＳＰ２を選択する。この結果で、図４に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ１を重畳することができ、その右縁側に光源画像信号ＳＰ２を重畳することができる。従って、図１に示す表示画面の左上端に光源画像ＬＰ１を表示することができ、その右上端に光源画像ＬＰ１を表示することができる。
【００３７】
また、その奇数フレームの第５２１、第５２３及び第５２５ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、上述したように光源画像信号ＳＰ３を選択した後に光源画像信号ＳＰ４を選択する。この結果で、図４に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ３を重畳することができ、その右縁側に光源画像信号ＳＰ４を重畳することができる。従って、図１に示す表示画面の左下端に光源画像ＬＰ３を表示することができ、その右下端に光源画像ＬＰ４を表示することができる。
【００３８】
更に、１垂直期間の偶数フレームにおいて、第２及び第４ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、光源画像信号ＳＰ１を選択した後に光源画像信号ＳＰ２を選択するので、図４に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ１を重畳することができ、その右縁側に光源画像信号ＳＰ２を重畳することができる。従って、図１に示す表示画面の左上端に光源画像ＬＰ１を表示することができ、その右上端に光源画像ＬＰ１を表示することができる。
【００３９】
また、その偶数フレームの第５２２及び第５２４ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、光源画像信号ＳＰ３を選択した後に光源画像信号ＳＰ４を選択するので、図４に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ３を重畳することができ、その右縁側に光源画像信号ＳＰ４を重畳することができる。従って、図１に示す表示画面の左下端に光源画像ＬＰ３を表示することができ、その右下端に光源画像ＬＰ４を表示することができる。
【００４０】
このように、本実施の形態に係る受像機１００によれば、ＣＲＴ１’の表示画面内の四隅に表示された光源画像ＬＰｉが、制御手段６によってその点滅パターンを異ならせるように点滅制御されるので、その光源画像ＰＬ１〜４の位置を容易に特定することができる。
【００４１】
従って、当該受像機１００で、観察者の視聴する任意の受信画面上に予め光源画像ＰＬ１〜４を合成表示するようになされたときに、その受像機１００に表示された光源画像ＰＬ１〜４を流し撮りＣＣＤのような特殊撮影装置で所定の撮像方向に流すように撮像した場合に、その４つの光源画像ＰＬ１〜４を一律に点灯した場合に比べてその光源画像ＰＬ１〜４の位置を容易に特定することができる。
これにより、その光源画像ＰＬ１〜４の位置から当該受像機１００の表示画面の位置を仮想画像立体合成装置などの画像処理系に容易に認識させることができる。
【００４２】
（２）第１の実施形態
図５は第１の実施形態としての受像機の位置認識装置を応用した仮想画像立体合成装置２００の構成例を示す斜視図である。この実施形態では、点滅パターンの異なる光源画像を受像機１００の特定位置に表示し、その光源画像の位置から受像機１００の位置を画像処理系に認識させて、観察者の視聴するＴＶ画像に仮想体の画像を再現性良く立体的に合成できるようにしたものである。
【００４３】
図５に示す仮想画像立体合成装置２００は観察者の聴取するテレビ画像に、ＴＶ番組のキャラクタなどの仮想体画像を立体的に合成表示する装置である。この仮想画像立体合成装置２００は基準面設定用の受像機１００及び特殊グラストロン２を有している。この受像機１００は例えば観察者が視聴できる位置であって、特殊グラストロン２の撮影範囲内に入るように配置される。この受像機１００は仮想体の画像を合成しようとする基準面を提供するために、図１で説明したように画面内の四隅に予め光源画像ＬＰｉが表示される。
【００４４】
この例では、３Ｄポリゴン１０を飛び出せようとするＴＶ画面の４つの点Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとするＴＶ画面の位置に相当する）。この４個の光源画像ＰＬ１〜４は、そのマーク部としての機能を発揮するために、つまり、受像機１００で表示位置が明らかになるように、図３で説明したように点滅パターンが異なるように表示される。
【００４５】
この光源画像ＰＬ１〜４は特殊グラストロン２内の流し撮りＣＣＤ装置２３により、所定の流し撮像方向に流すように撮像される。この流し撮りは４個の光源画像ＰＬ１〜４の表示位置からＴＶ画面を特定するためである。このＴＶ画面の特定については図１１及び図１２で説明をする。
【００４６】
この特殊グラストロン２の本体部２１内には画像処理装置３が設けられ、流し撮りＣＣＤ装置２３から出力された画像データに基づいて光源画像ＬＰｉを含んだＴＶ画面などを認識する画像処理がなされる。この本体部２１にはベルト２２が取付けられ、眼鏡をかけるように本体部２１が観察者の顔面に装着されると共に、その観察者の頭部外周部に沿ってベルト２２が固定される。
【００４７】
特殊グラストロン２には画像処理装置３の他に流し撮りＣＣＤ装置２３及び表示手段２４が設けられている。特殊グラストロン２の機種によっては通常のＣＣＤ撮像装置２５が設けられる。この基準面設定用の受像機１００に表示された４個の光源画像ＰＬｉ、流し撮りＣＣＤ装置２３及び画像処理装置３によって面認識手段が構成され、観察者の視聴する受像機１００の表示画面を認識できるようになされている。この面認識手段には本発明に係る受像機１００の位置認識装置（以下位置認識機構４という）が適用される。
【００４８】
この位置認識機構４の主要部を成す流し撮りＣＣＤ装置２３では、受像機１００の画面内の四隅で、点滅パターンが異なるように表示された光源画像ＬＰｉを所定の撮像方向に流すように撮像される。ここで、流し撮りとは、流し撮りＣＣＤ装置２３において、同一フィールド期間中に複数回、光電変換素子（フォトダイオードなど）から信号電荷を読み出す撮影モードをいう。
【００４９】
この例で流し撮りＣＣＤ装置２３として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りＣＣＤ装置２３として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【００５０】
上述の画像処理装置３には表示手段２４が接続され、位置認識機構４により認識されたＴＶ画面が表示される。この特殊グラストロン２内には偏光ビームスプリッタなどの光学手段が設けられる場合があり、表示手段２４によって表示された仮想空間のＴＶ画面上で仮想体の画像が合成される。この例では、実空間上のＴＶ画面の属する位置に、あたかも、仮想体としての３Ｄポリゴン（雪だるま）１０が存在するようになされている。
【００５１】
図６に示す特殊グラストロン２は非透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２３と、第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７とを有している。
【００５２】
つまり、観察者の眉間に相当する位置には、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置２３とが並べて配置され、前者によって観察者の視聴する受像機１００のテレビ画像が撮像され、後者によって受像機１００の４個の光源画像ＰＬ１〜４が流し撮りされる。従って、観察者が基準面設定用の受像機１００に目を向けると、そのＴＶ画面の方向に流し撮りＣＣＤ装置２３が向くようになる。
【００５３】
そして、特殊グラストロン２内の観察者の右目に相対する位置にはＬＣＤ２６が取付けられ、例えば、通常のＣＣＤ撮像装置２５により撮影した観察者の受像機１００による受信画像と、予め準備された映像ソフトによる３Ｄポリゴン１０の画像とを合成したステレオ画像の一方が表示される。
【００５４】
また、その観察者の左目に相対する位置にはＬＣＤ２７が取付けられ、上述の受像機１００と、３Ｄポリゴン１０の画像と合成したステレオ画像の他方が表示される。この特殊グラストロン２は観察者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが観察者の眼球に導くようになされている。これにより、観察者の属する背景像と３Ｄポリゴン１０とは頭の中で合成される。
【００５５】
図７に示す特殊グラストロン２０は透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５は搭載されていない。従って、透過型のヘッドマウントディスプレイは、流し撮りＣＣＤ装置２３と、外界像取り込み用の液晶シャッタ２８と、画像表示素子としてのＬＣＤ２９を有している。
【００５６】
例えば、観察者の眉間に相当する位置には、流し撮りＣＣＤ装置２３が配置され、観察者が基準面設定用の受像機１００に目を向けると、受像機１００の４個の光源画像ＰＬ１〜４が流し撮りされる。そして、観察者の左目及び右目に相当する位置には液晶シャッタ２８が設けられ、例えば、液晶シャッタ２８が開かれると、その液晶シャッタ２８を通過した観察者が視聴する受像機１００の受信画像（実像）が直接眼球に導かれる。
【００５７】
また、特殊グラストロン２内の観察者の左目又は右目の脇に位置する部分には、ＬＣＤ２９が取付けられ、上述の特殊グラストロン２と同様にしてキャラクタ画像が表示される。図示しないが、液晶シャッタ２８と、ＬＣＤ２９との間には偏光ビームスプリッタなどの光学手段が設けられ、観察者の受像機１００の実像と、３Ｄポリゴン１０の画像とが観察者の眼球に導くようになされている。これにより、観察者の属する背景像と３Ｄポリゴン１０とが頭の中で合成される。
【００５８】
続いて、インターライン転送方式の流し撮りＣＣＤ装置２３の内部構成について説明する。図８に示す流し撮りＣＣＤ装置２３は基板３１を有している。その基板３１上には、１画素を構成する光電変換素子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されている。
【００５９】
この基板の列方向には電荷転送部としてｍ本の垂直転送部３２が設けられ、フォトダイオードＰＨｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に基づいて垂直方向（流し撮り方向）に転送される。この垂直転送部３２には水平転送部３３が接続され、その信号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転送されるので、出力端子３４に流し撮り信号ＳOUTが出力される。この例では、流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードＰＨｉｊから垂直転送部３２に信号電荷が読み出される。
【００６０】
また、流し撮りＣＣＤ装置２３は図９に示す魚眼レンズ３５を有している。魚眼レンズ３５は例えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼レンズ３５によって、観察者が視聴する基準面設定用の受像機１００などを広範囲に撮像できるようになされている。もちろん、通常のレンズでも構わないが、視野が狭くなるので、観察者は受像機１００に向けてより多く頭部を傾けなければならない。
【００６１】
この例では、魚眼レンズ３５の前面に薄膜フィルタ３７が取付けられ、ＣＲＴ１’の表示画面の４つの光源画像ＰＬ１〜４から放出される特定波長Ｘの光が取り込まれ、ＣＣＤ撮像素子３６に導くようになされる。このフィルタ３７はＩＲフィルタのようなものである。フィルタ３７はＴｉＯ２膜又はＳｉＯ２膜を多層に積み上げた構造を有しており、その一層の厚みを制御することで、赤色、緑色、青色などを通す光透過帯域（透過率対波長）を自由に設定できるようになされている。
【００６２】
実際のテレビではＣＲＴ１’の表面から微細ながら赤外線や紫外線が放出されている。この赤外線や紫外線によって光源画像ＰＬｉから放出される光の波長帯域が変動する。この例では、光源画像ＰＬｉが点滅される位置に、ｘ，ｙマトリクスフィルムを貼って使用される。このｘ，ｙマトリクスフィルムには上述した透過域変動高分子材料が使用される。この材料は電圧及び電流が変化することで波長帯域が変動するものである。
【００６３】
上述の流し撮りＣＣＤ装置２３に薄膜フィルタを使用したり、ＣＲＴ１’にｘ，ｙマトリクスフィルムを使用する場合には、ＣＲＴ１’（又はＬＣＤ）の色調誤差と薄膜フィルタの製造バラツキによるフィルタ特性との色のキャリブレーションを行う必要がある。この合わせ込みには、例えば、光源画像ＰＬｉをデフォルト色で表示して、流し撮りＣＣＤ装置２３で光源画像ＰＬｉによる光を受光できるか否かを検出する。
【００６４】
その光源画像ＰＬｉによる光が受光できる場合には、そのデフォルト色による光を撮像し、この光源画像ＰＬｉによる光が受光できない場合には、そのデフォルト色を変更する。そして、変更した色の光を撮像し、その光源画像ＰＬｉによる光が受光できた場合には、その変更後の色による光を撮像するようにする。
【００６５】
これにより、人間の目では認識できないような色差の可視光であって上述の特定の波長Ｘに近い波長の光で、流し撮りＣＣＤ装置に取り付けられた薄膜フィルタの透過帯域から外れた光を光源画像ＰＬｉから放出させることができる。観察者の光てんかん発作を防止できる。
【００６６】
続いて、非透過型の特殊グラストロン２の回路構成について説明する。図１０に示す特殊グラストロン２は上述した流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び画像処理装置３を有している。
【００６７】
この画像処理装置３は内部バス４１を有している。内部バス４１には内部インタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７、Ｅ²ＰＲＯＭ（電気的な書き込み及び消去が可能な読み出し専用メモリ）４８及び外部インタフェース４９が接続されている。流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７は内部インタフェース４２を介して内部バス４１に接続される。
【００６８】
この内部バス４１には記録媒体としてＥ²ＰＲＯＭ４８が接続され、観察者の聴取するテレビ画像に３Ｄポリゴン１０の画像を立体的に合成するアルゴリズムが格納されている。例えば、Ｅ²ＰＲＯＭ４８には、観察者の視聴する表示画面上で任意に設定されたＴＶ画面を撮像して仮想空間上にそのＴＶ画面を表示すると共に、その仮想空間上に３Ｄポリゴン１０の画像を重ね合わせて合成するアルゴリズムが格納される。従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上のＴＶ画面を認識することができる。
【００６９】
これにより、実空間上のＴＶ画面の属する位置に、あたかも、３Ｄポリゴン１０が存在するように画像処理することができるので、バーチャルキャラクタ育成ゲーム装置などの仮想画像立体合成装置２００を再現性良く構成することができる。
【００７０】
この例では、内部バス４１に外部インタフェース４９が接続されている。この外部インタフェース４９には外部入力端子４１０が設けられ、ＲＳ−２３２Ｃ通信プロトコルによるビデオ信号やデジタル放送信号などが入力できるようになされている。この外部入力端子４１０の他には、他の機能装置、例えば、３Ｄ映像処理装置などに接続できる外部入力端子４１１が設けられ、Ｅ²ＰＲＯＭ４８などには格納されていない、例えば、ＴＶ放送時のキャラクタ画像を３Ｄ映像加工処理した後のステレオ画像が供給される。
【００７１】
更に、内部バス４１にはＲＯＭ４６が接続され、この仮想画像立体合成装置２００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムやキャラクタ画像を表示する表示情報が一時記録される。また、内部バス４１にはＣＰＵ４５が接続され、内部インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ²ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６及びＬＣＤ２７の入出力の制御が行われる。
【００７２】
この内部インタフェース４２には演算手段として画像処理部４４が接続され、例えば、図１に示したＴＶ画面認識用の４つの光源画像ＰＬ１〜４を含む受像機１００の受信画面が通常のＣＣＤ撮像装置２５で撮像されると、この撮像装置２５から得られた画像データが、ＣＰＵ４５の制御命令と共に内部インタフェース４２を介して、画像処理部４４に取り込まれる。この画像処理部４４で所定の画像処理がなされ、再び、内部インタフェース４２を介して特殊グラストロン２内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【００７３】
また、内部インタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、流し撮りＣＣＤ装置２３から入力した４つの光源画像ＰＬ１〜４に係る点滅パターンの画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。
【００７４】
この画像キャプチャ部４３には内部バス４１を介して画像処理部４４が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、観察者の視聴するＴＶ画面が求められる。これにより、所定の撮像方向に流すように撮像された光源画像ＰＬ１〜４の点滅パターンに関して、その点滅パターンに係る輝度信号ＳOUTが画像処理部４４で画像処理され、その光源画像ＰＬ１〜４の位置が求められるので、その光源画像ＰＬ１〜４の位置を容易に特定することができる。
【００７５】
例えば、画像処理部４４では流し撮りＣＣＤ装置２３から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関して、図１１に示すウインドウＷにより画定された画像領域内で、４つの流し撮り輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。この４つの輝点Ｐ１〜Ｐ４は観察者が視聴する受像機１００の基準面設定用の４つの光源画像ＰＬ１〜４である。実空間上の受像機１００の４つの光源画像ＰＬ１〜４の位置座標は既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。
【００７６】
従って、上述の実空間上のＴＶ画面は４つの光源画像ＰＬ１〜４の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には（１）式なる関係がある。
【００７７】
【数１】

【００７８】
但し、ａ１・・・・ａ８は未知の係数でＣＣＤ撮像装置２５などの外部パラメータ（位置と方向）及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解くことにより得られる。
【００７９】
【数２】

【００８０】
ここで得られた４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を結ぶことにより、図１１に示した実空間上のＴＶ画面が認識される。
【００８１】
具体的には、図１２に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、画像処理部４４によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる４つの位置が検出され、この４つの位置に対応するＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４が求められる。また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められる。
【００８２】
ここで、実空間上の４つの光源画像ＰＬ１〜４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの光源画像ＰＬ１〜４の位置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉとし、その４つの光源画像ＰＬ１〜４のＬＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクトルをＴとすると、（３）式、すなわち、
Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３）
但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）
という関係がある。従って、通常のＣＣＤ撮像装置２５の回転マトリクスＲとその移動ベクトルＴとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上のＴＶ画面にキャラクタ画像を合成することができる。
【００８３】
次に、本発明に係る受像機１００の第１の位置認識方法に関して仮想画像立体合成装置２００の動作を説明する。この例では、観察者の聴取する受像機１００のテレビ画像（３Ｄポリゴンの二次元画像表示）に３Ｄポリゴン１０の画像を立体的に合成する場合であって、その受像機１００の表示画面内に４つの光源画像ＰＬ１〜４が所定の点滅パターンで表示されている場合を想定する。
【００８４】
例えば、観察者は図６に示した特殊グラストロン２を頭部に装着する。そして、図１３に示すフローチャートのステップＡ１で観察者は受像機１００をオンし、特殊グラストロン２の流し撮りＣＣＤ装置２３を受像機１００の表示画面に向けることで、３Ｄポリゴン１０の画像を合成しようとする基準面（ＴＶ画面）が設定される。
【００８５】
次に、ステップＡ２において、一方で通常のＣＣＤ撮像装置２５を使用して実空間上のＴＶ画面を撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示する。他方で、流し撮りＣＣＤ装置２３を使用して実空間上のＴＶ画面を流し撮りする。例えば、３Ｄポリゴン１０の画像を合成させようとするＴＶ画面の四隅に表示された４つの光源画像ＰＬ１〜４が、点滅パターンを異ならせるように表示されているので、その点滅パターンが所定の撮像方向に流すように撮像される。
【００８６】
その後、ステップＡ３で観察者の視聴する受像機１００のＴＶ画面を認識するために画像処理する。画像処理部４４では、例えば、図１４に示すサブルーチンをコールしてステップＢ１でビデオキャプチャ処理を実行する。その後、ステップＢ２で受像機１００の四隅の光源画像ＰＬ１〜４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された４つの光源画像ＰＬ１〜４による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【００８７】
その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの光源画像ＰＬ１〜４の取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことによりＴＶ画面の位置が求められる。そして、ステップＢ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３とＴＶ画面との位置関係が検出される。
【００８８】
その後、図１３に示すメインルーチンのステップＡ４にリターンして仮想空間のＴＶ画面上に３Ｄポリゴン１０の画像を重ね合わせて合成する。このとき、観察者が装着した特殊グラストロン２では、ＬＣＤ２６による受像機１００の受信画像と３Ｄポリゴン１０の画像とを合成したステレオ画像の一方が観察者の右の眼球に導くようになされる。ＬＣＤ２７による受像機１００の受信画像と３Ｄポリゴン１０の画像とを合成したステレオ画像の他方が観察者の左の眼球に導くようになされる。
【００８９】
従って、図１５に示す観察者３０の視聴する受像機１００の受信画面上では３Ｄポリゴン１０’の二次元画像が表示されているだけであるのに、図１６に示す仮想空間ではその受信画面から外部へ３Ｄポリゴン１０を出現させることができる。この例では、雪だるまの３Ｄポリゴン１０の他に、雪の３Ｄポリゴン１０Ａなども観察者３０に降り注ぐようになされる。
【００９０】
つまり、観察者３０の視聴する受像機１００の受信画像と、仮想空間上に出現した雪だるまなどの３Ｄポリゴン１０が頭の中で合成されるので、実空間上のＴＶ画面の中に二次元表示されている雪だるまが、３Ｄポリゴン１０の雪だるまとなって画面外へ、あたかも、飛び出すような画像を立体的に合成することができる。
【００９１】
このように、本実施形態としての受像機１００の位置認識方法を応用した仮想画像立体合成装置２００によれば、観察者の聴取するテレビ画像に３Ｄポリゴン１０の画像を立体的に合成する際に、４つの光源画像ＰＬ１〜４による点滅パターンを位置認識機構４により流し撮りすることによって、観察者の視聴する受像機１００のＴＶ画面を容易に、しかも、少ない計算量で画像処理装置３に認識させることができる。
【００９２】
従って、観察者の視聴する受像機１００のＴＶ画面上に、あたかも、ＴＶ番組のキャラクタなどを飛び出させ、観察者の手のひらで遊ばせるような「飛び出すテレビシステム」や、「バーチャルキャラクタ育成ゲーム装置」などの立体画像システムを再現性よく構成することができる。これと共に、これらの立体画像システムのコストダウンを図ることができる。
【００９３】
また、光源画像ＰＬ１〜４の発光位置にｘ，ｙマトリクスフィルムを取り付けることにより、通常のＴＶ映像に関する情報とは別に、光源画像ＰＬ１〜４の点滅パターンを制御することができる。
【００９４】
（３）第２の実施形態
図１７は第２の実施形態の仮想画像立体合成装置で使用する受像機３００の構成例を示す正面図である。この実施形態では、４つの光源画像ＰＬ１〜４に代わって、図１７に示す二次元バーコード画像５０を表示手段１に表示して受像機３００のＴＶ画面の位置が認識されるものである。もちろん、観察者は図６又は図７に示した特殊グラストロン２又は２０を装着することが前提となる。
【００９５】
この例の受像機３００は飛越走査方式で、１フレーム（１／３０ｓｅｃ）毎に、図１７に示す２次元マトリクスコード画像５０を表示するものである。この２次元マトリクスコード画像５０は実空間上の受像機１００のＴＶ画面の位置を認識するために使用される。２次元バーコード画像５０は少なくとも、白地に黒で表示されたｎ行×ｍ列の白黒マトリクスから成る。
【００９６】
この二次元バーコード画像５０は流し撮りＣＣＤ装置２３に代わって図６に示した通常のＣＣＤ撮像装置２５で撮像される。この撮像装置２５の出力段には、図１０で説明したような画像処理装置３が接続される。その画像処理装置３には演算手段が設けられ、ＣＣＤ撮像装置２５から出力された撮像信号（輝度信号）を画像処理して二次元マトリクスコード画像５０から受像機３００のＴＶ画面の位置が求められる。
【００９７】
例えば、画像処理部４４では前処理が施される。この処理では、まず、取得画像が適当な閾値で２値化される。バーコード画像部分は白と黒の市松模様状に表示されているので、固定閾値によって、かなり安定的に背景画像とコード画像領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。２次元バーコード画像５０はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード画像領域部が含まれている可能性の低い背景画像（領域）は除去するようになされる。
【００９８】
その後、前処理の結果得られた連結領域の各要素に対してバーコード画像枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、市松模様の領域を探索し、その市松模様の輪郭部の点列を得る。この点列に対して最小二乗法で線分を当てはめることにより、当該二次元バーコード画像５０を認識する。
【００９９】
上述のＴＶ画面は長方形の二次元バーコード画像５０の四隅の４頂点を、正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の受像機３００の表示画面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施形態で説明した（１）式と同様な関係がある。
【０１００】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０１０１】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶ面が実空間上の受像機３００のＴＶ画面の位置となる。これにより、二次元マトリクスコード画像５０の四隅の位置情報から受像機３００の位置を画像処理装置３などに容易に認識させることができる（第２の位置認識方法）。
【０１０２】
なお、受像機３００の二次元バーコード画像５０はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図１８に示す仮想空間上の二次元バーコード画像５０の四隅の位置座標から正立方体５１を作成することができるので、その正立方体５１に３Ｄポリゴン１０などを合成することができる（第２の仮想画像立体合成装置）。
【０１０３】
このように、本実施形態としての受像機３００によれば、ＣＲＴ１’の表示画面内に表示された二次元バーコード画像５０が通常の撮像装置２５で撮像されるので、観察者の聴取するテレビ画像に３Ｄポリゴン１０の画像を立体的に合成する際に、二次元バーコード画像５０を通常撮影することによっても、第１の実施形態と同様に観察者の視聴する受像機３００のＴＶ画面の位置を容易に、しかも、少ない計算量で認識することができる。
【０１０４】
従って、第１の実施形態と同様に観察者の属する実空間上のＴＶ画面の属する位置に、あたかも、ＴＶ番組のキャラクタなどを飛び出させ、観察者の手のひらで遊ばせるような「飛び出すテレビシステム」や、「バーチャルキャラクタ育成ゲーム装置」などの立体画像システムを再現性よく構築することができる。
【０１０５】
この実施形態では、受像機３００の画面全体に二次元バーコード画像５０を表示する場合について説明したが、これに限られることはなく、その表示画面内の任意の位置であって、輪郭部が最初から正方形に形成されたｎ×ｎ列の市松模様状の二次元バーコード画像を１フレーム毎に表示するようにしてもよい。
【０１０６】
この実施形態では、受像機１００及び受像機３００上に雪だるまの３Ｄポリゴン１０を出現させる場合について説明したが、これに限られることはなく、台座ポリゴンや、光、炎、あるいは、氷のポリゴンであっても、更に、鎧のようなポリゴンを出現させる場合であってもよい。
【０１０７】
また、図１７に示す二次元バーコード画像５０をｘ，ｙマトリクスフィルムで出力すると、通常のＴＶ映像に関する情報とは別に画像処理することができる。
【０１０８】
（４）飛び出すテレビシステムの構成例
図１９Ａ〜図１９Ｃは各実施形態の仮想画像立体合成装置が適用される「飛び出すテレビシステム」の構成例を示すブロック図である。このシステムはＴＶ放送画像に基づいてステレオ画像を作成し、特殊グラストロン２に出力するものである。
【０１０９】
図１９Ａに示す第１の飛び出すテレビシステム４０１では受像機１００に３Ｄ映像処理装置７０が接続され、ＴＶ放送局から受信した映像を受像機１００で表示すると共に、受像機１００で表示された画像と同じ画像に関する映像信号Ｄinが３Ｄ映像処理装置７０に出力される。
【０１１０】
この３Ｄ映像処理装置７０では、その受像機１００から飛び出させようとする３Ｄポリゴンなどのキャラクタ映像に関して、特殊グラストロン２の右眼及び左眼表示用のＬＣＤに供給するためのステレオ画像が映像信号Ｄinに基づいて生成される。この例では、３Ｄ映像処理装置７０と特殊グラストロン２とは、ＲＳー２３２通信プロトコルに基づく通信線で接続して使用される。これにより、通常のＣＣＤ撮像装置により撮影した受像機１００による受信画像と、３Ｄ映像処理装置７０による３Ｄポリゴンなどのキャラクタ画像とを特殊グラストロン２によって合成することができる。
【０１１１】
図１９Ｂに示す第２の飛び出すテレビシステム４０２では、受像機１００に接続された３Ｄ映像処理装置７０に赤外線送信部７１が設けられ、その受像機１００から飛び出させようとする３Ｄポリゴンなどのステレオ画像が、赤外線によって、特殊グラストロン２に伝送するようになされている。従って、この特殊グラストロン２には赤外線受信部７２が設けられ、３Ｄ映像処理装置７０からのステレオ画像が受信される。
【０１１２】
これにより、第１の飛び出すテレビシステム４０１と同様にして受像機１００による受信画像と、３Ｄ映像処理装置７０による３Ｄキャラクタ画像とを特殊グラストロン２によって合成することができる。これに加えて、煩わしい通信線などが不要となる。
【０１１３】
図１９Ｃに示す第３の飛び出すテレビシステム４０３では、受像機１００に接続された３Ｄ映像処理装置７０に無線送信部７３が設けられ、その受像機１００から飛び出させようとする３Ｄポリゴンなどのステレオ画像が、無線電波によって、特殊グラストロン２に伝送するようになされている。従って、無線送信部７３にはアンテナ７４が取付けられ、特殊グラストロン２には受信アンテナ７５及び無線受信部７６が設けられ、３Ｄ映像処理装置７０からのステレオ画像が受信される。
【０１１４】
これにより、第１及び第２の飛び出すテレビシステム４０１、４０２と同様にして受像機１００による受信画像と、３Ｄ映像処理装置７０による３Ｄキャラクタ画像とを特殊グラストロン２によって合成することができる。これに加えて、第２の飛び出すテレビシステム４０２と同様にして煩わしい通信線などが不要となる。
【０１１５】
（５）飛び出すテレビシステムの他の構成例
図２０Ａ〜図２０Ｃは各実施形態の仮想画像立体合成装置が適用される「飛び出すテレビシステム」の他の構成例を示すブロック図である。このシステムは各種の映像ソフトを受像機１００に出力すると共に、この映像ソフトに基づいてステレオ画像を作成し、特殊グラストロン２に出力するものである。
【０１１６】
図２０Ａに示す第１の飛び出すテレビシステム５０１では受像機１００に映像再生装置４００が接続され、アニメーション映画、戦闘映画などの各種の映像ソフトを記録したＣＤ−ＲＯＭが再生される。映像再生装置４００にはプレイ・ステーション（ソニー（株）：商標名）などを使用する。この映像再生装置４００から受像機１００へ再生情報Ｄin１が出力されて戦闘映画などが表示される。
【０１１７】
また、映像再生装置４００には３Ｄ映像処理装置８０が接続され、受像機１００で表示されている戦闘映画と同じ再生情報（信号形式が異なる場合がある）Ｄin２を得て、その受像機１００から飛び出させようとする戦闘機などの３Ｄ映像に関して、特殊グラストロン２の右眼及び左眼表示用のＬＣＤに供給するためのステレオ画像が生成される。
【０１１８】
この例では、３Ｄ映像処理装置８０と特殊グラストロン２とは、上述した飛び出すテレビシステム４０１と同様にして、ＲＳ−２３２通信プロトコルに基づく通信線で接続して使用される。これにより、通常のＣＣＤ撮像装置により撮影した受像機１００による戦闘画像と、３Ｄ映像処理装置８０による戦闘機の３Ｄ画像とを特殊グラストロン２によって合成することができる。これにより、仮想空間上で、あたかも、戦闘機が観察者に襲いかかるような映像効果を得ることができる。
【０１１９】
図２０Ｂに示す第２の飛び出すテレビシステム５０２では、映像再生装置４００に接続された３Ｄ映像処理装置８０に赤外線送信部８１が設けられ、その受像機１００から飛び出させようとする戦闘機の３Ｄ映像などのステレオ画像が、上述した飛び出すテレビシステム４０２と同様にして赤外線によって、特殊グラストロン２に伝送するようになされている。従って、この特殊グラストロン２には赤外線受信部８２が設けられ、３Ｄ映像処理装置８０からのステレオ画像が受信される。
【０１２０】
これにより、第１の飛び出すテレビシステム５０１と同様にして受像機１００による戦闘画像と、３Ｄ映像処理装置８０による戦闘機の３Ｄ画像とを特殊グラストロン２によって合成することができる。これに加えて、煩わしい通信線などが不要となる。
【０１２１】
図２０Ｃに示す第３の飛び出すテレビシステム５０３では、映像再生装置４００に接続された３Ｄ映像処理装置８０に無線送信部８３が設けられ、その受像機１００から飛び出させようとする戦闘機などの３Ｄ画像のステレオ画像が、無線電波によって、特殊グラストロン２に伝送するようになされている。従って、無線送信部８３にはアンテナ８４が取付けられ、特殊グラストロン２には受信アンテナ８５及び無線受信部８６が設けられ、３Ｄ映像処理装置８０からのステレオ画像が受信される。
【０１２２】
これにより、第１及び第２の飛び出すテレビシステム５０１、５０２と同様にして受像機１００による戦闘画像と、３Ｄ映像処理装置８０による戦闘機の３Ｄ画像とを特殊グラストロン２によって合成することができる。これに加えて、第２の飛び出すテレビシステム５０２と同様にして煩わしい通信線などが不要となる。
【０１２３】
なお、各実施形態では非透過型の特殊グラストロン２又は透過型の特殊グラストロン２０を使用する場合について説明したが、これに限られることはなく、透過型と非透過型を切換え可能な兼用タイプの特殊グラストロンを用いても、もちろん構わない。
【０１２４】
また、各実施形態では、単に３Ｄポリゴン１０又は戦闘機の３Ｄ映像をＴＶ画面上に仮想的に飛び出させる場合について説明したが、これに限られることはなく、特殊グラストロン２、又は、特殊グラストロン２０にスピーカーを取り付け、３Ｄポリゴン１０又は戦闘機がＴＶ画面上に飛び出すときに擬声音などを鳴らしたり、その後、３Ｄポリゴン１０又は戦闘機の搭乗員が何かを喋るようにしてもよい。
【０１２５】
この実施形態の仮想画像立体合成装置２００は、特開平１０−１２３４５３号、特開平９−３０４７２７号、特開平９−３０４７３０号、特開平９−２１１３７４号、特開平８−１６０３４８号、特開平８−９４９６０号、特開平７−３２５２６５号、特開平７−２７０７１４号及び特開平７−６７０５５号に記載される透過型のヘッドマウントディスプレイに適用することができる。
【０１２６】
この実施形態では流し撮りＣＣＤ２３に関してインターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【０１２７】
【発明の効果】
以上説明したように、本発明に係る受像機によれば、当該画面内の特定の位置に表示された３点以上の光源画像を点滅表示制御する制御手段が設けられるものである。
【０１２８】
この構成によって、流し撮りＣＣＤのような特殊撮影装置で当該画面を撮像した場合に、複数の光源画像の点灯パターンを同一にした場合に比べてその光源画像の位置を容易に特定することができる。従って、その光源画像の位置から当該受像機の位置を画像処理系に容易に認識させることができる。
【０１２９】
本発明の受像機の位置認識装置によれば、所定の撮像方向に流すように撮像された光源画像の点滅パターンに関して、その点滅パターンに係る輝度情報を画像処理して光源画像の位置を求める演算手段が設けられるものである。
【０１３０】
この構成によって、その光源画像の位置を容易に特定することができるので、その光源画像の位置から受像機の位置を画像処理系で容易に認識することができる。
【０１３１】
本発明の受像機の第１の位置認識方法によれば、点滅パターンの異なった光源画像を所定の撮像方向に流すように撮像した後に、その光源画像の輝度情報を画像処理して光源画像の各々の位置情報を求めるものである。
【０１３２】
この構成によって、光源画像の位置を容易に特定することができるので、その光源画像の位置から受像機の位置を画像処理系で容易に認識することができる。従って、受像機を精度良く認識することができるので、この位置認識方法を仮想画像立体合成装置の面認識手段などに十分に応用することができる。
【０１３３】
本発明の受像機の第２の位置認識方法によれば、受像機の任意の表示画像の特定の表示期間内に表示された二次元マトリクスコード画像を撮像した後に、その二次元マトリクスコード画像の輝度情報を画像処理してその二次元マトリクスコード画像の四隅の位置情報を求めるものである。
【０１３４】
この構成によって、二次元マトリクスコード画像の四隅の位置情報から受像機の位置を画像処理系に容易に認識させることできる。従って、受像機を精度良く認識することができるので、この位置認識方法を仮想画像立体合成装置の面認識手段などに十分に応用することができる。
【０１３５】
本発明の第１の仮想画像立体合成装置によれば、本発明に係る第１の位置認識方法が応用されるので、当該受像機に表示された光源画像の位置を容易に特定することができる。従って、この光源画像の位置から受像機の位置を画像処理系に容易に認識させることができる。これにより、受像機の表示画面を精度良く認識させることができるので、観察者の視聴するＴＶ画像に仮想体の画像を再現性良く立体的に合成することができる。
【０１３６】
本発明の第２の仮想画像立体合成装置によれば、本発明に係る第２の位置認識方法が応用されるので、当該受像機に表示された二次元マトリクスコード画像の四隅の位置情報を容易に取得することができる。従って、この二次元マトリクスコード画像の四隅の位置情報から受像機の位置を画像処理系に容易に認識させることができる。これにより、受像機の表示画面を精度良く認識させることができるので、第１の仮想画像立体合成装置と同様にして観察者の視聴するＴＶ画像に仮想体の画像を再現性良く立体的に合成することができる。
【０１３７】
この発明は、ＴＶ番組のキャラクタを仮想空間上に飛び出させる、いわゆる「飛び出すテレビ」などに適用して極めて好適である。
【図面の簡単な説明】
【図１】本発明に係る実施形態としての受像機１００の構成例を示す正面図である。
【図２】その受像機１００の内部構成例を示すブロック図である。
【図３】その制御手段６で発生する光源画像信号ＳＰ１〜４の波形例を示すイメージ図である。
【図４】映像信号ＳＣに対する光源画像信号ＳＰｉ、ＳＰｊの重畳例を示す波形図である。
【図５】第１の実施形態としての受像機の位置認識装置を応用した仮想画像立体合成装置２００の構成例を示す斜視図である。
【図６】仮想画像立体合成装置２００で使用する特殊グラストロン２の構成例を示す正面から見た概念図である。
【図７】仮想画像立体合成装置２００で使用する他の特殊グラストロン２０の構成例を示す正面から見た概念図である。
【図８】その特殊グラストロン２の流し撮りＣＣＤ装置２３の内部構成例を示す平面図である。
【図９】その流し撮りＣＣＤ装置２３の光学系の構成例を示す断面図である。
【図１０】その特殊グラストロン２の内部構成例を示すブロック図である。
【図１１】その受像機１００のＴＶ画面の通常画像例を示すイメージ図である。
【図１２】その受像機１００のＴＶ画面の位置座標の算出例を示す模式図である。
【図１３】仮想画像立体合成装置２００の動作例（その１）を示すメインルーチンのフローチャートである。
【図１４】仮想画像立体合成装置２００の動作例（その２）を示すサブルーチンのフローチャートである。
【図１５】実空間上の受像機１００を視聴する観察者（特殊グラストロン２の非装着時）３０の実像例を示すイメージ図である。
【図１６】仮想空間上の受像機１００を視聴する観察者（特殊グラストロン２の装着時）３０の仮想画像例を示すイメージ図である。
【図１７】第２の実施形態で使用する受像機３００の２次元バーコード画像５０の一例を示す正面図である。
【図１８】その２次元バーコード画像５０上の３Ｄポリゴン１０の合成例を示す斜視図である。
【図１９】Ａは飛び出すテレビシステム４０１の構成例、Ｂは飛び出すテレビシステム４０２の構成例、Ｃは飛び出すテレビシステム４０３の構成例を各々示すブロック図である。
【図２０】Ａは飛び出す他のテレビシステム５０１の構成例、Ｂは飛び出す他のテレビシステム５０２の構成例、Ｃは飛び出す他のテレビシステム５０３の構成例を各々示すブロック図である。
【符号の説明】
１，２４・・・表示手段、２，２０・・・特殊グラストロン（合成手段）、３・・・画像処理装置、４・・・位置認識機構（面認識手段）、６・・・制御手段、９・・・画像処理手段、１０・・・３Ｄポリゴン、２３・・・流し撮りＣＣＤ装置（撮像手段）、２５・・・ＣＣＤ撮像装置、２６・・・右眼表示用のＬＣＤ（第１の画像表示素子）、２７・・・左眼表示用のＬＣＤ（第２の画像表示素子）、３２・・・垂直転送部（電荷転送部）、３３・・・水平転送部、４４・・・画像処理部（演算手段）、５０・・・２次元バーコード画像、８０・・・３Ｄ映像処理装置、１００，３００・・・受像機、２００・・仮想画像立体表示装置、４００・・・映像再生装置、４０１〜４０３，５０１〜５０３・・・飛び出すテレビシステム

Claims (20)

1. 撮像可能な任意の画面内の特定の位置に、少なくとも、３点以上の光源画像を表示する表示手段と、
   前記表示手段に表示された光源画像を各々点滅パターンが異なるように点滅制御する制御手段とを備える受像機。
2. 前記表示手段が設けられる場合であって、
   前記表示手段に表示された任意の受信画面上に前記光源画像を合成表示する画像処理手段が設けられる請求項１に記載の受像機。
3. 前記表示手段に光源画像を表示する場合であって、
   前記光源画像の表示部分の画面上に任意の透過特性のフィルムが取付けられ、
   前記光源画像から放出される光の特定の波長を通すようになされた請求項１に記載の受像機。
4. 各画素を構成する複数の光電変換素子を有した二次元撮像デバイスが使用され、前記光電変換素子から得られた信号電荷を所定の方向に転送するとき、少なくとも、同一フィールド期間中に複数回、前記光電変換素子から前記信号電荷を読み出す撮影モードを流し撮りとしたとき、
   点滅パターンが異なる複数の光源画像を画面内の特定の位置に表示した受像機を前記流し撮りする撮像手段と、
   前記撮像手段による前記光源画像の輝度信号を画像処理して前記光源画像の各々の位置を求める演算手段とを備え、
   前記受像機の位置を認識する受像機の位置認識装置。
5. 前記受像機の画面を撮像する撮像手段が設けられる場合であって、
   前記撮像手段は、
   前記受像機の任意の受信画面上に前記光源画像を合成表示するようになされたときに、
   前記受像機に表示された前記光源画像を流し撮りする請求項４に記載の受像機の位置認識装置。
6. 前記撮像手段及び演算手段が設けられる場合であって、
   前記演算手段は、
   前記撮像手段による輝度信号の点滅パターンに関して、複数の輝点を含むＸＹ平面を成す空間的な配置パターンに変換し、
   前記配置パターン上を走査して、少なくとも、複数の位置座標を求めるようになされた請求項４に記載の受像機の位置認識装置。
7. 前記演算手段は、
   複数の輝点を含むＸＹ平面を成す配置パターン上で流し撮像方向をＹ軸とし、該Ｙ軸に直交する軸をＸ軸としたときに、
   前記流し撮像方向に輝度信号値を加算してＸ軸上にプロットし、
   前記Ｘ軸上にプロットされた輝度信号値が最大となる位置を検出して複数のＸ座標値を求め、かつ、
   前記配置パターン上でＹ軸方向に走査したときに、
   前記流し撮像方向に並んだ複数の輝点のうち、最初に発光した輝点位置を各々Ｘ座標値に対応したＹ座標値として求める請求項４に記載の受像機の位置認識装置。
8. 前記光源画像を撮像する撮像手段が設けられる場合であって、
   前記撮像手段の受光面側に任意の透過特性の薄膜フィルタが取付けられ、
   前記光源画像から放出された光を前記薄膜フィルタを通して撮像するようになされた請求項４に記載の受像機の位置認識装置。
9. 撮像可能な任意の画面内の特定の位置に点滅パターンが異なる３点以上の光源画像を表示し、
   前記点滅パターンの異なった光源画像を所定の撮像方向に流すように撮像し、
   撮像された前記光源画像の輝度情報を画像処理して前記光源画像の各々の位置情報を求める受像機の位置認識方法。
10. 受像機の表示画面内に、少なくとも、白地に黒で表示されたｎ行×ｎ列の白黒マトリクスから成る２次元マトリクスコード画像を表示し、
    前記二次元マトリクスコード画像を撮像し、
    撮像された前記二次元マトリクスコード画像による輝度信号を画像処理して前記二次元マトリクスコード画像の四隅の位置情報を求める受像機の位置認識方法。
11. 各画素を構成する複数の光電変換素子を有した二次元撮像デバイスが使用され、前記光電変換素子から得られた信号電荷を所定の方向に転送するとき、少なくとも、同一フィールド期間中に複数回、前記光電変換素子から前記信号電荷を読み出す撮影モードを流し撮りとしたとき、
    観察者の視聴する受像機の表示画面上で任意の基準面を認識する面認識手段と、
    前記面認識手段により認識された仮想空間の基準面上に仮想体の画像を合成する合成手段とを備え、
    前記面認識手段は、
    点滅パターンが異なるように点滅する３点以上の光源画像を画面内の特定の位置に表示した受像機であって、仮想体の画像を合成しようとする受像機を前記流し撮りする撮像手段と、
    前記撮像手段による光源画像の点滅パターンの輝度信号を画像処理して前記光源画像の３点の位置を求め、その後、前記３点の光源画像の位置を結んで基準面を求める演算手段とを有し、
    観察者の視聴するＴＶ画像に仮想体の画像を立体的に合成する仮想画像立体合成装置。
12. 前記合成手段は、
    観察者の視聴する受像機のＴＶ画像を撮像する撮像手段と、
    前記撮像手段によるＴＶ画像と予め準備された仮想体の画像と合成した右眼表示用のステレオ画像を表示する第１の画像表示素子と、
    前記撮像手段によるＴＶ画像と予め準備された仮想体の画像と合成した左眼表示用のステレオ画像を表示する第２の画像表示素子とを有したヘッドマウントディスプレイであり、
    前記ヘッドマウントディスプレイは、観察者の顔面又は頭部に装着され、
    前記第１の画像表示素子による右眼表示用のステレオ画像と、前記第２の画像表示素子による左眼表示用のステレオ画像とを重ね合わせて観察者の眼球に導くようになされた請求項１１に記載の仮想画像立体合成装置。
13. 前記合成手段は、
    観察者の視聴する受像機のＴＶ画像を取り込むために入射光の開閉をする液晶シャッタと、
    前記外界像に合成するための仮想体の画像を表示する画像表示素子と、
    前記画像表示素子による仮想体の画像と、前記液晶シャッタを通過した前記受像機のＴＶ画像とをその観察者の眼球に導く光学手段とを有したヘッドマウントディスプレイであり、
    前記ヘッドマウントディスプレイは、観察者の顔面又は頭部に装着され、
    前記液晶シャッタを開いたときは、
    前記液晶シャッタを通過した前記受像機のＴＶ画像に、前記画像表示素子による仮想体の画像を重ね合わせて観察者の眼球に導くようになされた請求項１１に記載の仮想画像立体合成装置。
14. 前記受像機及び合成手段が設けられる場合であって、
    前記受像機で受信した映像に基づいてステレオ画像を発生する３Ｄ映像処理装置が設けられ、
    前記受像機から外部へ仮想的に飛び出させるためのステレオ画像が前記３Ｄ映像処理装置から前記合成手段へ出力するようになされた請求項１１に記載の仮想画像立体合成装置。
15. 前記受像機、合成手段が設けられる場合であって、
    各種映像情報を再生する映像再生装置と、
    前記映像再生装置による再生映像情報に基づいて前記受像機から外部へ仮想的に飛び出させるためのステレオ画像を発生する３Ｄ映像処理装置が設けられ、
    前記３Ｄ映像処理装置から合成手段へ前記ステレオ画像を出力するようになされた請求項１１に記載の仮想画像立体合成装置。
16. 観察者の視聴する受像機の表示画面上で任意の基準面を認識する面認識手段と、
    前記面認識手段により認識された仮想空間の基準面上に仮想体の画像を合成する合成手段とを備え、
    前記面認識手段は、
    前記仮想体の画像を合成しようとする受像機の表示画面内に表示される、白地に黒で表示されたｎ行×ｎ列の白黒マトリクスから成る二次元マトリクスコード画像を撮像する撮像手段と、
    前記撮像手段により撮像された二次元マトリクスコード画像の輝度信号を画像処理して前記二次元マトリクスコード画像の四隅の位置情報を求める演算手段を有し、
    観察者の視聴するＴＶ画像に仮想体の画像を立体的に合成する仮想画像立体合成装置。
17. 前記合成手段は、
    観察者の視聴する受像機のＴＶ画像を撮像する撮像手段と、
    前記撮像手段によるＴＶ画像と予め準備された仮想体の画像と合成した右眼表示用のステレオ画像を表示する第１の画像表示素子と、
    前記撮像手段によるＴＶ画像と予め準備された仮想体の画像と合成した左眼表示用のステレオ画像を表示する第２の画像表示素子とを有したヘッドマウントディスプレイであり、
    前記ヘッドマウントディスプレイは、観察者の顔面又は頭部に装着され、
    前記第１の画像表示素子による右眼表示用のステレオ画像と、前記第２の画像表示素子による左眼表示用のステレオ画像とを重ね合わせて観察者の眼球に導くようになされた請求項１６に記載の仮想画像立体合成装置。
18. 前記合成手段は、
    観察者の視聴する受像機のＴＶ画像を取り込むために入射光の開閉をする液晶シャッタと、
    前記外界像に合成するための仮想体の画像を表示する画像表示素子と、
    前記画像表示素子による仮想体の画像と、前記液晶シャッタを通過した前記受像機のＴＶ画像とをその観察者の眼球に導く光学手段とを有したヘッドマウントディスプレイであり、
    前記ヘッドマウントディスプレイは、観察者の顔面又は頭部に装着され、
    前記液晶シャッタを開いたときは、
    前記液晶シャッタを通過した前記受像機のＴＶ画像に、前記画像表示素子による仮想体の画像を重ね合わせて観察者の眼球に導くようになされた請求項１６に記載の仮想画像立体合成装置。
19. 前記受像機及び合成手段が設けられる場合であって、
    前記受像機で受信した映像に基づいてステレオ画像を発生する３Ｄ映像処理装置が設けられ、
    前記受像機から外部へ仮想的に飛び出させるためのステレオ画像が前記３Ｄ映像処理装置から前記合成手段へ出力するようになされた請求項１６に記載の仮想画像立体合成装置。
20. 前記受像機、合成手段が設けられる場合であって、
    各種映像情報を再生する映像再生装置と、
    前記映像再生装置による再生映像情報に基づいて前記受像機から外部へ仮想的に飛び出させるためのステレオ画像を発生する３Ｄ映像処理装置が設けられ、
    前記３Ｄ映像処理装置から合成手段へ前記ステレオ画像を出力するようになされた請求項１６に記載の仮想画像立体合成装置。

Images