JP4250814B2 - ３次元映像の送受信システム及びその送受信方法 - Google Patents
３次元映像の送受信システム及びその送受信方法 Download PDFInfo
- Publication number
- JP4250814B2 JP4250814B2 JP20073599A JP20073599A JP4250814B2 JP 4250814 B2 JP4250814 B2 JP 4250814B2 JP 20073599 A JP20073599 A JP 20073599A JP 20073599 A JP20073599 A JP 20073599A JP 4250814 B2 JP4250814 B2 JP 4250814B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- video
- transmission
- material information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、データ放送、音声放送、テレビジョン放送を統合するＩＳＤＢ（Ｉntegrated Ｓervices Ｄigital Ｂroadcasting）サービスや双方向サービス網を利用した次世代の３次元デジタル放送システムなどに適用して好適な３次元映像の送受信システム及びその送受信方法に関する。
【０００２】
詳しくは、放送局などから送られてきた複数の映像素材情報に基づいて３次元映像を作成する映像作成手段を受信側に設け、その複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにすると共に、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴できるようにしたものである。
【０００３】
【従来の技術】
従来から、放送局で作成された番組などは、二次元の映像情報として１秒間に３０フレーム分のアナログ映像信号を視聴者側に送信する方式が採用されている。この方式では多くの映像情報を送信できないことから、二次元の映像情報のデジタル信号に変調して放送するデジタル放送システムが普及されつつある。
【０００４】
近年では、データ放送、音声放送、テレビジョン放送を統合するＩＳＤＢ（Ｉntegrated Ｓervices Ｄigital Ｂroadcasting）サービスも普及されてきている。この種のＩＳＤＢサービスによれば、複数の番組を１画面内に「見出し画面」として表示し、この中から視聴者の好みに応じた「天気予報」、「ニュース」、「番組ガイド」、「映画」、「料理番組」、「スポーツ番組」・・・をいつでも視聴できるようになされる。これらの映像情報は放送局側から視聴者側へ多重化してデジタル送信される。従って、受信側では自分の好きな番組を選択して「天気予報」などをいつでも視聴することができる。
【０００５】
【発明が解決しようとする課題】
ところで、従来方式のデジタル放送システムによれば、放送局で作成された「天気予報」、「ニュース」、「番組ガイド」、「映画」、「料理番組」・・・などの二次元の映像情報を視聴者がそのまま消極的に視聴するものである。
【０００６】
従って、視聴者が積極的に手がけた映像素材情報に基づく視聴者固有の「スポーツ番組」などの３次元映像を視聴することができない。例えば、サッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を自宅に居ながらにして視聴したいという要求があったときに、次のような問題がある。
【０００７】
（１） 現行の多重放送システムでは、受信側で立体映像加工に必要な映像素材情報を放送局で準備していない。従って、放送局などから映像素材情報が送られてこないので、視聴者の好みに応じた映像素材情報を選択することができない。
【０００８】
（２） これにより、視聴者の好みに応じた映像素材情報に基づく視聴者固有の３次元映像を作成することができない。従って、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができない。
【０００９】
そこで、本発明は上記の課題に鑑み創作されたものであり、放送局などの送信側から送られてくる複数の映像素材情報の中から選択した視聴者の好みに応じた映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにすると共に、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を提供できるようにした３次元映像の送受信システム及びその送受信方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題は、少なくとも、３次元映像を作成するために予め準備された複数の２次元の映像素材情報を送信側から受信側へ送信する送信手段と、その送信手段によって送信された複数の２次元の映像素材情報を受信する受信手段と、この受信手段によって受信された複数の２次元の映像素材情報から任意の映像素材情報を選択する選択手段と、この選択手段によって選択された映像素材情報に基づいて３次元映像を作成する映像作成手段とを備え、映像素材情報の選択は視聴者によって行われ、送信手段が２次元及び３次元の映像情報を含む映像素材情報を送信した場合、受信手段は、映像作成手段によって作成された３次元映像の初期画面を表示する期間又は送信手段によって送信された２次元の映像情報の中で宣伝画面を表示する期間に送信手段から３次元の映像情報を取得する３次元映像の送受信システムによって解決される。
【００１１】
本発明に係る３次元映像の送受信システムによれば、少なくとも、３次元映像を作成するために予め準備された複数の映像素材情報が送信手段によって送信側から視聴者側へ送信されると、受信側では、送信手段から送られてきた映像素材情報が受信手段によって受信される。この受信手段によって受信された映像素材情報から任意の映像素材情報が視聴者によって選択される。この際の映像素材情報の選択は選択手段を介して視聴者により行われる。この選択手段によって選択された映像素材情報に基づいて映像作成手段では３次元映像が作成される。
【００１２】
従って、予め送信側で準備された複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することができる。これにより、放送局から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。
【００１３】
本発明に係る３次元映像の送受信方法は、少なくとも、３次元映像を作成するための複数の２次元の映像素材情報を予め送信側で準備し、この送信側で準備された複数の２次元の映像素材情報をその送信側から個々の視聴者側へ送信し、送信側から送信された複数の２次元の映像素材情報を視聴者側で受信し、視聴者側では複数の２次元の映像素材情報から任意の映像素材情報を選んで３次元映像を作成し、送信側が２次元及び３次元の映像情報を含む映像素材情報を送信した場合、視聴者側は、作成された３次元映像の初期画面を表示する期間又は送信側から送信された２次元の映像情報の中で宣伝画面を表示する期間に送信側から３次元の映像情報を取得するものである。
【００１４】
本発明に係る３次元映像の送受信方法によれば、放送局から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。従って、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができる。これにより、次世代の３次元デジタル放送システムなどを構築することができる。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての３次元映像の送受信システム及びその送受信方法について説明をする。
（１）第１の実施形態
図１は本発明に係る実施形態としての３次元映像の送受信システム１００の構成例を示す斜視図である。
この実施形態では、放送局などから送られてきた複数の映像素材情報に基づいて３次元映像を作成する映像作成手段を設け、その複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにすると共に、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を提供できるようにしたものである。
【００１６】
図１に示す３次元映像の送受信システム１００は、３次元デジタル放送システムなどに適用するために少なくとも送信手段１を備えている。この送信手段１は放送局などに設けられる。この例では予め準備された複数の映像素材情報Ｄ１ｉ（ｉ＝１〜ｎ）が送信手段１を使用して送信側から視聴者側へ送信される。ここで映像素材情報Ｄ１ｉとは３次元映像を作成するための情報をいう。この例で映像素材情報Ｄ１ｉには、少なくとも、映像の背景を表現する背景情報Ｄ１１と、映像の背景内で動く物体を表現する物体情報Ｄ１２と、背景に対する物体の初期の配置情報Ｄ１３及び該物体の移動に伴う位置情報Ｄ１４と、物体の動作に伴う動作情報とが付加される。これらの映像素材情報Ｄ１ｉは送信側で全て準備してもよく、もちろん、映像素材情報Ｄ１ｉの一部をＣＤ−ＲＯＭなどの記憶媒体にして受信側で準備するようにしてもよい。例えば、サッカーゲームなどのサッカーゴールやフィールドをＣＤ−ＲＯＭから読み出すようになされる。
【００１７】
この送信手段１には多重化手段１Ａが設けられ、３次元映像を作成するための二以上の映像素材情報Ｄ１ｉが多重化されて視聴者側に送信される。つまり、映像素材情報Ｄ１ｉは多重情報となって送信側から受信側へ複数のチャネルを使用して多重伝送される。例えば、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。デジタルテレビ放送網には地上波回線及び衛星回線が含まれる。これらの多重伝送媒体を総称し、以下で、ＩＳＤＢ（Ｉntegrated Ｓervice Ｄigital Ｂroad casting：）サービスという。
【００１８】
この例でＩＳＤＢサービスに係るチャネルの使用に伴う視聴者への料金設定に関しては、使用チャネル数とチャネル使用時間に基づいて課金するとよい。また、従量制を採る場合には、受信時間内における映像素材情報の量に応じて視聴者に課金するようにするとよい。このチャネルの使用に伴う料金設定に関しては、視聴者のみが対象となるとは限らない。例えば、テレビコマーシャルも３Ｄポリゴン映像によって作成することができるので、その場合には番組提供者（スポンサー）に対して使用チャネル数とチャネル使用時間に基づいて課金するようになされる。この際の料金設定に関しては、３Ｄコマーシャル映像の送信時間内における映像素材情報の量に応じて番組提供者に課金するとよい。
【００１９】
この例では映像素材情報Ｄ１ｉは動画像圧縮基準であるＭＰＥＧ−４（Ｍoving Ｐicture Ｅxperts Ｇroup−４）のデータ系列を持ったデータストリームにして送信される。これは限られたチャネルに多くの映像素材情報Ｄ１ｉを効率良く伝送するためである。チャネルは映像の背景の数量だけ予め準備される。これは映像の背景を基準にすることで、全てのチャネルを効率良く使用できるからである。この例では、送信側から受信側へ複数のチャネルを使用して映像素材情報Ｄ１ｉを伝送する場合であって、その複数のチャネルに映像素材情報Ｄ１ｉが割り振られる。例えば、動作情報Ｄ１５と、その他の背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３及び位置情報Ｄ１４とは別々のチャネルに割り振られる。この場合に、動作情報Ｄ１５は実時間で送信され、物体情報Ｄ１２、配置情報Ｄ１３及び位置情報Ｄ１４は次の映像の背景情報Ｄ１１と共に送信される。
【００２０】
更に、上述したチャネルの１つを使用して通常のテレビ放送に係る二次元の映像情報を伝送したり、スポーツ選手や役者などの被写体から見た視点映像情報を映像素材情報Ｄ１ｉとしてチャネルの１つを使用して受信側に伝送するようになされる。その際に、被写体が映像の背景内に複数存在する場合には、被写体の視点映像情報毎にチャネルが割り当てられる。このように構成すると、被写体から見た視点映像と予め準備された合成画像とを受信側で合成することができる。
【００２１】
この例では、映像の１場面を構成する映像素材情報Ｄ１ｉが膨大な量となる場合には、チャネルを増加して映像素材情報Ｄ１ｉを分割して受信側に送信するようにしてもよい。又は、分割した映像素材情報Ｄ１ｉを受信側に送信している期間に、残余のチャネルを使用して他の映像素材情報Ｄ１ｉを受信側に送信するようにしてもよい。これは、ある映像のラストシーンなどにおいて背景情報Ｄ１１が膨大になる場合があることによる。
【００２２】
一方、視聴者（受信）側には受信手段２が設けられ、放送局などの送信手段１から送られてきた映像素材情報Ｄ１ｉが受信される。受信手段２には情報分離手段２Ａが設けられ、送信手段１から送られてきた多重化情報から二以上の映像素材情報Ｄ１ｉが分離される。この受信手段２には記憶手段３が接続され、映像素材情報Ｄ１ｉを一時記録するようになされる。記憶手段３には上述した背景情報Ｄ１１に見合う分のメモリ容量が備えられる。これは背景情報Ｄ１１が映像の１場面の背景を表現するものであることによる。
【００２３】
この例では映像素材情報Ｄ１ｉの中で、頻繁に使用される３次元の映像情報に関しては、送信側において、当該映像の初期画面を表示する期間又は２次元の映像情報の中で宣伝画面を表示する期間に全てのチャネルに割り当てて送信される。これを受けた受信側ではこれらの期間中に取得した３次元の映像情報が記憶手段３に記憶される。
【００２４】
例えば、背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５の一群のデータ取り込みが終了すると、他群のデータ取り込みのために受信側で当該チャネルを明け渡すようになされる。このように構成すると、受信側では３次元の映像素材情報Ｄ１ｉを予め取得できるし、送信側では効率良く映像素材情報Ｄ１ｉを送信することができる。
【００２５】
この映像素材情報Ｄ１ｉに関しては映像の背景情報Ｄ１１に変化があるものも変化がないものも全てを送信側から受信側へ送信されてくるので、受信側ではすぐに使用しない背景情報Ｄ１１に関しては記憶手段３に一時記憶される。また、送信側から受信側へ送られたきた２次元及び３次元の映像情報を含む映像素材情報Ｄ１ｉを受信する場合に、最初の３次元の映像情報は当該映像の初期画面を表示する期間又は２次元の映像情報の中で宣伝画面を表示する期間に取得される。これは限られたチャネルに多重されてくる映像素材情報Ｄ１ｉを効率良く受信するためである。
【００２６】
また、映像の１場面を構成する映像素材情報Ｄ１ｉが、ラストシーンなどにおいて背景情報Ｄ１１が膨大な量となる場合には、余っているチャネルを使用して映像素材情報Ｄ１ｉが分割して送られてくるので、受信側では上述の期間中に取得したその映像素材情報Ｄ１ｉを記憶手段３に一時記憶するようになされる。この構成により、大量の映像素材情報Ｄ１ｉを効率良く受信側で受信することができる。
【００２７】
この記憶手段３には選択手段４が接続され、受信された映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉを選択するようになされる。映像素材情報Ｄ１ｉの選択は視聴者によって行われる。そのため選択手段４には押しボタンスイッチやジョグダイヤルなどの操作手段５が接続され、視聴者の好みに応じた映像素材情報Ｄ１ｉが選択できるようになされる。この例では操作手段５を操作することにより得られる操作情報Ｄ２に基づいて映像素材情報Ｄ１ｉに関する映像の背景又は物体の動きが変更される。
【００２８】
この例で映像素材情報Ｄ１ｉが送信側で準備される場合であって、この映像素材情報Ｄ１ｉに関して、１画面を構成する３次元映像を「粗」に再生する粗再生モード又は「密」に再生する密再生モードのいずれかを受信側で選択するようにしてもよい。上述した従量制が採られる場合に、粗再生モードを選択すると、受信時間内における映像素材情報Ｄ１ｉの量が、密再生モードに比べて少なくなることから、視聴者にとって低料金となる。
【００２９】
この選択手段４には映像作成手段６が接続され、視聴者によって選択された映像素材情報Ｄ１ｉに基づいて３次元映像が作成される。例えば、映像作成手段６では映像素材情報Ｄ１ｉに基づいて３次元映像の基礎となるステレオ画像を作成するようになされたり、３次元の映像情報を作成するソフトウエアにより仮想空間を表現するようになされる。その際の３Ｄ次元表現フォッマットにはＶＲＭＬ（Ｖertual Ｒeality Ｍodeling Ｌanguage）方式を採用してもよい。
【００３０】
この映像作成手段６には液晶ディスプレイ、ＣＲＴモニタ又は合成手段（以下でグラストロンともいう）などの図示しない表示手段が接続され、３次元映像が表示される。このグラストロンには視聴者の目の動きを検出する機構が設けられる場合がある。その場合には、視聴者の視点位置を検出した情報（以下視点位置検出情報という）Ｄ３に基づいて映像の中の物体の動きを変更するようになされる。例えば、映像の１画面の背景を表示する期間内に受信側に送信された物体の複数の動作情報Ｄ１５と、グラストロンによる視点位置検出情報Ｄ３とに基づいて映像の中の物体の動きを変更するような表示制御が行われたり、その動作情報Ｄ１５と、操作手段５による操作情報Ｄ２とに基づいて映像の中の物体の動きを変更するような表示制御が行われる。
【００３１】
また、映像素材情報Ｄ１ｉに係る映像の背景又は物体の動きの変更は、一定のサイクルタイム内に割り込みが発生した場合によっても行われる。このサイクルタイム内の割り込み以外はデフォルトの３次元の映像情報に基づく映像が表示される。これにより、双方向テレビジョンの三次元版を構築することができる。
【００３２】
続いて、本実施形態に係る３次元映像の送受信方法について、当該送受信システム１００の処理例について説明をする。この例では、映像素材情報Ｄ１ｉが送信側で全て準備される場合を想定する。もちろん、映像素材情報Ｄ１ｉの一部をＣＤ−ＲＯＭ７９などの記憶媒体にして受信側で準備するようにしてもよい。
【００３３】
まず、図２に示すフローチャートのステップＡ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局などの送信側で準備される。映像素材情報Ｄ１ｉには、舞台やスポーツ競技場などの映像の背景を表現する背景情報Ｄ１１と、映像の背景内で動く役者やスポーツ選手などの物体を表現する物体情報Ｄ１２と、背景に対する物体の初期の配置情報Ｄ１３及びその物体の移動に伴う位置情報Ｄ１４と、物体の動作に伴う動作情報Ｄ１５とが付加される。
【００３４】
その後、送信側で準備された映像素材情報Ｄ１ｉがステップＡ２で送信手段１によって多重化された後に送信側から個々の視聴者側へ送信される。この際に、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。この例では映像素材情報Ｄ１ｉは動画像圧縮基準であるＭＰＥＧ−４のデータ系列を持ったデータストリームにして受信側に伝送される。
【００３５】
そして、送信側から送られてきた映像素材情報Ｄ１ｉはステップＡ３で視聴者側において、例えば、３Ｄポリゴン受信装置などを使用して受信される。この３Ｄポリゴン受信装置については実施例で説明をする。視聴者側では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがステップＡ４で選択手段４を介して選択される。この際の映像素材情報Ｄ１ｉの選択は操作手段５を使用して視聴者により行われる。この操作手段５によって選択された映像素材情報Ｄ１ｉに基づいて映像作成手段６では３次元映像が作成される。
【００３６】
従って、予め送信側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。これにより、放送局から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができる。また、ＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムなどを構築することができる。
【００３７】
（２）第１の実施例
図３は各実施例に係る３Ｄポリゴン放送システム２００の構成例を示すブロック図である。この例では放送局から衛星回線を介して送られてきた複数の映像素材情報Ｄ１ｉに基づいて３次元映像を作成する３Ｄポリゴン受信装置２０２を設け、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにしたものである。
【００３８】
第１の実施例では、特殊グラストロン２０３を装着した視聴者において、舞台で演ずる役者などの視線により認識される背景を３Ｄポリゴンで構成される「森」や「芝生」に置き換え、その「芝生」上に役者の３次元映像を表示できるようにしたものである。
【００３９】
図３に示す３Ｄポリゴン放送システム２００は３Ｄポリゴン送信装置２０１、３Ｄポリゴン受信装置２０２、特殊グラストロン２０３及びモニタ２０４を備えている。３Ｄポリゴン送信装置２０１は送信手段１の一例であり、放送局などに設置される。
【００４０】
この放送システム２００では３次元映像を作成するために予め準備された、例えば、「ロミオとジュリエット」の舞台中継に係るお城の背景、主人公としての男女の役者、この役者の動きなどの映像素材情報Ｄ１ｉが３Ｄポリゴン送信装置２０１によって放送局側から、衛星回線を通じて視聴者の所持する３Ｄポリゴン受信装置２０２へ送信される。受信側では、放送局から送られてきた映像素材情報Ｄ１ｉが３Ｄポリゴン受信装置２０２によって受信される。３Ｄポリゴン受信装置２０２によって受信された映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉが視聴者によって選択されると、その選択された映像素材情報に基づいて視聴者の好みに合った３次元映像が作成される。
【００４１】
この３Ｄポリゴン受信装置２０２では特殊グラストロン２０３やテレビモニタ２０４などの表示手段が使用され、３次元の映像が表示される。この例でテレビモニタ２０４には、客席から舞台を見ている二次元映像が表示される他、特殊グラストロン２０３を装着した視聴者には、３Ｄポリゴン１０で構成される「森」や「芝生」上に役者が存在するような３次元映像を表示することができる。
【００４２】
図４に示す３Ｄポリゴン送信装置２０１には音声映像取得装置２１１が設けられ、舞台やサッカー場などの番組中継対象から音声及び映像素材情報Ｄ１ｉが取得される。音声映像取得装置２１１には、ビデオカメラ、ステレオカメラ、マイクロフォン及びレンジファインダなどが使用される。ビデオカメラで映像素材情報Ｄ１ｉを取得する例については図６及び図７で説明する。
【００４３】
この種の映像素材情報Ｄ１ｉに関してレンジファインダで取得する例については、図４０〜図４５で説明する。また、映像素材情報Ｄ１ｉに関して、撮像可能な任意の物体の特定の面に、点滅パターンが異なる複数の光源を取付け、その点滅パターンの異なった光源を所定の撮像方向に流すように撮像し、そこで撮像された光源の輝度情報を画像処理して光源の各々の位置情報を求めることにより物体の位置情報Ｄ１４を得るようにしてもよい。
【００４４】
例えば、ロミオやジュリエットを演ずる役者の衣装、靴、手袋、イヤリング、ネックレス、王冠などの装飾品に点滅パターンが異なる複数の光源を取付け、その点滅パターンの異なった光源を所定の撮像方向に流すように撮像し、そこで撮像された光源の輝度情報を画像処理して光源の各々の位置情報を求めることにより、ロミオやジュリエットの位置情報Ｄ１４を得るようにする。この応用例については第２の実施例で説明する。
【００４５】
この映像素材情報Ｄ１ｉに関しては、放送局側から視聴者側へ伝送するデータを低減するために、ＣＤ−ＲＯＭ７９などの記憶媒体に記録したものを受信側で予め準備するようにしてもよい。例えば、サッカーゴールやフィールドに係る３Ｄ映像情報をＣＤ−ＲＯＭ７９から読み出すようになされる。この例については第２の実施例で説明する。
【００４６】
この音声映像取得装置２１１にはコンピユータ２１２が接続され、コンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのコンピユータグラフィックデータ（以下ＣＧデータという）Ｄ４が供給される場合もある。また、音声映像取得装置２１１で３ＤＴＶゲームや３Ｄ映画などのデータも取り扱うようにしてもよい。
【００４７】
この音声映像取得装置２１１には各種情報を符号化するために音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５が接続される。音声符号化部２１３では役者や効果音などの音声が符号化され、音声符号化信号が発生される。映像符号化部２１４では１番組を構成する、例えば、舞台装置４０の背景、物体の映像に係る背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５などの画像素材情報Ｄ１ｉが符号化され、映像符号化信号が発生される。データ符号化部２１５ではＣＧデータＤ４が符号化され、ＣＧデータ符号化信号が発生される。
【００４８】
また、音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５の出力には多重化手段１Ａが接続され、音声符号化信号、映像符号化信号及びＣＧデータ符号化信号などの多種多様なサービスが多重化され、複数のトランスポートストリームパケットＴＳｊ（ｊ＝１〜ｍ）が発生される。この例では、１番組を構成する符号化信号（映像素材情報Ｄ１ｉ）はＭＰＥＧ−４のデータ系列のビットストリームになるように符号化される。ＭＰＥＧ−４による符号化方法については図５で説明する。もちろん、ＭＰＥＧ−４の他にＭＰＥＧ−２で規定される１８８バイト長のトランスポートストリーム（ＴＳ）パケットのペイロード部に多重してもよい。
【００４９】
この多重化手段１Ａの出力には伝送路符号化部２１６が接続され、トランスポートストリームＴＳｊの合成、ＴＭＣＣ（Ｔransmission & Ｍultiplexing Ｃonfiguration Ｃording）生成、誤り訂正及び変調などが行われる。例えば、伝送路符号化部２１６に、受信機への制御情報となる所定のＴＭＣＣ情報が入力されると、このＴＭＣＣ情報に基づいてＴＭＣＣ信号が生成される。ＴＭＣＣ信号は一方で符号化されてＴＭＣＣ伝送符号となる。
【００５０】
他方で、ＴＭＣＣ信号に基づいてトランスポートストリームＴＳｊが所定の順序に合成されると共に、リードソロモン符号などの外符号誤り訂正符号が付加される。その後、ＴＭＣＣ信号に基づいて伝送フレームが構成された後に、エネルギー拡散される。このエネルギー拡散は「０」又は「１」の信号が連続し変調後のスペクトルが集中するのを防ぐための処理である。エネルギー拡散された符号化信号はインターリーブ処理される。この処理は伝送路で発生するバースト状の誤りを分散させて誤り訂正能力を高めるためである。その後、インターリーブ処理された符号化信号はＴＭＣＣ伝送符号に基づいて内符号誤り訂正符号が付加される。
【００５１】
更に、伝送路符号化部２１６の出力には送信機２１７が接続され、内符号誤り訂正符号が付加された符号化信号がバースト信号によってデジタル変調される。この変調方式には高能率なＴＣ８ＰＳＫ（トレリス符号化８相位相変調：符号化率２／３）方式が採用され、３４．５ＭＨｚ帯域幅が使用される。伝送誤りに対して強いＱＰＳＫ（４相位相変調：パンクチャド畳込み符号化率１／２、２／３、３／４、５／６、７／８）やＢＰＳＫ（２相位相変調：１／２）もＴＣ８ＰＳＫと時分割に使用してもよい。ＴＣ８ＰＳＫ変調されたデジタル信号は衛星回線を通じて視聴者の受信装置に向けて発信される。
【００５２】
ここで、映像素材情報Ｄ１ｉをＭＰＥＧ−４で符号化する場合を説明する。図５に示すビデオエンコーダ３００は入力端子３１３及び出力端子３１４を有している。入力端子３１３には動き補償部３０１、形状符号部３０２及び減算器３０３が接続されている。
【００５３】
この動き補償部３０１では映像素材情報Ｄ１ｉに基づく映像のフレーム間の動き画像を補償するために時間方向の冗長度が削減される。つまり、動き補償部３０１では映像の動きをフレーム間で予測するための予測信号が発生される。この予測制御信号Ｓ１０は形状符号部３０２及び後述する双方向予測メモリＰ３に出力される。
【００５４】
この形状符号部３０２では映像素材情報Ｄ１ｉに基づく映像の動き形状を予測制御信号Ｓ１０に基づいて符号化した後に、動き形状信号Ｓ２が発生される。減算器３０３では映像素材情報Ｄ１ｉに基づく現在映像と逆方向予測（過去参照）画像、順方向予測（未来参照）画像又は双方向予測画像との差を取るために、映像素材情報Ｄ１ｉに基づく入力画像から、これらの逆方向予測画像、順方向予測画像又は双方向予測画像に係るデータＤ２１、Ｄ２２、Ｄ２３が減算される。
【００５５】
この減算器３０３の出力には離散コサイン変換部（以下ＤＣＴという）３０４が接続され、映像の空間方向の冗長度を削減するために、例えば、映像素材情報Ｄ１ｉに基づく入力画像が８×８画素のブロックに分割される。このブロック単位にＤＣＴ演算が行われる。ＤＣＴ３０４ではＤＣ成分及びＡＣ成分から成るＤＣＴ係数が得られる。
【００５６】
このＤＣＴ３０４の出力には量子化部（Ｑ）３０５が接続され、ＤＣ成分及びＡＣ成分のＤＣＴ係数が量子化される。量子化部３０５には動きテキスト符号化部３０６が接続され、量子化されたＤＣＴ係数が動きテキストとして符号化された後に動きテキスト信号Ｓ１１が発生される。また、量子化部３０５には逆量子化部３０６が接続され、量子化されたＤＣＴ係数がＤＣ成分及びＡＣ成分に逆量子化される。逆量子化部３０６の出力には逆離散コサイン変換部（以下ＩＤＣＴという）３０７が接続され、逆ＤＣＴ演算が行われる。
【００５７】
このＩＤＣＴ３０７には加算器３０８が接続され、逆方向予測画像、順方向予測画像又は双方向予測画像に係る各々のデータＤ２１、Ｄ２２、Ｄ２３とＩＤＣＴ３０７の出力画像に係るデータＤ２４とを加算した後の合成画像データＤ２０が出力される。加算器３０８の出力にはフレームメモリ３０９が接続され、加算器３０８による合成画像データＤ２０が一時記憶される。フレームメモリの出力には逆方向予測メモリＰ１が接続され、逆方向予測画像に係るデータＤ２１が保持される。フレームメモリには順方向予測メモリＰ２が接続され、順方向予測画像に係るデータＤ２２が保持される。更にフレームメモリには双方向予測メモリＰ３が接続され、双方向予測画像に係るデータＤ２３が予測制御信号Ｓ１０に基づいて保持される。
【００５８】
これらの逆方向予測メモリＰ１、順方向予測メモリＰ２及び双方向予測メモリＰ３の出力にはスイッチ（セレクタ）部３１０が接続され、順方向予測、逆方向予測又は双方向予測の各モード切り換えに基づいて逆方向予測画像、順方向予測画像又は双方向予測画像に係るデータＤ２１、Ｄ２２、Ｄ２３のいずれかを選択するようになされる。スイッチ部３１０の出力は減算器３０３及び加算器３０８に接続される。
【００５９】
一方、動きテキスト符号化部３１１及び形状符号化部３０２には映像多重部３１２が接続され、符号化された映像の動きテキスト信号Ｓ１と、符号化された動き形状信号Ｓ２とが多重化される。これにより、映像素材情報Ｄ１ｉをＭＰＥＧ−４のビットストリームにすることができる。映像素材情報Ｄ１ｉのビットストリームは出力端子３１４から得られる。
【００６０】
続いて、映像素材情報Ｄ１ｉの取得例について説明をする。図６に示す舞台装置４０の例では客席に背景撮影用のビデオカメラ４０１が配置され、例えば、舞台上にセットされた第１幕のお城の背景などが撮影され、図７Ａに示す役者Ａ及びＢを含むお城を表現する背景情報Ｄ１１が取得される。
【００６１】
また、舞台の左右には物体撮影用のビデオカメラ４０２、４０３が配置され、舞台装置４０の左右から見た役者の動きが撮影され、図７Ｂに示す舞台内で動く役者Ａ，Ｂを表現する物体情報Ｄ１２が取得される。更に、舞台装置４０の斜め右前方には物体位置撮影用のビデオカメラ４０４が配置され、舞台背景に対する役者の初期の配置情報Ｄ１３及びその舞台内で動く役者Ａ，Ｂの移動に伴う位置情報Ｄ１４が取得される。
【００６２】
この例では２名の役者（被写体）Ａ及び他の役者Ｂの各々の頭部には小型のＣＣＤ撮像装置４０５、４０６が取り付けられ、一方の役者から他方の役者を見た視点映像が各々撮影され、双方の役者の動作に伴う動作情報Ｄ１５が取得される。もちろん、舞台側にビデオカメラ４０７を設け、舞台側から客席上を見た背景などを撮影してもよい。別の例として、各役者Ａ，Ｂの双方の頭部の動きのみを取得する位置に流し取りＣＣＤ装置（又は磁気センサ）を取り付け、視点方向のみの映像を取得するようにしてもよい。
【００６３】
これらの映像素材情報Ｄ１ｉが予め放送局などで準備されると、上述した３Ｄポリゴン送信装置２０１によって多重化された後に、放送局から個々の視聴者側へ送信される。この際に、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。
【００６４】
続いて、３Ｄポリゴン受信装置２０２の構成例について説明する。この例では上述した舞台映像に係る映像素材情報Ｄ１ｉが６チャネルに割り振られて送信される場合であって、その背景情報Ｄ１１がチャネルｃｈ１に割り振られ、その物体情報Ｄ１２がチャネルｃｈ２に割り振られ、その配置情報Ｄ１３がチャネルｃｈ３に割り振られ、その位置情報Ｄ１４がチャネルｃｈ４に割り振られ、その動作情報Ｄ１５がチャネルｃｈ５に割り振られ、二次元の映像情報がチャネルｃｈ６に割り振られる場合を想定する。
【００６５】
図８に示す３Ｄポリゴン受信装置２０２はＴＣ８ＰＳＫ変調方式のデジタル信号を受信するものであり、受信手段２、画像メモリ（記憶手段）３、セレクタ（選択手段）４、映像作成手段６、制御装置８８及びジョグダイヤル８９を備えている。
【００６６】
受信手段２はチューナ部７４、映像検波部７５、ノイズ除去部７６、誤り補正部７７及び情報多重化解析部７８を有している。チューナ部７４では衛星回線から送られくるＴＣ８ＰＳＫ変調方式のデジタル信号が受信される。チューナ部７４には映像検波部７５が接続され、例えば、６チャネルに多重化されたＴＣ８ＰＳＫ変調方式のデジタル信号が検波される。映像検波部７５にはノイズ除去部７６が接続され、ＭＰＥＧ−４のデータ系列で送信されてきたデジタル信号がＯＦＤＭ（Ｏrthogonal Ｆrequency Ｄivision Ｍultiplex）復調される。
【００６７】
このノイズ除去部７６には誤り補正部７７が接続され、ＯＦＤＭ復調されたデジタル信号の誤り符号が補正される。誤り補正部７７には多重分離手段として情報多重化解析部７８が接続され、誤り補正された６チャネルの映像素材情報Ｄ１ｉが多重分離される。背景情報Ｄ１１はｃｈ１から得られ、物体情報Ｄ１２はｃｈ２から得られ、配置情報Ｄ１３はｃｈ３から得られ、位置情報Ｄ１４はｃｈ４から得られ、動作情報Ｄ１５はｃｈ５から得られ、及び、二次元の映像情報はｃｈ５から各々得られる。
【００６８】
この情報多重化解析部７８には画像メモリ３が接続され、ｃｈ１〜ｃｈ６から得られた背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４、動作情報Ｄ１５及び二次元の映像情報などの映像素材情報Ｄ１ｉが一時記憶される。画像メモリ３にはセレクタ４が接続され、これらの映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉが操作手段としてのジョグダイアル８９などを使用して視聴者により選択される。
【００６９】
このセレクタ４の出力には映像作成手段６が接続され、３次元映像が作成される。映像作成手段６は例えばジオメトリ部８５、ラスター部８６及びステレオ画像生成部８７を有している。つまり、セレクタ４の出力にはジオメトリ部８５が接続され、３次元映像を表現するためのグローバル座標系に背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５が表示（記述）される。例えば、図９に示す舞台で演ずる役者Ｂなどの視線により認識される背景が、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられ、その「芝生」上に役者Ａの３次元映像が表示される。これらの映像合成信号が発生される。
【００７０】
また、ジオメトリ部８５にはＣＤ−ＲＯＭ７９が接続され、予め受信側で準備された３Ｄサッカーゲームなどのソフト情報源から読み出した映像ソフトが合成される場合もある。ジオメトリ部８５にはラスター部８６が接続され、表示手段２４の走査方式、例えば、ＮＴＳＣ方式又はＰＡＬ方式に合うように映像の水平走査期間及び垂直走査期間などを合わせ込むラスター処理がなされる。ラスター部８６にはステレオ画像生成部８７が接続され、表示手段２４の走査方式に合うように走査処理された映像合成信号に基づいてステレオ画像が形成される。例えば、表示手段２４が特殊グラストロン２０３の場合には、視聴者が見つめる視点位置を検出することができるので、その視点データに基づいてステレオ画像が形成される。
【００７１】
このステレオ画像生成部８７には特殊グラストロン２０３、ＴＶモニタ２０４又は後述する液晶表示素子（ＬＣＤ）などの表示手段２４が接続され、視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づく視聴者固有の３次元映像が表示される。上述の情報多重化解析部７８、画像メモリ３、セレクタ４、ＣＤ−ＲＯＭ７９、ラスター部８６及びステレオ画像生成部８７には制御装置８８が接続されると共に、この制御装置８８にはジョグダイヤル８９が接続される。視聴者はジョグダイアル８９によって自分の好みに応じた映像素材情報Ｄ１ｉを選択するようになされる。この選択によって制御装置８８では多重化解析部７８、画像メモリ３、セレクタ４、ＣＤ−ＲＯＭ７９、ラスター部８６及びステレオ画像生成部８７の入出力が制御される。
【００７２】
続いて、第１の実施例で使用する特殊グラストロン２０３の構成例について説明する。図１０に示す特殊グラストロン２０３は合成手段を構成するものであり、例えば、非透過型のヘッドマウントディスプレイを成している。特殊グラストロン２０３は本体部２１を有している。その本体部２１にはベルト２２が設けられ、眼鏡をかけるように本体部２１が視聴者の顔面に装着されると共に、その視聴者の頭部外周部に沿ってベルト２２が固定される。本体部２１には第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７とが設けられる。
【００７３】
つまり、特殊グラストロン２０３内の視聴者の右目に相対する位置に取り付けられたＬＣＤ２６には、例えば、図９に示した舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とを合成したステレオ画像の一方が表示される。
【００７４】
また、その視聴者の左目に相対する位置に取り付けられたＬＣＤ２７には、上述の舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の映像とを合成したステレオ画像の他方が表示される。この特殊グラストロン２０３は視聴者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。従って、舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とが視聴者の頭の中で合成される。
【００７５】
この特殊グラストロン２０３には、図１１に示す右眼表示用のＬＣＤ２６と、左眼表示用のＬＣＤ２７の表示面内にフィルム状の電荷結合素子（以下フィルムＣＣＤという）４Ｒ（右）、４Ｌ（左）が配置され、基準面を注視する観測者の眼球運動を撮像してその観測者の注視点ｐが検出される。この例では、フィルムＣＣＤ４Ｒ、４Ｌは、視聴者の眼球に相対するＬＣＤ２６及びＬＣＤ２７上に分散して配置されている。
【００７６】
このフィルムＣＣＤ４Ｒ、４Ｌでは、図１２Ａに示す例えば、４×６画素のマトリクスの全体画素に対して歯抜け状（斜線部分）に撮像素子４Ａが配置されている。従って、白抜き部分には撮像素子４Ａが配置されておらず、ＬＣＤ２６及びＬＣＤ２７による映像を通すようになされる。フィルムＣＣＤ４Ｒ、４Ｌは、フィルム上に部分的にシリコン膜を形成して光電変換素子などのＣＣＤを歯抜け状に作成し、このフィルムＣＣＤ４Ｒ、４ＬをＬＣＤ２６及びＬＣＤ２７の前方に張り合わせるなどして形成される。
【００７７】
なお、フィルムＣＣＤ４Ｒ、４Ｌは、サファイヤを基礎材料にして、シリコン膜を部分的に形成することができるので、ＬＣＤ２６及びＬＣＤ２７と歯抜け状のフィルムＣＣＤ４Ｒ、４Ｌとを１チップ化することもできる。ただし、チップの透明性（光透過率）は薄いサングラス程度となる。
【００７８】
このフィルムＣＣＤ４Ｒでは、図１２Ｂに示す観測者の右眼の瞳の動きや、その瞳孔の絞り状態が撮像され、フィルムＣＣＤ４Ｌでは、同図に示す観測者の左眼の瞳の動きや、その瞳孔の絞り状態が撮像される。従って、特殊グラストロン（合成手段）２０３を装着した視聴者が特定位置に視点を合わせることにより、フィルムＣＣＤ４Ｒ、４Ｌから得られたカメラ出力信号（視点位置検出情報）に基づいて映像素材情報Ｄ１ｉに関する映像の背景又は物体の動きを変更することができる。
【００７９】
この特殊グラストロン２０３は図１３に示す視聴者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。図１３において、特殊グラストロン２０３を装着した視聴者の両目の光軸が重なったところが、注視点ｐである。この注視点ｐを基準にして、役者Ａの映像のステレオ画像と、３Ｄポリゴン１０で構成される「森」や「芝生」の仮想映像のステレオ画像とが頭の中で合成される。
【００８０】
ここで、視聴者の眼球表面から注視点ｐに至る離隔距離をＳｈとし、ＬＣＤ２６、ＬＣＤ２７の表示面から注視点ｐに至る距離をＳｆとし、視聴者の眼球表面とＬＣＤ２６、ＬＣＤ２７の表示面との間のオフセット距離をＳoffとすると、Ｓｈ＝Ｓｆ＋Ｓoffにより、視点位置を検出することができる。この例では、視聴者の眼球運動から黒目と瞳孔の位置関係及び瞳孔の形状を認識し、その認識情報から注視点ｐの方向と離隔距離Ｓｈとを求め、その離隔距離Ｓｈに基づいて背景情報などを切り換えるようになされる。
【００８１】
この視聴者の眼球映像は、上述したように左右のＬＣＤ２６、２７の前面にフィルムＣＣＤ４Ｒ、４Ｌを設ける場合に限られることはなく、左眼表示用のＬＣＤ２７から背景映像を出力し、右眼表示用のＬＣＤ２６上にフィルムＣＣＤ４Ｒ目を設け、そのＣＣＤ４Ｒによって眼球映像を取得してもよい。この逆の方法でもよい。
【００８２】
続いて、第１の実施例に係る３Ｄポリゴン放送システムにおける処理例について説明をする。この例では放送局から衛星回線を介して送られてきた複数の映像素材情報Ｄ１ｉに基づいて３次元映像を作成する３Ｄポリゴン受信装置２０２を各家庭に設置し、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することを前提とする。もちろん、視聴者は図１０に示した特殊グラストロン２０３を頭部に装着する。
【００８３】
更に、特殊グラストロン２０３を装着した視聴者において、舞台で演ずる役者などの視線により認識される背景を３Ｄポリゴン１０で構成される「森」や「芝生」に置き換え、その「芝生」上に役者の３次元映像を表示することを想定する。
【００８４】
これらを前提として、図１４に示すフローチャートのステップＢ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局で準備される。例えば、図４に示した音声映像取得装置２１１によって、「ロミオとジュリエット」の舞台中継に係るお城の背景を表現する背景情報Ｄ１１と、映像の背景内で動く男女の役者Ａ，Ｂを表現する物体情報Ｄ１２と、背景に対する役者Ａ，Ｂの初期の配置情報Ｄ１３及びその役者Ａ，Ｂの移動に伴う位置情報Ｄ１４と、役者Ａ，Ｂの動作に伴う動作情報Ｄ１５とにより映像素材情報Ｄ１ｉが取得される。その他にコンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのコンピユータグラフィックデータ（以下ＣＧデータという）Ｄ４が映像素材情報Ｄ１ｉに含まれる。
【００８５】
その後、放送局側で準備された映像素材情報Ｄ１ｉがステップＢ２で３Ｄポリゴン送信装置２０１により多重化される。図４に示した３Ｄポリゴン送信装置２０１では、例えば、ステップＢ２１で音声映像取得装置２１１から得られた映像素材情報Ｄ１ｉが音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５に出力される。音声符号化部２１３では役者や効果音などの音声が符号化され、音声符号化信号が発生される。映像符号化部２１４では１番組を構成する、例えば、舞台装置の背景、物体の映像に係る背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５などの画像素材情報Ｄ１ｉが符号化され、映像符号化信号が発生される。データ符号化部２１５ではＣＧデータＤ４が符号化され、ＣＧデータ符号化信号が発生される。
【００８６】
また、音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５の出力に接続された多重化手段１Ａにより、音声符号化信号、映像符号化信号及びＣＧデータ符号化信号などの多種多様なサービスが多重化され、複数のトランスポートストリームパケットＴＳｊ（ｊ＝１〜ｍ）が発生される。そして、ステップＢ２２では上述した舞台映像に係る背景情報Ｄ１１がチャネルｃｈ１に割り振られ、その物体情報Ｄ１２がチャネルｃｈ２に割り振られ、その配置情報Ｄ１３がチャネルｃｈ３に割り振られ、その位置情報Ｄ１４がチャネルｃｈ４に割り振られ、その動作情報Ｄ１５がチャネルｃｈ５に割り振られ、二次元の映像情報がチャネルｃｈ６に割り振られる。この映像情報は１ｃｈでもよい。
【００８７】
この例では、１番組を構成する符号化信号（映像素材情報Ｄ１ｉ）は図５に示したようにＭＰＥＧ−４のデータ系列のビットストリームになるように符号化される。この多重化手段１Ａの出力は伝送路符号化部２１６で、トランスポートストリームＴＳｊの合成、ＴＭＣＣ生成、誤り訂正及び変調などのＯＦＤＭ処理がステップＢ２３で施される。
【００８８】
このＯＦＤＭ処理後の符号化信号は、送信機２１７において、ＴＣ８ＰＳＫ方式のデジタル変調がなされ、３４．５ＭＨｚ帯域幅を使用して、ステップＢ２４で衛星回線を通じて視聴者の受信装置に向けて発信される。この際に、デジタルテレビ放送網を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。もちろん、ケーブルテレビ通信回線又はインターネット通信回線を使用してもよい。
【００８９】
そして、放送局側から送られてきた映像素材情報Ｄ１ｉはステップＢ３で視聴者側に設置された３Ｄポリゴン受信装置２０２によって受信される。例えば、図８に示した３Ｄポリゴン受信装置２０２のチューナ部では、衛星回線から送られくるＴＣ８ＰＳＫ変調方式のデジタル信号が受信される。
【００９０】
このチューナ部７４に接続された映像検波部７５では、６チャネルに多重化されたＴＣ８ＰＳＫ変調方式のデジタル信号が検波される。この映像検波部７５に接続されたノイズ除去部７６では、ＭＰＥＧ−４のデータ系列で送信されてきたデジタル信号がノイズ除去されると共にＯＦＤＭ復調される。このノイズ除去部７６に接続された誤り補正部７７では、ＯＦＤＭ復調されたデジタル信号の誤り符号が補正される。
【００９１】
この誤り補正部７７に接続された情報多重化解析部７８では、誤り補正された６チャネルの映像素材情報Ｄ１ｉが多重分離される。背景情報Ｄ１１はｃｈ１から得られ、物体情報Ｄ１２はｃｈ２から得られ、配置情報Ｄ１３はｃｈ３から得られ、位置情報Ｄ１４はｃｈ４から得られ、動作情報Ｄ１５はｃｈ５から得られ、及び、二次元の映像情報はｃｈ５から各々得られる。これらの背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４、動作情報Ｄ１５及び二次元の映像情報などの映像素材情報Ｄ１ｉは画像メモリ３に一時記憶される。
【００９２】
その後、ステップＢ４では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがジョグダイアル８９などを使用して視聴者により選択される。このジョグダイアル８９によって制御装置８８及びセレクタ４を通じて選択された映像素材情報Ｄ１ｉは、映像作成手段６に出力される。映像作成手段６のジオメトリ部８５では、３次元映像を表現するためのグローバル座標系に背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５が表示（記述）される。例えば、図６に示した舞台で演ずる役者Ｂなどの視線により認識される背景が、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられ、その「芝生」上に役者Ａの３次元映像が合成され、これらの映像合成信号が作成される。
【００９３】
また、ジオメトリ部８５に接続されたラスター部８６では、表示手段２４の走査方式に合うようにラスター処理が施される。その後、ラスター部８６に接続されたステレオ画像生成部８７では、視点データに基づいてステレオ画像が形成される。
【００９４】
このステレオ画像はステップＢ５で特殊グラストロン２０３に供給される。特殊グラストロン２０３内のＬＣＤ２６には、図９に示した舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とを合成したステレオ画像の一方が表示される。
【００９５】
また、そのＬＣＤ２７には、上述の舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の映像とを合成したステレオ画像の他方が表示される。上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。これにより、舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とが視聴者の頭の中で合成される。
【００９６】
このように、第１の実施例に係る３でポリゴン放送システムによれば、予め放送局側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。特殊グラストロン２０３を装着した視聴者には、図９に示した３Ｄポリゴン１０で構成される「森」や「芝生」上に役者Ａが存在するような３次元映像を楽しむことができる。
【００９７】
従って、放送局側から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにして舞台で演ずる役者Ａ，Ｂなどの視線により認識される臨場感溢れた３次元映像を視聴することができる。また、ＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムを提供することができる。
【００９８】
なお、３Ｄポリゴン受信装置２０２では特殊グラストロン２０３を装着しない場合には、客席から舞台を見ている場合の二次元映像がテレビモニタ２０４に表示される。この他に、ジョグダイアル８９の切り換えによってテレビモニタ２０４に、３Ｄポリゴン１０で構成される「森」や「芝生」上に役者Ａが存在するような３次元の合成映像を表示することができる。
【００９９】
（３）第２の実施例
図１５は第２の実施例に係る３Ｄポリゴン放送システム４００の構成例を示すブロック図である。
この例では第１の実施例に係る３Ｄポリゴン放送システム３００にゲーム装置２０５が接続され、放送局から衛星回線を介して送られてきた、例えば、サッカー中継に係る複数の映像素材情報Ｄ１ｉに基づいて３Ｄポリゴン受信装置２０２により３次元映像が作成され、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにしたものである。これと共に、特殊グラストロン２０６を装着した視聴者において、ゲーム装置２０５から提供された映像ソフトによるサッカーコートに、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示できるようにしたものである。
【０１００】
図１５に示す３Ｄポリゴン放送システム４００は３Ｄポリゴン送信装置２０１、３Ｄポリゴン受信装置２０２、ＴＶモニタ２０４、ゲーム装置２０５及び特殊グラストロン２０６を備えている。なお、第１の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
【０１０１】
この放送システム４００では３次元映像を作成するために予め準備された、例えば、「ワールドカップサッカー」の衛星中継に係るサッカーコートの背景、プレーヤーとしてのサッカー選手、このサッカー選手の動きなどの映像素材情報Ｄ１ｉが取得される。
【０１０２】
これらの映像素材情報Ｄ１ｉは客席に背景撮影用のビデオカメラが配置され、例えば、サッカーコートの全体の背景などが撮影され、審判員やサッカー選手を含むサッカーコートを表現する背景情報Ｄ１１が取得される。また、サッカーコートの左右には物体撮影用のビデオカメラが配置され、サッカーコートを左右から見たサッカー選手の動きが撮影され、サッカーコート内でボールを追って動くサッカー選手を表現する物体情報Ｄ１２が取得される。更に、サッカーコートの周辺には物体位置撮影用のビデオカメラが配置され、サッカーコートの全体背景に対するサッカー選手の初期の配置情報Ｄ１３及びそのサッカーコート内で動くサッカー選手の移動に伴う位置情報Ｄ１４が取得される。
【０１０３】
この例で、特定のサッカー選手（被写体）の頭部に小型のＣＣＤ撮像装置を取り付け、当該サッカー選手からゴールを見た視点映像を撮影したり、他のサッカー選手の動作に伴う動作情報Ｄ１５を取得するようにしてもよい。もちろん、ＣＣＤ撮像装置は全プレーヤーに取り付けてもよい。また、ゴール側にビデオカメラを設け、ゴール側からフィールド上を見た背景などを撮影するようにしてもよい。
【０１０４】
これらの映像素材情報Ｄ１ｉが予め放送局などで準備されると、上述した３Ｄポリゴン送信装置２０１によって多重化された後に、衛星回線を通じて視聴者の所持する３Ｄポリゴン受信装置２０２へ送信される。この際に、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。
【０１０５】
受信側では、放送局から送られてきた映像素材情報Ｄ１ｉが３Ｄポリゴン受信装置２０２によって受信される。３Ｄポリゴン受信装置２０２によって受信された映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉが視聴者によって選択されると、その選択された映像素材情報に基づいて視聴者の好みに合った３次元映像が作成される。
【０１０６】
この３Ｄポリゴン受信装置２０２では特殊グラストロン２０６やテレビモニタ２０４などの表示手段が使用されると共にゲーム装置２０５が使用される。この例でテレビモニタ２０４には、客席からサッカーコートを見ている二次元映像が表示される他、特殊グラストロン２０６を装着した視聴者には、３Ｄポリゴン１０で構成されるサッカー選手が、ゲーム装置２０５の例えば、ＣＤ−ＲＯＭ７９から提供された映像ソフトによるサッカーコートに、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示される。放送局から視聴者側へ伝送される映像素材情報のデータ量を低減することができる。
【０１０７】
このゲーム装置２０５は画像処理手段の一例であり、３Ｄポリゴン受信装置２０２、特殊グラストロン２０６及びＴＶモニタ２０４などに接続される。ゲーム装置２０５にはプレイ・ステーション（ソニー（株）：商標名）などを使用する。例えば、サッカーゲームなどの映像ソフトが記録されたＣＤ−ＲＯＭ７９がゲーム装置２０５に装着される。このゲーム装置２０５ではＣＤ−ＲＯＭ７９からゲームソフトが読み出されると、そのゲームソフトに基づいてＴＶモニタ２０４にサッカーコートが表示され、そのコート上にサッカー選手などのキャラクタを表示させてサッカーゲームを競うようにプレイされるものである。
【０１０８】
この例で図１５に示すゲーム装置２０５の四隅には、複数の光源としてそれぞれ発光ダイオード（ＬＥＤ１〜ＬＥＤ４）が取付けられ、「ワールドカップサッカー」の衛星中継に係るサッカー選手などの仮想体を飛び出せようとする基準面が設定される。この基準面には、４つの点Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとする基準面に相当する）。
【０１０９】
この４個の発光ダイオードＬＥＤ１〜ＬＥＤ４は、そのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、少なくとも、点滅パターンが異なるように点滅される。
【０１１０】
この発光ダイオードＬＥＤ１〜ＬＥＤ４の発光は特殊グラストロン２０６に取付けられた流し撮りＣＣＤ装置により、所定の撮像方向に流すように撮像される。この流し撮りは４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置から基準面を特定するためである。この基準面の特定については図２３で説明をする。
【０１１１】
このゲーム装置２０５には制御手段として図１６に示す点滅制御回路１３が設けられ、発光ダイオードの入出力が制御される。例えば、点滅制御回路１３では、画像処理系に当該ゲーム装置２０５の位置を再現性良く認識させるために、発光ダイオードの点滅パターンが異なるように点滅制御される。
【０１１２】
この例では、点滅制御回路１３によって、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧が印加されて点滅制御される。この点滅制御回路１３は例えばクロック発生部６１を有している。クロック発生部６１には１／２分周回路６２、１／３分周回路６３、１／４分周回路６４が接続されており、所定周波数のクロック信号ＣＬＫ１と、このクロック信号ＣＬＫ１を１／２分周回路６２で１／２分周したクロック信号ＣＬＫ２と、１／３分周回路６３で１／３分周したクロック信号ＣＬＫ３と、１／４分周回路６４で１／４分周したクロック信号ＣＬＫ４とが出力される。
【０１１３】
各々のクロック信号ＣＬＫ１〜ＣＬＫ４は安定化用の抵抗Ｒを通して各々の発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４に供給されている。このクロック発生部６１には直流電源ＶＣＣが接続される。
【０１１４】
この例では、図１６に示したクロック発生部６１に電源が供給されると、発光ダイオードＬＥＤ１にはクロック信号ＣＬＫ１が供給され、発光ダイオードＬＥＤ２にはクロック信号ＣＬＫ２が供給され、発光ダイオードＬＥＤ３にはクロック信号ＣＬＫ３が供給され、発光ダイオードＬＥＤ４にはクロック信号ＣＬＫ４が供給される。従って、図１７に示す４つの発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４の点滅パターンを異なるように制御することができる。
【０１１５】
このように、基準面設定付きのゲーム装置２０５の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が、点滅制御回路１３によって点滅パターンを異ならせるように点滅制御されるので、流し撮りＣＣＤ装置のような特殊撮影装置でそのゲーム装置２０５を流し撮りした場合に、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の点灯パターンを非点滅制御した場合に比べてその４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の輝点位置を容易に特定することができる。従って、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置からゲーム装置２０５の位置を画像処理系に容易に認識させることができる。
【０１１６】
続いて、特殊グラストロン２０６について説明する。図１８に示す特殊グラストロン２０６には少なくとも流し撮りＣＣＤ装置２３及び表示手段２４が設けられている。特殊グラストロン２０６の機種によっては通常のＣＣＤ撮像装置２５が設けられる。上述のゲーム装置２０５、流し撮りＣＣＤ装置２３及び特殊グラストロン２０６内の画像処理部によって面認識手段が構成され、視聴者の属する実空間上で任意の基準面を認識できるようになされている。ここで、流し撮りとは、流し撮りＣＣＤ装置２３において、同一フィールド期間中に複数回、光電変換素子（フォトダイオードなど）から信号電荷を読み出す撮影モードをいう。
【０１１７】
この例で流し撮りＣＣＤ装置２３として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りＣＣＤ装置２３として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【０１１８】
更に、特殊グラストロン２０６内には画像処理部が設けられ、流し撮りＣＣＤ装置２３から出力された画像データに基づいて基準面などを認識する画像処理がなされる。この画像処理部には表示手段２４が接続され、面認識手段により認識された基準面が表示される。この特殊グラストロン２０６内には偏光ビームスプリッタなどの光学手段が設けられる場合があり、表示手段２４によって表示された仮想空間の基準面上で仮想体の画像が合成される。この例では、実空間上の基準面の属する位置に、ゲーム装置２０５から提供された映像ソフトによるサッカーコートが表示され、このサッカーコート上に、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示される。
【０１１９】
つまり、視聴者の眉間に相当する位置には、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置２３とが並べて配置され、前者によって視聴者の属する外界像が撮像され、後者によってゲーム装置２０５の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りされる。従って、視聴者が基準面設定付きのゲーム装置２０５に目を向けると、その基準面の方向に流し撮りＣＣＤ装置２３が向くようになる。
【０１２０】
続いて、他の特殊グラストロン２０７について説明する。図１９に示す特殊グラストロン２０７は透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５は搭載されていない。従って、透過型のヘッドマウントディスプレイは、流し撮りＣＣＤ装置２３と、外界像取り込み用の液晶シャッタ２８と、画像表示素子としてのＬＣＤ２９から構成される。
【０１２１】
例えば、視聴者の眉間に相当する位置には、流し撮りＣＣＤ装置２３が配置され、視聴者が上述のゲーム装置２０５に目を向けると、ゲーム装置２０５の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りされる。そして、視聴者の左目及び右目に相当する位置には液晶シャッタ２８が設けられ、例えば、液晶シャッタ２８が開かれると、その液晶シャッタ２８を通過した視聴者のゲーム装置２０５の実像が直接眼球に導かれる。
【０１２２】
また、特殊グラストロン２０７内の視聴者の左目又は右目の脇に位置する部分には、ＬＣＤ２９が取付けられ、上述の特殊グラストロン２０６と同様にしてキャラクタ画像が表示される。図示しないが、液晶シャッタ２８と、ＬＣＤ２９との間には偏光ビームスプリッタなどの光学手段が設けられ、ゲーム装置２０５から提供された映像ソフトによるサッカーコートの画像と、このサッカーコート上に、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像とが視聴者の眼球に導くようになされている。これにより、視聴者の属するゲーム装置２０５上の仮想画像と３Ｄポリゴン１０によるサッカー選手の３次元映像とが頭の中で合成される。
【０１２３】
続いて、流し撮りＣＣＤ装置２３の内部構成例について説明する。図２０に示す流し撮りＣＣＤ装置２３は基板３１を有している。その基板３１上には、１画素を構成する光電変換素子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されている。
【０１２４】
この基板の列方向には電荷転送部としてｍ本の垂直転送部３２が設けられ、フォトダイオードＰＨｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に基づいて垂直方向（流し撮り方向）に転送される。この垂直転送部３２には水平転送部３３が接続され、その信号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転送されるので、出力端子３４に流し撮り信号ＳOUTが出力される。この例では、流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードＰＨｉｊから垂直転送部３２に信号電荷が転送される。
【０１２５】
また、流し撮りＣＣＤ装置２３は図２１に示す魚眼レンズ３５を有している。魚眼レンズ３５は例えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼レンズ３５によって上述のゲーム装置２０５などを広範囲に撮像できるようになる。もちろん、通常のレンズでも構わないが、視野が狭くなるので、視聴者はゲーム装置２０５に向けてより多く頭部を傾けなければならない。
【０１２６】
続いて、非透過型の特殊グラストロン２０６の回路構成について説明する。図２２に示す特殊グラストロン２０６は上述した流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び画像処理装置９を有している。この画像処理装置９は図８に示した映像作成手段６に含めて構成する場合には、特殊グラストロン２０６内から画像処理装置９を削除してもよい。
【０１２７】
この例で画像処理装置９は内部バス４１を有している。内部バス４１には内部インタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７、Ｅ2ＰＲＯＭ（電気的な書き込み及び消去が可能な読み出し専用メモリ）４８及び外部インタフェース４９が接続されている。流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７は内部インタフェース４２を介して内部バス４１に接続される。
【０１２８】
この内部バス４１には記録媒体としてＥ2ＰＲＯＭ４８が接続され、ゲーム装置２０５上に基準面を設定するようなアルゴリズムが格納されている。従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上のゲーム装置２０５の基準面などをＣＰＵ４５などに認識させることができる。これにより、サッカーコートでプレーするサッカー選手などの視線により認識される臨場感溢れた３次元映像をゲーム装置２０５上の基準面に出現させるような３Ｄポリゴン放送システムを再現性良く構成することができる。
【０１２９】
この例では、内部バス４１に外部インタフェース４９が接続されている。この外部インタフェース４９には外部入力端子４１０が設けられ、上述した３Ｄポリゴン受信装置２０２を直接接続して、ＲＳ−２３２Ｃ通信プロトコルによるビデオ信号やデジタル放送信号などが入力できるようになされている。この外部入力端子４１０の他には、ゲーム装置２０５に接続できる外部入力端子４１１が設けられ、ゲーム装置２０５で再生されたサッカーゲームに係る３Ｄポリゴン１０のステレオ画像が３Ｄポリゴン受信装置２０２の映像作成手段６を介して供給される。
【０１３０】
更に、内部バス４１にはＲＯＭ４６が接続され、この特殊グラストロン２０６を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや３Ｄポリゴン１０の画像を表示する表示情報が一時記録される。また、内部バス４１にはＣＰＵ４５が接続され、内部インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６及びＬＣＤ２７の入出力の制御が行われる。
【０１３１】
この内部インタフェース４２には演算手段として画像処理部４４が接続され、例えば、図１５に示した通常のＣＣＤ撮像装置２５によってゲーム装置２０５の映像が取得され、基準面認識用の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りＣＣＤ装置２３で撮像されると、このＣＣＤ装置２３から得られた点滅パターンに係る画像データが、ＣＰＵ４５の制御命令と共に内部インタフェース４２を介して、画像キャプチャ部４３に取り込まれる。画像キャプチャ部４３では、流し撮りＣＣＤ装置２３から入力した４つの発光ダイオードＬＥＤ１〜ＬＥＤ４に係る画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。
【０１３２】
この画像キャプチャ部４３には内部バス４１を介して画像処理部４４が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、視聴者の注視するゲーム装置２０５の映像が求められる。これにより、所定の撮像方向に流すように撮像された発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅パターンに関して、その点滅パターンに係る輝度信号ＳOUTが画像処理部４４で画像処理され、その発光ダイオードＬＥＤ１〜ＬＥＤ４の位置が求められるので、そのゲーム装置２０５の位置を容易に特定することができる。
【０１３３】
例えば、画像処理部４４では流し撮りＣＣＤ装置２３から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関して、図２３に示すウインドウＷにより画定された画像領域内で、４つの流し撮り輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。この４つの輝点Ｐ１〜Ｐ４は視聴者が注視するゲーム装置２０５上の基準面設定用の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４である。実空間上のゲーム装置２０５の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標は既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。
【０１３４】
従って、上述の実空間上のゲーム装置２０５の取得映像は４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、
両者の間には（１）式なる関係がある。
【０１３５】
【数３】
【０１３６】
但し、ａ１・・・・ａ８は未知の係数でＣＣＤ撮像装置２５などの外部パラメータ（位置と方向）及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解くことにより得られる。
【０１３７】
【数４】
【０１３８】
ここで得られた４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を結ぶことにより、図１５に示した実空間上のゲーム装置２０５が認識される。
【０１３９】
具体的には、図２３に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、画像処理部４４によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる４つの位置が検出され、この４つの位置に対応するＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４が求められる。また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められる。
【０１４０】
ここで、実空間上の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉとし、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４のＬＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクトルをＴとすると、（３）式、すなわち、
Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３）
但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）
という関係がある。従って、通常のＣＣＤ撮像装置２５の回転マトリクスＲとその移動ベクトルＴとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上のゲーム装置２０５の映像に３Ｄポリゴン１０によるサッカー選手の映像を合成することができる。この画像処理部４４で所定の画像処理がなされた合成映像は、再び、内部インタフェース４２を介して特殊グラストロン２０６内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【０１４１】
続いて、第２の実施例に係る３Ｄポリゴン放送システム４００における処理例について説明をする。この例では放送局から衛星回線を介して送られてきたサッカー中継に係る複数の映像素材情報Ｄ１ｉに基づいて３Ｄポリゴン受信装置２０２により３次元映像を作成し、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することを前提とする。もちろん、視聴者は図１５に示した特殊グラストロン２０６を頭部に装着する。これと共に、特殊グラストロン２０６を装着した視聴者において、ゲーム装置２０５から提供された映像ソフトによるサッカーコートに、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示することを想定する。
【０１４２】
これらを前提として、図２４に示すフローチャートのステップＣ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局で準備される。例えば、図示しない「ワールドカップサッカー」の衛星中継に係るサッカーコートの全体を表現する背景情報Ｄ１１と、この映像の背景内で動くサッカー選手を表現する物体情報Ｄ１２と、サッカーコート対する複数のサッカー選手の初期の配置情報Ｄ１３及びこれらのサッカー選手の移動に伴う位置情報Ｄ１４と、サッカー選手の動作に伴う動作情報Ｄ１５とにより映像素材情報Ｄ１ｉが取得される。その他に第１の実施例で説明したようなコンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのＣＧデータＤ４を映像素材情報Ｄ１ｉに含めてもよい。
【０１４３】
その後、放送局側で準備された映像素材情報Ｄ１ｉがステップＣ２で３Ｄポリゴン送信装置２０１により多重化される。図１５に示した３Ｄポリゴン送信装置２０１では、例えば、ステップＣ２１で音声映像取得装置２１１から得られたサッカー中継に係る映像素材情報Ｄ１ｉが音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５に出力される。音声符号化部２１３ではサッカー選手や審判の笛、応援団の音声などの符号化され、音声符号化信号が発生される。映像符号化部２１４では１番組を構成するサッカー中継に係るサッカーコートの背景に係る背景情報Ｄ１１、サッカー選手の映像に係る物体情報Ｄ１２、その配置情報Ｄ１３、その位置情報Ｄ１４及びその動作情報Ｄ１５などの画像素材情報Ｄ１ｉが符号化され、映像符号化信号が発生される。データ符号化部２１５では得点経過などのＣＧデータＤ４が符号化され、ＣＧデータ符号化信号が発生される。
【０１４４】
また、音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５の出力に接続された多重化手段１Ａにより、音声符号化信号、映像符号化信号及びＣＧデータ符号化信号などの多種多様なサービスが多重化され、複数のトランスポートストリームパケットＴＳｊ（ｊ＝１〜ｍ）が発生される。そして、ステップＣ２２では上述したサッカー中継に係る背景情報Ｄ１１がチャネルｃｈ１に割り振られ、そのサッカー選手に係る物体情報Ｄ１２がチャネルｃｈ２に割り振られ、その配置情報Ｄ１３がチャネルｃｈ３に割り振られ、その位置情報Ｄ１４がチャネルｃｈ４に割り振られ、その動作情報Ｄ１５がチャネルｃｈ５に割り振られ、二次元の映像情報がチャネルｃｈ６に割り振られる。
【０１４５】
この例では、１番組を構成する符号化信号（映像素材情報Ｄ１ｉ）は図５に示したようにＭＰＥＧ−４のデータ系列のビットストリームになるように符号化される。この多重化手段１Ａの出力は伝送路符号化部２１６で、トランスポートストリームＴＳｊの合成、ＴＭＣＣ生成、誤り訂正及び変調などのＯＦＤＭ処理がステップＣ２３で施される。
【０１４６】
このＯＦＤＭ処理後の符号化信号は、送信機２１７において、ＴＣ８ＰＳＫ方式のデジタル変調がなされ、３４．５ＭＨｚ帯域幅を使用して、ステップＣ２４で衛星回線を通じて視聴者の受信装置に向けて発信される。この際に、デジタルテレビ放送網を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。もちろん、ケーブルテレビ通信回線又はインターネット通信回線を使用してもよい。
【０１４７】
受信側では、ステップＣ３でゲーム装置２０５が起動された後に、ステップＣ４で４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅制御を開始する。この際に、ＣＤ−ＲＯＭ７９内の３Ｄ映像データはジオメトリー部８５へ転送される。これは受信信号がゲーム装置２０５で処理し切れない場合があるからである。
【０１４８】
これと並行して、放送局側から送られてきた映像素材情報Ｄ１ｉはステップＣ５で視聴者側に設置された３Ｄポリゴン受信装置２０２によって受信される。例えば、図８に示した３Ｄポリゴン受信装置２０２のチューナ部では、衛星回線から送られくるＴＣ８ＰＳＫ変調方式のデジタル信号が受信される。
【０１４９】
このチューナ部７４に接続された映像検波部７５では、６チャネルに多重化されたＴＣ８ＰＳＫ変調方式のデジタル信号が検波される。この映像検波部７５に接続されたノイズ除去部７６では、ＭＰＥＧ−４のデータ系列で送信されてきたデジタル信号がノイズ除去されると共にＯＦＤＭ復調される。このノイズ除去部７６に接続された誤り補正部７７では、ＯＦＤＭ復調されたデジタル信号の誤り符号が補正される。
【０１５０】
この誤り補正部７７に接続された情報多重化解析部７８では、誤り補正された６チャネルの映像素材情報Ｄ１ｉが多重分離される。背景情報Ｄ１１はｃｈ１から得られ、物体情報Ｄ１２はｃｈ２から得られ、配置情報Ｄ１３はｃｈ３から得られ、位置情報Ｄ１４はｃｈ４から得られ、動作情報Ｄ１５はｃｈ５から得られ、及び、二次元の映像情報はｃｈ５から各々得られる。これらの背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４、動作情報Ｄ１５及び二次元の映像情報などの映像素材情報Ｄ１ｉは画像メモリ３に一時記憶される。
【０１５１】
その後、ステップＣ６では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがジョグダイアル８９などを使用して視聴者により選択される。このジョグダイアル８９によって制御装置８８及びセレクタ４を通じて選択された映像素材情報Ｄ１ｉは、映像作成手段６に出力される。映像作成手段６のジオメトリ部８５では、３次元映像を表現するためのグローバル座標系に、ステップＣ３のＣＤ−ＲＯＭ７９から転送されたサッカーコートなどの３Ｄ映像データ、放送局からの背景情報Ｄ１１、サッカー選手に係る物体情報Ｄ１２、その配置情報Ｄ１３、その位置情報Ｄ１４及びその動作情報Ｄ１５が表示（記述）される。
【０１５２】
この例では、ゲーム装置２０５から、例えば、ＣＤ−ＲＯＭ７９により再生されるサッカーゲームの映像ソフトに基づくサッカーコートが、「ワールドカップサッカー」の中継に係るサッカーコートと置き換えられ、３Ｄポリゴン１０で構成されるサッカー選手をそのサッカーゲームソフトに基づくサッカーコート上に存在するように３次元映像が合成され、これらの映像合成信号が作成される。
【０１５３】
また、ジオメトリ部８５に接続されたラスター部８６では、表示手段２４の走査方式に合うようにラスター処理が施される。その後、ラスター部８６に接続されたステレオ画像生成部８７では、視点データに基づいてステレオ画像が形成される。
【０１５４】
このステレオ画像はステップＣ７で特殊グラストロン２０６に供給される。特殊グラストロン２０６では、例えば、図２５に示す第１のサブルーチンをコールして、そのフローチャートのステップＤ１で視聴者の属する実空間上でゲーム装置２０５上に基準面を設定するために、視聴者は、流し撮りＣＣＤ装置２３をゲーム装置２０５に向くようにする。その後、図１６に示した点滅制御回路１３を通じて４つの発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧を供給して所定の点滅パターンで点滅する。
【０１５５】
この例では、所定周波数のクロック信号ＣＬＫ１が抵抗Ｒを通して発光ダイオードＬＥＤ１に供給され、このクロック信号ＣＬＫ１を１／２分周したクロック信号ＣＬＫ２が抵抗Ｒを通して発光ダイオードＬＥＤ２に供給され、そのＣＬＫ１を１／３分周したクロック信号ＣＬＫ３が抵抗Ｒを通して発光ダイオードＬＥＤ３に供給され、そのＣＬＫ１を１／４分周したクロック信号ＣＬＫ４が抵抗Ｒを通して発光ダイオードＬＥＤ４に供給される。
【０１５６】
次に、ステップＤ２において、一方で通常のＣＣＤ撮像装置２５を使用して実空間上の基準面を撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示する。他方で、流し撮りＣＣＤ装置２３を使用して実空間上の基準面を流し撮りする。例えば、３Ｄポリゴン１０のサッカー選手を合成させようとするゲーム装置２０５の所定位置に取付けられた４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が、点滅パターンが異なるように点滅されるので、その点滅パターンが所定の撮像方向に流すように撮像される。
【０１５７】
その後、ステップＤ３で視聴者の属する実空間上に任意に設定された基準面を認識するために画像処理する。画像処理部４４では、例えば、図２６に示す第２のサブルーチンをコールしてステップＥ１でビデオキャプチャ処理を実行する。そして、ステップＥ２で四隅の発光ダイオードＬＥＤ１〜ＬＥＤ４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された４つの発光ダイオードＬＥＤ１〜ＬＥＤ４による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０１５８】
その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる。そして、ステップＥ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０１５９】
その後、図２５の第１のサブルーチンのステップＤ４にリターンして仮想空間の基準面上にＣＤ−ＲＯＭ７９によるゲーム用のサッカーコートの映像を表示する。そして、上述の（２）式に基づいて、仮想空間の基準面上に３Ｄポリゴン１０によるサッカー選手の映像が合成される。
【０１６０】
このとき、視聴者が装着した特殊グラストロン２０６では、「ワールドカップサッカー」の中継に係るサッカーコートでサッカーボールを蹴る３Ｄポリゴン１０のサッカー選手が、サッカーゲームソフトに基づくサッカーコート１０Ｂでプレーするように合成したステレオ画像の一方が表示される。また、そのＬＣＤ２７には、その３Ｄポリゴン１０のサッカー選手が、サッカーゲームソフトに基づくサッカーコート１０Ｂでプレーするように合成したステレオ画像の他方が表示される。
【０１６１】
上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。これにより、実際は「ワールドカップサッカー」に係るコート上でサッカーボール１０Ａを蹴るサッカー選手が、サッカーゲーム上のコート１０Ｂでプレーしているように３次元映像が視聴者の頭の中で合成される。
【０１６２】
従って、図２７に示す実空間上では基準面上に３Ｄポリゴン１０によるサッカー選手やサッカーボール１０Ａ及びゲームソフトによるサッカーコート１０Ｂが出現していないのに、図２８に示す仮想空間ではその基準面上にサッカーコート１０Ｂが出現し、しかも、３Ｄポリゴン１０によるサッカー選手やサッカーボール１０Ａを出現させることができる。
【０１６３】
このように、第２の実施例に係る３Ｄポリゴン放送システム４００によれば、予め放送局側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。特殊グラストロン２０６を装着した視聴者においては、ゲームソフトによるサッカーコート上で、サッカーボール１０Ａを蹴る３Ｄポリゴン１０によるサッカー選手をプレイさせるようなゲームを行わせることができる。
【０１６４】
従って、放送局側から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにして「ワールドカップサッカー」に係るサッカー選手の視線により認識される臨場感溢れた３次元映像を視聴することができる。また、第１の実施例と同様にしてＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムを構築することができる。
【０１６５】
なお、特殊グラストロン２０６を装着しない場合には、客席からサッカーコートを見ている場合の二次元映像がテレビモニタ２０４に表示される。この他に、ジョグダイアル８９の切り換えによってテレビモニタ２０４に、３Ｄポリゴン１０で構成されるサッカー選手が、サッカーゲーム上のコート１０Ｂでプレーしている３次元の合成映像を表示することができる。このサッカーゲーム上のコート１０ＢはＣＤ−ＲＯＭ７９から読み出されるので、放送局から視聴者側へ伝送される映像素材情報のデータ量を低減することができる。
【０１６６】
（４）第３の実施例
図２９は第３の実施例としての３Ｄポリゴン受信処理システム５００の構成例を示す斜視図である。この例では、点滅パターンの異なる光源画像をＴＶモニタ２０４の特定位置に表示し、その光源画像の位置からＴＶモニタ２０４の位置を画像処理系に認識させて、視聴者の視聴する二次元映像に仮想体の画像を再現性良く立体的に合成できるようにしたものである。なお、第２の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
【０１６７】
図２９に示す３Ｄポリゴン受信処理システム５００では、視聴者の聴取するテレビ画像、例えば、先の例の「ワールドカップサッカー」の中継映像にその試合でプレイをするサッカー選手の映像をＴＶモニタ２０４上に飛び出させて、立体的に合成表示するようになされる。
【０１６８】
この３Ｄポリゴン受信処理システム５００は基準面設定用のＴＶモニタ２０４及び特殊グラストロン２０６を有している。このＴＶモニタ２０４は例えば視聴者が視聴できる位置であって、特殊グラストロン２０６の撮影範囲内に入るように配置される。
【０１６９】
このＴＶモニタ２０４は仮想体の画像を合成しようとする基準面を提供するために、図２９に示す画面内の四隅に予め光源画像ＬＰｉが表示される。この例では、３Ｄポリゴン１０によるサッカー選手を飛び出せようとするＴＶ画面の４つの点Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとするＴＶ画面の位置に相当する）。この４個の光源画像ＬＰ１〜ＬＰ４は、そのマーク部としての機能を発揮するために、かつ、ＴＶモニタ２０４で表示位置が明らかになるように、点滅パターンが異なるように表示される。
【０１７０】
この光源画像ＬＰ１〜ＬＰ４は特殊グラストロン２０６内の流し撮りＣＣＤ装置２３により、所定の流し撮像方向に流すように撮像される。この流し撮りは４個の光源画像ＰＬ１〜ＰＬ４の表示位置からＴＶ画面を特定するためである。このＴＶ画面の特定については図２３で説明した通りである。
【０１７１】
この特殊グラストロン２０６の本体部２１内には第２の実施例で説明した画像処理装置９が設けられ、流し撮りＣＣＤ装置２３から出力された画像データに基づいて光源画像ＬＰｉを含んだＴＶ画面などを認識する画像処理がなされる。この例でも、特殊グラストロン２０６内には画像処理装置９の他に流し撮りＣＣＤ装置２３及び表示手段２４が設けられる。
【０１７２】
特殊グラストロン２０６の機種によっては通常のＣＣＤ撮像装置２５が設けられる。この基準面設定用のＴＶモニタ２０４に表示された４個の光源画像ＬＰｉ、流し撮りＣＣＤ装置２３及び画像処理装置９によって位置認識機構（面認識手段）７が構成され、視聴者の視聴するＴＶモニタ２０４の表示画面を認識できるようになされる。この位置認識機構７の主要部を成す流し撮りＣＣＤ装置２３では、ＴＶモニタ２０４の画面内の四隅で、点滅パターンが異なるように表示された光源画像ＬＰｉを所定の撮像方向に流すように撮像される。この流し撮りに関しては第２の実施例で説明した通りである。
【０１７３】
上述の画像処理装置９には第２の実施例で説明した表示手段２４が接続され、位置認識機構７により認識されたＴＶ画面が表示される。この特殊グラストロン２０６内には偏光ビームスプリッタなどの光学手段が設けられる場合があり、表示手段２４によって表示された仮想空間のＴＶ画面上で仮想体の画像が合成される。この例では、実空間上のＴＶ画面の属する位置に、あたかも、仮想体としての３Ｄポリゴン１０によるサッカー選手が存在するようになされる。
【０１７４】
続いて、ＴＶモニタ２０４の構成例について説明する。この例では、点滅パターンの異なる光源画像をブラウン管（以下ＣＲＴという）の特定位置に表示し、その光源画像の位置からＴＶモニタ２０４の位置を画像処理系で容易に認識できるようにしたものである。
【０１７５】
図３０に示すＴＶモニタ２０４は撮像可能な任意の画面を有した表示手段８を備えている。この表示手段８には陰極線管（以下ＣＲＴ８’という）、液晶表示パネル、プラズマ・ディスプレイパネル及び平面表示パネルなどが使用される。もちろん、ＴＶモニタ２０４はカラー表示形式又は白黒表示形式であり、ＴＶ放送を受信して二次元映像を表示したり、３Ｄポリゴン１０による映像信号を受けて３次元映像を表示するものである。これらのＴＶモニタ２０４の画面内であって、少なくとも、その画面内の特定の位置に３点以上の光源画像が表示される。
この例では、表示手段８の表示映像画面の四隅に矩形状の光源画像ＬＰ１〜ＬＰ４が表示される。この光源画像ＬＰ１〜ＬＰ４は予めＴＶ放送局側で準備され、映像素材情報Ｄ１ｉと同じように専用チャネルに割り振り、多重化して送信するようにするとよい。受信機側で選択された映像素材情報Ｄ１ｉに係るカラー映像信号に光源画像ＬＰ１〜ＬＰ４を重畳する方法も考えられる。ここでは、後者の場合であって表示手段８にＣＲＴ８’を使用する場合について説明をする。
【０１７６】
図３１に示すＴＶモニタ２０４はＣＲＴ８’、画像処理手段９０及び制御手段６６を有している。例えば、画像処理手段９０には映像検波回路９１が設けられ、図示しない前段の映像中間増幅回路から出力されたカラー映像中間信号Ｓinからカラー映像信号ＳＣが検出される。この映像検波回路９１の出力段には加算回路９２が接続され、カラー映像信号ＳＣの所定表示期間に点滅パターンの異なる光源画像信号ＳＰｉ（ｉ＝１〜４）を加算するようになされる。
【０１７７】
つまり、加算回路９２の入力段には制御手段６６が接続され、ＣＲＴ８’の画面内に表示される光源画像ＬＰ１〜ＬＰ４を各々点滅パターンが異なるように点滅制御される。この例の制御手段６６は光源画像発生部６１を有しており、所定周波数のパルス状の光源画像信号ＳＰ１が発生される。光源画像信号ＳＰ１は３０〜５０Ｈｚを除いた低域の周波数が好ましい。これは、３０〜５０Ｈｚで点滅する光では、視聴者が光てんかん発作を引き起こすおそれがあるからである。
【０１７８】
この光源画像発生部６１’には第２の実施例で説明したクロック発生回路６１が応用され、１／２分周回路６２、１／３分周回路６３、１／４分周回路６４が接続される。光源画像発生部６１’による所定周波数の光源画像信号ＳＰ１と、この光源画像信号ＳＰ１を１／２分周回路６２で１／２分周した光源画像信号ＳＰ２と、１／３分周回路６３で１／３分周した光源画像信号ＳＰ３と、１／４分周回路６４で１／４分周した光源画像信号ＳＰ４とが出力される。
【０１７９】
この光源画像発生部６１’、１／２分周回路６２、１／３分周回路６３及び１／４分周回路６４の出力段には出力回路６５が接続され、垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、各々の光源画像信号ＳＰ１〜ＳＰ４を選択して加算回路９２に出力するようになされている。
【０１８０】
この加算回路９２の出力段には、映像増幅回路９３が接続され、カラー映像信号ＳＣの所定表示期間に加算された点滅パターンの異なる光源画像信号ＳＰｉが増幅される。この加算回路９２は図３１の破線で示すように映像増幅回路９３の出力段に接続してもよい。映像増幅回路９３の出力段にはカラー処理回路９４及び走査処理回路９５が接続されている。カラー処理回路９４では、カラー映像信号ＳＣ及び光源画像信号ＳＰｉが所定の階調処理などが施された後に、ＣＲＴ８’のカソード及びグリッドに駆動電圧ＶＫ、ＶＧとなって供給される。
【０１８１】
また、映像増幅回路９３に接続された走査処理回路９５では同期信号ＳＳが検出され、１周期が１６．６ｍｓecの垂直同期信号ＳＶ及び１周期６３μsecが水平同期信号ＳＨが上述の出力回路６５に出力される。更に、この垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて発生した水平偏向電圧ＶＶ、垂直偏向電圧ＶＨが偏水平・垂直向コイルに供給され、同様にして発生した高電圧ＶＨＨがＣＲＴ８’のアノードに供給される。
【０１８２】
これにより、ＣＲＴ８’に表示された任意の受信画面上に光源画像ＬＰｉを合成表示することができ、光源画像ＬＰｉを点滅させることができる。この例では、特定の波長Ｘの可視光が光源画像ＬＰｉから放出される状態、又は、それが放出されない状態を作ることができる。
【０１８３】
この可視光は人間の目では認識できないような色差にすることが好ましい。例えば、光源画像ＬＰｉが点滅される位置に、ｘ，ｙマトリクスフィルムを貼るようにする。このフィルムにはガルバゾール及びその誘導体などから成る透過域変動高分子材料を使用するよい。例えば、この種の緑色のフィルムを通った特定の波長の光は、人間の目には緑一色に見えるが、流し撮りＣＣＤ装置２３のような特殊な撮像装置で特定の透過帯域の薄膜フィルタを通すと、この光を検出することができる。従って、光源画像を３０〜５０Ｈｚで点滅させても、上述の光てんかん発作を防止することができる。
【０１８４】
続いて、ＴＶモニタ２０４の光源画像信号の挿入時の動作例を説明する。この例では、ＴＶモニタ２０４のＣＲＴ８’で表示される上下の５ラインの左右数画素を使用して光源画像ＬＰｉを表示する場合であって、カラー映像信号ＳＣの１水平期間の両縁に図３２に示す光源画像信号ＳＰｉ（ｉ＝１，３）、ＳＰｊ（ｊ＝２，４）を重畳する場合を想定する。例えば、ＮＴＣＳ方式で走査線が５２５本の場合であって、飛越走査方式の場合に、奇数フレームの第１、第３及び第５ラインの左端部に光源画像ＬＰ１を表示し、同じラインの右端部に光源画像ＬＰ２を表示する。その第５２１、第５２３及び第５２５ラインの左端部に光源画像ＬＰ３を表示し、同じラインの右端部に光源画像ＬＰ４を表示する。
【０１８５】
また、偶数フレームのラインの第２及び第４ラインの左端部に光源画像ＬＰ１を表示し、同じラインの右端部に光源画像ＬＰ２を表示する。その第５２２及び第５２４ラインの左端部に光源画像ＬＰ３を表示し、同じラインの右端部に光源画像ＬＰ４を表示する。
【０１８６】
これら前提条件の下に、上述の制御手段６６では、１垂直期間の奇数フレームにおいて、第１、第３及び第５ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、数画素の表示に対応した時間間隔で光源画像信号ＳＰ１を選択した後に、その１水平期間の終了直前に光源画像信号ＳＰ２を選択する。この結果で、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ１を重畳することができ、その右縁側に光源画像信号ＳＰ２を重畳することができる。従って、図３０に示した表示画面の左上端に光源画像ＬＰ１を表示することができ、その右上端に光源画像ＬＰ１を表示することができる。
【０１８７】
また、その奇数フレームの第５２１、第５２３及び第５２５ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、上述したように光源画像信号ＳＰ３を選択した後に光源画像信号ＳＰ４を選択する。この結果で、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ３を重畳することができ、その右縁側に光源画像信号ＳＰ４を重畳することができる。従って、図３０に示した表示画面の左下端に光源画像ＬＰ３を表示することができ、その右下端に光源画像ＬＰ４を表示することができる。
【０１８８】
更に、１垂直期間の偶数フレームにおいて、第２及び第４ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、光源画像信号ＳＰ１を選択した後に光源画像信号ＳＰ２が選択されるので、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ１を重畳することができ、その右縁側に光源画像信号ＳＰ２を重畳することができる。従って、図３０に示す表示画面の左上端に光源画像ＬＰ１を表示することができ、その右上端に光源画像ＬＰ１を表示することができる。
【０１８９】
また、その偶数フレームの第５２２及び第５２４ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、光源画像信号ＳＰ３を選択した後に光源画像信号ＳＰ４が選択されるので、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ３を重畳することができ、その右縁側に光源画像信号ＳＰ４を重畳することができる。従って、図３０に示した表示画面の左下端に光源画像ＬＰ３を表示することができ、その右下端に光源画像ＬＰ４を表示することができる。
【０１９０】
これにより、当該ＴＶモニタ２０４で、視聴者の視聴する任意の受信画面上に予め光源画像ＬＰ１〜ＬＰ４を合成表示するようになされたときに、そのＴＶモニタ２０４に表示された光源画像ＬＰ１〜ＬＰ４を流し撮りＣＣＤのような特殊撮影装置２３で所定の撮像方向に流すように撮像した場合に、その４つの光源画像ＬＰ１〜ＬＰ４を一律に点灯した場合に比べてその光源画像ＬＰ１〜ＬＰ４の位置を容易に特定することができる。従って、その光源画像ＬＰ１〜ＬＰ４の位置から当該ＴＶモニタ２０４の表示画面の位置を特殊グラストロン２０６などの画像処理系に容易に認識させることができる。
【０１９１】
続いて、流し撮りＣＣＤ装置２３の光学系の他の構成例について説明する。この例の流し撮りＣＣＤ装置２３には第２の実施例と同様にして図３４に示す魚眼レンズ３５が設けられる。この魚眼レンズ３５の前面には薄膜フィルタ３７が取付けられ、ＣＲＴ８’の表示画面の４つの光源画像ＰＬ１〜４から放出される特定波長Ｘの光が取り込まれ、ＣＣＤ撮像素子３６に導くようになされる。この薄膜フィルタ３７はＩＲフィルタのようなものである。このＩＲフィルタはＴｉＯ2膜又はＳｉＯ2膜を多層に積み上げた構造を有しており、その一層の厚みを制御することで、赤色、緑色、青色などを通す光透過帯域（透過率対波長）を自由に設定できるようになされている。
【０１９２】
実際のテレビではＣＲＴ８’の表面から微細ながら赤外線や紫外線が放出されている。この赤外線や紫外線によって光源画像ＬＰｉから放出される光の波長帯域が変動する。この例では、光源画像ＬＰｉが点滅される位置に、ｘ，ｙマトリクスフィルムが貼られている。このｘ，ｙマトリクスフィルムには上述した透過域変動高分子材料が使用される。この材料は電圧及び電流が変化することで波長帯域が変動するものである。
【０１９３】
上述の流し撮りＣＣＤ装置２３に薄膜フィルタを使用したり、ＣＲＴ８’にｘ，ｙマトリクスフィルムを使用する場合には、ＣＲＴ８’（又はＬＣＤ）の色調誤差と薄膜フィルタの製造バラツキによるフィルタ特性との色のキャリブレーションを行う必要がある。この合わせ込みには、例えば、光源画像ＬＰｉをデフォルト色で表示して、流し撮りＣＣＤ装置２３で光源画像ＬＰｉによる光を受光できるか否かを検出する。
【０１９４】
その光源画像ＬＰｉによる光が受光できる場合には、そのデフォルト色による光を撮像し、この光源画像ＬＰｉによる光が受光できない場合には、そのデフォルト色を変更する。そして、変更した色の光を撮像し、その光源画像ＬＰｉによる光が受光できた場合には、その変更後の色による光を撮像するようにする。
【０１９５】
これにより、人間の目では認識できないような色差の可視光であって上述の特定の波長Ｘに近い波長の光で、流し撮りＣＣＤ装置２３に取り付けられた薄膜フィルタ３７の透過帯域から外れた光を光源画像ＬＰｉから放出させることができる。視聴者の光てんかん発作を防止できる。
【０１９６】
続いて、第３の実施例に係る３Ｄポリゴン放送システム４００による処理例について先に説明した図２４、図２５及び図２６を再び参考にして説明をする。この例では、ＴＶモニタ２０４の表示画面内に４つの光源画像ＬＰ１〜ＬＰ４が所定の点滅パターンで表示される場合であって、視聴者の聴取するＴＶモニタ２０４のテレビ映像（二次元画像表示）から飛び出した３Ｄポリゴン１０によるサッカー選手の映像を仮想空間上で立体的に合成する場合を想定する。もちろん、視聴者は図２９に示した特殊グラストロン２を頭部に装着する。
【０１９７】
これを前提にして、図２４に示すフローチャートのステップＣ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局で準備される。例えば、図示いない「ワールドカップサッカー」の衛星中継に係るサッカーコートの全体を表現する背景情報Ｄ１１と、この映像の背景内でサッカーボール１０Ａを追いかけ、それを蹴るサッカー選手を表現する物体情報Ｄ１２と、サッカーコート対する複数のサッカー選手の初期の配置情報Ｄ１３及びこれらのサッカー選手の移動に伴う位置情報Ｄ１４と、サッカー選手の動作に伴う動作情報Ｄ１５とにより映像素材情報Ｄ１ｉが取得される。その他に第１及び第２の実施例で説明したようなコンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのＣＧデータＤ４を映像素材情報Ｄ１ｉに含めてもよい。
【０１９８】
その後、放送局側で準備された映像素材情報Ｄ１ｉがステップＣ２で３Ｄポリゴン送信装置２０１により多重化される。この際の多重化に関しては、図２４に示した３Ｄポリゴン送信装置２０１の動作例を参照されたい。
【０１９９】
受信側では、ステップＣ３でゲーム装置２０５に代わってＴＶモニタ２０４が起動された後に、ステップＣ４で４つの光源画像ＬＰ１〜ＬＰ４の点滅制御が開始される。これと並行して、放送局側から送られてきた映像素材情報Ｄ１ｉはステップＣ５で視聴者側に設置された３Ｄポリゴン受信装置２０２によって受信される。この際の３Ｄポリゴン受信装置２０２の受信動作に関しては図２４で説明した通りである。
【０２００】
その後、ステップＣ６では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがジョグダイアル８９などを使用して視聴者により選択される。このジョグダイアル８９によって制御装置８８及びセレクタ４を通じて選択された映像素材情報Ｄ１ｉは、映像作成手段６に出力される。映像作成手段６のジオメトリ部８５では、３次元映像を表現するためのグローバル座標系にサッカーコートなどの背景情報Ｄ１１、サッカー選手に係る物体情報Ｄ１２、その配置情報Ｄ１３、その位置情報Ｄ１４及びその動作情報Ｄ１５が表示（記述）される。
【０２０１】
この例では、サッカーボール１０Ａを蹴るサッカー選手が多重分離される。「ワールドカップサッカー」の中継に係る二次元映像がＴＶモニタ２０４で表示され、３Ｄポリゴン１０で構成されるサッカー選手がＴＶモニタ２０４から飛び出した状態で、ＴＶモニタ２０４に向かってサッカーボール１０Ａを蹴るような３次元映像が合成され、これらの映像合成信号が作成される。
【０２０２】
また、ジオメトリ部８５に接続されたラスター部８６では、表示手段２４の走査方式に合うようにラスター処理が施される。その後、ラスター部８６に接続されたステレオ画像生成部８７では、視点データに基づいてステレオ画像が形成される。
【０２０３】
このステレオ画像はステップＣ７で特殊グラストロン２０３に代わって特殊グラストロン２０６に供給される。特殊グラストロン２０６では、例えば、図２５に示した第１のサブルーチンをコールして、そのフローチャートのステップＤ１で視聴者の属する実空間上でＴＶモニタ２０４上に基準面を設定するために、視聴者は、流し撮りＣＣＤ装置２３をＴＶモニタ２０４に向くようにする。その後、図３０に示した制御手段６６を通じて４つの光源画像ＬＰ１〜ＬＰ４が所定の点滅パターンで点滅される。
【０２０４】
次に、ステップＤ２において、一方で通常のＣＣＤ撮像装置２５を使用して実空間上のＴＶ映像を撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示する。他方で、流し撮りＣＣＤ装置２３を使用して実空間のＴＶモニタ２０４上の基準面を流し撮りする。その後、ステップＤ３で視聴者の属する実空間上に任意に設定された基準面を認識するために画像処理する。画像処理部４４では、例えば、図２６に示す第２のサブルーチンをコールしてステップＥ１でビデオキャプチャ処理を実行する。そして、ステップＥ２で四隅の光源画像ＰＬ１〜ＰＬ４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された４つの光源画像ＰＬ１〜ＰＬ４による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０２０５】
その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの光源画像ＰＬ１〜ＰＬ４の発光位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる。そして、ステップＥ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０２０６】
その後、図２５の第１のサブルーチンのステップＤ４にリターンして、ＴＶモニタ２０４で表示される「ワールドカップサッカー」の中継に係る二次元映像と、上述の（２）式に基づく仮想空間の基準面上でサッカーボールを追いかけ、それを蹴る３Ｄポリゴン１０によるサッカー選手の映像とが合成される。
【０２０７】
このとき、視聴者が装着した特殊グラストロン２０６では、「ワールドカップサッカー」の中継に係る二次元映像と、ＴＶモニタ２０４に向かってサッカーボール１０Ａを蹴る３Ｄポリゴン１０のサッカー選手とを合成したステレオ画像の一方が表示される。また、そのＬＣＤ２７には、その中継に係る二次元映像と、その３Ｄポリゴン１０のサッカー選手とを合成したステレオ画像の他方が表示される。
【０２０８】
上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。これにより、実際は「ワールドカップサッカー」に係るコート上でサッカーボール１０Ａを蹴るサッカー選手が、仮想空間上ではＴＶモニタ２０４に向かってサッカーボール１０Ａを蹴るような３次元映像が視聴者の頭の中で合成される。
【０２０９】
つまり、図３５に示す視聴者３０の視聴するＴＶモニタ２０４の受信画面上では、図３６に示す「ワールドカップサッカー」に係る、例えば、フィールド側からゴールを見た二次元画像が表示されているだけである。これに対して、図３７に示す特殊グラストロン２０６を装着した場合には、そのＴＶモニタ２０４上の仮想空間でその受信画面から外部へ、サッカーボール１０Ａを蹴る３Ｄポリゴン１０によるサッカー選手を出現させることができる。
【０２１０】
このように、第３の実施例に係る３Ｄポリゴン放送システム５００によれば、予め放送局側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。
【０２１１】
しかも、特殊グラストロン２０６を装着した視聴者においては、視聴者３０の視聴するＴＶモニタ２０４の受信画像と、仮想空間上に出現したサッカーボール１０Ａを蹴る３Ｄポリゴン１０によるサッカー選手とが頭の中で合成されるので、実空間上のＴＶ画面の中に表示されている、サッカーボール１０Ａを蹴るサッカー選手が、３Ｄポリゴン１０のサッカー選手となって画面外へ、あたかも、飛び出すような画像を立体的に合成することができる。
【０２１２】
従って、放送局側から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにして「ワールドカップサッカー」に係るサッカー選手の動きをリアルに再現した臨場感溢れる３次元映像を視聴することができる。
【０２１３】
また、第１、第２の実施例と同様にしてＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムを構築することができる。第３の実施例では光源画像ＬＰ１〜ＬＰ４の発光位置にｘ，ｙマトリクスフィルムを取り付けることにより、通常のＴＶ映像に関する情報とは別に、光源画像ＬＰ１〜ＬＰ４の点滅パターンを制御することができる。
【０２１４】
（５）第４の実施例
図３８は第４の実施例で使用するＴＶモニタ２０８の構成例を示す正面図である。この例では、４つの光源画像ＬＰ１〜ＬＰ４に代わって、図３８に示す二次元バーコード画像５０を表示手段８に表示してＴＶモニタ２０８のＴＶ画面の位置が認識されるものである。もちろん、視聴者は少なくとも図１９に示した通常の撮像装置２５を有した特殊グラストロン２０６を装着することが前提となる。
【０２１５】
この例のＴＶモニタ２０８は飛越走査方式で、１フレーム（１／３０ｓｅｃ）毎に、図３８に示す２次元マトリクスコード画像５０を表示するものである。この２次元マトリクスコード画像５０は実空間上のＴＶモニタ２０４のＴＶ画面の位置を認識するために使用される。２次元バーコード画像５０は少なくとも、白地に黒で表示されたｎ行×ｍ列の白黒マトリクスから成る。
【０２１６】
この二次元バーコード画像５０は流し撮りＣＣＤ装置２３に代わって図１９に示した通常のＣＣＤ撮像装置２５で撮像される。この撮像装置２５の出力段には、図２２で説明したような画像処理装置９が接続される。その画像処理装置９には演算手段が設けられ、ＣＣＤ撮像装置２５から出力された撮像信号（輝度信号）を画像処理して二次元マトリクスコード画像５０からＴＶモニタ２０８のＴＶ画面の位置が求められる。
【０２１７】
例えば、画像処理部４４では前処理が施される。この処理では、まず、取得画像が適当な閾値で２値化される。バーコード画像部分は白と黒の市松模様状に表示されているので、固定閾値によって、かなり安定的に背景画像とコード画像領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。２次元バーコード画像５０はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード画像領域部が含まれている可能性の低い背景画像（領域）は除去するようになされる。
【０２１８】
その後、前処理の結果得られた連結領域の各要素に対してバーコード画像枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、市松模様の領域を探索し、その市松模様の輪郭部の点列を得る。この点列に対して最小二乗法で線分を当てはめることにより、当該二次元バーコード画像５０を認識する。
【０２１９】
上述のＴＶ画面は長方形の二次元バーコード画像５０の四隅の４頂点を、正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間のＴＶモニタ２０８の表示画面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施形態で説明した（１）式と同様な関係がある。
【０２２０】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０２２１】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶ面が実空間上のＴＶモニタ２０８のＴＶ画面の位置となる。これにより、二次元マトリクスコード画像５０の四隅の位置情報からＴＶモニタ２０８の位置を画像処理装置９などに容易に認識させることができる。
【０２２２】
なお、ＴＶモニタ２０８の二次元バーコード画像５０はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図３９に示す仮想空間上の二次元バーコード画像５０の四隅の位置座標から正立方体５１を作成することができるので、その正立方体５１に３Ｄポリゴン１０によるサッカー選手などを合成することができる。また、図３８に示す二次元バーコード画像５０をｘ，ｙマトリクスフィルムで出力すると、通常のＴＶ映像に関する情報とは別に画像処理することができる。
【０２２３】
（６）映像素材情報の取得例（その１）
図４０は各実施例に係る映像素材取得用の物体形状計測装置６００の構成例を示す斜視図である。
この例では、比較的小さな物体（被写体）に係る三次元形状情報を受信側に提供するために、シリコンレンジファインダが用いられ、これを用いて取得された映像素材情報Ｄ１ｉを放送局から視聴者側へ多重放送するようにしたものである。
【０２２４】
図４０に示す物体形状計測装置６００は、基準面から任意の対象物体までの３次元高さ形状を測定するものである。この例で、物体形状計測装置６００は図４０に示す発光部１１及び受光部１２を有している。発光部１１と受光部１２とはヒンジ（蝶番）５４により開閉可動自在な状態で係合されている。例えば、当該物体形状計測装置６００を使用するときは、発光部１１と受光部１２との間の成す角度が所定の位置で固定されるまで開かれ、当該装置６００を使用しないときは発光部１１と受光部１２とが重なるように閉じられる。あたかも、発光部１１が蓋体の如く受光部１２に覆い被された状態の収納形状になる。
【０２２５】
この受光部１２は基準面を兼用するものである。受光部１２の大きさは例えば、その一辺の長さは３０ｃｍ〜５０ｃｍ程度である。容易に持ち運びできる大きさを考慮するならば、受光部１２の一辺の長さを３５ｃｍ程度に形成することが好ましい。もちろん、この受光部１２の大きさはほんの一例であり、放送局で使用する場合を考慮すると、何らこの大きさに制限されるものではない。
【０２２６】
この例では、発光部１１内には光源としての面光源６を有している。この面光源６によって対象物体３０に照射するための被測定光が発生される。対象物体３０はボール、人形、ロボット及び小動物などである。この面光源６の上部には液晶シャッタ１７が設けられ、その面光源６による被測定光がスリット光に整形されると共に、そのスリット光が対象物体３０に走査される。この例では、液晶シャッタ１７の開閉タイミンングを制御するようになされている。例えば、受光部１２に設けられた画像処理装置９８によって１ライン単位に液晶シャッタ１７を開いては閉じるような垂直走査がなされる。この画像処理装置９８については図４２において説明をする。
【０２２７】
図４１は上述の面光源６に関して、レーザ光源とスリットレンズとプリズムとを使用した物体形状計測装置６００の構成例を示す断面図である。この例では発光部１１内にレーザ光源１４が取付けられる。レーザ光源１４には波長７８０μｍ、出力３０ｍＷの近赤外光半導体レーザなどを使用する。
【０２２８】
レーザ光源１４から発生されたレーザ光（被測定光）がスリットレンズ１５でスリット光Ｌ０に整形され、このスリット光Ｌ０の向きが複数のプリズム１６によって９０°に偏光されるものである。このプリズム１６は液晶シャッタ１７の下に取付けられる。
【０２２９】
つまり、図４１に示す物体形状計測装置６００の発光部１１は、ヒンジ５４に取付けられた上部用の筐体９６を有している。この筐体９６内にはレーザ光源１４が設けられ、レーザ光が発生される。このレーザ光源１４の下流側にはスリットレンズ１５が設けられ、レーザ光がシート状のスリット光Ｌ０に成形される。スリットレンズ１５の下流側には複数のプリズム１６がマトリクス状に配置され、スリット光Ｌ０の進行方向が直角方向、すなわち、筐体９６の出射面側に偏光される。
【０２３０】
このプリズム１６の上面に位置する部位であって、筐体９６の上部には液晶シャッタ（マスクＬＣＤ）１７が取付けられ、プリズム１６からのスリット光Ｌ０が、液晶シャッタ１７の開閉によって選択的に通過するようになされている。この複数のプリズム１６及び液晶シャッタ１７は走査手段を構成し、スリット光Ｌ０を対象物体３０に走査するようになされる。
【０２３１】
この液晶シャッタ１７を通過したスリット光Ｌ０は発光部上の任意の対象物体３０で反射すると、その戻り光Ｌ０’が受光部１２に到達する。受光部１２はヒンジ５４に取付けられた下部用の筐体９７を有している。この筐体９７上には受光レンズ１８が設けられ、戻り光Ｌ０’が筐体９７内に取り込まれる。受光レンズ１８の下側にはシリコンレンジファインダ１９が設けられ、対象物体３０から反射されてくる戻り光（スリット光）Ｌ０’が各画素Ｐｉｊ毎に検出される。ここで、画素Ｐｉｊはシリコンレンジファインダ１９上の任意の位置（ｉ，ｊ）に存在する画素を示す。
【０２３２】
このシリコンレンジファインダ１９では、各画素Ｐｉｊを通過する戻り光Ｌ０’のタイミングが計測され、そのときの液晶シャッタ１７が開かれたプリズム１６によるスリット光Ｌ０の出射角となる基準面とスリット光Ｌ０との間を成す角度αｉｊが求められる。そして、基準面と画素Ｐｉｊの視線方向との成す角度をβｉｊとし、基準面と発光部１１の中心位置の液晶シャッタ１７とのオフセット距離をＡとし、画素Ｐｉｊとその中心位置の液晶シャッタ１７とのオフセット距離をＢｉｊとしたときに、基準面と対象物体３０との３次元高さ情報Ｚｉｊは、（４）式により求められる。
【０２３３】
【数５】
【０２３４】
これにより、スリット光Ｌ０の１回の走査のみで基準面から対象物体３０までの３次元高さ形状をシリコンレンジファインダ１９内の全画素について並列かつ実時間で距離計測を行うことができる。
【０２３５】
続いて、物体形状計測装置６００の回路構成例について説明する。図４２に示す物体形状計測装置６００は大きく分けて３つの回路ブロックから成る。第１の回路ブロックは液晶シャッタ１７である。液晶シャッタ１７では走査信号ＳＣに基づいてその液晶シャッタ１７が開閉制御されることにより、プリズム１６による面状の被測定光が、スリット光Ｌ０に整形されると共に、そのスリット光Ｌ０が対象物体３０に走査される。
【０２３６】
第２の回路ブロックはシリコンレンジファインダ１９である。シリコンレンジファインダでは、図示しないフォトダイオードから読み出した信号電荷が、垂直読み出し信号及び水平読み出し信号に基づいて読み出されることにより、光通過タイミング情報を含んだ並列距離画像計測情報が出力される。
【０２３７】
第３の回路ブロックは画像処理装置９８であり、走査信号ＳＣや並列距離画像計測情報を転送するための内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６及びＲＡＭ４７が接続されている。上述の液晶シャッタ１７及びシリコンレンジファインダ１９はインタフェース４２を介して内部バス４１に接続される。
【０２３８】
この内部バス４１にはＲＯＭ４６が接続され、この物体形状計測装置６００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや並列距離画像計測情報が一時記録される。また、内部バス４１にはＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６及びＲＡＭ４７の入出力の制御や、液晶シャッタ１７及びシリコンレンジファインダ１９の入出力の制御が行われる。
【０２３９】
このインタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、シリコンレンジファインダ１９から入力した並列距離画像計測情報を画像データとして獲得する所定のキャプチャ処理がなされる。この画像キャプチャ部４３には内部バス４１を介して画像処理部４４が接続され、所定の画像処理が施された並列距離画像計測情報に基づいて３次元高さ形状情報Ｚｉｊが演算される。具体的には、上述した算出式に基づいて３次元高さ情報Ｚｉｊが求められる。
【０２４０】
なお、インタフェース４２にはＲＳー２３２Ｃの通信プロトコルに基づく外部出力端子６８が接続され、上位のコンピユータなどに接続して画像通信ができるようになされている。また、図４２に示す破線で示したＣＣＤ装置６９は物体の映像を撮影するものである。
【０２４１】
次に、物体形状計測装置６００の動作例を説明する。この例では、図４３に示す発光部１１が、その受光部１２と発光部１１との間の成す角度αｉｊが所定の位置で固定されるまで開かれており、この状態で、受光部１２上に存在する、例えば、テニスボールなどの球体３０’の３次元形状を計測する場合を前提とする。また、基準面は受光部１２に設定されるものとする。
【０２４２】
これを前提にして、図４３に示す発光部１１では画像処理装置９８からの走査信号ＳＣに基づいてその液晶シャッタ１７が開閉制御されることにより、プリズム１６による面状の被測定光が、スリット光Ｌ０に整形されると共に、そのスリット光Ｌ０が図４３に示す球体３０’に走査される。
【０２４３】
この球体３０’に照射されたスリット光Ｌ０の、ある走査タイミングにおける照射位置は、例えば、図４４に示す照射位置丸付き数字「１」から丸付き数字「５」ようになる。この照射位置丸付き数字「１」から丸付き数字「５」による戻り光Ｌ０’は受光部１２のシリコンレンジファインダ１９によって検出される。この際に、受光レンズ１８によって反転した球体３０’がシリコンレンジファインダ１９上に結像される。
【０２４４】
従って、シリコンレンジファインダ１９から得られた並列距離画像計測情報が画像処理装置９８に出力されると、この並列距離画像計測情報に基づいて基準面から球体３０’までの３次元高さ形状情報Ｚｉｊが演算される。具体的には、上述した算出式に基づいて３次元高さ情報Ｚｉｊが求められる。
【０２４５】
例えば、球体３０’のＸ１−Ｘ２のライン上を着目した場合に、その立体形状を反映するように、丸付き数字「１」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ１が演算され、丸付き数字「２」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ２が演算され、丸付き数字「３」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ３が演算され、丸付き数字「４」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ４が演算され、丸付き数字「５」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ５が実時間で演算される。これらの高さ形状情報Ｚｘ１〜Ｚｘ５をつなぎ合わせると、球体３０’のＸ１−Ｘ２の立体形状を求めることができる。
【０２４６】
これにより、実空間上の物体の三次元形状情報（連続性のある高さ情報Ｈ）を取得することができるので、その三次元形状情報Ｚｉｊを送信側から視聴者側へ送信することができる。もちろん、対象物体３０の周りに物体形状計測装置６００を周回させて三次元形状情報Ｚｉｊを取得するようにしてもよい。従って、第１〜第３の実施例において、予め放送局で準備された各種対象物体に係る三次元形状情報Ｚｉｊに基づいて受信側で仮想空間上に３Ｄポリゴン１０の映像を合成することができる。
【０２４７】
（７）映像素材情報の取得例（その２）
図４５は各実施例に係る映像素材取得用の三次元形状取得機構６０の構成例を示す斜視図である。この例では、物体３０にスリット光を走査するときに、ミラー７３を使用するものである。この三次元形状取得機構６０は図示しない放送局などに設けられる。
【０２４８】
この三次元形状取得機構６０には図４５に示すレーザ光源７１が設けられ、レーザ光Ｌ０が発生される。このレーザ光源７１の下流側にはシリンドリカルレンズ７２が設けられ、レーザ光Ｌ０がシート状のスリット光に成形される。シリンドリカルレンズ７２の下流側には走査手段としてミラー７３が配置され、スリット光Ｌ０の偏光角を変化させることにより、そのスリット光Ｌ０が物体３０に走査される。
【０２４９】
このスリット光Ｌ０が視聴者の身体部位の一部や、その視聴者の保持する物体３０で反射すると、その戻り光Ｌ０’が受光レンズ８４で取り込まれる。受光レンズ８４の下側にはシリコンレンジファインダ５９が設けられ、物体３０から反射されてくる戻り光（スリット光）Ｌ０’がシリコンレンジファインダ５９上の任意の位置に存在する各画素Ｐｉｊ毎に検出される。
【０２５０】
このシリコンレンジファインダ５９では、各画素Ｐｉｊを通過する戻り光Ｌ０’のタイミングが計測され、そのときの各画素Ｐｉｊを通過する戻り光Ｌ０’のタイミングが計測され、そのときのミラー７３の偏光角となる基準面とスリット光Ｌ０との間を成す角度αｉｊが求められる。ここで、基準面と画素Ｐｉｊの視線方向との成す角度をβｉｊとし、基準面とミラー７３の回転中心とのオフセット距離をＡとし、画素Ｐｉｊとミラー７３の回転中心とのオフセット距離をＢｉｊとしたときに、基準面と物体３０との三次元形状情報Ｚｉｊは上述した（４）式により求められる。
【０２５１】
これにより、実空間上の物体の三次元形状情報（連続性のある高さ情報Ｈ）を取得することができるので、その三次元形状情報Ｚｉｊを送信側から視聴者側へ送信することができる。従って、第１〜第３の実施例において、予め放送局で準備された各種対象物体に係る三次元形状情報Ｚｉｊに基づいて受信側で仮想空間上に３Ｄポリゴン１０の映像を合成することができる。
【０２５２】
この例では、物体形状取得手段に関してシリコンレンジファインダ１９、５９を用いる場合について説明したが、これに限られることはなく、物体の基準画像を撮影する基準用のカメラと、その物体の参照画像を撮影する検出用のカメラとを有した多眼ステレオカメラを使用してもよい。この基準用のカメラ及び検出用のカメラから得られる視差情報に基づいて物体の三次元形状情報Ｚｉｊを取得することができる。
【０２５３】
各実施例に係る特殊グラストロン２０３、２０６は、特開平１０−１２３４５３号、特開平９−３０４７２７号、特開平９−３０４７３０号、特開平９−２１１３７４号、特開平８−１６０３４８号、特開平８−９４９６０号、特開平７−３２５２６５号、特開平７−２７０７１４号及び特開平７−６７０５５号に記載される透過型のヘッドマウントディスプレイに適用することができる。
【０２５４】
各実施例に係る流し撮りＣＣＤ２３に関しては、インターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【０２５５】
上述した実施例では放送局側から視聴者側への一方向によるマルチメディアサービスについて説明したが、これに限られることはなく、送信側と視聴者側との間に通信手段、例えば、電話回線やインターネット網を接続し、これらの通信手段を使用して視聴者側から放送局や番組提供者（スポンサー）へ視聴者による意見・感想・再放送などのリクエスト情報（個別情報）を送信する双方向サービス網を構築することもできる。
【０２５６】
この双方向サービス網が構築される場合であって、映像素材情報として買い物情報を送信するようにしてもよい。その場合には、買い物情報に対して視聴者がテレビショッピングを行ったとき、その買い物情報に係る注文情報が番組提供者（地域商店など）に転送されると共に、その買い物情報に係る商品代金が、視聴者のチャネルの使用に伴う料金に加算されるようにするとよい。ＩＤカードによる銀行一括引き落としが可能となる。
【０２５７】
【発明の効果】
以上説明したように、本発明に係る３次元映像の送受信システムによれば、３次元映像を作成するために送信側から受信側に送られてきた複数の映像素材情報の中から任意に選択された映像素材情報に基づいて３次元映像を作成する映像作成手段を備え、映像素材情報の選択が視聴者によって行われるものである。
【０２５８】
この構成によって、予め送信側で準備された複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することができる。従って、放送局から与えられた映像をただ消極的に視聴者が視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。また、視聴者側は、限られたチャネルに多重されてくる映像素材情報を効率良く受信することができる。
【０２５９】
本発明に係る３次元映像の送受信方法によれば、３次元映像を作成するための複数の映像素材情報を送信側で準備し、映像素材情報を送信側から個々の視聴者側へ送信し、送信側から送られてきた映像素材情報を視聴者側で受信し、その視聴者側では映像素材情報から任意の映像素材情報を選んで三次元映像を作成するようになされる。
【０２６０】
この構成によって、放送局などから与えられた映像をただ消極的に視聴者が視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができる。また、視聴者側は、限られたチャネルに多重されてくる映像素材情報を効率良く受信することができる。
この発明は、ＩＳＤＢサービスや双方向サービスを利用した次世代の３次元デジタル放送システムなどに適用して極めて好適である。
【図面の簡単な説明】
【図１】本発明に係る実施形態としての３次元映像の送受信システム１００の構成例を示す斜視図である。
【図２】３次元映像の送受信システム１００の処理例を示すフローチャートである。
【図３】第１の実施例としての３Ｄポリゴン放送システム２００の構成例を示すブロック図である。
【図４】各実施例に係る３Ｄポリゴン送信装置２０１の構成例を示すブロック図である。
【図５】ＭＰＥＧ−４方式のビデオエンコーダ３００の構成例を示すブロック図である。
【図６】舞台装置４０における映像素材情報Ｄ１ｉの取得例を示す斜視図である。
【図７】Ａ及びＢは映像素材情報Ｄ１ｉの取得例を示す舞台正面及び側面のイメージ図である。
【図８】各実施例に係る３Ｄポリゴン受信装置２０２の構成例を示すブロック図である。
【図９】役者Ｂの視線によって認識される背景を３Ｄポリゴン１０の「森」や「芝生」に置き換えた表示例を示すイメージ図である。
【図１０】特殊グラストロン２０３の構成例を示す正面図である。
【図１１】特殊グラストロン２０３の内部構成例を示す一部破砕の上面から見た概念図である。
【図１２】ＡはフィルムＣＣＤ４Ｒ、４Ｌの構成例を示す上面から見た概念図、Ｂは左右の瞳の位置例を示す概念図である。
【図１３】特殊グラストロン２０３の装着時の注視点ｐの位置関係例を示す概念図である。
【図１４】第１の実施例に係る３Ｄポリゴン放送システム２００における処理例を示すフローチャートである。
【図１５】第２の実施例としての３Ｄポリゴン放送システム４００の構成例を示すブロック図である。
【図１６】ゲーム装置２０５に取り付けられる点滅制御回路１３の内部構成例を示すブロック図である。
【図１７】その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の電圧供給例を示す波形図である。
【図１８】３Ｄポリゴン放送システム４００で使用する特殊グラストロン２０６の構成例を示す正面図である。
【図１９】他の特殊グラストロン２０７の構成例を示す正面図である。
【図２０】特殊グラストロン２０６等に搭載される流し撮りＣＣＤ装置２３の内部構成例を示す平面図である。
【図２１】流し撮りＣＣＤ装置２３の光学系の構成例を示す断面図である。
【図２２】特殊グラストロン２０６の内部構成例を示すブロック図である。
【図２３】ゲーム装置２０５に係る基準面の位置座標の算出例を示す模式図である。
【図２４】３Ｄポリゴン放送システム４００における処理例（メインルーチン）を示すフローチャートである。
【図２５】特殊グラストロン２０６の動作例（第１のサブルーチン）を示すフローチャートである。
【図２６】特殊グラストロン２０６の動作例（第２のサブルーチン）を示すフローチャートである。
【図２７】実空間におけるゲーム装置２０５の画像例を示す斜視図である。
【図２８】仮想空間における基準面上の仮想画像の合成例を示す斜視図である。
【図２９】第３の実施例としての３Ｄポリゴン受信処理システム５００の構成例を示す斜視図である。
【図３０】ＴＶモニタ２０４の内部構成例を示す正面図である。
【図３１】ＴＶモニタ２０４の内部構成例を示すブロック図である。
【図３２】光源画像信号ＳＰ１〜ＳＰ４の波形例を示すイメージ図である。
【図３３】映像信号ＳＣに対する光源画像信号ＳＰｉ、ＳＰｊの重畳例を示す波形図である。
【図３４】流し撮りＣＣＤ装置２３の光学系の他の構成例を示す断面図である。
【図３５】視聴者（特殊グラストロン２０６の非装着時）の実像例を示す斜視図である。
【図３６】ＴＶモニタ２０４で表示されるフィールドからゴールを見た二次元映像の表示例を示す正面図である。
【図３７】視聴者（特殊グラストロン２０６の装着時）の仮想画像例を示す斜視図である。
【図３８】第４の実施例で使用するＴＶモニタ２０８の構成例を示す正面図である。
【図３９】二次元バーコード画像５０上の３Ｄポリゴン１０の合成例を示す斜視図である。
【図４０】各実施例に係る映像素材取得用の物体形状計測装置６００の外観例を示す斜視図である。
【図４１】物体形状計測装置６００の内部構成例を示す断面図である。
【図４２】物体形状計測装置６００の回路例を示すブロック図である。
【図４３】物体形状計測装置６００による球体３０’の計測例（その１）を示す斜視図である。
【図４４】物体形状計測装置６００による球体３０’の計測例（その２）を示す概念図である。
【図４５】各実施例に係る映像素材取得用の三次元形状取得機構６０の構成例を示す概念図である。
【符号の説明】
１・・・送信手段、１Ａ・・・多重化手段、２・・・受信手段、２Ａ・・・多重分離手段、３・・・記憶手段、４・・・選択手段、５・・・操作手段、６・・・映像作成手段、７・・・位置認識機構、８，２４・・・表示手段、９，９８・・・画像処理装置、１０・・・３Ｄポリゴン、２３・・・流し撮りＣＣＤ装置、２５・・・ＣＣＤ撮像装置、２６・・・右眼表示用のＬＣＤ（第１の画像表示素子）、２７・・・左眼表示用のＬＣＤ（第２の画像表示素子）、３２・・・垂直転送部（電荷転送部）、３３・・・水平転送部、５０・・・２次元バーコード、６６・・・制御手段、８８・・・制御装置、８９・・・ジョグダイアル（操作手段）、１００・・・送受信システム、２００，４００・・・３Ｄポリゴン放送システム、２０１・・・３Ｄポリゴン送信装置（送信手段）、２０２・・・３Ｄポリゴン受信装置（受信手段）、２０３，２０６，２０７・・・特殊グラストロン、２０４，２０８・・・ＴＶモニタ、２０５・・・ゲーム装置、３００・・・ビデオエンコーダ
【発明の属する技術分野】
この発明は、データ放送、音声放送、テレビジョン放送を統合するＩＳＤＢ（Ｉntegrated Ｓervices Ｄigital Ｂroadcasting）サービスや双方向サービス網を利用した次世代の３次元デジタル放送システムなどに適用して好適な３次元映像の送受信システム及びその送受信方法に関する。
【０００２】
詳しくは、放送局などから送られてきた複数の映像素材情報に基づいて３次元映像を作成する映像作成手段を受信側に設け、その複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにすると共に、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴できるようにしたものである。
【０００３】
【従来の技術】
従来から、放送局で作成された番組などは、二次元の映像情報として１秒間に３０フレーム分のアナログ映像信号を視聴者側に送信する方式が採用されている。この方式では多くの映像情報を送信できないことから、二次元の映像情報のデジタル信号に変調して放送するデジタル放送システムが普及されつつある。
【０００４】
近年では、データ放送、音声放送、テレビジョン放送を統合するＩＳＤＢ（Ｉntegrated Ｓervices Ｄigital Ｂroadcasting）サービスも普及されてきている。この種のＩＳＤＢサービスによれば、複数の番組を１画面内に「見出し画面」として表示し、この中から視聴者の好みに応じた「天気予報」、「ニュース」、「番組ガイド」、「映画」、「料理番組」、「スポーツ番組」・・・をいつでも視聴できるようになされる。これらの映像情報は放送局側から視聴者側へ多重化してデジタル送信される。従って、受信側では自分の好きな番組を選択して「天気予報」などをいつでも視聴することができる。
【０００５】
【発明が解決しようとする課題】
ところで、従来方式のデジタル放送システムによれば、放送局で作成された「天気予報」、「ニュース」、「番組ガイド」、「映画」、「料理番組」・・・などの二次元の映像情報を視聴者がそのまま消極的に視聴するものである。
【０００６】
従って、視聴者が積極的に手がけた映像素材情報に基づく視聴者固有の「スポーツ番組」などの３次元映像を視聴することができない。例えば、サッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を自宅に居ながらにして視聴したいという要求があったときに、次のような問題がある。
【０００７】
（１） 現行の多重放送システムでは、受信側で立体映像加工に必要な映像素材情報を放送局で準備していない。従って、放送局などから映像素材情報が送られてこないので、視聴者の好みに応じた映像素材情報を選択することができない。
【０００８】
（２） これにより、視聴者の好みに応じた映像素材情報に基づく視聴者固有の３次元映像を作成することができない。従って、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができない。
【０００９】
そこで、本発明は上記の課題に鑑み創作されたものであり、放送局などの送信側から送られてくる複数の映像素材情報の中から選択した視聴者の好みに応じた映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにすると共に、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を提供できるようにした３次元映像の送受信システム及びその送受信方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題は、少なくとも、３次元映像を作成するために予め準備された複数の２次元の映像素材情報を送信側から受信側へ送信する送信手段と、その送信手段によって送信された複数の２次元の映像素材情報を受信する受信手段と、この受信手段によって受信された複数の２次元の映像素材情報から任意の映像素材情報を選択する選択手段と、この選択手段によって選択された映像素材情報に基づいて３次元映像を作成する映像作成手段とを備え、映像素材情報の選択は視聴者によって行われ、送信手段が２次元及び３次元の映像情報を含む映像素材情報を送信した場合、受信手段は、映像作成手段によって作成された３次元映像の初期画面を表示する期間又は送信手段によって送信された２次元の映像情報の中で宣伝画面を表示する期間に送信手段から３次元の映像情報を取得する３次元映像の送受信システムによって解決される。
【００１１】
本発明に係る３次元映像の送受信システムによれば、少なくとも、３次元映像を作成するために予め準備された複数の映像素材情報が送信手段によって送信側から視聴者側へ送信されると、受信側では、送信手段から送られてきた映像素材情報が受信手段によって受信される。この受信手段によって受信された映像素材情報から任意の映像素材情報が視聴者によって選択される。この際の映像素材情報の選択は選択手段を介して視聴者により行われる。この選択手段によって選択された映像素材情報に基づいて映像作成手段では３次元映像が作成される。
【００１２】
従って、予め送信側で準備された複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することができる。これにより、放送局から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。
【００１３】
本発明に係る３次元映像の送受信方法は、少なくとも、３次元映像を作成するための複数の２次元の映像素材情報を予め送信側で準備し、この送信側で準備された複数の２次元の映像素材情報をその送信側から個々の視聴者側へ送信し、送信側から送信された複数の２次元の映像素材情報を視聴者側で受信し、視聴者側では複数の２次元の映像素材情報から任意の映像素材情報を選んで３次元映像を作成し、送信側が２次元及び３次元の映像情報を含む映像素材情報を送信した場合、視聴者側は、作成された３次元映像の初期画面を表示する期間又は送信側から送信された２次元の映像情報の中で宣伝画面を表示する期間に送信側から３次元の映像情報を取得するものである。
【００１４】
本発明に係る３次元映像の送受信方法によれば、放送局から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。従って、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができる。これにより、次世代の３次元デジタル放送システムなどを構築することができる。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての３次元映像の送受信システム及びその送受信方法について説明をする。
（１）第１の実施形態
図１は本発明に係る実施形態としての３次元映像の送受信システム１００の構成例を示す斜視図である。
この実施形態では、放送局などから送られてきた複数の映像素材情報に基づいて３次元映像を作成する映像作成手段を設け、その複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにすると共に、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を提供できるようにしたものである。
【００１６】
図１に示す３次元映像の送受信システム１００は、３次元デジタル放送システムなどに適用するために少なくとも送信手段１を備えている。この送信手段１は放送局などに設けられる。この例では予め準備された複数の映像素材情報Ｄ１ｉ（ｉ＝１〜ｎ）が送信手段１を使用して送信側から視聴者側へ送信される。ここで映像素材情報Ｄ１ｉとは３次元映像を作成するための情報をいう。この例で映像素材情報Ｄ１ｉには、少なくとも、映像の背景を表現する背景情報Ｄ１１と、映像の背景内で動く物体を表現する物体情報Ｄ１２と、背景に対する物体の初期の配置情報Ｄ１３及び該物体の移動に伴う位置情報Ｄ１４と、物体の動作に伴う動作情報とが付加される。これらの映像素材情報Ｄ１ｉは送信側で全て準備してもよく、もちろん、映像素材情報Ｄ１ｉの一部をＣＤ−ＲＯＭなどの記憶媒体にして受信側で準備するようにしてもよい。例えば、サッカーゲームなどのサッカーゴールやフィールドをＣＤ−ＲＯＭから読み出すようになされる。
【００１７】
この送信手段１には多重化手段１Ａが設けられ、３次元映像を作成するための二以上の映像素材情報Ｄ１ｉが多重化されて視聴者側に送信される。つまり、映像素材情報Ｄ１ｉは多重情報となって送信側から受信側へ複数のチャネルを使用して多重伝送される。例えば、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。デジタルテレビ放送網には地上波回線及び衛星回線が含まれる。これらの多重伝送媒体を総称し、以下で、ＩＳＤＢ（Ｉntegrated Ｓervice Ｄigital Ｂroad casting：）サービスという。
【００１８】
この例でＩＳＤＢサービスに係るチャネルの使用に伴う視聴者への料金設定に関しては、使用チャネル数とチャネル使用時間に基づいて課金するとよい。また、従量制を採る場合には、受信時間内における映像素材情報の量に応じて視聴者に課金するようにするとよい。このチャネルの使用に伴う料金設定に関しては、視聴者のみが対象となるとは限らない。例えば、テレビコマーシャルも３Ｄポリゴン映像によって作成することができるので、その場合には番組提供者（スポンサー）に対して使用チャネル数とチャネル使用時間に基づいて課金するようになされる。この際の料金設定に関しては、３Ｄコマーシャル映像の送信時間内における映像素材情報の量に応じて番組提供者に課金するとよい。
【００１９】
この例では映像素材情報Ｄ１ｉは動画像圧縮基準であるＭＰＥＧ−４（Ｍoving Ｐicture Ｅxperts Ｇroup−４）のデータ系列を持ったデータストリームにして送信される。これは限られたチャネルに多くの映像素材情報Ｄ１ｉを効率良く伝送するためである。チャネルは映像の背景の数量だけ予め準備される。これは映像の背景を基準にすることで、全てのチャネルを効率良く使用できるからである。この例では、送信側から受信側へ複数のチャネルを使用して映像素材情報Ｄ１ｉを伝送する場合であって、その複数のチャネルに映像素材情報Ｄ１ｉが割り振られる。例えば、動作情報Ｄ１５と、その他の背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３及び位置情報Ｄ１４とは別々のチャネルに割り振られる。この場合に、動作情報Ｄ１５は実時間で送信され、物体情報Ｄ１２、配置情報Ｄ１３及び位置情報Ｄ１４は次の映像の背景情報Ｄ１１と共に送信される。
【００２０】
更に、上述したチャネルの１つを使用して通常のテレビ放送に係る二次元の映像情報を伝送したり、スポーツ選手や役者などの被写体から見た視点映像情報を映像素材情報Ｄ１ｉとしてチャネルの１つを使用して受信側に伝送するようになされる。その際に、被写体が映像の背景内に複数存在する場合には、被写体の視点映像情報毎にチャネルが割り当てられる。このように構成すると、被写体から見た視点映像と予め準備された合成画像とを受信側で合成することができる。
【００２１】
この例では、映像の１場面を構成する映像素材情報Ｄ１ｉが膨大な量となる場合には、チャネルを増加して映像素材情報Ｄ１ｉを分割して受信側に送信するようにしてもよい。又は、分割した映像素材情報Ｄ１ｉを受信側に送信している期間に、残余のチャネルを使用して他の映像素材情報Ｄ１ｉを受信側に送信するようにしてもよい。これは、ある映像のラストシーンなどにおいて背景情報Ｄ１１が膨大になる場合があることによる。
【００２２】
一方、視聴者（受信）側には受信手段２が設けられ、放送局などの送信手段１から送られてきた映像素材情報Ｄ１ｉが受信される。受信手段２には情報分離手段２Ａが設けられ、送信手段１から送られてきた多重化情報から二以上の映像素材情報Ｄ１ｉが分離される。この受信手段２には記憶手段３が接続され、映像素材情報Ｄ１ｉを一時記録するようになされる。記憶手段３には上述した背景情報Ｄ１１に見合う分のメモリ容量が備えられる。これは背景情報Ｄ１１が映像の１場面の背景を表現するものであることによる。
【００２３】
この例では映像素材情報Ｄ１ｉの中で、頻繁に使用される３次元の映像情報に関しては、送信側において、当該映像の初期画面を表示する期間又は２次元の映像情報の中で宣伝画面を表示する期間に全てのチャネルに割り当てて送信される。これを受けた受信側ではこれらの期間中に取得した３次元の映像情報が記憶手段３に記憶される。
【００２４】
例えば、背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５の一群のデータ取り込みが終了すると、他群のデータ取り込みのために受信側で当該チャネルを明け渡すようになされる。このように構成すると、受信側では３次元の映像素材情報Ｄ１ｉを予め取得できるし、送信側では効率良く映像素材情報Ｄ１ｉを送信することができる。
【００２５】
この映像素材情報Ｄ１ｉに関しては映像の背景情報Ｄ１１に変化があるものも変化がないものも全てを送信側から受信側へ送信されてくるので、受信側ではすぐに使用しない背景情報Ｄ１１に関しては記憶手段３に一時記憶される。また、送信側から受信側へ送られたきた２次元及び３次元の映像情報を含む映像素材情報Ｄ１ｉを受信する場合に、最初の３次元の映像情報は当該映像の初期画面を表示する期間又は２次元の映像情報の中で宣伝画面を表示する期間に取得される。これは限られたチャネルに多重されてくる映像素材情報Ｄ１ｉを効率良く受信するためである。
【００２６】
また、映像の１場面を構成する映像素材情報Ｄ１ｉが、ラストシーンなどにおいて背景情報Ｄ１１が膨大な量となる場合には、余っているチャネルを使用して映像素材情報Ｄ１ｉが分割して送られてくるので、受信側では上述の期間中に取得したその映像素材情報Ｄ１ｉを記憶手段３に一時記憶するようになされる。この構成により、大量の映像素材情報Ｄ１ｉを効率良く受信側で受信することができる。
【００２７】
この記憶手段３には選択手段４が接続され、受信された映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉを選択するようになされる。映像素材情報Ｄ１ｉの選択は視聴者によって行われる。そのため選択手段４には押しボタンスイッチやジョグダイヤルなどの操作手段５が接続され、視聴者の好みに応じた映像素材情報Ｄ１ｉが選択できるようになされる。この例では操作手段５を操作することにより得られる操作情報Ｄ２に基づいて映像素材情報Ｄ１ｉに関する映像の背景又は物体の動きが変更される。
【００２８】
この例で映像素材情報Ｄ１ｉが送信側で準備される場合であって、この映像素材情報Ｄ１ｉに関して、１画面を構成する３次元映像を「粗」に再生する粗再生モード又は「密」に再生する密再生モードのいずれかを受信側で選択するようにしてもよい。上述した従量制が採られる場合に、粗再生モードを選択すると、受信時間内における映像素材情報Ｄ１ｉの量が、密再生モードに比べて少なくなることから、視聴者にとって低料金となる。
【００２９】
この選択手段４には映像作成手段６が接続され、視聴者によって選択された映像素材情報Ｄ１ｉに基づいて３次元映像が作成される。例えば、映像作成手段６では映像素材情報Ｄ１ｉに基づいて３次元映像の基礎となるステレオ画像を作成するようになされたり、３次元の映像情報を作成するソフトウエアにより仮想空間を表現するようになされる。その際の３Ｄ次元表現フォッマットにはＶＲＭＬ（Ｖertual Ｒeality Ｍodeling Ｌanguage）方式を採用してもよい。
【００３０】
この映像作成手段６には液晶ディスプレイ、ＣＲＴモニタ又は合成手段（以下でグラストロンともいう）などの図示しない表示手段が接続され、３次元映像が表示される。このグラストロンには視聴者の目の動きを検出する機構が設けられる場合がある。その場合には、視聴者の視点位置を検出した情報（以下視点位置検出情報という）Ｄ３に基づいて映像の中の物体の動きを変更するようになされる。例えば、映像の１画面の背景を表示する期間内に受信側に送信された物体の複数の動作情報Ｄ１５と、グラストロンによる視点位置検出情報Ｄ３とに基づいて映像の中の物体の動きを変更するような表示制御が行われたり、その動作情報Ｄ１５と、操作手段５による操作情報Ｄ２とに基づいて映像の中の物体の動きを変更するような表示制御が行われる。
【００３１】
また、映像素材情報Ｄ１ｉに係る映像の背景又は物体の動きの変更は、一定のサイクルタイム内に割り込みが発生した場合によっても行われる。このサイクルタイム内の割り込み以外はデフォルトの３次元の映像情報に基づく映像が表示される。これにより、双方向テレビジョンの三次元版を構築することができる。
【００３２】
続いて、本実施形態に係る３次元映像の送受信方法について、当該送受信システム１００の処理例について説明をする。この例では、映像素材情報Ｄ１ｉが送信側で全て準備される場合を想定する。もちろん、映像素材情報Ｄ１ｉの一部をＣＤ−ＲＯＭ７９などの記憶媒体にして受信側で準備するようにしてもよい。
【００３３】
まず、図２に示すフローチャートのステップＡ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局などの送信側で準備される。映像素材情報Ｄ１ｉには、舞台やスポーツ競技場などの映像の背景を表現する背景情報Ｄ１１と、映像の背景内で動く役者やスポーツ選手などの物体を表現する物体情報Ｄ１２と、背景に対する物体の初期の配置情報Ｄ１３及びその物体の移動に伴う位置情報Ｄ１４と、物体の動作に伴う動作情報Ｄ１５とが付加される。
【００３４】
その後、送信側で準備された映像素材情報Ｄ１ｉがステップＡ２で送信手段１によって多重化された後に送信側から個々の視聴者側へ送信される。この際に、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。この例では映像素材情報Ｄ１ｉは動画像圧縮基準であるＭＰＥＧ−４のデータ系列を持ったデータストリームにして受信側に伝送される。
【００３５】
そして、送信側から送られてきた映像素材情報Ｄ１ｉはステップＡ３で視聴者側において、例えば、３Ｄポリゴン受信装置などを使用して受信される。この３Ｄポリゴン受信装置については実施例で説明をする。視聴者側では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがステップＡ４で選択手段４を介して選択される。この際の映像素材情報Ｄ１ｉの選択は操作手段５を使用して視聴者により行われる。この操作手段５によって選択された映像素材情報Ｄ１ｉに基づいて映像作成手段６では３次元映像が作成される。
【００３６】
従って、予め送信側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。これにより、放送局から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができる。また、ＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムなどを構築することができる。
【００３７】
（２）第１の実施例
図３は各実施例に係る３Ｄポリゴン放送システム２００の構成例を示すブロック図である。この例では放送局から衛星回線を介して送られてきた複数の映像素材情報Ｄ１ｉに基づいて３次元映像を作成する３Ｄポリゴン受信装置２０２を設け、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにしたものである。
【００３８】
第１の実施例では、特殊グラストロン２０３を装着した視聴者において、舞台で演ずる役者などの視線により認識される背景を３Ｄポリゴンで構成される「森」や「芝生」に置き換え、その「芝生」上に役者の３次元映像を表示できるようにしたものである。
【００３９】
図３に示す３Ｄポリゴン放送システム２００は３Ｄポリゴン送信装置２０１、３Ｄポリゴン受信装置２０２、特殊グラストロン２０３及びモニタ２０４を備えている。３Ｄポリゴン送信装置２０１は送信手段１の一例であり、放送局などに設置される。
【００４０】
この放送システム２００では３次元映像を作成するために予め準備された、例えば、「ロミオとジュリエット」の舞台中継に係るお城の背景、主人公としての男女の役者、この役者の動きなどの映像素材情報Ｄ１ｉが３Ｄポリゴン送信装置２０１によって放送局側から、衛星回線を通じて視聴者の所持する３Ｄポリゴン受信装置２０２へ送信される。受信側では、放送局から送られてきた映像素材情報Ｄ１ｉが３Ｄポリゴン受信装置２０２によって受信される。３Ｄポリゴン受信装置２０２によって受信された映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉが視聴者によって選択されると、その選択された映像素材情報に基づいて視聴者の好みに合った３次元映像が作成される。
【００４１】
この３Ｄポリゴン受信装置２０２では特殊グラストロン２０３やテレビモニタ２０４などの表示手段が使用され、３次元の映像が表示される。この例でテレビモニタ２０４には、客席から舞台を見ている二次元映像が表示される他、特殊グラストロン２０３を装着した視聴者には、３Ｄポリゴン１０で構成される「森」や「芝生」上に役者が存在するような３次元映像を表示することができる。
【００４２】
図４に示す３Ｄポリゴン送信装置２０１には音声映像取得装置２１１が設けられ、舞台やサッカー場などの番組中継対象から音声及び映像素材情報Ｄ１ｉが取得される。音声映像取得装置２１１には、ビデオカメラ、ステレオカメラ、マイクロフォン及びレンジファインダなどが使用される。ビデオカメラで映像素材情報Ｄ１ｉを取得する例については図６及び図７で説明する。
【００４３】
この種の映像素材情報Ｄ１ｉに関してレンジファインダで取得する例については、図４０〜図４５で説明する。また、映像素材情報Ｄ１ｉに関して、撮像可能な任意の物体の特定の面に、点滅パターンが異なる複数の光源を取付け、その点滅パターンの異なった光源を所定の撮像方向に流すように撮像し、そこで撮像された光源の輝度情報を画像処理して光源の各々の位置情報を求めることにより物体の位置情報Ｄ１４を得るようにしてもよい。
【００４４】
例えば、ロミオやジュリエットを演ずる役者の衣装、靴、手袋、イヤリング、ネックレス、王冠などの装飾品に点滅パターンが異なる複数の光源を取付け、その点滅パターンの異なった光源を所定の撮像方向に流すように撮像し、そこで撮像された光源の輝度情報を画像処理して光源の各々の位置情報を求めることにより、ロミオやジュリエットの位置情報Ｄ１４を得るようにする。この応用例については第２の実施例で説明する。
【００４５】
この映像素材情報Ｄ１ｉに関しては、放送局側から視聴者側へ伝送するデータを低減するために、ＣＤ−ＲＯＭ７９などの記憶媒体に記録したものを受信側で予め準備するようにしてもよい。例えば、サッカーゴールやフィールドに係る３Ｄ映像情報をＣＤ−ＲＯＭ７９から読み出すようになされる。この例については第２の実施例で説明する。
【００４６】
この音声映像取得装置２１１にはコンピユータ２１２が接続され、コンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのコンピユータグラフィックデータ（以下ＣＧデータという）Ｄ４が供給される場合もある。また、音声映像取得装置２１１で３ＤＴＶゲームや３Ｄ映画などのデータも取り扱うようにしてもよい。
【００４７】
この音声映像取得装置２１１には各種情報を符号化するために音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５が接続される。音声符号化部２１３では役者や効果音などの音声が符号化され、音声符号化信号が発生される。映像符号化部２１４では１番組を構成する、例えば、舞台装置４０の背景、物体の映像に係る背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５などの画像素材情報Ｄ１ｉが符号化され、映像符号化信号が発生される。データ符号化部２１５ではＣＧデータＤ４が符号化され、ＣＧデータ符号化信号が発生される。
【００４８】
また、音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５の出力には多重化手段１Ａが接続され、音声符号化信号、映像符号化信号及びＣＧデータ符号化信号などの多種多様なサービスが多重化され、複数のトランスポートストリームパケットＴＳｊ（ｊ＝１〜ｍ）が発生される。この例では、１番組を構成する符号化信号（映像素材情報Ｄ１ｉ）はＭＰＥＧ−４のデータ系列のビットストリームになるように符号化される。ＭＰＥＧ−４による符号化方法については図５で説明する。もちろん、ＭＰＥＧ−４の他にＭＰＥＧ−２で規定される１８８バイト長のトランスポートストリーム（ＴＳ）パケットのペイロード部に多重してもよい。
【００４９】
この多重化手段１Ａの出力には伝送路符号化部２１６が接続され、トランスポートストリームＴＳｊの合成、ＴＭＣＣ（Ｔransmission & Ｍultiplexing Ｃonfiguration Ｃording）生成、誤り訂正及び変調などが行われる。例えば、伝送路符号化部２１６に、受信機への制御情報となる所定のＴＭＣＣ情報が入力されると、このＴＭＣＣ情報に基づいてＴＭＣＣ信号が生成される。ＴＭＣＣ信号は一方で符号化されてＴＭＣＣ伝送符号となる。
【００５０】
他方で、ＴＭＣＣ信号に基づいてトランスポートストリームＴＳｊが所定の順序に合成されると共に、リードソロモン符号などの外符号誤り訂正符号が付加される。その後、ＴＭＣＣ信号に基づいて伝送フレームが構成された後に、エネルギー拡散される。このエネルギー拡散は「０」又は「１」の信号が連続し変調後のスペクトルが集中するのを防ぐための処理である。エネルギー拡散された符号化信号はインターリーブ処理される。この処理は伝送路で発生するバースト状の誤りを分散させて誤り訂正能力を高めるためである。その後、インターリーブ処理された符号化信号はＴＭＣＣ伝送符号に基づいて内符号誤り訂正符号が付加される。
【００５１】
更に、伝送路符号化部２１６の出力には送信機２１７が接続され、内符号誤り訂正符号が付加された符号化信号がバースト信号によってデジタル変調される。この変調方式には高能率なＴＣ８ＰＳＫ（トレリス符号化８相位相変調：符号化率２／３）方式が採用され、３４．５ＭＨｚ帯域幅が使用される。伝送誤りに対して強いＱＰＳＫ（４相位相変調：パンクチャド畳込み符号化率１／２、２／３、３／４、５／６、７／８）やＢＰＳＫ（２相位相変調：１／２）もＴＣ８ＰＳＫと時分割に使用してもよい。ＴＣ８ＰＳＫ変調されたデジタル信号は衛星回線を通じて視聴者の受信装置に向けて発信される。
【００５２】
ここで、映像素材情報Ｄ１ｉをＭＰＥＧ−４で符号化する場合を説明する。図５に示すビデオエンコーダ３００は入力端子３１３及び出力端子３１４を有している。入力端子３１３には動き補償部３０１、形状符号部３０２及び減算器３０３が接続されている。
【００５３】
この動き補償部３０１では映像素材情報Ｄ１ｉに基づく映像のフレーム間の動き画像を補償するために時間方向の冗長度が削減される。つまり、動き補償部３０１では映像の動きをフレーム間で予測するための予測信号が発生される。この予測制御信号Ｓ１０は形状符号部３０２及び後述する双方向予測メモリＰ３に出力される。
【００５４】
この形状符号部３０２では映像素材情報Ｄ１ｉに基づく映像の動き形状を予測制御信号Ｓ１０に基づいて符号化した後に、動き形状信号Ｓ２が発生される。減算器３０３では映像素材情報Ｄ１ｉに基づく現在映像と逆方向予測（過去参照）画像、順方向予測（未来参照）画像又は双方向予測画像との差を取るために、映像素材情報Ｄ１ｉに基づく入力画像から、これらの逆方向予測画像、順方向予測画像又は双方向予測画像に係るデータＤ２１、Ｄ２２、Ｄ２３が減算される。
【００５５】
この減算器３０３の出力には離散コサイン変換部（以下ＤＣＴという）３０４が接続され、映像の空間方向の冗長度を削減するために、例えば、映像素材情報Ｄ１ｉに基づく入力画像が８×８画素のブロックに分割される。このブロック単位にＤＣＴ演算が行われる。ＤＣＴ３０４ではＤＣ成分及びＡＣ成分から成るＤＣＴ係数が得られる。
【００５６】
このＤＣＴ３０４の出力には量子化部（Ｑ）３０５が接続され、ＤＣ成分及びＡＣ成分のＤＣＴ係数が量子化される。量子化部３０５には動きテキスト符号化部３０６が接続され、量子化されたＤＣＴ係数が動きテキストとして符号化された後に動きテキスト信号Ｓ１１が発生される。また、量子化部３０５には逆量子化部３０６が接続され、量子化されたＤＣＴ係数がＤＣ成分及びＡＣ成分に逆量子化される。逆量子化部３０６の出力には逆離散コサイン変換部（以下ＩＤＣＴという）３０７が接続され、逆ＤＣＴ演算が行われる。
【００５７】
このＩＤＣＴ３０７には加算器３０８が接続され、逆方向予測画像、順方向予測画像又は双方向予測画像に係る各々のデータＤ２１、Ｄ２２、Ｄ２３とＩＤＣＴ３０７の出力画像に係るデータＤ２４とを加算した後の合成画像データＤ２０が出力される。加算器３０８の出力にはフレームメモリ３０９が接続され、加算器３０８による合成画像データＤ２０が一時記憶される。フレームメモリの出力には逆方向予測メモリＰ１が接続され、逆方向予測画像に係るデータＤ２１が保持される。フレームメモリには順方向予測メモリＰ２が接続され、順方向予測画像に係るデータＤ２２が保持される。更にフレームメモリには双方向予測メモリＰ３が接続され、双方向予測画像に係るデータＤ２３が予測制御信号Ｓ１０に基づいて保持される。
【００５８】
これらの逆方向予測メモリＰ１、順方向予測メモリＰ２及び双方向予測メモリＰ３の出力にはスイッチ（セレクタ）部３１０が接続され、順方向予測、逆方向予測又は双方向予測の各モード切り換えに基づいて逆方向予測画像、順方向予測画像又は双方向予測画像に係るデータＤ２１、Ｄ２２、Ｄ２３のいずれかを選択するようになされる。スイッチ部３１０の出力は減算器３０３及び加算器３０８に接続される。
【００５９】
一方、動きテキスト符号化部３１１及び形状符号化部３０２には映像多重部３１２が接続され、符号化された映像の動きテキスト信号Ｓ１と、符号化された動き形状信号Ｓ２とが多重化される。これにより、映像素材情報Ｄ１ｉをＭＰＥＧ−４のビットストリームにすることができる。映像素材情報Ｄ１ｉのビットストリームは出力端子３１４から得られる。
【００６０】
続いて、映像素材情報Ｄ１ｉの取得例について説明をする。図６に示す舞台装置４０の例では客席に背景撮影用のビデオカメラ４０１が配置され、例えば、舞台上にセットされた第１幕のお城の背景などが撮影され、図７Ａに示す役者Ａ及びＢを含むお城を表現する背景情報Ｄ１１が取得される。
【００６１】
また、舞台の左右には物体撮影用のビデオカメラ４０２、４０３が配置され、舞台装置４０の左右から見た役者の動きが撮影され、図７Ｂに示す舞台内で動く役者Ａ，Ｂを表現する物体情報Ｄ１２が取得される。更に、舞台装置４０の斜め右前方には物体位置撮影用のビデオカメラ４０４が配置され、舞台背景に対する役者の初期の配置情報Ｄ１３及びその舞台内で動く役者Ａ，Ｂの移動に伴う位置情報Ｄ１４が取得される。
【００６２】
この例では２名の役者（被写体）Ａ及び他の役者Ｂの各々の頭部には小型のＣＣＤ撮像装置４０５、４０６が取り付けられ、一方の役者から他方の役者を見た視点映像が各々撮影され、双方の役者の動作に伴う動作情報Ｄ１５が取得される。もちろん、舞台側にビデオカメラ４０７を設け、舞台側から客席上を見た背景などを撮影してもよい。別の例として、各役者Ａ，Ｂの双方の頭部の動きのみを取得する位置に流し取りＣＣＤ装置（又は磁気センサ）を取り付け、視点方向のみの映像を取得するようにしてもよい。
【００６３】
これらの映像素材情報Ｄ１ｉが予め放送局などで準備されると、上述した３Ｄポリゴン送信装置２０１によって多重化された後に、放送局から個々の視聴者側へ送信される。この際に、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。
【００６４】
続いて、３Ｄポリゴン受信装置２０２の構成例について説明する。この例では上述した舞台映像に係る映像素材情報Ｄ１ｉが６チャネルに割り振られて送信される場合であって、その背景情報Ｄ１１がチャネルｃｈ１に割り振られ、その物体情報Ｄ１２がチャネルｃｈ２に割り振られ、その配置情報Ｄ１３がチャネルｃｈ３に割り振られ、その位置情報Ｄ１４がチャネルｃｈ４に割り振られ、その動作情報Ｄ１５がチャネルｃｈ５に割り振られ、二次元の映像情報がチャネルｃｈ６に割り振られる場合を想定する。
【００６５】
図８に示す３Ｄポリゴン受信装置２０２はＴＣ８ＰＳＫ変調方式のデジタル信号を受信するものであり、受信手段２、画像メモリ（記憶手段）３、セレクタ（選択手段）４、映像作成手段６、制御装置８８及びジョグダイヤル８９を備えている。
【００６６】
受信手段２はチューナ部７４、映像検波部７５、ノイズ除去部７６、誤り補正部７７及び情報多重化解析部７８を有している。チューナ部７４では衛星回線から送られくるＴＣ８ＰＳＫ変調方式のデジタル信号が受信される。チューナ部７４には映像検波部７５が接続され、例えば、６チャネルに多重化されたＴＣ８ＰＳＫ変調方式のデジタル信号が検波される。映像検波部７５にはノイズ除去部７６が接続され、ＭＰＥＧ−４のデータ系列で送信されてきたデジタル信号がＯＦＤＭ（Ｏrthogonal Ｆrequency Ｄivision Ｍultiplex）復調される。
【００６７】
このノイズ除去部７６には誤り補正部７７が接続され、ＯＦＤＭ復調されたデジタル信号の誤り符号が補正される。誤り補正部７７には多重分離手段として情報多重化解析部７８が接続され、誤り補正された６チャネルの映像素材情報Ｄ１ｉが多重分離される。背景情報Ｄ１１はｃｈ１から得られ、物体情報Ｄ１２はｃｈ２から得られ、配置情報Ｄ１３はｃｈ３から得られ、位置情報Ｄ１４はｃｈ４から得られ、動作情報Ｄ１５はｃｈ５から得られ、及び、二次元の映像情報はｃｈ５から各々得られる。
【００６８】
この情報多重化解析部７８には画像メモリ３が接続され、ｃｈ１〜ｃｈ６から得られた背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４、動作情報Ｄ１５及び二次元の映像情報などの映像素材情報Ｄ１ｉが一時記憶される。画像メモリ３にはセレクタ４が接続され、これらの映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉが操作手段としてのジョグダイアル８９などを使用して視聴者により選択される。
【００６９】
このセレクタ４の出力には映像作成手段６が接続され、３次元映像が作成される。映像作成手段６は例えばジオメトリ部８５、ラスター部８６及びステレオ画像生成部８７を有している。つまり、セレクタ４の出力にはジオメトリ部８５が接続され、３次元映像を表現するためのグローバル座標系に背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５が表示（記述）される。例えば、図９に示す舞台で演ずる役者Ｂなどの視線により認識される背景が、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられ、その「芝生」上に役者Ａの３次元映像が表示される。これらの映像合成信号が発生される。
【００７０】
また、ジオメトリ部８５にはＣＤ−ＲＯＭ７９が接続され、予め受信側で準備された３Ｄサッカーゲームなどのソフト情報源から読み出した映像ソフトが合成される場合もある。ジオメトリ部８５にはラスター部８６が接続され、表示手段２４の走査方式、例えば、ＮＴＳＣ方式又はＰＡＬ方式に合うように映像の水平走査期間及び垂直走査期間などを合わせ込むラスター処理がなされる。ラスター部８６にはステレオ画像生成部８７が接続され、表示手段２４の走査方式に合うように走査処理された映像合成信号に基づいてステレオ画像が形成される。例えば、表示手段２４が特殊グラストロン２０３の場合には、視聴者が見つめる視点位置を検出することができるので、その視点データに基づいてステレオ画像が形成される。
【００７１】
このステレオ画像生成部８７には特殊グラストロン２０３、ＴＶモニタ２０４又は後述する液晶表示素子（ＬＣＤ）などの表示手段２４が接続され、視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づく視聴者固有の３次元映像が表示される。上述の情報多重化解析部７８、画像メモリ３、セレクタ４、ＣＤ−ＲＯＭ７９、ラスター部８６及びステレオ画像生成部８７には制御装置８８が接続されると共に、この制御装置８８にはジョグダイヤル８９が接続される。視聴者はジョグダイアル８９によって自分の好みに応じた映像素材情報Ｄ１ｉを選択するようになされる。この選択によって制御装置８８では多重化解析部７８、画像メモリ３、セレクタ４、ＣＤ−ＲＯＭ７９、ラスター部８６及びステレオ画像生成部８７の入出力が制御される。
【００７２】
続いて、第１の実施例で使用する特殊グラストロン２０３の構成例について説明する。図１０に示す特殊グラストロン２０３は合成手段を構成するものであり、例えば、非透過型のヘッドマウントディスプレイを成している。特殊グラストロン２０３は本体部２１を有している。その本体部２１にはベルト２２が設けられ、眼鏡をかけるように本体部２１が視聴者の顔面に装着されると共に、その視聴者の頭部外周部に沿ってベルト２２が固定される。本体部２１には第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７とが設けられる。
【００７３】
つまり、特殊グラストロン２０３内の視聴者の右目に相対する位置に取り付けられたＬＣＤ２６には、例えば、図９に示した舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とを合成したステレオ画像の一方が表示される。
【００７４】
また、その視聴者の左目に相対する位置に取り付けられたＬＣＤ２７には、上述の舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の映像とを合成したステレオ画像の他方が表示される。この特殊グラストロン２０３は視聴者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。従って、舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とが視聴者の頭の中で合成される。
【００７５】
この特殊グラストロン２０３には、図１１に示す右眼表示用のＬＣＤ２６と、左眼表示用のＬＣＤ２７の表示面内にフィルム状の電荷結合素子（以下フィルムＣＣＤという）４Ｒ（右）、４Ｌ（左）が配置され、基準面を注視する観測者の眼球運動を撮像してその観測者の注視点ｐが検出される。この例では、フィルムＣＣＤ４Ｒ、４Ｌは、視聴者の眼球に相対するＬＣＤ２６及びＬＣＤ２７上に分散して配置されている。
【００７６】
このフィルムＣＣＤ４Ｒ、４Ｌでは、図１２Ａに示す例えば、４×６画素のマトリクスの全体画素に対して歯抜け状（斜線部分）に撮像素子４Ａが配置されている。従って、白抜き部分には撮像素子４Ａが配置されておらず、ＬＣＤ２６及びＬＣＤ２７による映像を通すようになされる。フィルムＣＣＤ４Ｒ、４Ｌは、フィルム上に部分的にシリコン膜を形成して光電変換素子などのＣＣＤを歯抜け状に作成し、このフィルムＣＣＤ４Ｒ、４ＬをＬＣＤ２６及びＬＣＤ２７の前方に張り合わせるなどして形成される。
【００７７】
なお、フィルムＣＣＤ４Ｒ、４Ｌは、サファイヤを基礎材料にして、シリコン膜を部分的に形成することができるので、ＬＣＤ２６及びＬＣＤ２７と歯抜け状のフィルムＣＣＤ４Ｒ、４Ｌとを１チップ化することもできる。ただし、チップの透明性（光透過率）は薄いサングラス程度となる。
【００７８】
このフィルムＣＣＤ４Ｒでは、図１２Ｂに示す観測者の右眼の瞳の動きや、その瞳孔の絞り状態が撮像され、フィルムＣＣＤ４Ｌでは、同図に示す観測者の左眼の瞳の動きや、その瞳孔の絞り状態が撮像される。従って、特殊グラストロン（合成手段）２０３を装着した視聴者が特定位置に視点を合わせることにより、フィルムＣＣＤ４Ｒ、４Ｌから得られたカメラ出力信号（視点位置検出情報）に基づいて映像素材情報Ｄ１ｉに関する映像の背景又は物体の動きを変更することができる。
【００７９】
この特殊グラストロン２０３は図１３に示す視聴者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。図１３において、特殊グラストロン２０３を装着した視聴者の両目の光軸が重なったところが、注視点ｐである。この注視点ｐを基準にして、役者Ａの映像のステレオ画像と、３Ｄポリゴン１０で構成される「森」や「芝生」の仮想映像のステレオ画像とが頭の中で合成される。
【００８０】
ここで、視聴者の眼球表面から注視点ｐに至る離隔距離をＳｈとし、ＬＣＤ２６、ＬＣＤ２７の表示面から注視点ｐに至る距離をＳｆとし、視聴者の眼球表面とＬＣＤ２６、ＬＣＤ２７の表示面との間のオフセット距離をＳoffとすると、Ｓｈ＝Ｓｆ＋Ｓoffにより、視点位置を検出することができる。この例では、視聴者の眼球運動から黒目と瞳孔の位置関係及び瞳孔の形状を認識し、その認識情報から注視点ｐの方向と離隔距離Ｓｈとを求め、その離隔距離Ｓｈに基づいて背景情報などを切り換えるようになされる。
【００８１】
この視聴者の眼球映像は、上述したように左右のＬＣＤ２６、２７の前面にフィルムＣＣＤ４Ｒ、４Ｌを設ける場合に限られることはなく、左眼表示用のＬＣＤ２７から背景映像を出力し、右眼表示用のＬＣＤ２６上にフィルムＣＣＤ４Ｒ目を設け、そのＣＣＤ４Ｒによって眼球映像を取得してもよい。この逆の方法でもよい。
【００８２】
続いて、第１の実施例に係る３Ｄポリゴン放送システムにおける処理例について説明をする。この例では放送局から衛星回線を介して送られてきた複数の映像素材情報Ｄ１ｉに基づいて３次元映像を作成する３Ｄポリゴン受信装置２０２を各家庭に設置し、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することを前提とする。もちろん、視聴者は図１０に示した特殊グラストロン２０３を頭部に装着する。
【００８３】
更に、特殊グラストロン２０３を装着した視聴者において、舞台で演ずる役者などの視線により認識される背景を３Ｄポリゴン１０で構成される「森」や「芝生」に置き換え、その「芝生」上に役者の３次元映像を表示することを想定する。
【００８４】
これらを前提として、図１４に示すフローチャートのステップＢ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局で準備される。例えば、図４に示した音声映像取得装置２１１によって、「ロミオとジュリエット」の舞台中継に係るお城の背景を表現する背景情報Ｄ１１と、映像の背景内で動く男女の役者Ａ，Ｂを表現する物体情報Ｄ１２と、背景に対する役者Ａ，Ｂの初期の配置情報Ｄ１３及びその役者Ａ，Ｂの移動に伴う位置情報Ｄ１４と、役者Ａ，Ｂの動作に伴う動作情報Ｄ１５とにより映像素材情報Ｄ１ｉが取得される。その他にコンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのコンピユータグラフィックデータ（以下ＣＧデータという）Ｄ４が映像素材情報Ｄ１ｉに含まれる。
【００８５】
その後、放送局側で準備された映像素材情報Ｄ１ｉがステップＢ２で３Ｄポリゴン送信装置２０１により多重化される。図４に示した３Ｄポリゴン送信装置２０１では、例えば、ステップＢ２１で音声映像取得装置２１１から得られた映像素材情報Ｄ１ｉが音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５に出力される。音声符号化部２１３では役者や効果音などの音声が符号化され、音声符号化信号が発生される。映像符号化部２１４では１番組を構成する、例えば、舞台装置の背景、物体の映像に係る背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５などの画像素材情報Ｄ１ｉが符号化され、映像符号化信号が発生される。データ符号化部２１５ではＣＧデータＤ４が符号化され、ＣＧデータ符号化信号が発生される。
【００８６】
また、音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５の出力に接続された多重化手段１Ａにより、音声符号化信号、映像符号化信号及びＣＧデータ符号化信号などの多種多様なサービスが多重化され、複数のトランスポートストリームパケットＴＳｊ（ｊ＝１〜ｍ）が発生される。そして、ステップＢ２２では上述した舞台映像に係る背景情報Ｄ１１がチャネルｃｈ１に割り振られ、その物体情報Ｄ１２がチャネルｃｈ２に割り振られ、その配置情報Ｄ１３がチャネルｃｈ３に割り振られ、その位置情報Ｄ１４がチャネルｃｈ４に割り振られ、その動作情報Ｄ１５がチャネルｃｈ５に割り振られ、二次元の映像情報がチャネルｃｈ６に割り振られる。この映像情報は１ｃｈでもよい。
【００８７】
この例では、１番組を構成する符号化信号（映像素材情報Ｄ１ｉ）は図５に示したようにＭＰＥＧ−４のデータ系列のビットストリームになるように符号化される。この多重化手段１Ａの出力は伝送路符号化部２１６で、トランスポートストリームＴＳｊの合成、ＴＭＣＣ生成、誤り訂正及び変調などのＯＦＤＭ処理がステップＢ２３で施される。
【００８８】
このＯＦＤＭ処理後の符号化信号は、送信機２１７において、ＴＣ８ＰＳＫ方式のデジタル変調がなされ、３４．５ＭＨｚ帯域幅を使用して、ステップＢ２４で衛星回線を通じて視聴者の受信装置に向けて発信される。この際に、デジタルテレビ放送網を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。もちろん、ケーブルテレビ通信回線又はインターネット通信回線を使用してもよい。
【００８９】
そして、放送局側から送られてきた映像素材情報Ｄ１ｉはステップＢ３で視聴者側に設置された３Ｄポリゴン受信装置２０２によって受信される。例えば、図８に示した３Ｄポリゴン受信装置２０２のチューナ部では、衛星回線から送られくるＴＣ８ＰＳＫ変調方式のデジタル信号が受信される。
【００９０】
このチューナ部７４に接続された映像検波部７５では、６チャネルに多重化されたＴＣ８ＰＳＫ変調方式のデジタル信号が検波される。この映像検波部７５に接続されたノイズ除去部７６では、ＭＰＥＧ−４のデータ系列で送信されてきたデジタル信号がノイズ除去されると共にＯＦＤＭ復調される。このノイズ除去部７６に接続された誤り補正部７７では、ＯＦＤＭ復調されたデジタル信号の誤り符号が補正される。
【００９１】
この誤り補正部７７に接続された情報多重化解析部７８では、誤り補正された６チャネルの映像素材情報Ｄ１ｉが多重分離される。背景情報Ｄ１１はｃｈ１から得られ、物体情報Ｄ１２はｃｈ２から得られ、配置情報Ｄ１３はｃｈ３から得られ、位置情報Ｄ１４はｃｈ４から得られ、動作情報Ｄ１５はｃｈ５から得られ、及び、二次元の映像情報はｃｈ５から各々得られる。これらの背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４、動作情報Ｄ１５及び二次元の映像情報などの映像素材情報Ｄ１ｉは画像メモリ３に一時記憶される。
【００９２】
その後、ステップＢ４では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがジョグダイアル８９などを使用して視聴者により選択される。このジョグダイアル８９によって制御装置８８及びセレクタ４を通じて選択された映像素材情報Ｄ１ｉは、映像作成手段６に出力される。映像作成手段６のジオメトリ部８５では、３次元映像を表現するためのグローバル座標系に背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４及び動作情報Ｄ１５が表示（記述）される。例えば、図６に示した舞台で演ずる役者Ｂなどの視線により認識される背景が、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられ、その「芝生」上に役者Ａの３次元映像が合成され、これらの映像合成信号が作成される。
【００９３】
また、ジオメトリ部８５に接続されたラスター部８６では、表示手段２４の走査方式に合うようにラスター処理が施される。その後、ラスター部８６に接続されたステレオ画像生成部８７では、視点データに基づいてステレオ画像が形成される。
【００９４】
このステレオ画像はステップＢ５で特殊グラストロン２０３に供給される。特殊グラストロン２０３内のＬＣＤ２６には、図９に示した舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とを合成したステレオ画像の一方が表示される。
【００９５】
また、そのＬＣＤ２７には、上述の舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の映像とを合成したステレオ画像の他方が表示される。上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。これにより、舞台で演ずる役者Ｂなどの視線により認識される役者Ａの映像と、３Ｄポリゴン１０で構成される「森」や「芝生」に置き換えられた背景の「芝生」上に存在する役者Ａの映像とが視聴者の頭の中で合成される。
【００９６】
このように、第１の実施例に係る３でポリゴン放送システムによれば、予め放送局側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。特殊グラストロン２０３を装着した視聴者には、図９に示した３Ｄポリゴン１０で構成される「森」や「芝生」上に役者Ａが存在するような３次元映像を楽しむことができる。
【００９７】
従って、放送局側から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにして舞台で演ずる役者Ａ，Ｂなどの視線により認識される臨場感溢れた３次元映像を視聴することができる。また、ＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムを提供することができる。
【００９８】
なお、３Ｄポリゴン受信装置２０２では特殊グラストロン２０３を装着しない場合には、客席から舞台を見ている場合の二次元映像がテレビモニタ２０４に表示される。この他に、ジョグダイアル８９の切り換えによってテレビモニタ２０４に、３Ｄポリゴン１０で構成される「森」や「芝生」上に役者Ａが存在するような３次元の合成映像を表示することができる。
【００９９】
（３）第２の実施例
図１５は第２の実施例に係る３Ｄポリゴン放送システム４００の構成例を示すブロック図である。
この例では第１の実施例に係る３Ｄポリゴン放送システム３００にゲーム装置２０５が接続され、放送局から衛星回線を介して送られてきた、例えば、サッカー中継に係る複数の映像素材情報Ｄ１ｉに基づいて３Ｄポリゴン受信装置２０２により３次元映像が作成され、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成できるようにしたものである。これと共に、特殊グラストロン２０６を装着した視聴者において、ゲーム装置２０５から提供された映像ソフトによるサッカーコートに、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示できるようにしたものである。
【０１００】
図１５に示す３Ｄポリゴン放送システム４００は３Ｄポリゴン送信装置２０１、３Ｄポリゴン受信装置２０２、ＴＶモニタ２０４、ゲーム装置２０５及び特殊グラストロン２０６を備えている。なお、第１の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
【０１０１】
この放送システム４００では３次元映像を作成するために予め準備された、例えば、「ワールドカップサッカー」の衛星中継に係るサッカーコートの背景、プレーヤーとしてのサッカー選手、このサッカー選手の動きなどの映像素材情報Ｄ１ｉが取得される。
【０１０２】
これらの映像素材情報Ｄ１ｉは客席に背景撮影用のビデオカメラが配置され、例えば、サッカーコートの全体の背景などが撮影され、審判員やサッカー選手を含むサッカーコートを表現する背景情報Ｄ１１が取得される。また、サッカーコートの左右には物体撮影用のビデオカメラが配置され、サッカーコートを左右から見たサッカー選手の動きが撮影され、サッカーコート内でボールを追って動くサッカー選手を表現する物体情報Ｄ１２が取得される。更に、サッカーコートの周辺には物体位置撮影用のビデオカメラが配置され、サッカーコートの全体背景に対するサッカー選手の初期の配置情報Ｄ１３及びそのサッカーコート内で動くサッカー選手の移動に伴う位置情報Ｄ１４が取得される。
【０１０３】
この例で、特定のサッカー選手（被写体）の頭部に小型のＣＣＤ撮像装置を取り付け、当該サッカー選手からゴールを見た視点映像を撮影したり、他のサッカー選手の動作に伴う動作情報Ｄ１５を取得するようにしてもよい。もちろん、ＣＣＤ撮像装置は全プレーヤーに取り付けてもよい。また、ゴール側にビデオカメラを設け、ゴール側からフィールド上を見た背景などを撮影するようにしてもよい。
【０１０４】
これらの映像素材情報Ｄ１ｉが予め放送局などで準備されると、上述した３Ｄポリゴン送信装置２０１によって多重化された後に、衛星回線を通じて視聴者の所持する３Ｄポリゴン受信装置２０２へ送信される。この際に、デジタルテレビ放送網、ケーブルテレビ通信回線又はインターネット通信回線を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。
【０１０５】
受信側では、放送局から送られてきた映像素材情報Ｄ１ｉが３Ｄポリゴン受信装置２０２によって受信される。３Ｄポリゴン受信装置２０２によって受信された映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉが視聴者によって選択されると、その選択された映像素材情報に基づいて視聴者の好みに合った３次元映像が作成される。
【０１０６】
この３Ｄポリゴン受信装置２０２では特殊グラストロン２０６やテレビモニタ２０４などの表示手段が使用されると共にゲーム装置２０５が使用される。この例でテレビモニタ２０４には、客席からサッカーコートを見ている二次元映像が表示される他、特殊グラストロン２０６を装着した視聴者には、３Ｄポリゴン１０で構成されるサッカー選手が、ゲーム装置２０５の例えば、ＣＤ−ＲＯＭ７９から提供された映像ソフトによるサッカーコートに、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示される。放送局から視聴者側へ伝送される映像素材情報のデータ量を低減することができる。
【０１０７】
このゲーム装置２０５は画像処理手段の一例であり、３Ｄポリゴン受信装置２０２、特殊グラストロン２０６及びＴＶモニタ２０４などに接続される。ゲーム装置２０５にはプレイ・ステーション（ソニー（株）：商標名）などを使用する。例えば、サッカーゲームなどの映像ソフトが記録されたＣＤ−ＲＯＭ７９がゲーム装置２０５に装着される。このゲーム装置２０５ではＣＤ−ＲＯＭ７９からゲームソフトが読み出されると、そのゲームソフトに基づいてＴＶモニタ２０４にサッカーコートが表示され、そのコート上にサッカー選手などのキャラクタを表示させてサッカーゲームを競うようにプレイされるものである。
【０１０８】
この例で図１５に示すゲーム装置２０５の四隅には、複数の光源としてそれぞれ発光ダイオード（ＬＥＤ１〜ＬＥＤ４）が取付けられ、「ワールドカップサッカー」の衛星中継に係るサッカー選手などの仮想体を飛び出せようとする基準面が設定される。この基準面には、４つの点Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとする基準面に相当する）。
【０１０９】
この４個の発光ダイオードＬＥＤ１〜ＬＥＤ４は、そのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、少なくとも、点滅パターンが異なるように点滅される。
【０１１０】
この発光ダイオードＬＥＤ１〜ＬＥＤ４の発光は特殊グラストロン２０６に取付けられた流し撮りＣＣＤ装置により、所定の撮像方向に流すように撮像される。この流し撮りは４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置から基準面を特定するためである。この基準面の特定については図２３で説明をする。
【０１１１】
このゲーム装置２０５には制御手段として図１６に示す点滅制御回路１３が設けられ、発光ダイオードの入出力が制御される。例えば、点滅制御回路１３では、画像処理系に当該ゲーム装置２０５の位置を再現性良く認識させるために、発光ダイオードの点滅パターンが異なるように点滅制御される。
【０１１２】
この例では、点滅制御回路１３によって、４個の発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧が印加されて点滅制御される。この点滅制御回路１３は例えばクロック発生部６１を有している。クロック発生部６１には１／２分周回路６２、１／３分周回路６３、１／４分周回路６４が接続されており、所定周波数のクロック信号ＣＬＫ１と、このクロック信号ＣＬＫ１を１／２分周回路６２で１／２分周したクロック信号ＣＬＫ２と、１／３分周回路６３で１／３分周したクロック信号ＣＬＫ３と、１／４分周回路６４で１／４分周したクロック信号ＣＬＫ４とが出力される。
【０１１３】
各々のクロック信号ＣＬＫ１〜ＣＬＫ４は安定化用の抵抗Ｒを通して各々の発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４に供給されている。このクロック発生部６１には直流電源ＶＣＣが接続される。
【０１１４】
この例では、図１６に示したクロック発生部６１に電源が供給されると、発光ダイオードＬＥＤ１にはクロック信号ＣＬＫ１が供給され、発光ダイオードＬＥＤ２にはクロック信号ＣＬＫ２が供給され、発光ダイオードＬＥＤ３にはクロック信号ＣＬＫ３が供給され、発光ダイオードＬＥＤ４にはクロック信号ＣＬＫ４が供給される。従って、図１７に示す４つの発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４の点滅パターンを異なるように制御することができる。
【０１１５】
このように、基準面設定付きのゲーム装置２０５の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が、点滅制御回路１３によって点滅パターンを異ならせるように点滅制御されるので、流し撮りＣＣＤ装置のような特殊撮影装置でそのゲーム装置２０５を流し撮りした場合に、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の点灯パターンを非点滅制御した場合に比べてその４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の輝点位置を容易に特定することができる。従って、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置からゲーム装置２０５の位置を画像処理系に容易に認識させることができる。
【０１１６】
続いて、特殊グラストロン２０６について説明する。図１８に示す特殊グラストロン２０６には少なくとも流し撮りＣＣＤ装置２３及び表示手段２４が設けられている。特殊グラストロン２０６の機種によっては通常のＣＣＤ撮像装置２５が設けられる。上述のゲーム装置２０５、流し撮りＣＣＤ装置２３及び特殊グラストロン２０６内の画像処理部によって面認識手段が構成され、視聴者の属する実空間上で任意の基準面を認識できるようになされている。ここで、流し撮りとは、流し撮りＣＣＤ装置２３において、同一フィールド期間中に複数回、光電変換素子（フォトダイオードなど）から信号電荷を読み出す撮影モードをいう。
【０１１７】
この例で流し撮りＣＣＤ装置２３として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りＣＣＤ装置２３として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【０１１８】
更に、特殊グラストロン２０６内には画像処理部が設けられ、流し撮りＣＣＤ装置２３から出力された画像データに基づいて基準面などを認識する画像処理がなされる。この画像処理部には表示手段２４が接続され、面認識手段により認識された基準面が表示される。この特殊グラストロン２０６内には偏光ビームスプリッタなどの光学手段が設けられる場合があり、表示手段２４によって表示された仮想空間の基準面上で仮想体の画像が合成される。この例では、実空間上の基準面の属する位置に、ゲーム装置２０５から提供された映像ソフトによるサッカーコートが表示され、このサッカーコート上に、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示される。
【０１１９】
つまり、視聴者の眉間に相当する位置には、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置２３とが並べて配置され、前者によって視聴者の属する外界像が撮像され、後者によってゲーム装置２０５の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りされる。従って、視聴者が基準面設定付きのゲーム装置２０５に目を向けると、その基準面の方向に流し撮りＣＣＤ装置２３が向くようになる。
【０１２０】
続いて、他の特殊グラストロン２０７について説明する。図１９に示す特殊グラストロン２０７は透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５は搭載されていない。従って、透過型のヘッドマウントディスプレイは、流し撮りＣＣＤ装置２３と、外界像取り込み用の液晶シャッタ２８と、画像表示素子としてのＬＣＤ２９から構成される。
【０１２１】
例えば、視聴者の眉間に相当する位置には、流し撮りＣＣＤ装置２３が配置され、視聴者が上述のゲーム装置２０５に目を向けると、ゲーム装置２０５の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りされる。そして、視聴者の左目及び右目に相当する位置には液晶シャッタ２８が設けられ、例えば、液晶シャッタ２８が開かれると、その液晶シャッタ２８を通過した視聴者のゲーム装置２０５の実像が直接眼球に導かれる。
【０１２２】
また、特殊グラストロン２０７内の視聴者の左目又は右目の脇に位置する部分には、ＬＣＤ２９が取付けられ、上述の特殊グラストロン２０６と同様にしてキャラクタ画像が表示される。図示しないが、液晶シャッタ２８と、ＬＣＤ２９との間には偏光ビームスプリッタなどの光学手段が設けられ、ゲーム装置２０５から提供された映像ソフトによるサッカーコートの画像と、このサッカーコート上に、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像とが視聴者の眼球に導くようになされている。これにより、視聴者の属するゲーム装置２０５上の仮想画像と３Ｄポリゴン１０によるサッカー選手の３次元映像とが頭の中で合成される。
【０１２３】
続いて、流し撮りＣＣＤ装置２３の内部構成例について説明する。図２０に示す流し撮りＣＣＤ装置２３は基板３１を有している。その基板３１上には、１画素を構成する光電変換素子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されている。
【０１２４】
この基板の列方向には電荷転送部としてｍ本の垂直転送部３２が設けられ、フォトダイオードＰＨｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に基づいて垂直方向（流し撮り方向）に転送される。この垂直転送部３２には水平転送部３３が接続され、その信号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転送されるので、出力端子３４に流し撮り信号ＳOUTが出力される。この例では、流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードＰＨｉｊから垂直転送部３２に信号電荷が転送される。
【０１２５】
また、流し撮りＣＣＤ装置２３は図２１に示す魚眼レンズ３５を有している。魚眼レンズ３５は例えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼レンズ３５によって上述のゲーム装置２０５などを広範囲に撮像できるようになる。もちろん、通常のレンズでも構わないが、視野が狭くなるので、視聴者はゲーム装置２０５に向けてより多く頭部を傾けなければならない。
【０１２６】
続いて、非透過型の特殊グラストロン２０６の回路構成について説明する。図２２に示す特殊グラストロン２０６は上述した流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬＣＤ２７及び画像処理装置９を有している。この画像処理装置９は図８に示した映像作成手段６に含めて構成する場合には、特殊グラストロン２０６内から画像処理装置９を削除してもよい。
【０１２７】
この例で画像処理装置９は内部バス４１を有している。内部バス４１には内部インタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７、Ｅ2ＰＲＯＭ（電気的な書き込み及び消去が可能な読み出し専用メモリ）４８及び外部インタフェース４９が接続されている。流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７は内部インタフェース４２を介して内部バス４１に接続される。
【０１２８】
この内部バス４１には記録媒体としてＥ2ＰＲＯＭ４８が接続され、ゲーム装置２０５上に基準面を設定するようなアルゴリズムが格納されている。従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上のゲーム装置２０５の基準面などをＣＰＵ４５などに認識させることができる。これにより、サッカーコートでプレーするサッカー選手などの視線により認識される臨場感溢れた３次元映像をゲーム装置２０５上の基準面に出現させるような３Ｄポリゴン放送システムを再現性良く構成することができる。
【０１２９】
この例では、内部バス４１に外部インタフェース４９が接続されている。この外部インタフェース４９には外部入力端子４１０が設けられ、上述した３Ｄポリゴン受信装置２０２を直接接続して、ＲＳ−２３２Ｃ通信プロトコルによるビデオ信号やデジタル放送信号などが入力できるようになされている。この外部入力端子４１０の他には、ゲーム装置２０５に接続できる外部入力端子４１１が設けられ、ゲーム装置２０５で再生されたサッカーゲームに係る３Ｄポリゴン１０のステレオ画像が３Ｄポリゴン受信装置２０２の映像作成手段６を介して供給される。
【０１３０】
更に、内部バス４１にはＲＯＭ４６が接続され、この特殊グラストロン２０６を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや３Ｄポリゴン１０の画像を表示する表示情報が一時記録される。また、内部バス４１にはＣＰＵ４５が接続され、内部インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６及びＬＣＤ２７の入出力の制御が行われる。
【０１３１】
この内部インタフェース４２には演算手段として画像処理部４４が接続され、例えば、図１５に示した通常のＣＣＤ撮像装置２５によってゲーム装置２０５の映像が取得され、基準面認識用の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮りＣＣＤ装置２３で撮像されると、このＣＣＤ装置２３から得られた点滅パターンに係る画像データが、ＣＰＵ４５の制御命令と共に内部インタフェース４２を介して、画像キャプチャ部４３に取り込まれる。画像キャプチャ部４３では、流し撮りＣＣＤ装置２３から入力した４つの発光ダイオードＬＥＤ１〜ＬＥＤ４に係る画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。
【０１３２】
この画像キャプチャ部４３には内部バス４１を介して画像処理部４４が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、視聴者の注視するゲーム装置２０５の映像が求められる。これにより、所定の撮像方向に流すように撮像された発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅パターンに関して、その点滅パターンに係る輝度信号ＳOUTが画像処理部４４で画像処理され、その発光ダイオードＬＥＤ１〜ＬＥＤ４の位置が求められるので、そのゲーム装置２０５の位置を容易に特定することができる。
【０１３３】
例えば、画像処理部４４では流し撮りＣＣＤ装置２３から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関して、図２３に示すウインドウＷにより画定された画像領域内で、４つの流し撮り輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。この４つの輝点Ｐ１〜Ｐ４は視聴者が注視するゲーム装置２０５上の基準面設定用の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４である。実空間上のゲーム装置２０５の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標は既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。
【０１３４】
従って、上述の実空間上のゲーム装置２０５の取得映像は４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、
両者の間には（１）式なる関係がある。
【０１３５】
【数３】
但し、ａ１・・・・ａ８は未知の係数でＣＣＤ撮像装置２５などの外部パラメータ（位置と方向）及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解くことにより得られる。
【０１３７】
【数４】
ここで得られた４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を結ぶことにより、図１５に示した実空間上のゲーム装置２０５が認識される。
【０１３９】
具体的には、図２３に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、画像処理部４４によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる４つの位置が検出され、この４つの位置に対応するＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４が求められる。また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められる。
【０１４０】
ここで、実空間上の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉとし、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４のＬＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクトルをＴとすると、（３）式、すなわち、
Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３）
但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）
という関係がある。従って、通常のＣＣＤ撮像装置２５の回転マトリクスＲとその移動ベクトルＴとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上のゲーム装置２０５の映像に３Ｄポリゴン１０によるサッカー選手の映像を合成することができる。この画像処理部４４で所定の画像処理がなされた合成映像は、再び、内部インタフェース４２を介して特殊グラストロン２０６内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【０１４１】
続いて、第２の実施例に係る３Ｄポリゴン放送システム４００における処理例について説明をする。この例では放送局から衛星回線を介して送られてきたサッカー中継に係る複数の映像素材情報Ｄ１ｉに基づいて３Ｄポリゴン受信装置２０２により３次元映像を作成し、その複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することを前提とする。もちろん、視聴者は図１５に示した特殊グラストロン２０６を頭部に装着する。これと共に、特殊グラストロン２０６を装着した視聴者において、ゲーム装置２０５から提供された映像ソフトによるサッカーコートに、３Ｄポリゴン１０で構成されるサッカー選手の３次元映像を合成表示することを想定する。
【０１４２】
これらを前提として、図２４に示すフローチャートのステップＣ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局で準備される。例えば、図示しない「ワールドカップサッカー」の衛星中継に係るサッカーコートの全体を表現する背景情報Ｄ１１と、この映像の背景内で動くサッカー選手を表現する物体情報Ｄ１２と、サッカーコート対する複数のサッカー選手の初期の配置情報Ｄ１３及びこれらのサッカー選手の移動に伴う位置情報Ｄ１４と、サッカー選手の動作に伴う動作情報Ｄ１５とにより映像素材情報Ｄ１ｉが取得される。その他に第１の実施例で説明したようなコンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのＣＧデータＤ４を映像素材情報Ｄ１ｉに含めてもよい。
【０１４３】
その後、放送局側で準備された映像素材情報Ｄ１ｉがステップＣ２で３Ｄポリゴン送信装置２０１により多重化される。図１５に示した３Ｄポリゴン送信装置２０１では、例えば、ステップＣ２１で音声映像取得装置２１１から得られたサッカー中継に係る映像素材情報Ｄ１ｉが音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５に出力される。音声符号化部２１３ではサッカー選手や審判の笛、応援団の音声などの符号化され、音声符号化信号が発生される。映像符号化部２１４では１番組を構成するサッカー中継に係るサッカーコートの背景に係る背景情報Ｄ１１、サッカー選手の映像に係る物体情報Ｄ１２、その配置情報Ｄ１３、その位置情報Ｄ１４及びその動作情報Ｄ１５などの画像素材情報Ｄ１ｉが符号化され、映像符号化信号が発生される。データ符号化部２１５では得点経過などのＣＧデータＤ４が符号化され、ＣＧデータ符号化信号が発生される。
【０１４４】
また、音声符号化部２１３、映像符号化部２１４及びデータ符号化部２１５の出力に接続された多重化手段１Ａにより、音声符号化信号、映像符号化信号及びＣＧデータ符号化信号などの多種多様なサービスが多重化され、複数のトランスポートストリームパケットＴＳｊ（ｊ＝１〜ｍ）が発生される。そして、ステップＣ２２では上述したサッカー中継に係る背景情報Ｄ１１がチャネルｃｈ１に割り振られ、そのサッカー選手に係る物体情報Ｄ１２がチャネルｃｈ２に割り振られ、その配置情報Ｄ１３がチャネルｃｈ３に割り振られ、その位置情報Ｄ１４がチャネルｃｈ４に割り振られ、その動作情報Ｄ１５がチャネルｃｈ５に割り振られ、二次元の映像情報がチャネルｃｈ６に割り振られる。
【０１４５】
この例では、１番組を構成する符号化信号（映像素材情報Ｄ１ｉ）は図５に示したようにＭＰＥＧ−４のデータ系列のビットストリームになるように符号化される。この多重化手段１Ａの出力は伝送路符号化部２１６で、トランスポートストリームＴＳｊの合成、ＴＭＣＣ生成、誤り訂正及び変調などのＯＦＤＭ処理がステップＣ２３で施される。
【０１４６】
このＯＦＤＭ処理後の符号化信号は、送信機２１７において、ＴＣ８ＰＳＫ方式のデジタル変調がなされ、３４．５ＭＨｚ帯域幅を使用して、ステップＣ２４で衛星回線を通じて視聴者の受信装置に向けて発信される。この際に、デジタルテレビ放送網を使用して映像素材情報Ｄ１ｉが視聴者側に伝送される。もちろん、ケーブルテレビ通信回線又はインターネット通信回線を使用してもよい。
【０１４７】
受信側では、ステップＣ３でゲーム装置２０５が起動された後に、ステップＣ４で４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅制御を開始する。この際に、ＣＤ−ＲＯＭ７９内の３Ｄ映像データはジオメトリー部８５へ転送される。これは受信信号がゲーム装置２０５で処理し切れない場合があるからである。
【０１４８】
これと並行して、放送局側から送られてきた映像素材情報Ｄ１ｉはステップＣ５で視聴者側に設置された３Ｄポリゴン受信装置２０２によって受信される。例えば、図８に示した３Ｄポリゴン受信装置２０２のチューナ部では、衛星回線から送られくるＴＣ８ＰＳＫ変調方式のデジタル信号が受信される。
【０１４９】
このチューナ部７４に接続された映像検波部７５では、６チャネルに多重化されたＴＣ８ＰＳＫ変調方式のデジタル信号が検波される。この映像検波部７５に接続されたノイズ除去部７６では、ＭＰＥＧ−４のデータ系列で送信されてきたデジタル信号がノイズ除去されると共にＯＦＤＭ復調される。このノイズ除去部７６に接続された誤り補正部７７では、ＯＦＤＭ復調されたデジタル信号の誤り符号が補正される。
【０１５０】
この誤り補正部７７に接続された情報多重化解析部７８では、誤り補正された６チャネルの映像素材情報Ｄ１ｉが多重分離される。背景情報Ｄ１１はｃｈ１から得られ、物体情報Ｄ１２はｃｈ２から得られ、配置情報Ｄ１３はｃｈ３から得られ、位置情報Ｄ１４はｃｈ４から得られ、動作情報Ｄ１５はｃｈ５から得られ、及び、二次元の映像情報はｃｈ５から各々得られる。これらの背景情報Ｄ１１、物体情報Ｄ１２、配置情報Ｄ１３、位置情報Ｄ１４、動作情報Ｄ１５及び二次元の映像情報などの映像素材情報Ｄ１ｉは画像メモリ３に一時記憶される。
【０１５１】
その後、ステップＣ６では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがジョグダイアル８９などを使用して視聴者により選択される。このジョグダイアル８９によって制御装置８８及びセレクタ４を通じて選択された映像素材情報Ｄ１ｉは、映像作成手段６に出力される。映像作成手段６のジオメトリ部８５では、３次元映像を表現するためのグローバル座標系に、ステップＣ３のＣＤ−ＲＯＭ７９から転送されたサッカーコートなどの３Ｄ映像データ、放送局からの背景情報Ｄ１１、サッカー選手に係る物体情報Ｄ１２、その配置情報Ｄ１３、その位置情報Ｄ１４及びその動作情報Ｄ１５が表示（記述）される。
【０１５２】
この例では、ゲーム装置２０５から、例えば、ＣＤ−ＲＯＭ７９により再生されるサッカーゲームの映像ソフトに基づくサッカーコートが、「ワールドカップサッカー」の中継に係るサッカーコートと置き換えられ、３Ｄポリゴン１０で構成されるサッカー選手をそのサッカーゲームソフトに基づくサッカーコート上に存在するように３次元映像が合成され、これらの映像合成信号が作成される。
【０１５３】
また、ジオメトリ部８５に接続されたラスター部８６では、表示手段２４の走査方式に合うようにラスター処理が施される。その後、ラスター部８６に接続されたステレオ画像生成部８７では、視点データに基づいてステレオ画像が形成される。
【０１５４】
このステレオ画像はステップＣ７で特殊グラストロン２０６に供給される。特殊グラストロン２０６では、例えば、図２５に示す第１のサブルーチンをコールして、そのフローチャートのステップＤ１で視聴者の属する実空間上でゲーム装置２０５上に基準面を設定するために、視聴者は、流し撮りＣＣＤ装置２３をゲーム装置２０５に向くようにする。その後、図１６に示した点滅制御回路１３を通じて４つの発光ダイオードＬＥＤ１〜ＬＥＤ４に所定の電圧を供給して所定の点滅パターンで点滅する。
【０１５５】
この例では、所定周波数のクロック信号ＣＬＫ１が抵抗Ｒを通して発光ダイオードＬＥＤ１に供給され、このクロック信号ＣＬＫ１を１／２分周したクロック信号ＣＬＫ２が抵抗Ｒを通して発光ダイオードＬＥＤ２に供給され、そのＣＬＫ１を１／３分周したクロック信号ＣＬＫ３が抵抗Ｒを通して発光ダイオードＬＥＤ３に供給され、そのＣＬＫ１を１／４分周したクロック信号ＣＬＫ４が抵抗Ｒを通して発光ダイオードＬＥＤ４に供給される。
【０１５６】
次に、ステップＤ２において、一方で通常のＣＣＤ撮像装置２５を使用して実空間上の基準面を撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示する。他方で、流し撮りＣＣＤ装置２３を使用して実空間上の基準面を流し撮りする。例えば、３Ｄポリゴン１０のサッカー選手を合成させようとするゲーム装置２０５の所定位置に取付けられた４つの発光ダイオードＬＥＤ１〜ＬＥＤ４が、点滅パターンが異なるように点滅されるので、その点滅パターンが所定の撮像方向に流すように撮像される。
【０１５７】
その後、ステップＤ３で視聴者の属する実空間上に任意に設定された基準面を認識するために画像処理する。画像処理部４４では、例えば、図２６に示す第２のサブルーチンをコールしてステップＥ１でビデオキャプチャ処理を実行する。そして、ステップＥ２で四隅の発光ダイオードＬＥＤ１〜ＬＥＤ４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された４つの発光ダイオードＬＥＤ１〜ＬＥＤ４による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０１５８】
その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる。そして、ステップＥ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０１５９】
その後、図２５の第１のサブルーチンのステップＤ４にリターンして仮想空間の基準面上にＣＤ−ＲＯＭ７９によるゲーム用のサッカーコートの映像を表示する。そして、上述の（２）式に基づいて、仮想空間の基準面上に３Ｄポリゴン１０によるサッカー選手の映像が合成される。
【０１６０】
このとき、視聴者が装着した特殊グラストロン２０６では、「ワールドカップサッカー」の中継に係るサッカーコートでサッカーボールを蹴る３Ｄポリゴン１０のサッカー選手が、サッカーゲームソフトに基づくサッカーコート１０Ｂでプレーするように合成したステレオ画像の一方が表示される。また、そのＬＣＤ２７には、その３Ｄポリゴン１０のサッカー選手が、サッカーゲームソフトに基づくサッカーコート１０Ｂでプレーするように合成したステレオ画像の他方が表示される。
【０１６１】
上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。これにより、実際は「ワールドカップサッカー」に係るコート上でサッカーボール１０Ａを蹴るサッカー選手が、サッカーゲーム上のコート１０Ｂでプレーしているように３次元映像が視聴者の頭の中で合成される。
【０１６２】
従って、図２７に示す実空間上では基準面上に３Ｄポリゴン１０によるサッカー選手やサッカーボール１０Ａ及びゲームソフトによるサッカーコート１０Ｂが出現していないのに、図２８に示す仮想空間ではその基準面上にサッカーコート１０Ｂが出現し、しかも、３Ｄポリゴン１０によるサッカー選手やサッカーボール１０Ａを出現させることができる。
【０１６３】
このように、第２の実施例に係る３Ｄポリゴン放送システム４００によれば、予め放送局側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。特殊グラストロン２０６を装着した視聴者においては、ゲームソフトによるサッカーコート上で、サッカーボール１０Ａを蹴る３Ｄポリゴン１０によるサッカー選手をプレイさせるようなゲームを行わせることができる。
【０１６４】
従って、放送局側から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにして「ワールドカップサッカー」に係るサッカー選手の視線により認識される臨場感溢れた３次元映像を視聴することができる。また、第１の実施例と同様にしてＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムを構築することができる。
【０１６５】
なお、特殊グラストロン２０６を装着しない場合には、客席からサッカーコートを見ている場合の二次元映像がテレビモニタ２０４に表示される。この他に、ジョグダイアル８９の切り換えによってテレビモニタ２０４に、３Ｄポリゴン１０で構成されるサッカー選手が、サッカーゲーム上のコート１０Ｂでプレーしている３次元の合成映像を表示することができる。このサッカーゲーム上のコート１０ＢはＣＤ−ＲＯＭ７９から読み出されるので、放送局から視聴者側へ伝送される映像素材情報のデータ量を低減することができる。
【０１６６】
（４）第３の実施例
図２９は第３の実施例としての３Ｄポリゴン受信処理システム５００の構成例を示す斜視図である。この例では、点滅パターンの異なる光源画像をＴＶモニタ２０４の特定位置に表示し、その光源画像の位置からＴＶモニタ２０４の位置を画像処理系に認識させて、視聴者の視聴する二次元映像に仮想体の画像を再現性良く立体的に合成できるようにしたものである。なお、第２の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
【０１６７】
図２９に示す３Ｄポリゴン受信処理システム５００では、視聴者の聴取するテレビ画像、例えば、先の例の「ワールドカップサッカー」の中継映像にその試合でプレイをするサッカー選手の映像をＴＶモニタ２０４上に飛び出させて、立体的に合成表示するようになされる。
【０１６８】
この３Ｄポリゴン受信処理システム５００は基準面設定用のＴＶモニタ２０４及び特殊グラストロン２０６を有している。このＴＶモニタ２０４は例えば視聴者が視聴できる位置であって、特殊グラストロン２０６の撮影範囲内に入るように配置される。
【０１６９】
このＴＶモニタ２０４は仮想体の画像を合成しようとする基準面を提供するために、図２９に示す画面内の四隅に予め光源画像ＬＰｉが表示される。この例では、３Ｄポリゴン１０によるサッカー選手を飛び出せようとするＴＶ画面の４つの点Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとするＴＶ画面の位置に相当する）。この４個の光源画像ＬＰ１〜ＬＰ４は、そのマーク部としての機能を発揮するために、かつ、ＴＶモニタ２０４で表示位置が明らかになるように、点滅パターンが異なるように表示される。
【０１７０】
この光源画像ＬＰ１〜ＬＰ４は特殊グラストロン２０６内の流し撮りＣＣＤ装置２３により、所定の流し撮像方向に流すように撮像される。この流し撮りは４個の光源画像ＰＬ１〜ＰＬ４の表示位置からＴＶ画面を特定するためである。このＴＶ画面の特定については図２３で説明した通りである。
【０１７１】
この特殊グラストロン２０６の本体部２１内には第２の実施例で説明した画像処理装置９が設けられ、流し撮りＣＣＤ装置２３から出力された画像データに基づいて光源画像ＬＰｉを含んだＴＶ画面などを認識する画像処理がなされる。この例でも、特殊グラストロン２０６内には画像処理装置９の他に流し撮りＣＣＤ装置２３及び表示手段２４が設けられる。
【０１７２】
特殊グラストロン２０６の機種によっては通常のＣＣＤ撮像装置２５が設けられる。この基準面設定用のＴＶモニタ２０４に表示された４個の光源画像ＬＰｉ、流し撮りＣＣＤ装置２３及び画像処理装置９によって位置認識機構（面認識手段）７が構成され、視聴者の視聴するＴＶモニタ２０４の表示画面を認識できるようになされる。この位置認識機構７の主要部を成す流し撮りＣＣＤ装置２３では、ＴＶモニタ２０４の画面内の四隅で、点滅パターンが異なるように表示された光源画像ＬＰｉを所定の撮像方向に流すように撮像される。この流し撮りに関しては第２の実施例で説明した通りである。
【０１７３】
上述の画像処理装置９には第２の実施例で説明した表示手段２４が接続され、位置認識機構７により認識されたＴＶ画面が表示される。この特殊グラストロン２０６内には偏光ビームスプリッタなどの光学手段が設けられる場合があり、表示手段２４によって表示された仮想空間のＴＶ画面上で仮想体の画像が合成される。この例では、実空間上のＴＶ画面の属する位置に、あたかも、仮想体としての３Ｄポリゴン１０によるサッカー選手が存在するようになされる。
【０１７４】
続いて、ＴＶモニタ２０４の構成例について説明する。この例では、点滅パターンの異なる光源画像をブラウン管（以下ＣＲＴという）の特定位置に表示し、その光源画像の位置からＴＶモニタ２０４の位置を画像処理系で容易に認識できるようにしたものである。
【０１７５】
図３０に示すＴＶモニタ２０４は撮像可能な任意の画面を有した表示手段８を備えている。この表示手段８には陰極線管（以下ＣＲＴ８’という）、液晶表示パネル、プラズマ・ディスプレイパネル及び平面表示パネルなどが使用される。もちろん、ＴＶモニタ２０４はカラー表示形式又は白黒表示形式であり、ＴＶ放送を受信して二次元映像を表示したり、３Ｄポリゴン１０による映像信号を受けて３次元映像を表示するものである。これらのＴＶモニタ２０４の画面内であって、少なくとも、その画面内の特定の位置に３点以上の光源画像が表示される。
この例では、表示手段８の表示映像画面の四隅に矩形状の光源画像ＬＰ１〜ＬＰ４が表示される。この光源画像ＬＰ１〜ＬＰ４は予めＴＶ放送局側で準備され、映像素材情報Ｄ１ｉと同じように専用チャネルに割り振り、多重化して送信するようにするとよい。受信機側で選択された映像素材情報Ｄ１ｉに係るカラー映像信号に光源画像ＬＰ１〜ＬＰ４を重畳する方法も考えられる。ここでは、後者の場合であって表示手段８にＣＲＴ８’を使用する場合について説明をする。
【０１７６】
図３１に示すＴＶモニタ２０４はＣＲＴ８’、画像処理手段９０及び制御手段６６を有している。例えば、画像処理手段９０には映像検波回路９１が設けられ、図示しない前段の映像中間増幅回路から出力されたカラー映像中間信号Ｓinからカラー映像信号ＳＣが検出される。この映像検波回路９１の出力段には加算回路９２が接続され、カラー映像信号ＳＣの所定表示期間に点滅パターンの異なる光源画像信号ＳＰｉ（ｉ＝１〜４）を加算するようになされる。
【０１７７】
つまり、加算回路９２の入力段には制御手段６６が接続され、ＣＲＴ８’の画面内に表示される光源画像ＬＰ１〜ＬＰ４を各々点滅パターンが異なるように点滅制御される。この例の制御手段６６は光源画像発生部６１を有しており、所定周波数のパルス状の光源画像信号ＳＰ１が発生される。光源画像信号ＳＰ１は３０〜５０Ｈｚを除いた低域の周波数が好ましい。これは、３０〜５０Ｈｚで点滅する光では、視聴者が光てんかん発作を引き起こすおそれがあるからである。
【０１７８】
この光源画像発生部６１’には第２の実施例で説明したクロック発生回路６１が応用され、１／２分周回路６２、１／３分周回路６３、１／４分周回路６４が接続される。光源画像発生部６１’による所定周波数の光源画像信号ＳＰ１と、この光源画像信号ＳＰ１を１／２分周回路６２で１／２分周した光源画像信号ＳＰ２と、１／３分周回路６３で１／３分周した光源画像信号ＳＰ３と、１／４分周回路６４で１／４分周した光源画像信号ＳＰ４とが出力される。
【０１７９】
この光源画像発生部６１’、１／２分周回路６２、１／３分周回路６３及び１／４分周回路６４の出力段には出力回路６５が接続され、垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、各々の光源画像信号ＳＰ１〜ＳＰ４を選択して加算回路９２に出力するようになされている。
【０１８０】
この加算回路９２の出力段には、映像増幅回路９３が接続され、カラー映像信号ＳＣの所定表示期間に加算された点滅パターンの異なる光源画像信号ＳＰｉが増幅される。この加算回路９２は図３１の破線で示すように映像増幅回路９３の出力段に接続してもよい。映像増幅回路９３の出力段にはカラー処理回路９４及び走査処理回路９５が接続されている。カラー処理回路９４では、カラー映像信号ＳＣ及び光源画像信号ＳＰｉが所定の階調処理などが施された後に、ＣＲＴ８’のカソード及びグリッドに駆動電圧ＶＫ、ＶＧとなって供給される。
【０１８１】
また、映像増幅回路９３に接続された走査処理回路９５では同期信号ＳＳが検出され、１周期が１６．６ｍｓecの垂直同期信号ＳＶ及び１周期６３μsecが水平同期信号ＳＨが上述の出力回路６５に出力される。更に、この垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて発生した水平偏向電圧ＶＶ、垂直偏向電圧ＶＨが偏水平・垂直向コイルに供給され、同様にして発生した高電圧ＶＨＨがＣＲＴ８’のアノードに供給される。
【０１８２】
これにより、ＣＲＴ８’に表示された任意の受信画面上に光源画像ＬＰｉを合成表示することができ、光源画像ＬＰｉを点滅させることができる。この例では、特定の波長Ｘの可視光が光源画像ＬＰｉから放出される状態、又は、それが放出されない状態を作ることができる。
【０１８３】
この可視光は人間の目では認識できないような色差にすることが好ましい。例えば、光源画像ＬＰｉが点滅される位置に、ｘ，ｙマトリクスフィルムを貼るようにする。このフィルムにはガルバゾール及びその誘導体などから成る透過域変動高分子材料を使用するよい。例えば、この種の緑色のフィルムを通った特定の波長の光は、人間の目には緑一色に見えるが、流し撮りＣＣＤ装置２３のような特殊な撮像装置で特定の透過帯域の薄膜フィルタを通すと、この光を検出することができる。従って、光源画像を３０〜５０Ｈｚで点滅させても、上述の光てんかん発作を防止することができる。
【０１８４】
続いて、ＴＶモニタ２０４の光源画像信号の挿入時の動作例を説明する。この例では、ＴＶモニタ２０４のＣＲＴ８’で表示される上下の５ラインの左右数画素を使用して光源画像ＬＰｉを表示する場合であって、カラー映像信号ＳＣの１水平期間の両縁に図３２に示す光源画像信号ＳＰｉ（ｉ＝１，３）、ＳＰｊ（ｊ＝２，４）を重畳する場合を想定する。例えば、ＮＴＣＳ方式で走査線が５２５本の場合であって、飛越走査方式の場合に、奇数フレームの第１、第３及び第５ラインの左端部に光源画像ＬＰ１を表示し、同じラインの右端部に光源画像ＬＰ２を表示する。その第５２１、第５２３及び第５２５ラインの左端部に光源画像ＬＰ３を表示し、同じラインの右端部に光源画像ＬＰ４を表示する。
【０１８５】
また、偶数フレームのラインの第２及び第４ラインの左端部に光源画像ＬＰ１を表示し、同じラインの右端部に光源画像ＬＰ２を表示する。その第５２２及び第５２４ラインの左端部に光源画像ＬＰ３を表示し、同じラインの右端部に光源画像ＬＰ４を表示する。
【０１８６】
これら前提条件の下に、上述の制御手段６６では、１垂直期間の奇数フレームにおいて、第１、第３及び第５ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、数画素の表示に対応した時間間隔で光源画像信号ＳＰ１を選択した後に、その１水平期間の終了直前に光源画像信号ＳＰ２を選択する。この結果で、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ１を重畳することができ、その右縁側に光源画像信号ＳＰ２を重畳することができる。従って、図３０に示した表示画面の左上端に光源画像ＬＰ１を表示することができ、その右上端に光源画像ＬＰ１を表示することができる。
【０１８７】
また、その奇数フレームの第５２１、第５２３及び第５２５ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、上述したように光源画像信号ＳＰ３を選択した後に光源画像信号ＳＰ４を選択する。この結果で、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ３を重畳することができ、その右縁側に光源画像信号ＳＰ４を重畳することができる。従って、図３０に示した表示画面の左下端に光源画像ＬＰ３を表示することができ、その右下端に光源画像ＬＰ４を表示することができる。
【０１８８】
更に、１垂直期間の偶数フレームにおいて、第２及び第４ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、光源画像信号ＳＰ１を選択した後に光源画像信号ＳＰ２が選択されるので、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ１を重畳することができ、その右縁側に光源画像信号ＳＰ２を重畳することができる。従って、図３０に示す表示画面の左上端に光源画像ＬＰ１を表示することができ、その右上端に光源画像ＬＰ１を表示することができる。
【０１８９】
また、その偶数フレームの第５２２及び第５２４ラインに関して、走査処理回路９５からの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づいて、光源画像信号ＳＰ３を選択した後に光源画像信号ＳＰ４が選択されるので、図３３に示すカラー画像信号ＳＣの１水平期間の左縁側に光源画像信号ＳＰ３を重畳することができ、その右縁側に光源画像信号ＳＰ４を重畳することができる。従って、図３０に示した表示画面の左下端に光源画像ＬＰ３を表示することができ、その右下端に光源画像ＬＰ４を表示することができる。
【０１９０】
これにより、当該ＴＶモニタ２０４で、視聴者の視聴する任意の受信画面上に予め光源画像ＬＰ１〜ＬＰ４を合成表示するようになされたときに、そのＴＶモニタ２０４に表示された光源画像ＬＰ１〜ＬＰ４を流し撮りＣＣＤのような特殊撮影装置２３で所定の撮像方向に流すように撮像した場合に、その４つの光源画像ＬＰ１〜ＬＰ４を一律に点灯した場合に比べてその光源画像ＬＰ１〜ＬＰ４の位置を容易に特定することができる。従って、その光源画像ＬＰ１〜ＬＰ４の位置から当該ＴＶモニタ２０４の表示画面の位置を特殊グラストロン２０６などの画像処理系に容易に認識させることができる。
【０１９１】
続いて、流し撮りＣＣＤ装置２３の光学系の他の構成例について説明する。この例の流し撮りＣＣＤ装置２３には第２の実施例と同様にして図３４に示す魚眼レンズ３５が設けられる。この魚眼レンズ３５の前面には薄膜フィルタ３７が取付けられ、ＣＲＴ８’の表示画面の４つの光源画像ＰＬ１〜４から放出される特定波長Ｘの光が取り込まれ、ＣＣＤ撮像素子３６に導くようになされる。この薄膜フィルタ３７はＩＲフィルタのようなものである。このＩＲフィルタはＴｉＯ2膜又はＳｉＯ2膜を多層に積み上げた構造を有しており、その一層の厚みを制御することで、赤色、緑色、青色などを通す光透過帯域（透過率対波長）を自由に設定できるようになされている。
【０１９２】
実際のテレビではＣＲＴ８’の表面から微細ながら赤外線や紫外線が放出されている。この赤外線や紫外線によって光源画像ＬＰｉから放出される光の波長帯域が変動する。この例では、光源画像ＬＰｉが点滅される位置に、ｘ，ｙマトリクスフィルムが貼られている。このｘ，ｙマトリクスフィルムには上述した透過域変動高分子材料が使用される。この材料は電圧及び電流が変化することで波長帯域が変動するものである。
【０１９３】
上述の流し撮りＣＣＤ装置２３に薄膜フィルタを使用したり、ＣＲＴ８’にｘ，ｙマトリクスフィルムを使用する場合には、ＣＲＴ８’（又はＬＣＤ）の色調誤差と薄膜フィルタの製造バラツキによるフィルタ特性との色のキャリブレーションを行う必要がある。この合わせ込みには、例えば、光源画像ＬＰｉをデフォルト色で表示して、流し撮りＣＣＤ装置２３で光源画像ＬＰｉによる光を受光できるか否かを検出する。
【０１９４】
その光源画像ＬＰｉによる光が受光できる場合には、そのデフォルト色による光を撮像し、この光源画像ＬＰｉによる光が受光できない場合には、そのデフォルト色を変更する。そして、変更した色の光を撮像し、その光源画像ＬＰｉによる光が受光できた場合には、その変更後の色による光を撮像するようにする。
【０１９５】
これにより、人間の目では認識できないような色差の可視光であって上述の特定の波長Ｘに近い波長の光で、流し撮りＣＣＤ装置２３に取り付けられた薄膜フィルタ３７の透過帯域から外れた光を光源画像ＬＰｉから放出させることができる。視聴者の光てんかん発作を防止できる。
【０１９６】
続いて、第３の実施例に係る３Ｄポリゴン放送システム４００による処理例について先に説明した図２４、図２５及び図２６を再び参考にして説明をする。この例では、ＴＶモニタ２０４の表示画面内に４つの光源画像ＬＰ１〜ＬＰ４が所定の点滅パターンで表示される場合であって、視聴者の聴取するＴＶモニタ２０４のテレビ映像（二次元画像表示）から飛び出した３Ｄポリゴン１０によるサッカー選手の映像を仮想空間上で立体的に合成する場合を想定する。もちろん、視聴者は図２９に示した特殊グラストロン２を頭部に装着する。
【０１９７】
これを前提にして、図２４に示すフローチャートのステップＣ１で３次元映像を作成するための複数の映像素材情報Ｄ１ｉが予め放送局で準備される。例えば、図示いない「ワールドカップサッカー」の衛星中継に係るサッカーコートの全体を表現する背景情報Ｄ１１と、この映像の背景内でサッカーボール１０Ａを追いかけ、それを蹴るサッカー選手を表現する物体情報Ｄ１２と、サッカーコート対する複数のサッカー選手の初期の配置情報Ｄ１３及びこれらのサッカー選手の移動に伴う位置情報Ｄ１４と、サッカー選手の動作に伴う動作情報Ｄ１５とにより映像素材情報Ｄ１ｉが取得される。その他に第１及び第２の実施例で説明したようなコンピユータ２１２で加工形成された、「森」、「海」、「芝生」や「砂浜」などのＣＧデータＤ４を映像素材情報Ｄ１ｉに含めてもよい。
【０１９８】
その後、放送局側で準備された映像素材情報Ｄ１ｉがステップＣ２で３Ｄポリゴン送信装置２０１により多重化される。この際の多重化に関しては、図２４に示した３Ｄポリゴン送信装置２０１の動作例を参照されたい。
【０１９９】
受信側では、ステップＣ３でゲーム装置２０５に代わってＴＶモニタ２０４が起動された後に、ステップＣ４で４つの光源画像ＬＰ１〜ＬＰ４の点滅制御が開始される。これと並行して、放送局側から送られてきた映像素材情報Ｄ１ｉはステップＣ５で視聴者側に設置された３Ｄポリゴン受信装置２０２によって受信される。この際の３Ｄポリゴン受信装置２０２の受信動作に関しては図２４で説明した通りである。
【０２００】
その後、ステップＣ６では映像素材情報Ｄ１ｉから任意の映像素材情報Ｄ１ｉがジョグダイアル８９などを使用して視聴者により選択される。このジョグダイアル８９によって制御装置８８及びセレクタ４を通じて選択された映像素材情報Ｄ１ｉは、映像作成手段６に出力される。映像作成手段６のジオメトリ部８５では、３次元映像を表現するためのグローバル座標系にサッカーコートなどの背景情報Ｄ１１、サッカー選手に係る物体情報Ｄ１２、その配置情報Ｄ１３、その位置情報Ｄ１４及びその動作情報Ｄ１５が表示（記述）される。
【０２０１】
この例では、サッカーボール１０Ａを蹴るサッカー選手が多重分離される。「ワールドカップサッカー」の中継に係る二次元映像がＴＶモニタ２０４で表示され、３Ｄポリゴン１０で構成されるサッカー選手がＴＶモニタ２０４から飛び出した状態で、ＴＶモニタ２０４に向かってサッカーボール１０Ａを蹴るような３次元映像が合成され、これらの映像合成信号が作成される。
【０２０２】
また、ジオメトリ部８５に接続されたラスター部８６では、表示手段２４の走査方式に合うようにラスター処理が施される。その後、ラスター部８６に接続されたステレオ画像生成部８７では、視点データに基づいてステレオ画像が形成される。
【０２０３】
このステレオ画像はステップＣ７で特殊グラストロン２０３に代わって特殊グラストロン２０６に供給される。特殊グラストロン２０６では、例えば、図２５に示した第１のサブルーチンをコールして、そのフローチャートのステップＤ１で視聴者の属する実空間上でＴＶモニタ２０４上に基準面を設定するために、視聴者は、流し撮りＣＣＤ装置２３をＴＶモニタ２０４に向くようにする。その後、図３０に示した制御手段６６を通じて４つの光源画像ＬＰ１〜ＬＰ４が所定の点滅パターンで点滅される。
【０２０４】
次に、ステップＤ２において、一方で通常のＣＣＤ撮像装置２５を使用して実空間上のＴＶ映像を撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示する。他方で、流し撮りＣＣＤ装置２３を使用して実空間のＴＶモニタ２０４上の基準面を流し撮りする。その後、ステップＤ３で視聴者の属する実空間上に任意に設定された基準面を認識するために画像処理する。画像処理部４４では、例えば、図２６に示す第２のサブルーチンをコールしてステップＥ１でビデオキャプチャ処理を実行する。そして、ステップＥ２で四隅の光源画像ＰＬ１〜ＰＬ４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された４つの光源画像ＰＬ１〜ＰＬ４による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０２０５】
その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの光源画像ＰＬ１〜ＰＬ４の発光位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる。そして、ステップＥ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０２０６】
その後、図２５の第１のサブルーチンのステップＤ４にリターンして、ＴＶモニタ２０４で表示される「ワールドカップサッカー」の中継に係る二次元映像と、上述の（２）式に基づく仮想空間の基準面上でサッカーボールを追いかけ、それを蹴る３Ｄポリゴン１０によるサッカー選手の映像とが合成される。
【０２０７】
このとき、視聴者が装着した特殊グラストロン２０６では、「ワールドカップサッカー」の中継に係る二次元映像と、ＴＶモニタ２０４に向かってサッカーボール１０Ａを蹴る３Ｄポリゴン１０のサッカー選手とを合成したステレオ画像の一方が表示される。また、そのＬＣＤ２７には、その中継に係る二次元映像と、その３Ｄポリゴン１０のサッカー選手とを合成したステレオ画像の他方が表示される。
【０２０８】
上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが視聴者の眼球に導くようになされる。これにより、実際は「ワールドカップサッカー」に係るコート上でサッカーボール１０Ａを蹴るサッカー選手が、仮想空間上ではＴＶモニタ２０４に向かってサッカーボール１０Ａを蹴るような３次元映像が視聴者の頭の中で合成される。
【０２０９】
つまり、図３５に示す視聴者３０の視聴するＴＶモニタ２０４の受信画面上では、図３６に示す「ワールドカップサッカー」に係る、例えば、フィールド側からゴールを見た二次元画像が表示されているだけである。これに対して、図３７に示す特殊グラストロン２０６を装着した場合には、そのＴＶモニタ２０４上の仮想空間でその受信画面から外部へ、サッカーボール１０Ａを蹴る３Ｄポリゴン１０によるサッカー選手を出現させることができる。
【０２１０】
このように、第３の実施例に係る３Ｄポリゴン放送システム５００によれば、予め放送局側で準備された複数の映像素材情報Ｄ１ｉから視聴者の好みに応じて選択された映像素材情報Ｄ１ｉに基づいて視聴者固有の３次元映像を作成することができる。
【０２１１】
しかも、特殊グラストロン２０６を装着した視聴者においては、視聴者３０の視聴するＴＶモニタ２０４の受信画像と、仮想空間上に出現したサッカーボール１０Ａを蹴る３Ｄポリゴン１０によるサッカー選手とが頭の中で合成されるので、実空間上のＴＶ画面の中に表示されている、サッカーボール１０Ａを蹴るサッカー選手が、３Ｄポリゴン１０のサッカー選手となって画面外へ、あたかも、飛び出すような画像を立体的に合成することができる。
【０２１２】
従って、放送局側から与えられた映像をただ消極的に視聴者がそのまま視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにして「ワールドカップサッカー」に係るサッカー選手の動きをリアルに再現した臨場感溢れる３次元映像を視聴することができる。
【０２１３】
また、第１、第２の実施例と同様にしてＩＳＤＢサービスを利用した次世代の３次元デジタル放送システムを構築することができる。第３の実施例では光源画像ＬＰ１〜ＬＰ４の発光位置にｘ，ｙマトリクスフィルムを取り付けることにより、通常のＴＶ映像に関する情報とは別に、光源画像ＬＰ１〜ＬＰ４の点滅パターンを制御することができる。
【０２１４】
（５）第４の実施例
図３８は第４の実施例で使用するＴＶモニタ２０８の構成例を示す正面図である。この例では、４つの光源画像ＬＰ１〜ＬＰ４に代わって、図３８に示す二次元バーコード画像５０を表示手段８に表示してＴＶモニタ２０８のＴＶ画面の位置が認識されるものである。もちろん、視聴者は少なくとも図１９に示した通常の撮像装置２５を有した特殊グラストロン２０６を装着することが前提となる。
【０２１５】
この例のＴＶモニタ２０８は飛越走査方式で、１フレーム（１／３０ｓｅｃ）毎に、図３８に示す２次元マトリクスコード画像５０を表示するものである。この２次元マトリクスコード画像５０は実空間上のＴＶモニタ２０４のＴＶ画面の位置を認識するために使用される。２次元バーコード画像５０は少なくとも、白地に黒で表示されたｎ行×ｍ列の白黒マトリクスから成る。
【０２１６】
この二次元バーコード画像５０は流し撮りＣＣＤ装置２３に代わって図１９に示した通常のＣＣＤ撮像装置２５で撮像される。この撮像装置２５の出力段には、図２２で説明したような画像処理装置９が接続される。その画像処理装置９には演算手段が設けられ、ＣＣＤ撮像装置２５から出力された撮像信号（輝度信号）を画像処理して二次元マトリクスコード画像５０からＴＶモニタ２０８のＴＶ画面の位置が求められる。
【０２１７】
例えば、画像処理部４４では前処理が施される。この処理では、まず、取得画像が適当な閾値で２値化される。バーコード画像部分は白と黒の市松模様状に表示されているので、固定閾値によって、かなり安定的に背景画像とコード画像領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。２次元バーコード画像５０はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード画像領域部が含まれている可能性の低い背景画像（領域）は除去するようになされる。
【０２１８】
その後、前処理の結果得られた連結領域の各要素に対してバーコード画像枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、市松模様の領域を探索し、その市松模様の輪郭部の点列を得る。この点列に対して最小二乗法で線分を当てはめることにより、当該二次元バーコード画像５０を認識する。
【０２１９】
上述のＴＶ画面は長方形の二次元バーコード画像５０の四隅の４頂点を、正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間のＴＶモニタ２０８の表示画面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施形態で説明した（１）式と同様な関係がある。
【０２２０】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０２２１】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶ面が実空間上のＴＶモニタ２０８のＴＶ画面の位置となる。これにより、二次元マトリクスコード画像５０の四隅の位置情報からＴＶモニタ２０８の位置を画像処理装置９などに容易に認識させることができる。
【０２２２】
なお、ＴＶモニタ２０８の二次元バーコード画像５０はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図３９に示す仮想空間上の二次元バーコード画像５０の四隅の位置座標から正立方体５１を作成することができるので、その正立方体５１に３Ｄポリゴン１０によるサッカー選手などを合成することができる。また、図３８に示す二次元バーコード画像５０をｘ，ｙマトリクスフィルムで出力すると、通常のＴＶ映像に関する情報とは別に画像処理することができる。
【０２２３】
（６）映像素材情報の取得例（その１）
図４０は各実施例に係る映像素材取得用の物体形状計測装置６００の構成例を示す斜視図である。
この例では、比較的小さな物体（被写体）に係る三次元形状情報を受信側に提供するために、シリコンレンジファインダが用いられ、これを用いて取得された映像素材情報Ｄ１ｉを放送局から視聴者側へ多重放送するようにしたものである。
【０２２４】
図４０に示す物体形状計測装置６００は、基準面から任意の対象物体までの３次元高さ形状を測定するものである。この例で、物体形状計測装置６００は図４０に示す発光部１１及び受光部１２を有している。発光部１１と受光部１２とはヒンジ（蝶番）５４により開閉可動自在な状態で係合されている。例えば、当該物体形状計測装置６００を使用するときは、発光部１１と受光部１２との間の成す角度が所定の位置で固定されるまで開かれ、当該装置６００を使用しないときは発光部１１と受光部１２とが重なるように閉じられる。あたかも、発光部１１が蓋体の如く受光部１２に覆い被された状態の収納形状になる。
【０２２５】
この受光部１２は基準面を兼用するものである。受光部１２の大きさは例えば、その一辺の長さは３０ｃｍ〜５０ｃｍ程度である。容易に持ち運びできる大きさを考慮するならば、受光部１２の一辺の長さを３５ｃｍ程度に形成することが好ましい。もちろん、この受光部１２の大きさはほんの一例であり、放送局で使用する場合を考慮すると、何らこの大きさに制限されるものではない。
【０２２６】
この例では、発光部１１内には光源としての面光源６を有している。この面光源６によって対象物体３０に照射するための被測定光が発生される。対象物体３０はボール、人形、ロボット及び小動物などである。この面光源６の上部には液晶シャッタ１７が設けられ、その面光源６による被測定光がスリット光に整形されると共に、そのスリット光が対象物体３０に走査される。この例では、液晶シャッタ１７の開閉タイミンングを制御するようになされている。例えば、受光部１２に設けられた画像処理装置９８によって１ライン単位に液晶シャッタ１７を開いては閉じるような垂直走査がなされる。この画像処理装置９８については図４２において説明をする。
【０２２７】
図４１は上述の面光源６に関して、レーザ光源とスリットレンズとプリズムとを使用した物体形状計測装置６００の構成例を示す断面図である。この例では発光部１１内にレーザ光源１４が取付けられる。レーザ光源１４には波長７８０μｍ、出力３０ｍＷの近赤外光半導体レーザなどを使用する。
【０２２８】
レーザ光源１４から発生されたレーザ光（被測定光）がスリットレンズ１５でスリット光Ｌ０に整形され、このスリット光Ｌ０の向きが複数のプリズム１６によって９０°に偏光されるものである。このプリズム１６は液晶シャッタ１７の下に取付けられる。
【０２２９】
つまり、図４１に示す物体形状計測装置６００の発光部１１は、ヒンジ５４に取付けられた上部用の筐体９６を有している。この筐体９６内にはレーザ光源１４が設けられ、レーザ光が発生される。このレーザ光源１４の下流側にはスリットレンズ１５が設けられ、レーザ光がシート状のスリット光Ｌ０に成形される。スリットレンズ１５の下流側には複数のプリズム１６がマトリクス状に配置され、スリット光Ｌ０の進行方向が直角方向、すなわち、筐体９６の出射面側に偏光される。
【０２３０】
このプリズム１６の上面に位置する部位であって、筐体９６の上部には液晶シャッタ（マスクＬＣＤ）１７が取付けられ、プリズム１６からのスリット光Ｌ０が、液晶シャッタ１７の開閉によって選択的に通過するようになされている。この複数のプリズム１６及び液晶シャッタ１７は走査手段を構成し、スリット光Ｌ０を対象物体３０に走査するようになされる。
【０２３１】
この液晶シャッタ１７を通過したスリット光Ｌ０は発光部上の任意の対象物体３０で反射すると、その戻り光Ｌ０’が受光部１２に到達する。受光部１２はヒンジ５４に取付けられた下部用の筐体９７を有している。この筐体９７上には受光レンズ１８が設けられ、戻り光Ｌ０’が筐体９７内に取り込まれる。受光レンズ１８の下側にはシリコンレンジファインダ１９が設けられ、対象物体３０から反射されてくる戻り光（スリット光）Ｌ０’が各画素Ｐｉｊ毎に検出される。ここで、画素Ｐｉｊはシリコンレンジファインダ１９上の任意の位置（ｉ，ｊ）に存在する画素を示す。
【０２３２】
このシリコンレンジファインダ１９では、各画素Ｐｉｊを通過する戻り光Ｌ０’のタイミングが計測され、そのときの液晶シャッタ１７が開かれたプリズム１６によるスリット光Ｌ０の出射角となる基準面とスリット光Ｌ０との間を成す角度αｉｊが求められる。そして、基準面と画素Ｐｉｊの視線方向との成す角度をβｉｊとし、基準面と発光部１１の中心位置の液晶シャッタ１７とのオフセット距離をＡとし、画素Ｐｉｊとその中心位置の液晶シャッタ１７とのオフセット距離をＢｉｊとしたときに、基準面と対象物体３０との３次元高さ情報Ｚｉｊは、（４）式により求められる。
【０２３３】
【数５】
これにより、スリット光Ｌ０の１回の走査のみで基準面から対象物体３０までの３次元高さ形状をシリコンレンジファインダ１９内の全画素について並列かつ実時間で距離計測を行うことができる。
【０２３５】
続いて、物体形状計測装置６００の回路構成例について説明する。図４２に示す物体形状計測装置６００は大きく分けて３つの回路ブロックから成る。第１の回路ブロックは液晶シャッタ１７である。液晶シャッタ１７では走査信号ＳＣに基づいてその液晶シャッタ１７が開閉制御されることにより、プリズム１６による面状の被測定光が、スリット光Ｌ０に整形されると共に、そのスリット光Ｌ０が対象物体３０に走査される。
【０２３６】
第２の回路ブロックはシリコンレンジファインダ１９である。シリコンレンジファインダでは、図示しないフォトダイオードから読み出した信号電荷が、垂直読み出し信号及び水平読み出し信号に基づいて読み出されることにより、光通過タイミング情報を含んだ並列距離画像計測情報が出力される。
【０２３７】
第３の回路ブロックは画像処理装置９８であり、走査信号ＳＣや並列距離画像計測情報を転送するための内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６及びＲＡＭ４７が接続されている。上述の液晶シャッタ１７及びシリコンレンジファインダ１９はインタフェース４２を介して内部バス４１に接続される。
【０２３８】
この内部バス４１にはＲＯＭ４６が接続され、この物体形状計測装置６００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス４１にはワーキング用のＲＡＭ４７が接続され、システムプログラムや並列距離画像計測情報が一時記録される。また、内部バス４１にはＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６及びＲＡＭ４７の入出力の制御や、液晶シャッタ１７及びシリコンレンジファインダ１９の入出力の制御が行われる。
【０２３９】
このインタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、シリコンレンジファインダ１９から入力した並列距離画像計測情報を画像データとして獲得する所定のキャプチャ処理がなされる。この画像キャプチャ部４３には内部バス４１を介して画像処理部４４が接続され、所定の画像処理が施された並列距離画像計測情報に基づいて３次元高さ形状情報Ｚｉｊが演算される。具体的には、上述した算出式に基づいて３次元高さ情報Ｚｉｊが求められる。
【０２４０】
なお、インタフェース４２にはＲＳー２３２Ｃの通信プロトコルに基づく外部出力端子６８が接続され、上位のコンピユータなどに接続して画像通信ができるようになされている。また、図４２に示す破線で示したＣＣＤ装置６９は物体の映像を撮影するものである。
【０２４１】
次に、物体形状計測装置６００の動作例を説明する。この例では、図４３に示す発光部１１が、その受光部１２と発光部１１との間の成す角度αｉｊが所定の位置で固定されるまで開かれており、この状態で、受光部１２上に存在する、例えば、テニスボールなどの球体３０’の３次元形状を計測する場合を前提とする。また、基準面は受光部１２に設定されるものとする。
【０２４２】
これを前提にして、図４３に示す発光部１１では画像処理装置９８からの走査信号ＳＣに基づいてその液晶シャッタ１７が開閉制御されることにより、プリズム１６による面状の被測定光が、スリット光Ｌ０に整形されると共に、そのスリット光Ｌ０が図４３に示す球体３０’に走査される。
【０２４３】
この球体３０’に照射されたスリット光Ｌ０の、ある走査タイミングにおける照射位置は、例えば、図４４に示す照射位置丸付き数字「１」から丸付き数字「５」ようになる。この照射位置丸付き数字「１」から丸付き数字「５」による戻り光Ｌ０’は受光部１２のシリコンレンジファインダ１９によって検出される。この際に、受光レンズ１８によって反転した球体３０’がシリコンレンジファインダ１９上に結像される。
【０２４４】
従って、シリコンレンジファインダ１９から得られた並列距離画像計測情報が画像処理装置９８に出力されると、この並列距離画像計測情報に基づいて基準面から球体３０’までの３次元高さ形状情報Ｚｉｊが演算される。具体的には、上述した算出式に基づいて３次元高さ情報Ｚｉｊが求められる。
【０２４５】
例えば、球体３０’のＸ１−Ｘ２のライン上を着目した場合に、その立体形状を反映するように、丸付き数字「１」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ１が演算され、丸付き数字「２」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ２が演算され、丸付き数字「３」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ３が演算され、丸付き数字「４」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ４が演算され、丸付き数字「５」のスリット光Ｌ０の戻り光Ｌ０’に対して３次元高さ情報Ｚｘ５が実時間で演算される。これらの高さ形状情報Ｚｘ１〜Ｚｘ５をつなぎ合わせると、球体３０’のＸ１−Ｘ２の立体形状を求めることができる。
【０２４６】
これにより、実空間上の物体の三次元形状情報（連続性のある高さ情報Ｈ）を取得することができるので、その三次元形状情報Ｚｉｊを送信側から視聴者側へ送信することができる。もちろん、対象物体３０の周りに物体形状計測装置６００を周回させて三次元形状情報Ｚｉｊを取得するようにしてもよい。従って、第１〜第３の実施例において、予め放送局で準備された各種対象物体に係る三次元形状情報Ｚｉｊに基づいて受信側で仮想空間上に３Ｄポリゴン１０の映像を合成することができる。
【０２４７】
（７）映像素材情報の取得例（その２）
図４５は各実施例に係る映像素材取得用の三次元形状取得機構６０の構成例を示す斜視図である。この例では、物体３０にスリット光を走査するときに、ミラー７３を使用するものである。この三次元形状取得機構６０は図示しない放送局などに設けられる。
【０２４８】
この三次元形状取得機構６０には図４５に示すレーザ光源７１が設けられ、レーザ光Ｌ０が発生される。このレーザ光源７１の下流側にはシリンドリカルレンズ７２が設けられ、レーザ光Ｌ０がシート状のスリット光に成形される。シリンドリカルレンズ７２の下流側には走査手段としてミラー７３が配置され、スリット光Ｌ０の偏光角を変化させることにより、そのスリット光Ｌ０が物体３０に走査される。
【０２４９】
このスリット光Ｌ０が視聴者の身体部位の一部や、その視聴者の保持する物体３０で反射すると、その戻り光Ｌ０’が受光レンズ８４で取り込まれる。受光レンズ８４の下側にはシリコンレンジファインダ５９が設けられ、物体３０から反射されてくる戻り光（スリット光）Ｌ０’がシリコンレンジファインダ５９上の任意の位置に存在する各画素Ｐｉｊ毎に検出される。
【０２５０】
このシリコンレンジファインダ５９では、各画素Ｐｉｊを通過する戻り光Ｌ０’のタイミングが計測され、そのときの各画素Ｐｉｊを通過する戻り光Ｌ０’のタイミングが計測され、そのときのミラー７３の偏光角となる基準面とスリット光Ｌ０との間を成す角度αｉｊが求められる。ここで、基準面と画素Ｐｉｊの視線方向との成す角度をβｉｊとし、基準面とミラー７３の回転中心とのオフセット距離をＡとし、画素Ｐｉｊとミラー７３の回転中心とのオフセット距離をＢｉｊとしたときに、基準面と物体３０との三次元形状情報Ｚｉｊは上述した（４）式により求められる。
【０２５１】
これにより、実空間上の物体の三次元形状情報（連続性のある高さ情報Ｈ）を取得することができるので、その三次元形状情報Ｚｉｊを送信側から視聴者側へ送信することができる。従って、第１〜第３の実施例において、予め放送局で準備された各種対象物体に係る三次元形状情報Ｚｉｊに基づいて受信側で仮想空間上に３Ｄポリゴン１０の映像を合成することができる。
【０２５２】
この例では、物体形状取得手段に関してシリコンレンジファインダ１９、５９を用いる場合について説明したが、これに限られることはなく、物体の基準画像を撮影する基準用のカメラと、その物体の参照画像を撮影する検出用のカメラとを有した多眼ステレオカメラを使用してもよい。この基準用のカメラ及び検出用のカメラから得られる視差情報に基づいて物体の三次元形状情報Ｚｉｊを取得することができる。
【０２５３】
各実施例に係る特殊グラストロン２０３、２０６は、特開平１０−１２３４５３号、特開平９−３０４７２７号、特開平９−３０４７３０号、特開平９−２１１３７４号、特開平８−１６０３４８号、特開平８−９４９６０号、特開平７−３２５２６５号、特開平７−２７０７１４号及び特開平７−６７０５５号に記載される透過型のヘッドマウントディスプレイに適用することができる。
【０２５４】
各実施例に係る流し撮りＣＣＤ２３に関しては、インターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【０２５５】
上述した実施例では放送局側から視聴者側への一方向によるマルチメディアサービスについて説明したが、これに限られることはなく、送信側と視聴者側との間に通信手段、例えば、電話回線やインターネット網を接続し、これらの通信手段を使用して視聴者側から放送局や番組提供者（スポンサー）へ視聴者による意見・感想・再放送などのリクエスト情報（個別情報）を送信する双方向サービス網を構築することもできる。
【０２５６】
この双方向サービス網が構築される場合であって、映像素材情報として買い物情報を送信するようにしてもよい。その場合には、買い物情報に対して視聴者がテレビショッピングを行ったとき、その買い物情報に係る注文情報が番組提供者（地域商店など）に転送されると共に、その買い物情報に係る商品代金が、視聴者のチャネルの使用に伴う料金に加算されるようにするとよい。ＩＤカードによる銀行一括引き落としが可能となる。
【０２５７】
【発明の効果】
以上説明したように、本発明に係る３次元映像の送受信システムによれば、３次元映像を作成するために送信側から受信側に送られてきた複数の映像素材情報の中から任意に選択された映像素材情報に基づいて３次元映像を作成する映像作成手段を備え、映像素材情報の選択が視聴者によって行われるものである。
【０２５８】
この構成によって、予め送信側で準備された複数の映像素材情報から視聴者の好みに応じて選択された映像素材情報に基づいて視聴者固有の３次元映像を作成することができる。従って、放送局から与えられた映像をただ消極的に視聴者が視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。また、視聴者側は、限られたチャネルに多重されてくる映像素材情報を効率良く受信することができる。
【０２５９】
本発明に係る３次元映像の送受信方法によれば、３次元映像を作成するための複数の映像素材情報を送信側で準備し、映像素材情報を送信側から個々の視聴者側へ送信し、送信側から送られてきた映像素材情報を視聴者側で受信し、その視聴者側では映像素材情報から任意の映像素材情報を選んで三次元映像を作成するようになされる。
【０２６０】
この構成によって、放送局などから与えられた映像をただ消極的に視聴者が視聴するのではなく、視聴者が積極的かつ独自に立体的に映像加工した３次元映像を視聴することができる。これにより、自宅に居ながらにしてサッカー場でプレーする選手や、舞台で演ずる役者などの視線により認識される臨場感溢れた３次元映像を視聴することができる。また、視聴者側は、限られたチャネルに多重されてくる映像素材情報を効率良く受信することができる。
この発明は、ＩＳＤＢサービスや双方向サービスを利用した次世代の３次元デジタル放送システムなどに適用して極めて好適である。
【図面の簡単な説明】
【図１】本発明に係る実施形態としての３次元映像の送受信システム１００の構成例を示す斜視図である。
【図２】３次元映像の送受信システム１００の処理例を示すフローチャートである。
【図３】第１の実施例としての３Ｄポリゴン放送システム２００の構成例を示すブロック図である。
【図４】各実施例に係る３Ｄポリゴン送信装置２０１の構成例を示すブロック図である。
【図５】ＭＰＥＧ−４方式のビデオエンコーダ３００の構成例を示すブロック図である。
【図６】舞台装置４０における映像素材情報Ｄ１ｉの取得例を示す斜視図である。
【図７】Ａ及びＢは映像素材情報Ｄ１ｉの取得例を示す舞台正面及び側面のイメージ図である。
【図８】各実施例に係る３Ｄポリゴン受信装置２０２の構成例を示すブロック図である。
【図９】役者Ｂの視線によって認識される背景を３Ｄポリゴン１０の「森」や「芝生」に置き換えた表示例を示すイメージ図である。
【図１０】特殊グラストロン２０３の構成例を示す正面図である。
【図１１】特殊グラストロン２０３の内部構成例を示す一部破砕の上面から見た概念図である。
【図１２】ＡはフィルムＣＣＤ４Ｒ、４Ｌの構成例を示す上面から見た概念図、Ｂは左右の瞳の位置例を示す概念図である。
【図１３】特殊グラストロン２０３の装着時の注視点ｐの位置関係例を示す概念図である。
【図１４】第１の実施例に係る３Ｄポリゴン放送システム２００における処理例を示すフローチャートである。
【図１５】第２の実施例としての３Ｄポリゴン放送システム４００の構成例を示すブロック図である。
【図１６】ゲーム装置２０５に取り付けられる点滅制御回路１３の内部構成例を示すブロック図である。
【図１７】その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の電圧供給例を示す波形図である。
【図１８】３Ｄポリゴン放送システム４００で使用する特殊グラストロン２０６の構成例を示す正面図である。
【図１９】他の特殊グラストロン２０７の構成例を示す正面図である。
【図２０】特殊グラストロン２０６等に搭載される流し撮りＣＣＤ装置２３の内部構成例を示す平面図である。
【図２１】流し撮りＣＣＤ装置２３の光学系の構成例を示す断面図である。
【図２２】特殊グラストロン２０６の内部構成例を示すブロック図である。
【図２３】ゲーム装置２０５に係る基準面の位置座標の算出例を示す模式図である。
【図２４】３Ｄポリゴン放送システム４００における処理例（メインルーチン）を示すフローチャートである。
【図２５】特殊グラストロン２０６の動作例（第１のサブルーチン）を示すフローチャートである。
【図２６】特殊グラストロン２０６の動作例（第２のサブルーチン）を示すフローチャートである。
【図２７】実空間におけるゲーム装置２０５の画像例を示す斜視図である。
【図２８】仮想空間における基準面上の仮想画像の合成例を示す斜視図である。
【図２９】第３の実施例としての３Ｄポリゴン受信処理システム５００の構成例を示す斜視図である。
【図３０】ＴＶモニタ２０４の内部構成例を示す正面図である。
【図３１】ＴＶモニタ２０４の内部構成例を示すブロック図である。
【図３２】光源画像信号ＳＰ１〜ＳＰ４の波形例を示すイメージ図である。
【図３３】映像信号ＳＣに対する光源画像信号ＳＰｉ、ＳＰｊの重畳例を示す波形図である。
【図３４】流し撮りＣＣＤ装置２３の光学系の他の構成例を示す断面図である。
【図３５】視聴者（特殊グラストロン２０６の非装着時）の実像例を示す斜視図である。
【図３６】ＴＶモニタ２０４で表示されるフィールドからゴールを見た二次元映像の表示例を示す正面図である。
【図３７】視聴者（特殊グラストロン２０６の装着時）の仮想画像例を示す斜視図である。
【図３８】第４の実施例で使用するＴＶモニタ２０８の構成例を示す正面図である。
【図３９】二次元バーコード画像５０上の３Ｄポリゴン１０の合成例を示す斜視図である。
【図４０】各実施例に係る映像素材取得用の物体形状計測装置６００の外観例を示す斜視図である。
【図４１】物体形状計測装置６００の内部構成例を示す断面図である。
【図４２】物体形状計測装置６００の回路例を示すブロック図である。
【図４３】物体形状計測装置６００による球体３０’の計測例（その１）を示す斜視図である。
【図４４】物体形状計測装置６００による球体３０’の計測例（その２）を示す概念図である。
【図４５】各実施例に係る映像素材取得用の三次元形状取得機構６０の構成例を示す概念図である。
【符号の説明】
１・・・送信手段、１Ａ・・・多重化手段、２・・・受信手段、２Ａ・・・多重分離手段、３・・・記憶手段、４・・・選択手段、５・・・操作手段、６・・・映像作成手段、７・・・位置認識機構、８，２４・・・表示手段、９，９８・・・画像処理装置、１０・・・３Ｄポリゴン、２３・・・流し撮りＣＣＤ装置、２５・・・ＣＣＤ撮像装置、２６・・・右眼表示用のＬＣＤ（第１の画像表示素子）、２７・・・左眼表示用のＬＣＤ（第２の画像表示素子）、３２・・・垂直転送部（電荷転送部）、３３・・・水平転送部、５０・・・２次元バーコード、６６・・・制御手段、８８・・・制御装置、８９・・・ジョグダイアル（操作手段）、１００・・・送受信システム、２００，４００・・・３Ｄポリゴン放送システム、２０１・・・３Ｄポリゴン送信装置（送信手段）、２０２・・・３Ｄポリゴン受信装置（受信手段）、２０３，２０６，２０７・・・特殊グラストロン、２０４，２０８・・・ＴＶモニタ、２０５・・・ゲーム装置、３００・・・ビデオエンコーダ
Claims (54)
- 少なくとも、３次元映像を作成するために予め準備された複数の２次元の映像素材情報を送信側から受信側へ送信する送信手段と、
前記送信手段によって送信された複数の２次元の映像素材情報を受信する受信手段と、
前記受信手段によって受信された複数の２次元の映像素材情報から任意の映像素材情報を選択する選択手段と、
前記選択手段によって選択された映像素材情報に基づいて３次元映像を作成する映像作成手段とを備え、
前記映像素材情報の選択は視聴者によって行われ、
前記送信手段が２次元及び３次元の映像情報を含む映像素材情報を送信した場合、
前記受信手段は、
前記映像作成手段によって作成された３次元映像の初期画面を表示する期間又は前記送信手段によって送信された２次元の映像情報の中で宣伝画面を表示する期間に前記送信手段から３次元の映像情報を取得する３次元映像の送受信システム。 - 前記映像素材情報を送信側から受信側へ複数のチャネルを使用して伝送する場合であって、
前記受信側に前記映像素材情報を一時記録する記憶手段が設けられる請求項１に記載の３次元映像の送受信システム。 - 前記記憶手段は、背景情報に見合う分のメモリ容量を有する請求項２に記載の３次元映像の送受信システム。
- 前記映像素材情報の中で、頻繁に使用される３次元の映像情報に関しては、前記送信側において、当該映像の初期画面を表示する期間又は２次元の映像情報の中で宣伝画面を表示する期間に全てのチャネルに割り当てて送信され、
前記受信側では前記期間中に取得した３次元の映像情報が前記記憶手段に記憶される請求項２に記載の３次元映像の送受信システム。 - 映像の１場面を構成する前記映像素材情報が膨大な量となる場合には、チャネルを増加して前記映像素材情報を分割して前記受信側に送信する請求項２に記載の３次元映像の送受信システム。
- 映像の１場面を構成する前記映像素材情報が膨大な量となる場合には、分割した前記映像素材情報を送信している期間に残余のチャネルを使用して他の前記映像素材情報を受信側に送信し、
前記受信側では前記期間中に取得した前記映像素材情報が前記記憶手段に記憶される請求項２に記載の３次元映像の送受信システム。 - 前記映像素材情報に関して映像の背景情報に変化があるものも変化がないものも全てを前記送信側から前記受信側へ送信し、
前記受信側ではすぐに使用しない前記背景情報に関しては前記記憶手段に一時記憶される請求項２に記載の３次元映像の送受信システム。 - 前記送信手段には、
３次元映像を作成するための二以上の前記映像素材情報を多重化する多重化手段が設けられ、
前記受信手段には、
前記送信手段から送信された前記多重化手段によって多重化された二以上の映像素材情報を分離する情報分離手段が設けられる請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報は、
デジタルテレビ放送網を使用して受信側に伝送される請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報は、
ケーブルテレビ通信回線を使用して受信側に伝送される請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報は、
インターネット通信回線を使用して受信側に伝送される請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報は、
動画像圧縮基準であるＭＰＥＧのデータ系列を持ったデータストリームにして伝送される請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報は、
前記送信側から前記受信側へ複数のチャネルを使用して伝送される請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報を送信側から受信側へ複数のチャネルを使用して伝送する場合であって、
複数のチャネルに前記映像素材情報が割り振られる請求項１３に記載の３次元映像の送受信システム。 - 前記映像素材情報には、
少なくとも、映像の背景を表現する背景情報と、
前記映像の背景内で動く物体を表現する物体情報と、
前記背景に対する物体の初期の配置情報及び該物体の移動に伴う位置情報と、
前記物体の動作に伴う動作情報とが付加される請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報を伝送するチャネルは、映像の背景の数だけ予め準備される請求項１５に記載の３次元映像の送受信システム。
- 前記映像素材情報を送信側から受信側へ複数のチャネルを使用して伝送する場合であって、
前記動作情報と、その他の背景情報、物体情報、配置情報及び位置情報とは別々のチャネルに割り振られ、
前記動作情報は実時間で送信され、
前記物体情報、配置情報及び位置情報は次の映像の背景情報と共に送信される請求項１５に記載の３次元映像の送受信システム。 - 前記動作情報、背景情報、物体情報、配置情報及び位置情報の一群のデータ取り込みが終了すると、他群のデータ取り込みのために受信側で当該チャネルを明け渡すようになされる請求項１５に記載の３次元映像の送受信システム。
- 前記映像素材情報を送信側から受信側へ複数のチャネルを使用して伝送する場合であって、
前記チャネルの１つを使用して通常のテレビ放送に係る２次元の映像情報を伝送するようになされた請求項１３に記載の３次元映像の送受信システム。 - 前記映像素材情報を送信側から受信側へ複数のチャネルを使用して伝送する場合であって、
被写体から見た視点による映像情報を前記映像素材情報として前記チャネルの１つを使用して受信側に伝送するようになされた請求項１３に記載の３次元映像の送受信システム。 - 前記被写体が映像の背景内に複数存在する場合であって、
前記被写体の視点映像情報毎に前記チャネルが割り当てられる請求項２０に記載の３次元映像の送受信システム。 - 前記映像素材情報に関して、
撮像可能な任意の物体の特定の面に点滅パターンが異なる複数の光源を取付け、
前記点滅パターンの異なった光源を所定の撮像方向に流すように撮像し、
撮像された前記光源の輝度情報を画像処理して前記光源の各々の位置情報を求めることにより前記物体の位置情報を得るようになされた請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報に関して物体の三次元形状情報を取得する物体形状取得手段が設けられる請求項１に記載の３次元映像の送受信システム。
- 前記物体形状取得手段は、
前記物体に照射するためのスリット光を発生する光源と、
前記光源によるスリット光を前記物体に走査するために複数のプリズム及び液晶シャッタを有した走査手段と、
前記物体から反射されてくるスリット光を各画素毎に検出する光検出手段とを有し、
前記光検出手段では、
前記各画素Ｐを通過するスリット光のタイミングが計測され、そのときの液晶シャッタが開かれたプリズムによるスリット光の出射角となる前記基準面とスリット光との間を成す角度αが求められ、
前記基準面と画素Ｐの視線方向との成す角度をβとし、前記基準面と走査手段の中心位置の液晶シャッタとのオフセット距離をＡとし、前記画素Ｐと走査手段の中心位置の液晶シャッタとのオフセット距離をＢとしたときに、前記基準面と物体との３次元形状情報Ｚは、次式、すなわち、
- 前記物体形状取得手段は、
前記物体に照射するためのスリット光を発生する光源と、
前記光源によるスリット光を前記物体に走査するためにミラーを有した走査手段と、
前記物体から反射されてくるスリット光を各画素毎に検出する光検出手段とを有し、
前記光検出手段では、
前記各画素Ｐを通過するスリット光のタイミングが計測され、そのときのミラーの偏光角となる前記基準面とスリット光との間を成す角度αが求められ、
前記基準面と画素Ｐの視線方向との成す角度をβとし、前記基準面とミラーの回転中心とのオフセット距離をＡとし、前記画素Ｐとミラーの回転中心とのオフセット距離をＢとしたときに、前記基準面と物体との距離情報Ｚは、次式、すなわち、
- 前記物体形状取得手段には、
前記物体の基準画像を撮影する基準用のカメラと、前記物体の参照画像を撮影する検出用のカメラとを有した多眼ステレオカメラが使用され、
前記基準用のカメラ及び検出用のカメラから得られる視差情報に基づいて前記物体の３次元形状情報が取得される請求項２３に記載の３次元映像の送受信システム。 - 前記映像作成手段は、
前記映像素材情報に基づいて３次元映像の基礎となるステレオ画像を作成するようになされる請求項１に記載の３次元映像の送受信システム。 - 前記映像素材情報は、
３次元の映像情報を作成するソフトウエアにより仮想空間を表現するようになされる請求項２７に記載の３次元映像の送受信システム。 - 前記３次元映像を表示する表示手段が設けられ、
前記表示手段は、
当該表示手段の撮像可能な任意の画面内であって、少なくとも、前記画面内の特定の位置に３点以上の光源画像が表示されると共に、該光源画像の各々の点滅パターンが異なるように点滅制御される請求項１に記載の３次元映像の送受信システム。 - 前記表示手段に表示された任意の画面上に前記光源画像を合成表示する画像処理手段が設けられる請求項２９に記載の３次元映像の送受信システム。
- 前記光源画像の表示部分の画面上に任意の透過特性のフィルムが取付けられ、
前記光源画像から放出される光の特定の波長を通すようになされる請求項２９に記載の３次元映像の送受信システム。 - 前記表示手段の位置を認識する位置認識手段が設けられ、
前記位置認識手段は、
前記表示手段で表示される画面内の光源画像を所定の撮像方向に流すように撮像し、
撮像された前記光源画像の輝度情報を画像処理して前記光源画像の各々の位置情報を求めるようになされた請求項２９に記載の３次元映像の送受信システム。 - 前記３次元映像を表示する表示手段が設けられ、
前記表示手段は、
当該表示手段の任意の表示画像の特定の表示期間内に、少なくとも、白地に黒で表示されたｎ行×ｍ列の白黒マトリクスと、該白黒マトリクスと同じ太さの黒枠から成る二次元マトリクスコード画像が表示され、
前記二次元マトリクスコード画像を撮像し、
撮像された前記二次元マトリクスコード画像による輝度信号を画像処理して前記二次元マトリクスコード画像の四隅の位置情報を求めることにより、当該表示手段の位置を認識するようになされる請求項１に記載の３次元映像の送受信システム。 - 前記表示手段を含む仮想空間の基準面上で仮想体の画像を合成する合成手段が設けられ、
前記合成手段は、
前記視聴者が視聴する二次元のテレビ映像に仮想体の画像を立体的に合成するようになされる請求項２９に記載の３次元映像の送受信システム。 - 前記合成手段は、
前記表示手段の２次元のテレビ画像を撮像する撮像手段と、
前記撮像手段によるテレビ画像と予め作成された仮想体の画像と合成したステレオ画像の一方を表示する第１の画像表示素子と、
前記ステレオ画像の他方を表示する第２の画像表示素子とを有したヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、視聴者の顔面又は頭部に装着され、
前記第１の画像表示素子によるステレオ画像と、前記第２の画像表示素子によるステレオ画像とを重ね合わせて視聴者の眼球に導くようになされる請求項３４に記載の３次元映像の送受信システム。 - 前記合成手段は、
視聴者の視聴する前記表示手段のテレビ画像を取り込むために入射光の開閉をする液晶シャッタと、
前記外界像に合成するため作成された仮想体の画像を表示する画像表示素子と、
前記画像表示素子による仮想体の画像と、前記液晶シャッタを通過した前記表示手段のテレビ画像とをその視聴者の眼球に導く光学手段とを有したヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、視聴者の顔面又は頭部に装着され、
前記液晶シャッタを開いたときは、
前記液晶シャッタを通過した前記表示手段のテレビ画像に、前記画像表示素子による仮想体の画像を重ね合わせて視聴者の眼球に導くようになされる請求項３４に記載の３次元映像の送受信システム。 - 前記合成手段を装着した視聴者が特定位置に視点を合わせることにより得られる視点位置検出情報に基づいて、前記映像素材情報に関する映像の背景又は物体の動きが変更される請求項３４に記載の３次元映像の送受信システム。
- 前記映像の１画面の背景を表示する期間内に受信側に送信された複数の動作情報と、前記合成手段による視点位置検出情報とに基づいて映像の中の物体の動きを変更する表示制御を行う請求項３７に記載の３次元映像の送受信システム。
- 前記選択手段を操作する操作手段が設けられ、
前記操作手段を操作することにより得られる操作情報に基づいて前記映像素材情報に関する映像の背景又は物体の動きが変更される請求項１に記載の３次元映像の送受信システム。 - 前記映像の１画面の背景を表示する期間内に受信側に送信された複数の動作情報と、前記操作手段による操作情報とに基づいて映像の中の物体の動きを変更する表示制御を行う請求項３９に記載の３次元映像の送受信システム。
- 前記映像素材情報に係る映像の背景又は物体の動きの変更は一定のサイクルタイム内に割り込みが発生した場合に行われる請求項１に記載の３次元映像の送受信システム。
- 前記サイクルタイム内の割り込み以外はデフォルトの３次元の映像情報に基づく映像が表示される請求項４１に記載の３次元映像の送受信システム。
- 前記送信側と視聴者側との間に通信手段が接続され、
前記通信手段を使用して前記視聴者側から送信側へ視聴者による個別情報を送信する双方向サービス網が構築される請求項１に記載の３次元映像の送受信システム。 - 少なくとも、３次元映像を作成するための複数の２次元の映像素材情報を予め送信側で準備し、
前記送信側で準備された複数の２次元の映像素材情報を該送信側から個々の視聴者側へ送信し、
前記送信側から送信された複数の２次元の映像素材情報を前記視聴者側で受信し、
前記視聴者側では複数の２次元の映像素材情報から任意の映像素材情報を選んで３次元映像を作成し、
前記送信側が２次元及び３次元の映像情報を含む映像素材情報を送信した場合、
前記視聴者側は、
作成された３次元映像の初期画面を表示する期間又は前記送信側から送信された２次元の映像情報の中で宣伝画面を表示する期間に前記送信側から３次元の映像情報を取得する３次元映像の送受信方法。 - 前記映像素材情報は、
前記送信側から前記視聴者側へ複数のチャネルを使用して多重伝送される請求項４４に記載の３次元映像の送受信方法。 - 前記映像素材情報は、
前記送信側で全て準備される請求項４４に記載の３次元映像の送受信方法。 - 前記映像素材情報の一部が視聴者側で準備される請求項４４に記載の３次元映像の送受信方法。
- 前記映像素材情報が前記送信側で準備される場合であって、
前記映像素材情報に関して、
１画面を構成する３次元映像を「粗」に再生する粗再生モード又は「密」に再生する密再生モードのいずれかを前記視聴者側で選択するようになされる請求項４６に記載の３次元映像の送受信方法。 - 前記チャネルの使用に伴う料金設定に関しては、使用チャネル数とチャネル使用時間に基づいて視聴者へ課金する請求項４５に記載の３次元映像の送受信方法。
- 前記視聴者への料金設定に関しては、前記受信時間内における映像素材情報の量に応じて課金する請求項４９に記載の３次元映像の送受信方法。
- 前記チャネルの使用に伴う料金設定に関しては、使用チャネル数とチャネル使用時間に基づいて番組提供者へ課金する請求項４５に記載の３次元映像の送受信方法。
- 前記番組提供者への料金設定に関しては、送信時間内における映像素材情報の量に応じて課金する請求項５１に記載の３次元映像の送受信方法。
- 通信手段を使用して前記視聴者側から前記送信側へ視聴者による個別情報を送信する双方向サービス網が構築される場合であって、
前記映像素材情報に買い物情報が送信される請求項４４に記載の３次元映像の送受信方法。 - 前記双方向サービス網が構築される場合であって、
前記買い物情報に対して視聴者がテレビショッピングを行ったとき、
前記買い物情報に係る注文情報が番組提供者に転送されると共に、該買い物情報に係る商品代金が、視聴者のチャネルの使用に伴う料金に加算される請求項５３に記載の３次元映像の送受信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20073599A JP4250814B2 (ja) | 1999-07-14 | 1999-07-14 | ３次元映像の送受信システム及びその送受信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20073599A JP4250814B2 (ja) | 1999-07-14 | 1999-07-14 | ３次元映像の送受信システム及びその送受信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001028765A JP2001028765A (ja) | 2001-01-30 |
| JP4250814B2 true JP4250814B2 (ja) | 2009-04-08 |
Family
ID=16429314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20073599A Expired - Fee Related JP4250814B2 (ja) | 1999-07-14 | 1999-07-14 | ３次元映像の送受信システム及びその送受信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4250814B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6980333B2 (en) * | 2001-04-11 | 2005-12-27 | Eastman Kodak Company | Personalized motion imaging system |
| JP2005100367A (ja) | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
| JP2008117042A (ja) * | 2006-11-01 | 2008-05-22 | Nomura Research Institute Ltd | 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム |
| JP5578149B2 (ja) * | 2010-10-15 | 2014-08-27 | カシオ計算機株式会社 | 画像合成装置、及び画像検索方法、プログラム |
| JP5750978B2 (ja) * | 2011-04-11 | 2015-07-22 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| JP5691802B2 (ja) * | 2011-04-28 | 2015-04-01 | コニカミノルタ株式会社 | 投影システム、投影装置、投影方法、および制御プログラム |
| JP2013174642A (ja) * | 2012-02-23 | 2013-09-05 | Toshiba Corp | 映像表示装置 |
| JP5483761B2 (ja) | 2012-06-29 | 2014-05-07 | 株式会社ソニー・コンピュータエンタテインメント | 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法 |
| JP5773036B2 (ja) * | 2014-06-11 | 2015-09-02 | コニカミノルタ株式会社 | 投影システム、投影装置、投影方法、および制御プログラム |
| US20180176628A1 (en) * | 2015-06-30 | 2018-06-21 | Sharp Kabushiki Kaisha | Information device and display processing method |
| KR101856874B1 (ko) | 2016-11-19 | 2018-05-14 | 주식회사 랜티스 | 복수개의 영상 정보 분할 및 선택 장치 |
-
1999
- 1999-07-14 JP JP20073599A patent/JP4250814B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001028765A (ja) | 2001-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109565605B (zh) | 拍摄技术生成方法以及影像处理装置 | |
| CN105264876B (zh) | 低成本电视制作的方法及系统 | |
| US9774896B2 (en) | Network synchronized camera settings | |
| US9578309B2 (en) | Adjustable parallax distance, wide field of view, stereoscopic imaging system | |
| US20160205341A1 (en) | System and method for real-time processing of ultra-high resolution digital video | |
| JP4649050B2 (ja) | 画像処理装置、画像処理方法、及び制御プログラム | |
| US20120013711A1 (en) | Method and system for creating three-dimensional viewable video from a single video stream | |
| US20060244831A1 (en) | System and method for supplying and receiving a custom image | |
| WO2014024475A1 (ja) | 映像提供方法、送信装置および受信装置 | |
| GB2444533A (en) | Rendering composite images | |
| JP2017513385A (ja) | 自動的にテレビ番組を制作する方法及びシステム | |
| JP5304714B2 (ja) | 擬似立体画像生成装置及びカメラ | |
| JP4250814B2 (ja) | ３次元映像の送受信システム及びその送受信方法 | |
| CN104335243A (zh) | 处理全景画面 | |
| KR20190031220A (ko) | Vr 콘텐츠 제공 시스템 및 방법 | |
| GB2558893A (en) | Method for processing media content and technical equipment for the same | |
| JP4211097B2 (ja) | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 | |
| US11010923B2 (en) | Image encoding method and technical equipment for the same | |
| GB2354388A (en) | System and method for capture, broadcast and display of moving images | |
| US20240112305A1 (en) | Real-time fiducials and event-driven graphics in panoramic video | |
| Tanaka et al. | Super high definition image (WHD: Wide/Double HD) transmission system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |