JP4649050B2 - 画像処理装置、画像処理方法、及び制御プログラム - Google Patents
画像処理装置、画像処理方法、及び制御プログラム Download PDFInfo
- Publication number
- JP4649050B2 JP4649050B2 JP2001071116A JP2001071116A JP4649050B2 JP 4649050 B2 JP4649050 B2 JP 4649050B2 JP 2001071116 A JP2001071116 A JP 2001071116A JP 2001071116 A JP2001071116 A JP 2001071116A JP 4649050 B2 JP4649050 B2 JP 4649050B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image processing
- processing apparatus
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、実写画像とＣＧとの合成技術に関し、映画やテレビ番組の撮影やそのリハーサル、演劇、ゲーム、カラオケ等に用いて好適な画像処理装置及び方法、制御プログラムに関する。
【０００２】
【従来の技術】
従来、スタジオで撮影する映像と、別途作成されたＣＧ映像もしくは別の場所で撮影された映像を合成し、この合成映像をビデオとして録画あるいは放送する技術が知られている。この技術では、スタジオでの撮影はブルーバックと呼ばれる青ないし緑一色の壁を背景として行われ、このブルーバックの部分に別の映像を合成するクロマキーと呼ばれる方法で合成映像が作成されていた。
【０００３】
また、実写映像とＣＧ映像を合成する技術の応用システムとしては、例えば特開平１１−３０９２６９号公報や特開平１１−８８９１３号公報が提案されている。これらにおいては実写映像を背景として用い、その上にＣＧ映像などを重畳することにより合成処理を行っていた。
【０００４】
さらに、このように撮影される映像の利用形態としては、インターネットを用いた双方向テレビの実験が色々と行われるようになってきている。
【０００５】
【発明が解決しようとする課題】
しかし、前述のブルーバックのような方法では、合成される映像が演技者に見えないため、演技が不自然になったり、演技の自由度が少ないなどの問題点があった。
【０００６】
また、特開平１１−３０９２６９号公報や特開平１１−８８９１３号公報の方法では、実写映像と合成される映像の関係が固定的な場合には各映像間の位置ずれの問題はそれほど無いが、演技者・カメラ・仮想物体などが大幅かつ複雑に動く場合には、位置ずれの無い正しい合成映像を得ることは困難であった。
【０００７】
一方、近年、頭部装着型のディスプレイ装置やＷｅａｒａｂｌｅコンピュータなどの発達により、合成映像を実時間で見ながら演技をする可能性が出てきたが、このような装置を用いた場合のユーザサービスについてはまだ具体的な考案がなされていなかった。
【０００８】
また、これまでの双方向テレビ実験では、カメラワークやシナリオの展開といった面で視聴者の参加が考えられてきたが、演技者に直接的に視聴者の代行となる仮想キャラクタが見えるような状況は想定されておらず、このため、視聴者とスタジオの演技者との間の相互作用が非常に限られたものとなっていた。
【０００９】
また、従来のテレビ放送における広告は、テレビ番組の合間に放送されており、テレビ番組にしか関心の無い視聴者には無視され、ＣＭカットビデオデッキ等でカットされたり、チャンネルが切替えられたりしていた。
【００１０】
このような視聴者のテレビ広告無視を回避するために、特開平１０−２９０４４３号公報では、ＣＭ情報をコンテンツに埋め込んでいるが、この方法は、ビデオオンデマンドを利用したもので、現在の一般的なテレビでは使用できなかった。
【００１１】
また、例えば、プロ野球中継中に表示されるスタジアムの壁の広告文字等、テレビ番組中に広告が登場する場合もあり、これらの広告は番組中に放映されるのでカットされることはない。しかし、そのような広告は放映中に変更することはできず、よりアピール度の高い広告を行うことはできなかった。
【００１２】
また、これまでの双方向テレビ実験では、視聴者が任意のカメラワークやカメラ位置を操作することが考えられてきたが、それらの視点はあくまでも第３者の客観的なカメラ視点なっており、主役等の演技者の主観的な視点での映像を見ることは不可能であった。
【００１３】
また、現在、インターネット、衛星放送、地上波放送等の複数のチャンネルで同時に映像を視聴できるようになっており、上記のようなカメラ視点や演技者視点の映像を多チャンネル化して同時に放送することが要望されている。
【００１４】
本発明は、このような従来技術に鑑みてなされたもので、その課題は、実写画像と仮想画像とを高品位に合成して視聴者等に提供できるようにすることにある。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定手段と、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定手段と、シナリオを管理するシナリオ管理手段と、視聴者からの要望を受理するサーバ手段と、該サーバにより受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ手段と、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）データを管理するＣＧ管理手段と、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定手段の測定結果に基づいて位置合わせして合成する第１の画像合成手段と、前記表示手段の視点での前記ＣＧデータと該表示手段に内蔵された撮影手段により撮影された画像データとを前記第２の測定手段の測定結果に基づいて位置合わせして合成する第２の画像合成手段と、前記第２の合成手段により構成された画像データを前記表示手段に表示させる表示制御手段とを有し、前記ＣＧ管理手段が、前記オペレータ手段によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１６】
また、本発明に係る画像処理装置は、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定手段と、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定手段と、シナリオを管理するシナリオ管理手段と、視聴者からの要望を受理するサーバ手段と、該サーバにより受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ手段と、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）データを管理するＣＧ管理手段と、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定手段による測定結果に基づいて位置合わせして合成する第１の画像合成手段と、前記表示手段の視点での前記ＣＧデータを前記第２の測定手段の測定結果に基づいて位置制御して該表示手段に表示する表示制御手段とを有し、前記ＣＧ管理手段が、前記オペレータ手段によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１７】
また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法であって、前記画像処理装置が備える第１の測定手段が、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定工程を行い、前記画像処理装置が備える第２の測定手段が、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定工程を行い、前記画像処理装置が備えるシナリオ管理手段が、シナリオを管理するシナリオ管理工程を行い、前記画像処理装置が備えるサーバ手段が、視聴者からの要望を受理するサーバ工程を行い、前記画像処理装置が備えるオペレータ手段が、前記サーバ工程により受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ工程を行い、前記画像処理装置が備えるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）管理手段が、ＣＧデータを管理するＣＧ管理工程を行い、前記画像処理装置が備える第１の画像合成手段が、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定工程による測定結果に基づいて位置合わせして合成する第１の画像合成工程を行い、前記画像処理装置が備える第２の画像合成手段が、前記表示手段の視点での前記ＣＧデータと該表示手段に内蔵された撮影手段により撮影された画像データとを前記第２の測定工程による測定結果に基づいて位置合わせして合成する第２の画像合成工程を行い、前記画像処理装置が備える表示制御手段が、前記第２の画像合成工程により構成された画像データを前記表示手段に表示させる表示制御工程を行って、前記ＣＧ管理工程では、前記オペレータ工程によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１８】
また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法であって、前記画像処理装置が備える第１の測定手段が、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定工程を行い、前記画像処理装置が備える第２の測定手段が、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定工程を行い、前記画像処理装置が備えるシナリオ管理手段が、シナリオを管理するシナリオ管理工程を行い、前記画像処理装置が備えるサーバ手段が、視聴者からの要望を受理するサーバ工程を行い、前記画像処理装置が備えるオペレータ手段が、前記サーバ工程により受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ工程を行い、前記画像処理装置が備えるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）管理手段が、ＣＧデータを管理するＣＧ管理工程を行い、前記画像処理装置が備える第１の画像合成手段が、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第２の測定工程による測定結果に基づいて位置合わせして合成する第１の画像合成工程を行い、前記画像処理装置が備える表示制御手段が、前記表示手段の視点での前記ＣＧデータを前記第２の測定工程による測定結果に基づいて位置制御して該表示手段に表示する表示制御工程を行って、前記ＣＧ管理工程では、前記オペレータ工程によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１９】
また、本発明に係る制御プログラムは、上記のいずれかの画像処理方法の各工程をコンピュータに実行させることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２３】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。図１において、１０１は撮影場所となるスタジオ、１０２はスタジオに置かれたセット、１０３は演技者、１０４は撮影用のカメラ、１０５は演技者の装着する頭部装着型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下ＨＭＤと略す）、１０６はＨＭＤに組み込まれた位置センサ、１０７は演技者の見る映像およびカメラ映像に重畳される仮想物体、１０８は演技者の見る映像を生成する重畳処理装置、１０９はカメラ映像に仮想物体の映像を重畳する重畳処理装置、１１０は仮想物体の状態を操作するオペレータ装置、１１１は１０８・１０９・１１０をつなぐネットワーク、１１２は１０９の出力を蓄積するビデオ装置、１１３は重畳処理装置１０９の出力を発信あるいは放映する伝送装置である。
【００２４】
位置センサ１０６としては、例えば磁気方式の位置・方位センサ、米国ポヒマス社のＦａｓｔｒａｋといった装置が利用可能である。また、重畳処理装置１０８もしくは重畳処理装置１０９は、ＰＣ（パーソナルコンピュータ）とビデオキャプチャーカードおよびＣＧ描画機能のあるビデオカードで構成することができる。オペレータ装置１１０は、一般のＰＣで構成することができる。
【００２５】
重畳処理装置１０８、ＨＭＤ１０５などは、演技者あるいは同時に観察するスタッフの人数に応じて増やすことができ、重畳処理装置１０９、カメラ１０４などは、カメラマンの人数に応じて増やすことが可能である。
【００２６】
図２は、ＨＭＤ１０５の内部構成を示した図である。ＨＭＤ１０５は表示装置であるとともに撮像装置の機能も持つもので、外部から入ってくる光線を内部に導くプリズム光学素子１１０１、光線を受け撮像する撮像素子１１０２、映像を提示する表示素子１１０３、表示映像を目に導くプリズム光学素子１１０４などから構成されている。
【００２７】
スタジオ１０１には、セット１０２が置かれ、その中で演技者１０３が演技をする。演技者１０３はＨＭＤ１０５を装着し、ＨＭＤ１０５には位置センサ１０６が組み込まれ、その位置情報を出力する。同時にＨＭＤ１０５には外界を撮影するカメラ（撮像素子１１０４等）が組み込まれ、撮像された映像データを出力する。
【００２８】
オペレータ装置１１０は、仮想物体１０７を表示したり、動かしたりする指示を行う装置であり、これら指示信号は、ネットワーク１１１を介して重畳処理装置１０８および重畳処理装置１０９に伝達される。重畳処理装置１０８は、指示された仮想物体１０７の状態と位置センサ１０６などから得られる頭部の位置情報に応じたＣＧ映像を生成し、このＣＧ映像をＨＭＤ１０５から得られる撮像データと合成し、合成映像をＨＭＤ１０５へ出力する。演技者１０３は、ＨＭＤ１０５に表示された合成映像を見ることにより、あたかも仮想物体１０５がセット１０２内に存在するかのように観察することができる。
【００２９】
カメラ１０４は、演技者１０３やセット１０２を含むスタジオ１０１の様子を撮像し、その撮影データを重畳処理装置１０９に出力する。重畳処理装置１０９は、オペレータ装置１１０からの指示による仮想物体１０７の状態とＨＭＤ１０５の位置姿勢に対応したＣＧ映像を生成し、これをカメラ１０４から得られる映像データと合成することにより出力映像を作成する。この出力映像は、ビデオ装置１１２で録画され、或いは伝送装置１１３で放映される。
【００３０】
図３は、図１のシステムの機能を示す機能ブロック図である。
【００３１】
１２０１はいわゆるシースルー機能を持つＨＭＤであり、撮像部と画像表示部を持つ。１２０２は画像合成手段、１２０３はＨＭＤ視点でのＣＧ描画手段、１２０４はＣＧオブジェクトの存在範囲を制御する禁則領域処理手段、１２０５はシナリオ管理手段、１２０６は位置センサなどを含む位置合わせ手段、１２０７はＣＧデータ管理手段、１２０８はカメラなどの撮影手段、１２０９は画像合成手段、１２１０はＣＧ描画手段、１２１１は画像表示手段である。
【００３２】
ＨＭＤ１２０１で撮像された画像は、画像合成手段１２０２により、ＣＧ描画手段１２０３の生成したＣＧ画像と合成され、その合成画像は、ＨＭＤ１２０１に表示される。また、ＨＭＤ１２０１で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいてＨＭＤ（即ち頭部）の位置・方向を計算し、ＣＧ描画手段１２０３に伝達する。ＣＧ描画手段１２０３は、位置合わせ手段１２０６より得られる頭部の位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、ＨＭＤ視点でのＣＧ画像を描画する。
【００３３】
シナリオ管理手段１２０５は、禁則領域処理手段１２０４から得られる情報とリハーサルや演技の進行状況あるいはオペレータの指示などに従い、シーン構成に必要な情報をＣＧデータ管理手段１２０７に伝達し、ＣＧデータ管理手段１２０７は、伝達された情報に応じたＣＧ画像を描画するようにＣＧ描画手段１２０３もしくはＣＧ描画手段１２１０に指示する。
【００３４】
撮影手段１２０８から得られる画像に対する処理も同様であり、撮影手段１２０８で撮像された画像は、画像合成手段１２０９により、ＣＧ描画手段１２１０の生成したＣＧ画像と合成され、得られた合成画像は画像表示手段１２１１に表示される。また、撮影手段１２０８で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいて撮影手段（即ちカメラ）の位置・方向を計算し、ＣＧ描画手段１２０９に伝達する。
【００３５】
ＣＧ描画手段１２１０は、位置合わせ手段１２０６より得られるカメラの位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、カメラ視点でのＣＧ画像を描画する。また、位置合わせ手段１２０６は、得られたＨＭＤ（即ち頭部）の位置・方向データと撮影手段（即ちカメラ）の位置・方向データを禁則領域処理手段１２０４に伝達し、禁則領域処理手段１２０４は、これら位置・方向データに基づいてＣＧオブジェクトの存在すべき範囲を決定し、シナリオ管理手段１２０５は、前記ＣＧオブジェクトの存在すべき範囲に応じて、ＣＧオブジェクトの位置を修正する。
【００３６】
シナリオ管理手段１２０５の管理するＣＧ描画に必要な情報は、表示されるキャラクタ毎に、表示するＣＧモデルの番号、基準となる位置・姿勢のデータ、動作の種類を示す番号、動作に付随するパラメータなどである。シナリオはシーン単位で管理されており、各シーンではキャラクタの持つパワー、状態などのステータス値とオペレータからの操作入力、演技者の動きなどに応じて上述のデータの組が選択される。例えば、ランダムに選択されたキャラクタの種類とそのキャラクタのパワー値（これはゲームの進行によるポイントで加減される）により表示するＣＧモデルの番号が決定される。
【００３７】
オペレータは、キャラクタの移動および回転などを入力し、この入力情報により、基準となる位置・姿勢データが決定される。また、この際のキャラクタの位置・姿勢・ステータス値と演技者の位置・姿勢・動作で、キャラクタの動作およびそのパラメータが決定される。尚、上述の位置・姿勢については、禁則領域処理により補正される。
【００３８】
尚、ＨＭＤ１２０１が外界を透過的に見られるように構成することによりシースルー機能を実現すること（光学シースルー方式）も可能であり、この場合には上述の画像合成手段１２０２は不要となる。
【００３９】
また、位置合わせ手段１２０６は、例えば機械式のエンコーダなど３次元での位置・姿勢を検出する手段により構成したり、前述した磁気方式の位置センサ、あるいは光学式又は画像認識などによる位置合わせ手段により構成することができる。撮影手段１２０８に対する位置合わせと、ＨＭＤ１２０１に対する位置合わせとを、別々の位置合わせ手段により行うことも可能である。
【００４０】
図４は、機械式エンコーダを用いたカメラ撮影装置の一例を示している。各ジョイントには、ロータリーエンコーダなどの計測装置６０３が付随し、カメラ６０１を載せた台車６０２の位置からカメラの位置および方位を計測して出力することができる。尚、画像合成手段１２０９からの出力をカメラ６０１のファインダ部に出すことも可能であり、これにより、カメラマンは仮想の世界に合わせたカメラワークを行うことが可能となる。
【００４１】
図５は、磁気式の位置・方位センサを用いた手持ちカメラ撮影装置の一例である。カメラ７０１には、固定的に磁気の受信機（計測器）７０２が装着され、計測された磁気状態からカメラ７０１の３次元的な位置および方位を計算する。前述のように、このような位置・方位の計測は、例えば、米国ポヒマス社のＦａｓｔｒａｋを用いて行うことができる。ＨＭＤについても、同様の方法で位置・方位計測を行う。このような手持ち式の場合には、カメラマンはＨＭＤ７０３（あるいはその片目版）を装着し、このＨＭＤ７０３に合成画像を表示することで、仮想の世界に合わせたカメラワークが可能となる。
【００４２】
尚、ズーム可能なカメラ撮影装置の場合には、ズームレンズのズーム情報も外部の処理装置に伝達する。
【００４３】
ＣＧデータ管理手段１２０７には、ＣＧキャラクタの３次元アニメーションデータ等の３次元モデル、実写画像等の画像データが記録されている。そして、ＣＧデータ管理手段１２０７は、シナリオ管理手段１２０５から受け取った、キャラクタ毎の表示するＣＧモデルの番号、基準となる位置・姿勢のデータ、動作の種類を示す番号、動作に付随するパラメータなどに従って、表示すべきＣＧモデルやアニメーションを選択し、位置・姿勢その他のパラメータを設定することで、ＣＧ描画に用いるシーングラフを変更する。
【００４４】
シナリオ管理手段１２０５は、演技の補助に必要な台本・台詞・説明などの情報を蓄え、シーンに応じて必要な情報をＣＧデータ管理手段１２０７に送り、ＣＧデータ管理手段１２０７は、これらの情報に応じた描画処理をＣＧ描画手段１２０３，１２１０に指示する。シーンの進行は任意のユーザインタフェース（マウス、キーボード、音声入力など）を用いて行われる。
【００４５】
図６は、演技者１０３が装着したＨＭＤ１０５に表示される映像が作成される過程を示す流れ図であり、スレッドＳ２１０〜Ｓ２１２の処理は、近年当該分野で一般化した並列処理プログラムの技法を用いて、別々に並行動作するスレッドにより実行されるものである。
【００４６】
重畳処理装置１０８内での処理プロセスは、まず、オペレータ装置１１０から得られた指示に応じて（スレッドＳ２１０）、ＣＧを描画するための状態フラグ（表示物体の種類、位置、状態）を更新する等の内部状態の更新処理を行う（ステップＳ２０１）。次いで、頭部位置の決定処理（スレッドＳ２１１）から得られる頭部位置情報を内部に取り込む（ステップＳ２０２）。
【００４７】
次いで、ビデオキャプチャカード（スレッドＳ２１２）から得られた最新の画像を背景画像として取り込む（ステップＳ２０３）。次いで、背景画像の上にＳ２０１で設定された内部状態に応じてＣＧデータを更新し、ステップＳ２０２で設定された頭部位置をＣＧ生成の仮想カメラとしてＣＧを描画する（ステップＳ２０４）。最後に、描画結果の合成映像を表示するＣＧコマンドをビデオカードに与えることでＨＭＤに合成映像が表示される（ステップＳ２０５）。
【００４８】
ここで、スレッドＳ２１０はオペレータ装置からの指示データがネットワーク１１１を介して送信されてくるのを受け取るスレッドであり、スレッドＳ２１１は位置センサ１０６からの情報を受け取り、ビデオキャプチャーカードから得られる画像データと合わせて頭部の位置を決定するスレッド、スレッドＳ２１２は定期的にビデオキャプチャーカードから画像データを読み出す画像キャプチャスレッドである。
【００４９】
図７は、頭部位置決定の流れ図であり、ステップＳ３０１はセンサ情報更新ステップ、ステップＳ３０２は位置情報計算ステップ、ステップＳ３０３は位置情報の受け渡しステップ、スレッドＳ３１０はセンサからのデータ読み込みのスレッド、スレッドＳ３１１はマーカ位置の通知を受け取るスレッドである。
【００５０】
ここで、センサからのデータは通常のＲＳ２３２Ｃのポートへ出力され、スレッドＳ３１０では、このポートのデータを定期的に読み出している。また、スレッドＳ３１１の通知は、一般的なネットワーク通信プロトコル（ＴＣＰ−ＩＰ）で行われる。
【００５１】
重畳処理装置１０８は、まず、位置センサ１０６から得られる最新の位置情報に係る位置に頭部位置を更新する（ステップＳ３０１）。次いで、ＨＭＤ１０５のカメラから得られた画像データから特定のマーカ画像を認識することで頭部位置の補正情報を得、この補正情報に応じて頭部の方向データを更新する（ステップＳ３０２）。最後に、この頭部の位置（方向を含む）データを頭部位置決定スレッドＳ２１１に受け渡す（ステップＳ３０３）。
【００５２】
頭部の方向の補正は、まず、位置センサ１０６から得られたワールド座標系での頭（視点）の３次元位置および方位とマーカの３次元位置からマーカが画像中のどこに見えるかの予測値（ｘ０、ｙ０）を計算する。ついで、この予測値（ｘ０、ｙ０）から画像中の実際のマーカの位置（ｘ１、ｙ１）に向う移動ベクトルを計算する。最後に、このベクトルを見込む角度を補正値として、これに相当する分だけ頭部の方位を回転させた値をＨＭＤ１０５の方向として出力する。
【００５３】
図８は、位置計測に用いるために、スタジオ１０１内に貼り付けるマーカの一例を示した図である。マーカには単色のものを用いることも可能であるが、本実施形態では、３つの部分からなり、それぞれ特定の大きさを持つ矩形の色票を特定の位置関係に配置したものを使用している。それぞれの色票には、任意の色を選ぶことができる。このようにマーカを構成することにより、多種類のマーカを安定的に検出することが可能となる。
【００５４】
図９は、マーカ位置決定処理の流れを示す流れ図であり、スレッドＳ４１０は画像認識の対象となる画像データを得るスレッドであり、画像キャプチャーカードから画像を定期的に読み出すスレッドとなっている。
【００５５】
ステップＳ４０１は画像データの更新ステップ、ステップＳ４０２は閾値処理のステップ、ステップＳ４０３はラベリングのステップ、ステップＳ４０４は面積計算のステップ、ステップＳ４０５は重心計算のステップ、ステップＳ４０６はパターン判定のステップ、 ステップＳ４０７は計算結果である位置情報を受け渡すステップである。
【００５６】
重畳処理装置１０８あるいは重畳処理装置１０９は、まず、最新の画像データにデータを更新し（ステップＳ４０１）、次いで、登録されたマーカを判別するためのいくつかの色情報によって画像を閾値処理する（ステップＳ４０２）、次いで、得られた２値画像を連結してラベリング処理し（ステップＳ４０３）、各ラベルの領域の面積を計数し（ステップＳ４０４）、重心位置を計算する（ステップＳ４０５）。
【００５７】
次いで、各ラベルの面積とラベル間の重心位置の関係から、登録されたマーカのパターンと一致するかを照合し（ステップＳ４０６）、照合された中心のラベルの重心をマーカ位置として出力する（ステップＳ４０７）。
【００５８】
出力されたマーカ位置の情報は、ＨＭＤ１０５あるいはカメラ１０４の方位の補正に利用され、ＨＭＤ・カメラの位置および方位の情報をＣＧレンダリングの際の仮想カメラの位置・方位とすることで、現実世界と位置合わせされたＣＧ画像が生成される。
【００５９】
図１０は、カメラ１０４あるいは撮影手段１２０８から得られる映像に仮想物体の映像重畳する重畳処理装置１０９の処理の流れを示す流れ図であり、スレッドＳ８１０〜Ｓ８１２の処理は、近年当該分野で一般化した並列処理プログラムの技法を用いて、別々に並行動作するスレッドにより実行されるものである。
【００６０】
重畳処理装置１０９内での処理プロセスは、まず、オペレータ装置１１０から得られた指示に応じて（スレッドＳ８１０）、ＣＧを描画するための状態フラグ（表示物体の種類、位置、状態）を更新する等の内部状態の更新処理を行う（ステップＳ８０１）。
【００６１】
次いで、カメラ位置の決定処理（スレッドＳ８１１）から得られるカメラ位置情報を内部に取り込む（ステップＳ８０２）。次いで、ビデオキャプチャカード（スレッドＳ８１２）から得られた最新の画像を、背景画像として取り込む（ステップＳ８０３）。次いで、背景画像の上にステップＳ８０１で設定された内部状態に応じてＣＧデータを更新し、ステップＳ８０２で設定されたカメラ位置をＣＧ生成の仮想カメラとしてＣＧを描画する（ステップＳ８０４）。最後に、描画結果の合成映像を表示するＣＧコマンドをビデオカードに与えることで、表示装置に合成映像が表示される（ステップＳ８０５）。
【００６２】
ここで、スレッドＳ８１０はオペレータ装置からの指示データがネットワーク１１１を介して送信されてくるのを受け取るスレッドであり、スレッドＳ８１１は図４あるいは図５のカメラ装置からの情報を受け取り、ビデオキャプチャーカードから得られる画像データと合わせてカメラの位置を決定するスレッド、スレッドＳ８１２は定期的にビデオキャプチャーカードから画像データを読み出す画像キャプチャスレッドである。
【００６３】
尚、本実施形態では、重畳処理装置１０８および重畳処理装置１０９の出力であるリアルタイムの合成映像を装置全体の出力としているが、撮像手段（あるいはＨＭＤ）から得られる映像データと撮像手段（あるいはＨＭＤ）の位置・姿勢を示すデータの両者を分岐して出力することで、いわゆるポストプロダクション（時間をかけて後処理で最終生成物となるビデオ映像を作成する工程）で用いるデータを同時に得ることができる。
【００６４】
また、重畳処理装置１０８、重畳処理装置１０９、オペレータ装置１１０を構成するハードウェアは、一般的なコンピュータと周辺機器の組み合わせで実現できる。図１１に簡単な模式図を示す。
【００６５】
図１１は、重畳処理装置１０８のハードウェア構成の一例を示したものであり、実際に撮像・表示を行うＨＭＤ１３０４、マウス１３０１、キーボード１３０２、映像出力装置１３０３を含むコンピュータシステム等により構成されている。
【００６６】
より詳細には、マウス１３０１、キーボード１３０２等の周辺装置をコントロールする周辺コントローラ１３０５、プログラムを格納したＨＤ装置１３１０およびメモリ１３０８、映像データを取り込むための映像キャプチャカード１３１２、ＣＧ描画や画像合成を行うためのビデオグラフィックカード１３１３、位置センサとの間の情報授受のためのシリアルＩ／Ｆ１３０６、ネットワークと接続するためのネットワークＩ／Ｆ１３０９、プログラムによる各種の処理を実行するＣＰＵ１３０７、プログラムを媒体からロードするためのＦＤ装置１３１１などからなる。
【００６７】
重畳処理装置１０９の場合は、ＨＭＤ１３０４の代わりに撮影装置（カメラ）からの入力を受け、画像表示装置へ映像信号を出力する。オペレータ装置１１０の場合には、ＨＭＤ１３０４および画像キャプチャカード１３１２は不要となる。本実施形態を実現するプログラムは、ＦＤ装置１３１１やネットワークなどを介してプログラム媒体からロードすることができる。
【００６８】
図１２は、オペレータ装置１１０の処理の流れを示す流れ図である。
【００６９】
オペレータ装置１１０は、まず、ユーザからの入力操作を受け取り（ステップＳ１４０１）、これに応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ１４０２）。次いで、カメラ１０４および演技者１０３の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの禁則領域に入らないように位置データを更新する（ステップＳ１４０３）。次いで、更新された内部状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達する（ステップＳ１４０４）。
【００７０】
ユーザからの入力操作は、マウス１３０１やキーボード１３０２などの入力装置、もしくは音声入力やジェスチャーコマンドなどを介して行うことができる。
【００７１】
ここで、禁則領域処理は、仮想のＣＧオブジェクトと実在のオブジェクトの隠れ関係などが矛盾しないように、ＣＧオブジェクトの存在可能領域を制限する処理である。隠れ関係については、固定の実在オブジェクトの場合には前もって実在オブジェクトと同じ形状および位置・方向にＣＧオブジェクトを設定し、実在オブジェクトに対するＣＧオブジェクトの領域には実写映像を用い、仮想オブジェクトのレンダリングの際には、設定した実在オブジェクトに対応するＣＧオブジェクトとの隠面処理を行うことにより、実在オブジェクトと仮想ＣＧオブジェクトとの隠れ関係は正しく処理される。
【００７２】
一方、演技者１０３などのように、移動したり変形したりする場合には、そのオブジェクトが占める空間領域を確定することは容易ではない。そして、実在の演技者１０３などと仮想のオブジェクトが接近したり前後したりした場合に隠れ関係を正しく処理できないと、見えないはずのものが見えたり、前後関係が逆転して見えたりといったように、視覚的に大きな障害となる。
【００７３】
本実施形態では、そのようなおかしな見え方が発生する可能性のある領域を禁則領域として設定し、その禁則領域に仮想オブジェクトが侵入する場合には、その仮想オブジェクトの位置を禁則領域外に修正することにより、視覚的な障害を取り除いている。
【００７４】
図１３は、スタジオ１０１を上から鳥瞰した状況で最も単純な禁則領域を示した図であり、１５０１は撮影手段（カメラ）、１５０２および１５０３は演技者等の移動する実在オブジェクト、１５０４は演技者１０３などの周辺領域、１５０５は固定的な実在のオブジェクト（スタジオセット等）である。
【００７５】
ここで、例えば、カメラ１５０１と実在オブジェクト１５０２を結ぶ直線上を実在オブジェクト１５０２から周辺領域１５０４の半径分だけカメラ寄りに寄った点を通り、この直線と直行する直線ＡＡ'を計算すると、直線ＡＡ'で区分された空間のカメラ１５０１の無い方が禁則領域となる。実際には禁則領域を含む領域となるが、視覚的な障害を取り除くという点では実用上全く問題がない。同様に、その他の実在オブジェクト１５０３に対する区分直線ＢＢ'と、その禁則領域も計算でき、これらの和集合領域として全体の禁則領域が決定される。
【００７６】
図１４は、上記の禁則領域計算処理の流れ図であり、カメラ位置決定（スレッドＳ１６１０）とプレイヤー位置決定（スレッドＳ１６１１）の処理は、別スレッドで並行して行われる。
【００７７】
主たる処理は、まず、カメラの位置情報が最新のカメラ位置に更新され（ステップＳ１６０１）、次いで、演技者（プレイヤー）の位置情報が最新のプレイヤー位置に更新され（ステップＳ１６０２）、続いて、これらの情報から領域区分直線が計算され（ステップＳ１６０３）、仮想オブジェクトの領域区分直線からの距離が計算される（ステップＳ１６０４）。
【００７８】
そして、この計算した距離の値の正負の符号で禁則領域内か否かを判断し、負の符号であり禁則領域内の場合には、最も近い領域外の点（この点はカメラと仮想オブジェクトを結ぶ直線と領域区分直線の交点として計算できる）に仮想オブジェクトの位置を修正する（ステップＳ１６０５）。
【００７９】
図１５は、厳密な禁則領域を示した図であり、ここではカメラ１５０１から発し、実在のオブジェクト１５０２，１５０３の周辺領域１５０４を示す円弧と接する直線ＯＣ、ＯＤ、ＯＥ、ＯＦが示されている。厳密な禁則領域は、例えば、実在のオブジェクト１５０２の周辺領域１５０４と、直線ＯＣ・ＯＤで囲まれる領域のカメラから見て周辺領域１５０４より遠方となる領域との和集合となる。このような禁則領域についても、オペレータ装置１１０の処理速度がある程度速ければ、初等数学で簡単にリアルタイムで計算することが可能である。
【００８０】
図１６は、スタジオ１０１を側面から眺めた状態で禁則領域を示した図である。ここで、実在オブジェクト１５０２，１５０３の位置からその禁則領域の高さが推定でき、これと接する直線（実際には横方向に延びる平面）、例えばＯＫ、ＯＬで領域区分直線が計算される。このような上下方向に関する計算の場合には、領域区分直線の区分する２つの領域のうち、実在オブジェクト１５０２，１５０３が存在する側が禁則領域となる。
【００８１】
以上、説明したように、ダイナミックに禁則領域を計算して仮想オブジェクトの位置を制御することにより、撮影映像とＣＧなどとの実時間での合成映像を体感するスタジオシステムにおいて、良好な合成映像が得られるようになる。
【００８２】
また、本実施形態における禁則領域の処理をリアルタイムで行うことなく、カメラの移動範囲と演技者の移動範囲から可能性のある全ての禁則領域の和を前もって計算し、この領域に入らないように仮想オブジェクトを制御することにより、実時間の計算を省略することも可能である。
【００８３】
［第２の実施形態］
第１の実施形態で説明したスタジオシステムを昨今普及し始めたインターネット通信と組み合わせた状況において、さらに有益な利用価値を生じさせる仕組みについて説明する。
【００８４】
図１７は、図１で説明した撮影スタジオシステム（以下、ＭＲスタジオと称する）を含むサービス環境を示した図である。ここで、９０１は第１図で説明した画像処理装置を有するスタジオ、９０２はインターネット、９０３はＢＳデジタルなどの衛星放送、９０４および９０７は一般の家庭環境あるいはオフィス環境を示したものである。９０４の中にはさらにＰＣなどで構成されるインターネット端末９０５や衛星放送の受信機を有するデジタルテレビ端末９０６などがある。
【００８５】
ここで、インターネット９０２やＢＳデジタル放送９０３は当該分野の技術者に良く知られた構成要素であるが、さらに言うならば、前記ＢＳデジタル放送については、下り（スタジオから家庭へ）の映像配信は衛星経由で、上り（家庭からスタジオへ）はケーブルや電話線、専用線を用いたインターネットを用いる。また、インターネット自体がブロードバンドである場合には、下りの映像配信もインターネットで行うことができる。これらの上り下りの通信によりスタジオと家庭は双方向に結ばれる。
【００８６】
図１８は、インターネットを用いて双方向に接続されたＭＲスタジオの構成を示す図であり、１０４は撮影装置（カメラ）、１０９はカメラ映像に仮想物体の映像を重畳する処理装置、１１３はＭＲスタジオで作成された合成映像を放送する放送手段、９０２はインターネット、１９０１はＣＧで生成される仮想のキャラクタ（ここではモンスター）、１９０２はインターネットからの通信結果を含めてシステムの状態を制御するオペレータ装置、１９０３はインターネットからの通信を受け付けるサーバ装置である。
【００８７】
放送手段１１３は、インターネット映像通信の場合には、一般にストリーミングサーバとして知られるもので、米国ＲｅａｌＮｅｔｗｏｒｋｓ社製のものなどがある。また、衛星放送（通信）あるいは地上波放送の場合には、当該分野の一般の放送機器となる。
【００８８】
図１と同様に、撮影装置（カメラ）１０４はスタジオの実写映像を撮影し、撮影された映像データは重畳処理装置１０９でＣＧデータと合成される。この出力である合成映像データは放送手段１１３を経て、インターネットあるいは衛星放送あるいは地上波放送として一般視聴者へ放送される。一般視聴者の家庭では、インターネットと接続可能なインターネット端末あるいはＢＳデジタル放送端末あるいはデジタルＴＶ端末を用いてこれを受信する。
【００８９】
同時に、これらの端末は、インターネットと接続することにより、サーバ装置１９０３との間で通信可能である。視聴者は、放送されてきた映像を見ると共に、マウスあるいはリモコンなどを用いた一般的な対話方法により、画面上の特定の位置をクリックするなどの操作が可能である。この操作信号は、インターネット端末などからサーバ装置１９０３に伝達され、サーバ装置１９０３は、これを計数して視聴者からの反応をまとめる。この計数は、例えば、画面をいくつかの領域に区分し、どの区分領域がどれだけの視聴者からクリックされているかといった情報を計数するものである。計数された情報はオペレータ装置１９０２へ伝達され、オペレータ装置１９０２は、前記の情報に従って、進行中のシナリオに沿ったＣＧの動きやゲーム進行上のパラメータあるいはＣＧの表示形式などを操作する。例えば、モンスターの位置として適切な区分領域を指示した視聴者の数に応じてモンスターの透明度を操作すると、視聴者の協力によりモンスターが見えやすくなるといった感覚が得られる。別の例としては、視聴者がパワーボタン領域を押す回数により、演技者（プレイヤー）のパワーパラメータが増加し、モンスターに対するダメージ値が増加するといったものがある。
【００９０】
サーバ装置１９０３は、一般に、Ｗｅｂサーバとして知られるサーバ装置と同様の機構で構成されるものであり、具体的には、ＣＧＩあるいはＪａｖａなどを用いたサーバサイドスクリプトとして、クライアントである端末からの入力を受け付け処理する。
【００９１】
図１９は、サーバ装置１９０３の処理の流れを示した流れ図であり、ネットワークを介した接続を保持するコネクションチェック処理（スレッドＳ２０１０）と新規なコネクションの受付処理（スレッドＳ２０１１）は、メインの処理の流れとは別のスレッドとして並行動作するようにプログラミングされる。
【００９２】
サーバ装置１９０３は、まず現在接続中のコネクションの状況をコネクションチェックスレッドＳ２０１０から受け取り、コネクションが切断していれば、内部の状態をクリーンアップする接続終了処理を行う（ステップＳ２００１）。次いで、新規なコネクションの要求をコネクション受付スレッドＳ２０１１から受け取り、新規なコネクション要求があれば、新規接続を行う（ステップＳ２００２）。次いで、全てのコネクションからのコマンドの受信を行う（ステップＳ２００３）。コマンド形式は、ここでは、［ＣｌｉｃｋＡｔ Ｎ］というコマンド形式で、Ｎは区分領域の番号とする。次いで、このコマンドを区分領域番号Ｎ毎に計数し（ステップＳ２００４）、各区分領域番号Ｎ毎の計数値を状態情報としてオペレータ装置１９０２に受け渡す（ステップＳ２００５）。
【００９３】
図２０は、図１９のサーバ装置１９０３の処理に対応するオペレータ装置１９０２の処理を示す流れ図である。
【００９４】
オペレータ装置１９０２は、まず、ユーザからの入力操作を受け取り（ステップＳ２１０１）、次いで、ネットワークを介して通信によりサーバ装置１９０３からサーバの状態情報（各領域に対する計数値）を受け取り（ステップＳ２１０２）、これらに応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ２１０３）。
【００９５】
この場合、例えば、オペレータ装置１９０２により、モンスターの位置として適切な区分領域を指示した視聴者の数とその他の数の比に応じてモンスターの透明度を操作すると、視聴者の協力によりモンスターが見えやすくなるといった感覚が得られる。
【００９６】
なお、ステップＳ２１０３の処理の後に、図１２に示した第１の実施形態におけるオペレータ装置１１０の処理と同様に、カメラおよび演技者の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの領域内にならないように位置データを更新し、更新された状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達するようにしてもよい。
【００９７】
このように、第２の実施形態では、インターネットを介した双方向通信を用いて、家庭の視聴者からの操作を受け付けてシナリオや操作・表示などのパラメータに反映させることにより、視聴者とスタジオの演技者が一緒になってＣＧで描画されるモンスターに影響を与え、これを退治する等といった全く新しい視聴者・演技者同時体験型のシステムを実現している。
【００９８】
このＭＲスタジオによるサービス環境は、スタジオ環境に付随する観客スペースに対応したＨＭＤ装置などを準備し、さらに、モーションコントロールカメラを用意することで、（１）ＭＲスタジオ内で演技者として楽しむユーザ、（２）スタジオでカメラワークなどを行うスタッフ（あるいはそれを代行するユーザ）、（３）スタジオで同時体験する観客となるユーザ、（４）インターネットや衛星放送を通じて見るだけのユーザ、（５）これらのメディアの双方向性を用いて、実際にＭＲスタジオ内の仮想キャラクタに自分がなって対戦したり、ＭＲスタジオでのプレイに協同参加するユーザ、（６）インターネット経由でＭＲスタジオ内のカメラワークや編集に携わるユーザといった各種のユーザに、ＣＧと実写のリアルタイム合成映像による複合現実感映像体験を提供するように拡張することも可能である。
【００９９】
［第３の実施形態］
第３の実施形態は、第２の実施形態と同様に、ネットワーク（インターネット）を介して視聴者が参加する形態において、視聴者が複数の仮想キャラクタあるいは仮想キャラクタを構成する複数のパーツの何れかに割り当てられ、複数の部分が協同作業することにより仮想キャラクタの動作やシナリオに対する効果を生み出すものであり、例えば、２人３脚のような協調作業型の応用形態を実現したものである。
【０１００】
図２１は、この場合のサーバ装置１９０３の処理を示す流れ図であり、図１９の流れ図にパート割り当ての処理などを追加したものであり、ゲームをシナリオコンテンツとした場合を想定している。また、スレッドＳ２２１２のゲーム状態受信処理は、オペレータ装置１９０２の操作に応じたゲームの進行状況により各パートが得た得点をオペレータ装置１９０２から受け取るスレッドである。
【０１０１】
このスレッドＳ２２１２、及びネットワークを介した接続を保持するコネクションチェック処理を行うスレッドＳ２２１０、新規なコネクションの受付処理を行うスレッドＳ２２１１は、メインの処理の流れとは別のスレッドとして並行動作するようにプログラミングされる。
【０１０２】
サーバ装置１９０３は、まず、現在接続中のコネクションの状況をコネクションチェックスレッドＳ２２１０から受け取り、コネクションが切断していれば内部の状態をクリーンアップする接続終了処理を行う（ステップＳ２２０１）。次いで、新規なコネクションの要求をコネクション受付スレッドＳ２２１１から受け取り、新規なコネクション要求があれば、新規接続を行う（ステップＳ２２０２）。次いで、ゲームの進行による得点をゲーム状態受信処理スレッドＳ２２１２から受け取り、各コネクションに対する得点を更新する（ステップＳ２２０３）。
【０１０３】
ここで、各コネクションは、割り当てられているパート番号で区分され、また、これ以前の入力データを値に持つ。オペレータ装置１９０２からは、得点したパート番号と得点に結びついた入力値および追加される得点の組を受け取る。サーバ装置１９０３は、パート番号と入力値の組に一致したコネクションに対して、追加される得点分だけ得点値を増加する。
【０１０４】
次いで、コネクションのうち、新規に接続されて未だパート（パート番号）の割り当てられていないコネクションに対してパート番号を割り当て、得点が特定値に達したコネクションについてはパートの再割り当てを行う（ステップＳ２２０４）。コネクションへのパートの割り当てルールは、最初には重要でない末端のパートを割り当て、得点が特定値に達する毎に、より重要なパート、例えば、足から手や頭へと担当パートが移動していく。
【０１０５】
次いで、全てのコネクションからのコマンドの受信を行う（ステップＳ２２０５）。コマンド形式は、ここでは、［ＣｌｉｃｋＡｔ Ｎ］というコマンド形式で、Ｎは区分領域の番号とする。次いで、このコマンドをそれぞれのコネクションの担当するパートの番号Ｍと領域番号Ｎ毎に計数し（ステップＳ２２０６）、各Ｍ、Ｎの組に対する計数値を状態情報としてオペレータ装置１９０２に受け渡す（ステップＳ２２０７）。
【０１０６】
図２２は、図２１のサーバ装置１９０３の処理に対応するオペレータ装置１９０２の処理を示す流れ図である。
【０１０７】
オペレータ装置１９０２は、まず、ユーザからの入力操作を受け取り（ステップＳ２３０１）、次いで、ネットワークを介してサーバ装置１９０３からサーバ装置１９０３の状態情報（各パートの各領域に対する計数値）を受け取る（ステップＳ２３０２）。
【０１０８】
次いで、各パートの計数値が最も大きい領域を変化パラメータとし、パート間の変化の整合性を判定するパート間の連携判定を行う（ステップＳ２３０３）。オペレータ装置１９０２は、次いで、これらの情報に応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ２３０４）。ここで、複数のパートが整合性のある変化を起こした場合、例えば２人３脚で足が出たような場合は、メリットのある動作が生じたものとし、それ以外の場合には、メリットのない動作あるいは動作なしとなる。このようにすることで、視聴者間の協調により作業が進むといった感覚が得られる。
【０１０９】
次いで、ゲーム進行の内部状態と動作に応じて、各パートへの得点が与えられる（ステップＳ２３０５）。次いで、カメラ１０４および演技者の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの領域内に入らないように、位置データを更新する（ステップＳ２３０６）。次いで、更新された状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達すると共に、得点となったパート番号・区分領域番号・得点の組み合わせをサーバ装置１９０３に伝達する（ステップＳ２３０７）。
【０１１０】
このように、第３の実施形態では、インターネットを介した双方向通信を用いて、家庭の視聴者からの操作を受け付け、コネクションに対するパートの割り当てを行うことで、複数のパートの協調作業を楽しむことが可能となる。
【０１１１】
なお、協調作業に関する処理として、さらにユーザ入力とネット入力の関係を判定することで、ネットワークを介した視聴者とスタジオで体験しているプレイヤーとの間の協調作業を加えることも可能である。
【０１１２】
［第４の実施形態］
第２、第３の実施形態では、ネットワークを介した複数の視聴者が同時にゲームに参加したが、１人の視聴者が独占的に参加した方が適当なコンテンツもある。このような場合、ネットワークからのコネクションの受付に対して接続管理（接続制限管理）を行うことで、特定の人がある時間（例えば一定時間）独占してプレイし、その後、次の人に代わるといった遊び方が可能となる。
【０１１３】
図２３は、このような処理を行う際のサーバ装置１９０３の処理を示す流れ図であり、図１９の流れにスレッドＳ２４１１の接続制限管理処理が追加されている。
【０１１４】
ここで、接続制限管理の方式としては、多様な方式が考えられるが、ここでは、視聴者がＩＤコードを入力し、この入力ＩＤコードが、許可された一連のＩＤコードのリスト中に記録されているかを第１次判定とし、第１次判定に通った視聴者の中からランダムに当選者が選ばれ、一定時間（例えば３分間）プレイすることが可能となる。一定時間後、再度、第１次判定を通った視聴者の中から別の視聴者がランダムに選ばれることを繰り返す。尚、選ばれた視聴者からの入力が一定時間（例えば５秒）無い場合には、自動的に次の視聴者が選ばれる。
【０１１５】
ＩＤコードは、放送と関連付けられるゲーム製品などに貼り付けたり、何らかの製品の景品として視聴者に配布したりすることで、製品購入のインセンティブの向上に利用できる。また、ＩＤコードは実際に配布する数量よりも非常に多くのコードを表現できるだけの桁数とすることで、一般の視聴者が入力する可能性のあるコードとの競合を回避することが可能である。さらに、どのコードがどの放送で利用可能かを周知させることで、視聴者が無為に待つ時間を少なくすることも可能である。
【０１１６】
このように、第４の実施形態では、ゲーム等の内容を考慮して、サーバ装置１９０３がゲームに参加する視聴者を制限することにより、単なるゲームのプレイに留まらない新たなメリットを実現している。
【０１１７】
［第５の実施形態］
第５の実施形態は、放送と関連付けられるゲーム製品を用いたものであり、家庭でのゲーム製品の利用により育成したキャラクタのデータを用いて、ＭＲスタジオでの体験ができるようにしている。
【０１１８】
この種のゲーム製品においては、キャラクターデータは、キャラクターの種類とそのパラメータ群を示す数値あるいはコードの集合として扱われている。従って、このキャラクタデータを受け渡しする機能と、受け渡されたデータを利用して動作するシナリオ管理機能およびＣＧデータ管理機能を持つことにより、家庭でのゲーム製品の利用により育成したキャラクタのデータを活用することができる。
【０１１９】
図２４は、このようなシステムの構成を示した図である。
【０１２０】
キャラクター導入手段２５０１は、フロッピーディスクなどのメモリ媒体よりキャラクターのデータを読み出し、これをシナリオ管理手段１２０５とＣＧデータ管理手段１２０７に供給する。キャラクターデータには、キャラクターの種類、パワー、守備力、賢さなどのキャラクタの挙動に影響するパラメータと、ＣＧモデルＩＤ、レベル、カラーなどキャラクタの見た目に影響するパラメータがあり、前者は主としてシナリオ管理手段１２０５で、後者はＣＧデータ管理手段１２０７でのパラメータとして設定される。
【０１２１】
キャラクターの動作自体は、当該分野における一般のＣＧあるいはゲームプログラムと同様であり、与えられたパラメータとシナリオ、ユーザの入力などから適切なＣＧ表現となるようにＣＧシーンを生成し、同時にこれを反映するように内部状態の更新を行う。
【０１２２】
このように、第５の実施形態では、ＭＲスタジオを構成するシステムにキャラクター導入機能を追加することにより、家庭で遊び育成したキャラクターをＭＲスタジオでも使うことが可能となり、自分の育てたキャラクターと同一の空間でプレイを体験することが可能となる。
【０１２３】
［第６の実施形態］
第６の実施形態は、ＭＲスタジオでの撮影・映像制作と並行して、後からＷｅｂを介して楽しめる多重視点、すなわち撮影カメラの視点と演技者の視点との映像データを作成するもので、ＭＲスタジオの新たな利用方法を提供するものである。
【０１２４】
撮影カメラの視点と演技者の視点での映像を生成する機能については、すでに第１の実施形態で述べたものと同様であるが、ここではさらに、別々の視点で得られた映像データがほぼ同時のタイムコードを持つように構成することで、ほぼ同じ時点での異なる視点での映像を後で楽しめるようにしている。
【０１２５】
図２５は、本実施形態の構成を示す図であり、図１あるいは図１８の構成に対して、ビデオ分配器２６０１，２６０２と、ビデオエンコーダ２６０３，２６０４と、Ｗｅｂサーバ２６０５とが追加されている。
【０１２６】
ここで、ビデオ分配器２６０１は、演技者のＨＭＤ１０５へ送られる映像を分配して、ビデオエンコーダ２６０３に送るものであり、同様にビデオ分配器２６０２は、放送手段１１３に送られる映像を分配して、ビデオエンコーダ２６０４に送るものである。
【０１２７】
オペレータ装置２６０６は、ビデオエンコーダ２６０３，２６０４を遠隔操作し、エンコードの開始／終了を指示する。また、各ビデオエンコーダ２６０３，２６０４で作成されたデータをネットワーク経由でファイル転送し、Ｗｅｂサーバ２６０５にアップロードする。
【０１２８】
図２６は、本実施形態におけるオペレータ装置２６０６の処理を示す流れ図である。
【０１２９】
オペレータ装置２６０６は、ゲームの起動に伴い、ネットワークを介してビデオエンコーダ２６０３，２６０４にエンコード開始のコマンドを送信する（ステップＳ２７０１）。両者への通信は順々であるが、人間にとってはほとんど同時と思える間隔で処理される。
【０１３０】
この後、オペレータ装置２６０６は、ユーザからの入力操作を受け取り（ステップＳ２７０２）、次いで、ネットワークを介してサーバ装置１９０３からサーバ装置１９０３の状態情報（各パートの各領域に対する計数値）を受け取る（ステップＳ２７０３）。
【０１３１】
次いで、これらの情報に応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ２７０４）。次いで、カメラ１０４等の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの領域内に入らないように、位置データを更新する（ステップＳ２７０５）。次いで、更新された状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達する（ステップＳ２７０６）。
【０１３２】
次いで、ゲームの終了を判定し（ステップＳ２７０７）、ゲーム終了でなければ、ステップＳ２７０２に戻り、ゲーム終了であれば、各ビデオエンコーダ２６０３，２６０４で作成されたデータをネットワーク経由でファイル転送し、Ｗｅｂサーバ２６０５にアップロードする（ステップＳ２７０８）。
【０１３３】
ビデオエンコーダの起動は、ネットワークプログラミングで一般的なリモートプロシージャの呼び出しにより行われる。また、Ｗｅｂアップロードの処理は、ＦＴＰなどのファイル転送コマンドを用いて、各ビデオエンコーダ２６０３，２６０４からオペレータ装置２６０６を経由してＷｅｂサーバ１９０３にファイルを転送することにより行われる。
【０１３４】
また、第１の実施形態と同様に、撮像手段（あるいはＨＭＤ）から得られる元の映像データと撮像手段（あるいはＨＭＤ）の位置・姿勢データを並列で用いることも可能であり、元の映像データに対するビデオエンコーダを追加し、位置・姿勢データを映像像処理装置１０８あるいは重畳処理装置１０９でデジタルデータファイルに落とすことにより、ポストプロダクションに用いることのできるデータを作成することができる。これら元の映像に係るデータを上述の合成映像と同様にＷｅｂアップロード処理することで、ポストプロダクションに使えるデータと現場での合成映像の両者をインターネットを介して利用することが可能となる。
【０１３５】
このように、第６の実施形態では、カメラでの撮影視点からの映像と演技者の視点での映像をほぼ同時性を得られるように記録し、さらにインターネットを介して後から参照できるようにしている。これは、演技者や演技者の知人にとって極めて価値のある体験データを、その後、家庭からダウンロードできることを意味する。
【０１３６】
［第７の実施形態］
第７の実施形態は、ＣＧ映像中に、仮想オブジェクトの１形態としての仮想広告を表示できるようにしたものである。
【０１３７】
図２７は、第７の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図であり、第１の実施形態に係る図１のシステムに対して、ＣＧ映像中に仮想広告１１４が表示されている点で相違している。
【０１３８】
図２８は、図２７のシステムの機能を示す機能ブロック図である。
【０１３９】
１２０１はいわゆるシースルー機能を持つＨＭＤであり、撮像部と画像表示部を持つ。１２０２は画像合成手段、１２０３はＨＭＤ視点でのＣＧ描画手段、１２０４はＣＧオブジェクトの存在範囲を制御する禁則領域処理手段、１２０５はシナリオ管理手段、１２０６は位置センサなどを含む位置合わせ手段、１２０７はＣＧデータ管理手段、１２０８はカメラなどの撮影手段、１２０９は画像合成手段、１２１０はＣＧ描画手段、１２１１は画像表示手段、１２１２は広告管理手段である。
【０１４０】
ＨＭＤ１２０１で撮像された画像は、画像合成手段１２０２により、ＣＧ描画手段１２０３の生成したＣＧ画像と合成され、その合成画像は、ＨＭＤ１２０１に表示される。また、ＨＭＤ１２０１で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいてＨＭＤ（即ち頭部）の位置・方向を計算し、ＣＧ描画手段１２０３に伝達する。ＣＧ描画手段１２０３は、位置合わせ手段１２０６より得られる頭部の位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、ＨＭＤ視点でのＣＧ画像を描画する。
【０１４１】
シナリオ管理手段１２０５は、禁則領域処理手段１２０４から得られる情報とリハーサルや演技の進行状況あるいはオペレータの指示などに従い、シーン構成に必要な情報をＣＧデータ管理手段１２０７に伝達し、ＣＧデータ管理手段１２０７は、伝達された情報に応じたＣＧ画像を描画するようにＣＧ描画手段１２０３もしくはＣＧ描画手段１２１０に指示する。
【０１４２】
撮影手段１２０８から得られる画像に対する処理も同様であり、撮影手段１２０８で撮像された画像は、画像合成手段１２０９により、ＣＧ描画手段１２１０の生成したＣＧ画像と合成され、得られた合成画像は画像表示手段１２１１に表示される。また、撮影手段１２０８で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいて撮影手段（即ちカメラ）の位置・方向を計算し、ＣＧ描画手段１２０９に伝達する。
【０１４３】
ＣＧ描画手段１２０９は、位置合わせ手段１２０６より得られるカメラの位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、カメラ視点でのＣＧ画像を描画する。また、位置合わせ手段１２０６は、得られたＨＭＤ（即ち頭部）の位置・方向データと撮影手段（即ちカメラ）の位置・方向データを禁則領域処理手段１２０４に伝達し、禁則領域処理手段１２０４は、これら位置・方向データに基づいてＣＧオブジェクトの存在すべき範囲を決定し、シナリオ管理手段１２０５は、前記ＣＧオブジェクトの存在すべき範囲に応じて、ＣＧオブジェクトの位置を修正する。
【０１４４】
シナリオ管理手段１２０５の管理するＣＧ描画に必要な情報は、表示されるキャラクタ毎に、表示するＣＧモデルの番号、基準となる位置・姿勢のデータ、動作の種類を示す番号、動作に付随するパラメータなどである。シナリオはシーン単位で管理されており、各シーンではキャラクタの持つパワー、状態などのステータス値とオペレータからの操作入力、演技者の動きなどに応じて上述のデータの組が選択される。例えば、ランダムに選択されたキャラクタの種類とそのキャラクタのパワー値（これはゲームの進行によるポイントで加減される）により表示するＣＧモデルの番号が決定される。
【０１４５】
オペレータは、キャラクタの移動および回転などを入力し、この入力情報により、基準となる位置・姿勢データが決定される。また、この際のキャラクタの位置・姿勢・ステータス値と演技者の位置・姿勢・動作で、キャラクタの動作およびそのパラメータが決定される。尚、上述の位置・姿勢については、禁則領域処理により補正される。
【０１４６】
尚、ＨＭＤ１２０１が外界を透過的に見られるように構成することによりシースルー機能を実現すること（光学シースルー方式）も可能であり、この場合には上述の画像合成手段１２０２は不要となる。
【０１４７】
シナリオ管理手段１２０５は、演技の補助に必要な台本・台詞・説明などの情報や広告管理手段１２１２から受け取った広告情報を蓄え、シーンに応じて必要な情報をＣＧデータ管理手段１２０７に送り、ＣＧデータ管理手段１２０７は、これらの情報に応じた描画処理をＣＧ描画手段１２０３，１２１０に指示する。シーンの進行は任意のユーザインタフェース（マウス、キーボード、音声入力など）を用いて行われる。
【０１４８】
広告管理手段１２１２は、スポンサーの広告情報を蓄え、シーンに応じて必要な広告情報をシナリオ管理手段１２０５に送る。この広告情報は、シナリオ管理手段１２０５からＣＧ描画手段１２１０に送らて、ＣＧ画像しての広告画像が作成される。そして、この広告画像は、画像合成手段１２０９により実写映像と合成されて、画像表示手段１２１１により表示される。
【０１４９】
例えば、時計メーカーがスポンサーの場合、図２９のように仮想広告が表示される。なお、図２９では、スタジオのセット等は、省略されている。図２９において、画面の左側に実写オブジェクトとしての演技者が表示され、画面の中央に仮想広告としての時計が表示されている。
【０１５０】
この仮想広告としての時計は、最初は型番Ｖ１のものが表示されているが、画面の切り替え、シナリオの進行等によって型番Ｖ２等に変更することができる。また、この仮想広告についても、他の仮想オブジェクトと同様に、禁則処理やオペレータ装置１１０の操作により表示指示、移動指示を行うことが可能である。このような仮想広告に関する各種の制御は、広告管理手段１２１２により統御される。
【０１５１】
このように、第７の実施形態では、テレビ番組等の画像中にＣＧによる仮想広告を合成して表示することにより、コマーシャルカットを回避しつつ、リアルタイムに変化する広告を表示することが可能となる。また、コマーシャルタイムを設定する必要もなくなるので、視聴者に対するサービス性も向上する。
【０１５２】
［第８の実施形態］
第８の実施形態は、演技者視点の映像やカメラ視点の映像をインターネット、衛生放送、地上波放送等の複数のチャンネル用に多チャンネル化するものである。
【０１５３】
図３０は、第８の実施形態を適用したシステムのシステム構成図であり、図１に示したる第１の実施形態のシステムに対して、多チャンネル制御装置１１５が追加されている。
【０１５４】
この多チャンネル制御装置１１５には、図３１に示したように、演技者視点での合成映像を生成する重畳処理装置１０８、客観視点（カメラ視点）での合成映像を生成する重畳処理装置１０９の数に応じた複数の合成映像が同時に入力される。そして、多チャンネル制御装置１１５は、入力された複数の合成映像の中から予め設定された合成映像のみを選択し、その合成映像をインターネット、衛生放送、地上波放送等の複数のチャンネル用に多チャンネル化して出力する。
【０１５５】
［第９の実施形態］
第８の実施形態では、予め設定された合成映像を固定的に選択していたが、本実施形態では、シナリオ管理手段に記載された情報に基づいて臨機応変に合成映像を選択して、多チャンネル化するようにしている。
【０１５６】
図３２は、この場合の機能ブロック図であり、図３に示した第１の実施形態の機能ブロック図に対して、映像選択手段１２１５、映像伝送手段１２１３、映像蓄積手段１２１４が追加されている。図３３は、図３２に示したシナリオ管理手段１２０５に蓄積されているシナリオを例示した図である。
【０１５７】
図３３の例では、例えば【カメラＡ、役者Ａを選択】のように、シナリオ中に多チャンネル化する合成映像が括弧で囲んで予め記載されている。そこで、シナリオ管理手段１２０５は、この情報を映像選択手段１２１５に送り、映像選択手段１２１５は、シナリオ管理手段１２０５から送られてきた情報に基づいて合成映像を選択し、その選択に係る合成映像を多チャンネル化して映像伝送手段１２１３又は映像蓄積手段１２１４に出力する。
【０１５８】
このように、第９の実施形態では、シナリオに記載された情報に基づいて多チャンネル化する合成映像を選択しているので、シナリオの進行に応じた適切な演技者視点の合成映像又はカメラ視点の合成映像に臨機応変に切替えて、多チャンネル化して出力することが可能となる。
【０１５９】
［第１０の実施形態］
第１０の実施形態は、インターネットを利用して、多チャンネル化すべき合成映像を視聴者が選択できるようにしたものであり、図１７に示した第２の実施形態と同様のサービス環境に適用される。
【０１６０】
図３４は、第１０の実施形態に係るシステムのシステム構成図であり、図１８に示した第２の実施形態のシステムに対して、多チャンネル制御装置１１５が追加されている。
【０１６１】
１０４は撮影装置（カメラ）、１０９はカメラ映像に仮想物体の映像を重畳する処理装置、１１３はＭＲスタジオで作成された合成映像を放送する放送手段、９０２はインターネット、１９０１はＣＧで生成される仮想のキャラクタ（ここではモンスター）、１９０２はインターネットからの通信結果を含めてシステムの状態を制御するオペレータ装置、１９０３はインターネットからの通信を受け付けるサーバ装置である。
【０１６２】
放送手段１１３は、インターネット映像通信の場合には、一般にストリーミングサーバとして知られるもので、米国ＲｅａｌＮｅｔｗｏｒｋｓ社製のものなどがある。また、衛星放送（通信）あるいは地上波放送の場合には、当該分野の一般の放送機器となる。
【０１６３】
図１と同様に、撮影装置（カメラ）１０４はスタジオの実写映像を撮影し、撮影された映像データは重畳処理装置１０９でＣＧデータと合成される。この出力である合成映像データは放送手段１１３を経て、インターネットあるいは衛星放送あるいは地上波放送として一般視聴者へ放送される。一般視聴者の家庭では、インターネットと接続可能なインターネット端末あるいはＢＳデジタル放送端末あるいはデジタルＴＶ端末を用いてこれを受信する。
【０１６４】
同時に、これらの端末は、インターネットと接続することにより、サーバ装置１９０３との間で通信可能である。視聴者は、放送されてきた映像を見ると共に、マウスあるいはリモコンなどを用いた一般的な対話方法により、画面上の特定の位置をクリックするなどの操作が可能である。この操作信号は、インターネット端末などからサーバ装置１９０３に伝達され、サーバ装置１９０３は、これを計数して視聴者からの反応をまとめる。この計数は、例えば、画面をいくつかの領域に区分し、どの区分領域がどれだけの視聴者からクリックされているかといった情報を計数するものである。
【０１６５】
計数された情報はオペレータ装置１９０２へ伝達され、オペレータ装置１９０２は、前記の情報に従って、多チャンネル制御装置１１５で多チャンネル化する合成映像を選択する。例えば、複数の演技者が登場しているときに、或る特定の演技者を指示した視聴者の数が多い場合は、その演技者視点の映像に切替える等、視聴者の要望が多い映像を多チャンネル化して放送する。
【０１６６】
なお、視聴者の要望に応じて多チャンネル化する映像は、演技者視点の映像だけでなく、カメラ視点（客観視点）の映像でもよい。また、第１〜１０の実施形態を適宜組み合わせることも可能である。
【０１６７】
【発明の効果】
以上説明したように、本発明によれば、仮想物体と実世界の映像との合成画像を見ながら演技者が演技できる、演技者、カメラ、仮想物体等が大幅、複雑に移動しても位置ずれの無い合成映像を得ることができる、仮想物体を視聴者が操作できる、仮想物体の１つとして広告を変更可能に表示できる、合成映像を各種の放送媒体で放送可能に多チャンネル化することができる等、実写画像と仮想画像とを高品位に合成して視聴者等に提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの内部構成を示す構成図である。
【図３】図１のシステムの機能を示す機能ブロック図である。
【図４】機械式エンコーダを用いたカメラ撮影装置を示す図である。
【図５】磁気式の位置・方位センサを用いた手持ちカメラ撮影装置を示す図である。
【図６】ＨＭＤに対する表示処理を示すフローチャートである。
【図７】頭部位置決定処理を示すフローチャートである。
【図８】位置計測用にスタジオ内に貼り付けるマーカを例示した図である。
【図９】マーカ位置決定処理を示すフローチャートである。
【図１０】カメラから得られる映像に対する処理を示すフローチャートである。
【図１１】ＨＭＤに表示する画像を処理する重畳処理装置のハードウェア構成を示すブロック図である。
【図１２】オペレータ装置の処理内容示すフローチャートである。
【図１３】スタジオを上から鳥瞰した状況で最も単純な禁則領域を示した図である。
【図１４】禁則領域計算処理を示すフローチャートである。
【図１５】厳密な禁則領域を示した図である。
【図１６】スタジオを側面から眺めた状態で禁則領域を示した図である。
【図１７】本発明の第２の実施形態に係るサービス環境を示す図である。
【図１８】本発明の第２の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図１９】本発明の第２の実施形態でのサーバ装置の処理を示すフローチャートである。
【図２０】本発明の第２の実施形態でのオペレータ装置の処理を示すフローチャートである。
【図２１】本発明の第３の実施形態でのサーバ装置の処理を示すフローチャートである。
【図２２】本発明の第３の実施形態でのオペレータ装置の処理を示すフローチャートである。
【図２３】本発明の第４の実施形態でのサーバ装置の処理を示すフローチャートである。
【図２４】本発明の第５の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２５】本発明の第６の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２６】本発明の第６の実施形態でのオペレータ装置の動作を示した流れ図である。
【図２７】本発明の第７の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２８】図２７のシステムの機能を示す機能ブロック図である。
【図２９】ＣＧによる仮想物体としての広告を例示した図である。
【図３０】本発明の第８の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図３１】本発明の第８の実施形態の特徴を説明するための説明図である。
【図３２】本発明の第９の実施形態における機能を示す機能ブロック図である。
【図３３】本発明の第９の実施形態におけるシナリオの内容を示す図である。
【図３４】本発明の第１０の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【符号の説明】
１０１：ＭＲスタジオ
１０２：スタジオセット
１０３：演技者
１０４：撮影装置（カメラ）
１０５：ＨＭＤ
１０６：センサ
１０７：仮想物体
１０８：（ＨＭＤ用）重畳処理装置
１０９：（カメラ用）重畳処理装置
１１０：オペレータ装置
１１１：ネットワーク
１１２：蓄積手段
１１３：放送手段
９０２：インターネット
９０３：ＢＳデジタル放送
９０４：一般家庭
９０５：インターネット端末
９０６：デジタルＴＶ端末（ＢＳデジタル端末）
１２０１：ＨＭＤ
１２０２：画像合成手段
１２０３：ＨＭＤ視点でのＣＧ描画手段
１２０４：禁則領域処理手段
１２０５：シナリオ管理手段
１２０６：位置合わせ手段
１２０７：ＣＧデータ管理手段
１２０８：撮影手段
１２０９：画像合成手段
１２１０：ＣＧ描画手段
１２１１：画像表示手段
１２１２：広告管理手段
１２１５：映像選択手段
１９０３：サーバ装置
２５０１：キャラクター導入手段
２６０１、２６０２：ビデオ分配器
２６０３、２６０４：ビデオエンコーダ
【発明の属する技術分野】
本発明は、実写画像とＣＧとの合成技術に関し、映画やテレビ番組の撮影やそのリハーサル、演劇、ゲーム、カラオケ等に用いて好適な画像処理装置及び方法、制御プログラムに関する。
【０００２】
【従来の技術】
従来、スタジオで撮影する映像と、別途作成されたＣＧ映像もしくは別の場所で撮影された映像を合成し、この合成映像をビデオとして録画あるいは放送する技術が知られている。この技術では、スタジオでの撮影はブルーバックと呼ばれる青ないし緑一色の壁を背景として行われ、このブルーバックの部分に別の映像を合成するクロマキーと呼ばれる方法で合成映像が作成されていた。
【０００３】
また、実写映像とＣＧ映像を合成する技術の応用システムとしては、例えば特開平１１−３０９２６９号公報や特開平１１−８８９１３号公報が提案されている。これらにおいては実写映像を背景として用い、その上にＣＧ映像などを重畳することにより合成処理を行っていた。
【０００４】
さらに、このように撮影される映像の利用形態としては、インターネットを用いた双方向テレビの実験が色々と行われるようになってきている。
【０００５】
【発明が解決しようとする課題】
しかし、前述のブルーバックのような方法では、合成される映像が演技者に見えないため、演技が不自然になったり、演技の自由度が少ないなどの問題点があった。
【０００６】
また、特開平１１−３０９２６９号公報や特開平１１−８８９１３号公報の方法では、実写映像と合成される映像の関係が固定的な場合には各映像間の位置ずれの問題はそれほど無いが、演技者・カメラ・仮想物体などが大幅かつ複雑に動く場合には、位置ずれの無い正しい合成映像を得ることは困難であった。
【０００７】
一方、近年、頭部装着型のディスプレイ装置やＷｅａｒａｂｌｅコンピュータなどの発達により、合成映像を実時間で見ながら演技をする可能性が出てきたが、このような装置を用いた場合のユーザサービスについてはまだ具体的な考案がなされていなかった。
【０００８】
また、これまでの双方向テレビ実験では、カメラワークやシナリオの展開といった面で視聴者の参加が考えられてきたが、演技者に直接的に視聴者の代行となる仮想キャラクタが見えるような状況は想定されておらず、このため、視聴者とスタジオの演技者との間の相互作用が非常に限られたものとなっていた。
【０００９】
また、従来のテレビ放送における広告は、テレビ番組の合間に放送されており、テレビ番組にしか関心の無い視聴者には無視され、ＣＭカットビデオデッキ等でカットされたり、チャンネルが切替えられたりしていた。
【００１０】
このような視聴者のテレビ広告無視を回避するために、特開平１０−２９０４４３号公報では、ＣＭ情報をコンテンツに埋め込んでいるが、この方法は、ビデオオンデマンドを利用したもので、現在の一般的なテレビでは使用できなかった。
【００１１】
また、例えば、プロ野球中継中に表示されるスタジアムの壁の広告文字等、テレビ番組中に広告が登場する場合もあり、これらの広告は番組中に放映されるのでカットされることはない。しかし、そのような広告は放映中に変更することはできず、よりアピール度の高い広告を行うことはできなかった。
【００１２】
また、これまでの双方向テレビ実験では、視聴者が任意のカメラワークやカメラ位置を操作することが考えられてきたが、それらの視点はあくまでも第３者の客観的なカメラ視点なっており、主役等の演技者の主観的な視点での映像を見ることは不可能であった。
【００１３】
また、現在、インターネット、衛星放送、地上波放送等の複数のチャンネルで同時に映像を視聴できるようになっており、上記のようなカメラ視点や演技者視点の映像を多チャンネル化して同時に放送することが要望されている。
【００１４】
本発明は、このような従来技術に鑑みてなされたもので、その課題は、実写画像と仮想画像とを高品位に合成して視聴者等に提供できるようにすることにある。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定手段と、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定手段と、シナリオを管理するシナリオ管理手段と、視聴者からの要望を受理するサーバ手段と、該サーバにより受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ手段と、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）データを管理するＣＧ管理手段と、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定手段の測定結果に基づいて位置合わせして合成する第１の画像合成手段と、前記表示手段の視点での前記ＣＧデータと該表示手段に内蔵された撮影手段により撮影された画像データとを前記第２の測定手段の測定結果に基づいて位置合わせして合成する第２の画像合成手段と、前記第２の合成手段により構成された画像データを前記表示手段に表示させる表示制御手段とを有し、前記ＣＧ管理手段が、前記オペレータ手段によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１６】
また、本発明に係る画像処理装置は、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定手段と、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定手段と、シナリオを管理するシナリオ管理手段と、視聴者からの要望を受理するサーバ手段と、該サーバにより受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ手段と、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）データを管理するＣＧ管理手段と、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定手段による測定結果に基づいて位置合わせして合成する第１の画像合成手段と、前記表示手段の視点での前記ＣＧデータを前記第２の測定手段の測定結果に基づいて位置制御して該表示手段に表示する表示制御手段とを有し、前記ＣＧ管理手段が、前記オペレータ手段によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１７】
また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法であって、前記画像処理装置が備える第１の測定手段が、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定工程を行い、前記画像処理装置が備える第２の測定手段が、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定工程を行い、前記画像処理装置が備えるシナリオ管理手段が、シナリオを管理するシナリオ管理工程を行い、前記画像処理装置が備えるサーバ手段が、視聴者からの要望を受理するサーバ工程を行い、前記画像処理装置が備えるオペレータ手段が、前記サーバ工程により受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ工程を行い、前記画像処理装置が備えるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）管理手段が、ＣＧデータを管理するＣＧ管理工程を行い、前記画像処理装置が備える第１の画像合成手段が、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定工程による測定結果に基づいて位置合わせして合成する第１の画像合成工程を行い、前記画像処理装置が備える第２の画像合成手段が、前記表示手段の視点での前記ＣＧデータと該表示手段に内蔵された撮影手段により撮影された画像データとを前記第２の測定工程による測定結果に基づいて位置合わせして合成する第２の画像合成工程を行い、前記画像処理装置が備える表示制御手段が、前記第２の画像合成工程により構成された画像データを前記表示手段に表示させる表示制御工程を行って、前記ＣＧ管理工程では、前記オペレータ工程によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１８】
また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法であって、前記画像処理装置が備える第１の測定手段が、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定工程を行い、前記画像処理装置が備える第２の測定手段が、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定工程を行い、前記画像処理装置が備えるシナリオ管理手段が、シナリオを管理するシナリオ管理工程を行い、前記画像処理装置が備えるサーバ手段が、視聴者からの要望を受理するサーバ工程を行い、前記画像処理装置が備えるオペレータ手段が、前記サーバ工程により受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ工程を行い、前記画像処理装置が備えるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）管理手段が、ＣＧデータを管理するＣＧ管理工程を行い、前記画像処理装置が備える第１の画像合成手段が、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第２の測定工程による測定結果に基づいて位置合わせして合成する第１の画像合成工程を行い、前記画像処理装置が備える表示制御手段が、前記表示手段の視点での前記ＣＧデータを前記第２の測定工程による測定結果に基づいて位置制御して該表示手段に表示する表示制御工程を行って、前記ＣＧ管理工程では、前記オペレータ工程によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする。
【００１９】
また、本発明に係る制御プログラムは、上記のいずれかの画像処理方法の各工程をコンピュータに実行させることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２３】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。図１において、１０１は撮影場所となるスタジオ、１０２はスタジオに置かれたセット、１０３は演技者、１０４は撮影用のカメラ、１０５は演技者の装着する頭部装着型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下ＨＭＤと略す）、１０６はＨＭＤに組み込まれた位置センサ、１０７は演技者の見る映像およびカメラ映像に重畳される仮想物体、１０８は演技者の見る映像を生成する重畳処理装置、１０９はカメラ映像に仮想物体の映像を重畳する重畳処理装置、１１０は仮想物体の状態を操作するオペレータ装置、１１１は１０８・１０９・１１０をつなぐネットワーク、１１２は１０９の出力を蓄積するビデオ装置、１１３は重畳処理装置１０９の出力を発信あるいは放映する伝送装置である。
【００２４】
位置センサ１０６としては、例えば磁気方式の位置・方位センサ、米国ポヒマス社のＦａｓｔｒａｋといった装置が利用可能である。また、重畳処理装置１０８もしくは重畳処理装置１０９は、ＰＣ（パーソナルコンピュータ）とビデオキャプチャーカードおよびＣＧ描画機能のあるビデオカードで構成することができる。オペレータ装置１１０は、一般のＰＣで構成することができる。
【００２５】
重畳処理装置１０８、ＨＭＤ１０５などは、演技者あるいは同時に観察するスタッフの人数に応じて増やすことができ、重畳処理装置１０９、カメラ１０４などは、カメラマンの人数に応じて増やすことが可能である。
【００２６】
図２は、ＨＭＤ１０５の内部構成を示した図である。ＨＭＤ１０５は表示装置であるとともに撮像装置の機能も持つもので、外部から入ってくる光線を内部に導くプリズム光学素子１１０１、光線を受け撮像する撮像素子１１０２、映像を提示する表示素子１１０３、表示映像を目に導くプリズム光学素子１１０４などから構成されている。
【００２７】
スタジオ１０１には、セット１０２が置かれ、その中で演技者１０３が演技をする。演技者１０３はＨＭＤ１０５を装着し、ＨＭＤ１０５には位置センサ１０６が組み込まれ、その位置情報を出力する。同時にＨＭＤ１０５には外界を撮影するカメラ（撮像素子１１０４等）が組み込まれ、撮像された映像データを出力する。
【００２８】
オペレータ装置１１０は、仮想物体１０７を表示したり、動かしたりする指示を行う装置であり、これら指示信号は、ネットワーク１１１を介して重畳処理装置１０８および重畳処理装置１０９に伝達される。重畳処理装置１０８は、指示された仮想物体１０７の状態と位置センサ１０６などから得られる頭部の位置情報に応じたＣＧ映像を生成し、このＣＧ映像をＨＭＤ１０５から得られる撮像データと合成し、合成映像をＨＭＤ１０５へ出力する。演技者１０３は、ＨＭＤ１０５に表示された合成映像を見ることにより、あたかも仮想物体１０５がセット１０２内に存在するかのように観察することができる。
【００２９】
カメラ１０４は、演技者１０３やセット１０２を含むスタジオ１０１の様子を撮像し、その撮影データを重畳処理装置１０９に出力する。重畳処理装置１０９は、オペレータ装置１１０からの指示による仮想物体１０７の状態とＨＭＤ１０５の位置姿勢に対応したＣＧ映像を生成し、これをカメラ１０４から得られる映像データと合成することにより出力映像を作成する。この出力映像は、ビデオ装置１１２で録画され、或いは伝送装置１１３で放映される。
【００３０】
図３は、図１のシステムの機能を示す機能ブロック図である。
【００３１】
１２０１はいわゆるシースルー機能を持つＨＭＤであり、撮像部と画像表示部を持つ。１２０２は画像合成手段、１２０３はＨＭＤ視点でのＣＧ描画手段、１２０４はＣＧオブジェクトの存在範囲を制御する禁則領域処理手段、１２０５はシナリオ管理手段、１２０６は位置センサなどを含む位置合わせ手段、１２０７はＣＧデータ管理手段、１２０８はカメラなどの撮影手段、１２０９は画像合成手段、１２１０はＣＧ描画手段、１２１１は画像表示手段である。
【００３２】
ＨＭＤ１２０１で撮像された画像は、画像合成手段１２０２により、ＣＧ描画手段１２０３の生成したＣＧ画像と合成され、その合成画像は、ＨＭＤ１２０１に表示される。また、ＨＭＤ１２０１で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいてＨＭＤ（即ち頭部）の位置・方向を計算し、ＣＧ描画手段１２０３に伝達する。ＣＧ描画手段１２０３は、位置合わせ手段１２０６より得られる頭部の位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、ＨＭＤ視点でのＣＧ画像を描画する。
【００３３】
シナリオ管理手段１２０５は、禁則領域処理手段１２０４から得られる情報とリハーサルや演技の進行状況あるいはオペレータの指示などに従い、シーン構成に必要な情報をＣＧデータ管理手段１２０７に伝達し、ＣＧデータ管理手段１２０７は、伝達された情報に応じたＣＧ画像を描画するようにＣＧ描画手段１２０３もしくはＣＧ描画手段１２１０に指示する。
【００３４】
撮影手段１２０８から得られる画像に対する処理も同様であり、撮影手段１２０８で撮像された画像は、画像合成手段１２０９により、ＣＧ描画手段１２１０の生成したＣＧ画像と合成され、得られた合成画像は画像表示手段１２１１に表示される。また、撮影手段１２０８で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいて撮影手段（即ちカメラ）の位置・方向を計算し、ＣＧ描画手段１２０９に伝達する。
【００３５】
ＣＧ描画手段１２１０は、位置合わせ手段１２０６より得られるカメラの位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、カメラ視点でのＣＧ画像を描画する。また、位置合わせ手段１２０６は、得られたＨＭＤ（即ち頭部）の位置・方向データと撮影手段（即ちカメラ）の位置・方向データを禁則領域処理手段１２０４に伝達し、禁則領域処理手段１２０４は、これら位置・方向データに基づいてＣＧオブジェクトの存在すべき範囲を決定し、シナリオ管理手段１２０５は、前記ＣＧオブジェクトの存在すべき範囲に応じて、ＣＧオブジェクトの位置を修正する。
【００３６】
シナリオ管理手段１２０５の管理するＣＧ描画に必要な情報は、表示されるキャラクタ毎に、表示するＣＧモデルの番号、基準となる位置・姿勢のデータ、動作の種類を示す番号、動作に付随するパラメータなどである。シナリオはシーン単位で管理されており、各シーンではキャラクタの持つパワー、状態などのステータス値とオペレータからの操作入力、演技者の動きなどに応じて上述のデータの組が選択される。例えば、ランダムに選択されたキャラクタの種類とそのキャラクタのパワー値（これはゲームの進行によるポイントで加減される）により表示するＣＧモデルの番号が決定される。
【００３７】
オペレータは、キャラクタの移動および回転などを入力し、この入力情報により、基準となる位置・姿勢データが決定される。また、この際のキャラクタの位置・姿勢・ステータス値と演技者の位置・姿勢・動作で、キャラクタの動作およびそのパラメータが決定される。尚、上述の位置・姿勢については、禁則領域処理により補正される。
【００３８】
尚、ＨＭＤ１２０１が外界を透過的に見られるように構成することによりシースルー機能を実現すること（光学シースルー方式）も可能であり、この場合には上述の画像合成手段１２０２は不要となる。
【００３９】
また、位置合わせ手段１２０６は、例えば機械式のエンコーダなど３次元での位置・姿勢を検出する手段により構成したり、前述した磁気方式の位置センサ、あるいは光学式又は画像認識などによる位置合わせ手段により構成することができる。撮影手段１２０８に対する位置合わせと、ＨＭＤ１２０１に対する位置合わせとを、別々の位置合わせ手段により行うことも可能である。
【００４０】
図４は、機械式エンコーダを用いたカメラ撮影装置の一例を示している。各ジョイントには、ロータリーエンコーダなどの計測装置６０３が付随し、カメラ６０１を載せた台車６０２の位置からカメラの位置および方位を計測して出力することができる。尚、画像合成手段１２０９からの出力をカメラ６０１のファインダ部に出すことも可能であり、これにより、カメラマンは仮想の世界に合わせたカメラワークを行うことが可能となる。
【００４１】
図５は、磁気式の位置・方位センサを用いた手持ちカメラ撮影装置の一例である。カメラ７０１には、固定的に磁気の受信機（計測器）７０２が装着され、計測された磁気状態からカメラ７０１の３次元的な位置および方位を計算する。前述のように、このような位置・方位の計測は、例えば、米国ポヒマス社のＦａｓｔｒａｋを用いて行うことができる。ＨＭＤについても、同様の方法で位置・方位計測を行う。このような手持ち式の場合には、カメラマンはＨＭＤ７０３（あるいはその片目版）を装着し、このＨＭＤ７０３に合成画像を表示することで、仮想の世界に合わせたカメラワークが可能となる。
【００４２】
尚、ズーム可能なカメラ撮影装置の場合には、ズームレンズのズーム情報も外部の処理装置に伝達する。
【００４３】
ＣＧデータ管理手段１２０７には、ＣＧキャラクタの３次元アニメーションデータ等の３次元モデル、実写画像等の画像データが記録されている。そして、ＣＧデータ管理手段１２０７は、シナリオ管理手段１２０５から受け取った、キャラクタ毎の表示するＣＧモデルの番号、基準となる位置・姿勢のデータ、動作の種類を示す番号、動作に付随するパラメータなどに従って、表示すべきＣＧモデルやアニメーションを選択し、位置・姿勢その他のパラメータを設定することで、ＣＧ描画に用いるシーングラフを変更する。
【００４４】
シナリオ管理手段１２０５は、演技の補助に必要な台本・台詞・説明などの情報を蓄え、シーンに応じて必要な情報をＣＧデータ管理手段１２０７に送り、ＣＧデータ管理手段１２０７は、これらの情報に応じた描画処理をＣＧ描画手段１２０３，１２１０に指示する。シーンの進行は任意のユーザインタフェース（マウス、キーボード、音声入力など）を用いて行われる。
【００４５】
図６は、演技者１０３が装着したＨＭＤ１０５に表示される映像が作成される過程を示す流れ図であり、スレッドＳ２１０〜Ｓ２１２の処理は、近年当該分野で一般化した並列処理プログラムの技法を用いて、別々に並行動作するスレッドにより実行されるものである。
【００４６】
重畳処理装置１０８内での処理プロセスは、まず、オペレータ装置１１０から得られた指示に応じて（スレッドＳ２１０）、ＣＧを描画するための状態フラグ（表示物体の種類、位置、状態）を更新する等の内部状態の更新処理を行う（ステップＳ２０１）。次いで、頭部位置の決定処理（スレッドＳ２１１）から得られる頭部位置情報を内部に取り込む（ステップＳ２０２）。
【００４７】
次いで、ビデオキャプチャカード（スレッドＳ２１２）から得られた最新の画像を背景画像として取り込む（ステップＳ２０３）。次いで、背景画像の上にＳ２０１で設定された内部状態に応じてＣＧデータを更新し、ステップＳ２０２で設定された頭部位置をＣＧ生成の仮想カメラとしてＣＧを描画する（ステップＳ２０４）。最後に、描画結果の合成映像を表示するＣＧコマンドをビデオカードに与えることでＨＭＤに合成映像が表示される（ステップＳ２０５）。
【００４８】
ここで、スレッドＳ２１０はオペレータ装置からの指示データがネットワーク１１１を介して送信されてくるのを受け取るスレッドであり、スレッドＳ２１１は位置センサ１０６からの情報を受け取り、ビデオキャプチャーカードから得られる画像データと合わせて頭部の位置を決定するスレッド、スレッドＳ２１２は定期的にビデオキャプチャーカードから画像データを読み出す画像キャプチャスレッドである。
【００４９】
図７は、頭部位置決定の流れ図であり、ステップＳ３０１はセンサ情報更新ステップ、ステップＳ３０２は位置情報計算ステップ、ステップＳ３０３は位置情報の受け渡しステップ、スレッドＳ３１０はセンサからのデータ読み込みのスレッド、スレッドＳ３１１はマーカ位置の通知を受け取るスレッドである。
【００５０】
ここで、センサからのデータは通常のＲＳ２３２Ｃのポートへ出力され、スレッドＳ３１０では、このポートのデータを定期的に読み出している。また、スレッドＳ３１１の通知は、一般的なネットワーク通信プロトコル（ＴＣＰ−ＩＰ）で行われる。
【００５１】
重畳処理装置１０８は、まず、位置センサ１０６から得られる最新の位置情報に係る位置に頭部位置を更新する（ステップＳ３０１）。次いで、ＨＭＤ１０５のカメラから得られた画像データから特定のマーカ画像を認識することで頭部位置の補正情報を得、この補正情報に応じて頭部の方向データを更新する（ステップＳ３０２）。最後に、この頭部の位置（方向を含む）データを頭部位置決定スレッドＳ２１１に受け渡す（ステップＳ３０３）。
【００５２】
頭部の方向の補正は、まず、位置センサ１０６から得られたワールド座標系での頭（視点）の３次元位置および方位とマーカの３次元位置からマーカが画像中のどこに見えるかの予測値（ｘ０、ｙ０）を計算する。ついで、この予測値（ｘ０、ｙ０）から画像中の実際のマーカの位置（ｘ１、ｙ１）に向う移動ベクトルを計算する。最後に、このベクトルを見込む角度を補正値として、これに相当する分だけ頭部の方位を回転させた値をＨＭＤ１０５の方向として出力する。
【００５３】
図８は、位置計測に用いるために、スタジオ１０１内に貼り付けるマーカの一例を示した図である。マーカには単色のものを用いることも可能であるが、本実施形態では、３つの部分からなり、それぞれ特定の大きさを持つ矩形の色票を特定の位置関係に配置したものを使用している。それぞれの色票には、任意の色を選ぶことができる。このようにマーカを構成することにより、多種類のマーカを安定的に検出することが可能となる。
【００５４】
図９は、マーカ位置決定処理の流れを示す流れ図であり、スレッドＳ４１０は画像認識の対象となる画像データを得るスレッドであり、画像キャプチャーカードから画像を定期的に読み出すスレッドとなっている。
【００５５】
ステップＳ４０１は画像データの更新ステップ、ステップＳ４０２は閾値処理のステップ、ステップＳ４０３はラベリングのステップ、ステップＳ４０４は面積計算のステップ、ステップＳ４０５は重心計算のステップ、ステップＳ４０６はパターン判定のステップ、 ステップＳ４０７は計算結果である位置情報を受け渡すステップである。
【００５６】
重畳処理装置１０８あるいは重畳処理装置１０９は、まず、最新の画像データにデータを更新し（ステップＳ４０１）、次いで、登録されたマーカを判別するためのいくつかの色情報によって画像を閾値処理する（ステップＳ４０２）、次いで、得られた２値画像を連結してラベリング処理し（ステップＳ４０３）、各ラベルの領域の面積を計数し（ステップＳ４０４）、重心位置を計算する（ステップＳ４０５）。
【００５７】
次いで、各ラベルの面積とラベル間の重心位置の関係から、登録されたマーカのパターンと一致するかを照合し（ステップＳ４０６）、照合された中心のラベルの重心をマーカ位置として出力する（ステップＳ４０７）。
【００５８】
出力されたマーカ位置の情報は、ＨＭＤ１０５あるいはカメラ１０４の方位の補正に利用され、ＨＭＤ・カメラの位置および方位の情報をＣＧレンダリングの際の仮想カメラの位置・方位とすることで、現実世界と位置合わせされたＣＧ画像が生成される。
【００５９】
図１０は、カメラ１０４あるいは撮影手段１２０８から得られる映像に仮想物体の映像重畳する重畳処理装置１０９の処理の流れを示す流れ図であり、スレッドＳ８１０〜Ｓ８１２の処理は、近年当該分野で一般化した並列処理プログラムの技法を用いて、別々に並行動作するスレッドにより実行されるものである。
【００６０】
重畳処理装置１０９内での処理プロセスは、まず、オペレータ装置１１０から得られた指示に応じて（スレッドＳ８１０）、ＣＧを描画するための状態フラグ（表示物体の種類、位置、状態）を更新する等の内部状態の更新処理を行う（ステップＳ８０１）。
【００６１】
次いで、カメラ位置の決定処理（スレッドＳ８１１）から得られるカメラ位置情報を内部に取り込む（ステップＳ８０２）。次いで、ビデオキャプチャカード（スレッドＳ８１２）から得られた最新の画像を、背景画像として取り込む（ステップＳ８０３）。次いで、背景画像の上にステップＳ８０１で設定された内部状態に応じてＣＧデータを更新し、ステップＳ８０２で設定されたカメラ位置をＣＧ生成の仮想カメラとしてＣＧを描画する（ステップＳ８０４）。最後に、描画結果の合成映像を表示するＣＧコマンドをビデオカードに与えることで、表示装置に合成映像が表示される（ステップＳ８０５）。
【００６２】
ここで、スレッドＳ８１０はオペレータ装置からの指示データがネットワーク１１１を介して送信されてくるのを受け取るスレッドであり、スレッドＳ８１１は図４あるいは図５のカメラ装置からの情報を受け取り、ビデオキャプチャーカードから得られる画像データと合わせてカメラの位置を決定するスレッド、スレッドＳ８１２は定期的にビデオキャプチャーカードから画像データを読み出す画像キャプチャスレッドである。
【００６３】
尚、本実施形態では、重畳処理装置１０８および重畳処理装置１０９の出力であるリアルタイムの合成映像を装置全体の出力としているが、撮像手段（あるいはＨＭＤ）から得られる映像データと撮像手段（あるいはＨＭＤ）の位置・姿勢を示すデータの両者を分岐して出力することで、いわゆるポストプロダクション（時間をかけて後処理で最終生成物となるビデオ映像を作成する工程）で用いるデータを同時に得ることができる。
【００６４】
また、重畳処理装置１０８、重畳処理装置１０９、オペレータ装置１１０を構成するハードウェアは、一般的なコンピュータと周辺機器の組み合わせで実現できる。図１１に簡単な模式図を示す。
【００６５】
図１１は、重畳処理装置１０８のハードウェア構成の一例を示したものであり、実際に撮像・表示を行うＨＭＤ１３０４、マウス１３０１、キーボード１３０２、映像出力装置１３０３を含むコンピュータシステム等により構成されている。
【００６６】
より詳細には、マウス１３０１、キーボード１３０２等の周辺装置をコントロールする周辺コントローラ１３０５、プログラムを格納したＨＤ装置１３１０およびメモリ１３０８、映像データを取り込むための映像キャプチャカード１３１２、ＣＧ描画や画像合成を行うためのビデオグラフィックカード１３１３、位置センサとの間の情報授受のためのシリアルＩ／Ｆ１３０６、ネットワークと接続するためのネットワークＩ／Ｆ１３０９、プログラムによる各種の処理を実行するＣＰＵ１３０７、プログラムを媒体からロードするためのＦＤ装置１３１１などからなる。
【００６７】
重畳処理装置１０９の場合は、ＨＭＤ１３０４の代わりに撮影装置（カメラ）からの入力を受け、画像表示装置へ映像信号を出力する。オペレータ装置１１０の場合には、ＨＭＤ１３０４および画像キャプチャカード１３１２は不要となる。本実施形態を実現するプログラムは、ＦＤ装置１３１１やネットワークなどを介してプログラム媒体からロードすることができる。
【００６８】
図１２は、オペレータ装置１１０の処理の流れを示す流れ図である。
【００６９】
オペレータ装置１１０は、まず、ユーザからの入力操作を受け取り（ステップＳ１４０１）、これに応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ１４０２）。次いで、カメラ１０４および演技者１０３の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの禁則領域に入らないように位置データを更新する（ステップＳ１４０３）。次いで、更新された内部状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達する（ステップＳ１４０４）。
【００７０】
ユーザからの入力操作は、マウス１３０１やキーボード１３０２などの入力装置、もしくは音声入力やジェスチャーコマンドなどを介して行うことができる。
【００７１】
ここで、禁則領域処理は、仮想のＣＧオブジェクトと実在のオブジェクトの隠れ関係などが矛盾しないように、ＣＧオブジェクトの存在可能領域を制限する処理である。隠れ関係については、固定の実在オブジェクトの場合には前もって実在オブジェクトと同じ形状および位置・方向にＣＧオブジェクトを設定し、実在オブジェクトに対するＣＧオブジェクトの領域には実写映像を用い、仮想オブジェクトのレンダリングの際には、設定した実在オブジェクトに対応するＣＧオブジェクトとの隠面処理を行うことにより、実在オブジェクトと仮想ＣＧオブジェクトとの隠れ関係は正しく処理される。
【００７２】
一方、演技者１０３などのように、移動したり変形したりする場合には、そのオブジェクトが占める空間領域を確定することは容易ではない。そして、実在の演技者１０３などと仮想のオブジェクトが接近したり前後したりした場合に隠れ関係を正しく処理できないと、見えないはずのものが見えたり、前後関係が逆転して見えたりといったように、視覚的に大きな障害となる。
【００７３】
本実施形態では、そのようなおかしな見え方が発生する可能性のある領域を禁則領域として設定し、その禁則領域に仮想オブジェクトが侵入する場合には、その仮想オブジェクトの位置を禁則領域外に修正することにより、視覚的な障害を取り除いている。
【００７４】
図１３は、スタジオ１０１を上から鳥瞰した状況で最も単純な禁則領域を示した図であり、１５０１は撮影手段（カメラ）、１５０２および１５０３は演技者等の移動する実在オブジェクト、１５０４は演技者１０３などの周辺領域、１５０５は固定的な実在のオブジェクト（スタジオセット等）である。
【００７５】
ここで、例えば、カメラ１５０１と実在オブジェクト１５０２を結ぶ直線上を実在オブジェクト１５０２から周辺領域１５０４の半径分だけカメラ寄りに寄った点を通り、この直線と直行する直線ＡＡ'を計算すると、直線ＡＡ'で区分された空間のカメラ１５０１の無い方が禁則領域となる。実際には禁則領域を含む領域となるが、視覚的な障害を取り除くという点では実用上全く問題がない。同様に、その他の実在オブジェクト１５０３に対する区分直線ＢＢ'と、その禁則領域も計算でき、これらの和集合領域として全体の禁則領域が決定される。
【００７６】
図１４は、上記の禁則領域計算処理の流れ図であり、カメラ位置決定（スレッドＳ１６１０）とプレイヤー位置決定（スレッドＳ１６１１）の処理は、別スレッドで並行して行われる。
【００７７】
主たる処理は、まず、カメラの位置情報が最新のカメラ位置に更新され（ステップＳ１６０１）、次いで、演技者（プレイヤー）の位置情報が最新のプレイヤー位置に更新され（ステップＳ１６０２）、続いて、これらの情報から領域区分直線が計算され（ステップＳ１６０３）、仮想オブジェクトの領域区分直線からの距離が計算される（ステップＳ１６０４）。
【００７８】
そして、この計算した距離の値の正負の符号で禁則領域内か否かを判断し、負の符号であり禁則領域内の場合には、最も近い領域外の点（この点はカメラと仮想オブジェクトを結ぶ直線と領域区分直線の交点として計算できる）に仮想オブジェクトの位置を修正する（ステップＳ１６０５）。
【００７９】
図１５は、厳密な禁則領域を示した図であり、ここではカメラ１５０１から発し、実在のオブジェクト１５０２，１５０３の周辺領域１５０４を示す円弧と接する直線ＯＣ、ＯＤ、ＯＥ、ＯＦが示されている。厳密な禁則領域は、例えば、実在のオブジェクト１５０２の周辺領域１５０４と、直線ＯＣ・ＯＤで囲まれる領域のカメラから見て周辺領域１５０４より遠方となる領域との和集合となる。このような禁則領域についても、オペレータ装置１１０の処理速度がある程度速ければ、初等数学で簡単にリアルタイムで計算することが可能である。
【００８０】
図１６は、スタジオ１０１を側面から眺めた状態で禁則領域を示した図である。ここで、実在オブジェクト１５０２，１５０３の位置からその禁則領域の高さが推定でき、これと接する直線（実際には横方向に延びる平面）、例えばＯＫ、ＯＬで領域区分直線が計算される。このような上下方向に関する計算の場合には、領域区分直線の区分する２つの領域のうち、実在オブジェクト１５０２，１５０３が存在する側が禁則領域となる。
【００８１】
以上、説明したように、ダイナミックに禁則領域を計算して仮想オブジェクトの位置を制御することにより、撮影映像とＣＧなどとの実時間での合成映像を体感するスタジオシステムにおいて、良好な合成映像が得られるようになる。
【００８２】
また、本実施形態における禁則領域の処理をリアルタイムで行うことなく、カメラの移動範囲と演技者の移動範囲から可能性のある全ての禁則領域の和を前もって計算し、この領域に入らないように仮想オブジェクトを制御することにより、実時間の計算を省略することも可能である。
【００８３】
［第２の実施形態］
第１の実施形態で説明したスタジオシステムを昨今普及し始めたインターネット通信と組み合わせた状況において、さらに有益な利用価値を生じさせる仕組みについて説明する。
【００８４】
図１７は、図１で説明した撮影スタジオシステム（以下、ＭＲスタジオと称する）を含むサービス環境を示した図である。ここで、９０１は第１図で説明した画像処理装置を有するスタジオ、９０２はインターネット、９０３はＢＳデジタルなどの衛星放送、９０４および９０７は一般の家庭環境あるいはオフィス環境を示したものである。９０４の中にはさらにＰＣなどで構成されるインターネット端末９０５や衛星放送の受信機を有するデジタルテレビ端末９０６などがある。
【００８５】
ここで、インターネット９０２やＢＳデジタル放送９０３は当該分野の技術者に良く知られた構成要素であるが、さらに言うならば、前記ＢＳデジタル放送については、下り（スタジオから家庭へ）の映像配信は衛星経由で、上り（家庭からスタジオへ）はケーブルや電話線、専用線を用いたインターネットを用いる。また、インターネット自体がブロードバンドである場合には、下りの映像配信もインターネットで行うことができる。これらの上り下りの通信によりスタジオと家庭は双方向に結ばれる。
【００８６】
図１８は、インターネットを用いて双方向に接続されたＭＲスタジオの構成を示す図であり、１０４は撮影装置（カメラ）、１０９はカメラ映像に仮想物体の映像を重畳する処理装置、１１３はＭＲスタジオで作成された合成映像を放送する放送手段、９０２はインターネット、１９０１はＣＧで生成される仮想のキャラクタ（ここではモンスター）、１９０２はインターネットからの通信結果を含めてシステムの状態を制御するオペレータ装置、１９０３はインターネットからの通信を受け付けるサーバ装置である。
【００８７】
放送手段１１３は、インターネット映像通信の場合には、一般にストリーミングサーバとして知られるもので、米国ＲｅａｌＮｅｔｗｏｒｋｓ社製のものなどがある。また、衛星放送（通信）あるいは地上波放送の場合には、当該分野の一般の放送機器となる。
【００８８】
図１と同様に、撮影装置（カメラ）１０４はスタジオの実写映像を撮影し、撮影された映像データは重畳処理装置１０９でＣＧデータと合成される。この出力である合成映像データは放送手段１１３を経て、インターネットあるいは衛星放送あるいは地上波放送として一般視聴者へ放送される。一般視聴者の家庭では、インターネットと接続可能なインターネット端末あるいはＢＳデジタル放送端末あるいはデジタルＴＶ端末を用いてこれを受信する。
【００８９】
同時に、これらの端末は、インターネットと接続することにより、サーバ装置１９０３との間で通信可能である。視聴者は、放送されてきた映像を見ると共に、マウスあるいはリモコンなどを用いた一般的な対話方法により、画面上の特定の位置をクリックするなどの操作が可能である。この操作信号は、インターネット端末などからサーバ装置１９０３に伝達され、サーバ装置１９０３は、これを計数して視聴者からの反応をまとめる。この計数は、例えば、画面をいくつかの領域に区分し、どの区分領域がどれだけの視聴者からクリックされているかといった情報を計数するものである。計数された情報はオペレータ装置１９０２へ伝達され、オペレータ装置１９０２は、前記の情報に従って、進行中のシナリオに沿ったＣＧの動きやゲーム進行上のパラメータあるいはＣＧの表示形式などを操作する。例えば、モンスターの位置として適切な区分領域を指示した視聴者の数に応じてモンスターの透明度を操作すると、視聴者の協力によりモンスターが見えやすくなるといった感覚が得られる。別の例としては、視聴者がパワーボタン領域を押す回数により、演技者（プレイヤー）のパワーパラメータが増加し、モンスターに対するダメージ値が増加するといったものがある。
【００９０】
サーバ装置１９０３は、一般に、Ｗｅｂサーバとして知られるサーバ装置と同様の機構で構成されるものであり、具体的には、ＣＧＩあるいはＪａｖａなどを用いたサーバサイドスクリプトとして、クライアントである端末からの入力を受け付け処理する。
【００９１】
図１９は、サーバ装置１９０３の処理の流れを示した流れ図であり、ネットワークを介した接続を保持するコネクションチェック処理（スレッドＳ２０１０）と新規なコネクションの受付処理（スレッドＳ２０１１）は、メインの処理の流れとは別のスレッドとして並行動作するようにプログラミングされる。
【００９２】
サーバ装置１９０３は、まず現在接続中のコネクションの状況をコネクションチェックスレッドＳ２０１０から受け取り、コネクションが切断していれば、内部の状態をクリーンアップする接続終了処理を行う（ステップＳ２００１）。次いで、新規なコネクションの要求をコネクション受付スレッドＳ２０１１から受け取り、新規なコネクション要求があれば、新規接続を行う（ステップＳ２００２）。次いで、全てのコネクションからのコマンドの受信を行う（ステップＳ２００３）。コマンド形式は、ここでは、［ＣｌｉｃｋＡｔ Ｎ］というコマンド形式で、Ｎは区分領域の番号とする。次いで、このコマンドを区分領域番号Ｎ毎に計数し（ステップＳ２００４）、各区分領域番号Ｎ毎の計数値を状態情報としてオペレータ装置１９０２に受け渡す（ステップＳ２００５）。
【００９３】
図２０は、図１９のサーバ装置１９０３の処理に対応するオペレータ装置１９０２の処理を示す流れ図である。
【００９４】
オペレータ装置１９０２は、まず、ユーザからの入力操作を受け取り（ステップＳ２１０１）、次いで、ネットワークを介して通信によりサーバ装置１９０３からサーバの状態情報（各領域に対する計数値）を受け取り（ステップＳ２１０２）、これらに応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ２１０３）。
【００９５】
この場合、例えば、オペレータ装置１９０２により、モンスターの位置として適切な区分領域を指示した視聴者の数とその他の数の比に応じてモンスターの透明度を操作すると、視聴者の協力によりモンスターが見えやすくなるといった感覚が得られる。
【００９６】
なお、ステップＳ２１０３の処理の後に、図１２に示した第１の実施形態におけるオペレータ装置１１０の処理と同様に、カメラおよび演技者の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの領域内にならないように位置データを更新し、更新された状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達するようにしてもよい。
【００９７】
このように、第２の実施形態では、インターネットを介した双方向通信を用いて、家庭の視聴者からの操作を受け付けてシナリオや操作・表示などのパラメータに反映させることにより、視聴者とスタジオの演技者が一緒になってＣＧで描画されるモンスターに影響を与え、これを退治する等といった全く新しい視聴者・演技者同時体験型のシステムを実現している。
【００９８】
このＭＲスタジオによるサービス環境は、スタジオ環境に付随する観客スペースに対応したＨＭＤ装置などを準備し、さらに、モーションコントロールカメラを用意することで、（１）ＭＲスタジオ内で演技者として楽しむユーザ、（２）スタジオでカメラワークなどを行うスタッフ（あるいはそれを代行するユーザ）、（３）スタジオで同時体験する観客となるユーザ、（４）インターネットや衛星放送を通じて見るだけのユーザ、（５）これらのメディアの双方向性を用いて、実際にＭＲスタジオ内の仮想キャラクタに自分がなって対戦したり、ＭＲスタジオでのプレイに協同参加するユーザ、（６）インターネット経由でＭＲスタジオ内のカメラワークや編集に携わるユーザといった各種のユーザに、ＣＧと実写のリアルタイム合成映像による複合現実感映像体験を提供するように拡張することも可能である。
【００９９】
［第３の実施形態］
第３の実施形態は、第２の実施形態と同様に、ネットワーク（インターネット）を介して視聴者が参加する形態において、視聴者が複数の仮想キャラクタあるいは仮想キャラクタを構成する複数のパーツの何れかに割り当てられ、複数の部分が協同作業することにより仮想キャラクタの動作やシナリオに対する効果を生み出すものであり、例えば、２人３脚のような協調作業型の応用形態を実現したものである。
【０１００】
図２１は、この場合のサーバ装置１９０３の処理を示す流れ図であり、図１９の流れ図にパート割り当ての処理などを追加したものであり、ゲームをシナリオコンテンツとした場合を想定している。また、スレッドＳ２２１２のゲーム状態受信処理は、オペレータ装置１９０２の操作に応じたゲームの進行状況により各パートが得た得点をオペレータ装置１９０２から受け取るスレッドである。
【０１０１】
このスレッドＳ２２１２、及びネットワークを介した接続を保持するコネクションチェック処理を行うスレッドＳ２２１０、新規なコネクションの受付処理を行うスレッドＳ２２１１は、メインの処理の流れとは別のスレッドとして並行動作するようにプログラミングされる。
【０１０２】
サーバ装置１９０３は、まず、現在接続中のコネクションの状況をコネクションチェックスレッドＳ２２１０から受け取り、コネクションが切断していれば内部の状態をクリーンアップする接続終了処理を行う（ステップＳ２２０１）。次いで、新規なコネクションの要求をコネクション受付スレッドＳ２２１１から受け取り、新規なコネクション要求があれば、新規接続を行う（ステップＳ２２０２）。次いで、ゲームの進行による得点をゲーム状態受信処理スレッドＳ２２１２から受け取り、各コネクションに対する得点を更新する（ステップＳ２２０３）。
【０１０３】
ここで、各コネクションは、割り当てられているパート番号で区分され、また、これ以前の入力データを値に持つ。オペレータ装置１９０２からは、得点したパート番号と得点に結びついた入力値および追加される得点の組を受け取る。サーバ装置１９０３は、パート番号と入力値の組に一致したコネクションに対して、追加される得点分だけ得点値を増加する。
【０１０４】
次いで、コネクションのうち、新規に接続されて未だパート（パート番号）の割り当てられていないコネクションに対してパート番号を割り当て、得点が特定値に達したコネクションについてはパートの再割り当てを行う（ステップＳ２２０４）。コネクションへのパートの割り当てルールは、最初には重要でない末端のパートを割り当て、得点が特定値に達する毎に、より重要なパート、例えば、足から手や頭へと担当パートが移動していく。
【０１０５】
次いで、全てのコネクションからのコマンドの受信を行う（ステップＳ２２０５）。コマンド形式は、ここでは、［ＣｌｉｃｋＡｔ Ｎ］というコマンド形式で、Ｎは区分領域の番号とする。次いで、このコマンドをそれぞれのコネクションの担当するパートの番号Ｍと領域番号Ｎ毎に計数し（ステップＳ２２０６）、各Ｍ、Ｎの組に対する計数値を状態情報としてオペレータ装置１９０２に受け渡す（ステップＳ２２０７）。
【０１０６】
図２２は、図２１のサーバ装置１９０３の処理に対応するオペレータ装置１９０２の処理を示す流れ図である。
【０１０７】
オペレータ装置１９０２は、まず、ユーザからの入力操作を受け取り（ステップＳ２３０１）、次いで、ネットワークを介してサーバ装置１９０３からサーバ装置１９０３の状態情報（各パートの各領域に対する計数値）を受け取る（ステップＳ２３０２）。
【０１０８】
次いで、各パートの計数値が最も大きい領域を変化パラメータとし、パート間の変化の整合性を判定するパート間の連携判定を行う（ステップＳ２３０３）。オペレータ装置１９０２は、次いで、これらの情報に応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ２３０４）。ここで、複数のパートが整合性のある変化を起こした場合、例えば２人３脚で足が出たような場合は、メリットのある動作が生じたものとし、それ以外の場合には、メリットのない動作あるいは動作なしとなる。このようにすることで、視聴者間の協調により作業が進むといった感覚が得られる。
【０１０９】
次いで、ゲーム進行の内部状態と動作に応じて、各パートへの得点が与えられる（ステップＳ２３０５）。次いで、カメラ１０４および演技者の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの領域内に入らないように、位置データを更新する（ステップＳ２３０６）。次いで、更新された状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達すると共に、得点となったパート番号・区分領域番号・得点の組み合わせをサーバ装置１９０３に伝達する（ステップＳ２３０７）。
【０１１０】
このように、第３の実施形態では、インターネットを介した双方向通信を用いて、家庭の視聴者からの操作を受け付け、コネクションに対するパートの割り当てを行うことで、複数のパートの協調作業を楽しむことが可能となる。
【０１１１】
なお、協調作業に関する処理として、さらにユーザ入力とネット入力の関係を判定することで、ネットワークを介した視聴者とスタジオで体験しているプレイヤーとの間の協調作業を加えることも可能である。
【０１１２】
［第４の実施形態］
第２、第３の実施形態では、ネットワークを介した複数の視聴者が同時にゲームに参加したが、１人の視聴者が独占的に参加した方が適当なコンテンツもある。このような場合、ネットワークからのコネクションの受付に対して接続管理（接続制限管理）を行うことで、特定の人がある時間（例えば一定時間）独占してプレイし、その後、次の人に代わるといった遊び方が可能となる。
【０１１３】
図２３は、このような処理を行う際のサーバ装置１９０３の処理を示す流れ図であり、図１９の流れにスレッドＳ２４１１の接続制限管理処理が追加されている。
【０１１４】
ここで、接続制限管理の方式としては、多様な方式が考えられるが、ここでは、視聴者がＩＤコードを入力し、この入力ＩＤコードが、許可された一連のＩＤコードのリスト中に記録されているかを第１次判定とし、第１次判定に通った視聴者の中からランダムに当選者が選ばれ、一定時間（例えば３分間）プレイすることが可能となる。一定時間後、再度、第１次判定を通った視聴者の中から別の視聴者がランダムに選ばれることを繰り返す。尚、選ばれた視聴者からの入力が一定時間（例えば５秒）無い場合には、自動的に次の視聴者が選ばれる。
【０１１５】
ＩＤコードは、放送と関連付けられるゲーム製品などに貼り付けたり、何らかの製品の景品として視聴者に配布したりすることで、製品購入のインセンティブの向上に利用できる。また、ＩＤコードは実際に配布する数量よりも非常に多くのコードを表現できるだけの桁数とすることで、一般の視聴者が入力する可能性のあるコードとの競合を回避することが可能である。さらに、どのコードがどの放送で利用可能かを周知させることで、視聴者が無為に待つ時間を少なくすることも可能である。
【０１１６】
このように、第４の実施形態では、ゲーム等の内容を考慮して、サーバ装置１９０３がゲームに参加する視聴者を制限することにより、単なるゲームのプレイに留まらない新たなメリットを実現している。
【０１１７】
［第５の実施形態］
第５の実施形態は、放送と関連付けられるゲーム製品を用いたものであり、家庭でのゲーム製品の利用により育成したキャラクタのデータを用いて、ＭＲスタジオでの体験ができるようにしている。
【０１１８】
この種のゲーム製品においては、キャラクターデータは、キャラクターの種類とそのパラメータ群を示す数値あるいはコードの集合として扱われている。従って、このキャラクタデータを受け渡しする機能と、受け渡されたデータを利用して動作するシナリオ管理機能およびＣＧデータ管理機能を持つことにより、家庭でのゲーム製品の利用により育成したキャラクタのデータを活用することができる。
【０１１９】
図２４は、このようなシステムの構成を示した図である。
【０１２０】
キャラクター導入手段２５０１は、フロッピーディスクなどのメモリ媒体よりキャラクターのデータを読み出し、これをシナリオ管理手段１２０５とＣＧデータ管理手段１２０７に供給する。キャラクターデータには、キャラクターの種類、パワー、守備力、賢さなどのキャラクタの挙動に影響するパラメータと、ＣＧモデルＩＤ、レベル、カラーなどキャラクタの見た目に影響するパラメータがあり、前者は主としてシナリオ管理手段１２０５で、後者はＣＧデータ管理手段１２０７でのパラメータとして設定される。
【０１２１】
キャラクターの動作自体は、当該分野における一般のＣＧあるいはゲームプログラムと同様であり、与えられたパラメータとシナリオ、ユーザの入力などから適切なＣＧ表現となるようにＣＧシーンを生成し、同時にこれを反映するように内部状態の更新を行う。
【０１２２】
このように、第５の実施形態では、ＭＲスタジオを構成するシステムにキャラクター導入機能を追加することにより、家庭で遊び育成したキャラクターをＭＲスタジオでも使うことが可能となり、自分の育てたキャラクターと同一の空間でプレイを体験することが可能となる。
【０１２３】
［第６の実施形態］
第６の実施形態は、ＭＲスタジオでの撮影・映像制作と並行して、後からＷｅｂを介して楽しめる多重視点、すなわち撮影カメラの視点と演技者の視点との映像データを作成するもので、ＭＲスタジオの新たな利用方法を提供するものである。
【０１２４】
撮影カメラの視点と演技者の視点での映像を生成する機能については、すでに第１の実施形態で述べたものと同様であるが、ここではさらに、別々の視点で得られた映像データがほぼ同時のタイムコードを持つように構成することで、ほぼ同じ時点での異なる視点での映像を後で楽しめるようにしている。
【０１２５】
図２５は、本実施形態の構成を示す図であり、図１あるいは図１８の構成に対して、ビデオ分配器２６０１，２６０２と、ビデオエンコーダ２６０３，２６０４と、Ｗｅｂサーバ２６０５とが追加されている。
【０１２６】
ここで、ビデオ分配器２６０１は、演技者のＨＭＤ１０５へ送られる映像を分配して、ビデオエンコーダ２６０３に送るものであり、同様にビデオ分配器２６０２は、放送手段１１３に送られる映像を分配して、ビデオエンコーダ２６０４に送るものである。
【０１２７】
オペレータ装置２６０６は、ビデオエンコーダ２６０３，２６０４を遠隔操作し、エンコードの開始／終了を指示する。また、各ビデオエンコーダ２６０３，２６０４で作成されたデータをネットワーク経由でファイル転送し、Ｗｅｂサーバ２６０５にアップロードする。
【０１２８】
図２６は、本実施形態におけるオペレータ装置２６０６の処理を示す流れ図である。
【０１２９】
オペレータ装置２６０６は、ゲームの起動に伴い、ネットワークを介してビデオエンコーダ２６０３，２６０４にエンコード開始のコマンドを送信する（ステップＳ２７０１）。両者への通信は順々であるが、人間にとってはほとんど同時と思える間隔で処理される。
【０１３０】
この後、オペレータ装置２６０６は、ユーザからの入力操作を受け取り（ステップＳ２７０２）、次いで、ネットワークを介してサーバ装置１９０３からサーバ装置１９０３の状態情報（各パートの各領域に対する計数値）を受け取る（ステップＳ２７０３）。
【０１３１】
次いで、これらの情報に応じて内部状態（シナリオの進行ポインタ、表示モードなど）を更新する（ステップＳ２７０４）。次いで、カメラ１０４等の位置情報から禁則領域を決定し、ＣＧによる仮想オブジェクトがこの領域内に入らないように、位置データを更新する（ステップＳ２７０５）。次いで、更新された状態の情報を重畳処理装置１０８や重畳処理装置１０９に伝達する（ステップＳ２７０６）。
【０１３２】
次いで、ゲームの終了を判定し（ステップＳ２７０７）、ゲーム終了でなければ、ステップＳ２７０２に戻り、ゲーム終了であれば、各ビデオエンコーダ２６０３，２６０４で作成されたデータをネットワーク経由でファイル転送し、Ｗｅｂサーバ２６０５にアップロードする（ステップＳ２７０８）。
【０１３３】
ビデオエンコーダの起動は、ネットワークプログラミングで一般的なリモートプロシージャの呼び出しにより行われる。また、Ｗｅｂアップロードの処理は、ＦＴＰなどのファイル転送コマンドを用いて、各ビデオエンコーダ２６０３，２６０４からオペレータ装置２６０６を経由してＷｅｂサーバ１９０３にファイルを転送することにより行われる。
【０１３４】
また、第１の実施形態と同様に、撮像手段（あるいはＨＭＤ）から得られる元の映像データと撮像手段（あるいはＨＭＤ）の位置・姿勢データを並列で用いることも可能であり、元の映像データに対するビデオエンコーダを追加し、位置・姿勢データを映像像処理装置１０８あるいは重畳処理装置１０９でデジタルデータファイルに落とすことにより、ポストプロダクションに用いることのできるデータを作成することができる。これら元の映像に係るデータを上述の合成映像と同様にＷｅｂアップロード処理することで、ポストプロダクションに使えるデータと現場での合成映像の両者をインターネットを介して利用することが可能となる。
【０１３５】
このように、第６の実施形態では、カメラでの撮影視点からの映像と演技者の視点での映像をほぼ同時性を得られるように記録し、さらにインターネットを介して後から参照できるようにしている。これは、演技者や演技者の知人にとって極めて価値のある体験データを、その後、家庭からダウンロードできることを意味する。
【０１３６】
［第７の実施形態］
第７の実施形態は、ＣＧ映像中に、仮想オブジェクトの１形態としての仮想広告を表示できるようにしたものである。
【０１３７】
図２７は、第７の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図であり、第１の実施形態に係る図１のシステムに対して、ＣＧ映像中に仮想広告１１４が表示されている点で相違している。
【０１３８】
図２８は、図２７のシステムの機能を示す機能ブロック図である。
【０１３９】
１２０１はいわゆるシースルー機能を持つＨＭＤであり、撮像部と画像表示部を持つ。１２０２は画像合成手段、１２０３はＨＭＤ視点でのＣＧ描画手段、１２０４はＣＧオブジェクトの存在範囲を制御する禁則領域処理手段、１２０５はシナリオ管理手段、１２０６は位置センサなどを含む位置合わせ手段、１２０７はＣＧデータ管理手段、１２０８はカメラなどの撮影手段、１２０９は画像合成手段、１２１０はＣＧ描画手段、１２１１は画像表示手段、１２１２は広告管理手段である。
【０１４０】
ＨＭＤ１２０１で撮像された画像は、画像合成手段１２０２により、ＣＧ描画手段１２０３の生成したＣＧ画像と合成され、その合成画像は、ＨＭＤ１２０１に表示される。また、ＨＭＤ１２０１で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいてＨＭＤ（即ち頭部）の位置・方向を計算し、ＣＧ描画手段１２０３に伝達する。ＣＧ描画手段１２０３は、位置合わせ手段１２０６より得られる頭部の位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、ＨＭＤ視点でのＣＧ画像を描画する。
【０１４１】
シナリオ管理手段１２０５は、禁則領域処理手段１２０４から得られる情報とリハーサルや演技の進行状況あるいはオペレータの指示などに従い、シーン構成に必要な情報をＣＧデータ管理手段１２０７に伝達し、ＣＧデータ管理手段１２０７は、伝達された情報に応じたＣＧ画像を描画するようにＣＧ描画手段１２０３もしくはＣＧ描画手段１２１０に指示する。
【０１４２】
撮影手段１２０８から得られる画像に対する処理も同様であり、撮影手段１２０８で撮像された画像は、画像合成手段１２０９により、ＣＧ描画手段１２１０の生成したＣＧ画像と合成され、得られた合成画像は画像表示手段１２１１に表示される。また、撮影手段１２０８で撮像された画像は、位置合わせ手段１２０６に送られ、位置合わせ手段１２０６は、その画像と位置センサなどから得られるトラッキング情報に基づいて撮影手段（即ちカメラ）の位置・方向を計算し、ＣＧ描画手段１２０９に伝達する。
【０１４３】
ＣＧ描画手段１２０９は、位置合わせ手段１２０６より得られるカメラの位置・方向情報とＣＧデータ管理手段１２０７より得られるＣＧデータに基づいて、カメラ視点でのＣＧ画像を描画する。また、位置合わせ手段１２０６は、得られたＨＭＤ（即ち頭部）の位置・方向データと撮影手段（即ちカメラ）の位置・方向データを禁則領域処理手段１２０４に伝達し、禁則領域処理手段１２０４は、これら位置・方向データに基づいてＣＧオブジェクトの存在すべき範囲を決定し、シナリオ管理手段１２０５は、前記ＣＧオブジェクトの存在すべき範囲に応じて、ＣＧオブジェクトの位置を修正する。
【０１４４】
シナリオ管理手段１２０５の管理するＣＧ描画に必要な情報は、表示されるキャラクタ毎に、表示するＣＧモデルの番号、基準となる位置・姿勢のデータ、動作の種類を示す番号、動作に付随するパラメータなどである。シナリオはシーン単位で管理されており、各シーンではキャラクタの持つパワー、状態などのステータス値とオペレータからの操作入力、演技者の動きなどに応じて上述のデータの組が選択される。例えば、ランダムに選択されたキャラクタの種類とそのキャラクタのパワー値（これはゲームの進行によるポイントで加減される）により表示するＣＧモデルの番号が決定される。
【０１４５】
オペレータは、キャラクタの移動および回転などを入力し、この入力情報により、基準となる位置・姿勢データが決定される。また、この際のキャラクタの位置・姿勢・ステータス値と演技者の位置・姿勢・動作で、キャラクタの動作およびそのパラメータが決定される。尚、上述の位置・姿勢については、禁則領域処理により補正される。
【０１４６】
尚、ＨＭＤ１２０１が外界を透過的に見られるように構成することによりシースルー機能を実現すること（光学シースルー方式）も可能であり、この場合には上述の画像合成手段１２０２は不要となる。
【０１４７】
シナリオ管理手段１２０５は、演技の補助に必要な台本・台詞・説明などの情報や広告管理手段１２１２から受け取った広告情報を蓄え、シーンに応じて必要な情報をＣＧデータ管理手段１２０７に送り、ＣＧデータ管理手段１２０７は、これらの情報に応じた描画処理をＣＧ描画手段１２０３，１２１０に指示する。シーンの進行は任意のユーザインタフェース（マウス、キーボード、音声入力など）を用いて行われる。
【０１４８】
広告管理手段１２１２は、スポンサーの広告情報を蓄え、シーンに応じて必要な広告情報をシナリオ管理手段１２０５に送る。この広告情報は、シナリオ管理手段１２０５からＣＧ描画手段１２１０に送らて、ＣＧ画像しての広告画像が作成される。そして、この広告画像は、画像合成手段１２０９により実写映像と合成されて、画像表示手段１２１１により表示される。
【０１４９】
例えば、時計メーカーがスポンサーの場合、図２９のように仮想広告が表示される。なお、図２９では、スタジオのセット等は、省略されている。図２９において、画面の左側に実写オブジェクトとしての演技者が表示され、画面の中央に仮想広告としての時計が表示されている。
【０１５０】
この仮想広告としての時計は、最初は型番Ｖ１のものが表示されているが、画面の切り替え、シナリオの進行等によって型番Ｖ２等に変更することができる。また、この仮想広告についても、他の仮想オブジェクトと同様に、禁則処理やオペレータ装置１１０の操作により表示指示、移動指示を行うことが可能である。このような仮想広告に関する各種の制御は、広告管理手段１２１２により統御される。
【０１５１】
このように、第７の実施形態では、テレビ番組等の画像中にＣＧによる仮想広告を合成して表示することにより、コマーシャルカットを回避しつつ、リアルタイムに変化する広告を表示することが可能となる。また、コマーシャルタイムを設定する必要もなくなるので、視聴者に対するサービス性も向上する。
【０１５２】
［第８の実施形態］
第８の実施形態は、演技者視点の映像やカメラ視点の映像をインターネット、衛生放送、地上波放送等の複数のチャンネル用に多チャンネル化するものである。
【０１５３】
図３０は、第８の実施形態を適用したシステムのシステム構成図であり、図１に示したる第１の実施形態のシステムに対して、多チャンネル制御装置１１５が追加されている。
【０１５４】
この多チャンネル制御装置１１５には、図３１に示したように、演技者視点での合成映像を生成する重畳処理装置１０８、客観視点（カメラ視点）での合成映像を生成する重畳処理装置１０９の数に応じた複数の合成映像が同時に入力される。そして、多チャンネル制御装置１１５は、入力された複数の合成映像の中から予め設定された合成映像のみを選択し、その合成映像をインターネット、衛生放送、地上波放送等の複数のチャンネル用に多チャンネル化して出力する。
【０１５５】
［第９の実施形態］
第８の実施形態では、予め設定された合成映像を固定的に選択していたが、本実施形態では、シナリオ管理手段に記載された情報に基づいて臨機応変に合成映像を選択して、多チャンネル化するようにしている。
【０１５６】
図３２は、この場合の機能ブロック図であり、図３に示した第１の実施形態の機能ブロック図に対して、映像選択手段１２１５、映像伝送手段１２１３、映像蓄積手段１２１４が追加されている。図３３は、図３２に示したシナリオ管理手段１２０５に蓄積されているシナリオを例示した図である。
【０１５７】
図３３の例では、例えば【カメラＡ、役者Ａを選択】のように、シナリオ中に多チャンネル化する合成映像が括弧で囲んで予め記載されている。そこで、シナリオ管理手段１２０５は、この情報を映像選択手段１２１５に送り、映像選択手段１２１５は、シナリオ管理手段１２０５から送られてきた情報に基づいて合成映像を選択し、その選択に係る合成映像を多チャンネル化して映像伝送手段１２１３又は映像蓄積手段１２１４に出力する。
【０１５８】
このように、第９の実施形態では、シナリオに記載された情報に基づいて多チャンネル化する合成映像を選択しているので、シナリオの進行に応じた適切な演技者視点の合成映像又はカメラ視点の合成映像に臨機応変に切替えて、多チャンネル化して出力することが可能となる。
【０１５９】
［第１０の実施形態］
第１０の実施形態は、インターネットを利用して、多チャンネル化すべき合成映像を視聴者が選択できるようにしたものであり、図１７に示した第２の実施形態と同様のサービス環境に適用される。
【０１６０】
図３４は、第１０の実施形態に係るシステムのシステム構成図であり、図１８に示した第２の実施形態のシステムに対して、多チャンネル制御装置１１５が追加されている。
【０１６１】
１０４は撮影装置（カメラ）、１０９はカメラ映像に仮想物体の映像を重畳する処理装置、１１３はＭＲスタジオで作成された合成映像を放送する放送手段、９０２はインターネット、１９０１はＣＧで生成される仮想のキャラクタ（ここではモンスター）、１９０２はインターネットからの通信結果を含めてシステムの状態を制御するオペレータ装置、１９０３はインターネットからの通信を受け付けるサーバ装置である。
【０１６２】
放送手段１１３は、インターネット映像通信の場合には、一般にストリーミングサーバとして知られるもので、米国ＲｅａｌＮｅｔｗｏｒｋｓ社製のものなどがある。また、衛星放送（通信）あるいは地上波放送の場合には、当該分野の一般の放送機器となる。
【０１６３】
図１と同様に、撮影装置（カメラ）１０４はスタジオの実写映像を撮影し、撮影された映像データは重畳処理装置１０９でＣＧデータと合成される。この出力である合成映像データは放送手段１１３を経て、インターネットあるいは衛星放送あるいは地上波放送として一般視聴者へ放送される。一般視聴者の家庭では、インターネットと接続可能なインターネット端末あるいはＢＳデジタル放送端末あるいはデジタルＴＶ端末を用いてこれを受信する。
【０１６４】
同時に、これらの端末は、インターネットと接続することにより、サーバ装置１９０３との間で通信可能である。視聴者は、放送されてきた映像を見ると共に、マウスあるいはリモコンなどを用いた一般的な対話方法により、画面上の特定の位置をクリックするなどの操作が可能である。この操作信号は、インターネット端末などからサーバ装置１９０３に伝達され、サーバ装置１９０３は、これを計数して視聴者からの反応をまとめる。この計数は、例えば、画面をいくつかの領域に区分し、どの区分領域がどれだけの視聴者からクリックされているかといった情報を計数するものである。
【０１６５】
計数された情報はオペレータ装置１９０２へ伝達され、オペレータ装置１９０２は、前記の情報に従って、多チャンネル制御装置１１５で多チャンネル化する合成映像を選択する。例えば、複数の演技者が登場しているときに、或る特定の演技者を指示した視聴者の数が多い場合は、その演技者視点の映像に切替える等、視聴者の要望が多い映像を多チャンネル化して放送する。
【０１６６】
なお、視聴者の要望に応じて多チャンネル化する映像は、演技者視点の映像だけでなく、カメラ視点（客観視点）の映像でもよい。また、第１〜１０の実施形態を適宜組み合わせることも可能である。
【０１６７】
【発明の効果】
以上説明したように、本発明によれば、仮想物体と実世界の映像との合成画像を見ながら演技者が演技できる、演技者、カメラ、仮想物体等が大幅、複雑に移動しても位置ずれの無い合成映像を得ることができる、仮想物体を視聴者が操作できる、仮想物体の１つとして広告を変更可能に表示できる、合成映像を各種の放送媒体で放送可能に多チャンネル化することができる等、実写画像と仮想画像とを高品位に合成して視聴者等に提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの内部構成を示す構成図である。
【図３】図１のシステムの機能を示す機能ブロック図である。
【図４】機械式エンコーダを用いたカメラ撮影装置を示す図である。
【図５】磁気式の位置・方位センサを用いた手持ちカメラ撮影装置を示す図である。
【図６】ＨＭＤに対する表示処理を示すフローチャートである。
【図７】頭部位置決定処理を示すフローチャートである。
【図８】位置計測用にスタジオ内に貼り付けるマーカを例示した図である。
【図９】マーカ位置決定処理を示すフローチャートである。
【図１０】カメラから得られる映像に対する処理を示すフローチャートである。
【図１１】ＨＭＤに表示する画像を処理する重畳処理装置のハードウェア構成を示すブロック図である。
【図１２】オペレータ装置の処理内容示すフローチャートである。
【図１３】スタジオを上から鳥瞰した状況で最も単純な禁則領域を示した図である。
【図１４】禁則領域計算処理を示すフローチャートである。
【図１５】厳密な禁則領域を示した図である。
【図１６】スタジオを側面から眺めた状態で禁則領域を示した図である。
【図１７】本発明の第２の実施形態に係るサービス環境を示す図である。
【図１８】本発明の第２の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図１９】本発明の第２の実施形態でのサーバ装置の処理を示すフローチャートである。
【図２０】本発明の第２の実施形態でのオペレータ装置の処理を示すフローチャートである。
【図２１】本発明の第３の実施形態でのサーバ装置の処理を示すフローチャートである。
【図２２】本発明の第３の実施形態でのオペレータ装置の処理を示すフローチャートである。
【図２３】本発明の第４の実施形態でのサーバ装置の処理を示すフローチャートである。
【図２４】本発明の第５の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２５】本発明の第６の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２６】本発明の第６の実施形態でのオペレータ装置の動作を示した流れ図である。
【図２７】本発明の第７の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図２８】図２７のシステムの機能を示す機能ブロック図である。
【図２９】ＣＧによる仮想物体としての広告を例示した図である。
【図３０】本発明の第８の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【図３１】本発明の第８の実施形態の特徴を説明するための説明図である。
【図３２】本発明の第９の実施形態における機能を示す機能ブロック図である。
【図３３】本発明の第９の実施形態におけるシナリオの内容を示す図である。
【図３４】本発明の第１０の実施形態を適用した撮影スタジオシステムの概略構成を示すシステム構成図である。
【符号の説明】
１０１：ＭＲスタジオ
１０２：スタジオセット
１０３：演技者
１０４：撮影装置（カメラ）
１０５：ＨＭＤ
１０６：センサ
１０７：仮想物体
１０８：（ＨＭＤ用）重畳処理装置
１０９：（カメラ用）重畳処理装置
１１０：オペレータ装置
１１１：ネットワーク
１１２：蓄積手段
１１３：放送手段
９０２：インターネット
９０３：ＢＳデジタル放送
９０４：一般家庭
９０５：インターネット端末
９０６：デジタルＴＶ端末（ＢＳデジタル端末）
１２０１：ＨＭＤ
１２０２：画像合成手段
１２０３：ＨＭＤ視点でのＣＧ描画手段
１２０４：禁則領域処理手段
１２０５：シナリオ管理手段
１２０６：位置合わせ手段
１２０７：ＣＧデータ管理手段
１２０８：撮影手段
１２０９：画像合成手段
１２１０：ＣＧ描画手段
１２１１：画像表示手段
１２１２：広告管理手段
１２１５：映像選択手段
１９０３：サーバ装置
２５０１：キャラクター導入手段
２６０１、２６０２：ビデオ分配器
２６０３、２６０４：ビデオエンコーダ
Claims (19)
- 演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定手段と、
前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定手段と、
シナリオを管理するシナリオ管理手段と、
視聴者からの要望を受理するサーバ手段と、
該サーバにより受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ手段と、
ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）データを管理するＣＧ管理手段と、
前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定手段の測定結果に基づいて位置合わせして合成する第１の画像合成手段と、
前記表示手段の視点での前記ＣＧデータと該表示手段に内蔵された撮影手段により撮影された画像データとを前記第２の測定手段の測定結果に基づいて位置合わせして合成する第２の画像合成手段と、
前記第２の合成手段により構成された画像データを前記表示手段に表示させる表示制御手段とを有し、
前記ＣＧ管理手段が、前記オペレータ手段によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする画像処理装置。 - 演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定手段と、
前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定手段と、
シナリオを管理するシナリオ管理手段と、
視聴者からの要望を受理するサーバ手段と、
該サーバにより受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ手段と、
ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）データを管理するＣＧ管理手段と、
前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定手段による測定結果に基づいて位置合わせして合成する第１の画像合成手段と、
前記表示手段の視点での前記ＣＧデータを前記第２の測定手段の測定結果に基づいて位置制御して該表示手段に表示する表示制御手段とを有し、
前記ＣＧ管理手段が、前記オペレータ手段によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする画像処理装置。 - 前記表示手段は、外界を素通しで見ることの可能なＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）であることを特徴とする請求項２に記載の画像処理装置。
- 前記合成対象又は表示対象のＣＧデータの配置位置に関して禁則領域を設定する禁則手段を有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
- 前記視聴者からの要望は、各視聴者毎に複数のＣＧデータ、又は単独のＣＧデータの所定の構成要素に割当てられることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
- 前記サーバ手段は、要望を受理する視聴者を制限する制限手段を有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
- 前記ＣＧデータを外部から導入する導入手段を有することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
- 前記第１の画像合成手段、前記第２の画像合成手段により合成された画像データをインターネットを介してアクセス可能にエンコードするエンコーダを有することを特徴とする請求項１に記載の画像処理装置。
- 前記ＣＧデータの１つとして、広告に関するＣＧデータを含むことを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
- 前記広告に関するＣＧデータを変更させる変更手段を有することを特徴とする請求項９記載の画像処理装置。
- 前記第１の画像合成手段、前記第２の画像合成手段により合成された画像データをインターネット、衛星放送、地上波放送等の複数のチャンネルで同時に放送可能に多チャンネル化する多チャンネル制御手段を有することを特徴とする請求項１に記載の画像処理装置。
- 前記多チャンネル制御手段は、多チャンネル化の対象となる画像データを選択する選択手段を有することを特徴とする請求項１１記載の画像処理装置。
- 前記選択手段は、前記第１の画像合成手段、前記第２の画像合成手段により合成された画像データの中から予め設定された画像データを選択することを特徴とする請求項１２記載の画像処理装置。
- 前記選択手段は、シナリオに記載された情報に基づいて多チャンネル化の対象となる画像データを選択することを特徴とする請求項１２記載の画像処理装置。
- 前記選択手段は、視聴者からの要望に応じて多チャンネル化の対象となる画像データを選択することを特徴とする請求項１２記載の画像処理装置。
- 前記画像処理装置は、撮影スタジオ装置に組み込まれていることを特徴とする請求項１〜１５の何れか１項に記載の画像処理装置。
- 画像処理装置が行う画像処理方法であって、
前記画像処理装置が備える第１の測定手段が、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定工程を行い、
前記画像処理装置が備える第２の測定手段が、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定工程を行い、
前記画像処理装置が備えるシナリオ管理手段が、シナリオを管理するシナリオ管理工程を行い、
前記画像処理装置が備えるサーバ手段が、視聴者からの要望を受理するサーバ工程を行い、
前記画像処理装置が備えるオペレータ手段が、前記サーバ工程により受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ工程を行い、
前記画像処理装置が備えるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）管理手段が、ＣＧデータを管理するＣＧ管理工程を行い、
前記画像処理装置が備える第１の画像合成手段が、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第１の測定工程による測定結果に基づいて位置合わせして合成する第１の画像合成工程を行い、
前記画像処理装置が備える第２の画像合成手段が、前記表示手段の視点での前記ＣＧデータと該表示手段に内蔵された撮影手段により撮影された画像データとを前記第２の測定工程による測定結果に基づいて位置合わせして合成する第２の画像合成工程を行い、
前記画像処理装置が備える表示制御手段が、前記第２の画像合成工程により構成された画像データを前記表示手段に表示させる表示制御工程を行って、
前記ＣＧ管理工程では、前記オペレータ工程によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする画像処理方法。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置が備える第１の測定手段が、演技者等の被写体を撮影する撮影手段の位置・姿勢を測定する第１の測定工程を行い、
前記画像処理装置が備える第２の測定手段が、前記演技者等の被写体に装着された表示手段の位置・姿勢を測定する第２の測定工程を行い、
前記画像処理装置が備えるシナリオ管理手段が、シナリオを管理するシナリオ管理工程を行い、
前記画像処理装置が備えるサーバ手段が、視聴者からの要望を受理するサーバ工程を行い、
前記画像処理装置が備えるオペレータ手段が、前記サーバ工程により受理された視聴者からの要望を前記シナリオ管理手段により管理されているシナリオに反映させるオペレータ工程を行い、
前記画像処理装置が備えるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）管理手段が、ＣＧデータを管理するＣＧ管理工程を行い、
前記画像処理装置が備える第１の画像合成手段が、前記撮影手段の視点での前記ＣＧデータと該撮影手段により撮影された画像データとを前記第２の測定工程による測定結果に基づいて位置合わせして合成する第１の画像合成工程を行い、
前記画像処理装置が備える表示制御手段が、前記表示手段の視点での前記ＣＧデータを前記第２の測定工程による測定結果に基づいて位置制御して該表示手段に表示する表示制御工程を行って、
前記ＣＧ管理工程では、前記オペレータ工程によって前記要望を反映させたシナリオに基づいて指定される前記合成対象又は表示対象のＣＧデータを管理することを特徴とする画像処理方法。 - 請求項１７又は１８に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とする制御プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001071116A JP4649050B2 (ja) | 2001-03-13 | 2001-03-13 | 画像処理装置、画像処理方法、及び制御プログラム |
| DE60233913T DE60233913D1 (de) | 2001-03-13 | 2002-03-12 | Bildverarbeitungsvorrichtung , -verfahren und Kontrollprogramm |
| US10/094,864 US7038699B2 (en) | 2001-03-13 | 2002-03-12 | Image processing apparatus and method with setting of prohibited region and generation of computer graphics data based on prohibited region and first or second position/orientation |
| EP02251717A EP1241876B1 (en) | 2001-03-13 | 2002-03-12 | Image processing apparatus, image processing method, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001071116A JP4649050B2 (ja) | 2001-03-13 | 2001-03-13 | 画像処理装置、画像処理方法、及び制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002271693A JP2002271693A (ja) | 2002-09-20 |
| JP4649050B2 true JP4649050B2 (ja) | 2011-03-09 |
Family
ID=18928885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001071116A Expired - Fee Related JP4649050B2 (ja) | 2001-03-13 | 2001-03-13 | 画像処理装置、画像処理方法、及び制御プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7038699B2 (ja) |
| EP (1) | EP1241876B1 (ja) |
| JP (1) | JP4649050B2 (ja) |
| DE (1) | DE60233913D1 (ja) |
Families Citing this family (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4878083B2 (ja) * | 2001-03-13 | 2012-02-15 | キヤノン株式会社 | 画像合成装置及び方法、プログラム |
| JP4613449B2 (ja) * | 2001-06-01 | 2011-01-19 | セイコーエプソン株式会社 | 出力サービス提供システム、仮想オブジェクト管理端末、移動体、仮想オブジェクト管理端末用プログラム及び移動体用プログラム、並びに出力サービス提供方法 |
| EP1349114A3 (en) | 2002-03-19 | 2011-06-15 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
| JP4095325B2 (ja) * | 2002-03-29 | 2008-06-04 | キヤノン株式会社 | 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置 |
| KR100831355B1 (ko) * | 2002-04-16 | 2008-05-21 | 삼성전자주식회사 | 피사체를 촬영하는 장소의 위치정보 및 방위정보의 기록이가능한 영상기록장치 |
| US7190331B2 (en) * | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
| US7373414B2 (en) * | 2002-08-29 | 2008-05-13 | Amx Llc | Multi-media system and method for simultaneously delivering multi-media data to multiple destinations |
| US20070135943A1 (en) * | 2002-09-18 | 2007-06-14 | Seiko Epson Corporation | Output service providing system that updates information based on positional information, terminal and method of providing output service |
| US7427996B2 (en) * | 2002-10-16 | 2008-09-23 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
| US20040189871A1 (en) | 2003-03-31 | 2004-09-30 | Canon Kabushiki Kaisha | Method of generating moving picture information |
| US7663666B2 (en) * | 2003-06-23 | 2010-02-16 | Canon Kabushiki Kaisha | Operation at mobile terminal when communicating with remote camera |
| US11033821B2 (en) * | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
| JP2005107247A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 位置姿勢推定方法および装置 |
| JP2005108108A (ja) * | 2003-10-01 | 2005-04-21 | Canon Inc | 三次元ｃｇ操作装置および方法、並びに位置姿勢センサのキャリブレーション装置 |
| US7324166B1 (en) * | 2003-11-14 | 2008-01-29 | Contour Entertainment Inc | Live actor integration in pre-recorded well known video |
| US7693545B2 (en) * | 2004-02-05 | 2010-04-06 | Samsung Electronics Co., Ltd | System and method for controlling functions of mobile communication terminal in a restricted zone |
| US20050212720A1 (en) * | 2004-03-29 | 2005-09-29 | Rothman Michael A | System and method for computing privacy |
| JP4227561B2 (ja) * | 2004-06-03 | 2009-02-18 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| US20060050070A1 (en) * | 2004-09-07 | 2006-03-09 | Canon Kabushiki Kaisha | Information processing apparatus and method for presenting image combined with virtual image |
| US8585476B2 (en) | 2004-11-16 | 2013-11-19 | Jeffrey D Mullen | Location-based games and augmented reality systems |
| US7342584B2 (en) * | 2004-11-18 | 2008-03-11 | Amx, Llc | Method and computer program for implementing interactive bargraphs of any shape or design on a graphical user interface |
| CN101080691B (zh) * | 2004-12-14 | 2010-12-22 | 松下电器产业株式会社 | 信息提示装置及信息提示方法 |
| US20070132785A1 (en) * | 2005-03-29 | 2007-06-14 | Ebersole John F Jr | Platform for immersive gaming |
| EP1720131B1 (en) * | 2005-05-03 | 2009-04-08 | Seac02 S.r.l. | An augmented reality system with real marker object identification |
| JP4914123B2 (ja) * | 2005-07-15 | 2012-04-11 | キヤノン株式会社 | 画像処理装置及び方法 |
| US20070065143A1 (en) * | 2005-09-16 | 2007-03-22 | Richard Didow | Chroma-key event photography messaging |
| US20070064125A1 (en) * | 2005-09-16 | 2007-03-22 | Richard Didow | Chroma-key event photography |
| US20070064126A1 (en) * | 2005-09-16 | 2007-03-22 | Richard Didow | Chroma-key event photography |
| US9958934B1 (en) | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
| JP4952204B2 (ja) * | 2006-11-13 | 2012-06-13 | コニカミノルタホールディングス株式会社 | 遠隔作業支援システム、及びその表示方法 |
| JP5132138B2 (ja) * | 2006-11-28 | 2013-01-30 | キヤノン株式会社 | 位置姿勢計測方法、位置姿勢計測装置 |
| US8587658B2 (en) * | 2007-06-08 | 2013-11-19 | Nikon Corporation | Imaging device, image display device, and program with intruding object detection |
| GB2456802A (en) * | 2008-01-24 | 2009-07-29 | Areograph Ltd | Image capture and motion picture generation using both motion camera and scene scanning imaging systems |
| CN102016975A (zh) | 2008-03-28 | 2011-04-13 | 寇平公司 | 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置 |
| JP5374080B2 (ja) * | 2008-06-25 | 2013-12-25 | キヤノン株式会社 | 撮影装置、その制御方法及びコンピュータプログラム |
| WO2010073432A1 (ja) * | 2008-12-24 | 2010-07-01 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| JP5595655B2 (ja) * | 2008-12-24 | 2014-09-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| CN102460349A (zh) | 2009-05-08 | 2012-05-16 | 寇平公司 | 使用运动和语音命令对主机应用进行远程控制 |
| JP2011138354A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 情報処理装置および情報処理方法 |
| JP2012060280A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| US9122307B2 (en) | 2010-09-20 | 2015-09-01 | Kopin Corporation | Advanced remote control of host application using motion and voice commands |
| US10013976B2 (en) | 2010-09-20 | 2018-07-03 | Kopin Corporation | Context sensitive overlays in voice controlled headset computer displays |
| WO2012154938A1 (en) | 2011-05-10 | 2012-11-15 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| DE102011104524A1 (de) * | 2011-06-15 | 2012-12-20 | Ifakt Gmbh | Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich |
| CN103034972B (zh) * | 2011-09-29 | 2016-06-01 | 北京新媒传信科技有限公司 | 图像处理平台的实现方法及图像处理平台 |
| US10354291B1 (en) | 2011-11-09 | 2019-07-16 | Google Llc | Distributing media to displays |
| US8879155B1 (en) | 2011-11-09 | 2014-11-04 | Google Inc. | Measurement method and system |
| US10598929B2 (en) | 2011-11-09 | 2020-03-24 | Google Llc | Measurement method and system |
| JP5995304B2 (ja) * | 2011-12-12 | 2016-09-21 | 株式会社バンダイナムコエンターテインメント | プログラム、情報記憶媒体、端末及びサーバ |
| US10030931B1 (en) * | 2011-12-14 | 2018-07-24 | Lockheed Martin Corporation | Head mounted display-based training tool |
| WO2013101438A1 (en) | 2011-12-29 | 2013-07-04 | Kopin Corporation | Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair |
| US10469916B1 (en) | 2012-03-23 | 2019-11-05 | Google Llc | Providing media content to a wearable device |
| US8929954B2 (en) | 2012-04-25 | 2015-01-06 | Kopin Corporation | Headset computer (HSC) as auxiliary display with ASR and HT input |
| JP6289448B2 (ja) | 2012-04-25 | 2018-03-07 | コピン コーポレーション | 即時翻訳システム |
| US9122321B2 (en) | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| US9519640B2 (en) | 2012-05-04 | 2016-12-13 | Microsoft Technology Licensing, Llc | Intelligent translations in personal see through display |
| US9442290B2 (en) | 2012-05-10 | 2016-09-13 | Kopin Corporation | Headset computer operation using vehicle sensor feedback for remote control vehicle |
| US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
| US9019174B2 (en) | 2012-10-31 | 2015-04-28 | Microsoft Technology Licensing, Llc | Wearable emotion detection and feedback system |
| JP6143469B2 (ja) * | 2013-01-17 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US9301085B2 (en) | 2013-02-20 | 2016-03-29 | Kopin Corporation | Computer headset with detachable 4G radio |
| JP2014219448A (ja) * | 2013-05-01 | 2014-11-20 | コニカミノルタ株式会社 | 表示システム、表示方法、表示端末および表示プログラム |
| JP6011567B2 (ja) * | 2014-03-10 | 2016-10-19 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
| CN105681813A (zh) * | 2014-11-19 | 2016-06-15 | Tcl集团股份有限公司 | 一种基于Android系统的图片处理方法及系统 |
| US11468639B2 (en) * | 2015-02-20 | 2022-10-11 | Microsoft Technology Licensing, Llc | Selective occlusion system for augmented reality devices |
| CN105072314A (zh) * | 2015-08-13 | 2015-11-18 | 黄喜荣 | 一种可自动跟踪目标的虚拟演播室实现方法 |
| CN105376547A (zh) * | 2015-11-17 | 2016-03-02 | 广州市英途信息技术有限公司 | 一种基于3d虚拟合成技术的微课录制系统及方法 |
| WO2017134786A1 (ja) * | 2016-02-04 | 2017-08-10 | 三菱電機株式会社 | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム |
| JP6325016B2 (ja) * | 2016-03-31 | 2018-05-16 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| US10168688B2 (en) * | 2016-04-29 | 2019-01-01 | Taylor BRUSKY | Systems and methods for implementing a pointer-guided tracking system and a pointer-guided mechanical movable device control system |
| JP6126271B1 (ja) * | 2016-05-17 | 2017-05-10 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム及び記録媒体 |
| JP6126272B1 (ja) * | 2016-05-17 | 2017-05-10 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム及び記録媒体 |
| US10539797B2 (en) | 2016-05-06 | 2020-01-21 | Colopl, Inc. | Method of providing virtual space, program therefor, and recording medium |
| WO2017199848A1 (ja) * | 2016-05-17 | 2017-11-23 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム及び記録媒体 |
| GB2555841A (en) | 2016-11-11 | 2018-05-16 | Sony Corp | An apparatus, computer program and method |
| WO2018089039A1 (en) * | 2016-11-14 | 2018-05-17 | Lightcraft Technology Llc | Integrated virtual scene preview system |
| JP6298874B1 (ja) * | 2016-12-01 | 2018-03-20 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
| KR102384232B1 (ko) | 2017-03-17 | 2022-04-06 | 매직 립, 인코포레이티드 | 증강 현실 데이터를 레코딩하기 위한 기술 |
| JP6556301B1 (ja) | 2018-07-25 | 2019-08-07 | 株式会社バーチャルキャスト | コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
| JP7360112B2 (ja) | 2019-09-27 | 2023-10-12 | グリー株式会社 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10290443A (ja) * | 1997-04-14 | 1998-10-27 | Nippon Telegr & Teleph Corp <Ntt> | ビデオ・オン・デマンド・システム制御方法及びビデオ・オン・デマンド・システム |
| JPH1188913A (ja) * | 1997-09-01 | 1999-03-30 | M R Syst Kenkyusho:Kk | 姿勢検出装置、姿勢検出方法、記憶媒体および複合現実感提示装置 |
| JPH11309269A (ja) * | 1998-04-27 | 1999-11-09 | Sony Corp | ゲーム装置、シミュレーション装置及びゲーム画像表示方法 |
| JP2000251093A (ja) * | 1999-03-01 | 2000-09-14 | Mitsubishi Electric Corp | 画像生成装置および画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2661061B1 (fr) | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
| US5321767A (en) * | 1992-08-28 | 1994-06-14 | Kabushiki Kaisha Komatsu Seisakusho | Method of forming a mask in image processing operation |
| US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
| US6278461B1 (en) * | 1993-09-10 | 2001-08-21 | Geovector Corporation | Augmented reality vision systems which derive image information from other vision systems |
| JPH08294100A (ja) | 1995-04-20 | 1996-11-05 | Canon Inc | 通信端末及び監視システム |
| US6002995A (en) | 1995-12-19 | 1999-12-14 | Canon Kabushiki Kaisha | Apparatus and method for displaying control information of cameras connected to a network |
| US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
| JP3558104B2 (ja) * | 1996-08-05 | 2004-08-25 | ソニー株式会社 | ３次元仮想物体表示装置および方法 |
| US6343987B2 (en) * | 1996-11-07 | 2002-02-05 | Kabushiki Kaisha Sega Enterprises | Image processing device, image processing method and recording medium |
| JP4437562B2 (ja) | 1997-04-15 | 2010-03-24 | 株式会社ニコン | 情報処理装置および記憶媒体 |
| US6522312B2 (en) | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
| FR2775814B1 (fr) | 1998-03-06 | 2001-01-19 | Rasterland Sa | Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel |
| US6266068B1 (en) * | 1998-03-13 | 2001-07-24 | Compaq Computer Corporation | Multi-layer image-based rendering for video synthesis |
| RU2161871C2 (ru) | 1998-03-20 | 2001-01-10 | Латыпов Нурахмед Нурисламович | Способ и система для создания видеопрограмм |
| JP2000023037A (ja) | 1998-07-06 | 2000-01-21 | Sony Corp | 映像合成装置 |
| JP2000194726A (ja) * | 1998-10-19 | 2000-07-14 | Sony Corp | 情報処理装置及び方法、情報処理システム並びに提供媒体 |
| US6246320B1 (en) * | 1999-02-25 | 2001-06-12 | David A. Monroe | Ground link with on-board security surveillance system for aircraft and other commercial vehicles |
| US7084887B1 (en) * | 1999-06-11 | 2006-08-01 | Canon Kabushiki Kaisha | Marker layout method, mixed reality apparatus, and mixed reality space image generation method |
| JP3363861B2 (ja) | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
| WO2001056007A1 (en) * | 2000-01-28 | 2001-08-02 | Intersense, Inc. | Self-referenced tracking |
| KR20020025301A (ko) * | 2000-09-28 | 2002-04-04 | 오길록 | 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법 |
| AU2002303082A1 (en) * | 2001-01-26 | 2002-09-12 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
| US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
| WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
| WO2004042662A1 (en) * | 2002-10-15 | 2004-05-21 | University Of Southern California | Augmented virtual environments |
| US20030146922A1 (en) * | 2002-12-20 | 2003-08-07 | Nassir Navab | System and method for diminished reality |
-
2001
- 2001-03-13 JP JP2001071116A patent/JP4649050B2/ja not_active Expired - Fee Related
-
2002
- 2002-03-12 US US10/094,864 patent/US7038699B2/en not_active Expired - Fee Related
- 2002-03-12 DE DE60233913T patent/DE60233913D1/de not_active Expired - Lifetime
- 2002-03-12 EP EP02251717A patent/EP1241876B1/en not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10290443A (ja) * | 1997-04-14 | 1998-10-27 | Nippon Telegr & Teleph Corp <Ntt> | ビデオ・オン・デマンド・システム制御方法及びビデオ・オン・デマンド・システム |
| JPH1188913A (ja) * | 1997-09-01 | 1999-03-30 | M R Syst Kenkyusho:Kk | 姿勢検出装置、姿勢検出方法、記憶媒体および複合現実感提示装置 |
| JPH11309269A (ja) * | 1998-04-27 | 1999-11-09 | Sony Corp | ゲーム装置、シミュレーション装置及びゲーム画像表示方法 |
| JP2000251093A (ja) * | 1999-03-01 | 2000-09-14 | Mitsubishi Electric Corp | 画像生成装置および画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020154070A1 (en) | 2002-10-24 |
| EP1241876B1 (en) | 2009-10-07 |
| EP1241876A2 (en) | 2002-09-18 |
| EP1241876A3 (en) | 2004-01-02 |
| JP2002271693A (ja) | 2002-09-20 |
| DE60233913D1 (de) | 2009-11-19 |
| US7038699B2 (en) | 2006-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4649050B2 (ja) | 画像処理装置、画像処理方法、及び制御プログラム | |
| JP7135141B2 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
| US9751015B2 (en) | Augmented reality videogame broadcast programming | |
| RU2161871C2 (ru) | Способ и система для создания видеопрограмм | |
| CN105264876B (zh) | 低成本电视制作的方法及系统 | |
| US9774896B2 (en) | Network synchronized camera settings | |
| US20040041822A1 (en) | Image processing apparatus, image processing method, studio apparatus, storage medium, and program | |
| US8022965B2 (en) | System and method for data assisted chroma-keying | |
| CN103051830B (zh) | 一种对所拍目标多角度实时转播的系统和方法 | |
| JP2013183209A (ja) | 多視点映像ストリーム視聴システムおよび方法 | |
| CN102823231B (zh) | 摄像控制装置及摄像控制方法 | |
| CN102340690A (zh) | 一种互动电视节目系统及实现方法 | |
| US7173672B2 (en) | System and method for transitioning between real images and virtual images | |
| KR101739220B1 (ko) | 게임 플레이 상황에 대한 특수 영상 생성 시스템 | |
| JP2005159592A (ja) | コンテンツ送信装置およびコンテンツ受信装置 | |
| CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
| KR20190031220A (ko) | Vr 콘텐츠 제공 시스템 및 방법 | |
| JP4250814B2 (ja) | ３次元映像の送受信システム及びその送受信方法 | |
| JP2003346190A (ja) | 画像処理装置 | |
| JP2002271694A (ja) | 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム | |
| CN109872400A (zh) | 一种全景虚拟现实场景的生成方法 | |
| JP4330494B2 (ja) | ブロードキャスト番組参加システム、及び方法 | |
| JP7162387B1 (ja) | 興行映像表示プログラム | |
| US20180213127A1 (en) | Virtual protocol | |
| CN116126145A (zh) | 一种基于手势交互全方位观影系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060414 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101213 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |