JP4125085B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP4125085B2 JP4125085B2 JP2002301651A JP2002301651A JP4125085B2 JP 4125085 B2 JP4125085 B2 JP 4125085B2 JP 2002301651 A JP2002301651 A JP 2002301651A JP 2002301651 A JP2002301651 A JP 2002301651A JP 4125085 B2 JP4125085 B2 JP 4125085B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mixed reality
- reality space
- viewpoint
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、現実空間の画像と仮想空間の画像とを重畳した複合現実空間画像を生成する画像処理装置、画像処理方法に関するものである。
【０００２】
【従来の技術】
静止画や動画が撮像可能なカメラなどの撮像装置を用いて撮像した現実空間の画像に、コンピュータ内で生成された仮想物体の画像を重畳することで、複合現実空間の画像を生成することができる。そしてこの画像を表示装置の表示画面上に表示させることで、ユーザに提示することができる。
【０００３】
また、ユーザが上記複合現実空間の画像を何らかの形で取得したい場合、従来では上記表示画面を更にカメラなどの撮像装置を用いて撮影し、電子データやフィルムに焼き付けることで、この画面に表示されている画像を取得してていた。
【０００４】
【発明が解決しようとする課題】
しかし、上記方法では、表示装置に表示されている画像を撮影するために、得られる画像の画質が悪い上に、画像内に表示装置自体が含まれてしまうこともあった。
【０００５】
さらには撮影者の望む視点位置、視線方向の複合現実空間の画像を撮影することはほとんど出来ないばかりでなく、観察者と仮想物体とが相互交流している様子を理解可能な興味深い画像を得ることは至難であった。
【０００６】
本発明は以上の問題に鑑みてなされたものであり、複合現実空間画像を取得可能な画像処理装置、画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【０００８】
すなわち、現実空間の画像を撮像する撮像装置を仮想空間における視点とし、前記現実空間と前記仮想空間とで共有される座標系における前記視点の位置姿勢に応じた仮想空間の画像を生成する生成部と、前記現実空間の画像と前記仮想空間の画像とを合成して複合現実空間画像を生成する合成部と、を有する複数の外部装置とのデータ通信が可能であると共に、プリント手段に接続されている画像処理装置であって、
前記複数の外部装置から２以上を選択する選択手段と、
前記選択手段が選択したそれぞれの外部装置の合成部が生成した複合現実空間画像を取得する取得手段と、
前記取得手段が取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成する生成手段と、
前記生成手段が生成した１枚の画像を表示する表示手段と、
プリント指示を受け付ける手段と、
前記プリント指示が入力された場合には、前記選択手段が選択したそれぞれの外部装置に対して複合現実空間画像を要求し、当該要求に応じて前記選択手段が選択したそれぞれの外部装置から送信された複合現実空間画像を取得し、取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成し、生成した１枚の画像を前記プリント手段に出力する出力手段と
を備えることを特徴とする。
【００１１】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１２】
すなわち、現実空間の画像を撮像する撮像装置を仮想空間における視点とし、前記現実空間と前記仮想空間とで共有される座標系における前記視点の位置姿勢に応じた仮想空間の画像を生成する生成部と、前記現実空間の画像と前記仮想空間の画像とを合成して複合現実空間画像を生成する合成部と、を有する複数の外部装置とのデータ通信が可能であると共に、プリント手段に接続されている画像処理装置が行う画像処理方法であって、
前記複数の外部装置から２以上を選択する選択工程と、
前記選択工程で選択したそれぞれの外部装置の合成部が生成した複合現実空間画像を取得する取得工程と、
前記取得工程で取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成する生成工程と、
前記生成工程で生成した１枚の画像を表示する表示工程と、
プリント指示を受け付ける工程と、
前記プリント指示が入力された場合には、前記選択工程で選択したそれぞれの外部装置に対して複合現実空間画像を要求し、当該要求に応じて前記選択工程で選択したそれぞれの外部装置から送信された複合現実空間画像を取得し、取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成し、生成した１枚の画像を前記プリント手段に出力する出力工程と
を備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１６】
［第１の実施形態］
図１は観察者と、この観察者に対して複合現実空間の画像を取得可能にする本実施形態に係るシステムの構成を示す図である。１００は複合現実空間画像を観察する観察者である。１１０は観察者一人分の複合現実空間画像を生成する画像処理装置１１０で、パーソナルコンピュータ（ＰＣ）１２０、現実空間の動画像を撮像するビデオカメラ１４０、モニタ１５０で構成される処理装置である。ＰＣ１２０では仮想空間管理プログラムと複合現実空間画像生成プログラムが動作している。
【００１７】
仮想空間管理プログラムはＰＣ１２０により実行されることで仮想空間の状態を更新し、更新結果を複合現実空間画像生成プログラムに通知する機能を有する。複合現実空間画像生成プログラムはＰＣ１２０により実行されることで、仮想空間管理プログラムから通知された仮想空間の状態に基づいて仮想空間画像をメモリ上に描画すると共に、ビデオカメラ１４０から取得した現実空間画像をメモリ上に描画された仮想空間画像に合成する。即ちメモリ上には複合現実空間画像が描画される。そしてメモリ上に描画された複合現実空間画像はモニタ１５０に表示される。
【００１８】
観察者１００はモニタ１５０に表示された複合現実空間画像を見ることで、複合現実空間画像を観察することができる。なお、モニタ１５０は複合現実空間画像だけでなく、ＰＣ１２０を操作する際に必要な情報（システムメッセージやシステムの設定画面など）を表示することもある。
【００１９】
観察者１００が手にしているのはシャッター１６０である。シャッター１６０はプッシュボタンスイッチで構成されており、スイッチが観察者１００により押下されると、シャッター１６０からは押下されたことを示す信号がＰＣ１２０に出力される。ＰＣ１２０がこの信号を検知すると、検知した時点でＰＣ１２０のメモリに記憶されている複合現実空間画像をプリンタ１７０に出力する。
【００２０】
プリンタ１７０は、その記録方式は特に限定するものではなく、ＰＣ１２０から送られた複合現実空間画像を紙やＯＨＰ等の記録媒体上に画像として記録することができればよい。
【００２１】
２００は予め定義されており、仮想物体を現実空間のどの位置に設定するのかを決めるために使用される座標軸で、座標軸２００は現実空間と仮想空間で共有される。座標軸の設定方法に関しては複合現実空間を生成するための技術として公知のものであるのでここでの詳細な説明は省略する。
【００２２】
２１０は複合現実空間画像生成可能領域である。即ちこの領域に存在する現実物体についてはその位置、形状がＰＣ１２０によって管理されており、現実物体と仮想物体との位置の重なりが発生したことが検出可能な領域である。この領域の位置、サイズを示すデータはＰＣ１２０のメモリ上に記録されている。２２０、２２２は現実物体で、同図では石柱と岩を例として示しているが、現実物体がこれに限定されないことは明らかである。また、この仮想物体の画像は仮想空間画像に含まれるものであり、ビデオカメラ１４０を仮想空間における視点とし、この視点の位置姿勢に応じて見える仮想物体の形状の画像である。仮想空間の画像が動画像である場合には常に最新の画像（最新フレームの画像）がＰＣ１２０のメモリ上に描画される。ビデオカメラ１４０の位置姿勢を示すデータは、メモリ１２２に記憶されているものとする。
【００２３】
図２は上記画像処理装置１１０の基本構成と共に、シャッター１６０、プリンタ１７０との関係を示すブロック図である。画像処理装置１１０は大まかには上述の通り、ＰＣ１２０、ビデオカメラ１４０、モニタ１５０に大別される。
【００２４】
ＰＣ１２０はキャプチャカード１３２，グラフィックカード１３０、シリアルＩ／Ｆ１２６，ＨＤＤ１２３，ＣＰＵ１２１、メモリ１２２、キーボード１２４、マウス１２５により構成されている。
【００２５】
キャプチャカード１３２はＰＣ１２０とビデオカメラ１４０とを接続するためのインターフェースとして機能し、ビデオカメラ１４０により撮像された各フレームの現実空間の画像がキャプチャカード１３２を介してメモリ１２２に転送される。
【００２６】
グラフィックカード１３０は上記仮想物体の画像である３次元コンピュータグラフィックス（３ＤＣＧ）を生成する機能を有する。
【００２７】
シリアルＩ／Ｆ１２６は、ＰＣ１２０と後述のシャッター１６０、プリンタ１７０とを接続するためのインターフェースとして機能し、シリアルＩ／Ｆ１２６を介してＰＣ１２０にシャッター１６０からボタンが押下されたことを示す信号が入力されたり、シリアルＩ／Ｆ１２６を介してＰＣ１２０からプリンタ１７０に対してプリント対象の複合現実空間画像を送信したりすることができる。
【００２８】
ＨＤＤ１２３はＰＣ１２０全体の制御を行うためのプログラムやデータ、プリンタ１７０を制御するためのプリンタドライバ、上記仮想空間管理プログラムや複合現実空間画像生成プログラム、各仮想物体の位置、形状など、仮想物体の画像を生成するために必要なデータ群、仮想空間の状態を示すデータ等を保存しており、これらのプログラムやデータは必要に応じてＣＰＵ１２１によりメモリ１２２にロードされる。
【００２９】
ＣＰＵ１２１はメモリ１２２にロードされたプログラムを実行したり、メモリ１２２にロードされたデータを参照することで、ＰＣ１２０の各部の制御を行い、複合現実空間画像を生成したり、ＰＣ１２０全体の制御を行うことができる。メモリ１２２は読み書き可能なメモリであって、ＣＰＵ１２１の実行対象であるＨＤＤ１２３からロードされたプログラムやその際に使用するデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１２１が各処理を行う際に用いるワークエリアも備える。もちろん上述の通り、仮想空間の画像と現実空間画像とが重畳された画像である複合現実空間画像を描画するためのエリアも備える。
【００３０】
キーボード１２４、マウス１２５はＣＰＵ１２１に対して各指示を入力するためのポインティングデバイスとして用いられ、例えば仮想物体の配置位置や仮想空間の状態設定などを入力するために用いられる。
【００３１】
上述の通り、キャプチャカード１３２にはビデオカメラ１４０が接続されており、ビデオカメラ１４０は上述の通り、現実空間の動画像を撮像し、撮像した各フレームの画像はキャプチャカード１３２を介してメモリ１２２に出力する。
【００３２】
また上述の通りグラフィックカード１３０にはモニタ１５０が接続されており、モニタ１６０はＣＲＴや液晶画面などにより構成されており、グラフィックカード１３０により生成された３ＤＣＧを表示すると共に、それに重畳されたビデオカメラ１４０により撮像された現実空間の動画像も表示する。すなわち、複合現実空間画像を表示する。また上述の通り、モニタ１５０は複合現実空間画像だけでなく、ＰＣ１２０を操作する際に必要な情報（システムメッセージやシステムの設定画面など）を表示する。
【００３３】
上記構成を備えるＰＣ１２０が上記仮想空間管理プログラムを実行することで行う処理について、同処理のフローチャートを示す図３を用いて説明する。
【００３４】
まず、キーボード１２４やマウス１２５等を用いて入力される仮想空間の状態情報（例えば、仮想物体の数や、種類、仮想空間内の光の強弱や色、天候など）に応じて、ＣＰＵ１２１はメモリ１２２に記憶されている仮想空間の状態を示すデータを更新する（ステップＳ３０２）。なお、本ステップでは、経過する時間に従って仮想空間管理プログラムが仮想空間の状態を示すデータを逐次、もしくは所定時間毎に更新しても良い。
【００３５】
次にＣＰＵ１２１は、更新した仮想空間の状態を示すデータを複合現実空間画像生成プログラムに通知する（ステップＳ３０４）。具体的には、このデータをメモリ１２２に記憶させると共に、複合現実空間画像生成プログラムを動作させる。そして、更新が終了したのであれば、本処理を終了する。
【００３６】
次に、上記構成を備えるＰＣ１２０が上記複合現実空間画像生成プログラムを実行することで行う処理について、同処理のフローチャートを示す図４を用いて説明する。
【００３７】
ＣＰＵ１２１は、メモリ１２２に記憶されている仮想空間の状態を示すデータを読み取り（ステップＳ７０２）、グラフィックカード１３０に仮想空間画像の描画指示を送ると、グラフィックカード１３０はこの状態を示すデータと、ＨＤＤ１２３からメモリ１２２にロードされた３ＤＣＧのデータ、そしてビデオカメラ１４０の位置姿勢を示すデータとを用いて、ビデオカメラ１４０位置姿勢に従った仮想空間画像を生成する（ステップＳ７０４）。すなわち、メモリ１２２上に仮想空間画像を描画する。
【００３８】
続いて、画像キャプチャスレッド（ステップＳ７３０）から継続的に送信されてきている、ビデオカメラ１４０によって撮像された現実空間画像を取得する（ステップＳ７０６）。ここで本プログラムは並列プログラミング技術の一つであるスレッドを応用して実装され、常に最新の現実空間画像を取得するようになっている。続いてグラフィックカード１３０は、取得された現実空間画像をメモリ１２２上に描画された仮想空間画像に重畳し、メモリ１２２上に複合現実空間画像を生成した後、モニタ１５０に出力する（ステップＳ７０８）。
【００３９】
ここでＣＰＵ１２１がシャッター１６０から、ボタンが押下されたことを示す信号を検知した場合、処理をステップＳ７１２に進め、この時点でメモリ１２２上に描画された複合現実空間画像をメモリ１２２上の複合現実空間画像を、描画したエリアとは別のエリアにコピーし（ステップＳ７１２）、画像出力スレッドに、コピーした複合現実空間画像のデータが記憶されているメモリ１２２上の位置（アドレス）を指示する（ステップＳ７１４）。
【００４０】
画像出力スレッドは指示されたアドレスに記憶されている上記複合現実空間画像のデータを取得し、取得したデータをプリンタ１７０に出力する（ステップＳ７４０）。その結果プリンタ１７０は、紙やＯＨＰなどの記録媒体上に複合現実空間画像をプリントする。
【００４１】
なおビデオカメラ１４０の設置位置および方向は座標軸２２０によって決まる座標値および姿勢値によって表現され、予め測定されており、上記複合現実空間画像生成プログラムの初期値として設定されている（上述の通り、メモリ１２２にデータとして記憶されている）。取得する複合現実空間画像の視点位置、姿勢（ビデオカメラ１４０の設置位置および設置姿勢）を変更したい場合は、その度に座標軸２２０におけるビデオカメラ１４０の位置および方向を実測し、初期設定を変更してやればよい。
【００４２】
以上の説明により、本実施形態におけるシステムによって、任意の視点における複合現実空間画像を、紙やＯＨＰなどの記録媒体によって取得することができる。
【００４３】
［第２の実施形態］
第１の実施形態に係るシステムは、一人の観察者に対してのみ、複合現実空間画像を取得可能にしていた。本実施形態に係るシステムでは複数の観察者に対して、夫々の観察者で異なる視点に基づいた複合現実空間画像を取得可能にする。以下、本実施形態に係るシステムについて説明する。
【００４４】
図５に本実施形態に係るシステムの構成を示す。同図において図１と同じ部分については同じ番号を付けており、その説明を省略する。観察者１００と観察者５００の夫々に対して複合現実空間画像を取得可能にする構成は第１の実施形態と同様である。すなわち観察者１００に対して設けられたシステム（ビデオカメラ１４０とモニタ１５０とＰＣ１２０とを含む画像処理装置１１０、プリンタ１７０、シャッター１６０からなるシステム）と同じシステム（ビデオカメラ５４０とモニタ５５０とＰＣ５２０とを含む画像処理装置５１０、プリンタ５７０、シャッター５６０からなるシステム）が観察者５００に対して設けられている。そして夫々の観察者に対して設けられたＰＣ同士はＬＡＮやインターネットなどのネットワーク１８０を介して接続されている。
【００４５】
また、本実施形態に係るシステムでは、仮想空間管理プログラムは夫々の観察者に対して設けられたＰＣ上で動作するのではなく、上記ネットワーク１８０に接続された画像処理装置１１２上で動作する。よって画像処理装置１１２は第１の実施形態で説明したように仮想空間の状態を更新し、夫々のＰＣ１２０，５２０は画像処理装置１１２上で動作する仮想空間管理プログラムによって更新された結果をネットワーク１８０を介して取得し、これを用いて夫々のＰＣに接続されたビデオカメラ１４０，５４０の位置姿勢に応じた仮想空間の画像を生成する。
【００４６】
このようにすることで、夫々のＰＣで生成される複合現実感画像は、同じ複合現実空間を共有しながらも、夫々で異なる視点位置姿勢によるものとなる。
【００４７】
図６は上記画像処理装置５１０の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。基本的には図２に示した構成と同じものであるが、ＰＣ５２０を上記ネットワーク１８０に接続するためのネットワークＩ／Ｆ１２７を更に設けた点が異なる。このネットワークＩ／Ｆ１２７を介して、画像処理装置１１２上で動作する仮想空間管理プログラムによって更新された結果を示すデータを受信することができる。
【００４８】
なお、図６に示した構成は観察者１００に対して設けられたシステムの構成として示したが、観察者５００に対して設けられたシステムの構成も同様のものであることは上述の通りである。
【００４９】
図７に上記画像処理装置１１２の構成を示す。画像処理装置１１２の構成は上記画像処理装置５１０から、ビデオカメラ、シャッター、プリンタを省いた構成である。図７において図１と同じ部分については同じ番号を付けており、その説明を省略する。
【００５０】
また、画像処理装置１１２が行う処理は、図３に示したフローチャートに従った処理となる。また、ＰＣ１２０、１５０が行う処理は、図４に示したフローチャートに従った処理となる。
【００５１】
また、夫々の観察者に対して設けたシステムの数を２のみでなく、それ以上に増やすことで、より多くの観察者に対して複合現実空間画像を取得可能にすることができる。
【００５２】
以上の説明により、本実施形態に係るシステムによって、複数の観察者に対して、夫々異なる視点位置姿勢に応じた複合現実空間の画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【００５３】
また複数の観察者が同時に同じ複合現実空間を観察することが可能になるばかりでなく、シャッター、プリンターを各観察者に対して設けたシステムに設けたことにより、各観察者が同時に複合現実空間画像を紙やＯＨＰなどの記録媒体によって取得することが可能になった。
【００５４】
［第３の実施形態］
本実施形態に係るシステムは、第２の実施形態で説明したシステムにおいて、任意の観察者に対して、モニタ１６０を介してではなく、撮像装置付の頭部搭載型表示装置（ＨＭＤ）４００を介して複合現実空間画像を提示する構成を備える。
【００５５】
図８に本実施形態に係るシステムの構成を示す。同図において第２の実施形態に係るシステムの構成を示す図５と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態では観察者１００に対しては第２の実施形態と同様の構成及び方法を用いて複合現実空間画像を提示し、観察者５００に対してＨＭＤ４００を用いて複合現実空間画像を提示する例を示す。以下、観察者５００に対して複合現実空間画像を提示するためのシステム（ＰＣ５２０とモニタ５５０と分配器６００とＨＭＤ４００を含む画像処理装置、シャッター５６０、プリンタ５７０、センサ系（３００乃至３２０）からなるシステム）について説明する。
【００５６】
観察者５００の頭部にはＨＭＤ４００が装着され、観察者５００の視点位置近傍の上記座標軸２００における位置、姿勢に応じた現実空間を上記撮像装置により撮像し、撮像した現実空間画像をＰＣ５２０に送る。観察者５００の視点の位置、姿勢は位置姿勢センサ系を構成する３００乃至３２０によって常時計測されており、計測された結果は画像処理装置１１２に送られ、管理される。
【００５７】
ＰＣ５２０は画像処理装置１１２で管理されている観察者５００の視点の位置姿勢を取得し、同様に取得した仮想空間の状態情報と観察者５００の視点の位置姿勢に応じた仮想空間画像を生成すると共に、ＨＭＤ４００から送られてきた現実空間画像と重畳して複合現実空間画像を生成する。
【００５８】
生成された複合現実空間画像は分配器６００を介してモニタ５５０に出力されると共に、ＨＭＤ４００に設けられた後述の表示部に出力され、夫々で表示される。これはＨＭＤ４００ではＰＣ５２０の操作用の表示装置としては不自由な点があるためと、ＨＭＤ４００を装着している観察者がどのような画像を見ているのかを観察者以外の者が知るためである。
【００５９】
これにより、観察者５００は自由に視点位置、姿勢を変えて、すなわち複合現実空間内を自由に動いて、その時々の視点位置姿勢に応じた複合現実空間画像を観察することができる。
【００６０】
ＨＭＤ４００の構成について図９〜１１を用いて説明する。なお各図において番号の後に「Ｒ」とつくものは観察者の右目用、「Ｌ」とつくものは左目用を表す。特に特定する必要のない場合、文中ではＲ、Ｌを省略して表記することにする。
【００６１】
図９はＨＭＤの基本構成を示す図、図１０，１１はＨＭＤ４００の外観図である。３２０は位置方向センサ受信機で、観察者の視点位置近傍に設けられており、後述する位置姿勢センサ発信機３１０、本体３００と共に動作し、観察者の視点位置および姿勢を常時計測している。
【００６２】
４１０，４１４，４１５は夫々表示系を構成しており、カラー液晶ディスプレイ４１４が表示する画像が光学プリズム４１５によって導かれ、表示部４１０に表示される。４１２、４１６、４１７は撮像系を構成しており、入力部４１２を介してＨＭＤの外部から入力された光が光学プリズム４１７によってＨＭＤ内部に導かれ、ＣＣＤ４１６で受光される。光学プリズム４１５の出力光と光学プリズム４１７の入力光は観察者の瞳の光軸と一致しており、ＣＣＤ４１６は観察者の視点位置、姿勢の現実空間画像を撮影し、カラー液晶ディスプレイ４１４はＣＣＤ４１６によって取得された現実空間画像と、位置姿勢センサ本体３００で算出される観察者の視点位置、姿勢に応じてＰＣ５２０で生成された仮想空間画像とをＰＣ５２０により合成した複合現実空間画像を表示する。
【００６３】
４２１〜４２５は頭部装着用の構成部材である。ＨＭＤ４００を頭部に装着するには、まず、アジャスタ４２２で長さ調整部４２３を緩めた状態で頭にかぶる。そして、額装着部４２５を額に密着させてから側頭装着部４２１と後頭装着部４２４を各々側頭部、後頭部に密着させるように、アジャスタ４２２で長さ調整部４２３を絞める。４２６はカラー液晶ディスプレイ４１４、ＣＣＤ４１６、位置姿勢センサ受信機３２０のための電源および信号線をまとめたものである。
【００６４】
次に観察者の視点位置、姿勢の計測方法について説明する。図８に示されているようにセンサ系（位置姿勢取得装置）は位置姿勢センサ本体３００、位置姿勢センサ発信機３１０、位置姿勢センサ受信機３２０により構成されている。位置姿勢センサ受信機３２０、位置姿勢センサ発信機３１０は位置姿勢センサ本体３００に接続されている。位置姿勢センサ発信機３１０からは磁気が発信されており、位置姿勢センサ受信機３２０がこの磁気を受信する。位置姿勢センサ本体３００は位置姿勢センサ受信機３２０が受信した磁気の強度から位置姿勢センサ受信機３２０の上記座標軸２００における位置、姿勢を公知の技術を用いて算出する。算出した結果は画像処理装置１１２に送られる。
【００６５】
位置姿勢センサ受信機３２０はＨＭＤ４００に固定されているため、位置姿勢センサ３２０とＨＭＤ４００を装着した観察者１００の入射瞳との相対的位置は定数となる。この定数と位置姿勢センサ受信機３２０の位置姿勢から観察者１００の入射瞳の位置を計算することができる。本実施例では観察者１００の入射瞳の位置を観察者１００の視点位置として利用する。
【００６６】
また、ＨＭＤ４００は観察者１００が正面に自然に瞳を向けた時に正しく画像が観察可能であるよう観察者１００に装着されている。よって、観察者がＨＭＤ４００に表示される画像を観察するとき、位置姿勢センサ受信機３２０の方向と観察者１００の視線方向は定数となる。この定数と位置姿勢センサ受信機３２０の位置姿勢から、ＨＭＤ４００の画像を観察している観察者１００の視線方向を計算することができる。
【００６７】
これら定数は予め測定されシステムに記憶されている。
【００６８】
本実施形態では位置姿勢取得装置として米国Polhemus社製FASTRAKや米国Ascension Technology社製Flock of Birdsなどを利用することを仮定しているが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。
【００６９】
以上説明したＨＭＤ４００と位置姿勢計測装置を利用することで、観察者５００は自由に視点位置、姿勢を任意に変更することができると共に、変更した視点位置、姿勢に応じた複合現実空間画像をＨＭＤ４００を介して観察することができる。
【００７０】
図１２は上記画像処理装置１２１０、ＨＭＤ４００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。図６、９と同じ部分については同じ番号を付けており、その説明を省略する。ただし、キャプチャカード１３２にはＨＭＤ４００を構成するＣＣＤ４１６Ｒが接続されており、グラフィックカード１３０には分配器６００が接続されている。また分配器６００はカラー液晶ディスプレイ４１４Ｌ、４１４Ｒの夫々に接続されている。分配器６００はＰＣ５２０で生成された複合現実空間画像をＨＭＤ４００とモニター５５０に分配する処理を行う。
【００７１】
図１３は画像処理装置１１２の基本構成を示すと共に、画像処理装置１１２と周辺機器との関係を示す図である。図７，８と同じ部分については同じ番号を付けており、その説明を省略する。画像処理装置１１２の基本構成については図７に示す画像処理装置と同じであるが、本実施形態に係る画像処理装置１１２のシリアルインターフェース１２６には上述の位置姿勢センサ本体３００が接続されており、位置姿勢センサ本体３００が位置姿勢センサ送信機３１０と位置姿勢センサ受信機３２０とにより得られる磁気の強度に基づいて求めた位置姿勢センサ受信機３２０の上記座標軸２００における位置、姿勢を、シリアルインターフェース１２６を介して画像処理装置１１２に送る。
【００７２】
画像処理装置１１２は送られた位置姿勢センサ受信機３２０の上記座標軸２００における位置、姿勢のデータを、仮想空間の状態情報と共にメモリ１２２やＨＤＤ１２３に記憶し、管理する。
【００７３】
また画像処理装置１１２では、仮想空間管理プログラムが動作していると共に、位置姿勢取得プログラムが動作している。画像処理装置１１２は位置姿勢取得プログラムを動作させることで、位置姿勢センサ本体３００を制御し、接続されている位置姿勢センサ受信機３２０の搭載されているＨＭＤ４００を装着している観察者の視点位置、視線方向を計測し、仮想空間管理プログラムに送信する処理を行う。
【００７４】
次に、画像処理装置１１２が上記仮想空間管理プログラムを実行することで行う処理について、同処理のフローチャートを示す図１４を用いて説明する。
【００７５】
まず位置姿勢取得プログラムから、現実空間状態情報（観察者の視点の位置姿勢を示すデータ）を受信する（ステップＳ１４０２）。そして次に仮想空間の状態情報を更新する処理を行うが（ステップＳ１４０４）、これに関しては第１の実施形態におけるステップＳ３０２と同じ処理であるのでその説明を省略する。そして、現実空間状態情報、仮想空間状態情報をＰＣ５２０で動作する複合現実空間画像生成プログラムに通知する（ステップＳ１４０６，１４０８）。具体的には、現実空間状態情報、仮想空間状態情報をネットワーク１８０を介してＰＣ５２０で動作する複合現実空間画像生成プログラムに通知する。
【００７６】
次に、ＰＣ５２０が上記複合現実空間画像生成プログラムを実行することで行う処理について、同処理のフローチャートを示す図１５を用いて説明する。まず、上記仮想空間管理プログラムから通知された仮想空間状態情報、現実空間状態情報を受信する（ステップＳ１５０２，ステップＳ１５０３）。そしてステップＳ７０４と同様に仮想空間状態情報を用いて仮想空間画像を（ステップＳ１５０４）生成する。また、ステップＳ７０４と同様の画像キャプチャスレッド（ステップＳ１５３０）から継続的に送信されてきている、ＨＭＤ４００によって撮像された現実空間画像を取得する（ステップＳ１５０６）。そしてグラフィックカード１３０は、取得された現実空間画像をメモリ１２２上に描画された仮想空間画像に重畳し、メモリ１２２上に複合現実空間画像を生成した後、ＨＭＤ４００に出力する（ステップＳ１５０８）。以降処理については図７に示したステップＳ７１０以降の各ステップと同じであるのでその説明を省略する。
【００７７】
以上の説明により、本実施形態に係るシステムによって、任意の視点位置、姿勢に応じた複合現実空間の画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【００７８】
なお本実施形態では一人の観察者のみにＨＭＤを用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してＰＣ、モニタ、プリンタ、分配器、ＨＭＤ、センサ系を設け、画像処理装置１１２で動作する位置姿勢取得プログラムは、夫々のセンサ系から夫々の観察者の視点位置、姿勢を取得、管理し、必要に応じて夫々のＰＣに観察者の視点の位置、姿勢のデータを送信する。
【００７９】
［第４の実施形態］
本実施形態に係るシステムは、現実空間を撮像する装置として、望遠鏡型撮像装置を用いる。図１６に本実施形態に係るシステムの構成を示す。同図において第２の実施形態に係るシステムの構成を示す図５と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態では観察者１００に対しては第２の実施形態と同様の構成及び方法を用いて複合現実空間画像を提示し、観察者５００に対して望遠鏡型撮像装置１６００を用いて複合現実空間画像を提示する例を示す。以下、観察者１６００に対して複合現実空間画像を提示するためのシステム（ＰＣ５２０とモニタ５５０と分配器６００と望遠鏡型撮像装置１６００を含む画像処理装置、シャッター５６０、プリンタ５７０からなるシステム）について説明する。
【００８０】
望遠鏡型撮像装置１６００は地面に固定された支柱１６９０に、同図矢印方向に回転可能なように取り付けられている。また、望遠鏡型撮像装置１６００における取り付け部には、望遠鏡型撮像装置１６００の向き（姿勢）を計測するための姿勢計測装置（ジャイロ）１６２０が備わっている。ジャイロ１６２０をこの部分に取り付ける理由としては、この部分を観察者の視点位置とするためである。他の部分を観察者の視点の位置とすると、望遠鏡型撮像装置１６００の回転により、視点位置が変化してしまうからである。ジャイロ１６２０は視点の姿勢を計測するものであるから、上述の位置に取り付ける必要がある。ジャイロ１６２０により計測された視点の姿勢を示すデータはＰＣ５２０に送られる。
【００８１】
また視点位置（ジャイロ１６２０を取り付けた位置近傍の位置）には小型撮像装置（小型ビデオカメラ）１６１０が取り付けられ、現実空間の動画像を撮像する。撮像した現実空間の画像はＰＣ１６４０に送られる。
【００８２】
望遠鏡型撮像装置１６００には小型表示装置１６３０が取り付けられており、小型表示装置１６３０には、小型撮像装置１６１０により撮像された現実空間画像とジャイロ１６２０により計測された視点の姿勢のデータをＰＣ５２０に送ることでＰＣ１６４０で生成され、分配器６００を介して送られてくる複合現実空間画像が表示される。
【００８３】
図１７は上記ＰＣ５２０、望遠鏡型撮像装置１６００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。図６、１２と同じ部分については同じ番号を付けており、その説明を省略する。ただし、キャプチャカード１３２には望遠鏡型撮像装置１６００を構成する小型撮像装置１６１０が接続されており、グラフィックカード１３０には分配器６００が接続されている。また分配器６００は小型表示装置１６３０に接続されている。分配器６００はＰＣ５２０で生成された複合現実空間画像を小型表示装置１６３０とモニタ５５０に分配する処理を行う。
【００８４】
一方、画像処理装置１１２の構成、及び画像処理装置１１２が行う処理については第２の実施形態と同じであるので、その説明を省略する。
【００８５】
本実施形態における画像処理装置１１２では仮想空間管理プログラムが動作しており、ＰＣ５２０では位置姿勢取得プログラム、複合現実空間画像生成プログラムが動作している。
【００８６】
画像処理装置１１２が仮想空間管理プログラムを動作させることで行う処理のフローチャートは図１４に示したフローチャートにおいて、ステップＳ１４０２で後述の位置姿勢取得プログラムによって通知された視点の姿勢を受信する以外は同じフローチャートである。
【００８７】
ＰＣ５２０は位置姿勢取得プログラムを動作させることで、ジャイロ１６２０を制御し、視線の姿勢を計測し、上記仮想空間管理プログラムに送信する。なお視点位置は、座標軸２００における望遠鏡型撮像装置１６００の回転軸の位置、小型表示装置の入射瞳の位置、望遠鏡型撮像装置１６００の姿勢から計算で求めることが可能である。座標軸２００における望遠鏡型撮像装置１６００の回転軸の位置、小型表示装置の入射瞳の位置は予めシステム（メモリ１２２、ＨＤＤ１２３など）に記憶されているものとする。
【００８８】
また、ＰＣ５２０が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートは図１５において、ステップＳ１５０３で、上記仮想空間管理プログラムによって通知された視点の姿勢を示すデータを現実空間状態情報として受信する処理を行う点以外は同じである。
【００８９】
以上の説明により、本実施形態に係るシステムにより、現実空間を撮像する装置と複合現実空間画像を表示する装置とを身につける手間がかからず、視点の任意の姿勢に応じた複合現実空間の画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【００９０】
なお本実施形態では一人の観察者のみに望遠鏡型撮像装置を用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してＰＣ、モニタ、プリンタ、分配器、望遠鏡型撮像装置、ジャイロを設け、画像処理装置１１２で動作する仮想空間管理プログラムは、夫々のセンサ系から夫々の観察者の視点姿勢を取得、管理し、必要に応じて夫々のＰＣに観察者の視点の姿勢のデータを送信する。
【００９１】
［第５の実施形態］
本実施形態に係るシステムの構成は基本的には第３の実施形態に係るシステムの構成と同じであるが、観察者５００に対して提示するためのＨＭＤの表示部に表示する複合現実画像を、立体画像として観察者５００に対して提供する点が異なる。以下、本実施形態に係るシステムについて説明する。なおＨＭＤとしては図９乃至１１に示したものを用いるとする。
【００９２】
ＨＭＤ４００の右目用表示部４１０Ｒに表示される複合現実空間画像と左目用表示部４１０Ｌに表示される複合現実空間画像を独立に生成することで、ＨＭＤ４００を装着している観察者は複合現実空間画像を立体画像として観察することができる。
【００９３】
図１８は観察者に対して複合現実空間画像を立体画像として提供するための画像処理装置１８１０の基本構成とシャッター５６０、プリンタ５７０との関係を示す図である。図１２と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態に係る画像処理装置１８１０を構成するＰＣ１８００にはキャプチャカード、グラフィックカードは夫々右目用、左目用に設けられている。すなわち右目用、左目用のキャプチャカード１３２Ｒ、１３２Ｌは夫々ＨＭＤ４００の右目用、左目用のＣＣＤ４１６Ｒ、４１６Ｌにと接続しており、右目用のＣＣＤ４１６Ｒにより撮像された現実空間の画像は右目用キャプチャカード１３２Ｒを介してメモリ１２２に、左目用のＣＣＤ４１６Ｌにより撮像された現実空間の画像は左目用キャプチャカード１３２Ｌを介してメモリ１２２に、夫々送られる。
【００９４】
ＰＣ１８００では第３の実施形態で説明した複合現実空間画像の生成処理を左目用、右目用に行い、右目用複合現実空間画像、左目用複合現実空間画像を生成する。生成された右目用複合現実空間画像は右目用グラフィックカード１３０Ｒ、分配器６００を介して右目用のカラー液晶ディスプレイ４１４Ｒとモニタ５５０に、生成された左目用複合現実空間画像は左目用グラフィックカード１３０Ｌを介して左目用のカラー液晶ディスプレイ４１４Ｌに夫々出力される。これにより、ＨＭＤ４００を装着した観察者の左目と右目とに対して、夫々独立した複合現実空間画像を提示することができる。
【００９５】
なお、モニタ５５０に表示する複合現実空間画像は右目用複合現実空間画像に限らず、左目用の複合現実空間画像でも良い。その場合、分配器６００を左目用グラフィックカード１３０Ｌとカラー液晶ディスプレイ４１４Ｌとの間に設ければよい。
【００９６】
次に、右目用、左目用の複合現実空間画像を生成する処理について以下、説明する。この処理はＰＣ１８００により複合現実空間画像生成プログラムを動作させることで行うが、複合現実空間映像生成プログラムは右目用と左目用の２つがメモリ１２２に記憶されており、ＰＣ１８００は夫々を独立して並列に動作させる。また、本実施形態ではセンサ系により得られる視点の位置、姿勢は、同じ座標軸における右目の位置と視線方向とするので、左目の同座標軸における位置と視線方向を求める処理が必要となる。
【００９７】
ＰＣ１８００が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートを図１９に示す。同図のフローチャートは図１５に示したフローチャートに更にステップＳ１５３０、Ｓ１５３２を加えたものであるが、これらのステップによる処理は上述の通り、左目の位置を求める処理である。なお、左目の視線方向は計測した右目の視線方向と同じものであると仮定する。
【００９８】
ステップＳ１５３０で、処理が左目用のものである場合には処理をステップＳ１５３２に進め、右目の位置から観察者の両目の間隔だけずらした位置を左目の位置として求める。なお、観察者の両目の間隔は予め求めておき、メモリ１２２、もしくはＨＤＤ１２３に記憶させておく。
【００９９】
また、ステップＳ１５１０以降処理については２つの複合現実空間画像生成プログラムのうち、何れかのプログラムを動作させればよい。
【０１００】
以上の説明により、本実施形態に係るシステムによって、観察者に対して複合現実空間画像を立体画像として提示することができる。これにより、観察者はより的確に複合現実空間を観察することができるので、取得したい複合現実空間の領域をより的確に決めることができ、決めた領域の複合現実空間画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【０１０１】
なお本実施形態では一人の観察者のみにＨＭＤを用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してＰＣ、モニタ、プリンタ、分配器、ＨＭＤ、センサ系を設け、画像処理装置１１２で動作する位置姿勢取得プログラムは、夫々のセンサ系から夫々の観察者の視点位置、姿勢を取得、管理し、必要に応じて夫々のＰＣに観察者の視点の位置、姿勢のデータを送信する。
【０１０２】
［第６の実施形態］
本実施形態に係るシステムは上記各実施形態と同様に複数の観察者に対して複合現実空間画像を提示するが、特定の観察者のみが他の観察者が観察している複合現実空間画像のうち、特定の画像を選択し、プリンタに出力させることができる。以下、本実施形態に係るシステムについて説明する。
【０１０３】
図２０は本実施形態に係るシステムの構成を示す図である。同図において第３の実施形態で用いた図８と同じ部分には同じ番号を付けており、その説明を省略する。図２０では上記特定の観察者、すなわち複合現実空間画像を取得する観察者（複合現実空間画像取得者）は１０２で示されており、その他の観察者２００１，２００２は複合現実空間画像の取得操作、すなわちシャッターを押下する操作は行わずに、複合現実空間画像の観察のみを行う。
【０１０４】
観察者２００１，２００２に対して夫々複合現実空間画像を提示するためのシステムの構成は第３の実施形態で説明したものと同じものである。そこで以下では、観察者１０２が他の観察者（同図では観察者２００１，２００２）が観察している複合現実空間画像をプリンタ１７０を用いてプリントするためのシステムについて説明する。
【０１０５】
観察者１０２は第１の実施形態と同様に手にはシャッター１６０を持っており、このシャッター１６０を押下することで上記実施形態で説明したように、画像処理装置１１４のメモリに格納された複合現実空間画像データをプリンタ１７０に出力する。画像処理装置１１４のメモリに格納される複合現実空間画像データは、観察者１０２以外の観察者に対して複合現実空間画像を提示する夫々の画像処理装置のうち、切り替え器２０００によって選択された画像処理装置により生成される複合現実空間画像のデータである。
【０１０６】
図２１に画像処理装置１１４の基本構成と、切り替え器２０００、そしてシャッター１６０、プリンタ１７０との関係を示す。なお、図２，６と同じ部分については同じ番号を付けており、その説明を省略する。
【０１０７】
複合現実空間画像取得者１０２がシャッター１６０のボタンを押下することにより、ＣＰＵ１２１は切り替え器２０００によって選択されている画像処理装置に対して、この画像処理装置のメモリに上記押下時（実際にはタイムディレイが生じるが）に格納されている複合現実空間画像データを画像処理装置１１４に送信するように指示する。指示された画像処理装置は、生成した複合現実空間画像データを切り替え器２０００を介して画像処理装置１１４に送信し、送信された複合現実空間画像はグラフィックカード１３０を介してメモリ１２２に格納される。これにより画像処理装置１１４では切り替え器２０００によって選択された画像処理装置により生成された複合現実空間画像データ（言い換えれば、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、選択された複合現実空間画像のデータ）を得ることができるので、上述の実施形態と同様に、メモリ１２２に格納されたこの画像のデータをプリンタ１７０に出力することができる。
【０１０８】
なお、切り替え器２０００の制御、すなわち、どの画像処理装置から複合現実空間画像を送信してもらうかの制御は、キーボード１２４やマウス１２５を用いて、モニタ１５４の表示画面上に表示される不図示のＧＵＩなどを用いて設定する。
【０１０９】
また、切り替え器２０００にはモニタ１５４も接続されており、切り替え器２０００によって選択された画像処理装置により生成された複合現実空間画像は切り替え器を介してモニタ１５４に出力されるので、モニタ１５４にはこの複合現実空間画像を表示することができる。モニタ１５４に表示することによって、複合現実空間画像取得者１０２はどの画像処理装置で生成された複合現実空間画像をプリンタ１７０に出力するかを選択する（切り替え器２０００を制御する）ことができる。
【０１１０】
複合現実空間画像取得者１０２以外の観察者に対して複合現実空間画像を提示する画像処理装置では第３の実施形態の通り複合現実空間画像生成プログラムが動作しており、画像処理装置１１２では第３の実施形態の通り、位置姿勢取得プログラムと仮想空間管理プログラムが動作している。夫々のプログラムの動作については第３の実施形態の説明の通りである。
【０１１１】
以上の説明により、本実施形態におけるシステムによって、複数の観察者による任意の視点における夫々の複合現実空間画像のうち、１つを選択して、紙やＯＨＰなどの記録媒体によって取得することができる。
【０１１２】
なお本実施形態に係るシステムでは複合現実空間画像取得者に対する画像処理装置、プリンタは夫々１つずつであったがが、複数であっても良い。また、プリンタはネットワーク１８０に接続されているどの画像処理装置に接続されていても構わない。
【０１１３】
［第７の実施形態］
第６の実施形態に係るシステムでは、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、１つを選択し、選択した画像のみをプリントの対象としていたが、本実施形態に係るシステムでは、１つ以上、すなわち複数の複合現実空間画像を選択することができ、選択した夫々の複合現実空間画像を縮小し、縮小した夫々の複合現実空間画像を含む画像を生成し、この画像をプリント対象とする。以下、本実施形態に係るシステムについて説明する。
【０１１４】
図２２は本実施形態に係るシステムの構成を示す図である。基本的には第６の実施形態に係るシステムの構成（図２０に示す構成）と同じであるが、本実施形態では切り替え器２０００の代わりに、選択器２６００、合成器２５００が用いられている点以外は第６の実施形態に係るシステムと同じ構成である。よって以下ではこの選択器２６００、合成器２５００について説明する。
【０１１５】
選択器２６００では複合現実空間画像取得者１０２以外の観察者に対して複合現実空間画像を提示する画像処理装置において任意の画像処理装置（１つ以上の画像処理装置）から複合現実空間画像を取得することができる。取得した複合現実空間画像は合成器２５００に送られる。
【０１１６】
送られた複合現実空間画像が複数の場合、合成器２５００では、夫々の画像を縮小し、縮小した夫々の画像を含む１つの画像（合成画像）を生成する。例えば合成器２５００が４つの複合現実空間画像を得た場合、生成する合成画像は例えば図２３に示すとおりとなる。図２３は縮小した４つの複合現実空間画像の夫々を含む合成画像の例を示す図である。同図では画像処理装置１，２，３，４の夫々から得られた複合現実空間画像を縮小している。なお、各画像の配置順やレイアウトに関してはこれに限定されるものではない。なお、送られた複合現実空間画像が１つの場合にはこの処理を省略し、送られた画像を合成画像として以下扱う。合成器２５００によって生成された合成画像はモニタ１５４に表示される共に、プリントの対象となる。
【０１１７】
図２４に画像処理装置１１４の基本構成と、選択器２６００、合成器２５００、そしてシャッター１６０、プリンタ１７０との関係を示す。なお、図２１と同じ部分については同じ番号を付けており、その説明を省略する。
【０１１８】
複合現実空間画像取得者１０２がシャッター１６０のボタンを押下することにより、ＣＰＵ１２１は選択器２６００によって選択されている画像処理装置に対して、この画像処理装置のメモリに上記押下時（実際にはタイムディレイが生じるが）に格納されている複合現実空間画像データを画像処理装置１１４に送信するように指示する。指示された画像処理装置は、生成した複合現実空間画像データを選択器２６００を介して合成器２５００に送信する。合成器２５００では上述の通り、送信された複合現実空間画像を用いて１つの合成画像を生成し、生成した合成画像をメモリ１２２に送り、メモリ１２２はこの合成画像を記憶する。これにより画像処理装置１１４では選択器２６００によって選択された画像処理装置により生成された複合現実空間画像データ（言い換えれば、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、選択された複合現実空間画像のデータ）を含む合成画像を得ることができるので、上述の実施形態と同様に、メモリ１２２に格納されたこの画像のデータをプリンタ１７０に出力することができる。
【０１１９】
なお、選択器２６００の制御、すなわち、どの画像処理装置から複合現実空間画像を送信してもらうかの制御は、キーボード１２４やマウス１２５を用いて、モニタ１５４の表示画面上に表示される不図示のＧＵＩなどを用いて設定する。
【０１２０】
また、合成画像合成器２５００にはモニタ１５４も接続されており、選択器２６００によって選択された画像処理装置により生成された複合現実空間画像を含む合成画像はモニタ１５４に出力されるので、モニタ１５４にはこの合成画像を表示することができる。モニタ１５４に表示することによって、複合現実空間画像取得者１０２はどの画像処理装置で生成された複合現実空間画像を合成画像に含めるかを選択する（選択器２６００を制御する）ことができる。
【０１２１】
複合現実空間画像取得者１０２以外の観察者に対して複合現実空間画像を提示する画像処理装置では第３の実施形態の通り複合現実空間画像生成プログラムが動作しており、画像処理装置１１２では第３の実施形態の通り、位置姿勢取得プログラムと仮想空間管理プログラムが動作している。夫々のプログラムの動作については第３の実施形態の説明の通りである。
【０１２２】
以上の説明により、本実施形態におけるシステムによって、複数の観察者による任意の視点における夫々の複合現実空間画像のうち、複数を選択することができ、選択した複数の複合現実空間画像を、紙やＯＨＰなどの記録媒体によって取得することができる。
【０１２３】
なお本実施形態に係るシステムでは複合現実空間画像取得者に対する画像処理装置、プリンタは夫々１つずつであったがが、複数であっても良い。また、プリンタはネットワーク１８０に接続されているどの画像処理装置に接続されていても構わない。
【０１２４】
［その他の実施の形態］
さらに、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（CPUあるいはMPU）に、上記実施形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。
【０１２５】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【０１２６】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【０１２７】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【０１２８】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。
【０１２９】
【発明の効果】
以上の説明により、本発明によって、複合現実空間画像を取得することができる。
【図面の簡単な説明】
【図１】観察者と、この観察者に対して複合現実空間の画像を取得可能にする本発明の第１の実施形態に係るシステムの構成を示す図である。
【図２】上記画像処理装置１１０の基本構成と共に、シャッター１６０、プリンタ１７０との関係を示すブロック図である。
【図３】ＰＣ１２０が上記仮想空間管理プログラムを実行することで行う処理のフローチャートである。
【図４】ＰＣ１２０が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図５】本発明の第２の実施形態に係るシステムの構成を示す。
【図６】画像処理装置５１０の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。
【図７】画像処理装置１１２の構成を示す図である。
【図８】本発明の第３の実施形態に係るシステムの構成を示す図である。
【図９】ＨＭＤの基本構成を示す図である。
【図１０】ＨＭＤ４００の外観図である。
【図１１】ＨＭＤ４００の外観図である。
【図１２】画像処理装置１２１０、ＨＭＤ４００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。
【図１３】画像処理装置１１２の基本構成を示すと共に、画像処理装置１１２と周辺機器との関係を示す図である。
【図１４】画像処理装置１１２が仮想空間管理プログラムを実行することで行う処理のフローチャートである。
【図１５】ＰＣ５２０が複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図１６】本発明の第４の実施形態に係るシステムの構成を示す図である。
【図１７】ＰＣ５２０、望遠鏡型撮像装置１６００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。
【図１８】観察者に対して複合現実空間画像を立体画像として提供するための画像処理装置１８１０の基本構成とシャッター５６０、プリンタ５７０との関係を示す図である。
【図１９】ＰＣ１８００が複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図２０】本発明の第６の実施形態に係るシステムの構成を示す図である。
【図２１】画像処理装置１１４の基本構成と、切り替え器２０００、そしてシャッター１６０、プリンタ１７０との関係を示す。
【図２２】本発明の第７の実施形態に係るシステムの構成を示す図である。
【図２３】縮小した４つの複合現実空間画像の夫々を含む合成画像の例を示す図である。
【図２４】画像処理装置１１４の基本構成と、選択器２６００、合成器２５００、そしてシャッター１６０、プリンタ１７０との関係を示す。
【発明の属する技術分野】
本発明は、現実空間の画像と仮想空間の画像とを重畳した複合現実空間画像を生成する画像処理装置、画像処理方法に関するものである。
【０００２】
【従来の技術】
静止画や動画が撮像可能なカメラなどの撮像装置を用いて撮像した現実空間の画像に、コンピュータ内で生成された仮想物体の画像を重畳することで、複合現実空間の画像を生成することができる。そしてこの画像を表示装置の表示画面上に表示させることで、ユーザに提示することができる。
【０００３】
また、ユーザが上記複合現実空間の画像を何らかの形で取得したい場合、従来では上記表示画面を更にカメラなどの撮像装置を用いて撮影し、電子データやフィルムに焼き付けることで、この画面に表示されている画像を取得してていた。
【０００４】
【発明が解決しようとする課題】
しかし、上記方法では、表示装置に表示されている画像を撮影するために、得られる画像の画質が悪い上に、画像内に表示装置自体が含まれてしまうこともあった。
【０００５】
さらには撮影者の望む視点位置、視線方向の複合現実空間の画像を撮影することはほとんど出来ないばかりでなく、観察者と仮想物体とが相互交流している様子を理解可能な興味深い画像を得ることは至難であった。
【０００６】
本発明は以上の問題に鑑みてなされたものであり、複合現実空間画像を取得可能な画像処理装置、画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【０００８】
すなわち、現実空間の画像を撮像する撮像装置を仮想空間における視点とし、前記現実空間と前記仮想空間とで共有される座標系における前記視点の位置姿勢に応じた仮想空間の画像を生成する生成部と、前記現実空間の画像と前記仮想空間の画像とを合成して複合現実空間画像を生成する合成部と、を有する複数の外部装置とのデータ通信が可能であると共に、プリント手段に接続されている画像処理装置であって、
前記複数の外部装置から２以上を選択する選択手段と、
前記選択手段が選択したそれぞれの外部装置の合成部が生成した複合現実空間画像を取得する取得手段と、
前記取得手段が取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成する生成手段と、
前記生成手段が生成した１枚の画像を表示する表示手段と、
プリント指示を受け付ける手段と、
前記プリント指示が入力された場合には、前記選択手段が選択したそれぞれの外部装置に対して複合現実空間画像を要求し、当該要求に応じて前記選択手段が選択したそれぞれの外部装置から送信された複合現実空間画像を取得し、取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成し、生成した１枚の画像を前記プリント手段に出力する出力手段と
を備えることを特徴とする。
【００１１】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１２】
すなわち、現実空間の画像を撮像する撮像装置を仮想空間における視点とし、前記現実空間と前記仮想空間とで共有される座標系における前記視点の位置姿勢に応じた仮想空間の画像を生成する生成部と、前記現実空間の画像と前記仮想空間の画像とを合成して複合現実空間画像を生成する合成部と、を有する複数の外部装置とのデータ通信が可能であると共に、プリント手段に接続されている画像処理装置が行う画像処理方法であって、
前記複数の外部装置から２以上を選択する選択工程と、
前記選択工程で選択したそれぞれの外部装置の合成部が生成した複合現実空間画像を取得する取得工程と、
前記取得工程で取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成する生成工程と、
前記生成工程で生成した１枚の画像を表示する表示工程と、
プリント指示を受け付ける工程と、
前記プリント指示が入力された場合には、前記選択工程で選択したそれぞれの外部装置に対して複合現実空間画像を要求し、当該要求に応じて前記選択工程で選択したそれぞれの外部装置から送信された複合現実空間画像を取得し、取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成し、生成した１枚の画像を前記プリント手段に出力する出力工程と
を備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１６】
［第１の実施形態］
図１は観察者と、この観察者に対して複合現実空間の画像を取得可能にする本実施形態に係るシステムの構成を示す図である。１００は複合現実空間画像を観察する観察者である。１１０は観察者一人分の複合現実空間画像を生成する画像処理装置１１０で、パーソナルコンピュータ（ＰＣ）１２０、現実空間の動画像を撮像するビデオカメラ１４０、モニタ１５０で構成される処理装置である。ＰＣ１２０では仮想空間管理プログラムと複合現実空間画像生成プログラムが動作している。
【００１７】
仮想空間管理プログラムはＰＣ１２０により実行されることで仮想空間の状態を更新し、更新結果を複合現実空間画像生成プログラムに通知する機能を有する。複合現実空間画像生成プログラムはＰＣ１２０により実行されることで、仮想空間管理プログラムから通知された仮想空間の状態に基づいて仮想空間画像をメモリ上に描画すると共に、ビデオカメラ１４０から取得した現実空間画像をメモリ上に描画された仮想空間画像に合成する。即ちメモリ上には複合現実空間画像が描画される。そしてメモリ上に描画された複合現実空間画像はモニタ１５０に表示される。
【００１８】
観察者１００はモニタ１５０に表示された複合現実空間画像を見ることで、複合現実空間画像を観察することができる。なお、モニタ１５０は複合現実空間画像だけでなく、ＰＣ１２０を操作する際に必要な情報（システムメッセージやシステムの設定画面など）を表示することもある。
【００１９】
観察者１００が手にしているのはシャッター１６０である。シャッター１６０はプッシュボタンスイッチで構成されており、スイッチが観察者１００により押下されると、シャッター１６０からは押下されたことを示す信号がＰＣ１２０に出力される。ＰＣ１２０がこの信号を検知すると、検知した時点でＰＣ１２０のメモリに記憶されている複合現実空間画像をプリンタ１７０に出力する。
【００２０】
プリンタ１７０は、その記録方式は特に限定するものではなく、ＰＣ１２０から送られた複合現実空間画像を紙やＯＨＰ等の記録媒体上に画像として記録することができればよい。
【００２１】
２００は予め定義されており、仮想物体を現実空間のどの位置に設定するのかを決めるために使用される座標軸で、座標軸２００は現実空間と仮想空間で共有される。座標軸の設定方法に関しては複合現実空間を生成するための技術として公知のものであるのでここでの詳細な説明は省略する。
【００２２】
２１０は複合現実空間画像生成可能領域である。即ちこの領域に存在する現実物体についてはその位置、形状がＰＣ１２０によって管理されており、現実物体と仮想物体との位置の重なりが発生したことが検出可能な領域である。この領域の位置、サイズを示すデータはＰＣ１２０のメモリ上に記録されている。２２０、２２２は現実物体で、同図では石柱と岩を例として示しているが、現実物体がこれに限定されないことは明らかである。また、この仮想物体の画像は仮想空間画像に含まれるものであり、ビデオカメラ１４０を仮想空間における視点とし、この視点の位置姿勢に応じて見える仮想物体の形状の画像である。仮想空間の画像が動画像である場合には常に最新の画像（最新フレームの画像）がＰＣ１２０のメモリ上に描画される。ビデオカメラ１４０の位置姿勢を示すデータは、メモリ１２２に記憶されているものとする。
【００２３】
図２は上記画像処理装置１１０の基本構成と共に、シャッター１６０、プリンタ１７０との関係を示すブロック図である。画像処理装置１１０は大まかには上述の通り、ＰＣ１２０、ビデオカメラ１４０、モニタ１５０に大別される。
【００２４】
ＰＣ１２０はキャプチャカード１３２，グラフィックカード１３０、シリアルＩ／Ｆ１２６，ＨＤＤ１２３，ＣＰＵ１２１、メモリ１２２、キーボード１２４、マウス１２５により構成されている。
【００２５】
キャプチャカード１３２はＰＣ１２０とビデオカメラ１４０とを接続するためのインターフェースとして機能し、ビデオカメラ１４０により撮像された各フレームの現実空間の画像がキャプチャカード１３２を介してメモリ１２２に転送される。
【００２６】
グラフィックカード１３０は上記仮想物体の画像である３次元コンピュータグラフィックス（３ＤＣＧ）を生成する機能を有する。
【００２７】
シリアルＩ／Ｆ１２６は、ＰＣ１２０と後述のシャッター１６０、プリンタ１７０とを接続するためのインターフェースとして機能し、シリアルＩ／Ｆ１２６を介してＰＣ１２０にシャッター１６０からボタンが押下されたことを示す信号が入力されたり、シリアルＩ／Ｆ１２６を介してＰＣ１２０からプリンタ１７０に対してプリント対象の複合現実空間画像を送信したりすることができる。
【００２８】
ＨＤＤ１２３はＰＣ１２０全体の制御を行うためのプログラムやデータ、プリンタ１７０を制御するためのプリンタドライバ、上記仮想空間管理プログラムや複合現実空間画像生成プログラム、各仮想物体の位置、形状など、仮想物体の画像を生成するために必要なデータ群、仮想空間の状態を示すデータ等を保存しており、これらのプログラムやデータは必要に応じてＣＰＵ１２１によりメモリ１２２にロードされる。
【００２９】
ＣＰＵ１２１はメモリ１２２にロードされたプログラムを実行したり、メモリ１２２にロードされたデータを参照することで、ＰＣ１２０の各部の制御を行い、複合現実空間画像を生成したり、ＰＣ１２０全体の制御を行うことができる。メモリ１２２は読み書き可能なメモリであって、ＣＰＵ１２１の実行対象であるＨＤＤ１２３からロードされたプログラムやその際に使用するデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１２１が各処理を行う際に用いるワークエリアも備える。もちろん上述の通り、仮想空間の画像と現実空間画像とが重畳された画像である複合現実空間画像を描画するためのエリアも備える。
【００３０】
キーボード１２４、マウス１２５はＣＰＵ１２１に対して各指示を入力するためのポインティングデバイスとして用いられ、例えば仮想物体の配置位置や仮想空間の状態設定などを入力するために用いられる。
【００３１】
上述の通り、キャプチャカード１３２にはビデオカメラ１４０が接続されており、ビデオカメラ１４０は上述の通り、現実空間の動画像を撮像し、撮像した各フレームの画像はキャプチャカード１３２を介してメモリ１２２に出力する。
【００３２】
また上述の通りグラフィックカード１３０にはモニタ１５０が接続されており、モニタ１６０はＣＲＴや液晶画面などにより構成されており、グラフィックカード１３０により生成された３ＤＣＧを表示すると共に、それに重畳されたビデオカメラ１４０により撮像された現実空間の動画像も表示する。すなわち、複合現実空間画像を表示する。また上述の通り、モニタ１５０は複合現実空間画像だけでなく、ＰＣ１２０を操作する際に必要な情報（システムメッセージやシステムの設定画面など）を表示する。
【００３３】
上記構成を備えるＰＣ１２０が上記仮想空間管理プログラムを実行することで行う処理について、同処理のフローチャートを示す図３を用いて説明する。
【００３４】
まず、キーボード１２４やマウス１２５等を用いて入力される仮想空間の状態情報（例えば、仮想物体の数や、種類、仮想空間内の光の強弱や色、天候など）に応じて、ＣＰＵ１２１はメモリ１２２に記憶されている仮想空間の状態を示すデータを更新する（ステップＳ３０２）。なお、本ステップでは、経過する時間に従って仮想空間管理プログラムが仮想空間の状態を示すデータを逐次、もしくは所定時間毎に更新しても良い。
【００３５】
次にＣＰＵ１２１は、更新した仮想空間の状態を示すデータを複合現実空間画像生成プログラムに通知する（ステップＳ３０４）。具体的には、このデータをメモリ１２２に記憶させると共に、複合現実空間画像生成プログラムを動作させる。そして、更新が終了したのであれば、本処理を終了する。
【００３６】
次に、上記構成を備えるＰＣ１２０が上記複合現実空間画像生成プログラムを実行することで行う処理について、同処理のフローチャートを示す図４を用いて説明する。
【００３７】
ＣＰＵ１２１は、メモリ１２２に記憶されている仮想空間の状態を示すデータを読み取り（ステップＳ７０２）、グラフィックカード１３０に仮想空間画像の描画指示を送ると、グラフィックカード１３０はこの状態を示すデータと、ＨＤＤ１２３からメモリ１２２にロードされた３ＤＣＧのデータ、そしてビデオカメラ１４０の位置姿勢を示すデータとを用いて、ビデオカメラ１４０位置姿勢に従った仮想空間画像を生成する（ステップＳ７０４）。すなわち、メモリ１２２上に仮想空間画像を描画する。
【００３８】
続いて、画像キャプチャスレッド（ステップＳ７３０）から継続的に送信されてきている、ビデオカメラ１４０によって撮像された現実空間画像を取得する（ステップＳ７０６）。ここで本プログラムは並列プログラミング技術の一つであるスレッドを応用して実装され、常に最新の現実空間画像を取得するようになっている。続いてグラフィックカード１３０は、取得された現実空間画像をメモリ１２２上に描画された仮想空間画像に重畳し、メモリ１２２上に複合現実空間画像を生成した後、モニタ１５０に出力する（ステップＳ７０８）。
【００３９】
ここでＣＰＵ１２１がシャッター１６０から、ボタンが押下されたことを示す信号を検知した場合、処理をステップＳ７１２に進め、この時点でメモリ１２２上に描画された複合現実空間画像をメモリ１２２上の複合現実空間画像を、描画したエリアとは別のエリアにコピーし（ステップＳ７１２）、画像出力スレッドに、コピーした複合現実空間画像のデータが記憶されているメモリ１２２上の位置（アドレス）を指示する（ステップＳ７１４）。
【００４０】
画像出力スレッドは指示されたアドレスに記憶されている上記複合現実空間画像のデータを取得し、取得したデータをプリンタ１７０に出力する（ステップＳ７４０）。その結果プリンタ１７０は、紙やＯＨＰなどの記録媒体上に複合現実空間画像をプリントする。
【００４１】
なおビデオカメラ１４０の設置位置および方向は座標軸２２０によって決まる座標値および姿勢値によって表現され、予め測定されており、上記複合現実空間画像生成プログラムの初期値として設定されている（上述の通り、メモリ１２２にデータとして記憶されている）。取得する複合現実空間画像の視点位置、姿勢（ビデオカメラ１４０の設置位置および設置姿勢）を変更したい場合は、その度に座標軸２２０におけるビデオカメラ１４０の位置および方向を実測し、初期設定を変更してやればよい。
【００４２】
以上の説明により、本実施形態におけるシステムによって、任意の視点における複合現実空間画像を、紙やＯＨＰなどの記録媒体によって取得することができる。
【００４３】
［第２の実施形態］
第１の実施形態に係るシステムは、一人の観察者に対してのみ、複合現実空間画像を取得可能にしていた。本実施形態に係るシステムでは複数の観察者に対して、夫々の観察者で異なる視点に基づいた複合現実空間画像を取得可能にする。以下、本実施形態に係るシステムについて説明する。
【００４４】
図５に本実施形態に係るシステムの構成を示す。同図において図１と同じ部分については同じ番号を付けており、その説明を省略する。観察者１００と観察者５００の夫々に対して複合現実空間画像を取得可能にする構成は第１の実施形態と同様である。すなわち観察者１００に対して設けられたシステム（ビデオカメラ１４０とモニタ１５０とＰＣ１２０とを含む画像処理装置１１０、プリンタ１７０、シャッター１６０からなるシステム）と同じシステム（ビデオカメラ５４０とモニタ５５０とＰＣ５２０とを含む画像処理装置５１０、プリンタ５７０、シャッター５６０からなるシステム）が観察者５００に対して設けられている。そして夫々の観察者に対して設けられたＰＣ同士はＬＡＮやインターネットなどのネットワーク１８０を介して接続されている。
【００４５】
また、本実施形態に係るシステムでは、仮想空間管理プログラムは夫々の観察者に対して設けられたＰＣ上で動作するのではなく、上記ネットワーク１８０に接続された画像処理装置１１２上で動作する。よって画像処理装置１１２は第１の実施形態で説明したように仮想空間の状態を更新し、夫々のＰＣ１２０，５２０は画像処理装置１１２上で動作する仮想空間管理プログラムによって更新された結果をネットワーク１８０を介して取得し、これを用いて夫々のＰＣに接続されたビデオカメラ１４０，５４０の位置姿勢に応じた仮想空間の画像を生成する。
【００４６】
このようにすることで、夫々のＰＣで生成される複合現実感画像は、同じ複合現実空間を共有しながらも、夫々で異なる視点位置姿勢によるものとなる。
【００４７】
図６は上記画像処理装置５１０の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。基本的には図２に示した構成と同じものであるが、ＰＣ５２０を上記ネットワーク１８０に接続するためのネットワークＩ／Ｆ１２７を更に設けた点が異なる。このネットワークＩ／Ｆ１２７を介して、画像処理装置１１２上で動作する仮想空間管理プログラムによって更新された結果を示すデータを受信することができる。
【００４８】
なお、図６に示した構成は観察者１００に対して設けられたシステムの構成として示したが、観察者５００に対して設けられたシステムの構成も同様のものであることは上述の通りである。
【００４９】
図７に上記画像処理装置１１２の構成を示す。画像処理装置１１２の構成は上記画像処理装置５１０から、ビデオカメラ、シャッター、プリンタを省いた構成である。図７において図１と同じ部分については同じ番号を付けており、その説明を省略する。
【００５０】
また、画像処理装置１１２が行う処理は、図３に示したフローチャートに従った処理となる。また、ＰＣ１２０、１５０が行う処理は、図４に示したフローチャートに従った処理となる。
【００５１】
また、夫々の観察者に対して設けたシステムの数を２のみでなく、それ以上に増やすことで、より多くの観察者に対して複合現実空間画像を取得可能にすることができる。
【００５２】
以上の説明により、本実施形態に係るシステムによって、複数の観察者に対して、夫々異なる視点位置姿勢に応じた複合現実空間の画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【００５３】
また複数の観察者が同時に同じ複合現実空間を観察することが可能になるばかりでなく、シャッター、プリンターを各観察者に対して設けたシステムに設けたことにより、各観察者が同時に複合現実空間画像を紙やＯＨＰなどの記録媒体によって取得することが可能になった。
【００５４】
［第３の実施形態］
本実施形態に係るシステムは、第２の実施形態で説明したシステムにおいて、任意の観察者に対して、モニタ１６０を介してではなく、撮像装置付の頭部搭載型表示装置（ＨＭＤ）４００を介して複合現実空間画像を提示する構成を備える。
【００５５】
図８に本実施形態に係るシステムの構成を示す。同図において第２の実施形態に係るシステムの構成を示す図５と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態では観察者１００に対しては第２の実施形態と同様の構成及び方法を用いて複合現実空間画像を提示し、観察者５００に対してＨＭＤ４００を用いて複合現実空間画像を提示する例を示す。以下、観察者５００に対して複合現実空間画像を提示するためのシステム（ＰＣ５２０とモニタ５５０と分配器６００とＨＭＤ４００を含む画像処理装置、シャッター５６０、プリンタ５７０、センサ系（３００乃至３２０）からなるシステム）について説明する。
【００５６】
観察者５００の頭部にはＨＭＤ４００が装着され、観察者５００の視点位置近傍の上記座標軸２００における位置、姿勢に応じた現実空間を上記撮像装置により撮像し、撮像した現実空間画像をＰＣ５２０に送る。観察者５００の視点の位置、姿勢は位置姿勢センサ系を構成する３００乃至３２０によって常時計測されており、計測された結果は画像処理装置１１２に送られ、管理される。
【００５７】
ＰＣ５２０は画像処理装置１１２で管理されている観察者５００の視点の位置姿勢を取得し、同様に取得した仮想空間の状態情報と観察者５００の視点の位置姿勢に応じた仮想空間画像を生成すると共に、ＨＭＤ４００から送られてきた現実空間画像と重畳して複合現実空間画像を生成する。
【００５８】
生成された複合現実空間画像は分配器６００を介してモニタ５５０に出力されると共に、ＨＭＤ４００に設けられた後述の表示部に出力され、夫々で表示される。これはＨＭＤ４００ではＰＣ５２０の操作用の表示装置としては不自由な点があるためと、ＨＭＤ４００を装着している観察者がどのような画像を見ているのかを観察者以外の者が知るためである。
【００５９】
これにより、観察者５００は自由に視点位置、姿勢を変えて、すなわち複合現実空間内を自由に動いて、その時々の視点位置姿勢に応じた複合現実空間画像を観察することができる。
【００６０】
ＨＭＤ４００の構成について図９〜１１を用いて説明する。なお各図において番号の後に「Ｒ」とつくものは観察者の右目用、「Ｌ」とつくものは左目用を表す。特に特定する必要のない場合、文中ではＲ、Ｌを省略して表記することにする。
【００６１】
図９はＨＭＤの基本構成を示す図、図１０，１１はＨＭＤ４００の外観図である。３２０は位置方向センサ受信機で、観察者の視点位置近傍に設けられており、後述する位置姿勢センサ発信機３１０、本体３００と共に動作し、観察者の視点位置および姿勢を常時計測している。
【００６２】
４１０，４１４，４１５は夫々表示系を構成しており、カラー液晶ディスプレイ４１４が表示する画像が光学プリズム４１５によって導かれ、表示部４１０に表示される。４１２、４１６、４１７は撮像系を構成しており、入力部４１２を介してＨＭＤの外部から入力された光が光学プリズム４１７によってＨＭＤ内部に導かれ、ＣＣＤ４１６で受光される。光学プリズム４１５の出力光と光学プリズム４１７の入力光は観察者の瞳の光軸と一致しており、ＣＣＤ４１６は観察者の視点位置、姿勢の現実空間画像を撮影し、カラー液晶ディスプレイ４１４はＣＣＤ４１６によって取得された現実空間画像と、位置姿勢センサ本体３００で算出される観察者の視点位置、姿勢に応じてＰＣ５２０で生成された仮想空間画像とをＰＣ５２０により合成した複合現実空間画像を表示する。
【００６３】
４２１〜４２５は頭部装着用の構成部材である。ＨＭＤ４００を頭部に装着するには、まず、アジャスタ４２２で長さ調整部４２３を緩めた状態で頭にかぶる。そして、額装着部４２５を額に密着させてから側頭装着部４２１と後頭装着部４２４を各々側頭部、後頭部に密着させるように、アジャスタ４２２で長さ調整部４２３を絞める。４２６はカラー液晶ディスプレイ４１４、ＣＣＤ４１６、位置姿勢センサ受信機３２０のための電源および信号線をまとめたものである。
【００６４】
次に観察者の視点位置、姿勢の計測方法について説明する。図８に示されているようにセンサ系（位置姿勢取得装置）は位置姿勢センサ本体３００、位置姿勢センサ発信機３１０、位置姿勢センサ受信機３２０により構成されている。位置姿勢センサ受信機３２０、位置姿勢センサ発信機３１０は位置姿勢センサ本体３００に接続されている。位置姿勢センサ発信機３１０からは磁気が発信されており、位置姿勢センサ受信機３２０がこの磁気を受信する。位置姿勢センサ本体３００は位置姿勢センサ受信機３２０が受信した磁気の強度から位置姿勢センサ受信機３２０の上記座標軸２００における位置、姿勢を公知の技術を用いて算出する。算出した結果は画像処理装置１１２に送られる。
【００６５】
位置姿勢センサ受信機３２０はＨＭＤ４００に固定されているため、位置姿勢センサ３２０とＨＭＤ４００を装着した観察者１００の入射瞳との相対的位置は定数となる。この定数と位置姿勢センサ受信機３２０の位置姿勢から観察者１００の入射瞳の位置を計算することができる。本実施例では観察者１００の入射瞳の位置を観察者１００の視点位置として利用する。
【００６６】
また、ＨＭＤ４００は観察者１００が正面に自然に瞳を向けた時に正しく画像が観察可能であるよう観察者１００に装着されている。よって、観察者がＨＭＤ４００に表示される画像を観察するとき、位置姿勢センサ受信機３２０の方向と観察者１００の視線方向は定数となる。この定数と位置姿勢センサ受信機３２０の位置姿勢から、ＨＭＤ４００の画像を観察している観察者１００の視線方向を計算することができる。
【００６７】
これら定数は予め測定されシステムに記憶されている。
【００６８】
本実施形態では位置姿勢取得装置として米国Polhemus社製FASTRAKや米国Ascension Technology社製Flock of Birdsなどを利用することを仮定しているが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。
【００６９】
以上説明したＨＭＤ４００と位置姿勢計測装置を利用することで、観察者５００は自由に視点位置、姿勢を任意に変更することができると共に、変更した視点位置、姿勢に応じた複合現実空間画像をＨＭＤ４００を介して観察することができる。
【００７０】
図１２は上記画像処理装置１２１０、ＨＭＤ４００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。図６、９と同じ部分については同じ番号を付けており、その説明を省略する。ただし、キャプチャカード１３２にはＨＭＤ４００を構成するＣＣＤ４１６Ｒが接続されており、グラフィックカード１３０には分配器６００が接続されている。また分配器６００はカラー液晶ディスプレイ４１４Ｌ、４１４Ｒの夫々に接続されている。分配器６００はＰＣ５２０で生成された複合現実空間画像をＨＭＤ４００とモニター５５０に分配する処理を行う。
【００７１】
図１３は画像処理装置１１２の基本構成を示すと共に、画像処理装置１１２と周辺機器との関係を示す図である。図７，８と同じ部分については同じ番号を付けており、その説明を省略する。画像処理装置１１２の基本構成については図７に示す画像処理装置と同じであるが、本実施形態に係る画像処理装置１１２のシリアルインターフェース１２６には上述の位置姿勢センサ本体３００が接続されており、位置姿勢センサ本体３００が位置姿勢センサ送信機３１０と位置姿勢センサ受信機３２０とにより得られる磁気の強度に基づいて求めた位置姿勢センサ受信機３２０の上記座標軸２００における位置、姿勢を、シリアルインターフェース１２６を介して画像処理装置１１２に送る。
【００７２】
画像処理装置１１２は送られた位置姿勢センサ受信機３２０の上記座標軸２００における位置、姿勢のデータを、仮想空間の状態情報と共にメモリ１２２やＨＤＤ１２３に記憶し、管理する。
【００７３】
また画像処理装置１１２では、仮想空間管理プログラムが動作していると共に、位置姿勢取得プログラムが動作している。画像処理装置１１２は位置姿勢取得プログラムを動作させることで、位置姿勢センサ本体３００を制御し、接続されている位置姿勢センサ受信機３２０の搭載されているＨＭＤ４００を装着している観察者の視点位置、視線方向を計測し、仮想空間管理プログラムに送信する処理を行う。
【００７４】
次に、画像処理装置１１２が上記仮想空間管理プログラムを実行することで行う処理について、同処理のフローチャートを示す図１４を用いて説明する。
【００７５】
まず位置姿勢取得プログラムから、現実空間状態情報（観察者の視点の位置姿勢を示すデータ）を受信する（ステップＳ１４０２）。そして次に仮想空間の状態情報を更新する処理を行うが（ステップＳ１４０４）、これに関しては第１の実施形態におけるステップＳ３０２と同じ処理であるのでその説明を省略する。そして、現実空間状態情報、仮想空間状態情報をＰＣ５２０で動作する複合現実空間画像生成プログラムに通知する（ステップＳ１４０６，１４０８）。具体的には、現実空間状態情報、仮想空間状態情報をネットワーク１８０を介してＰＣ５２０で動作する複合現実空間画像生成プログラムに通知する。
【００７６】
次に、ＰＣ５２０が上記複合現実空間画像生成プログラムを実行することで行う処理について、同処理のフローチャートを示す図１５を用いて説明する。まず、上記仮想空間管理プログラムから通知された仮想空間状態情報、現実空間状態情報を受信する（ステップＳ１５０２，ステップＳ１５０３）。そしてステップＳ７０４と同様に仮想空間状態情報を用いて仮想空間画像を（ステップＳ１５０４）生成する。また、ステップＳ７０４と同様の画像キャプチャスレッド（ステップＳ１５３０）から継続的に送信されてきている、ＨＭＤ４００によって撮像された現実空間画像を取得する（ステップＳ１５０６）。そしてグラフィックカード１３０は、取得された現実空間画像をメモリ１２２上に描画された仮想空間画像に重畳し、メモリ１２２上に複合現実空間画像を生成した後、ＨＭＤ４００に出力する（ステップＳ１５０８）。以降処理については図７に示したステップＳ７１０以降の各ステップと同じであるのでその説明を省略する。
【００７７】
以上の説明により、本実施形態に係るシステムによって、任意の視点位置、姿勢に応じた複合現実空間の画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【００７８】
なお本実施形態では一人の観察者のみにＨＭＤを用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してＰＣ、モニタ、プリンタ、分配器、ＨＭＤ、センサ系を設け、画像処理装置１１２で動作する位置姿勢取得プログラムは、夫々のセンサ系から夫々の観察者の視点位置、姿勢を取得、管理し、必要に応じて夫々のＰＣに観察者の視点の位置、姿勢のデータを送信する。
【００７９】
［第４の実施形態］
本実施形態に係るシステムは、現実空間を撮像する装置として、望遠鏡型撮像装置を用いる。図１６に本実施形態に係るシステムの構成を示す。同図において第２の実施形態に係るシステムの構成を示す図５と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態では観察者１００に対しては第２の実施形態と同様の構成及び方法を用いて複合現実空間画像を提示し、観察者５００に対して望遠鏡型撮像装置１６００を用いて複合現実空間画像を提示する例を示す。以下、観察者１６００に対して複合現実空間画像を提示するためのシステム（ＰＣ５２０とモニタ５５０と分配器６００と望遠鏡型撮像装置１６００を含む画像処理装置、シャッター５６０、プリンタ５７０からなるシステム）について説明する。
【００８０】
望遠鏡型撮像装置１６００は地面に固定された支柱１６９０に、同図矢印方向に回転可能なように取り付けられている。また、望遠鏡型撮像装置１６００における取り付け部には、望遠鏡型撮像装置１６００の向き（姿勢）を計測するための姿勢計測装置（ジャイロ）１６２０が備わっている。ジャイロ１６２０をこの部分に取り付ける理由としては、この部分を観察者の視点位置とするためである。他の部分を観察者の視点の位置とすると、望遠鏡型撮像装置１６００の回転により、視点位置が変化してしまうからである。ジャイロ１６２０は視点の姿勢を計測するものであるから、上述の位置に取り付ける必要がある。ジャイロ１６２０により計測された視点の姿勢を示すデータはＰＣ５２０に送られる。
【００８１】
また視点位置（ジャイロ１６２０を取り付けた位置近傍の位置）には小型撮像装置（小型ビデオカメラ）１６１０が取り付けられ、現実空間の動画像を撮像する。撮像した現実空間の画像はＰＣ１６４０に送られる。
【００８２】
望遠鏡型撮像装置１６００には小型表示装置１６３０が取り付けられており、小型表示装置１６３０には、小型撮像装置１６１０により撮像された現実空間画像とジャイロ１６２０により計測された視点の姿勢のデータをＰＣ５２０に送ることでＰＣ１６４０で生成され、分配器６００を介して送られてくる複合現実空間画像が表示される。
【００８３】
図１７は上記ＰＣ５２０、望遠鏡型撮像装置１６００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。図６、１２と同じ部分については同じ番号を付けており、その説明を省略する。ただし、キャプチャカード１３２には望遠鏡型撮像装置１６００を構成する小型撮像装置１６１０が接続されており、グラフィックカード１３０には分配器６００が接続されている。また分配器６００は小型表示装置１６３０に接続されている。分配器６００はＰＣ５２０で生成された複合現実空間画像を小型表示装置１６３０とモニタ５５０に分配する処理を行う。
【００８４】
一方、画像処理装置１１２の構成、及び画像処理装置１１２が行う処理については第２の実施形態と同じであるので、その説明を省略する。
【００８５】
本実施形態における画像処理装置１１２では仮想空間管理プログラムが動作しており、ＰＣ５２０では位置姿勢取得プログラム、複合現実空間画像生成プログラムが動作している。
【００８６】
画像処理装置１１２が仮想空間管理プログラムを動作させることで行う処理のフローチャートは図１４に示したフローチャートにおいて、ステップＳ１４０２で後述の位置姿勢取得プログラムによって通知された視点の姿勢を受信する以外は同じフローチャートである。
【００８７】
ＰＣ５２０は位置姿勢取得プログラムを動作させることで、ジャイロ１６２０を制御し、視線の姿勢を計測し、上記仮想空間管理プログラムに送信する。なお視点位置は、座標軸２００における望遠鏡型撮像装置１６００の回転軸の位置、小型表示装置の入射瞳の位置、望遠鏡型撮像装置１６００の姿勢から計算で求めることが可能である。座標軸２００における望遠鏡型撮像装置１６００の回転軸の位置、小型表示装置の入射瞳の位置は予めシステム（メモリ１２２、ＨＤＤ１２３など）に記憶されているものとする。
【００８８】
また、ＰＣ５２０が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートは図１５において、ステップＳ１５０３で、上記仮想空間管理プログラムによって通知された視点の姿勢を示すデータを現実空間状態情報として受信する処理を行う点以外は同じである。
【００８９】
以上の説明により、本実施形態に係るシステムにより、現実空間を撮像する装置と複合現実空間画像を表示する装置とを身につける手間がかからず、視点の任意の姿勢に応じた複合現実空間の画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【００９０】
なお本実施形態では一人の観察者のみに望遠鏡型撮像装置を用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してＰＣ、モニタ、プリンタ、分配器、望遠鏡型撮像装置、ジャイロを設け、画像処理装置１１２で動作する仮想空間管理プログラムは、夫々のセンサ系から夫々の観察者の視点姿勢を取得、管理し、必要に応じて夫々のＰＣに観察者の視点の姿勢のデータを送信する。
【００９１】
［第５の実施形態］
本実施形態に係るシステムの構成は基本的には第３の実施形態に係るシステムの構成と同じであるが、観察者５００に対して提示するためのＨＭＤの表示部に表示する複合現実画像を、立体画像として観察者５００に対して提供する点が異なる。以下、本実施形態に係るシステムについて説明する。なおＨＭＤとしては図９乃至１１に示したものを用いるとする。
【００９２】
ＨＭＤ４００の右目用表示部４１０Ｒに表示される複合現実空間画像と左目用表示部４１０Ｌに表示される複合現実空間画像を独立に生成することで、ＨＭＤ４００を装着している観察者は複合現実空間画像を立体画像として観察することができる。
【００９３】
図１８は観察者に対して複合現実空間画像を立体画像として提供するための画像処理装置１８１０の基本構成とシャッター５６０、プリンタ５７０との関係を示す図である。図１２と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態に係る画像処理装置１８１０を構成するＰＣ１８００にはキャプチャカード、グラフィックカードは夫々右目用、左目用に設けられている。すなわち右目用、左目用のキャプチャカード１３２Ｒ、１３２Ｌは夫々ＨＭＤ４００の右目用、左目用のＣＣＤ４１６Ｒ、４１６Ｌにと接続しており、右目用のＣＣＤ４１６Ｒにより撮像された現実空間の画像は右目用キャプチャカード１３２Ｒを介してメモリ１２２に、左目用のＣＣＤ４１６Ｌにより撮像された現実空間の画像は左目用キャプチャカード１３２Ｌを介してメモリ１２２に、夫々送られる。
【００９４】
ＰＣ１８００では第３の実施形態で説明した複合現実空間画像の生成処理を左目用、右目用に行い、右目用複合現実空間画像、左目用複合現実空間画像を生成する。生成された右目用複合現実空間画像は右目用グラフィックカード１３０Ｒ、分配器６００を介して右目用のカラー液晶ディスプレイ４１４Ｒとモニタ５５０に、生成された左目用複合現実空間画像は左目用グラフィックカード１３０Ｌを介して左目用のカラー液晶ディスプレイ４１４Ｌに夫々出力される。これにより、ＨＭＤ４００を装着した観察者の左目と右目とに対して、夫々独立した複合現実空間画像を提示することができる。
【００９５】
なお、モニタ５５０に表示する複合現実空間画像は右目用複合現実空間画像に限らず、左目用の複合現実空間画像でも良い。その場合、分配器６００を左目用グラフィックカード１３０Ｌとカラー液晶ディスプレイ４１４Ｌとの間に設ければよい。
【００９６】
次に、右目用、左目用の複合現実空間画像を生成する処理について以下、説明する。この処理はＰＣ１８００により複合現実空間画像生成プログラムを動作させることで行うが、複合現実空間映像生成プログラムは右目用と左目用の２つがメモリ１２２に記憶されており、ＰＣ１８００は夫々を独立して並列に動作させる。また、本実施形態ではセンサ系により得られる視点の位置、姿勢は、同じ座標軸における右目の位置と視線方向とするので、左目の同座標軸における位置と視線方向を求める処理が必要となる。
【００９７】
ＰＣ１８００が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートを図１９に示す。同図のフローチャートは図１５に示したフローチャートに更にステップＳ１５３０、Ｓ１５３２を加えたものであるが、これらのステップによる処理は上述の通り、左目の位置を求める処理である。なお、左目の視線方向は計測した右目の視線方向と同じものであると仮定する。
【００９８】
ステップＳ１５３０で、処理が左目用のものである場合には処理をステップＳ１５３２に進め、右目の位置から観察者の両目の間隔だけずらした位置を左目の位置として求める。なお、観察者の両目の間隔は予め求めておき、メモリ１２２、もしくはＨＤＤ１２３に記憶させておく。
【００９９】
また、ステップＳ１５１０以降処理については２つの複合現実空間画像生成プログラムのうち、何れかのプログラムを動作させればよい。
【０１００】
以上の説明により、本実施形態に係るシステムによって、観察者に対して複合現実空間画像を立体画像として提示することができる。これにより、観察者はより的確に複合現実空間を観察することができるので、取得したい複合現実空間の領域をより的確に決めることができ、決めた領域の複合現実空間画像を紙やＯＨＰなどの記録媒体によって取得可能にすることができる。
【０１０１】
なお本実施形態では一人の観察者のみにＨＭＤを用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してＰＣ、モニタ、プリンタ、分配器、ＨＭＤ、センサ系を設け、画像処理装置１１２で動作する位置姿勢取得プログラムは、夫々のセンサ系から夫々の観察者の視点位置、姿勢を取得、管理し、必要に応じて夫々のＰＣに観察者の視点の位置、姿勢のデータを送信する。
【０１０２】
［第６の実施形態］
本実施形態に係るシステムは上記各実施形態と同様に複数の観察者に対して複合現実空間画像を提示するが、特定の観察者のみが他の観察者が観察している複合現実空間画像のうち、特定の画像を選択し、プリンタに出力させることができる。以下、本実施形態に係るシステムについて説明する。
【０１０３】
図２０は本実施形態に係るシステムの構成を示す図である。同図において第３の実施形態で用いた図８と同じ部分には同じ番号を付けており、その説明を省略する。図２０では上記特定の観察者、すなわち複合現実空間画像を取得する観察者（複合現実空間画像取得者）は１０２で示されており、その他の観察者２００１，２００２は複合現実空間画像の取得操作、すなわちシャッターを押下する操作は行わずに、複合現実空間画像の観察のみを行う。
【０１０４】
観察者２００１，２００２に対して夫々複合現実空間画像を提示するためのシステムの構成は第３の実施形態で説明したものと同じものである。そこで以下では、観察者１０２が他の観察者（同図では観察者２００１，２００２）が観察している複合現実空間画像をプリンタ１７０を用いてプリントするためのシステムについて説明する。
【０１０５】
観察者１０２は第１の実施形態と同様に手にはシャッター１６０を持っており、このシャッター１６０を押下することで上記実施形態で説明したように、画像処理装置１１４のメモリに格納された複合現実空間画像データをプリンタ１７０に出力する。画像処理装置１１４のメモリに格納される複合現実空間画像データは、観察者１０２以外の観察者に対して複合現実空間画像を提示する夫々の画像処理装置のうち、切り替え器２０００によって選択された画像処理装置により生成される複合現実空間画像のデータである。
【０１０６】
図２１に画像処理装置１１４の基本構成と、切り替え器２０００、そしてシャッター１６０、プリンタ１７０との関係を示す。なお、図２，６と同じ部分については同じ番号を付けており、その説明を省略する。
【０１０７】
複合現実空間画像取得者１０２がシャッター１６０のボタンを押下することにより、ＣＰＵ１２１は切り替え器２０００によって選択されている画像処理装置に対して、この画像処理装置のメモリに上記押下時（実際にはタイムディレイが生じるが）に格納されている複合現実空間画像データを画像処理装置１１４に送信するように指示する。指示された画像処理装置は、生成した複合現実空間画像データを切り替え器２０００を介して画像処理装置１１４に送信し、送信された複合現実空間画像はグラフィックカード１３０を介してメモリ１２２に格納される。これにより画像処理装置１１４では切り替え器２０００によって選択された画像処理装置により生成された複合現実空間画像データ（言い換えれば、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、選択された複合現実空間画像のデータ）を得ることができるので、上述の実施形態と同様に、メモリ１２２に格納されたこの画像のデータをプリンタ１７０に出力することができる。
【０１０８】
なお、切り替え器２０００の制御、すなわち、どの画像処理装置から複合現実空間画像を送信してもらうかの制御は、キーボード１２４やマウス１２５を用いて、モニタ１５４の表示画面上に表示される不図示のＧＵＩなどを用いて設定する。
【０１０９】
また、切り替え器２０００にはモニタ１５４も接続されており、切り替え器２０００によって選択された画像処理装置により生成された複合現実空間画像は切り替え器を介してモニタ１５４に出力されるので、モニタ１５４にはこの複合現実空間画像を表示することができる。モニタ１５４に表示することによって、複合現実空間画像取得者１０２はどの画像処理装置で生成された複合現実空間画像をプリンタ１７０に出力するかを選択する（切り替え器２０００を制御する）ことができる。
【０１１０】
複合現実空間画像取得者１０２以外の観察者に対して複合現実空間画像を提示する画像処理装置では第３の実施形態の通り複合現実空間画像生成プログラムが動作しており、画像処理装置１１２では第３の実施形態の通り、位置姿勢取得プログラムと仮想空間管理プログラムが動作している。夫々のプログラムの動作については第３の実施形態の説明の通りである。
【０１１１】
以上の説明により、本実施形態におけるシステムによって、複数の観察者による任意の視点における夫々の複合現実空間画像のうち、１つを選択して、紙やＯＨＰなどの記録媒体によって取得することができる。
【０１１２】
なお本実施形態に係るシステムでは複合現実空間画像取得者に対する画像処理装置、プリンタは夫々１つずつであったがが、複数であっても良い。また、プリンタはネットワーク１８０に接続されているどの画像処理装置に接続されていても構わない。
【０１１３】
［第７の実施形態］
第６の実施形態に係るシステムでは、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、１つを選択し、選択した画像のみをプリントの対象としていたが、本実施形態に係るシステムでは、１つ以上、すなわち複数の複合現実空間画像を選択することができ、選択した夫々の複合現実空間画像を縮小し、縮小した夫々の複合現実空間画像を含む画像を生成し、この画像をプリント対象とする。以下、本実施形態に係るシステムについて説明する。
【０１１４】
図２２は本実施形態に係るシステムの構成を示す図である。基本的には第６の実施形態に係るシステムの構成（図２０に示す構成）と同じであるが、本実施形態では切り替え器２０００の代わりに、選択器２６００、合成器２５００が用いられている点以外は第６の実施形態に係るシステムと同じ構成である。よって以下ではこの選択器２６００、合成器２５００について説明する。
【０１１５】
選択器２６００では複合現実空間画像取得者１０２以外の観察者に対して複合現実空間画像を提示する画像処理装置において任意の画像処理装置（１つ以上の画像処理装置）から複合現実空間画像を取得することができる。取得した複合現実空間画像は合成器２５００に送られる。
【０１１６】
送られた複合現実空間画像が複数の場合、合成器２５００では、夫々の画像を縮小し、縮小した夫々の画像を含む１つの画像（合成画像）を生成する。例えば合成器２５００が４つの複合現実空間画像を得た場合、生成する合成画像は例えば図２３に示すとおりとなる。図２３は縮小した４つの複合現実空間画像の夫々を含む合成画像の例を示す図である。同図では画像処理装置１，２，３，４の夫々から得られた複合現実空間画像を縮小している。なお、各画像の配置順やレイアウトに関してはこれに限定されるものではない。なお、送られた複合現実空間画像が１つの場合にはこの処理を省略し、送られた画像を合成画像として以下扱う。合成器２５００によって生成された合成画像はモニタ１５４に表示される共に、プリントの対象となる。
【０１１７】
図２４に画像処理装置１１４の基本構成と、選択器２６００、合成器２５００、そしてシャッター１６０、プリンタ１７０との関係を示す。なお、図２１と同じ部分については同じ番号を付けており、その説明を省略する。
【０１１８】
複合現実空間画像取得者１０２がシャッター１６０のボタンを押下することにより、ＣＰＵ１２１は選択器２６００によって選択されている画像処理装置に対して、この画像処理装置のメモリに上記押下時（実際にはタイムディレイが生じるが）に格納されている複合現実空間画像データを画像処理装置１１４に送信するように指示する。指示された画像処理装置は、生成した複合現実空間画像データを選択器２６００を介して合成器２５００に送信する。合成器２５００では上述の通り、送信された複合現実空間画像を用いて１つの合成画像を生成し、生成した合成画像をメモリ１２２に送り、メモリ１２２はこの合成画像を記憶する。これにより画像処理装置１１４では選択器２６００によって選択された画像処理装置により生成された複合現実空間画像データ（言い換えれば、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、選択された複合現実空間画像のデータ）を含む合成画像を得ることができるので、上述の実施形態と同様に、メモリ１２２に格納されたこの画像のデータをプリンタ１７０に出力することができる。
【０１１９】
なお、選択器２６００の制御、すなわち、どの画像処理装置から複合現実空間画像を送信してもらうかの制御は、キーボード１２４やマウス１２５を用いて、モニタ１５４の表示画面上に表示される不図示のＧＵＩなどを用いて設定する。
【０１２０】
また、合成画像合成器２５００にはモニタ１５４も接続されており、選択器２６００によって選択された画像処理装置により生成された複合現実空間画像を含む合成画像はモニタ１５４に出力されるので、モニタ１５４にはこの合成画像を表示することができる。モニタ１５４に表示することによって、複合現実空間画像取得者１０２はどの画像処理装置で生成された複合現実空間画像を合成画像に含めるかを選択する（選択器２６００を制御する）ことができる。
【０１２１】
複合現実空間画像取得者１０２以外の観察者に対して複合現実空間画像を提示する画像処理装置では第３の実施形態の通り複合現実空間画像生成プログラムが動作しており、画像処理装置１１２では第３の実施形態の通り、位置姿勢取得プログラムと仮想空間管理プログラムが動作している。夫々のプログラムの動作については第３の実施形態の説明の通りである。
【０１２２】
以上の説明により、本実施形態におけるシステムによって、複数の観察者による任意の視点における夫々の複合現実空間画像のうち、複数を選択することができ、選択した複数の複合現実空間画像を、紙やＯＨＰなどの記録媒体によって取得することができる。
【０１２３】
なお本実施形態に係るシステムでは複合現実空間画像取得者に対する画像処理装置、プリンタは夫々１つずつであったがが、複数であっても良い。また、プリンタはネットワーク１８０に接続されているどの画像処理装置に接続されていても構わない。
【０１２４】
［その他の実施の形態］
さらに、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（CPUあるいはMPU）に、上記実施形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。
【０１２５】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【０１２６】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【０１２７】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【０１２８】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。
【０１２９】
【発明の効果】
以上の説明により、本発明によって、複合現実空間画像を取得することができる。
【図面の簡単な説明】
【図１】観察者と、この観察者に対して複合現実空間の画像を取得可能にする本発明の第１の実施形態に係るシステムの構成を示す図である。
【図２】上記画像処理装置１１０の基本構成と共に、シャッター１６０、プリンタ１７０との関係を示すブロック図である。
【図３】ＰＣ１２０が上記仮想空間管理プログラムを実行することで行う処理のフローチャートである。
【図４】ＰＣ１２０が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図５】本発明の第２の実施形態に係るシステムの構成を示す。
【図６】画像処理装置５１０の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。
【図７】画像処理装置１１２の構成を示す図である。
【図８】本発明の第３の実施形態に係るシステムの構成を示す図である。
【図９】ＨＭＤの基本構成を示す図である。
【図１０】ＨＭＤ４００の外観図である。
【図１１】ＨＭＤ４００の外観図である。
【図１２】画像処理装置１２１０、ＨＭＤ４００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。
【図１３】画像処理装置１１２の基本構成を示すと共に、画像処理装置１１２と周辺機器との関係を示す図である。
【図１４】画像処理装置１１２が仮想空間管理プログラムを実行することで行う処理のフローチャートである。
【図１５】ＰＣ５２０が複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図１６】本発明の第４の実施形態に係るシステムの構成を示す図である。
【図１７】ＰＣ５２０、望遠鏡型撮像装置１６００の基本構成と共に、シャッター５６０、プリンタ５７０との関係を示すブロック図である。
【図１８】観察者に対して複合現実空間画像を立体画像として提供するための画像処理装置１８１０の基本構成とシャッター５６０、プリンタ５７０との関係を示す図である。
【図１９】ＰＣ１８００が複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図２０】本発明の第６の実施形態に係るシステムの構成を示す図である。
【図２１】画像処理装置１１４の基本構成と、切り替え器２０００、そしてシャッター１６０、プリンタ１７０との関係を示す。
【図２２】本発明の第７の実施形態に係るシステムの構成を示す図である。
【図２３】縮小した４つの複合現実空間画像の夫々を含む合成画像の例を示す図である。
【図２４】画像処理装置１１４の基本構成と、選択器２６００、合成器２５００、そしてシャッター１６０、プリンタ１７０との関係を示す。
Claims (10)
- 現実空間の画像を撮像する撮像装置を仮想空間における視点とし、前記現実空間と前記仮想空間とで共有される座標系における前記視点の位置姿勢に応じた仮想空間の画像を生成する生成部と、前記現実空間の画像と前記仮想空間の画像とを合成して複合現実空間画像を生成する合成部と、を有する複数の外部装置とのデータ通信が可能であると共に、プリント手段に接続されている画像処理装置であって、
前記複数の外部装置から２以上を選択する選択手段と、
前記選択手段が選択したそれぞれの外部装置の合成部が生成した複合現実空間画像を取得する取得手段と、
前記取得手段が取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成する生成手段と、
前記生成手段が生成した１枚の画像を表示する表示手段と、
プリント指示を受け付ける手段と、
前記プリント指示が入力された場合には、前記選択手段が選択したそれぞれの外部装置に対して複合現実空間画像を要求し、当該要求に応じて前記選択手段が選択したそれぞれの外部装置から送信された複合現実空間画像を取得し、取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成し、生成した１枚の画像を前記プリント手段に出力する出力手段と
を備えることを特徴とする画像処理装置。 - 更に、前記仮想空間の状態情報を管理する管理手段を備え、
前記管理手段は、入力された情報、もしくは所定のタイミング毎に前記状態情報を更新し、前記生成部は、更新された仮想空間の状態情報に応じた仮想空間の画像を生成することを特徴とする請求項１に記載の画像処理装置。 - 前記管理手段は、前記画像処理装置とネットワークを介して接続された装置であって、前記管理手段が更新した仮想空間の状態情報は前記ネットワークに接続された夫々の前記外部装置が受信することを特徴とする請求項２に記載の画像処理装置。
- 前記撮像装置は、前記合成部が生成する複合現実空間画像を表示する表示部を備えるＨＭＤであって、
前記ＨＭＤを装着する観察者の視点位置近傍の前記座標系における位置姿勢を計測するセンサを更に備え、
前記生成部は、前記センサによる計測の結果である前記視点位置近傍の前記座標系における位置姿勢と、予め測定された定数から、前記視点の位置姿勢を計算することを特徴とする請求項１に記載の画像処理装置。 - 前記視点には第１の視点と当該第１の視点とは異なる第２の視点が含まれ、
前記生成部は、前記視点位置近傍の前記座標系における位置姿勢を前記第１の視点の位置姿勢として、前記座標系における前記第１の視点の位置姿勢に応じた仮想空間の画像を生成し、更に前記第１の視点の位置から所定の距離だけずれた位置と前記第１の視点の姿勢を前記第２の視点の位置姿勢として、前記座標系における前記第２の視点の位置姿勢に応じた仮想空間の画像を生成することを特徴とする請求項４に記載の画像処理装置。 - 前記撮像装置は、前記合成部が生成する複合現実空間画像を表示する表示部を備え、固定された支柱に回転が可能なように取り付けられた撮像装置であって、
前記撮像装置の前記取り付け部分の前記座標系における姿勢を計測するセンサを更に備え、
前記生成部は、前記センサによる計測の結果を前記視点の姿勢として用いることを特徴とする請求項１に記載の画像処理装置。 - 現実空間の画像を撮像する撮像装置を仮想空間における視点とし、前記現実空間と前記仮想空間とで共有される座標系における前記視点の位置姿勢に応じた仮想空間の画像を生成する生成部と、前記現実空間の画像と前記仮想空間の画像とを合成して複合現実空間画像を生成する合成部と、を有する複数の外部装置とのデータ通信が可能であると共に、プリント手段に接続されている画像処理装置が行う画像処理方法であって、
前記複数の外部装置から２以上を選択する選択工程と、
前記選択工程で選択したそれぞれの外部装置の合成部が生成した複合現実空間画像を取得する取得工程と、
前記取得工程で取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成する生成工程と、
前記生成工程で生成した１枚の画像を表示する表示工程と、
プリント指示を受け付ける工程と、
前記プリント指示が入力された場合には、前記選択工程で選択したそれぞれの外部装置に対して複合現実空間画像を要求し、当該要求に応じて前記選択工程で選択したそれぞれの外部装置から送信された複合現実空間画像を取得し、取得したそれぞれの複合現実空間画像を縮小して並べることで、当該それぞれの複合現実空間画像を含む１枚の画像を生成し、生成した１枚の画像を前記プリント手段に出力する出力工程と
を備えることを特徴とする画像処理方法。 - コンピュータを請求項１乃至６に記載の画像処理装置が有する各手段として機能させる為のコンピュータプログラム。
- コンピュータに請求項７に記載の画像処理方法を実行させる為のコンピュータプログラム。
- 請求項８又は９に記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002301651A JP4125085B2 (ja) | 2002-10-16 | 2002-10-16 | 画像処理装置、画像処理方法 |
| US10/684,401 US7427996B2 (en) | 2002-10-16 | 2003-10-15 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002301651A JP4125085B2 (ja) | 2002-10-16 | 2002-10-16 | 画像処理装置、画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004139231A JP2004139231A (ja) | 2004-05-13 |
| JP2004139231A5 JP2004139231A5 (ja) | 2008-02-28 |
| JP4125085B2 true JP4125085B2 (ja) | 2008-07-23 |
Family
ID=32449942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002301651A Expired - Fee Related JP4125085B2 (ja) | 2002-10-16 | 2002-10-16 | 画像処理装置、画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4125085B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7843470B2 (en) * | 2005-01-31 | 2010-11-30 | Canon Kabushiki Kaisha | System, image processing apparatus, and information processing method |
| JP4677269B2 (ja) * | 2005-04-08 | 2011-04-27 | キヤノン株式会社 | 情報処理方法およびシステム |
| JP4738870B2 (ja) * | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
| JP6470374B1 (ja) * | 2017-10-03 | 2019-02-13 | 株式会社コロプラ | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3431535B2 (ja) * | 1999-05-26 | 2003-07-28 | 株式会社ナムコ | ゲームシステム及び情報記憶媒体 |
| JP2001096063A (ja) * | 1999-07-23 | 2001-04-10 | Fuji Photo Film Co Ltd | ゲームシーン再生処理機およびシステム |
| JP2001101252A (ja) * | 1999-09-30 | 2001-04-13 | Kumagai Gumi Co Ltd | 建設予定地に構造物が建設された状態の景観を疑似体験するための方法及び装置 |
| JP3363861B2 (ja) * | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
| JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
-
2002
- 2002-10-16 JP JP2002301651A patent/JP4125085B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004139231A (ja) | 2004-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105103034B (zh) | 显示器 | |
| Azuma | A survey of augmented reality | |
| US7427996B2 (en) | Image processing apparatus and image processing method | |
| US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
| JP4757115B2 (ja) | 画像処理装置、画像処理方法 | |
| US11762623B2 (en) | Registration of local content between first and second augmented reality viewers | |
| JP2009123018A (ja) | 画像処理装置、画像処理方法 | |
| JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
| US10386633B2 (en) | Virtual object display system, and display control method and display control program for the same | |
| JP6807455B2 (ja) | 情報処理装置および画像生成方法 | |
| JP2008146109A (ja) | 画像処理方法、画像処理装置 | |
| JP2007034628A (ja) | 画像処理方法及び装置 | |
| JP2018050179A (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
| JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
| JP2006012042A (ja) | 画像生成方法及び装置 | |
| JP4708590B2 (ja) | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム | |
| JP6641122B2 (ja) | 表示装置及び情報処理装置及びその制御方法 | |
| JP2003346190A (ja) | 画像処理装置 | |
| US20240054739A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP4125085B2 (ja) | 画像処理装置、画像処理方法 | |
| JP4235522B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2004355131A (ja) | 複合現実感映像生成方法及び複合現実感画像生成装置 | |
| JP4217661B2 (ja) | 画像処理方法、画像処理装置 | |
| JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
| JP2005128877A (ja) | 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050607 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080418 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080507 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |