JPH10188029A - 仮想空間生成装置 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザが見たい視線の方向を入力するだけで
その方向に最も近い画像を選択することができる仮想空
間生成装置を提供すること。 【解決手段】 仮想空間生成装置を、画像入力手段１
と、画像入力手段の向いている角度を測定する角度測定
手段２と、入力画像と角度測定手段の測定した方向を記
録する入力情報記録手段３と、入力情報記録手段の情報
を構造化した結果を記録する構造化データ記録手段４
と、視点入力手段６と、視点入力手段から入力された視
点に最も近い画像を構造化データ記録手段から選択する
画像選択手段５と、前記画像選択手段の選択した画像を
表示する画像表示手段７とから構成する。これにより、
画像を入力すると同時に画像を入力した方向を測定する
ことができ、ユーザが見たい視線の方向を入力するだけ
でその方向に最も近い画像を選択することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像から３次元
空間を作成したり、撮影した動画像をフレーム毎に分割
し撮影時とは別の順序で見ることにより、仮想的な空間
移動を可能にする技術に関するものである。

【０００２】

【従来の技術】図４7 は、従来の仮想空間生成装置の一
例を示すブロック構成図である。図４７において、符号
４２１は画像撮影手段、４２２はマッチング手段、４２
３は立体画像生成手段、４２４は画像表示手段である。
次に、図４８から図５０を用いて従来の技術による生成
技術ついて説明する。図４８は従来の仮想空間生成装置
の動作を説明した説明図である。図４８において、４３
１は地表などの表面、４３２は地表に建っている建物、
４３３および４３５は地表と平行に飛んでいる飛行機
で、４３３は或る時点に或る位置を飛んでいる飛行機、
４３５は飛行機４３３の位置から地表と平行に一定距離
飛んだ後の飛行機を表す。４３４は飛行機４３３から建
物４３２などを見たときの角度θ１、４３７は飛行機４
３５から建物４３２などを見たときの角度θ２、４３６
は角度θ１を検出してから角度θ２を検出するまでに移
動した飛行機の移動距離を示している。図４９は、図４
８の飛行機と建物の位置関係をさらに詳しく説明したも
のである。図４９において、４４３は飛行機の移動距
離、４４４は撮影対象物としての建物の一部（これを注
目点とする）、４４５および４４６は地表と平行に飛ん
でいる飛行機で、４４５は或る時点に或る位置を飛んで
いる飛行機、４４６は飛行機４４５の位置から地表と平
行に一定距離飛んだ後の飛行機を表す。４４１は飛行機
４４５の移動方向と建物を見た方向のなす角度θ１であ
る。４４２は飛行機４４６の移動方向と建物を見た方向
のなす角度θ２である。飛行機の４４５から４４６まで
の移動距離４４３と注目点４４４までの距離は、三角形
４４４、４４５、４４６を構成しており、三角形の一辺
とその両端の角度がわかっているので、この三角形は大
きさが決まる。この結果、飛行機の移動方向４４３と建
物の一部までの距離４４７を求めることができる。な
お、図４９中、４４８は飛行機４４５で建物を撮影した
ときの画像面、４５０は画像面４４８内における注目点
４４４の画像である。また、図４９中、４４９は飛行機
４４６で建物を撮影したときの画像面、４４０は画像面
４４９内における注目点４４４の画像である。

【０００３】そこで、図４８のように水平に飛んでいる
飛行機から連続的に写真を撮影しながら撮影した物体ま
での距離を建物の多くの点について求めることによっ
て、地表面４３１などの上に建っている建物４３２など
の立体データを求めることが可能である。このような３
次元データを求めることができれば、建物などが建って
いる景観をコンピュータグラフィックスの技術を用いて
作成することができる。図４８および図４９を用いて説
明したように、画像撮影手段４２１で連続的な画像を撮
影し、マッチング手段４２２で画像間の対応をとり、立
体画像生成手段４２３で立体画像を生成し、画像表示手
段４２４で立体的な表示を行なう。

【０００４】一方、立体形状を認識しなくても、仮想的
に３次元的に見せる技術として、イメージベースドレン
ダリングあるいは光線射影法などと呼ばれているものが
ある。これは、ある視点から見た映像を記録する方式で
あり、光線情報を仮想平面にマッピングして記録すると
いうものである。このような技術は、"PleopticModelin
g: An Image- Based Rendering System": Leonard Mcmi
llan, GaryBishop, Department of Computer Science U
niversity of North Carolina 、Computer Graphics Pr
oceedings Annual Conference Series, 1995, p39-p46:
「光線情報による３次元実空間の効率的記述に向けた光
線空間射影法、ｖｉｓ９６−８，苗村 建、柳沢健之、
金子正義、原島博、ｐ４９−ｐ５６」において開示され
ている。図５０はこうした手法を用いた仮想空間生成装
置のブロック構成図である。図５０において、符号４５
１は画像を撮影する画像撮影手段、４５２は隣り合った
画像のマッチングをとるマッチング手段、４５３は仮想
平面を作成する仮想平面生成手段、４５４は画像を表示
する画像表示手段である。図５１はイメージベースドレ
ンダリングの概念を示したものである。図５１におい
て、４６１は視点、４６２は物体、４６３は視点と物体
の間に置かれた仮想平面である。このような態様におい
て、物体４６２から出た光のうち、視点４６１に到達し
たものが人間の目に入る。このとき人は物体を認識でき
る。

【０００５】一方、物体４６２と視点４６１の間に４６
３のような仮想平面を考え、物体４６２から出た光をす
べて仮想平面４６３上に記録する。そして、視点４６１
からこの仮想平面４６３を見た角度に応じて記録した光
を表示すれば、人間はあたかもそこに物体があるように
見えるというものである。

【０００６】図５２および図５３は、イメージベースド
レンダリングの手法を用いて、画像の撮影をしている様
子を示したものである。図５２において、４７１はカメ
ラ、４７２は対象物、４７３は視点１である。撮影する
際には、カメラ４７１を視点１−４７３で左右に振って
撮影する。次に図５３を用いて仮想平面の作成方法につ
いて述べる。図５３で４８１はカメラ、４７２は対象
物、４８４は仮想平面、４８２は撮影した画像、４８３
は撮影した画像を仮想平面４８４に投影した画像であ
る。カメラ４８１で対象物４７２を撮影すると画像４８
２が得られる。そこで、仮想平面４８４を対象物とカメ
ラの間に適当に設定して、画像４８２をこの仮想平面に
投影する。大きな仮想平面を作成する場合には、こうし
て投影した画像を張り合わせていく。このとき隣り合っ
た画像同士を張り合わせるために、画像を撮影した角度
を測定するため、カメラを使用する場合は、カメラを分
度器付の三脚に載置しカメラの回転角を正確に測定す
る。また、ビデオカメラで撮影する場合には画像認識の
技術を用いて隣り合った画像同士の対応点を連続的に求
めるといった方法（「投影法を用いた映像の解析方法と
映像ハンドリングへの応用」、阿久津明人、外村佳伸、
電子情報通信学会論文誌D-II,Vol.J79-D-II,No.5,pp675
-686, １９９６年５月）が採用される。

【０００７】

【発明が解決しようとする課題】しかしながら、図４７
に示した従来の仮想空間生成装置では、異なった地点か
ら撮影した画像の中から、対応する箇所を複数個見つけ
ることが必要である。このため、対象物が曲面で構成さ
れていたり、光を反射しやすかったりすると、見る方向
によって見え方が異なるため対応点を見つけることが困
難で、立体データの作成が困難になってしまう。

【０００８】また、図５０に示した別の従来例の仮想空
間生成装置の場合においては、画像の位置関係を調べる
ために、画像同士の対応を正確に求める必要がある。す
なわち、ビデオカメラで撮影した連続したフレームを次
々に解析して、お互いの位置関係を求めて行く必要があ
る。このため、認識の難しい雪景色などの画像や、繰り
返しパターンの多い人工物のような画像の場合には、位
置関係を正しく求めることが困難であった。

【０００９】また、三脚に分度器をつけた場合では、撮
影する毎に撮影した画像の撮影条件をノートなどに記録
しておかなければならないといった問題があった。本発
明は上記従来の問題点に鑑みてなされたもので、その目
的は、ユーザが見たい視線の方向を入力するだけでその
方向に最も近い画像を選択することができる仮想空間生
成装置を提供することである。

【００１０】

【課題を解決するための手段】この課題を解決するため
に本発明は、第１に、仮想空間生成装置を、画像を入力
する画像入力手段と、前記画像入力手段の向いている角
度を測定する角度測定手段と、前記画像入力手段の入力
した画像と前記角度測定手段の測定した方向を記録する
入力情報記録手段と、前記入力情報記録手段の記録して
いる情報を構造化した結果を記録する構造化データ記録
手段と、視点を入力する視点入力手段と、前記視点入力
手段から入力された視点に最も近い画像を前記構造化デ
ータ記録手段から選択する画像選択手段と、前記画像選
択手段の選択した画像を表示する画像表示手段とから構
成したものである。また、構造化データ記録手段は画像
入力手段の入力した画像とこれと同時に角度測定手段か
ら入力された角度情報を組にして記録する。さらに、画
像選択手段は視点入力手段から入力された角度と同じ角
度を持つ構造化データ記録手段に記録された画像を選択
する。

【００１１】これにより、画像を入力すると同時に画像
を入力した方向を測定することができ、ユーザが見たい
視線の方向を入力するだけでその方向に最も近い画像を
選択することができる。

【００１２】第２に、第１の構成に加えて、画像入力手
段の位置を入力する位置測定手段を備え、前記位置測定
手段の測定した位置を前記第１の構成の仮想空間生成装
置の入力情報記録手段に入力する。また、構造化データ
記録手段は画像入力手段から入力された画像とこれと同
時に角度測定手段から入力された角度情報と位置測定手
段から入力された位置情報を組にして記録する。さら
に、画像選択手段は視点入力手段から入力された視点位
置を包む立体を作成し、前記視点入力装置によって入力
された視点からこの立体を見た領域１と呼ぶ部分を計算
し、前記立体を構造化データ記録手段に記録された画像
に対応する位置と角度から決められる視野から前記立体
を見た時の領域２と呼ぶ部分を前記構造化データに記録
された画像すべてに対して計算し、前記領域２に対する
前記領域２の重なる比率の最も大きなものに対する前記
構造化データに記録された画像を選択する。

【００１３】これにより、画像入力手段から入力された
様々な位置で入力された複数の画像の中から、視点入力
装置から入力された視点位置に最も近い画像を選択する
ことができる。

【００１４】第３に、第２の構成に加えて、画像入力装
置の入力する画像の拡大率を入力する拡大率入力手段を
有し、前記拡大率入力手段の入力する拡大率は第１の構
成の仮想空間生成装置の入力情報記録手段に入力される
ようにする。また、構造化データ記録手段は画像入力手
段から入力された画像とこれと同時に角度測定手段から
入力された角度情報と位置測定手段から入力された位置
情報と拡大率入力手段から入力された拡大率を組にして
記録することを特徴とする。

【００１５】これにより、拡大率を変化させながら画像
を入力しても、視点入力手段から入力された視点に最も
近い画像を選択することができる。

【００１６】第４に、第３の構成に加えて、画像入力装
置の入力する画像の対象物と、前記画像入力装置までの
距離を入力する距離測定手段を有し、前記距離測定手段
の入力する距離情報は前記第１の構成の仮想空間生成装
置の入力情報記録手段に入力されるようにする。また、
画像選択手段は、距離測定手段の入力する距離情報に合
わせて画像選択手段の生成する立体の大きさを構造化デ
ータ記録手段に記録された画像毎に決定し、画像毎に決
定された立体を視点入力手段から入力された視点から見
た領域１と、前記構造化データ記録手段に記録された位
置と角度と拡大率によって決定される視点から見た領域
２を前記構造化データ記録手段に記録された画像毎に計
算し、前記領域１と前記領域２の重なる割合が最も大き
なものに対する前記構造化データ記録手段に記録された
画像を選択する。

【００１７】これにより、視点入力手段の入力した視点
位置に最も近い場所から、画像入力手段によって入力さ
れた画像を選択することができる。

【００１８】第５に、本発明の別の態様の仮想空間生成
装置を、同期信号を発生する同期信号発生手段と、画像
を入力する画像入力手段と、前記同期信号発生手段の発
生する同期信号に合わせて前記画像入力手段によって入
力された画像を記録する画像記録手段と、前記画像記録
手段の向いている方向を測定する角度測定手段と、前記
角度測定手段によって測定された角度を前記同期信号発
生手段の発生する同期信号に合わせて角度を測定する記
録する角度記録手段と、前記画像記録手段によって記録
された画像と前記角度記録手段によって記録された角度
情報を同期信号に合わせて記録する入力情報記録手段
と、前記入力情報記録手段に記録された画像から前記角
度情報を利用して必要な画像を選択する画像選択手段
と、前記画像選択手段によって選択された画像をつなぎ
合わせる画像結合手段と、前記画像結合手段によって結
合された画像を記録する結合画像記録手段と、前記結合
画像記録手段に記録されている複数枚の結合画像を表示
する画像表示手段と、前記画像表示手段によって表示さ
れた複数枚の画像の中からお互いに対応する点を指示す
る対応点指示手段と、前記対応点指示手段によって対応
付けされた複数枚の結合画像から３次元空間中の仮想平
面を生成する仮想平面生成手段と、前記仮想平面生成手
段によって生成された仮想平面を記録する仮想平面記録
手段と、前記結合画像記録手段に記録された結合画像を
前記仮想平面記録手段によって記録された仮想平面に張
り付けるイメージ画像張り付け手段と、前記イメージ画
像張り付け手段によって仮想平面に張り付けられた画像
を表示する画像表示手段とによって構成したものであ
る。

【００１９】かかる構成により、画像入力手段の入力し
た画像から仮想平面を立体的に作成し、任意の地点から
見た画像を作成することができる。

【００２０】

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像を入力する画像入力手段と、前記画像入力手段
の向いている角度を測定する角度測定手段と、前記画像
入力手段の入力した画像と前記角度測定手段の測定した
角度を記録する入力情報記録手段と、前記入力情報記録
手段の記録している情報を構造化した結果を記録する構
造化データ記録手段と、視点を入力する視点入力手段
と、前記視点入力手段から入力された視点に最も近い画
像を前記構造化データ記録手段から選択する画像選択手
段と、前記画像選択手段の選択した画像を表示する画像
表示手段とを備えたものであり、画像を入力すると同時
に画像を入力した方向を測定することができ、ユーザが
見たい視線の方向を入力するだけでその方向に最も近い
画像を選択するという作用を有する。

【００２１】本発明の請求項２に記載の発明は、請求項
１の記載の仮想空間生成装置において、構造化データ記
録手段は画像入力手段の入力した画像とこれと同時に角
度測定手段から入力された角度情報を組にして記録する
ようにしたものである。

【００２２】本発明の請求項３に記載の発明は、請求項
１に記載の仮想空間生成装置において、画像選択手段は
視点入力手段から入力された角度と同じ角度を持つ構造
化データ記録手段に記録された画像を選択するようにし
たものである。

【００２３】本発明の請求項４に記載の発明は、請求項
１に記載の仮想空間生成装置において、画像入力手段の
位置を入力する位置測定手段を備え、前記位置測定手段
の測定した位置を入力情報記録手段に入力するようにし
たものである。

【００２４】本発明の請求項５に記載の発明は、請求項
４に記載の仮想空間生成装置において、構造化データ記
録手段は画像入力手段から入力された画像と、これと同
時に角度測定手段から入力された角度情報と、位置測定
手段から入力された位置情報とを組にして記録するよう
にしたものである。

【００２５】本発明の請求項６に記載の発明は、請求項
５に記載の仮想空間生成装置において、画像選択手段は
視点入力手段から入力された視点位置を包む立体を作成
し、前記視点入力装置によって入力された視点からこの
立体を見た領域１を計算し、また前記立体を構造化デー
タ記録手段に記録された画像に対応する位置と角度から
決められる視野から前記立体を見た時の領域２を前記構
造化データに記録された画像すべてについて計算し、前
記領域１に対する前記領域２の重なる比率の最も大きな
ものに対する前記構造化データ記録手段に記録された画
像を選択するようにしたものであり、画像入力手段から
入力された様々な位置で入力された複数の画像の中か
ら、視点入力装置から入力された視点位置に最も近い画
像を選択することができるという作用を有する。

【００２６】本発明の請求項７に記載の発明は、請求項
６に記載の仮想空間生成装置において、画像選択手段の
作成する視点を包む立体は円筒形、直方体、多面体、
球、楕円のいずれかであるようにしたものである。

【００２７】本発明の請求項８に記載の発明は、請求項
７に記載の仮想空間生成装置に加えて、画像入力装置の
入力する画像の拡大率を入力する拡大率入力手段を備え
たものであり、前記拡大率入力手段の入力する拡大率は
入力情報記録手段に入力され、拡大率を変化させながら
画像を入力しても、視点入力手段から入力された視点に
最も近い画像を選択することができるという作用を有す
る。

【００２８】本発明の請求項９に記載の発明は、請求項
８に記載の仮想空間生成装置において、構造化データ記
録手段は画像入力手段から入力された画像と、これと同
時に角度測定手段から入力された角度情報と、位置測定
手段から入力された位置情報と、拡大率入力手段から入
力された拡大率とを組にして記録するようにしたもので
ある。

【００２９】本発明の請求項１０に記載の発明は、請求
項８に記載の仮想空間生成装置に加えて、画像入力装置
の入力する画像の対象物から前記画像入力装置までの距
離を入力する距離測定手段を有し、前記距離測定手段の
入力する距離情報は入力情報記録手段に入力されるよう
にしたものであり、視点入力手段の入力した視点位置に
最も近い場所から、画像入力手段によって入力された画
像を選択することができるという作用を有する。

【００３０】本発明の請求項１１に記載の発明は、請求
項１０に記載の仮想空間生成装置において、画像選択手
段は、距離測定手段の入力する距離情報に合わせて画像
選択手段の生成する立体の大きさを構造化データ記録手
段に記録された画像毎に決定し、画像毎に決定された立
体を視点入力手段から入力された視点から見た領域１
と、前記構造化データ記録手段に記録された位置と角度
と拡大率によって決定される視点から見た領域２を前記
構造化データ記録手段に記録された画像毎に計算し、前
記領域１と前記領域２の重なる割合が最も大きなものに
対する前記構造化データ記録手段に記録された画像を選
択するようにしたものであり、視点入力手段の入力した
視点位置に最も近い場所から、画像入力手段によって入
力された画像を選択することができるという作用を有す
る。

【００３１】本発明の請求項１２に記載の発明は、同期
信号を発生する同期信号発生手段と、画像を入力する画
像入力手段と、前記同期信号発生手段の発生する同期信
号に合わせて前記画像入力手段によって入力された画像
を記録する画像記録手段と、前記画像記録手段の向いて
いる方向を測定する角度測定手段と、前記角度測定手段
によって測定された角度を前記同期信号発生手段の発生
する同期信号に合わせて角度を測定する記録する角度記
録手段と、前記画像記録手段によって記録された画像と
前記角度記録手段によって記録された角度情報を同期信
号に合わせて記録する入力情報記録手段と、前記入力情
報記録手段に記録された画像から前記角度情報を利用し
て必要な画像を選択する画像選択手段と、前記画像選択
手段によって選択された画像をつなぎ合わせる画像結合
手段と、前記画像結合手段によって結合された画像を記
録する結合画像記録手段と、前記結合画像記録手段に記
録されている複数枚の結合画像を表示する画像表示手段
と、前記画像表示手段によって表示された複数枚の画像
の中からお互いに対応する点を指示する対応点指示手段
と、前記対応点指示手段によって対応付けされた複数枚
の結合画像から３次元空間中の仮想平面を生成する仮想
平面生成手段と、前記仮想平面生成手段によって生成さ
れた仮想平面を記録する仮想平面記録手段と、前記結合
画像記録手段に記録された結合画像を前記仮想平面記録
手段によって記録された仮想平面に張り付けるイメージ
画像張り付け手段と、前記イメージ画像張り付け手段に
よって仮想平面に張り付けられた画像を表示する画像表
示手段とを備えたものであり、画像入力手段の入力した
画像から仮想平面を立体的に作成し、任意の地点から見
た画像を作成することができるという作用を有する。

【００３２】（実施の形態１）図１は、本発明の第１の
実施の形態における仮想空間生成装置のブロック構成図
である。図１において、１は撮像装置やカメラなどから
成り画像を入力する画像入力手段、２は画像入力手段１
の向いている角度を測定する角度測定手段、３は画像入
力手段１の入力した画像情報と前記角度測定手段２の測
定した方向の情報などの入力情報を記録する入力情報記
録手段、４は入力情報記録手段３の記録している情報を
構造化した結果を記録する構造化データ記録手段、５は
後述の視点入力手段６から入力された視点に最も近い画
像を前記構造化データ記録手段４から選択する画像選択
手段、６は視点を入力する視点入力手段、７は画像選択
手段５の選択した画像を表示する画像表示手段である。

【００３３】構造化データ記録手段４は画像入力手段１
の入力した画像とこれと同時に角度測定手段２から入力
された角度情報を組にして記録するものである。また、
画像選択手段５は、視点入力手段６から入力された角度
と同じ角度を持つ構造化データ記録手段４に記録された
画像を選択するものである。

【００３４】図２は上記第１の実施の形態に係る仮想空
間生成装置を具体的な機器構成の例によって図説するも
のである。図２において、２１は本体である。この事例
によれば、画像入力手段１の機器としてビデオカメラが
用いられる。このビデオカメラは本体２１上に角度測定
手段２としてジャイロを装備し、また入力情報記録手段
３としてメモリを備え、さらに視点入力手段６として操
作パネル、画像表示手段７としてビューファインダー、
液晶ディスプレーを備えている。また、このビデオカメ
ラは、構造化データ記憶手段４および画像選択手段５を
内蔵している。

【００３５】図３は図１に示す仮想空間生成装置の中の
入力情報記録手段３の部分をより詳細に示した要部ブロ
ック図である。この図に示すように、入力情報記録手段
３は画像入力手段１および角度測定手段２からの入力デ
ータを符号化する符号化手段３５と、符号化された画像
情報および角度測定情報と連続的に記憶蓄積する連続デ
ータ蓄積手段３６とを備えて成る。図３に示すように、
角度入力手段２や、画像入力手段１から入力された情報
は、符号化手段３５によってデータ圧縮などの処理が行
なわれる。このとき、角度入力手段２および画像入力手
段１から同時に入力された情報は一緒する。たとえば、
ＭＰＥＧのデータフォーマットを使用する場合は、角度
情報は音声信号に変換するといった処理を行なう。連続
データ蓄積手段３６はこの様にして連続的に入力された
情報を蓄積していく。

【００３６】図４は図１に示す仮想空間生成装置の中の
構造化データ記録手段４の部分をより詳細に示した要部
ブロック図である。この図に示すように、構造化データ
記録手段４は入力情報記録手段３からデータを受領して
構造化処理を施す構造化データ作成手段４１を有してい
る。そして、この構造化データ作成手段４１によって複
数枚の画像データ８が作成される。１枚の画像データ８
は角度測定手段２によって測定された角度情報から得ら
れた方向情報が格納されたインデックス部８ａと、画像
入力手段１であるビデオカメラにより得られた画像情報
８ｂとから構成されており、画像入力手段１から入力さ
れた画像毎に複数枚作成される。

【００３７】構造化データ作成手段４１は、入力情報記
録手段３に符号化されて連続的に記録されている入力情
報を、撮影時の画像１枚毎に分割し、角度をもとににす
るインデックス付けを行なって多数枚の画像データ８と
する。このように、入力情報記録手段３にいったん入力
情報を記録し、構造化データ記録手段４で構造化すると
いった処理を行なうのは、画像情報８ｂなどの入力は撮
影と同時に行なう必要があるのに対し、データの構造化
は撮影した後に時間をかけて行っても差し支えないから
である。もし、入力情報の構造化を撮影と同時に行なう
ことができれば、入力情報記録手段を省略することがで
きる。

【００３８】図５は図１に示す仮想空間生成装置の中の
画像選択手段５の部分をより詳細に示した要部ブロック
図である。この図に示すように、画像選択手段５は、構
造化データ記録手段４からの画像情報を読み込む画像読
み込み手段５５と、構造化データ記録手段４からの方向
情報を入力するとともに視点入力手段６からの視点情報
を入力して両情報を比較する比較手段５６とを有してい
る。比較手段５６の比較結果は画像読み込み手段５５へ
送付されて画像選択が行なわれ、選択された画像情報が
画像表示手段７へ出力される。

【００３９】かかる構成を有する仮想空間生成装置の動
作を図６から図８を用いて説明する。図６は、画像入力
装置であるビデオカメラを用いて撮影対象物である立木
を撮影するにあたり、上記ビデオカメラを１地点に設置
して撮影角度を変えながら（つまり、首振りさせて）撮
影する状態を示す図である。また図７は上記のようにビ
デオカメラを１地点に設置して撮影角度を変えながら撮
影する場合に得られる画像を示す図である。図６におい
て、５１は画像入力装置であるビデオカメラ、５２は撮
影対象物、５３は撮影地点である。図５に示すように、
撮影対象物５２を撮影するために、カメラ５１を撮影地
点５３でいろいろな方向を向けて録画操作を行なう。図
７は撮影対象物と、撮影した画像の関係を示している。
図７において、５２は図６において示したのと同様な撮
影対象物、６２は画像入力装置の一部、６３は画像入力
装置のレンズ、６４はレンズを通して結ばれた像、６５
は撮影された画像を示している。図７に示すように、撮
影対象物５２を画像入力装置６２によって撮影すると、
レンズ６３を通して像６４が結ばれる。ビデオカメラの
場合はこの地点（位置）に撮像素子があり、電子的に画
像が記録される。この地点に結ばれる像６４を、便宜的
にレンズをはさんで同じ距離にある画像６５で代用する
ことにする。図７に示すように、撮影対象物５２が画像
６５のように撮影される。

【００４０】図８は視点と視野角などの関係をモデル化
して示したものである。図８において、７１は視点、７
２は視野角、７３は視点の方向、７４は画像、７５は画
像の視野、７６は画像の視点を示している。画像７４は
図７における画像６５をモデル化して表したものであ
る。図８では、視点７１から視野角７２で方向７３を見
て撮影した結果、画像７４が得られたことを示してい
る。また、図８の右側はこれの簡易表現を表わしてお
り、画像の視野７５で、視点７１から見える範囲を、画
像の視点７６で視点７１の位置を表わしている。

【００４１】図９は、撮影対象物を様々な視点から撮影
した様子を示している。図９において、８１はユーザの
視野、８２は第１の画像の視野、８３は第２の画像の視
野、８４は原点である。ユーザの視野８１はユーザが原
点に立っていると考えて、視点入力手段６により見る角
度を決めることによって設定される。ユーザの視点に対
して、撮影した様々な画像の位置関係を求めるために、
ユーザの視野は原点中心でｘ軸を通るように固定する。
そして、画像の視野はユーザの視野にする相対角度を計
算し座標軸に設定する。図６に示すように、撮影地点５
３において様々な方向を向けてカメラで画像を撮影する
と、これに応じて角度入力手段２より撮影した方向の角
度が一緒に入力される。この角度をもとにユーザの視野
に対する相対位置を計算し、図９のように原点８４の回
りに画像の視野を配置する。このとき、視野の最も多く
重なった画像を選択し表示する。すなわち、図４および
図５において、視点入力手段６から入力されたユーザの
見たい角度を元に、画像選択手段５の比較手段５６が構
造化データ記録手段４のインデックス８ａにある角度と
比較して、ユーザの視野と画像の視野の重なったもの
を、画像読み込み手段５５が読み出す。そして、この画
像は画像表示手段７によって表示される。

【００４２】（実施の形態２）図１０は、第２の実施の
形態における仮想空間生成装置のブロック構成図であ
る。図１０において、１は撮像装置やカメラなどから成
り画像を入力する画像入力手段、２は画像入力手段１の
向いている角度を測定する角度測定手段、３は画像入力
手段１の入力した画像情報と前記角度測定手段２の測定
した方向の情報などの入力情報を記録する入力情報記録
手段、４は入力情報記録手段３の記録している情報を構
造化した結果を記録する構造化データ記録手段、５は後
述の視点入力手段６から入力された視点に最も近い画像
を前記構造化データ記録手段４から選択する画像選択手
段、６は視点を入力する視点入力手段、７は画像選択手
段５の選択した画像を表示する画像表示手段、９は位置
測定手段である。すなわち、図１０においては、１から
７までは実施の形態１と同じで、位置測定手段９が付加
されている。

【００４３】図１１は上記第２の実施の形態に係る仮想
空間生成装置を具体的な機器構成の例によって図説する
ものである。図１１において、２１は本体である。この
事例によれば、画像入力手段１の機器としてビデオカメ
ラが用いられる。このビデオカメラは本体２１上に角度
測定手段２としてジャイロを装備し、また入力情報記録
手段３としてメモリを備え、さらに視点入力手段６とし
て操作パネル、画像表示手段７としてビューファインダ
ー、或いは液晶ディスプレー、位置測定手段９としてＧ
ＰＳ（グローバル・ポジショニング・システム：通信衛
星を使った位置測定システム）を備えている。また、こ
のビデオカメラは、構造化データ記憶手段４および画像
選択手段５を内蔵している。

【００４４】図１２は図１０に示す仮想空間生成装置の
中の構造化データ記録手段４の部分をより詳細に示した
要部ブロック図である。この図に示すように、構造化デ
ータ記録手段４では複数枚の画像データ８が作成され
る。１枚の画像データ８は角度測定手段２によって測定
された角度情報から得られた方向情報が格納されたイン
デックス部８ａと、画像入力手段１であるビデオカメラ
により得られた画像情報８ｂとから構成されており、画
像入力手段１から入力された画像毎に複数枚作成され
る。

【００４５】構造化データ記録手段４では、入力情報記
録手段３に符号化されて連続的に記録されている入力情
報を、撮影時の画像１枚毎に分割し、角度をもとににす
るインデックス付けを行なって多数枚の画像データ３３
とする。このように、入力情報記録手段３にいったん入
力情報を記録し、構造化データ記録手段４で構造化する
といった処理を行なうのは、画像情報８ｂなどの入力は
撮影と同時に行なう必要があるのに対し、データの構造
化は撮影した後に時間をかけて行っても差し支えないか
らである。もし、入力情報の構造化を撮影と同時に行な
うことができれば、入力情報記録手段を省略することが
できる。

【００４６】かかる構成を有する第２の実施の形態に係
る仮想空間生成装置の動作を図１３から図２４を用いて
説明する。図１３は、画像入力装置であるビデオカメラ
を用いて撮影対象物である立木を撮影するにあたり、一
台のビデオカメラを２地点（複数地点でもよい）に移動
させ、且つ撮影角度を変えながら（つまり、首振りさせ
ながら移動させて）撮影する状態を示す図である。また
図１４は、上記のようにビデオカメラを位置を変え且つ
撮影角度を変えながら撮影した場合に得られる画像の視
野および視点を表す図である。図１３において、１２１
は画像入力装置であるビデオカメラ、１２２は撮影対象
物、１２３および１２４は撮影地点である。図１３に示
すように、撮影対象物１２２を撮影するために、カメラ
１２１を撮影地点１２３や撮影地点１２４などでいろい
ろな方向へ向けて録画操作を行なう。図１４は、撮影対
象物１２２を様々な視点から撮影している様子を示して
いる。図１４においては、画像の視野として先に図８を
用いて説明したのと同じ表現を用いている。図１４にお
いて、１３１は撮影対象物、１３２は撮影対象物１３１
を様々な視点から撮影している様子を示している。ま
た、１３３は撮影対象物１３１に視点が近づいている様
子を示している。撮影対象物１３１は上記撮影対象物１
２２と同じものであるが、ビデオカメラ１２１が遠ざか
ったり近づいたりと、より動き回って撮影地点が変わ
り、撮影のされ方が違っている。撮影対象物１３１を様
々な方向から知るために、１３２のように視点を様々な
位置に移動したり、１３３のように対象物に近づいたり
する。このようにして対象物１３１を撮影した結果、各
々の視点毎に画像が得られることになる。

【００４７】図１５は、撮影した画像を選択するための
手順を説明する図である。図１５において、１４１、１
４２、１４３、１４４、１４５は、撮影対象物１３１を
撮影した画像を選択するためにユーザが設定した視点で
これをユーザの視点と呼ぶ。画像を撮影した際の画像の
視点と区別するために、ユーザの視点には、視野角の間
に陰（図１５中視野角の内部を扇形に塗ったもの）を入
れてある。ビデオカメラ１２１などで、撮影対象物１３
１を次々と撮影した後、この画像をユーザが見る場合に
は、ユーザの視点を１４１から１４５のように指定して
行なう。１４１から１４４までは、いろいろな方向を見
ている場合を示しており、１４５は撮影対象物に近づい
て見ている様子を示している。

【００４８】実施の形態２の課題は、これらの視点から
みたものに一番近い画像を図１４の画像の中から選択す
ることである。図１６は、画像の視点と、ユーザの視点
の対応を示している。同図中の符号は図１４および図１
５で説明したものと同じである。ユーザの視点を１４１
に設定した場合、この方向で見て撮影した画像がないの
で、撮影した画像のどれかを表示する場合には、ユーザ
の指定した視点とはかなり異なった位置の画像を表示す
る。また、ユーザの視点１４２や１４４では、比較的指
示したユーザの視点と近い画像が得られる。また、ユー
ザの視点１４３では、近くのものはないが、少しはなれ
たものであれば撮影されていると考えられる。さらに、
ユーザの視点１４５の場合は、ユーザの視点１４４から
移動してきた場合、移動している視点１３２から撮影さ
れたものではなく、近づいている視点１３３の中から撮
影した画像に近いものが得られると考えられる。

【００４９】図１７は、撮影対象物を撮影した画像と、
ユーザの視点などの関係を示したものである。図１７の
下は画像を撮影した場所における画像の視野とユーザの
視野の位置関係を立体的に示したもので、図１７の左上
はこれを２次元的にわかりやすくしたものである。ま
た、右上は、画像に画像に対してユーザの視点から見え
る範囲を示したものである。そして、この図１７はユー
ザの視野の方が画像の視野より前にある様子を示してい
る。図１７において１６１はユーザの視野、１６２は画
像の視野、１６３、１６４、１６５は各々同心円、１６
６は同心円１６５をユーザの視野から見た部分、１６７
は同心円１６５を画像の視野から見た部分、１６８はユ
ーザの視野に対応する画像、１７０は撮影対象物、１６
９は撮影対象物１７０を撮影した画像、１７１はユーザ
の視野、１７２は画像の視野である。１７５は撮影対象
物１７０の背後におかれ、画像を表示する仮想の円筒、
１７３はユーザの視野１６６に対応するユーザの視野１
７１から見える円筒の部分、１７２は画像の視野１６７
に対応する画像の視野１７２から見える円筒の部分であ
る。同心円上において、ユーザの視野１６１は図１７に
示すように座標の原点とｘ座標軸を通るように固定され
ている。画像の視野１６２は、撮影した場所におけるユ
ーザの視野１７３と画像の視野１７４の位置関係を保つ
ようにｘ座標軸上に置かれる。ユーザの視野１６１から
同心円１６５をみると、同心円部分１６６が見える。こ
れに対して、画像の視野１６２から見えるものが、同心
円部分１６７である。画像は１６７にマッピングして考
える。

【００５０】この関係を３次元的に見ると、図１７の下
部に示してあるように、撮影対象物１７０、ユーザの視
野１７１、画像の視野１７２のようになる。この場合
は、物体を撮影した画像の視野１７２より前に、ユーザ
の視野１７１がある。撮影対象物１７０の背後に円筒１
７５を仮想的に設け、ユーザの視野１７３や、画像の視
野１７２からこれを見ると、各視野１７３や１７４の部
分が見えることになる。このような視野から実際に見え
る画像を考えて見ると、画像の視野１７４からは１６８
のような実際に撮影した画像が見えることになり、ユー
ザの視野１７３から見える部分は、視野１７３、１７４
のこの位置関係の場合は、１６８のように画像の一部と
なる。

【００５１】図１８は、図１７とは逆にユーザの視野の
方が画像の視野より後ろにある様子を示している。図１
８において、１６３、１６４、１６５は各々同心円、１
７６は同心円１６３、１６４、１６５上におけるユーザ
の視野、１７７は同心円１６３、１６４、１６５上にお
ける画像の視野、１７８はユーザの視野１７６に対応す
る、立体的に表したユーザの視野、１７９は画像の視野
１７７に対応する、立体的に表した画像の視野を表わし
たものである。図１８には示してないが、この図におい
ても、図１７と同様、撮影対象物の背後に円筒１７５を
仮想的に設けてあるものとする。１８０は撮影対象物、
１８１は画像の視野１７７から円筒１７５上に見える画
像の範囲、１８２はユーザの視野１７６から円筒１７５
上に見える画像の範囲である。ユーザの視野１７８が画
像の視野１７９よりも後ろにあるために、ユーザの視野
から見える画像の範囲１８２の中（内側）に、画像１８
１が見える。

【００５２】図１９は、ユーザの視野１８２と画像の視
野１８３がずれていることを示している。図１９におい
て、１６３、１６４、１６５は各々同心円、１８２は同
心円１６３、１６４、１６５上におけるユーザの視野、
１８３は同心円１６３、１６４、１６５上における画像
の視野を表わしたものである。図１９では 立体的な視
野表現は行なっていないが、図１７および図１８におけ
ると同様、同心円上のユーザの視野１８２に対応する、
立体的に表したユーザの視野、および同心円上の画像の
視野１８３に対応する、立体的に表した画像の視野を想
定するものである。さらに図１９には示してないが、こ
の図においても、図１７と同様、撮影対象物の背後に円
筒１７５を仮想的に設けてあるものとする。１８４は立
体的に表したユーザの視野から円筒１７５上に見える画
像の範囲、１８５は立体的に表した画像の視野から円筒
１７５上に見える画像の範囲である。ユーザの視野１８
２と画像の視野１８５が互いにずれていることから、図
１９に示すような位置関係から円筒１７５を見た場合、
ユーザの視野１８２からは１８４の範囲の画像が見え、
画像の範囲１８５の一部が見えることになる。なお、図
１９で画像の範囲１８４と１８５のずれの大きさや方向
は、ユーザの視野１８２と画像の視野１８３の関係を正
確に表現したものではなく、単に入れ子になっているこ
とを表現している。

【００５３】図２０は、円筒１７５の半径を変えながら
（図２０（ａ）と図２０（ｂ））円筒１７５に画像を投
影し、その投影像をユーザの視野から見ていくと、円筒
１７５の半径を変えるにしたがって、画像が見えたり見
えなかったりすることを示している図である。図２０
（ａ）において、１９１はユーザの視野、１９２は画像
の視野、１９３はユーザの視野１９１から見える画像の
範囲、１９４は撮影対象物の画像、１９９および２００
は円筒１７５を上から見た同心円を示している。図２０
（ａ）は同心円１９９、２００のうち内側の円１９９を
対象に考えている。また、図２０（ｂ）は外側の円２０
０を対象に考えており、１９５はユーザの視野、１９６
は画像の視野、１９７はユーザの視野１９５から外側の
円の見える範囲、１９８は画像の視野１９６から外側の
円が見える範囲である。

【００５４】このような状態において、各々の視野から
内側の円１９９を見た場合は、２つの視野１９１、１９
２が重なったところがあるので、画像の範囲１９３およ
び１９４に示すように、ユーザの視点から見ると、円筒
にマッピングされた画像の一部が見える。しかし、図２
０（ｂ）のように、外側の円２００を見ると２つの視野
１９１、１９２が重なったところがないので、ユーザの
視野１９１からは、撮影対象物の画像は見えない。

【００５５】図２１（ａ）は、ユーザの視野と画像の視
野がまったく重ならない場合の状態を示している。図２
１（ａ）において、２０１はユーザの視野、２０２は画
像の視野である。この場合は、ユーザの視野から見た場
合、撮影対象物の画像は全く見えない。

【００５６】図１８から図２１を用いて述べた画像の視
野とユーザの視野の関係を整理すると、次の３つのケー
スがあることがわかる。 （１）画像の視野とユーザの視野が同じ方向を向いてい
る場合である。この場合は、円筒の半径を大きくしてい
けば、かならずユーザの視野から画像が見えるようにな
る。 （２）画像の視野とユーザの視野が交差している場合で
ある。この場合は、円筒の一定の半径においてユーザの
視野から画像が見える。 （３）画像の視野とユーザの視野がまったく重ならない
場合である。この場合は、円筒の半径をどのようにして
もユーザの視野から画像が見えない。

【００５７】ここで、実際の撮影対象物の位置と画像の
視野、ユーザの視野の関係には図２１（ｂ）の様な関係
がある。図２１（ｂ）において、２０３、２１０は画像
の視野、２０５はユーザの視野、２０６、２０７は撮影
対象物、２０９は視点、２０４はユーザの視点を中心と
する円筒の一部である。視点２０９から視野の方向に見
ると、視野の範囲にあるものがすべて見える。ユーザの
視野２０５に最も近い画像の視野を選ぶ際、撮影対象物
が２０７の場所にある場合は、画像の視野２０３は選ば
れ、撮影対象物が２０６にある場合は、画像の視野２０
３は選ばれないのが好ましいが、撮影対象物までの距離
は不明である。そこで、ユーザの視野２０５に最も近い
画像の視野を選択する場合、ユーザの視点を中心にした
円筒を考え、ユーザの視野から見た円筒の部分と、画像
の視野から見た円筒の部分の重なり具合のみで判断する
ことにする。

【００５８】例えば、図２１（ｂ）では、ユーザの視野
２０５から円筒２０４の見える範囲はＣ−Ｅ、画像の視
野２０３から見える円筒の範囲はＢ−Ｄ、画像の視野２
１０から見える円筒の範囲はＡ−Ｆである。このため、
ユーザの視野２０５から見える範囲と画像の視野２０３
または視野２０９から見える範囲の割合は、視点２０９
の方が大きい。そこで、図２１（ｂ）の様な場合は、ユ
ーザの視野２０５には、画像の視野２０３の方が画像の
視野２１０より近いと判断して、画像の視野２０３を選
択することにする。そして、画像の視野を選択した後
に、ユーザの視野は画像の視野と一致させる。

【００５９】図２２は、ユーザの視野、画像の視野およ
び投影する円筒などの関係を示したものである。図２２
において、２１１はユーザの視野、２１２は画像の視
野、２１５は円筒、２１６は円筒の半径、２１３はユー
ザの視野から円筒が見える範囲、２１４は画像の視野か
ら見た円筒の範囲、２１７はユーザの視野から見える円
筒の範囲と画像の視野から見える円筒の範囲の重なって
いる部分である。図２２に示すように、重なった部分２
１７は円筒２１５の半径２１６が変化するにつれて変化
する。

【００６０】図２３は図２２の状態においてユーザの視
野２１１から円筒２１５の画像が見える範囲と、画像の
視野２１２から見える円筒２１５の範囲の関係を示した
ものである。図２３において、２２１、２２３、２２５
はユーザの視野２１１から円筒２１５の見える範囲、２
２２、２２４、２２６は画像の視野２１２から円筒２１
５の見える範囲である。図２３（ａ）は、ユーザの視野
２１１が画像の視野を含んでいる場合を示し、また図２
３（ｂ）は逆に画像の視野２１２がユーザの視野を含ん
でいる場合を示している。円筒の半径が決まった後、ユ
ーザの視野２１１から見た円筒と、画像の視野２１２か
ら見える円筒の範囲を計算し、図２３（ｃ）のように重
ね合せる。そして、重なっている面積と重なっていない
部分の面積の和の比を求めることになる。そして、この
値は、ユーザの視野と画像の視野が一致したとき１対０
になり、全く一致しないときは０対１になるので１対０
に最も近いものをユーザの視点から見た画像に最も近い
ものにユーザの視点から見た画像に最も近いものとして
表示することにする。

【００６１】図２４はこの手順の流れをフローチャート
にしたものである。このフローチャートにおいて、画像
の選択処理が開始されると、処理ステップ（以下、単に
ステップという）ＳＴ１において円筒２１５の半径ｒが
設定され、次いでステップＳＴ２において画像を見るた
めの視点が決定される。この視点が決定されると、ステ
ップＳＴ３において、上記円筒２１５を見るための視点
から見える範囲を計算し、その結果（Ａとする）が算出
される。次に、ステップＳＴ４において撮影した画像の
すべてについて円筒２１５上における撮影対象物の視点
から見える範囲を計算し、その結果（Ｂｎとする）が算
出される。そして、ステップＳＴ５において、ステップ
ＳＴ４で求めたＢｎのうち上記ステップＳＴ３で求めた
Ａとの面積比が最も小さなもの（比が「１」に近いも
の）を選択する。これによって、一連の画像の選択処理
動作が終了する。

【００６２】（実施の形態３）図２５は、実施の形態３
における仮想空間生成装置のブロック構成図である。図
２５において、１から７まで、および９は実施の形態１
と同じで、拡大率入力手段２４１が付加されている。図
２６は、実施の形態３における装置の実際を現わしてい
る。図１０の実施の形態２と比較して、拡大縮小指示手
段２４１が新に付加されている。

【００６３】以下、かかる構成を有する実施の形態３の
動作を図２７を用いて説明する。図２７において、２６
１はユーザの視野、２６２は画像の視野、２６３はユー
ザの視点、２６４は画像の視点である。画像の視点２６
４はユーザの視点２６３より前にあり、視野角が広がっ
ている。このため、各々の視野から見える円筒の範囲は
実施の形態１の場合と同じである。このようにして、拡
大率入力手段２４１が付加された場合は、拡大率に応じ
て視野角を変える。以下の処理は実施の形態と同じであ
る。

【００６４】（実施の形態４）図２８は、実施の形態４
における仮想空間生成装置のブロック構成図である。図
２８において、１から７まで、および９、２４１は実施
の形態３と同じで、距離入力手段２７１が付加されてい
る。図２９は実施の形態４における実際の装置を表わし
ている。実施の形態３と比較して、距離測定手段２８１
が新に付加されている。

【００６５】図３０、図３１は実施の形態４の動作を説
明したものである。図３０の右に示すように、簡略図で
は画像の位置２９１を表示する。２９２は画像までの距
離Ｌで、距離入力手段２７１から入力された距離を利用
する。図３１は、距離入力手段２７１の利用方法を説明
したものである。図３１において、３０１は撮影対象
物、３０２から３０４は画像の視点、３０５はユーザの
視点、３０６は円筒、３１０は画像の視野から見える円
筒の範囲、３２０はユーザの視野から見える円筒の範囲
である。画像までの距離がわかっている場合は、図３１
に示すように、撮影した撮影対象物までのおおよその位
置がわかっているので、円筒が画像の位置に来るように
設定すれば、視点３０５から見た場合との大きさの比較
が実際のものと近くなる。

【００６６】図３２および図３３は、画像までの距離が
わかっている場合の円筒の半径の決め方について説明し
たものである。図３２において、３１１はユーザの視
野、３１２、３１５は画像の視野、３１３、３１６は画
像の位置、３１４、３１７は円筒、３０８、３０９は円
筒を半径を変えた場合の画像の視野から見える円筒の範
囲、３２０はユーザの視野から見える円筒の範囲であ
る。画像までの距離があらかじめわかっている場合は、
画像毎に円筒の大きさを３１４や３１７の様に変えて、
それぞれについて、図３３の表に表したようにユーザの
視野から見た大きさと、画像の視野から見た大きさを比
較する。この結果、ユーザの視野に最も近い画像の視野
を持つものが選択される。例えば、撮影対象物３１８を
撮影した画像を見ようとする場合は、円筒を３１４のよ
うに設定する。このときのユーザの視野から見た円筒３
１４と画像の視野３１２から見た円筒３１４の関係（こ
れを関係「３１−上−Ａ」とする）、およびユーザの視
野から見た円筒３１４と画像の視野３１５から見た円筒
３１４の関係（これを関係「３１−上−Ｂ」とする）
は、図３３の表のようになる。関係「３１−上−Ａ」で
は、ユーザの視野から見た画像と、画像の視野が重なっ
ているが、関係「３１−上−Ｂ」では、重なりがないの
で、画像３１３が選択される。一方、円筒を３１７のよ
うにした場合は、各々の関係が図３３の表中における関
係「３１−下−Ａ」および関係「３１−下−Ｂ」のよう
になり、画像３１６が選択される。もし、撮影対象物ま
での距離がわからないとしたときは、最初に半径を３１
７になるように設定すると、画像３１６が選ばれてしま
う。この結果、ユーザは身近にある撮影対象物３１８を
撮影した映像３１３が欲しかったとしても、画像３１３
は選択されなくなってしまう。このような問題を防ぐた
めに、画像までの距離を一緒に測定しておき、ユーザの
視点位置に近いところにある画像に円筒を位置付ける。

【００６７】（実施の形態５）図３４は、実施の形態５
における仮想空間生成装置のブロック構成図の前半を示
している。後半は図３６に示してある。図３２におい
て、３２１は同期信号発生手段、３２２は角度測定手
段、３２３は角度記録手段、３２４は画像入力手段、３
２５は画像記録手段、３２６は入力画像記録手段、３２
７は画像選択手段、３２８は画像結合手段、３２９は結
合画像記録手段である。また、本発明の実施の形態５の
具体的な機器構成の例について、図３５から図３７を用
いて説明する。図３５は、本装置の画像入力手段および
角度測定手段を示している。図３５において３３１はビ
デオカメラ、３３２は角度入力手段で一般的にはジャイ
ロセンサー、３３３はビデオの音声入力端子、３３４は
デジタルビデオカセット（ＤＶＣ）、３３５はパソコ
ン、３３６は同期信号発生手段、３３７は角度情報記録
手段である。

【００６８】この装置を使用した場合は、図１３に示し
たように、第１の視点１２３および第２の視点１２４に
おいて周囲の撮影を行なう。ただし、この場合は撮影し
ながらの移動は行わないで、ある地点を中心としてその
周囲を撮影した後、次の位置に移動する。これは例え
ば、カメラを三脚に固定したりして行なう。この時、図
３５に示したようにビデオカメラ３３１と角度入力手段
３３２が一体になっているので、角度入力手段３３２に
よってビデオカメラ３３１の向きが測定される。角度入
力手段３３２で測定された角度情報はパソコンの角度情
報記録手段３３７に記録される。一方、パソコン３３５
からは同期信号発生手段３３６によって同期信号が発生
されており、この同期信号はビデオカメラ３３１の音声
入力端子３３３を通じてデジタルビデオカメラ３３１の
ビデオカセット２４に画像情報とともに記録される。

【００６９】図３６はこの装置を用いて、パノラマ画像
を作成する様子を示している。図３６において、３４１
は角度画像配列、３４２、３４３は選択された画像、３
４４は円、３４５は円の中心を表わしている。図３５で
示したように、角度情報と画像情報は同期信号と共に記
録されるので、図３６に示すように同じ時間に記録され
た画像と角度の配列を作成することが可能である。ま
た、画像はある地点の周囲をぐるりと一回りして撮影さ
れるので、角度情報は０から３６０度の範囲である。そ
こで、例えば、角度を４５度おきにして画像を選択して
くれば、図３６に示すように、中心３４５の周りの演習
上に８枚の画像を並べることができる。この８枚の画像
をつなぎあわせればパノラマ画像を作成することができ
る。

【００７０】図３７は、入力情報記録手段３２６と画像
選択手段３２７の動作を説明したものである。図３７に
おいて、３５１は角度情報、３５２は画像、３５３は同
期信号、３５４は画像配列、３５５は配列生成手段、３
５６はカウンター、３５７は比較手段、３５８は画像と
りだし手段である。他は図３４と同じである。角度記録
手段３２３と画像記録手段３２５には、角度または画像
と同期信号が組になって記録されている。そこで、入力
情報記録手段３２６には、角度情報あるいは画像情報と
同期信号の組が３５１や３５２の様に入力される。配列
生成手段は、これらの組を調べ、同期信号の等しいもの
を組にして、画像配列３５４を生成する。画像選択手段
３２７では、カウンター３５６がたとえば、０、４５、
・・・３１５といった等間隔の数を出力する。比較手段
３５７はこの数と、画像配列３５４の角度を比較して等
しいものを調べる。画像取り出し手段３５８はこの等し
い画像を画像配列３５４から取り出して、画像結合手段
３２９に渡す。画像結合手段３２９は、パノラマ画像を
生成する。この方式は、たとえば、アップル社のＱｕｉ
ｃｋＴｉｍｅＶＲの技術を使用することが可能である("
QuickTimeVR-AnImage-Based Approach to Virtual Envi
ronment Navigation",Shenchang EricChen, Apple Comp
uter, Inc. Computer Graphics Proceedings, AnnualCo
nfrence Series, 1995, ACM-0-89791-701-4/95/008）。
結合画像記録手段３２９には、このようにして作成され
た複数枚の結合画像が記録される。

【００７１】（実施の形態６）図３８は本発明の第６の
実施の形態におけるブロック構成図を示している。図３
８において、３２９は結合画像記録手段、３６１は画像
表示手段、３６３は対応点指示手段、３６３は仮想平面
生成手段、３６５は仮想平面記録手段、３６６はイメー
ジ画像張り付け手段、３６７は画像表示手段である。以
下、図３９から図４６にしたがって、本発明の実施の形
態６の動作について説明する。

【００７２】図３９は画像表示手段７２および対応点指
示手段３６３の動作を示している。図３９において、３
７１は画像表示手段、３７５および３７６は画像を左右
にスライドさせるボタン、３７１および３７２は結合画
像が表示されている画面、３７３および３７４は対応
点、３７８は対応点を指示しやすくする水平の直線、３
７７は対応点指示手段のマウスである。結合画像が表示
される画面３７１および３７２には、図１３の第１の撮
影地点１２３および第２の撮影地点１２４で撮影しパノ
ラマ画像として結合された、結合画像が表示される。ボ
タン３７５または３７６を押すと、画面３７１または３
７２に表示された画像が左右にスクロールする。画面３
７１と画面３７２に表示されている同じ物体３７３およ
び３７４を、マウス３７７を操作することによって指示
する。対応点は水平線３７８に乗っていないこともあ
る。ある地点の水平線について選択がすめば、水平線を
ずらして同じ操作を繰り返す。このようにして、結合画
像の全体に渡って対応点を指示していく。対応点の指示
の個数は、生成する仮想平面の精度に反映する。

【００７３】図４０および図４１は仮想平面の作成法に
ついて、さらに詳しく説明したものである。図４０にお
いて、３８１は結合画像、３８３は結合画像の一部、３
８５は表示画面、３８７は三角形に分割された面を表わ
している。また、図４１において、３８２は結合画像、
３８４は結合画像の一部、３８６は表示画面、３８８は
三角形に分割された面を表わしている。図４０および図
４１において、画面３８５および画面３８６に表示され
ている画像は、結合画像３８１および３８２の一部３８
３および３８４である。表示されている部分は、ボタン
３７５および３７６の操作によって左右に移動する。図
３９のような方法で、画面３７１および画面３７２で対
応点を指示していくと、画面３８５および３８６に示す
ように対応点が増えていく。図４０および図４１中、丸
の中の模様が同じものが対応点である。そして、これら
の対応点を、例えばドロネー三角形のアルゴリズムで三
角形に分割する。ドロネー三角形のアルゴリズムは、平
面上に多くの点が存在したとき、これを各々の三角形が
なるべく正三角形に近くなるように三角形分割するもの
である。

【００７４】図４２、図４３、図４４は、指定された対
応点から仮想平面を立体的に構成する方法について説明
したものである。これらの図において、図４０２は結合
画像および部分画像を表す図４０、および図４１と同様
の図である。図４３は結合画像を第１の視点および第２
の視点から撮影した画像を張り合わせた円筒画面を真上
から見た図である。図４４は結合画像を第１の視点およ
び第２の視点から撮影した画像を張り合わせた円筒画面
により仮想平面を立体的に生成する状態を真上から見た
図である。これらの図において、４００および４０１は
第１の視点および第２の視点、３９８および３９９は第
１の視点４００および第２の視点４０１を包む円筒、３
９４および３９５は円筒の一部、３９２、３９３は第１
の視点４００および第２の視点４０１から見た対応点、
４０３は対応点３９２、３９３の相対的な位置、３９６
は第１の視点４００から見た対応点４０３の角度、３９
７は第２の視点４０１から見た対応点４０３の角度、４
０２は作成された仮想平面を示している。また、結合画
像３８１および３８２は第１の視点４００および第２の
視点４０１から撮影した画像を張り合わせたものである
が、これを真上から見たものが、３９８および３９９の
円筒である。例えば、結合画像３８１は視点４００から
見ると、円筒３９８に張り付けられていると考える。部
分画像３８３および３８４は、３９２および３９５に対
応している。部分画像３８３および３８４で対応点３９
１を指示すると、円筒上ではそれぞれ３９２および３９
３に対応することになる。このとき、３９２および３９
３は第１の視点４００および第２の視点４０１から見る
と角度３９６および３９７である。そこで、第１の視点
４００と点３９２をつないだ線を延長した直線と、第２
の視点４０１と点３９３を結んだ直線延長した直線とが
交わる点４０３に対応点は存在することになる。なお、
ここで例えば第１の視点４００と点４０３の実際の距離
は不明で、三角形４００、４０１、４０３の相似形がも
とまる事になる。便宜的に４００と４０１の距離を１と
しておく。このようにして各対応点に関してその位置を
求めていくと、４０２のような仮想平面の形を求める事
ができる。図３８に示したように、結合画像３８１およ
び３８２を三角形に分割しておけば、仮想平面を多面体
として求めることができる。

【００７５】図４５は、このようにして求めた仮想平面
を輪切りにして見たものである。図４６は、こうしてで
きる仮想平面を第１の視点４００や第２の視点４０１以
外から見た画像を表示する方法について説明したもので
ある。図４６において、４１１は仮想平面、４１３は新
たな視点、４１２２は新たな視点１２５から見た画像で
ある。仮想平面４１１には、第１の視点４００または第
２の視点４０１から撮影した画像が張り付けられてい
る。そこで、新たな視点４１３からこの仮想平面４１１
をみれば、視点４１３から見た画像４１２が得られる。
以上のようにして、任意の視点から見た画像を作成する
ことが可能である。

【００７６】

【発明の効果】以上説明したように本発明によれば、仮
想空間生成装置に、第１に画像を入力する画像入力手段
と、前記画像入力手段の向いている方向を測定する方向
測定手段と、前記画像入力手段の入力した画像と前記方
向測定手段の測定した方向を記録する入力情報記録手段
と、前記入力情報記録手段の記録している情報を構造化
した結果を記録する構造化データ記録手段と、視点を入
力する視点入力手段と、前記視点入力手段から入力され
た視点に最も近い画像を前記構造化データ記録手段から
選択する画像選択手段と、前記画像選択手段於選択した
画像を表示する画像表示手段の構成を備え、また、構造
化データ記録手段は画像入力手段の入力した画像とこれ
と同時に角度測定手段から入力された角度情報を組にし
て記録し、さらに、画像選択手段は視点入力手段から入
力された角度と同じ角度を持つ構造化データ記録手段に
記録された画像を選択するようにしたため、画像を入力
すると同時に画像を入力した方向を測定することがで
き、ユーザが見たい視線の方向を入力するだけでその方
向に最も地階画像を選択することができる。

【００７７】また、上記構成に加えて、画像入力手段の
位置を入力する位置測定手段を備え、前記位置測定手段
の測定した位置を第１に記載の入力情報記録手段をに入
力し、また構造化データ記録手段は画像入力手段から入
力された画像とこれと同時に角度測定手段から入力され
た角度情報と位置測定手段から入力された位置情報を組
にして記録するようにし、さらに、画像選択手段は視点
入力手段から入力された視点位置を包む立体を作成し、
前記視点入力装置によって入力された視点からこの立体
を見た領域１部分を計算し、前記立体を構造化データ記
録手段に記録された画像に対応する位置と角度から決め
られる視野から前記立体を見た時の領域２と呼ぶ部分を
前記構造化データに記録された画像すべてに対して計算
し、前記領域２に対する前記領域２の重なる比率の最も
大きなものに対する前記構造化データに記録された画像
を選択するようにしたため、画像入力装置から入力され
た様々な位置で入力された画像から、視点入力装置から
入力された視点位置に最も地階画像を選択することがで
きる。

【００７８】第３に、上記第２の構成に加えて、画像入
力装置の入力する画像の拡大率を入力する拡大率入力手
段を有し、前記拡大率入力手段の入力する拡大率を入力
情報記録手段に入力し、また構造化データ記録手段は画
像入力手段から入力された画像とこれと同時に角度測定
手段から入力された角度情報と位置測定手段から入力さ
れた位置情報と拡大率入力手段から入力された拡大率を
組にして記録するようにしたため、拡大率を変化させな
がら画像を入力しても、視点入力手段から入力された視
点に最も近い画像を選択することができる。

【００７９】第４に、第３の構成に加えて、画像入力装
置の入力する画像の撮影対象物と、前記画像入力装置ま
での距離を入力する距離測定手段を有し、前記距離測定
手段の入力する距離情報を入力情報記録手段に入力し、
また、画像選択手段は、距離測定手段の入力する距離情
報に合わせて画像選択手段の生成する立体の大きさを構
造化データ記録手段に記録された画像毎に決定し、画像
毎に決定された立体を視点入力手段から見た領域１と、
前記構造化データ記録手段に記録された位置と角度と拡
大率によって決定される視点から見た領域２を前記構造
化データ記録手段に記録された画像毎に計算し、前記領
域１と前記領域２の重なる割合が最も大きな画像を選択
するようにしたため、視点入力手段の入力した視点位置
に最も近い場所から、画像入力手段によって入力された
画像を選択することができる。

【００８０】第５に、仮想空間生成装置に、同期信号を
発生する同期信号発生手段と、画像を入力する画像入力
手段と、前記同期信号発生手段の発生する同期信号に合
わせて前記画像入力手段によって入力された画像を記録
する画像記録手段と、前記画像記録手段の向いている方
向を測定する角度測定手段と、前記角度測定手段によっ
て測定された角度を前記同期信号発生手段の発生する同
期信号に合わせて角度を測定する記録する角度記録手段
と、前記画像記録手段によって記録された画像と前記角
度記録手段によって記録された角度情報を同期信号に合
わせて記録する入力情報記録手段と、前記入力情報記録
手段に記録された画像から前記角度情報を利用して必要
な画像を選択する画像選択手段と、前記画像選択手段に
よって選択された画像をつなぎ合わせる画像結合手段
と、前記画像結合手段によって結合された画像を記録す
る結合画像記録手段と、前記結合画像記録手段に記録さ
れている複数枚の結合画像を表示する画像表示手段と、
前記画像表示手段によって表示された複数枚の画像の中
からお互いに対応する点を指示する対応点指示手段と、
前記対応点指示手段によって対応付けされた複数枚の結
合画像から３次元空間中の仮想平面を生成する仮想平面
生成手段と、前記仮想平面生成手段によって生成された
仮想平面を記録する仮想平面記録手段と、前記結合画像
記録手段に記録された結合画像を前記仮想平面記録手段
によって記録された仮想平面に張り付けるイメージ画像
張り付け手段と、前記イメージ画像張り付け手段によっ
て仮想平面に張り付けられた画像を表示する画像表示手
段によって構成を備えたため、画像入力手段の入力した
画像から仮想平面を立体的に作成し、任意の地点から見
た画像を作成することができるなど、種々の効果が得ら
れる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る仮想空間生成
装置のブロック構成図

【図２】前記第１の実施の形態に係る仮想空間生成装置
を具体的な機器構成の例によって解説するブロック図

【図３】前記第１の実施の形態に係る仮想空間生成装置
の中の入力情報記録手段の部分をより詳細に示した要部
ブロック図

【図４】前記第１の実施の形態に係る仮想空間生成装置
の中の構造化データ記録手段の部分をより詳細に示した
要部ブロック図

【図５】前記第１の実施の形態に係る仮想空間生成装置
の中の画像選択手段の部分をより詳細に示した要部ブロ
ック図画像選択手段

【図６】前記第１の実施の形態において、ビデオカメラ
を用いて撮影対象物である立木を撮影するに際し、ビデ
オカメラを１地点に設置して撮影角度を変えながら撮影
する状態を示す図

【図７】前記第１の実施の形態において、図６のように
ビデオカメラを１地点に設置して撮影角度を変えながら
撮影する場合に得られる画像を示す図

【図８】前記第１の実施の形態において、ビデオカメラ
で撮影して得られた画像の視点と視野角などの関係をモ
デル化して示した図

【図９】前記第１の実施の形態において、撮影対象物を
様々な視点から撮影した様子を示す図

【図１０】本発明の第２の実施の形態に係る仮想空間生
成装置のブロック構成図

【図１１】前記第２の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図

【図１２】前記第２の実施の形態に係る仮想空間生成装
置の中の構造化データ記録手段の部分をより詳細に示し
た要部ブロック図

【図１３】前記第２の実施の形態において、画像入力装
置であるビデオカメラを用いて撮影対象物である立木を
撮影するにあたり、一台のビデオカメラを２地点に移動
させ、且つ撮影角度を変えながら撮影する状態を示す図

【図１４】前記第２の実施の形態において、図１３に示
すようにビデオカメラを位置を変え且つ撮影角度を変え
ながら撮影した場合に得られる画像の視野および視点を
表す図

【図１５】前記第２の実施の形態において、撮影した画
像を選択するための手順を説明する図

【図１６】前記第２の実施の形態において、撮影対象物
に対する画像の視点と、ユーザの視点の対応を示す図

【図１７】前記第２の実施の形態において、ユーザの視
野の方が画像の視野より後ろにある場合における、撮影
対象物を撮影した画像と、ユーザの視点などの関係を示
す図

【図１８】前記第２の実施の形態において、図１７とは
逆にユーザの視野の方が画像の視野より後ろにある場合
における、撮影対象物を撮影した画像と、ユーザの視点
などの関係を示す図

【図１９】前記第２の実施の形態において、ユーザの視
野と画像の視野がずれている場合における、撮影対象物
を撮影した画像と、ユーザの視点などの関係を示す図

【図２０】（ａ）前記第２の実施の形態において、円筒
の半径を変えながら円筒に画像を投影し、その投影像を
ユーザの視野から見る場合における画像の可視、不可視
の具合を、同心円のうち内側の円を対象に検討する図 （ｂ）前記第２の実施の形態において、円筒の半径を変
えながら円筒に画像を投影し、その投影像をユーザの視
野から見る場合における画像の可視、不可視の具合を、
同心円のうち外側の円を対象に検討する図

【図２１】（ａ）前記第２の実施の形態において、円筒
の半径を変えながら円筒に画像を投影し、その投影像を
ユーザの視野から見る場合における画像の可視、不可視
の具合を、ユーザの視野と画像の視野がまったく重なら
ない場合について検討する図 （ｂ）前記第２の実施の形態において、実際の撮影対象
物の位置と画像の視野、ユーザの視野の関係を説明する
図

【図２２】前記第２の実施の形態において、ユーザの視
野、画像の視野および投影する円筒などの関係を示す図

【図２３】前記第２の実施の形態において、図２２に示
す関係においてユーザの視野から円筒の画像が見える範
囲と、画像の視野から見える円筒の範囲の関係を示す図

【図２４】前記第２の実施の形態において、円筒上にお
けるユーザの視野、画像の視野および投影する円筒など
の関係から画像選択を行なう動作の処理手順を説明する
フロー図

【図２５】本発明の第３の実施の形態に係る仮想空間生
成装置のブロック構成図

【図２６】前記第３の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図

【図２７】前記第３の実施の形態において、ユーザの視
野の方が画像の視野より前にある場合における、撮影対
象物を撮影した画像とユーザの視点などの関係を示す図

【図２８】本発明の第４の実施の形態に係る仮想空間生
成装置のブロック構成図

【図２９】前記第４の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図

【図３０】前記第４の実施の形態において、ビデオカメ
ラで撮影して得られた画像の視点と視野角などの関係を
モデル化して示した図

【図３１】前記第４の実施の形態において、撮影対象物
に対する画像の視点と、ユーザの視点の対応を示す図

【図３２】前記第４の実施の形態において、画像までの
距離がわかっている場合の、画像の視野および投影する
円筒などの関係から円筒の半径の決め方について説明す
る図

【図３３】前記第４の実施の形態において、図３３に示
す、画像までの距離がわかっている場合の円筒の半径の
決め方を表にして説明する図

【図３４】本発明の第５の実施の形態に係る仮想空間生
成装置のブロック構成図

【図３５】前記第５の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図

【図３６】前記第５の実施の形態に係る仮想空間生成装
置を用いて、パノラマ画像を作成する様子を示す図

【図３７】前記第５の実施の形態において、入力情報記
録手段と画像選択手段の動作を説明する図。

【図３８】本発明の第６の実施の形態に係る仮想空間生
成装置のブロック構成図

【図３９】前記第６の実施の形態において、画像表示手
段および対応点指示手段の動作を示す図

【図４０】前記第６の実施の形態において、対応点をド
ロネー三角形のアルゴリズムで三角形に分割することに
よる仮想平面の作成法について説明する図

【図４１】前記第６の実施の形態において、対応点をド
ロネー三角形のアルゴリズムで三角形に分割し、且つド
ロネー三角形のアルゴリズムによる複数の三角形のそれ
ぞれがなるべく正三角形に近くなるように三角形分割す
ることによる仮想平面の作成法について説明する図

【図４２】前記第６の実施の形態において、指定された
対応点から仮想平面を立体的に構成するのに用いられ
る、結合画像および部分画像を表す図

【図４３】前記第６の実施の形態において、図４０２の
結合画像を第１の視点および第２の視点から撮影した画
像を張り合わせた円筒画面を真上から見た図

【図４４】前記第６の実施の形態において、 図４０２
の結合画像を第１の視点および第２の視点から撮影した
画像を張り合わせた円筒画面により仮想平面を立体的に
生成する状態を真上から見た図

【図４５】前記第６の実施の形態において、求めた仮想
平面を輪切りにして見た図

【図４６】前記第６の実施の形態において、求めた仮想
平面を第１の視点や第２の視点以外から見た画像を表示
する方法について説明する図

【図４７】従来の仮想空間生成装置の一例を示すブロッ
ク構成図

【図４８】従来の仮想空間生成装置の動作を説明する説
明図である

【図４９】図４８に示されている飛行機と建物の位置関
係を詳しく説明する図

【図５０】仮想的に３次元的に見せる他の従来技術とし
ての、イメージベースドレンダリングあるいは光線射影
法を用いた仮想空間生成装置のブロック構成図である

【図５１】前記他の従来例であるイメージベースドレン
ダリングの概念を示す図

【図５２】前記他の従来例であるイメージベースドレン
ダリングの手法を用いて、画像の撮影をしている様子を
示す図

【図５３】前記他の従来例であるイメージベースドレン
ダリングの手法を用いて、画像の撮影をし、仮想平面を
作成する方法を説明する図

【符号の説明】

１ 画像入力手段 ２ 角度測定手段 ３ 入力情報記録手段 ４ 構造化データ記録手段 ５ 画像選択手段 ６ 視点入力手段 ７ 画像表示手段

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力手段と、前記画
   像入力手段の向いている角度を測定する角度測定手段
   と、前記画像入力手段の入力した画像と前記角度測定手
   段の測定した角度を記録する入力情報記録手段と、前記
   入力情報記録手段の記録している情報を構造化した結果
   を記録する構造化データ記録手段と、視点を入力する視
   点入力手段と、前記視点入力手段から入力された視点に
   最も近い画像を前記構造化データ記録手段から選択する
   画像選択手段と、前記画像選択手段の選択した画像を表
   示する画像表示手段とを備えた仮想空間生成装置。
2. 【請求項２】 請求項１の記載の仮想空間生成装置にお
   いて、構造化データ記録手段は画像入力手段の入力した
   画像とこれと同時に角度測定手段から入力された角度情
   報を組にして記録することを特徴とする仮想空間生成装
   置。
3. 【請求項３】 請求項１に記載の仮想空間生成装置にお
   いて、画像選択手段は視点入力手段から入力された角度
   と同じ角度を持つ構造化データ記録手段に記録された画
   像を選択することを特徴とする仮想空間生成装置。
4. 【請求項４】 請求項１に記載の仮想空間生成装置にお
   いて、画像入力手段の位置を入力する位置測定手段を備
   え、前記位置測定手段の測定した位置を入力情報記録手
   段に入力することを特徴とする仮想空間生成装置。
5. 【請求項５】 請求項４に記載の仮想空間生成装置にお
   いて、構造化データ記録手段は画像入力手段から入力さ
   れた画像と、これと同時に角度測定手段から入力された
   角度情報と、位置測定手段から入力された位置情報とを
   組にして記録することを特徴とする仮想空間生成装置。
6. 【請求項６】 請求項５に記載の仮想空間生成装置にお
   いて、画像選択手段は視点入力手段から入力された視点
   位置を包む立体を作成し、前記視点入力装置によって入
   力された視点からこの立体を見た領域１を計算し、また
   前記立体を構造化データ記録手段に記録された画像に対
   応する位置と角度から決められる視野から前記立体を見
   た時の領域２を前記構造化データに記録された画像すべ
   てについて計算し、前記領域１に対する前記領域２の重
   なる比率の最も大きなものに対する前記構造化データ記
   録手段に記録された画像を選択することを特徴とする仮
   想空間生成装置。
7. 【請求項７】 請求項６に記載の仮想空間生成装置にお
   いて、画像選択手段の作成する視点を包む立体は円筒
   形、直方体、多面体、球、楕円のいずれかであることを
   特徴とする仮想空間生成装置。
8. 【請求項８】 請求項７に記載の仮想空間生成装置に加
   えて、画像入力装置の入力する画像の拡大率を入力する
   拡大率入力手段を有し、前記拡大率入力手段の入力する
   拡大率は入力情報記録手段に入力されることを特徴とす
   る仮想空間生成装置。
9. 【請求項９】 請求項８に記載の仮想空間生成装置にお
   いて、構造化データ記録手段は画像入力手段から入力さ
   れた画像と、これと同時に角度測定手段から入力された
   角度情報と、位置測定手段から入力された位置情報と、
   拡大率入力手段から入力された拡大率とを組にして記録
   することを特徴とする仮想空間生成装置。
10. 【請求項１０】 請求項８に記載の仮想空間生成装置に
    加えて、画像入力装置の入力する画像の対象物から前記
    画像入力装置までの距離を入力する距離測定手段を有
    し、前記距離測定手段の入力する距離情報は入力情報記
    録手段に入力されることを特徴とする仮想空間生成装
    置。
11. 【請求項１１】 請求項１０に記載の仮想空間生成装置
    において、画像選択手段は、距離測定手段の入力する距
    離情報に合わせて画像選択手段の生成する立体の大きさ
    を構造化データ記録手段に記録された画像毎に決定し、
    画像毎に決定された立体を視点入力手段から入力された
    視点から見た領域１と、前記構造化データ記録手段に記
    録された位置と角度と拡大率によって決定される視点か
    ら見た領域２を前記構造化データ記録手段に記録された
    画像毎に計算し、前記領域１と前記領域２の重なる割合
    が最も大きなものに対する前記構造化データ記録手段に
    記録された画像を選択することを特徴とする仮想空間生
    成装置。
12. 【請求項１２】 同期信号を発生する同期信号発生手段
    と、画像を入力する画像入力手段と、前記同期信号発生
    手段の発生する同期信号に合わせて前記画像入力手段に
    よって入力された画像を記録する画像記録手段と、前記
    画像記録手段の向いている方向を測定する角度測定手段
    と、前記角度測定手段によって測定された角度を前記同
    期信号発生手段の発生する同期信号に合わせて角度を測
    定する記録する角度記録手段と、前記画像記録手段によ
    って記録された画像と前記角度記録手段によって記録さ
    れた角度情報を同期信号に合わせて記録する入力情報記
    録手段と、前記入力情報記録手段に記録された画像から
    前記角度情報を利用して必要な画像を選択する画像選択
    手段と、前記画像選択手段によって選択された画像をつ
    なぎ合わせる画像結合手段と、前記画像結合手段によっ
    て結合された画像を記録する結合画像記録手段と、前記
    結合画像記録手段に記録されている複数枚の結合画像を
    表示する画像表示手段と、前記画像表示手段によって表
    示された複数枚の画像の中からお互いに対応する点を指
    示する対応点指示手段と、前記対応点指示手段によって
    対応付けされた複数枚の結合画像から３次元空間中の仮
    想平面を生成する仮想平面生成手段と、前記仮想平面生
    成手段によって生成された仮想平面を記録する仮想平面
    記録手段と、前記結合画像記録手段に記録された結合画
    像を前記仮想平面記録手段によって記録された仮想平面
    に張り付けるイメージ画像張り付け手段と、前記イメー
    ジ画像張り付け手段によって仮想平面に張り付けられた
    画像を表示する画像表示手段とを備えた仮想空間生成装
    置。