JPH0962861A

JPH0962861A - パノラマ映像装置

Info

Publication number: JPH0962861A
Application number: JP21195095A
Authority: JP
Inventors: Masabumi Yoshizawa; 正文吉澤; Tetsuya Yoshimura; 哲也吉村; Shogo Hamazaki; 省吾濱崎; Akiko Imagawa; 亜紀子今川; Miho Yamada; 美保山田; Ikuji Shimizu; 郁二志水; Koji Arimura; 耕治有村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-08-21
Filing date: 1995-08-21
Publication date: 1997-03-07

Abstract

(57)【要約】【目的】ユーザの指定に応じて視点、視線方向を連続
的に変化させたパノラマ映像を表示する。【構成】画像記憶手段１０４が保持する、空間内を任
意の軌跡を描いて移動する点を視点としてその周囲を撮
影した画像の画像データを基に、パノラマ画像列合成手
段１０５が各視点毎のパノラマ画像を合成し、視点位置
情報設定手段１０６が各パノラマ画像に連続した視点位
置情報を設定する。再生時に、表示画像履歴記憶手段１
０９が保持する表示画像の視点位置、視線方向の情報
と、ユーザが指示入力手段１０８によって入力する視点
と視線の移動方向の情報から、画像位置計算手段１１０
が表示画像の空間内における位置を計算し、画像合成手
段１１２が表示画像を合成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、全方位を撮影したパノ
ラマ画像の編集、表示装置に関するものである。

【０００２】

【従来の技術】従来、ある一つの視点の周囲を撮影した
パノラマ画像を利用した映像装置としては、例えば特開
平４−２７５７８３号公報に示される装置がある。

【０００３】図２４はこの従来の装置の構成図であり、
３１は撮影用カメラ、３２は撮影画像をデジタル化する
A／D変換手段、３３は撮影画像からパノラマ画像を合成
するパノラマ画像合成手段、３４はパノラマ画像の画像
データを保持するパノラマ画像記憶手段、３５は幾何変
換によってパノラマ画像から表示画像を合成する幾何変
換手段、３６は合成した画像の画像データを保持するフ
レームメモリである。

【０００４】図２５は、撮影画像とパノラマ画像の幾何
的な位置関係を示したものであり、３１が撮影画像、３
２がパノラマ画像である。

【０００５】撮影はカメラ３１を360度回転させて行な
い、一つの視点の周囲を分割した複数の撮影画像を得
る。撮影画像はA／D変換手段３２によってそれぞれデジ
タルデータ化される。

【０００６】パノラマ画像合成手段３３は、視点を中心
とした円筒の画像面を考え、その画像面上に撮影画像を
投影する。

【０００７】この時、図２５に示すように視点を中心と
する座標系の中で、撮影装置の位置、方向を決定し、視
点を中心とする透視投影を行なう。

【０００８】撮影画像の位置、方向は、撮影時にカメラ
の操作量を測定しておく方法と、撮影後に各撮影画像間
の画素値データの相関を求めて相互の相対位置を決定す
る方法がある。

【０００９】このようにして全ての方向の撮影画像を投
影した円筒画像がパノラマ画像であり、このパノラマ画
像の画像データは一旦パノラマ画像記憶手段３４に蓄積
される。

【００１０】再生時には、仮想的なカメラの撮影パラメ
ータ(パンθ、チルトφ、ズームｚ)を入力すると、幾何
変換手段３５がパノラマ画像から仮想的な撮影画像面に
対して視点を中心とする透視変換を行ない、画像を合成
する。

【００１１】合成された画像は、フレームメモリ３６に
蓄積され、ディスプレイなどに出力される。

【００１２】従来のパノラマ映像装置は、このような構
成を持つことにより、一つの視点の周囲に存在する世界
に対してユーザの望む方向の画像をただちに生成して表
示することができ、あたかもユーザがその場でカメラを
操作しながら映像を観たのと同じ効果を出すことができ
た。

【００１３】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、一つの視点の周囲を見回すのみであり、
周囲に何があるのかはわかっても、視点の周囲に存在す
る空間の広がりを感じることができないという課題を有
していた。

【００１４】また、撮影画像を一旦パノラマ画像という
中間画像に変換し、さらにその中間画像から再生画像を
合成するので、幾何変換操作を2回行なわなければなら
ず、その結果撮影画像が持っていた画素情報が損なわ
れ、再生画像の画質が低下するという課題を有してい
た。

【００１５】本発明は上記の課題に鑑み、再生時におけ
る視点の連続移動を可能とするとともに、高画質な画像
を高速に表示することで、臨場感の高い映像をユーザに
提供することを目的とする。

【００１６】

【課題を解決するための手段】本発明の目的を達成する
ための第１の手段は、空間内を任意の軌跡を描いて移動
する点を視点としてその周囲を撮影した画像の画像デー
タを保持する画像記憶手段と、前記画像記憶手段が保持
する画像データに基づき、各視点毎にパノラマ画像を合
成するパノラマ画像列合成手段と、前記パノラマ画像列
合成手段が合成したパノラマ画像に視点位置情報を設定
する視点位置情報設定手段と、前記パノラマ画像列合成
手段が合成したパノラマ画像のパノラマ画像データを、
前記視点位置情報設定手段が設定した視点位置情報とと
もに保持するパノラマ画像記憶手段を具備することを特
徴とする。

【００１７】本発明の目的を達成するための第２の手段
は、第１の手段において、前記パノラマ画像列合成手段
が合成したパノラマ画像を複数の画像に分割し、各分割
画像に視点を中心とした空間的位置関係を設定するパノ
ラマ画像分割手段を具備し、前記パノラマ画像記憶手段
を、前記パノラマ画像分割手段が作成した分割画像の画
像データを前記視点位置情報設定手段が設定した視点位
置情報とともに保持する分割パノラマ画像記憶手段で置
き換えたことを特徴とする。

【００１８】本発明の目的を達成するための第３の手段
は、空間内を任意の軌跡を描いて移動する点を視点とし
てその周囲を撮影した画像の画像データを保持する画像
記憶手段と、前記画像記憶手段が保持する画像データに
対し、視点位置情報を設定する視点位置情報設定手段
と、前記画像記憶手段が保持する画像データに対し、視
点を中心とする空間内での画像位置情報を設定する撮影
画像位置設定手段と、前記視点位置情報設定手段が設定
した視点位置情報、および前記撮影画像位置設定手段が
設定した画像位置情報を保持する位置情報記憶手段を具
備することを特徴とする。

【００１９】本発明の目的を達成するための第４の手段
は、水平、垂直方向の画角がともに180°以上あるカメ
ラを空間内で任意に移動させて撮影した画像の画像デー
タを保持する画像記憶手段と、前記画像記憶手段が保持
する画像データに対し、各撮影時刻毎の画像を複数の画
像に分割する画像分割手段と、前記画像分割手段が作る
分割画像に対し、各撮影時刻毎に視点位置情報を設定す
る視点位置情報設定手段と、前記画像分割手段が作る分
割画像に対し、視点を中心とする空間内での画像位置情
報を設定する分割画像位置設定手段と、前記画像分割手
段が作る分割画像を、前記視点位置情報設定手段が設定
する視点位置情報、および前記撮影画像位置設定手段が
設定する画像位置情報とともに保持する分割撮影画像記
憶手段を具備することを特徴とする。

【００２０】本発明の目的を達成するための第５の手段
は、表示画像の視点位置、視線方向の履歴を保持する表
示画像履歴記憶手段と、表示画像に対して、移動したい
方向、見たい方向をユーザが指示する指示入力手段と、
前記表示画像履歴記憶手段が保持する表示画像の視点位
置、視線方向と前記指示入力手段の指示量から次に表示
する画像の視点位置と視線方向を計算する画像位置計算
手段と、前記画像位置計算手段が求めた視点位置におけ
るパノラマ画像データを、第１の手段が保持する画像デ
ータの中から読み込む画像読み込み手段と、前記画像読
み込み手段が読み込んだパノラマ画像データから、前記
画像位置計算手段が求めた視線方向の表示画像を合成す
る画像合成手段と、前記画像合成手段が合成した画像を
表示する表示手段を具備し、ユーザによる指示量の入力
と、それに対する画像の合成、表示を繰り返し行なうこ
とを特徴とする。

【００２１】本発明の目的を達成するための第６の手段
は、表示画像の視点位置、視線方向の履歴を保持する表
示画像履歴記憶手段と、前記位置情報記憶手段が保持す
る視点位置、視線方向の履歴に基づき、次にユーザが指
示するであろう視点位置、視線方向の候補を複数組予想
する画像位置予想手段と、前記画像位置予想手段が予想
した複数の視点位置候補におけるパノラマ画像データ
を、第１の手段が保持する画像データの中から読み込む
画像読み込み手段と、表示画像に対して、移動したい方
向、見たい方向をユーザが指示する指示入力手段と、前
記表示画像履歴記憶手段が保持する表示画像の視点位
置、視線方向と前記指示入力手段の指示内容から次に表
示する画像の視点位置と視線方向を計算する画像位置計
算手段と、前記画像読み込み手段が読み込んだパノラマ
画像データから、前記画像位置計算手段が求めた視点位
置、視線方向の表示画像を合成する画像合成手段と、前
記画像合成手段が合成した画像を表示する表示手段を具
備し、ユーザによる指示量の入力と、それに対する画像
の合成、表示、および次画像の画像位置の予想を繰り返
し行なうことを特徴とする。

【００２２】本発明の目的を達成するための第７の手段
は、第５の手段において、前記画像読み込み手段を、前
記画像位置計算手段が求めた視点位置における分割画像
の中で、前記画像位置計算手段が求めた視線方向の近傍
に位置する複数の画像の画像データを、第２の手段が保
持する画像データの中から読み込む画像読み込み手段で
置き換え、前記画像合成手段を、前記画像読み込み手段
が読み込んだ複数の画像データから、前記画像位置計算
手段が求めた視線方向の表示画像を合成する画像合成手
段で置き換えたことを特徴とする。

【００２３】本発明の目的を達成するための第８の手段
は、第６の手段において、前記画像読み込み手段を、前
記画像位置予想手段が予想した視点位置候補における分
割画像の中で、前記画像位置予想手段が予想した視線方
向候補の近傍に位置する複数の画像の画像データを、第
２の手段が保持する画像データの中から読み込む画像読
み込み手段で置き換え、前記画像合成手段を、前記画像
読み込み手段が読み込んだ複数の画像データから前記画
像位置計算手段が求めた視点位置、視線方向の表示画像
を合成する画像合成手段で置き換えたことを特徴とす
る。

【００２４】本発明の目的を達成するための第９の手段
は、第５の手段において、前記画像読み込み手段を、前
記画像位置計算手段が求めた視点位置における撮影画像
の中で、前記画像位置計算手段が求めた視線方向の近傍
を撮影した複数の画像の画像データを、第３の手段が保
持する画像データの中から読み込む画像読み込み手段で
置き換え、前記画像合成手段を、前記画像読み込み手段
が読み込んだ複数の画像データから、前記画像位置計算
手段が求めた視線方向の表示画像を合成する画像合成手
段で置き換えたことを特徴とする。

【００２５】本発明の目的を達成するための第１０の手
段は、第６の手段において、前記画像読み込み手段を、
前記画像位置予想手段が予想した視点位置候補における
撮影画像の中で、前記画像位置予想手段が予想した視線
方向候補の近傍を撮影した複数の画像の画像データを、
第３の手段が保持する画像データの中から読み込む画像
読み込み手段で置き換え、前記画像合成手段を、前記画
像読み込み手段が読み込んだ複数の画像データから前記
画像位置計算手段が求めた視点位置、視線方向の表示画
像を合成する画像合成手段で置き換えたことを特徴とす
る。

【００２６】本発明の目的を達成するための第１１の手
段は、第５の手段において、前記画像読み込み手段を、
前記画像位置計算手段が求めた視点位置における分割画
像の中で、前記画像位置計算手段が求めた視線方向の近
傍が写っている複数の分割画像の画像データを、第４の
手段が保持する画像データの中から読み込む画像読み込
み手段で置き換え、前記画像合成手段を、前記画像読み
込み手段が読み込んだ複数の画像データから、前記画像
位置計算手段が求めた視線方向の表示画像を合成する画
像合成手段で置き換えたことを特徴とする。

【００２７】本発明の目的を達成するための第１２の手
段は、第６の手段において、前記画像読み込み手段を、
前記画像位置予想手段が予想した視点位置候補における
分割画像の中で、前記画像位置予想手段が予想した視線
方向候補の近傍が写っている複数の分割画像の画像デー
タを、第４の手段が保持する画像データの中から読み込
む画像読み込み手段で置き換え、前記画像合成手段を、
前記画像読み込み手段が読み込んだ複数の画像データか
ら前記画像位置計算手段が求めた視点位置、視線方向の
表示画像を合成する画像合成手段で置き換えたことを特
徴とする。

【００２８】本発明の目的を達成するための第１３の手
段は、第５〜１２の手段において、前記画像合成手段
が、前記画像位置計算手段が求めた視点位置、視線方向
において、視線方向が現時点での表示画像の視線方向と
一致し、かつ、視点位置が視線方向に対して垂直に移動
するように指定されている場合に、現時点での表示画像
と同一平面上にあり、かつ画像中心を視点の移動量と同
じだけ移動させた位置にある画像を合成することを特徴
とする。

【００２９】本発明の目的を達成するための第１４の手
段は、一視点における全周の映像を一定時間撮影した時
系列パノラマ画像を保持するパノラマ画像記憶手段と、
表示画像の視線方向の履歴を保持する表示画像履歴記憶
手段と、表示画像に対して見たい方向をユーザが指示す
る指示入力手段と、前記表示画像履歴記憶手段が保持す
る表示画像の視線方向と、前記指示入力手段の指示内容
から次に表示する画像の視線方向を計算する画像位置計
算手段と、表示している画像の次の時刻におけるパノラ
マ画像の画像データを前記パノラマ画像記憶装置から読
み込む画像読み込み手段と、前記画像読み込み手段が読
み込んだパノラマ画像データから、前記画像位置計算手
段が求めた視線方向の表示画像を合成する画像合成手段
と、前記画像合成手段が合成した画像を表示する表示手
段を具備し、ユーザによる指示入力と、それに対応した
画像の合成、表示を繰り返し行なうことを特徴とする。

【００３０】本発明の目的を達成するための第１５の手
段は、各視点毎に複数方向に分割した全周画像に対し、
視点位置、視線方向が連続する画像の画像データを、記
録媒体の連続、または隣接する記録トラック上に配置す
ることを特徴とする。

【００３１】本発明の目的を達成するための第１６の手
段は、全周画像を複数の方向に分割した画像の画像デー
タに対し、各方向毎の画像列の画像データを別個の記録
媒体に記録し、画像データの読み出し時に、全ての記録
媒体に対するヘッドを連動させて移動させることを特徴
とする。

【００３２】本発明の目的を達成するための第１７の手
段は、第１６の手段において、記録媒体上の同一の位置
に、同一視点の画像の画像データを記録することを特徴
とする。

【００３３】本発明の目的を達成するための第１８の手
段は、第１５、１６、１７の手段において、画像データ
の圧縮を行ない、その中の最大データサイズに全ての画
像データのサイズを揃えることを特徴とする。

【００３４】

【作用】このような特徴を持つ本発明によれば、画像記
憶手段が保持する空間内を任意の軌跡を描いて移動する
点を視点としてその周囲を撮影した画像の画像データに
対し、パノラマ画像列合成手段があらかじめ視点を中心
とするパノラマ画像を合成しておくとともに、再生時
に、ユーザが指示入力手段を用いて指示する視点、視線
方向の移動方向に対し、それに応じた位置画像を画像合
成手段がパノラマ画像から合成し、表示手段が表示する
ことを繰り返すことにより、臨場感の高い映像をユーザ
に提供するパノラマ映像装置を実現できる。

【００３５】また、表示画像履歴記憶手段が保持する視
点位置、視線方向の履歴情報を用いて、画像位置予想手
段が次にユーザが入力するであろう移動方向を予想し、
その結果に基づいて、画像読み込み手段があらかじめ必
要な画像データを読み込んでおくことで、高速な画像再
生を行なう映像装置を実現できる。

【００３６】また画像合成手段が、撮影画像から直接表
示画像を合成することにより、高画質な画像を提供する
パノラマ映像装置を実現できる。

【００３７】また、画像分割手段がパノラマ画像を分割
し、画像読み込み手段が画像合成に必要な部分画像のみ
を読み込むことで、画像データの読み出しにかかる時間
を小さくすることができるので、高速な画像再生を行な
うパノラマ映像装置を実現できる。

【００３８】また、大きな画角を持つカメラで撮影した
画像を分割し、その画像を用いて画像合成を行なうこと
で、高画質な画像を高速に再生するパノラマ映像装置を
実現できる。

【００３９】また、画像記憶装置が、画像データを蓄積
媒体上に最適に配置するとともに、複数の読み出しヘッ
ドを制御することにより、画像データの読み出しにかか
る時間を小さくすることができるので、高速な画像再生
を行なうパノラマ映像装置を実現できる。

【００４０】

【実施例】以下、本発明の実施例を、図面を参照しなが
ら説明する。

【００４１】（実施例１）図１は、本発明の第一の手段
と第二の手段を用いて実現される第一の実施例の構成を
示したものである。

【００４２】図１において、全周撮影装置１０１は、あ
る視点から見た全方向の情景を、複数の画像に分割して
撮影するもので、台車を使って移動しながら連続して撮
影する。

【００４３】A/D変換手段は、全周撮影装置１０１が撮
影した画像をデジタルデータ化する。

【００４４】画像補正手段１０３は、デジタル化された
画像データに対し、カメラのレンズによる歪みの補正
や、明るさの補正を行なう。画像記憶手段１０４は、補
正された画像データを記憶する。

【００４５】パノラマ画像列合成手段１０５は、画像記
憶手段１０４が保持する画像データの中から、全周撮影
装置１０１が同一視点において撮影した全周の分割画像
を用いて、その視点におけるパノラマ画像を合成する。

【００４６】視点位置情報設定手段１０６は、パノラマ
画像列合成手段１０５が合成した各視点におけるパノラ
マ画像に対し、空間内におけるそれぞれの視点の位置座
標を決定し、設定する。

【００４７】パノラマ画像記憶手段１０７は、パノラマ
画像合成手段１０５が合成したパノラマ画像の画像デー
タと、視点位置情報設定手段１０６が割り当てた視点位
置番号を蓄積し、視点位置番号が与えられれば、それに
対応する視点のパノラマ画像を返す。

【００４８】指示入力手段１０８は、映像の再生時に、
ユーザが表示画像を見ながら視点、視線の相対的な移動
方向を入力するものである。

【００４９】表示画像履歴記憶手段１０９は、ユーザの
指示に基づいて逐次合成、表示される画像の視点位置、
視線方向の履歴情報を保持する。

【００５０】画像位置計算手段１１０は、表示画像履歴
記憶手段１０９が保持している現時点で表示中の画像の
視点、視線方向の値と、ユーザが指示入力手段１０８を
用いて入力した相対的な視点、視線方向の移動量から、
次の瞬間に表示すべき画像の視点位置、視線方向の値を
計算する。

【００５１】画像読み込み手段１１１は、画像位置計算
手段１１０が計算した視点位置におけるパノラマ画像の
画像データを、パノラマ画像記憶手段１０７から読み込
む。

【００５２】画像合成手段１１２は、画像読み込み手段
１１１が読み込んだパノラマ画像データを基に、画像位
置計算手段１１０が計算した視線方向の画像を合成す
る。

【００５３】表示手段１１３は、画像合成手段１１２が
合成した画像を表示する。ここで、撮影画像とパノラマ
画像の関係について述べる。

【００５４】全周撮影装置１０１は、例えば、図２−ａ
に示すような構成を持つ。図２−ａにおいて、２０１は
反射鏡、２０２はカメラ部、２０３は台車である。

【００５５】反射鏡２０１は、ｎ角形の底面を持つ正多
角錐の側面の外側に平面鏡を張り付けた形状を持つ。

【００５６】カメラ部２０２は、ｎ台のカメラから構成
され、各カメラは反射鏡２０１のそれぞれ対応する平面
鏡によって、自身の光軸とは異なった方向の映像を撮影
する。

【００５７】反射鏡２０１の側面の軸からの傾きを４５
度にし、カメラ部２０２の各カメラを、光軸が反射鏡２
０１の軸と平行、かつ光軸と軸の距離が、レンズ中心と
対応する反射鏡との光軸に沿った距離と等しくなるよう
に配置し、反射鏡２０１の軸上にある一つの視点から周
囲を見た画像を、ｎ台のカメラで分割して撮影する。

【００５８】図２−ｂは、全周撮影装置１０１で撮影し
た複数の分割画像と視点との位置関係を示したものであ
る。

【００５９】２０４は視点、２０５は各方向の撮影画像
である。撮影画像２０５は、視点２０４を中心とするｎ
角形の多角柱の側面を形成する。

【００６０】カメラ部２０２の全てのカメラの同期を取
り、同一時刻の全周の画像を撮影する。さらに、台車２
０３を用いて全周撮影装置１０１を移動させながら撮影
し、視点が連続して移動する全方向の動画を撮影する。

【００６１】図３は、撮影画像とパノラマ画像との位置
関係を示した図である。図３において、３０１は撮影画
像、３０２はパノラマ画像、３０３は撮影画像の投影領
域である。

【００６２】パノラマ画像は、視点を中心とする直交座
標系の中で、ある半径ｒを持つ球面として設定する。パ
ノラマ画像上の画素Ｐの位置は、Ｚ軸方向を原点とし、
Ｘ−Ｚ平面、Ｙ−Ｚ平面とそれぞれなす角θｐ、φｐを
用いた球座標系で表現する。また、各撮影画像の画像中
心Ｉの位置を、視点と画像中心を結ぶ直線がＸ−Ｚ平
面、Ｙ−Ｚ平面とそれぞれなす角θｉ、φｉ、および視
点と撮影画像の距離、すなわち撮影時の焦点距離ｆを用
いた極座標系で表現する。この時、（θｉ，φｉ）が撮
影画像の視線方向となる。

【００６３】視点、およびその視点の周囲の各撮影画像
間の位置関係は、撮影を行なった全ての視点において不
変であるので、あらかじめキャリブレーションを行なう
ことにより、各撮影画像の視線方向、焦点距離を求めて
おく。この時、撮影時の全周撮影装置１０１の進行方向
を、パノラマ画像の原点方向と一致させる。そうして求
めた視線方向、焦点距離をパラメータとして、撮影画像
３０１からパノラマ画像３０２上へ、視点を中心とする
透視投影を行なう。これによりパノラマ画像３０２上の
投影領域３０３の画素の値が決定する。画像再生時には
この逆の変換を行なう。すなわち、空間中に設定する表
示画像面上に、パノラマ画像上の画素を透視投影する。

【００６４】このようにして、一つの視点において全方
向の撮影画像をパノラマ画像３０２上へ投影することに
より、パノラマ画像の画像データを合成する。この合成
作業を撮影した全ての視点に対して行なうことにより、
パノラマ画像列を作りあげる。

【００６５】撮影は全周撮影装置１０１を移動させなが
ら行なうので、撮影画像の視点も連続して移動し、空間
内で一つの軌跡を描く。

【００６６】視点位置情報設定手段１０６は、この軌跡
上の視点の並びにしたがって、パノラマ画像合成手段１
０５が合成したパノラマ画像に順番に番号を振る。これ
が視点位置を管理する情報となる。例えば、先頭の視点
のパノラマ画像の番号を１とし、次に続くパノラマ画像
に順に１ずつ増やした数を割り当てる。

【００６７】次に、画像再生時の処理について詳しく述
べる。図４は、画像再生時における表示画像の合成、表
示処理の流れを示したものである。以下、図４のステッ
プの流れに沿って、その詳細を説明する。

【００６８】(ステップS1-1)表示画像に対するユーザの
入力に応じた画像の合成、表示を繰り返し行なう処理ル
ープである。

【００６９】(ステップS1-2)処理ループの開始時点で
は、経路の先頭の視点、および進行方向を、それぞれ表
示画像の視点、視線方向として指定する。それ以後は、
画像位置計算手段１１０が、表示画像履歴記憶手段１０
９が保持している現時点で表示している画像の視点位
置、視線方向の情報と、ユーザが指示入力手段１０８を
用いて入力した相対的な移動方向とから、次に表示する
画像の視点位置、および視線方向を決定する。指示入力
手段１０８による指定が特になければ、現時点での表示
画像の視点位置、視線方向をそのまま指定する。画像位
置計算手段１１０はまた、計算結果を表示画像履歴記憶
手段１０９に蓄積する。

【００７０】(ステップS1-3)ステップS1-2で画像位置計
算手段１１０が決定した視点位置に対応するパノラマ画
像の画像データを、画像読み込み手段１１１が、パノラ
マ画像記憶手段１０７から読み出す。

【００７１】(ステップS1-4)画像合成手段１１２が、画
像読み込み手段１１１が読み出したパノラマ画像の画像
データから、画像位置計算手段１１０が決定した視線方
向の画像を合成する。

【００７２】(ステップS1-5)画像合成手段１１２が合成
した画像を、表示手段１１３が表示する。

【００７３】(ステップS1-6)ユーザが、表示手段１１３
が表示する画像を見て、指示入力手段１０８を用い次に
見たい方向を指定する。

【００７４】(ステップS1-7)再びステップS1-1に処理を
戻し、ステップS1-2からステップS1-6までの処理を繰り
返す。ステップS1-6でユーザが処理の終了を指示すれ
ば、処理ループを抜け、全体の処理を終了する。

【００７５】ステップS1-6において、ユーザが指示入力
手段１０８によって指定できる項目は、前進、後退、停
止、右回転、左回転、上回転、下回転、拡大、縮小、終
了のいずれかである。これらの中で、前進、後退、停止
の３つについては、その３つのいずれかの項目が一回指
定されると、次回以降ユーザがその3つの中の別の項目
を指定しない限り、同じ項目が指定され続けているもの
として処理する。この状態の時には、さらに回転操作を
指定することで、視点移動と視線方向の変更を同時に行
なうことができる。一方、拡大、縮小については、視点
位置、および視線方向が固定された停止状態の時にの
み、指定可能とする。なお、上下方向の回転、拡大、縮
小については、あらかじめ撮影画像の撮影範囲、解像度
に基づいて上限を設定しておき、その範囲内に収まる場
合のみユーザの指定が可能であるものとする。

【００７６】これらの各操作項目に対する、ステップS1
-2における画像位置計算手段１０９の処理内容の詳細に
ついて述べる。ここで、パノラマ画像の視点がｍ点あ
り、各視点毎のパノラマ画像に視点位置番号として１〜
ｍが振られているものとする。また、表示画像履歴記憶
手段が保持している、現時点での表示画像の視点位置番
号をｎ、視線方向を(θ、φ)、焦点距離をｆとする。ま
た、視線方向、焦点距離の単位変化量をそれぞれΔθ、
Δφ、Δｆとする。

【００７７】(a)前進:視点位置を一つ進める。すなわ
ち、次の表示画像の視点位置番号をｎ＋１とする。ただ
し、現時点での表示画像の視線方向が、パノラマ画像の
原点方向、すなわち撮影時の進行方向に対して90度より
大きい値であれば、視点位置を一つ戻し、次の表示画像
の視点位置番号をｎ−１とする。これは、撮影時の進行
方向に対して、逆方向に進む映像を見せることを意味す
る。視線方向、焦点距離については、現在表示している
画像のままとする。

【００７８】(b)後退:視点位置を一つ戻し、次の表示画
像の視点位置番号をｎ−１とする。ただし、現時点での
表示画像の視線方向が、パノラマ画像の原点方向、すな
わち撮影時の進行方向に対して90度より大きい値であれ
ば、視点位置を一つ進め、次の表示画像の視点位置番号
をｎ＋１とする。視線方向、焦点距離については、現在
表示している画像のままとする。

【００７９】(c)停止:視点位置、視線方向、焦点距離と
もに、現時点での表示画像の値のままとする。

【００８０】(d)右回転:視点位置、焦点距離は、現時点
での表示画像のままとする。ただし、すでに前進、後退
のいずれかが指定されている状態の場合には、(a)(b)の
処理に従い、視点位置を変更する。視線方向は、現時点
での視線方向に対し単位角度Δθだけずらした(θ−Δ
θ、φ)に変更する。

【００８１】(e)左回転:視点位置、焦点距離は、現時点
での表示画像のままとする。ただし、すでに前進、後退
のいずれかが指定されている状態の場合には、(a)(b)の
処理に従い、視点位置を変更する。視線方向は、現時点
での視線方向に対し単位角度Δθだけずらした(θ＋Δ
θ、φ)に変更する。

【００８２】(f)上回転:視点位置、焦点距離は、現時点
での表示画像のままとする。ただし、すでに前進、後退
のいずれかが指定されている状態の場合には、(a)(b)の
処理に従い、視点位置を変更する。視線方向は、現時点
での視線方向に対し単位角度Δθだけずらした(θ、φ
＋Δφ)に変更する。

【００８３】(g)下回転:視点位置、焦点距離は、現時点
での表示画像のままとする。ただし、すでに前進、後退
のいずれかが指定されている状態の場合には、(a)(b)の
処理に従い、視点位置を変更する。視線方向は、現時点
での視線方向に対し単位角度Δθだけずらした(θ、φ
−Δφ)に変更する。

【００８４】(h)拡大:視点位置、視線方向は、現時点で
の表示画像のままとする。焦点距離は、ｆ＋Δｆに変更
する。

【００８５】(i)縮小:視点位置、視線方向は、現時点で
の表示画像のままとする。焦点距離は、ｆ−Δｆに変更
する。

【００８６】次に、このようにして決定した視点位置、
視線方向、焦点距離に対して、画像合成手段１１２は、
その視点位置を中心とする空間を考え、その中で求めた
視線方向、焦点距離の位置に画像中心を持つ仮想的な画
像面を設定する。この仮想画像面に対し、この視点にお
けるパノラマ画像から透視投影を行ない、仮想画像面の
画素の値を決定する。こうして合成した画像を、次に表
示する画像とする。

【００８７】以上のように本実施例によれば、上記のよ
うな構成をした映像装置を用い、あらかじめ連続した視
点におけるパノラマ画像を合成しておき、再生時に、ユ
ーザの指示にしたがって、視点位置、視線方向を連続的
に変化させた画像を合成、表示することを繰り返すこと
により、空間内の仮想的な移動を体験することができる
ので、映像の臨場感を高めることができる。

【００８８】なお、本実施例ではパノラマ画像を視点を
中心とする球面で表現したが、視点を中心とする円筒面
を用いても同様の効果が得られる。

【００８９】（実施例２）図５は、本発明の第一の手段
と第二の手段を用いて実現される第二の実施例の構成図
である。

【００９０】図５において、全周撮影装置５０１は、あ
る視点から見た全方向の情景を、カメラを回転させて互
いに重なりを持つ複数の画像に分割して撮影するもの
で、台車を使って移動しながら連続した視点における全
周画像を撮影する。

【００９１】A/D変換手段１０２は、全周撮影装置５０
１が撮影した画像をデジタルデータ化する。

【００９２】画像補正手段１０３は、デジタル化された
画像データに対し、カメラのレンズによる歪みの補正
や、明るさの補正を行なう。

【００９３】画像記憶手段１０４は、補正された画像デ
ータを記憶する。パノラマ画像列合成手段５０５は、画
像記憶手段１０４が保持する画像データの中から、全周
撮影装置５０１が同一視点において撮影した全周の分割
画像を用いて、その視点におけるパノラマ画像を合成す
る。

【００９４】視点位置情報設定手段１０６は、パノラマ
画像列合成手段５０５が合成した各視点におけるパノラ
マ画像に対し、空間内におけるそれぞれの視点の位置座
標を決定し、設定する。

【００９５】パノラマ画像記憶手段１０７は、撮影した
全ての視点位置におけるパノラマ画像の画像データを、
視点位置情報とともに記憶する。

【００９６】全周撮影装置５０１は、例えば、図６−ａ
に示すような構成を持つ。図６−ａにおいて、６０１は
カメラ、６０２は回転台座、６０３は台車である。カメ
ラ６０１は回転台座６０２に取り付けられる。回転台座
６０２は、カメラ６０１のカメラ中心、すなわち撮影画
像に対する視点位置を中心として、パン、チルトの回転
を行なう。これにより、視点を中心にして、周囲を複数
に分割した画像を撮影する。この時、隣あう画像の一部
が重複するように回転させて撮影する。

【００９７】図６−ｂは、全周撮影装置５０１で撮影し
た画像と、視点の位置関係を示したものである。図６に
おいて、６０４は視点、６０５は各方向の撮影画像であ
る。ｎ方向に分割して撮影した場合、撮影画像６０５は
視点６０４を中心とするｎ角形の多角柱の側面を形成す
る。

【００９８】一つの視点の周囲をカメラを回転させて撮
影した後、台車６０３を用いて微小距離だけ移動し、そ
こでまた周囲の撮影を行なうことを繰り返し、連続する
視点の全方向の画像を撮影する。

【００９９】パノラマ画像列合成手段５０５は、上記の
ようにして撮影された画像記憶手段１０４が保持する画
像データを用い、全周撮影装置５０１が撮影したそれぞ
れの視点におけるパノラマ画像を合成する。

【０１００】撮影画像は、一旦適当な方向を設定してパ
ノラマ画像上に透視投影を行なう。隣接する撮影画像の
投影像において、相対位置をずらしながら重なり領域の
画素値の相関を求め、最も相関が高くなる相対位置を決
定する。一つの視点の周囲を撮影した全ての画像の投影
像に対して、このような相対位置を決定することで、パ
ノラマ画像が生成できる。

【０１０１】パノラマ画像列合成手段５０５は、さらに
隣接した視点のパノラマ画像間で画像中の特徴点の動き
を抽出し、ある点を中心にして放射線状の外側に向かっ
て移動する特徴点群を検出する。視点から、この特徴点
の移動の中心となっている点を結んだ直線方向を撮影時
の撮影装置の進行方向とし、この方向がＺ軸と重なるよ
うに、パノラマ画像上の投影領域をずらす。

【０１０２】このようにして、各視点毎のパノラマ画像
を合成し、かつ連続する視点のパノラマ画像間で進行方
向を決定することにより、連続視点のパノラマ画像列を
生成する。

【０１０３】以上のように本実施例によれば、カメラを
回転させて撮影した画像に対して上記したような処理を
行なうことにより、連続した視点のパノラマ画像列を生
成できるので、再生時にその画像データに基づき、視
点、視線方向を連続的に変化させた画像を合成、表示す
ることが可能になり、映像の臨場感を高めることができ
る。

【０１０４】なお、本実施例では視点に対する撮影画像
の位置を知るために画像間の相関を利用したが、撮影時
のカメラの操作情報をセンサなどで記録しておき、それ
を直接利用しても、同様の効果が得られる。

【０１０５】（実施例３）図７は、本発明の第二の手
段、第七の手段、および第八の手段を用いて実現される
第三の実施例の構成図である。

【０１０６】図７において、画像記憶手段１０４は、連
続して移動する視点の周囲の全方向を撮影した画像デー
タを記憶する。

【０１０７】パノラマ画像列合成手段１０５は、画像記
憶手段１０４が保持する画像データの中から、同一視点
における撮影画像の画像データを用いて、その視点にお
けるパノラマ画像を合成する。

【０１０８】視点位置情報設定手段１０６は、パノラマ
画像列合成手段１０５が合成した各視点におけるパノラ
マ画像に対し、空間内におけるそれぞれの視点の位置座
標を決定し、設定する。

【０１０９】パノラマ画像分割手段７０１は、パノラマ
画像列合成手段１０５が合成した各視点毎のパノラマ画
像を、複数の画像に分割する。

【０１１０】分割パノラマ画像記憶手段７０２は、パノ
ラマ画像分割手段が分割したパノラマ画像の画像データ
を、視点位置情報設定手段が設定した視点位置情報とと
もに記憶し、視点位置、視線方向が指定されると、その
方向の撮影データが含まれる分割画像データを選択して
返す。

【０１１１】表示画像履歴記憶手段１０９は、ユーザの
指示に基づいて逐次合成、表示される画像の視点位置、
視線方向の履歴情報を保持する。

【０１１２】画像位置予想手段７０３は、表示画像履歴
記憶手段１０９が保持する表示画像の履歴情報に基づ
き、次にユーザが指示するであろう視点位置、および視
線方向を予測する。

【０１１３】画像読み込み手段７０４は、画像位置予想
手段７０３が予想した視点位置、視線方向の映像が写っ
ている画像を、分割パノラマ画像記憶手段７０２から読
み込む。

【０１１４】指示入力手段１０８は、映像の再生時に、
ユーザが表示画像を見ながら視点、視線の相対的な移動
方向を入力するものである。

【０１１５】画像位置計算手段１１０は、表示画像履歴
記憶手段１０９が保持している現時点で表示中の画像の
視点、視線方向の値と、ユーザが指示入力手段１０８を
用いて入力した相対的な視点、視線方向の移動量から、
次の瞬間に表示すべき画像の視点位置、視線方向の値を
計算する。

【０１１６】画像合成手段７０５は、画像読み込み手段
７０４が読み込んだ分割パノラマ画像データを基に、画
像位置計算手段１１０が計算した視線方向の画像を合成
する。

【０１１７】表示手段１１３は、画像合成手段７０５が
合成した画像を表示する。ここで、パノラマ画像を分割
する処理について述べる。

【０１１８】図８は、パノラマ画像分割手段７０１が行
なう画像分割の概念図である。図８において、８０１が
パノラマ画像、８０２が分割画像である。

【０１１９】パノラマ画像列合成手段１０５が合成した
球面状のパノラマ画像に対し、θ方向の全周をk個に等
分割し、k枚の分割画像を生成する。Ｚ軸を基準として
分割を開始し、ｉ番めの分割画像において、画像中心の
方向をπ×(２×ｉ−１)／ｋ[rad]、θ方向のサイズを
２×π／ｋ[rad]とする。この画像中心の座標を、この
分割画像の視線方向として用いる。このようにして分割
した画像の画像データを、視点位置情報、視線方向デー
タとともに分割パノラマ画像記憶手段７０２に蓄積す
る。

【０１２０】次に、画像再生時の処理について、詳しく
述べる。図９は、本実施例における画像再生時の処理の
流れを示したものである。以下、図９のステップに沿っ
て、その詳細を説明する。

【０１２１】(ステップＳ３−１)経路の開始地点を視点
位置、および進行方向を視線方向として、その方向が写
っている画像データを、画像読み込み手段７０４が分割
パノラマ画像記憶手段７０２から読み込み、その画像デ
ータから画像合成手段７０５が表示画像を合成し、表示
手段１１３が表示する。

【０１２２】(ステップＳ３−２)ユーザの入力に応じた
画像の合成、表示を繰り返し行なう処理ループである。

【０１２３】(ステップＳ３−３)ユーザが、表示手段１
１３が表示する画像を見て、指示入力手段１０８を用
い、次に見たい方向を指定する。

【０１２４】(ステップＳ３−４)画像位置計算手段１１
０が、表示画像履歴記憶手段１０９が保持している現時
点での表示画像の視点位置、視線方向の情報と、ユーザ
が指示入力手段１０８を用いて入力した相対的な移動方
向とから、次に表示する画像の視点位置、および視線方
向を決定する。指示入力手段１０８による指示が特にな
ければ、現時点での表示画像の視点位置、視線方向をそ
のまま指定する。画像位置計算手段１１０はまた、計算
結果を表示画像履歴記憶手段１０９に蓄積する。

【０１２５】(ステップＳ３−５)画像位置予想手段７０
３が、表示画像履歴記憶手段が保持している、現在まで
の表示画像の視点位置、視線方向の履歴に基づき、次に
ユーザが求めるであろう画像の視点位置、視線方向を予
測する。

【０１２６】(ステップＳ３−６)画像読み込み手段７０
４が、画像位置予想手段７０３の予想結果に基づき、指
定された方向が写っている画像を、分割パノラマ画像記
憶手段７０２から読み込む。

【０１２７】(ステップＳ３−７)画像合成手段７０５
が、画像読み込み手段７０４が読み込んだ画像データか
ら、画像位置計算手段１１０が指定する視点位置、視線
方向を持つ画像を合成する。

【０１２８】(ステップＳ３−８)画像合成手段７０５が
合成した画像を表示する。

【０１２９】(ステップＳ３−９)再びステップＳ３−２
に処理を戻し、ステップＳ３−３からステップＳ３−８
までの処理を繰り返す。ステップＳ３−３でユーザが処
理の終了を指示すれば、処理ループを抜け、全体の処理
を終了する。

【０１３０】ステップＳ３−５、６、７における処理に
ついてさらに詳しく述べる。図１０は、画像位置予想手
段７０３が次に表示する画像の視点位置、視線方向、焦
点距離を予想するための規則を、テーブル化したもので
ある。ここで、現時点で表示中の画像をＩ（ｔ）、一つ
前の時点に表示した画像をＩ（ｔ−１）、次の時点で表
示する画像をＩ（ｔ＋１）とする。また、Ｉ（ｔ）の視
点位置番号をｎとする。

【０１３１】図１０に示す規則の一つの例として、Ｉ
（ｔ−１）における視点位置番号がｎ−１であった場合
について説明する。

【０１３２】まず、Ｉ（ｔ−１）とＩ（ｔ）で視点位置
番号を比較すると、番号が１だけ増えている。これは、
前回のユーザ操作による視点移動が「前進」であること
を示している。この場合、ユーザが行なえる操作として
は、視点移動の「停止」、「前進」を続ける(何も操作
しない)、「前進」を続けながら視線方向を変更の中の
いずれかである。

【０１３３】したがって、予想される操作と、その時の
視点位置、視線方向の組み合わせは、（１）停止：視点位置：ｎ、視線方向：（θｔ、φｔ）（２）前進：視点位置：ｎ＋１、視線方向：（θｔ、φｔ）（３）前進＋左回転：視点位置：ｎ＋１、視線方向：（θｔ＋Δθ、φｔ）（４）前進＋右回転：視点位置：ｎ＋１、視線方向：（θｔ−Δθ、φｔ）（５）前進＋上回転：視点位置：ｎ＋１、視線方向：（θｔ、φｔ＋Δφ）（６）前進＋下回転：視点位置：ｎ＋１、視線方向：（θｔ、φｔ−Δφ）の６通りである。

【０１３４】画像読み込み手段７０４は、こうして予想
された視点位置、視線方向における映像が写っている分
割パノラマ画像の画像データを全て読み込む。すでに現
時点での表示画像を合成する際に読み込んでいる画像デ
ータが再度利用できる場合には、そのデータをそのまま
残しておき、新たに読み込むことはしない。

【０１３５】画像合成手段７０５は、画像位置計算手段
１０９が決定した視点位置、視線方向に対して、その視
点位置を中心とする空間を考え、さらに求めた視線方向
に仮想的な画像面を設定する。画像読み込み手段７０４
が読み込んだ画像データの中で、画像位置計算手段１０
９が決定した視点位置、視線方向が写っている画像デー
タを複数選択し、それらの画像データを仮想画像面上に
透視投影によって射影する。こうして、次の表示画像を
合成する。

【０１３６】以上のように本実施例によれば、パノラマ
画像を分割して記憶することにより、再生時に必要な領
域の画像データのみを選択的に読み込むことができるの
で、画像再生処理を高速に行なうことができる。

【０１３７】また、ユーザの操作結果による表示画像の
視点位置、視線方向の履歴に基づき、ユーザが次に行な
うであろう操作を予測することにより、画像合成に必要
な画像データをあらかじめ読み込んでおくことができる
ので、画像再生処理を高速に行なうことができる。

【０１３８】なお、本実施例においてはパノラマ画像の
分割をθ方向のみについて行なったが、φ方向について
も分割を行なえば、さらに１枚当たりの画像データを小
さくすることができ、選択性が高まるので、画像再生処
理を高速に行なうことができる。

【０１３９】また、本実施例においては、球面状のパノ
ラマ画像を分割したが、円筒状のパノラマ画像に対して
も同様に複数方向の画像に分割することにより、同様の
効果が得られる。

【０１４０】また、本実施例においては、分割パノラマ
画像を用いて表示画像を合成する場合において、ユーザ
による指示の予想を行なったが、この他に、パノラマ画
像や撮影画像、さらには撮影画像を分割した画像を用い
て表示画像を合成する場合にも、あらかじめユーザによ
る指示の予想を行ない、必要なデータを先に読み込んで
おくことで、同様の効果が得られる。これは本発明の第
六、第十、第十二の手段によって実現される。

【０１４１】（実施例４）図１１は、本発明の第三の手
段と第九の手段を用いて実現される第四の実施例の構成
を示したものである。

【０１４２】図１１において、画像記憶手段１０４は、
連続して移動する視点の周囲の全方向を撮影した画像デ
ータを記憶する。

【０１４３】視点位置情報設定手段１０６は、画像記憶
手段１０４が保持する各視点毎のそれぞれの撮影画像に
対し、空間内におけるそれぞれの視点の位置座標を決定
し、設定する。

【０１４４】撮影画像位置設定手段１１０１は、画像記
憶手段１０４が保持する各視点毎のそれぞれの撮影画像
に対し、視点位置を中心とする空間における画像位置を
決定し、設定する。

【０１４５】位置情報記憶手段１１０２は、画像記憶手
段１０４が保持する撮影画像毎に、視点位置情報設定手
段１０６が設定した視点位置情報と、撮影画像位置設定
手段１１０１が設定した画像位置情報とを蓄積する。

【０１４６】表示画像履歴記憶手段１０９は、ユーザの
指示に基づいて逐次合成、表示される画像の視点位置、
視線方向の履歴情報を保持する。

【０１４７】指示入力手段１０８は、映像の再生時に、
ユーザが表示画像を見ながら視点、視線の相対的な移動
方向を入力するものである。

【０１４８】画像位置計算手段１１０は、表示画像履歴
記憶手段１０９が保持している現時点で表示中の画像の
視点、視線方向の値と、ユーザが指示入力手段１０８を
用いて入力した相対的な視点、視線方向の移動量から、
次の瞬間に表示すべき画像の視点位置、視線方向の値を
計算する。

【０１４９】画像読み込み手段１１０３は、画像位置計
算手段１１０が決定した視点位置、視線方向に対し、位
置情報記憶手段１１０２が保持する撮影画像の視点位置
情報、および画像位置情報から、どの撮影画像を読み込
めばよいかを決定し、必要な画像の画像データを、画像
記憶手段１０４から読み込む。

【０１５０】画像合成手段１１０４は、画像読み込み手
段１１０３が読み込んだ画像データから、画像位置計算
手段１１０が決定した視点位置、視線方向の画像を合成
する。

【０１５１】表示手段１１３は、画像合成手段１１０４
が合成した画像を表示する。ここで、図２に示したよう
な全周撮影装置を用いて撮影を行なう場合、撮影装置の
移動方向を基準軸とし視点を中心とする各カメラの撮影
方向(θ、φ)、および焦点距離ｆがあらかじめキャリブ
レーションを行なうことにより求められるので、これら
の値を、視点を中心とする空間内での撮影画像の位置情
報として用いる。

【０１５２】影画像位置設定手段１１０１は、この画像
位置情報を、全ての撮影地点における撮影画像に対して
設定する。また同時に、撮影画像の画角も画像位置情報
の一つとして設定する。

【０１５３】このように撮影画像毎に画像位置、画角の
情報を持たせることにより、各画像が、視点を中心とす
る空間内のどの領域の情報を持っているかがすぐに求め
られる。

【０１５４】一方、画像位置計算手段１１０が決定する
表示画像の視点位置、視線方向に対し、画像読み込み手
段１１０３は、表示画像の画角を用いて、視点を中心と
する空間内のどの領域の情報が必要であるかを計算す
る。さらに、位置情報記憶手段１１０２が保持する撮影
画像の位置情報を基に、求めた領域と撮影領域が重なる
複数の撮影画像を、表示画像を合成するために利用する
画像として決定する。

【０１５５】図１２は、画像合成手段１１０４が行なう
画像合成における、撮影画像と仮想画像の位置関係を示
したものである。

【０１５６】図１２において、１２０１は撮影画像、１
２０２は仮想画像、１２０３は仮想画像に投影される撮
影画像の領域である。

【０１５７】画像合成手段１１０４は、画像位置計算手
段１１０が決定する視線方向で、あらかじめ表示画像の
パラメータとして設定された焦点距離だけ離れた位置
に、仮想画面１２０２を設定する。撮影画像１２０１上
の領域１２０３に対し、視点を中心とする透視投影を行
ない、仮想画面１２０２上の各画素の値を決定する。こ
うして合成した仮想画面１２０２を、次の表示画像とす
る。

【０１５８】以上のように本実施例によれば、撮影画像
の位置情報を保持し、その位置情報に基づき撮影画像か
ら直接表示画像を合成することにより、パノラマ画像を
用いた場合に比べて画像変換の回数を減らすことができ
るので、表示する画像の画質を高めることができる。

【０１５９】なお、本実施例では平面鏡を使った撮影装
置を用いて撮影した画像の場合について説明したが、カ
メラを回転させて撮影した撮影画像を用いても同様の効
果が得られる。この場合、撮影時に回転角を測定してお
き、それによって撮影画像の位置を決定する。あるい
は、撮影画像を一旦パノラマ画像面上に投影して相互の
位置関係を決定し、その位置情報を利用してもよい。

【０１６０】（実施例５）図１３は、本発明の第十三の
手段を用いて実現される第五の実施例の構成を示したも
のである。

【０１６１】図１３において、パノラマ画像記憶手段１
０７は、連続して移動する視点におけるパノラマ画像列
データを記憶する。

【０１６２】指示入力手段１０８は、映像の再生時に、
ユーザが表示画像を見ながら視点、視線の相対的な移動
方向を入力するものである。

【０１６３】表示画像履歴記憶手段１０９は、ユーザの
指示に基づいて逐次合成、表示される画像の視点位置、
視線方向の履歴情報を保持する。

【０１６４】画像位置計算手段１１０は、表示画像履歴
記憶手段１０９が保持している現時点で表示中の画像の
視点、視線方向の値と、ユーザが指示入力手段１０８を
用いて入力した相対的な視点、視線方向の移動量から、
次の瞬間に表示すべき画像の視点位置、視線方向の値を
計算する。

【０１６５】画像読み込み手段１１１は、画像位置計算
手段１１０が決定した視点位置におけるパノラマ画像の
画像データを、パノラマ画像記憶手段１０７から読み込
む。

【０１６６】画像合成手段１３０１は、画像読み込み手
段１１１が読み込んだ画像データから、表示画像を合成
する。

【０１６７】表示手段１１３は、画像合成手段１３０１
が合成した画像を表示する。画像合成手段１３０１が行
なう画像合成処理について詳しく説明する。

【０１６８】図１４は、画像合成手段１３０１が行なう
画像合成時における画像の位置関係を示したものであ
る。

【０１６９】図１４において、１４０１はパノラマ画
像、１４０２はパノラマ画像、および現時点での表示画
像の視点、１４０３は次に表示すべき画像の視点、１４
０４は現時点での表示画像、１４０５は次に表示すべき
画像である。

【０１７０】指示入力手段１０８は、前進、後退、上下
左右方向の回転の他、現在の視線方向に対し左右への移
動を指示することができる。現時点での表示画像をＩ
ｎ、視点位置番号をｎ、視線方向をθｎとすると、左方
向への移動が指示された場合には、画像位置計算手段１
１０による次の表示画像の画像位置の計算結果は、視点
位置がｎ’、視線方向はθｎとなる。ここで、視点ｎと
ｎ’の距離はあらかじめ設定された単位距離であり、こ
れをｌとおく。

【０１７１】視点ｎ’は、撮影時の視点の軌跡から外れ
た位置にあるので、この視点位置におけるパノラマ画像
は、パノラマ画像記憶手段１０７にはない。そのため、
画像合成手段１３０１は、視点ｎにおけるパノラマ画像
を用いて、視点ｎ’における画像を近似的に合成する。

【０１７２】画像Ｉｎを含む平面上に、画像Ｉｎの画像
中心から左の方向へｌだけ離れた位置に画像中心を持つ
画像Ｉｎ’を設定する。この画像Ｉｎ’に対し、視点ｎ
から、視点ｎにおけるパノラマ画像の対応する領域を透
視投影する。こうして合成した画像ｉｎ’を視点ｎ’に
おける近似画像とする。

【０１７３】以上のように本実施例によれば、パノラマ
画像データがない視点が指定された場合でも、存在する
別の視点の画像データから近似的に画像を合成すること
により、あたかもその視点に移動したかのように映像を
変化させることができるので、映像の臨場感を高めるこ
とができる。

【０１７４】（実施例６）図１５は、本発明の第四の手
段と第十一の手段を用いて実現される第六の実施例の構
成を示したものである。

【０１７５】図１５において、全周撮影装置１５０１
は、水平、垂直方向の画角がともに１８０度以上の画像
を撮影するもので、台車を使って移動しながら連続して
撮影する。

【０１７６】Ａ／Ｄ変換手段は、全周撮影装置１５０１
が撮影した画像をデジタルデータ化し、その画像データ
を画像記憶手段１０４が蓄積する。

【０１７７】画像分割手段１５０２は、画像記憶手段１
０４が保持する画像を、複数の画像に分割する。

【０１７８】視点位置情報設定手段１０６は、画像分割
手段１５０２が分割した画像に対し、空間内におけるそ
れぞれの画像の視点位置を設定する。

【０１７９】分割画像位置設定手段１５０３は、画像分
割手段１５０２が分割した画像に対し、それぞれ視点を
中心とする空間内における画像の位置を設定する。

【０１８０】分割画像記憶手段１５０４は、画像分割手
段１５０２が分割した画像の画像データを、視点位置情
報設定手段１０６が設定した視点位置情報、および分割
画像位置設定手段１５０３が設定した画像位置情報とと
もに蓄積する。

【０１８１】指示入力手段１０８は、映像の再生時に、
ユーザが表示画像を見ながら視点、視線の相対的な移動
方向を入力するものである。

【０１８２】表示画像履歴記憶手段１０９は、ユーザの
指示に基づいて逐次合成、表示される画像の視点位置、
視線方向の履歴情報を保持する。

【０１８３】画像位置計算手段１１０は、表示画像履歴
記憶手段１０９が保持している現時点で表示中の画像の
視点、視線方向の値と、ユーザが指示入力手段１０８を
用いて入力した相対的な視点、視線方向の移動量から、
次の瞬間に表示すべき画像の視点位置、視線方向の値を
計算する。

【０１８４】画像読み込み手段１５０５は、画像位置計
算手段１１０が決定した視点位置、視線方向に対し、分
割画像記憶手段１５０４が保持する分割画像の視点位置
情報、画像位置情報とからどの分割画像を読み込むかを
決定し、読み込む。

【０１８５】画像合成手段１５０６は、画像読み込み手
段１５０５が読み込んだ画像データから、画像位置計算
手段１１０が決定した視線方向の画像を合成する。

【０１８６】表示手段１１３は、画像合成手段１５０７
が合成した画像を表示する。図１６は、全周撮影装置１
５０１とそれが撮影する画像、および分割画像の概要を
示したものである。図１６において、２０３は台車、１
６０１は魚眼レンズ、１６０２はカメラ、１６０３はカ
メラの画像面、１６０４は撮影対象となる領域、１６０
５は全周撮影装置１５０１で撮影した画像、１６０６は
像が写る領域、１６０７は分割画像である。

【０１８７】魚眼レンズ１６０１は、中心方向から上下
左右にそれぞれ９０度以上の領域１６０４をカバーする
もので、カメラ１６０２に取り付けられる。カメラ１６
０２は、鉛直上向きに台車２０３に取り付けられる。魚
眼レンズ１６０１を通して、周囲の情景が画像面１６０
３に結像する。このような構造を持つことで、ある一つ
の視点の全周方向の情景を、１枚の画像に収めることが
できる。台車２０３を移動させながら連続して撮影する
ことで、空間中の連続する視点の全周画像を撮影する。

【０１８８】全周撮影装置１５０１で撮影すると、画像
１６０５に示すような画像が得られる。この画像１６０
５上の領域１６０６に、実際に魚眼レンズ１６０１を通
した周囲の情景が写し込まれる。全周撮影装置１５０１
の進行方向が写っている方向を画像の基準軸とする。画
像上の画素の座標を、この基準軸となす角θ、および画
像中心Ｏからの距離φで表すと、画素ｐ（θ、φ）は、
視点を中心とする空間内で、（θ、φ’）方向の直線上
に写像される。ここで、φとφ’の関係は魚眼レンズに
よる歪みによって非線形であるが、あらかじめキャリブ
レーションを行なうことにより、変換式を構成する高次
多項式の係数を求めておくことができる。こうして、視
点を中心とする空間内の視線方向と、撮影画像上の画素
が対応づけられるので、空間内の任意の位置に存在する
画像を、撮影画像から合成することができる。

【０１８９】画像分割手段１５０２は、図１６−ｃに示
すように、全周撮影装置１５０１が撮影した画像中の結
像領域をθ方向に等分割し、ｎ枚の分割画像１６０７を
生成する。

【０１９０】分割画像位置設定手段１５０３は、それぞ
れの分割画像に対して、その画像がカバーする撮影方向
θ、およびφの範囲を設定する。

【０１９１】画像合成手段１５０６は、視点を中心とす
る空間内に仮想画像を設定し、この仮想画像上の画素に
対応する分割画像上の画素を、上記の変換式によって求
める。求めた座標上に画素がない場合は、近隣の画素の
情報によって近似する。仮想画像上のすべての画素につ
いての値を求め、画像を合成する。

【０１９２】上記したような画像合成、表示を、ユーザ
の指示に応じて繰り返し、視点位置、視線方向をユーザ
の望み通りに連続的に変化させた映像を再生する。

【０１９３】以上のように本実施例によれば、全周を１
枚の画像に収める全周撮影装置を移動させながら撮影し
た画像データに対しても、上記のような処理を行なうこ
とにより、ユーザの指示に応じた視点位置、視線方向の
画像を連続的に合成、表示することができるので、映像
の臨場感を高めることができる。

【０１９４】また、撮影画像を分割して保持することに
より、合成時に必要なデータのみを読み込むことができ
るので、画像再生を高速に行なうことができる。

【０１９５】また分割した撮影画像から直接表示画像を
合成することにより、再生画像の画質を高めることがで
きる。

【０１９６】（実施例７）図１７は、本発明の第十四の
手段を用いて実現される第七の実施例の構成を示したも
のである。

【０１９７】図１７において、全周撮影装置は１０１
は、図２に示したような構造を持ち、ある視点の全周映
像を複数方向に分割して一度で撮影できる。この撮影装
置を一箇所に固定し、その回りの情景を一定時間連続し
て撮影する。

【０１９８】Ａ／Ｄ変換手段１０２は、こうして撮影し
た映像を、デジタルデータ化する。画像補正手段１０３
は、デジタル化された画像に対し、カメラの特性による
明るさのばらつきなどを補正する。画像記憶手段１０４
は、画像補正手段１０３が補正した画像の画像データを
蓄積する。

【０１９９】パノラマ画像列合成手段１０５は、画像記
憶手段１０４が保持する画像データを用いて、同一時刻
に撮影された複数方向の画像からその時刻におけるパノ
ラマ画像を生成することを、全ての撮影時刻において行
なう。こうして、時系列パノラマ画像を生成する。

【０２００】パノラマ画像記憶手段１７０１は、こうし
て作った時系列パノラマ画像の画像データを蓄積する。

【０２０１】指示入力手段１７０２は、ユーザが表示画
像を見ながら視線の相対的な移動方向を指示するもので
ある。視線の移動方向として、左右上下の４方向の回転
が指定できる。

【０２０２】表示画像履歴記憶手段１７０３は、ユーザ
の指示に基づいて逐次合成、表示される画像の視線方向
の履歴情報を保持する。

【０２０３】画像位置計算手段１７０４は、表示画像履
歴記憶手段１７０３が保持している現時点での表示画像
の視線方向の値と、ユーザが指示入力手段１７０２を用
いて入力した視線方向の移動量とから、次に表示する画
像の視線方向の値を計算する。

【０２０４】画像読み込み手段１７０５は、現時点での
表示画像を合成したパノラマ画像の次の時刻におけるパ
ノラマ画像の画像データを、パノラマ画像記憶手段１７
０１から読み込む。

【０２０５】画像合成手段１１２は、画像読み込み手段
１７０５が読み込んだパノラマ画像の画像データから、
画像位置計算手段１７０４が求めた視線方向の画像を、
視点を中心とする透視投影を行なうことにより合成す
る。

【０２０６】表示手段１１３は、こうして合成した画像
を表示する。ユーザはこの表示画像に対して再び指示を
出し、それに対する画像位置計算、画像合成、画像表示
がまた行なわれる。このようなユーザの指示と、それに
対する画像の合成、表示を、ユーザが終了の指示を与え
るまで繰り返す。

【０２０７】以上のように本実施例によれば、一地点の
周囲の全方向を時間を追って撮影しておき、その撮影画
像をもとに、ユーザが望む任意の視線方向の画像を再生
時に合成、表示することにより、撮影時に視点の周囲で
起きた事象があたかも再生時に起こっているかのような
印象を与えることができるので、映像の臨場感を高める
ことができる。

【０２０８】なお、本実施例では全周方向を撮影する装
置として、平面鏡を使ったもので説明したが、画角が大
きい魚眼レンズを使って撮影した時系列画像を用いて
も、同様の効果が得られる。

【０２０９】（実施例８）図１８は、本発明の第十五の
手段を用いて実現される第八の実施例における画像記憶
装置の構成を示したものである。

【０２１０】図１８において、１８０１はコントロー
ラ、１８０２はヘッド制御部、１８０３はディスク制御
部、１８０４はヘッド、１８０５は磁気ディスク、１８
０６は信号処理部である。

【０２１１】コントローラ１８０１は、ディスク上のデ
ータの読み書きを制御する。コントローラ１８０１の指
示に基づき、ヘッド制御部１８０２がヘッド１８０４を
所定の場所に移動させ、ディスク制御部１８０３が磁気
ディスク１８０５を回転させる。

【０２１２】ヘッド１８０４は、信号処理部１８０６に
よってアナログ信号に変換された画像データを、磁気デ
ィスク１８０５上に書き込む。

【０２１３】また、ヘッド１８０４が磁気ディスク１８
０５上から読み取るアナログ信号は、信号処理部１８０
６によってデジタルデータに変換される。

【０２１４】画像データの記録媒体として用いる磁気デ
ィスク１８０５は、円周状の記録トラックを持ち、その
トラック上にデータが記録される。

【０２１５】図１９は、磁気ディスク１８０５上のデー
タ配置の概要を示したものである。ここで、視点ｎ、視
線方向θｉにおける画像に注目し、その画像データをＩ
（ｎ，ｉ）とおく。この画像データＩ（ｎ，ｉ）が記録
されているトラックの前後の部分には、それぞれ視線方
向が等しく、視点位置が隣接した画像の画像データＩ
（ｎ−１，ｉ）、Ｉ（ｎ＋１，ｉ）を記録する。また、
隣接するトラックの同じ位置には、視点位置が等しく、
視線方向が隣接した画像の画像データＩ（ｎ，ｉ−
１）、Ｉ（ｎ，ｉ＋１）を記録する。このように、記録
媒体上で連続、または隣接する記録領域に、隣接する視
点位置、視線方向を持つ画像データを並べることを、全
ての画像データに対して行なう。

【０２１６】今、画像データＩ（ｎ，ｉ）が読み出さ
れ、それをもとに合成した画像がユーザに提示されてい
るとすると、ユーザの指示にしたがって次に読み出し要
求が行なわれると思われる画像は、同じ視点位置で視線
方向が隣接したものか、もしくは視線方向が同じで視点
位置が隣接したものである。上記のようなデータの配置
を行なえば、必要な画像データの全てが近接した領域に
あるので、どの方向の画像が指定されても即座に読み出
すことができる。

【０２１７】以上のように本実施例によれば、視点位
置、視線方向が連続する画像の画像データを、ディスク
状記録媒体の連続、または隣接する記録トラック上に配
置することで、読み出しが指定された画像データを即座
に読み出すことができるので、画像再生を高速に行なう
ことができる。

【０２１８】なお、本実施例においては、記録媒体とし
て磁気ディスクを用いる場合について述べたが、記録媒
体としては、光ディスク、光磁気ディスクなどディスク
状の形状を持つ記録媒体であれば、上記したようなデー
タの配置を行なうことにより同様の効果が得られる。

【０２１９】（実施例９）図２０は、本発明の第十六の
手段と第十七の手段を用いて実現される第九の実施例に
おける画像記憶装置の構成を示したものである。

【０２２０】図２０において、２００１はコントロー
ラ、２００２はヘッド制御部、２００３はディスク制御
部、２００４は複数のヘッド、２００５は複数のディス
クから構成される磁気ディスク、２００６は信号処理部
である。

【０２２１】コントローラ２００１は、複数のディスク
上のデータの読み書きを制御する。コントローラ２００
１の指示に基づき、ディスク制御部２００３が磁気ディ
スク２００５を回転させ、ヘッド制御部２００２が個々
のディスクに対応したヘッド２００４を所定の場所に移
動させる。

【０２２２】ヘッド２００４は、信号処理部２００６に
よってアナログ信号に変換された画像データを、磁気デ
ィスク２００５上に書き込む。

【０２２３】また、ヘッド２００４が磁気ディスク２０
０５上から読み取るアナログ信号は、信号処理部２００
６によってデジタルデータに変換される。

【０２２４】図２１は、磁気ディスク２００５上の画像
データの配置の概要を示したものである。

【０２２５】連続する視点における全周画像を並べた画
像列に対し、視点の周囲をｋ個の方向に分割してｋ個の
画像列を作り、その画像データを、それぞれｋ個のディ
スクに記録する。

【０２２６】この時、同一視点における画像の画像デー
タを、各ディスク上において、同一のトラックに配置す
る。また、連続する視点の画像は、連続するトラックに
配置する。

【０２２７】画像再生時、画像データの読み出しが指示
されると、ディスク上で指示された画像データを格納し
ているトラックにヘッドを移動させ、読み出す。

【０２２８】この時、読み出すべき画像データが格納さ
れているディスクは一つだけであるが、他のすべてのデ
ィスクに対しても、読み出す画像と同じ視点位置の画像
の画像データが格納されているトラックに、ヘッドを移
動させる。

【０２２９】すなわち、視点ｎ、視線方向ｉの画像デー
タの読み出しが指定された場合に、全てのディスクにお
いて、視点ｎにおける画像の画像データが格納されたト
ラックにヘッドを移動させる。

【０２３０】こうしてヘッドを移動しておけば、次に読
み出しが指示される画像が視点ｎ、視線方向ｉ＋１の画
像の場合には、ｉ＋１番目のディスク上のヘッドはすで
に視点ｎの画像が格納されているトラックに移動してい
るので、即座に画像データを読み出すことができる。

【０２３１】さらに、同一視点の画像は同一トラックに
記録しているので、ヘッドの移動量は全てのディスクに
おいて同一であり、制御が容易になる。

【０２３２】上記したように本実施例によれば、同一視
点の分割画像データを複数の蓄積媒体上の同一位置に配
置し、かつ画像読み出し時に全てのヘッドを連動させて
移動させることで、視線方向が変更された時の画像デー
タの読み出しに必要な時間が小さくなるので、画像再生
を高速に行なうことができる。

【０２３３】なお、本実施例においては、記録媒体とし
て磁気ディスクを用いる場合について述べたが、記録媒
体としては、光ディスク、光磁気ディスクなどディスク
状の形状を持つ記録媒体であれば、上記したようなデー
タの配置を行なうことにより同様の効果が得られる。

【０２３４】（実施例１０）図２２は、本発明の第十八
の手段を用いて実現される第十の実施例の構成を示した
ものである。

【０２３５】図２２において、２２０１は画像圧縮部、
２２０２は最大データサイズ検出部、２２０３はデータ
補充部、２２０４は記録メディアである。

【０２３６】画像圧縮部２２０１は、視点の周囲の全周
画像を複数の方向に分割した画像の画像データを、冗長
度を取り除くことによって圧縮する。ここで、画像Ｉの
圧縮後のデータサイズをＳｉとおく。圧縮後のデータサ
イズは個々の画像の内容によって異なるので、最大デー
タサイズ検出部２２０１は、全ての圧縮画像の中から最
もデータサイズが大きい画像を検出する。検出した圧縮
画像のデータサイズをＳｍａｘとおく。データ補充部２
２０３は、各圧縮画像に対して、その画像データの最後
に、Ｓｍａｘ−Ｓｉの大きさを持つダミーデータを追加
する。こうして全ての圧縮画像の画像データサイズを、
Ｓに統一する。こうして生成した画像データを、記録メ
ディア２２０４に記録する。

【０２３７】図２３は、記録メディア２２０４でのデー
タ配置の概要である。記録メディアとして磁気ディスク
を用いる。磁気ディスク上の記録トラックに、ダミーデ
ータを追加した画像データを記録する。この時、隣接す
る視点、視線方向の画像の画像データを、それぞれ連続
する、または隣接するトラック上に記録する。このよう
に記録すれば、各画像の画像サイズが統一されているの
で、トラック上の画像データの記録位置が容易に求めら
れる。

【０２３８】上記のように本実施例では、圧縮後の画像
データにダミーデータを追加してデータサイズを統一
し、記録することにより、データの記録位置を容易に求
めることができるので、画像の読み込みにかかる時間が
小さくなり、画像再生を高速に行なうことができる。

【０２３９】なお、本実施例においては、記録媒体とし
て磁気ディスクを用いる場合について述べたが、記録媒
体としては、光ディスク、光磁気ディスクなどディスク
状の形状を持つ記録媒体であれば、上記したようなデー
タの配置を行なうことにより同様の効果が得られる。

【０２４０】

【発明の効果】上述したように、本発明によれば、空間
内を任意の軌跡を描いて移動する点を視点としてその周
囲を撮影した画像の画像データに対し、あらかじめ視点
を中心とするパノラマ画像を合成しておくとともに、再
生時に、ユーザの指示に応じた視点位置、視線方向の画
像をパノラマ画像から合成し、表示することを繰り返す
ことにより、臨場感の高い映像をユーザに提供するパノ
ラマ映像装置を実現できる。

【０２４１】また、画像合成時に、撮影画像から直接表
示画像を合成することにより、高画質な画像を提供する
パノラマ映像装置を実現できる。

【０２４２】また、画像を分割して扱うことにより、画
像データの読み出しにかかる時間を小さくすることがで
きるので、高速な画像再生を行なうパノラマ映像装置を
実現できる。

【０２４３】また、画像データを蓄積媒体上に最適に配
置するとともに、複数の読み出しヘッドを制御すること
により、画像データの読み出しにかかる時間を小さくす
ることができるので、高速な画像再生を行なうパノラマ
映像装置を実現できる。

【図面の簡単な説明】

【図１】第一の実施例におけるパノラマ映像装置の構成
図

【図２】第一の実施例における全周撮影装置の構成図

【図３】第一の実施例における撮影画像とパノラマ画像
の位置関係図

【図４】第一の実施例における画像再生時の処理の流れ
図

【図５】第二の実施例におけるパノラマ映像装置の構成
図

【図６】第二の実施例における全周撮影装置の構成図

【図７】第三の実施例におけるパノラマ映像装置の構成
図

【図８】第三の実施例における画像分割の概念図

【図９】第三の実施例における画像再生時の処理の流れ
図

【図１０】第三の実施例における画像位置予想のための
規則を示す図

【図１１】第四の実施例におけるパノラマ映像装置の構
成図

【図１２】第四の実施例における撮影画像と仮想画像の
位置関係図

【図１３】第五の実施例におけるパノラマ映像装置の構
成図

【図１４】第五の実施例における画像合成時の画像位置
関係図

【図１５】第六の実施例におけるパノラマ映像装置の構
成図

【図１６】第六の実施例における全周撮影装置、および
撮影画像の概要図

【図１７】第七の実施例におけるパノラマ映像装置の構
成図

【図１８】第八の実施例における画像記憶装置の構成図

【図１９】第八の実施例におけるデータ配置の概要図

【図２０】第九の実施例における画像記憶装置の構成図

【図２１】第九の実施例におけるデータ配置の概要図

【図２２】第十の実施例における画像記憶装置に構成図

【図２３】第十の実施例におけるデータ配置の概要図

【図２４】従来例におけるパノラマ映像装置の構成図

【図２５】従来例における撮影画像とパノラマ画像の位
置関係図

【符号の説明】

１０１全周撮影装置１０２Ａ／Ｄ変換手段１０３画像補正手段１０４画像記憶手段１０５パノラマ画像列合成手段１０６視点位置情報設定手段１０７パノラマ画像記憶手段１０８指示入力手段１０９表示画像履歴記憶手段１１０画像位置計算手段１１１画像読み込み手段１１２画像合成手段１１３表示手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者今川亜紀子大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者山田美保大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者志水郁二大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者有村耕治大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】空間内を任意の軌跡を描いて移動する点を
視点としてその周囲を撮影した画像の画像データを保持
する画像記憶手段と、前記画像記憶手段が保持する画像データに基づき、各視
点毎にパノラマ画像を合成するパノラマ画像列合成手段
と、前記パノラマ画像列合成手段が合成したパノラマ画像に
視点位置情報を設定する視点位置情報設定手段と、前記パノラマ画像列合成手段が合成したパノラマ画像の
パノラマ画像データを、前記視点位置情報設定手段が設
定した視点位置情報とともに保持するパノラマ画像記憶
手段とを具備することを特徴とするパノラマ映像編集装
置。
【請求項２】パノラマ画像列合成手段が合成したパノラ
マ画像を複数の画像に分割し、各分割画像に視点を中心
とした空間的位置関係を設定するパノラマ画像分割手段
を具備し、パノラマ画像記憶手段を、前記パノラマ画像分割手段が作成した分割画像の画像デ
ータを視点位置情報設定手段が設定した視点位置情報と
ともに保持する分割パノラマ画像記憶手段で置き換えた
ことを特徴とする請求項１に記載のパノラマ映像編集装
置。
【請求項３】空間内を任意の軌跡を描いて移動する点を
視点としてその周囲を撮影した画像の画像データを保持
する画像記憶手段と、前記画像記憶手段が保持する画像データに対し、視点位
置情報を設定する視点位置情報設定手段と、前記画像記憶手段が保持する画像データに対し、視点を
中心とする空間内での画像位置情報を設定する撮影画像
位置設定手段と、前記視点位置情報設定手段が設定した視点位置情報、お
よび前記撮影画像位置設定手段が設定した画像位置情報
を保持する位置情報記憶手段とを具備することを特徴と
するパノラマ映像編集装置。
【請求項４】水平、垂直方向の画角がともに180°以上
あるカメラを空間内で任意に移動させて撮影した画像の
画像データを保持する画像記憶手段と、前記画像記憶手段が保持する画像データに対し、各撮影
時刻毎の画像を複数の画像に分割する画像分割手段と、前記画像分割手段が作る分割画像に対し、各撮影時刻毎
に視点位置情報を設定する視点位置情報設定手段と、前記画像分割手段が作る分割画像に対し、視点を中心と
する空間内での画像位置情報を設定する分割画像位置設
定手段と、前記画像分割手段が作る分割画像を、前記視点位置情報
設定手段が設定する視点位置情報、および前記撮影画像
位置設定手段が設定する画像位置情報とともに保持する
分割撮影画像記憶手段を具備することを特徴とするパノ
ラマ映像編集装置。
【請求項５】表示画像の視点位置、視線方向の履歴を保
持する表示画像履歴記憶手段と、表示画像に対して、移動したい方向、見たい方向をユー
ザが指示する指示入力手段と、前記表示画像履歴記憶手段が保持する表示画像の視点位
置、視線方向と前記指示入力手段の指示量から次に表示
する画像の視点位置と視線方向を計算する画像位置計算
手段と、前記画像位置計算手段が求めた視点位置におけるパノラ
マ画像データを、請求項１に記載のパノラマ映像編集装
置が保持するパノラマ画像データの中から読み込む画像
読み込み手段と、前記画像読み込み手段が読み込んだパノラマ画像データ
から、前記画像位置計算手段が求めた視線方向の表示画
像を合成する画像合成手段と、前記画像合成手段が合成した画像を表示する表示手段を
具備し、ユーザによる指示量の入力と、それに対する画像の合
成、表示を繰り返し行なうことを特徴とするパノラマ映
像装置
【請求項６】表示画像の視点位置、視線方向の履歴を保
持する表示画像履歴記憶手段と、前記位置情報記憶手段が保持する視点位置、視線方向の
履歴に基づき、次にユーザが指示するであろう視点位
置、視線方向の候補を複数組予想する画像位置予想手段
と、前記画像位置予想手段が予想した複数の視点位置候補に
おけるパノラマ画像データを、請求項１に記載のパノラ
マ映像編集装置が保持するパノラマ画像データの中から
読み込む画像読み込み手段と、表示画像に対して、移動したい方向、見たい方向をユー
ザが指示する指示入力手段と、前記表示画像履歴記憶手段が保持する表示画像の視点位
置、視線方向と前記指示入力手段の指示内容から次に表
示する画像の視点位置と視線方向を計算する画像位置計
算手段と、前記画像読み込み手段が読み込んだパノラマ画像データ
から、前記画像位置計算手段が求めた視点位置、視線方
向の表示画像を合成する画像合成手段と、前記画像合成手段が合成した画像を表示する表示手段を
具備し、ユーザによる指示量の入力と、それに対する画像の合
成、表示、および次画像の画像位置の予想を繰り返し行
なうことを特徴とするパノラマ映像装置。
【請求項７】画像読み込み手段を、画像位置計算手段が求めた視点位置における分割画像の
中で、前記画像位置計算手段が求めた視線方向の近傍に
位置する複数の画像の画像データを、請求項２に記載の
パノラマ映像編集装置が保持する画像データの中から読
み込む画像読み込み手段で置き換え、画像合成手段を、前記画像読み込み手段が読み込んだ複数の画像データか
ら、前記画像位置計算手段が求めた視線方向の表示画像
を合成する画像合成手段で置き換えたことを特徴とする
請求項５に記載のパノラマ映像装置。
【請求項８】画像読み込み手段を、画像位置予想手段が予想した視点位置候補における分割
画像の中で、前記画像位置予想手段が予想した視線方向
候補の近傍に位置する複数の画像の画像データを、請求
項２に記載のパノラマ映像編集装置が保持する画像デー
タの中から読み込む画像読み込み手段で置き換え、画像合成手段を、前記画像読み込み手段が読み込んだ複数の画像データか
ら前記画像位置計算手段が求めた視点位置、視線方向の
表示画像を合成する画像合成手段で置き換えたことを特
徴とする請求項６に記載のパノラマ映像装置。
【請求項９】画像読み込み手段を、画像位置計算手段が求めた視点位置における撮影画像の
中で、前記画像位置計算手段が求めた視線方向の近傍を
撮影した複数の画像の画像データを、請求項３に記載の
パノラマ映像編集装置が保持する画像データの中から読
み込む画像読み込み手段で置き換え、画像合成手段を、前記画像読み込み手段が読み込んだ複数の画像データか
ら、前記画像位置計算手段が求めた視線方向の表示画像
を合成する画像合成手段で置き換えたことを特徴とする
請求項５に記載のパノラマ映像装置。
【請求項１０】画像読み込み手段を、画像位置予想手段が予想した視点位置候補における撮影
画像の中で、前記画像位置予想手段が予想した視線方向
候補の近傍を撮影した複数の画像の画像データを、請求
項３に記載のパノラマ映像編集装置が保持する画像デー
タの中から読み込む画像読み込み手段で置き換え、画像合成手段を、前記画像読み込み手段が読み込んだ複数の画像データか
ら前記画像位置計算手段が求めた視点位置、視線方向の
表示画像を合成する画像合成手段で置き換えたことを特
徴とする請求項６に記載のパノラマ映像装置。
【請求項１１】画像読み込み手段を、画像位置計算手段が求めた視点位置における分割画像の
中で、前記画像位置計算手段が求めた視線方向の近傍が
写っている複数の分割画像の画像データを、請求項４に
記載のパノラマ映像編集装置が保持する画像データの中
から読み込む画像読み込み手段で置き換え、画像合成手段を、前記画像読み込み手段が読み込んだ複数の画像データか
ら、前記画像位置計算手段が求めた視線方向の表示画像
を合成する画像合成手段で置き換えたことを特徴とする
請求項５のパノラマ映像装置。
【請求項１２】画像読み込み手段を、画像位置予想手段が予想した視点位置候補における分割
画像の中で、前記画像位置予想手段が予想した視線方向
候補の近傍が写っている複数の分割画像の画像データ
を、請求項４に記載のパノラマ映像編集装置が保持する
画像データの中から読み込む画像読み込み手段で置き換
え、画像合成手段を、前記画像読み込み手段が読み込んだ複数の画像データか
ら前記画像位置計算手段が求めた視点位置、視線方向の
表示画像を合成する画像合成手段で置き換えたことを特
徴とする請求項６に記載のパノラマ映像装置。
【請求項１３】画像合成手段が、画像位置計算手段が求めた視点位置、視線方向におい
て、視線方向が現時点での表示画像の視線方向と一致
し、かつ、視点位置が視線方向に対して垂直に移動する
ように指定されている場合に、現時点での表示画像と同一平面上にあり、かつ画像中心
を視点の移動量と同じだけ移動させた位置にある画像を
合成することを特徴とする、請求項５〜１２の何れかに
記載のパノラマ映像装置。
【請求項１４】一視点における全周の映像を一定時間撮
影した時系列パノラマ画像を保持するパノラマ画像記憶
手段と、表示画像の視線方向の履歴を保持する表示画像履歴記憶
手段と、表示画像に対して見たい方向をユーザが指示する指示入
力手段と、前記表示画像履歴記憶手段が保持する表示画像の視線方
向と、前記指示入力手段の指示内容から次に表示する画
像の視線方向を計算する画像位置計算手段と、表示している画像の次の時刻におけるパノラマ画像の画
像データを前記パノラマ画像記憶装置から読み込む画像
読み込み手段と、前記画像読み込み手段が読み込んだパノラマ画像データ
から、前記画像位置計算手段が求めた視線方向の表示画
像を合成する画像合成手段と、前記画像合成手段が合成した画像を表示する表示手段を
具備し、ユーザによる指示入力と、それに対応した画像の合成、
表示を繰り返し行なうことを特徴とするパノラマ映像装
置。
【請求項１５】各視点毎に複数方向に分割した全周画像
に対し、視点位置、視線方向が連続する画像の画像デー
タを、記録媒体の連続、または隣接する記録トラック上
に配置することを特徴とする画像記憶装置。
【請求項１６】全周画像を複数の方向に分割した画像の
画像データに対し、各方向毎の画像列の画像データを別
個の記録媒体に記録し、画像データの読み出し時に、全
ての記録媒体に対するヘッドを連動させて移動させるこ
とを特徴とする画像記憶装置。
【請求項１７】各記録媒体上の同一の位置に、同一視点
の画像の画像データを記録することを特徴とする請求項
１６に記載の画像記憶装置。
【請求項１８】画像データの圧縮を行ない、その中の最
大データサイズに全ての画像データのサイズを揃えるこ
とを特徴とする請求項１５、１６または１７に記載の画
像記憶装置。