JPH10208074A

JPH10208074A - 画像生成方法

Info

Publication number: JPH10208074A
Application number: JP9009275A
Authority: JP
Inventors: Hideo Noyama; 英郎野山; Makoto Kato; 誠加藤; Hideki Tokuyama; 秀樹徳山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-01-22
Filing date: 1997-01-22
Publication date: 1998-08-07

Abstract

(57)【要約】【課題】少なくとも２つの異なる撮影位置で各々撮影し
て取り込んだ画像を用いて、想定した撮影位置で撮影し
た場合に得られるであろう画像を新たに生成する画像生
成方法を提供する。【解決手段】少なくとも２つの撮影位置で各々撮影して
取り込んだ複数の画像から、各撮影位置を中心とした広
角的な景色が写っている画像（パノラマ画像）を生成
し、これらのパノラマ画像から、上記撮影位置間を結ぶ
線分上に想定した撮影位置におけるパノラマ画像（中間
パノラマ画像）を複数生成し、さらに、生成したこれら
のパノラマ画像および中間パノラマ画像の各々から、必
要な部分を切り出して組み合わせることで、上記撮影位
置間を結ぶ線分外に想定した撮影位置で撮影して取り込
んだ複数の画像から生成されるであろう新たなパノラマ
画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写した画像を用
いたプレゼンテーションシステム等のバーチャルリアリ
ティシステムに係り、撮影した取り込んだ静止画像や動
画像をディジタル化して扱う画像生成方法に関する。

【０００２】

【従来の技術】本発明に関連のある従来技術としては、
以下の文献にその内容が報告されている。

【０００３】（ａ）「A Study on Image Editing Techn
ology for Synthetic Sensation」，ICAT'94，63〜70
頁，University of Tokyo この文献に報告されている技術は、ヴァーチャルリアリ
ティのウォークスルー等における視点変更を実現するた
めに、ビデオカメラに位置センサを取り付けておき、ビ
デオカメラで撮影するのと同時に、位置センサでビデオ
カメラの動きを計測し、ビデオカメラで撮影した画像と
位置センサが計測した計測値（位置データ）とを同期さ
せて記録するようにしている。そして、記録した画像を
ディジタル化し、ディジタル化した画像を、対応する位
置データによって仕分けるようにしている。

【０００４】そこで、画像の再生時には、希望の視点に
近い複数の画像を検索し、検索したこれらの画像に幾何
変換を加えた後で組み合わせて表示することで、視点変
更を実現しており、中割り補間は行わないという内容で
ある。

【０００５】（ｂ）「View Interpolation for Image S
ynthesis（1993）」，Computer Graphics Proc.，279〜
288頁，Apple Computer Inc. この文献に報告されている技術は、バーチャルリアリテ
ィのウォークスルー等における視点変更の際に、Z−buf
fer等の特別なハードウェアがないパソコンレベルで実
現することを目的としたものであり、系統的な視点位置
でレンダリングしたＣＧ画像の集合（または、撮影され
た画像）を用い、予め準備してあるモーフィングの歪み
関数を用いて、中間画像を作成する方法である。

【０００６】（ｃ）「Epipolar-Plane Image Analysi
s：An Approach to Determining Structure from Motio
n（1987）」，International Journal of Computer Vis
ion.1，7〜55頁，Artificial Intelligence Center. この文献に報告されている技術は、光軸が平行かつ等間
隔になるように配置した多数のカメラで撮影した取り込
んだ画像を用い、「エピポーラライン（画像を水平方向
に切断する面）を撮影位置の順に並べたイメージを作る
と、３次元空間上の点は、このイメージ上で直線にな
る。」という性質を利用したものであり、全ての点の軌
跡を求めれば、代表的な位置のカメラ画像から中間画像
を生成することができるという内容である。

【０００７】

【発明が解決しようとする課題】上述した従来技術にお
いては、各々、以下のような問題点がある。

【０００８】従来技術（ａ）は、画像の撮影と同時に、
ビデオカメラの位置データを記録しておき、位置データ
に基づいて画像を組み合わせ、疑似的な視点変更の画像
を作るものであるので、位置センサ等の、ビデオカメラ
の位置を計測するための特別な計測装置が必要になって
くる。

【０００９】また、従来技術（ｂ）は、遠近感のほとん
どない画像や、画像間の変化がほとんどないような画像
を、多数用意しなければならなず、物体同士の位置関係
が変ったり、位置関係によって物体が見え隠れするよう
な現象を考えていない。

【００１０】詳しくは、従来技術（ｂ）は、物体の位置
が多少ずれた複数の画像を用いて、その中間画像を作成
するものであり、この従来技術（ｂ）を、情景を実写し
た画像に適用するためには、情景内に存在する物体同士
の位置関係が崩れない範囲で撮影した画像を多数用意し
なければならない。すなわち、視点を少しずつ変化させ
た多数の画像を用意するために、多視点から撮影しなけ
ればならない。

【００１１】また、従来技術（ｃ）は、規則的に配列し
た多数のカメラで撮影して取り込んだ画像を用いてお
り、従来技術（ａ）のように、撮影時にカメラの位置デ
ータを記録する必要はないが、カメラが常に一定方向を
向くように、カメラの位置を正確に調整する必要があ
り、また、カメラを規則的に動かしながら多数の画像を
撮影しなければならず、カメラを規則的に移動するため
の特別な移動装置が必要になってくる。

【００１２】そこで、本発明の目的は、実写した画像を
ベースにしたプレゼンテーションシステム等のバーチャ
ルリアリティシステムにおいて、特別な装置を必要とし
たり、多数の画像を用意したりせずに、ウォークスルー
等における視点変更を実現し、色々な視点位置での画像
を観察することを可能とする画像生成方法を提供するこ
とにある。

【００１３】すなわち、本発明が提供する画像生成方法
は、少なくとも２つの異なる撮影位置で各々撮影して取
り込んだ画像を用いて、想定した撮影位置で撮影した場
合に得られるであろう画像を新たに生成することを可能
とするものである。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、少なくとも２つの異なる視点位置の各々
について、該視点位置でカメラの向きを一定の回転角度
ごとに変えて撮影して取り込んだ複数の画像を、これら
の画像の重なり部分を互いに合わせるようにして、順に
円筒モデルの表面に投影した画像（以下、「パノラマ画
像」と称す。）を生成する処理と、生成したパノラマ画
像から、各パノラマ画像に対応する視点位置を結ぶ線分
上に想定した視点位置で撮影して取り込んだ画像から生
成されるであろう新たなパノラマ画像（以下、「中間パ
ノラマ画像」と称す。）を生成する処理と、上記線分外
に想定した視点位置を設定する処理と、上記パノラマ画
像および上記中間パノラマ画像の各々について、設定し
た視点位置で見た向きと同じ向きを該パノラマ画像また
は中間パノラマ画像に対応する視点位置で見た部分の画
像（以下、「部分画像」と称す。）を、該パノラマ画像
または中間パノラマ画像から切り取る処理と、切り取っ
た部分画像を組み合わせて、上記線分外に想定した視点
位置で撮影して取り込んだ画像から生成されるであろう
新たなパノラマ画像を生成する処理とを有することを特
徴とした画像生成方法を提供するようにしている。

【００１５】ここで、上記円筒モデルの径は、上記円筒
モデルの表面に投影される１つの画像を挟む角度が、上
記カメラの水平方向の画角と一致するようにして定めら
れ、上記カメラの回転角度は、隣合う画像内に同じ物体
が写るようにして定められるようにする。

【００１６】このように、本発明の画像生成方法では、
実際に撮影して取り込んだ複数の画像を、これらの画像
が連続的に繋がったパノラマ画像を加工し、さらに、加
工したパノラマ画像から中間パノラマ画像を生成するよ
うにしている。そして、視点変更を行って新たなパノラ
マ画像を生成する際に、これらのパノラマ画像および中
間パノラマ画像から切り取った部分画像を組み合わせる
ようにしている。

【００１７】これにより、従来技術のように、取り込ん
だ画像そのものを組み合わせる必要がなくなるので、撮
影時に計測装置を用いてカメラの位置を記録しなくても
済むようになる。また、従来技術のように、移動装置を
用いて撮影しなくても、少なくとも２つの視点位置で撮
影するだけで済むようになる。さらに、パノラマ画像を
用いていることで、視点の移動範囲や視線の方向につい
ての制限が少なくなるので、最小限の撮影でウォークス
ルーの自由度を増すことができる。

【００１８】なお、実際には、複数の部分画像を組み合
わせる際に、これらの部分画像を、切り取ったパノラマ
画像または中間パノラマ画像の視点位置に応じて拡大す
る必要が生じるので、部分画像を、短冊状の領域の画像
であるようにすると、組み合わせが容易になる。

【００１９】また、本発明の画像生成方法において、上
記中間パノラマ画像を生成する処理は、上記パノラマ画
像の各々について、該パノラマ画像を、その中に写って
いる複数の物体の各々に相当する領域に分割する第１の
ステップと、上記第１のステップで分割した領域ごと
に、対応する視点位置からの距離の近さの順番を示す属
性情報を定義する第２のステップと、上記第１のステッ
プで分割した領域ごとに、該領域の画像から、対応する
視点位置と他のパノラマ画像に対応する視点位置との間
を結ぶ線分上に想定した視点位置で撮影して取り込んだ
画像から生成されるであろう中間パノラマ画像のうち
の、該領域と同じ領域の画像を生成する第３のステップ
と、上記第３のステップで生成した領域の画像を、上記
第２のステップで定義した属性情報が示す順番で重畳合
成して、上記中間パノラマ画像を生成する第４のステッ
プとを有するようにすることができる。

【００２０】ここで、上記中間パノラマ画像を生成する
処理は、上記第４のステップで生成した中間パノラマ画
像内に欠損した画素がある場合に、該欠損した画素の画
素値を、その周囲に位置する画素の画素値を用いて補填
する第５のステップをさらに有するようにすることがで
きる。

【００２１】これにより、各物体に相当する領域の画像
を独立に変形することができるようになる。すなわち、
多数の物体が混在する画像を用いる場合でも、物体同士
の位置関係が変わることによって起こる歪みが発生する
ことはなく、こういった極端な局所歪みによって画質が
低下するという現象を防ぐことができる。

【００２２】なお、分割した領域の各々について、該領
域とその外の領域とを区別するためには、該領域に固有
のマスク値を与えるようにすればよい。

【００２３】また、本発明の画像生成方法において、上
記部分画像を組み合わせて新たなパノラマ画像の一部を
生成する処理は、上記部分画像の各々について、該部分
画像内の画素の平均明度値を求める第１のステップと、
上記部分画像の各々について、該部分画像内の各画素の
画素値を、該部分画像内の画素の平均明度値が上記第１
のステップで求めた平均明度値の中間値と一致するよう
な値に補正する第２のステップとを有するようにした
り、上記部分画像の各々について、該部分画像内の画素
の平均明度値を求める第１のステップと、隣合う２つの
部分画像の組の各々について、これらの２つの部分画像
の境界部に位置する画素の明度値を、上記第１のステッ
プで求めた平均明度値の中間値に補正する第２のステッ
プと、上記２つの部分画像内の画素の各々について、該
画素の明度値と上記第２のステップで補正した後の明度
値との差分を求める第３のステップと、上記２つの部分
画像内の画素の各々について、上記境界部に位置する画
素との間の距離に応じて、上記第３のステップで求めた
差分の影響が少なくなるような値を求め、求めた値を該
画素の画素値に加算する第４のステップとを有するよう
にしたりすることができる。

【００２４】これにより、複数の部分画像を組み合わせ
る際に、各部分画像の継ぎ目を滑らかに繋ぐことができ
るようになる。すなわち、最終的な出力画像に不自然な
境界が発生するのを防ぐことができる。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。

【００２６】図３は本発明の画像生成方法を実施したコ
ンピュータシステムの基本的なハードウェア構成を示す
ブロック図である。

【００２７】図中、３００は画像表示装置、３１０はマ
ウス、３２０はスキャナ、３３０はカメラ、３４０はプ
ロセッサ、３５０は記憶装置、３６０は高速バスであ
る。

【００２８】図３において、カメラ３３０は、被写体を
撮影して静止画像または動画像を取り込むためのもので
あり、１台であっても複数台であってもよい。また、ス
キャナ３２０は静止画像を取り込むためのものである。

【００２９】なお、カメラ３３０やスキャナ３２０によ
って取り込まれた画像がディジタルデータである場合
は、該画像は、直接、記憶装置３５０に記録されるが、
アナログデータである場合は、図示していないＡ／Ｄ変
換装置を通してディジタルデータに変換された後、記憶
装置３５０に記録される。

【００３０】また、図３において、画像表示装置３００
は、カメラ３３０やスキャナ３２０によって取り込まれ
た画像や、本発明の画像生成方法によって生成された画
像を表示するためのものである。

【００３１】なお、後述するように、操作者は、画像を
複数の領域に分割したり、画像間で特徴的な部分の対応
付けを行う際に、対象とする画像を見ながら作業を進め
る必要があるので、画像表示装置３００には、本発明の
画像生成方法を実現するための画像処理の実行過程で生
成される画像も表示されることとなる。

【００３２】また、図３において、マウス３１０は操作
者が各種指示を入力するためのものであり、例えば、操
作者が画像間で特徴的な部分の対応付けを行う際に、コ
ンピュータシステムと操作者との間の情報伝達媒体とな
る。

【００３３】また、図３において、プロセッサ３４０
は、記憶装置３５０に記憶されているデータやプログラ
ムを用いて、本発明の画像生成方法を実現するための画
像処理を実行するものである。

【００３４】また、図３において、高速バス３６０は、
これらの各ブロックを結合し、データ等を相互に転送す
る働きをするものである。

【００３５】図４は記憶装置３０５上の記憶領域に確保
される格納領域を示す説明図である。

【００３６】記憶装置３５０上の記憶領域４００には、
入力した画像が格納される格納領域４０５と、これを加
工した画像等が格納される格納領域４１０〜４４５と、
プログラムが格納されている格納領域４５０とが確保さ
れている。

【００３７】なお、各格納領域に格納される内容につい
ては、本発明に係る画像処理の説明と共に述べる。

【００３８】図１は本発明の画像生成方法を実現するた
めの画像処理の処理概要を示すフローチャートである。

【００３９】さて、本発明に係る画像処理においては、
まず、ステップ１００で、画像を入力する。

【００４０】詳しくは、ステップ１００では、記憶装置
３５０上の記憶領域４００に確保された格納領域４０５
（図４を参照されたい。）に、入力した画像（入力画
像）を格納する。

【００４１】ここで、入力画像とは、ディジタルカメラ
によって撮影して取り込んだディジタルデータであるも
のとし、ディジタルカメラのレンズの中心とディジタル
カメラの三脚の回転軸とが一致するようにして撮影がな
されたものとする。そして、ステップ１００では、同一
位置でディジタルカメラの向きを一定の回転角度ごとに
変えて撮影して取り込んだ複数の画像を、順次入力す
る。

【００４２】また、ステップ１００では、画像の入力を
少なくとも２回は行う。すなわち、少なくとも２つの異
なる位置で各々撮影して取り込んだ２組の画像を入力す
る。

【００４３】続いて、ステップ１０５で、ステップ１０
０で入力した画像の組の各々について、該組に属する複
数の画像を順に繋ぎ合わせ、１枚の画像の中に、ディジ
タルカメラによる撮影位置を中心とした１周分の景色が
写っているような広角的な画像（パノラマ画像）を生成
する。

【００４４】詳しくは、ステップ１０５では、まず、図
５に示すように、半径ｄ（５３０）の円筒モデル５００
を仮定し、１つ目の入力画像である「写真１（５１
０）」をこの円筒モデル５００上に投影し、円筒モデル
５００の表面に「写真１（５１０）」を貼り付ける。こ
の際の座標変換式は、（数１）によって表される。

【００４５】

【数１】

【００４６】ここで、ｘ，ｙは、「写真１（５１０）」
の平面上の座標であり、ｘ’，ｙ’は、円筒モデル５０
０上に投影したときの座標である。ただし、投影の中心
は、円筒モデル５００の重心Ｏ（円筒モデル５００の中
心軸５４０の中央）とし、「写真１（５１０）」の横方
向の中央が円筒モデル５００の表面に接しているものと
する。

【００４７】そして、２つ目の入力画像である「写真２
（５２０）」についても、「写真１（５１０）」と同様
の投影を行い、円筒モデル５００の表面に「写真２（５
２０）」を貼り付ける。このとき、「写真２（５２
０）」と「写真１（５１０）」とは、ディジタルカメラ
の向きを一定の回転角度だけ変えて撮影して取り込んだ
画像であり、同じ景色が写っている部分が重なるように
して、「写真２（５２０）」の貼り付けを行う。

【００４８】そこで、ディジタルカメラの回転軸は、円
筒モデル５００の中心軸５４０に一致するようする必要
があり、ディジタルカメラの回転角度は、隣合う画像内
に同じ景色が写るような角度とする必要があり、また、
円筒モデル５００の半径ｄ（５３０）は、円筒モデル５
００の表面に貼り付けられる１つの画像を挾む角度が、
ディジタルカメラの水平方向の画角と一致するような値
とする必要がある。

【００４９】同様に、３つ目の入力画像，４つ目の入力
画像，…を、順に、円筒モデル５００の表面に貼り付け
ていくことで、１組の入力画像から１つのパノラマ画像
を生成することができる。

【００５０】なお、パノラマ写真を撮るための専用装置
（例えば、スリットカメラ）を用いることができれば、
ステップ１０５を省くことができる。

【００５１】また、本発明では、パノラマ画像を、ディ
ジタルカメラによる撮影位置を中心とした１周分の景色
が写っているような画像としているが、この範囲が半周
またはもっと小さい範囲であっても差し支えない。

【００５２】このようにして、ステップ１０５では、少
なくとも２つの異なる位置におけるパノラマ画像を各々
生成し、記憶装置３５０上の記憶領域４００に確保され
た格納領域４１０（図４を参照されたい。）に、生成し
たこれらのパノラマ画像を格納する。

【００５３】続いて、ステップ１１０で、ステップ１０
５で生成した複数のパノラマ画像の各々について、該パ
ノラマ画像を、その景色の中に写っている物体に応じ
て、複数の領域の画像（領域画像）に分割する。

【００５４】詳しくは、ステップ１１０は、例えば、特
開平３−２１８５８１号公報に記載の「画像セグメンテ
ーション方法」に述べられているように、画像の１次微
分を利用し、操作者がマウス３１０から入力する指示に
従って、選択的なエッジ抽出を行い、境界線を延長して
物体を閉領域で囲むことによって実現することができ
る。

【００５５】さらに、ステップ１１０では、分割した複
数の領域画像の各々について、該領域画像内の各画素
に、該領域画像を区別するためのマスク値を与え、記憶
装置３５０上の記憶領域４００に確保された格納領域４
１５（図４を参照されたい。）に、マスク値を与えた後
の複数の領域画像（マスク画像）を格納する。

【００５６】このマスク画像は、例えば、図６の６１０
に示すように、その各画素が、パノラマ画像６００の各
画素のデータ長と同じデータ長（例えば、８ビット）で
あるような、パノラマ画像６００と縦横サイズが同じ画
像であるようにすることができ、各画素のデータを、パ
ノラマ画像６００における各画素のデータ（ＲＧＢデー
タ）の代わりに、マスク値を示すデータであるようにす
ることができる。

【００５７】そして、例えば、図６に示すように、パノ
ラマ画像６００が、室内を実写した入力画像の組から生
成したパノラマ画像である場合は、ドア６３０が写って
いる領域画像６５０に対応するマスク値として「１」を
与え、窓６３５が写っている領域画像６５５に対応する
マスク値として「２」を与え、正面の壁６４０が写って
いる領域画像６６０に対応するマスク値として「３」を
与え、観葉植物６０５が写っている領域画像６６５に対
応するマスク値として「４」を与え、向かって右手の壁
６１５が写っている領域画像６７０に対応するマスク値
として「５」を与え、向かって左手の壁６９０が写って
いる領域画像６４５に対応するマスク値として「６」を
与え、その他の領域画像６８５に対応するマスク値とし
て「７」を与える。

【００５８】続いて、ステップ１１５で、ステップ１１
０で分割した複数の領域画像の各々に対して、後述する
ステップ１３５での重畳合成の順番を表す属性情報を定
義する。

【００５９】パノラマ画像が実写した画像から生成され
ている場合には、その中に写っている物体の位置には前
後関係が生じているので、ステップ１１５では、属性情
報として、各物体の撮影位置からの距離の近さを示す順
番を定義するようにする。

【００６０】そして、さらに、図６に示すように、ステ
ップ１１０で与えたマスク値ごとに、該マスク値を与え
た領域画像に対して定義した属性情報６８０を対応付け
るための属性テーブル６２０を作成し、記憶装置３５０
上の記憶領域４００に確保された格納領域４２０（図４
を参照されたい。）に、作成した属性テーブル６２０を
格納する。

【００６１】なお、図６に示した例では、領域画像ごと
に異なるマスク値を与えているので、属性テーブル６２
０において、撮影位置からの距離が同じ物体に対応する
領域画像には、異なるマスク値であっても、同じ値の属
性情報が定義されることとなっているが、撮影位置から
の距離が同じ物体に対応する領域画像に、同じマスク値
を与えるようにすれば、属性情報が重複することはな
い。

【００６２】また、ここでは、領域の分割および属性情
報の定義を操作者が行うようにしているが、撮影に使用
するカメラが、その内部の各素子に書き込まれる画素値
の奥行き情報を計測することが可能なカメラであるよう
な場合には、計測された奥行き情報から、自動的に、領
域の分割および属性情報の定義を行うようにすることも
可能である。

【００６３】続いて、ステップ１２０およびステップ１
２５で、ステップ１１０で分割した複数の領域画像の各
々に対して、該領域画像内の各画素を何処に移動して、
パノラマ画像全体をどのように歪ませるかを定義すると
共に、定義された歪ませ方に応じて、歪みを生成する。

【００６４】この歪ませ方の定義方法としては、例え
ば、「Feature-Based Image Metamorphosis」に述べら
れているように、画像間で対応付ける部分を線分で指定
する方法を用いるようにすることができ、指定された各
線分に基づいて、歪み場を発生するために必要な、画像
内の各画素の歪み量を計算する。なお、この計算の際
に、指定された線分上にない画素については、各線分ま
での距離と線分に下した垂線の足の長さとに応じて、そ
の歪み量を算出する。

【００６５】さて、詳しくは、ステップ１２０およびス
テップ１２５では、まず、操作者が、例えば、図７に示
す「パノラマ画像１（７００）」および「パノラマ画像
２（７１０）」において、線分７２０と線分７４０、線
分７２５と線分７４５、線分７３０と線分７５０を、各
々対応付ける部分として指定すると、記憶装置３５０上
の記憶領域に確保された格納領域４３０（図４を参照さ
れたい。）に、指定された線分の対応関係を格納する。

【００６６】なお、この格納領域４３０には、さらに、
パノラマ画像とその撮影位置とを対応付けて格納してお
くようにすることが好ましい。

【００６７】続いて、「パノラマ画像１（７００）」お
よび「パノラマ画像２（７１０）」の各々について、該
パノラマ画像からもう一方のパノラマ画像に変形する場
合の、該パノラマ画像内の各画素の歪み量である移動ベ
クトルＤを、（数２）によって求め、記憶装置３５０上
の記憶領域４００に確保された格納領域４２５（図４を
参照されたい。）に、求めた移動ベクトルＤを格納す
る。

【００６８】この移動ベクトルＤは、実際には、画像空
間上の座標値によって表され、このようにして各画素に
ついて求められた移動ベクトルＤの集合が、画像を変形
する際の歪みの場を表すことになる。

【００６９】

【数２】

【００７０】ただし、Ｐ，Ｑは、「パノラマ画像１（７
００）」において指定された線分７２０の両端を終点と
するベクトル、Ｐ’，Ｑ’は、「パノラマ画像（７１
０）」において指定された線分７４０の両端を終点とす
るベクトル、Ｘは、移動ベクトルＤを求める対象である
「パノラマ画像１（７００）」内の画素の位置を終点と
するベクトル、Ｘ’は、Ｘを移動した後の位置を終点と
するベクトルを示す。

【００７１】また、Perpendicular( )は、( )内のベ
クトルと同じ長さであって、( )内のベクトルと垂直な
ベクトルを表す。また、小文字で表したパラメータは、
スカラー量を表す。

【００７２】なお、指定された線分が複数本ある場合
は、各線分から決まる対応点の位置を重み平均する。す
なわち、各線分ｉに対して移動ベクトルＤｉを求め、求
めた各移動ベクトルＤｉに、線分の長さが長いほど大き
くなり、線分までの距離が大きくなるほど小さくなるよ
うな重みＷｉを乗じた値ＷｉＤｉの和を、Ｗｉの和で除
した値を、移動ベクトルＤとするようにする。この重み
付き平均により求まる移動ベクトルＤは、（数３）で表
すことができる。

【００７３】

【数３】

【００７４】なお、先の文献では、（数４）により定ま
るＷｉを用いている。

【００７５】

【数４】

【００７６】ただし、lengthは、線分ｉの長さ、dist
は、線分ｉまでの距離、ａ，ｂ，ｐは、定数である。

【００７７】このように、歪みの場を発生させて画像を
変形する処理を「モーフィング」と呼ぶ。

【００７８】なお、歪ませ方の定義方法には、画像上に
貼り付けた格子点を移動することによって、画像の歪ま
せ方を定義する方法などもある。すなわち、画像上の全
ての格子点について、例えば、ある格子点が別の画像上
の特定の格子点に対応すると定義していく。そうする
と、実写画像内の全ての点（画素）は、画像上の４つの
格子点で囲まれた四角形を、対応する画像上の四角形に
幾何変換する変換式によって移すことができる。さら
に、滑らかにつながるように、高次式によって変換式を
表現することもある。このように、歪みの生成方法は、
「モーフィング」に限定されるものでない。

【００７９】続いて、ステップ１３０で、ディジタルカ
メラによる撮影位置を基準としたときの観察者（操作者
と同一人物でも別人物であってもよい。）の相対的な視
点位置、および、観察者がどの方角を見ているかを示す
視線方向を入力する。

【００８０】詳しくは、ステップ１３０では、例えば、
操作者が、マウス３１０を用いて、画像表示装置３００
に表示された地図上の場所を指定するようにすることも
できるし、画像表示装置３００にデフォルト位置におけ
る画像を表示すると共に、該デフォルト位置に対して前
方向に移動するとか右方向に向くといった指定をするよ
うにすることもできる。

【００８１】続いて、ステップ１３５で、ステップ１２
５で算出した各画素の歪み量（移動ベクトルＤ）に基づ
いて、ステップ１１０で分割した領域画像の各々を変形
し、変形した各領域画像を、ステップ１１５で定義した
属性情報に従って重畳合成することで、新たなパノラマ
画像を生成する。

【００８２】なお、ステップ１３５の詳細については、
図２に示すフローチャートを用いて後述する。

【００８３】最後に、ステップ１４０で、ステップ１３
５で生成した新たなパノラマ画像を、画像表示装置３０
０に表示する。

【００８４】図２はステップ１３５の詳細な処理を示す
フローチャートである。

【００８５】図２に示すように、ステップ２００（図１
のステップ１３０に相当している。）では、ディジタル
カメラによる撮影位置を基準としたときの観察者の相対
的な視点位置、および、観察者がどの方角を見ているか
を示す視線方向を入力する。

【００８６】もちろん、撮影位置を基準としたときの観
察者の相対的な視点位置の代わりに、撮影位置の絶対座
標および観察者の位置の絶対座標が入力されるようにし
てもよいが、例えば、２つの撮影位置を結ぶ直線をＸ
軸、その直線に直交する直線をＹ軸とし、Ｘ軸方向成分
として、２つの撮影位置を結ぶ線分上での内分比を取
り、Ｙ軸成分として、撮影位置間の距離を「１」とした
相対距離でＹ軸方向の移動量を入力することができる。

【００８７】また、視線方向については、東西南北の方
位を入力してもよいが、例えば、室内の場合であると、
テレビ等の目的物がある方向を基準として、そこから何
度という入力の仕方も可能である。

【００８８】さて、いま、図１のステップ１０５によっ
て、少なくとも２つのパノラマ画像が生成されている。
さらに、図１のステップ１２５によって、これらの２つ
のパノラマ画像について、一方からもう一方に変形する
ための各画素の歪み量（移動ベクトルＤ）が算出されて
いる。

【００８９】そこで、ステップ１３５では、まず、ステ
ップ２０５で、２つのパノラマ画像が各々得られた２つ
の撮影位置を結ぶ線分上の内分点のうち、どの内分点を
中間位置として、該中間位置におけるパノラマ画像（中
間パノラマ画像）を生成すべきであるかを決定する。

【００９０】この中間位置の決定は、まず、予め定めた
視野角を示す情報に応じて、中間位置の個数を決定する
ようにし、続いて、決定した個数の中間位置を、２つの
パノラマ画像が各々得られた２つの撮影位置を結ぶ線分
上に、等間隔で割り振っていくことで、実現することが
できる。

【００９１】例えば、図８に示すように、撮影位置８０
０におけるパノラマ画像を「パノラマ画像１」とし、撮
影位置８１０におけるパノラマ画像を「パノラマ画像
２」とするとき、２つの撮影位置８００，８１０を結ぶ
線分８３０上の中間位置８２０が決定されたとすると、
中間位置８２０における中間パノラマ画像（中間位置８
２０にディジタルカメラがある場合に得られるであろう
パノラマ画像である。）は、「パノラマ画像１」および
「パノラマ画像２」の２つのパノラマ画像から生成する
ことができる。

【００９２】また、例えば、図９において、パノラマ画
像７００が撮影位置８００における「パノラマ画像１」
であり、パノラマ画像７１０が撮影位置８１０における
「パノラマ画像２」であり、パノラマ画像９００が中間
位置８２０における中間パノラマ画像である。ここで
は、決定された中間位置８２０が、パノラマ画像７００
中のドア９１０の位置とパノラマ画像７１０中のドア９
２０の位置との間を結ぶ線分の中点である例を示してお
り、中間パノラマ画像９００中のドア９３０の位置は、
パノラマ画像７００中のドア９１０の位置とパノラマ画
像７１０中のドア９２０の位置との中間になるようにし
て、中間パノラマ画像９００が生成されている。

【００９３】続いて、ステップ２１０で、ステップ２０
０で入力した視点位置にディジタルカメラがある場合に
得られるであろうパノラマ画像（すなわち、生成すべき
新たなパノラマ画像である。）のうち、画像表示装置３
００に表示する範囲を、予め定めた視野角を示す情報か
ら決定する。

【００９４】これは、ステップ２０５で決定した中間位
置における中間パノラマ画像を生成し、これらの中間パ
ノラマ画像を基にして新たなパノラマ画像を生成したと
しても、生成した新たなパノラマ画像のうち、画像表示
装置３００に１度に表示できる範囲は限られているの
で、新たなパノラマ画像の表示範囲に相当する部分だけ
を生成した方が効率的であるからである。

【００９５】続いて、ステップ２１５で、まず、ステッ
プ２０５で決定した中間位置における中間パノラマ画像
を生成し、生成した中間パノラマ画像の各々について、
ステップ２１０で決定した表示範囲の新たなパノラマ画
像を生成するために、該中間パノラマ画像のうちのどの
向きの画像が必要かを求める。

【００９６】なお、中間パノラマ画像を生成するための
歪み量は、その中間位置に応じて、移動ベクトルＤから
求めることができる。

【００９７】また、中間パノラマ画像を生成する際に
は、図１のステップ１１０で分割した領域画像を歪み量
に基づいて変形し、変形後の領域画像を、図１のステッ
プ１１５で定義した属性情報に従った順番で重畳合成す
るようにする。すなわち、ここでは、ディジタルカメラ
に近いほど小さい値の属性情報が定義されているので、
属性情報の値が大きい順、すなわち、遠方にある順に、
変形後の領域画像を重ねていく。

【００９８】例えば、図１０に示すように、位置１００
０におけるパノラマ画像１００５であって、前方方向を
向いたパノラマ画像１００５を新たに生成するために、
撮影位置１０１０におけるパノラマ画像７００、およ
び、撮影位置１０２０におけるパノラマ画像７１０のほ
かに、中間位置１０３０〜１０６０における中間パノラ
マ画像が生成されているとする。

【００９９】ここで、「位置１０００において向き１０
７０に見える景色は、位置１０１０における同じ向き１
０７０でも観察できる。」という光学的性質を利用する
ことで、位置１０００におけるパノラマ画像１００５の
うち、向き１０７０に相当する部分の画像は、パノラマ
画像７００のうちの、向き１０７０に相当する部分の画
像を拡大処理して生成することができるということが分
かる。すなわち、パノラマ画像７００については、向き
１０７０に相当する部分の画像が、位置１０００におけ
るパノラマ画像１００５を生成するために必要であると
いうことが分かる。

【０１００】同様に、その他のパノラマ画像１０２０お
よび中間パノラマ画像１０３０〜１０６０についても、
各々、位置１０００におけるパノラマ画像１００５への
向きに相当する部分の画像を適切な倍率で拡大すれば、
位置１０００におけるパノラマ画像１００５を擬似的に
生成することができる。

【０１０１】原理的には、向きが一致するパノラマ画像
上の位置は１つのみであるから、基になるパノラマ画像
が相当な数だけ必要になるが、ある程度の幅をもった短
冊状の領域の画像を、該向きに対応させても、実用上は
問題ない。もちろん、中間位置における中間パノラマ画
像は４つに限ったものではなく、多数あればあるほど、
生成したパノラマ画像が実際の景色に近いものになり、
短冊状の領域の画像を繋げたときの画質も良くなる。

【０１０２】そこで、ステップ２１５で求める画像は、
実際には、短冊状の領域の画像（短冊状領域画像）であ
るようにすることができ、続くステップ２２０で、ステ
ップ２１５で生成した中間パノラマ画像の各々につい
て、ステップ２１５で求めた短冊状領域画像を切り取
り、記憶装置３５０上の記憶領域４００に確保された格
納領域４３５（図４を参照されたい。）に、切り取った
短冊状領域画像を格納する。

【０１０３】なお、この短冊状領域画像は、後に、適切
な倍率の拡大処理が施される。

【０１０４】例えば、図１１に示すように、２つの撮影
位置の間の距離を２Ｌとし、その間に等間隔にｎ個の中
間位置を設ける場合は、隣合う位置１０４０，１０５０
間の距離は、ｌ＝２Ｌ／（ｎ＋１）で表される。

【０１０５】このようにして、距離ｌごとに中間パノラ
マ画像が配置されていると仮定するとき、位置１０００
におけるパノラマ画像１００５を、短冊状領域１１２０
〜１１５０のように分割し、各短冊状領域の画像を、例
えば、短冊状領域１１２０については、位置１０１０に
おけるパノラマ画像７００から切り取った短冊状領域画
像から生成し、短冊状領域１１３０については、中間位
置１０３０における中間パノラマ画像から切り取った短
冊状領域画像から生成し、短冊状領域１１４０について
は、中間位置１０４０における中間パノラマ画像から切
り取った短冊状領域画像から生成し、短冊状領域１１５
０については、中間位置１０５０における中間パノラマ
画像から切り取った短冊状領域画像から生成することが
できる。

【０１０６】上述したように、ステップ２２０によっ
て、パノラマ画像および中間パノラマ画像の各々から、
ステップ２１０で決定したパノラマ画像の表示範囲に相
当する部分を生成するために必要な短冊状領域画像が切
り取られているので、続くステップ２３０では、これら
の短冊状領域画像を順番に並べることによって、新たな
パノラマ画像（実際には、表示範囲に相当する部分であ
る。）を生成し、記憶装置３５０上の記憶領域４００に
確保された格納領域４４０（図４を参照されたい。）
に、生成した新たなパノラマ画像を格納する。なお、こ
のとき、同時に、各短冊状領域画像に、適切な倍率の拡
大処理を施すようにする。

【０１０７】いま、図１２に示すように、位置１２２０
における新たなパノラマ画像１００５を生成するため
に、位置１２３０におけるパノラマ画像７００から切り
取った短冊状領域画像が、短冊状領域画像１１２０であ
り、位置１２４０におけるパノラマ画像１０５０から切
り取った短冊状領域画像が、短冊状領域画像１１５０で
あるとする。

【０１０８】パノラマ画像１０５０は、新たなパノラマ
画像１００５への向きが、位置１２２０における視線方
向と一致するような、パノラマ画像であり、従って、３
つの位置１２２０，１２３０，１２４０は、共に、位置
１２４０を直角三角形の直角頂点とする３つの頂点にあ
ることとなるが、ここで、位置１２３０と位置１２４０
との間の距離がＬ１であり、位置１２４０と位置１２２
０との間の距離がＬ２であるとする。

【０１０９】さらに、短冊状領域画像１１５０がパノラ
マ画像１０５０の一部をＳ倍に拡大したものであると
き、短冊状領域画像１１２０は、パノラマ画像７００の
一部を（数５）の倍率Ｓ’で拡大するようにすればよ
い。

【０１１０】

【数５】

【０１１１】ここで、Ｓの値は、現在の視点位置からス
テップ１３０で入力した視点位置への移動量に応じて定
められ、移動量が大きくなるほど、その値が大きくなる
ようになっている。

【０１１２】最後に、ステップ２３５で、新たなパノラ
マ画像に（数１）の逆変換を施し、ビュー平面に投影す
ることで、新たなパノラマ画像を通常の画像に戻し、記
憶装置３５０上の記憶領域４００に確保された格納領域
４４５（図４を参照されたい。）に、戻した画像（投影
画像）を格納する。

【０１１３】さらに、この投影画像を画像表示装置３０
０に転送することによって、ユーザに視点を変えたとき
の景色を見せることができる。

【０１１４】以上説明したように、本発明の実施形態に
よれば、異なる撮影位置で各々撮影して取り込んだ複数
の画像を用いて、想定した撮影位置で撮影した場合に得
られるであろう画像を新たに生成することができる。

【０１１５】さらに、この際に、単に１つの物体を色々
な視点から観察するのではなく、幾つかの物体が画像に
写っており、それらの位置関係が画像によって入れ替わ
るような場合でも、違和感のない画像を生成することが
できる。

【０１１６】また、本発明の実施形態によれば、異なる
撮影位置におけるパノラマ画像が最低２つあれば、ウォ
ークスルー等における視点変更を実現し、撮影位置付近
の平面内をインタラクティブな操作に合わせて観察でき
るようになる。

【０１１７】従って、実写した画像をベースにしたプレ
ゼンテーションシステム等のバーチャルリアリティシス
テムにおいて、従来技術で必要としていた特別な装置
（カメラパラメータの計測装置や移動装置等）を必要と
せずに、ウォークスルー等における視点変更を実現し、
色々な視点位置での画像を観察することが可能となる。

【０１１８】なお、以上に説明した実施形態において、
ステップ２１５で生成した中間パノラマ画像を記憶装置
３５０に格納しておくようにすれば、次回以降、別のパ
ノラマ画像を新たに生成する際に、既に生成して格納し
ている中間パノラマ画像については、これを利用し、生
成し直す必要がなくなる。

【０１１９】また、以上に説明した実施形態において
は、短冊状領域画像を切り取る基となる中間パノラマ画
像全体を生成しているが、中間パノラマ画像全体を生成
しなくても、短冊状領域画像に相当する部分（新たなパ
ノラマ画像の表示範囲に相当する部分を生成するために
必要な範囲の中間パノラマ画像）だけを生成するように
してもよい。

【０１２０】このようにする場合には、図２のステップ
２１５で、図２のステップ２０５で決定した中間位置に
おける中間パノラマ画像を実際に生成せずに、この中間
パノラマ画像の各々について、図２のステップ２１０で
決定した表示範囲の新たなパノラマ画像を生成するため
に、該中間パノラマ画像のうちのどの向きの画像（短冊
状領域画像）が必要かを求めるようにすると共に、求め
た短冊状領域画像を生成するために必要となる領域画像
および歪み量を選択するようにする。

【０１２１】そして、図２のステップ２２０で、図２の
ステップ２１５で選択した領域画像および歪み量を用い
て、図２のステップ２０５で決定した中間位置における
中間パノラマ画像の一部である短冊状領域画像を生成す
るようにする。

【０１２２】なお、短冊状領域画像を生成する際には、
図２のステップ２１５で選択した領域画像を、図２のス
テップ２１５で選択した歪み量に基づいて変形すること
で実現できるが、このとき、上述と同様に、変形後の領
域画像を、図１のステップ１１５で定義した属性情報に
従った順番で重畳合成するようにする。

【０１２３】さらに、以上に説明した実施形態は、住宅
内ウォークスルーシステムや旅行体験システムといっ
た、様々なプレゼンテーションシステムに利用すること
ができる。

【０１２４】例えば、住宅内ウォークスルーシステムに
利用する場合には、予め、住宅内を多数の撮影位置で撮
影しておき、このとき各撮影位置で取り込んだ複数の画
像から、複数のパノラマ画像を生成しておく。そして、
操作者が、生成した各パノラマ画像を、複数の領域に分
割して属性情報を与えておくと共に、これらのパノラマ
画像を線分を用いて対応付けるようにしておく。

【０１２５】ここまでの過程を実行することで、住宅内
ウォークスルーシステムを利用するための前準備が完了
するので、操作者は、前準備が完了すると、観察者であ
る顧客の前で、顧客の視点位置および視線方向を入力す
るようにする。

【０１２６】これにより、前準備で生成されているパノ
ラマ画像から中間パノラマ画像が生成され、生成された
中間パノラマ画像および既に生成されているパノラマ画
像から短冊状領域画像が切り取られ、さらに、これらの
短冊状領域画像が組み合わされて、入力された視点位置
および視線方向に応じた新たなパノラマ画像が生成され
ることとなる。生成された新たなパノラマ画像は、画像
表示装置３００に、その表示範囲に相当する部分が表示
されるので、顧客は、画像表示装置３００の表示内容を
見るだけで、実際に住宅内を歩いているときに観察する
景色と同じ景色を観察することが可能となる。

【０１２７】ところで、以上に説明した実施形態におい
ては、さらに、以下に述べるように、短冊状領域画像の
色調を調整する処理を行うことが好ましい。

【０１２８】図１３は、複数のパノラマ画像および中間
パノラマ画像から各々生成した短冊状領域画像を組み合
わせて新たなパノラマ画像を生成する処理を示す説明図
である。

【０１２９】図１３において、１３００，１３０５，１
３１０は、各々、別々のパノラマ画像または中間パノラ
マ画像から生成された短冊状領域画像である。

【０１３０】一般的には、複数の領域の平均明度は独立
であり、従って、図１３に示すように、各短冊状領域画
像をそのまま並べると、境界部がはっきりと見えてしま
う。

【０１３１】そこで、境界部の明度が滑らかに繋がるた
めに、短冊状領域画像の色調を調整する処理を行うよう
にする。

【０１３２】すなわち、図１３のグラフに示すように、
短冊状領域画像１３００内の各画素の明度平均値が、１
３２５に示す値であり、短冊状領域画像１３０５内の各
画素の明度平均値が、１３３０に示す値であり、短冊状
領域画像１３１０内の各画像の明度平均値が、１３３５
に示す値であるとするとき、２つの短冊領域画像が隣合
う境界部に位置する画素の画素値を、これらの明度平均
値の中間値に補正すると共に、境界部から遠ざかるにつ
れて滑らかにその短冊状領域画像が本来持っていた明度
値になるように、境界部付近に位置する画素の画素値を
補正するようにする。

【０１３３】このような処理を行うことで、生成したパ
ノラマ画像や最終的な出力画像に不自然な境界が発生す
るのを防ぐことができる。

【０１３４】また、以上に説明した実施形態において
は、さらに、以下に述べるように、中間パノラマ画像を
生成するときに起こる欠損部を補填する処理を行うこと
が好ましい。

【０１３５】図１４は、２つのパノラマ画像から中間パ
ノラマ画像を生成するときに起こる欠損部、および、こ
の欠損部を補填する処理を示す説明図である。

【０１３６】いま、２つの位置１４１５，１４２５で各
々撮影して取り込んだ複数の画像から生成した２つのパ
ノラマ画像から、中間位置１４２０における中間パノラ
マ画像を生成する場合を考える。ところが、例えば、撮
影対象となる景色中に存在している物体１４３０は、位
置１４１５からは、物体１４１０に隠れて見えないし、
位置１４２５からは、物体１４０５に隠れて見えない。
すならち、どちらの位置１４１５，１４２５で撮影して
取り込んだ画像にも写っていない物体１４３０の画像
は、２つのパノラマ画像を補間して作るわけにはいかな
いので、その部分は欠損部となる。

【０１３７】そこで、このような理由で生じる欠損部を
補填する処理について、図１４のフローチャートを用い
て説明する。

【０１３８】まず、ステップ１４４０で、欠損部を検出
する。欠損が生じたか否かの判断は、対象画像と同サイ
ズで各画素に１ビットを割り当てた領域を用意し、各画
素に値が書き込まれたときは、その領域のビットを立て
るようにすると、ビットが立ってない画素が欠損部であ
るという判断をすることができる。

【０１３９】続いて、ステップ１４４５で、欠損部周囲
に位置する画素を調べ、ステップ１４５０で、ステップ
１４４５で調べた画素の画素値から、補填すべき画素の
濃度値を求め、欠損部を修復する。

【０１４０】続いて、ステップ１４５５で、修復の対象
となる画素を移動する。例えば、欠損部内周を時計回り
になるように、対象画素の位置を移動する。欠損部がな
くなるまでは、これらの処理を繰り返すために、ステッ
プ１４４５に戻り、全ての欠損部が補填された時点で、
処理を終了する。

【０１４１】このような処理を行うことで、中間パノラ
マ画像を生成するときに起こる欠損部を補填することが
できる。

【０１４２】また、以上に説明した実施形態において
は、以下に述べるように、テーブルを用いることによっ
て、図２のステップ２３５でパノラマ画像を平面に投影
する処理を高速に行うことが可能となる。

【０１４３】図１５は、パノラマ画像を平面に投影する
処理を高速に行うために用いられるテーブルを示す説明
図である。

【０１４４】図１５に示すように、このテーブル１５０
０は、投影後の画像（画像表示装置３００に表示される
画像である。）の画素の各々について、該画素に対応す
るデータを、投影間のパノラマ画像１５１０のどの画素
から読み出せばよいかという画素位置（ｘ，ｙ）１５２
０からなっている。

【０１４５】このテーブル１５００を用いることで、幾
何計算をすることなしに、平面への高速な投影が可能に
なる。

【０１４６】また、以上に説明した実施形態において
は、パノラマ画像を生成するために、円筒モデル５００
を用いているが、以下に述べるように、球モデルを用い
るようにしてもよい。

【０１４７】図１６は写真を球モデルに投影する際の幾
何変換を示す説明図であり、１つの画像（写真）１６０
０を、球の中心１６２０に向けて、球表面１６１０に投
影する。

【０１４８】図５に示した円筒モデル５００を用いる場
合には、ディジタルカメラの回転軸を、円筒モデル５０
０の中心軸５４０に一致するようにしなければならなか
ったが、球モデルを用いる場合には、ディジタルカメラ
の中心さえ固定しておけば、自由な向きで撮影した画像
を貼り合わせることができる。

【０１４９】このように、上述したパノラマ画像の代わ
りに、球モデルに投影した画像を用いると、水平方向に
視線の向きを移動できるだけでなく、上下方向へ視線の
向きを変えて見ることができるようになる。

【０１５０】また、以上に説明した実施形態において
は、以下に述べるように、新たなパノラマ画像を生成す
る際に、撮影によって実際に得られた色彩値と中間パノ
ラマ画像の色彩値とを使い分けることで、生成後の画質
を向上するようにすることができる。

【０１５１】生成後の新たなパノラマ画像の中には、中
間パノラマ画像から切り取って拡大した短冊状領域から
生成された部分であっても、実際に撮影した画像から生
成されたパノラマ画像と同じ画素が存在する場合がある
ので、そのような画素については、パノラマ画像の画素
の色彩値を用いて、元の色彩値を再現するようにすれ
ば、生成後の新たなパノラマ画像の画質を向上すること
ができる。

【０１５２】図１７は、新たなパノラマ画像を生成する
際に、撮影によって得られた色彩値と中間パノラマ画像
の色彩値とを使い分ける方法を示す説明図である。

【０１５３】図１７に示すように、パノラマ画像１７０
０の画素の各々に、テーブル１７１０を対応付けてお
く。このテーブル１７１０は、色彩値となる赤，緑，青
の色の成分値Ｒ，Ｇ，Ｂと、撮影時のディジタルカメラ
の中心の絶対位置（ｘ，ｙ）と、２次元平面上で向きの
値θとが記録されたものである。

【０１５４】そうすれば、新たなパノラマ画像を生成す
る際に、このｘ，ｙ，θの値から対応する画素がある場
合は、その色彩値をサンプリングすることができる。

【０１５５】なお、テーブル１７１０は、円筒モデル５
００を用いる場合のデータ構造を示しており、球モデル
を用いる場合のデータ構造は、テーブル１７２０に示す
ようになる。

【０１５６】また、以上に説明した実施形態において
は、新たなパノラマ画像を生成する際に、パノラマ画像
および中間パノラマ画像から生成した短冊状領域画像を
貼り付けるようにしているが、以下に述べるように、予
め用意されている複数のパノラマ画像から、自動的に、
新たなパノラマ画像を生成するようにすることができ
る。

【０１５７】図１８は、予め用意されている複数のパノ
ラマ画像から、自動的に、新たなパノラマ画像を生成す
るための仕組みを示す説明図である。

【０１５８】図１８において、１８００は、生成すべき
新たなパノラマ画像が得られるであろう仮想的な撮影位
置、および、観察者の移動範囲を示す仮想的な地図上の
座標（ｘ，ｙ）を対応付けるためのテーブルであり、こ
の地図上の座標（ｘ，ｙ）には、各々、複数の領域画像
に分割されたパノラマ画像１８１０が対応付けられてい
る。

【０１５９】このパノラマ画像１８１０は、「領域１
（１８２０）」〜「領域４（１８４０）」のように、予
め複数の領域画像に分割されており、各領域画像には、
さらに、属性データ１８５０〜１８８０が対応付けられ
ている。

【０１６０】例えば、「領域１（１８２０）」には、予
め用意された複数のパノラマ画像のうちの、どのパノラ
マ画像について、該パノラマ画像中のどの範囲を、どの
ような拡大率で拡大し、どういった色補正を行うべきで
あるかを示す属性データ１８５０〜１８８０が対応付け
られている。

【０１６１】これにより、生成すべき新たなパノラマ画
像が得られるであろう仮想的な撮影位置が決まれば、予
め用意された複数のパノラマ画像から、自動的に、所望
のパノラマ画像を新たに生成することができるようにな
る。

【０１６２】なお、予め用意する複数のパノラマ画像
は、全てが実際に撮影して取り込んだ画像から生成した
パノラマ画像であってもよいし、実際に撮影した取り込
んだ画像から生成したパノラマ画像、および、これらか
ら生成した中間パノラマ画像であってもよい。

【０１６３】さらに、前者の場合には、スリットカメラ
等を用いて、複数の撮影位置で同時に撮影してパノラマ
画像を取り込むようにすれば、撮影と並行して、新たな
パノラマ画像を生成することが可能となり、また、取り
込むパノラマ画像が動画像であっても、即座に、新たな
パノラマ動画像を作り出すことが可能となる。

【０１６４】

【発明の効果】以上説明したように、本発明によれば、
少なくとも２つの異なる撮影位置で各々撮影して取り込
んだ画像を用いて、想定した撮影位置で撮影した場合に
得られるであろう画像を新たに生成することができる。

【０１６５】さらに、この際に、単に１つの物体を色々
な視点から観察するのではなく、幾つかの物体が画像に
写っており、それらの位置関係が画像によって入れ替わ
るような場合でも、違和感のない画像を生成することが
できる。

【０１６６】また、本発明によれば、異なる撮影位置に
おけるパノラマ画像が最低２つあれば、ウォークスルー
等における視点変更を実現し、撮影位置付近の平面内を
インタラクティブな操作に合わせて観察できるようにな
る。

【０１６７】従って、実写した画像をベースにしたプレ
ゼンテーションシステム等のバーチャルリアリティシス
テムにおいて、従来技術で必要としていた特別な装置
（計測装置や移動装置等）を必要としたり、従来技術で
必要としていた多数の画像を用意したりせずに、ウォー
クスルー等における視点変更を実現し、色々な視点位置
での画像を観察することが可能となる。

【図面の簡単な説明】

【図１】本発明の画像生成方法を実現するための画像処
理の処理概要を示す流れ図。

【図２】図１のステップ１３５の詳細な処理を示す流れ
図。

【図３】本発明の画像生成方法を実施したコンピュータ
システムの基本的なハードウェア構成を示すブロック
図。

【図４】記憶装置上の記憶領域に確保される格納領域を
示す説明図。

【図５】１組の画像からパノラマ画像を生成する際の説
明図。

【図６】マスク画像および属性テーブルの構造を示す説
明図。

【図７】２つのパノラマ画像を線分を用いて対応付ける
際の説明図。

【図８】中間パノラマ画像を作る際の説明図。

【図９】中間パノラマ画像の性質を示す説明図。

【図１０】撮影位置を結ぶ線分上にない位置で得られる
であろう新たなパノラマ画像を生成する際の説明図。

【図１１】パノラマ画像および中間パノラマ画像と、こ
れらから生成される新たなパノラマ画像との関係を示す
説明図。

【図１２】パノラマ画像および中間パノラマ画像から、
新たなパノラマ画像を生成する際の画像変形処理につい
て示す説明図。

【図１３】複数のパノラマ画像および中間パノラマ画像
から各々生成した短冊状領域画像を組み合わせて新たな
パノラマ画像を生成する処理を示した説明図。

【図１４】２つのパノラマ画像から中間パノラマ画像を
生成するときに起こる欠損部、および、この欠損部を補
填する処理を示す説明図。

【図１５】パノラマ画像を平面に投影する処理を高速に
行うために用いられるテーブルを示す説明図。

【図１６】写真を球モデルに投影する際の幾何変換を示
す説明図。

【図１７】新たなパノラマ画像を生成する際に、撮影に
よって得られた色彩値と中間パノラマ画像の色彩値とを
使い分ける方法を示す説明図。

【図１８】複数の撮影位置におけるパノラマ画像から、
自動的に、新たなパノラマ画像を生成するための仕組み
を示した説明図。

【符号の説明】

３００…画像表示装置、３１０…マウス、３２０…スキ
ャナ、３３０…カメラ、３４０…プロセッサ、３５０…
記憶装置、３６０…高速バス、４００…記憶領域、４０
５…入力画像格納領域、４１０…パノラマ画像格納領
域、４１５…マスク画像格納領域、４２０…属性テーブ
ル格納領域、４２５…移動ベクトル格納領域、４３０…
対応関係格納領域、４３５…短冊状領域画像格納領域、
４４０…新たなパノラマ画像格納領域、４４５…投影画
像格納領域、４５０…プログラム格納領域。

Claims

【特許請求の範囲】

【請求項１】少なくとも２つの異なる視点位置の各々に
ついて、該視点位置を中心とした広角的な景色が写って
いる画像（以下、「パノラマ画像」と称す。）を取得す
る処理と、所望の視点位置で見た向きの各々について、該向きと同
じ向きを見た部分の画像（以下、「部分画像」と称
す。）を、この部分画像を含むパノラマ画像から切り取
り、切り取った部分画像を組み合わせて、該所望の視点
位置で撮影して取り込んだ画像から生成されるであろう
新たなパノラマ画像を生成する処理とを有することを特
徴とする画像生成方法。
【請求項２】少なくとも２つの異なる視点位置の各々に
ついて、該視点位置でカメラの向きを一定の回転角度ご
とに変えて撮影して取り込んだ複数の画像を、これらの
画像の重なり部分を互いに合わせるようにして、順に円
筒モデルの表面に投影した画像（以下、「パノラマ画
像」と称す。）を生成する処理と、所望の視点位置で見た向きの各々について、該向きと同
じ向きを見た部分の画像（以下、「部分画像」と称
す。）を、この部分画像を含むパノラマ画像から切り取
り、切り取った部分画像を組み合わせて、該所望の視点
位置で撮影して取り込んだ画像から生成されるであろう
新たなパノラマ画像を生成する処理とを有することを特
徴とする画像生成方法。
【請求項３】少なくとも２つの異なる視点位置の各々に
ついて、該視点位置を中心とした広角的な景色が写って
いる画像（以下、「パノラマ画像」と称す。）を取得す
る処理と、取得したパノラマ画像から、各パノラマ画像に対応する
視点位置を結ぶ線分上に想定した視点位置を中心とした
広角的な景色が写るであろう新たなパノラマ画像（以
下、「中間パノラマ画像」と称す。）を生成する処理
と、上記線分外に想定した視点位置を設定する処理と、上記パノラマ画像および上記中間パノラマ画像の各々に
ついて、設定した視点位置で見た向きと同じ向きを該パ
ノラマ画像または中間パノラマ画像に対応する視点位置
で見た部分の画像（以下、「部分画像」と称す。）を、
該パノラマ画像または中間パノラマ画像から切り取る処
理と、切り取った部分画像を組み合わせて、上記線分外に想定
した視点位置を中心とした広角的な景色が写るであろう
新たなパノラマ画像を生成する処理とを有することを特
徴とする画像生成方法。
【請求項４】少なくとも２つの異なる視点位置の各々に
ついて、該視点位置でカメラの向きを一定の回転角度ご
とに変えて撮影して取り込んだ複数の画像を、これらの
画像の重なり部分を互いに合わせるようにして、順に円
筒モデルの表面に投影した画像（以下、「パノラマ画
像」と称す。）を生成する処理と、生成したパノラマ画像から、各パノラマ画像に対応する
視点位置を結ぶ線分上に想定した視点位置で撮影して取
り込んだ画像から生成されるであろう新たなパノラマ画
像（以下、「中間パノラマ画像」と称す。）を生成する
処理と、上記線分外に想定した視点位置を設定する処理と、上記パノラマ画像および上記中間パノラマ画像の各々に
ついて、設定した視点位置で見た向きと同じ向きを該パ
ノラマ画像または中間パノラマ画像に対応する視点位置
で見た部分の画像（以下、「部分画像」と称す。）を、
該パノラマ画像または中間パノラマ画像から切り取る処
理と、切り取った部分画像を組み合わせて、上記線分外に想定
した視点位置で撮影して取り込んだ画像から生成される
であろう新たなパノラマ画像を生成する処理とを有する
ことを特徴とする画像生成方法。
【請求項５】請求項４記載の画像生成方法であって、上記円筒モデルの径は、上記円筒モデルの表面に投影される１つの画像を挟む角
度が、上記カメラの水平方向の画角と一致するようにし
て定められ、上記カメラの回転角度は、隣合う画像内に同じ物体が写るようにして定められるこ
とを特徴とする画像生成方法。
【請求項６】請求項４または５記載の画像生成方法であ
って、上記中間パノラマ画像を生成する処理は、上記パノラマ画像の各々について、該パノラマ画像を、その中に写っている複数の物体の各
々に相当する領域に分割する第１のステップと、上記第１のステップで分割した領域ごとに、対応する視
点位置からの距離の近さの順番を示す属性情報を定義す
る第２のステップと、上記第１のステップで分割した領域ごとに、該領域の画
像から、対応する視点位置と他のパノラマ画像に対応す
る視点位置との間を結ぶ線分上に想定した視点位置で撮
影して取り込んだ画像から生成されるであろう中間パノ
ラマ画像のうちの、該領域と同じ領域の画像を生成する
第３のステップと、上記第３のステップで生成した領域の画像を、上記第２
のステップで定義した属性情報が示す順番で重畳合成し
て、上記中間パノラマ画像を生成する第４のステップと
を有することを特徴とする画像生成方法。
【請求項７】請求項６記載の画像生成方法であって、上記中間パノラマ画像を生成する処理は、上記第４のステップで生成した中間パノラマ画像内に欠
損した画素がある場合に、該欠損した画素の画素値を、
その周囲に位置する画素の画素値を用いて補填する第５
のステップをさらに有することを特徴とする画像生成方
法。
【請求項８】請求項１，２，３，４，５，６または７記
載の画像生成方法であって、上記部分画像を組み合わせて新たなパノラマ画像の一部
を生成する処理は、上記部分画像の各々について、該部分画像内の画素の平
均明度値を求める第１のステップと、上記部分画像の各々について、該部分画像内の各画素の
画素値を、該部分画像内の画素の平均明度値が上記第１
のステップで求めた平均明度値の中間値と一致するよう
な値に補正する第２のステップとを有することを特徴と
する画像生成方法。
【請求項９】請求項１，２，３，４，５，６または７記
載の画像生成方法であって、上記部分画像を組み合わせて新たなパノラマ画像の一部
を生成する処理は、上記部分画像の各々について、該部分画像内の画素の平
均明度値を求める第１のステップと、隣合う２つの部分画像の組の各々について、これらの２
つの部分画像の境界部に位置する画素の明度値を、上記
第１のステップで求めた平均明度値の中間値に補正する
第２のステップと、上記２つの部分画像内の画素の各々について、該画素の
明度値と上記第２のステップで補正した後の明度値との
差分を求める第３のステップと、上記２つの部分画像内の画素の各々について、上記境界
部に位置する画素との間の距離に応じて、上記第３のス
テップで求めた差分の影響が少なくなるような値を求
め、求めた値を該画素の画素値に加算する第４のステッ
プとを有することを特徴とする画像生成方法。
【請求項１０】少なくとも２つの異なる視点位置の各々
について、該視点位置を中心とした広角的な景色が写っ
ている画像（以下、「パノラマ画像」と称す。）と、仮想的な地図上の各座標値ごとに、該座標値を視点位置
として、この視点位置を中心とした広角的な景色が写る
であろうパノラマ画像を対応付け、さらに、これらのパ
ノラマ画像ごとに、該パノラマ画像を構成する２つ以上
の領域を対応付けた第１のテーブルと、上記第１のテーブル中の領域ごとに、該領域の画像とな
る画像を切り取るべき実写パノラマ画像、および、この
実写パノラマ画像から画像を切り取るべき領域を対応付
けた第２のテーブルとを記憶しており、上記座標値のうちの任意の座標値が指定されると、上記
第１のテーブルおよび上記第２のテーブルを参照し、該
座標値に対応するパノラマ画像にさらに対応する領域の
各々について、該領域に対応する実写パノラマ画像の領
域の画像を切り取り、切り取った画像を組み合わせるこ
とで、指定された座標値に対応するパノラマ画像を生成
することを特徴とする画像生成方法。