JPH0969170A - 三次元シーンの形状と表面模様の再構成方法およびその装置 - Google Patents
三次元シーンの形状と表面模様の再構成方法およびその装置Info
- Publication number
- JPH0969170A JPH0969170A JP22518295A JP22518295A JPH0969170A JP H0969170 A JPH0969170 A JP H0969170A JP 22518295 A JP22518295 A JP 22518295A JP 22518295 A JP22518295 A JP 22518295A JP H0969170 A JPH0969170 A JP H0969170A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- images
- dimensional
- surface pattern
- reconstructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】
【課題】 実際の建物の壁の高さや幅を巻き尺等で計測
せずに、建物の写真などから簡便に幾何形状モデルを作
成する三次元シーンの形状と表面模様の再構成方法およ
びその装置を提供する。 【解決手段】 三次元空間を複数視点から撮影して得ら
れた複数画像の集まりから、三次元形状を再構成し（Ｓ
２０２）、該複数画像の集まりの中の１枚または複数の
画像から、一様な平面または平面に近い形状領域の表面
模様を生成し（Ｓ２０３）、該表面模様が、前記三次元
形状のどの領域のどの位置に対応するかを指定し（Ｓ２
０４）、前記表面模様を前記指定された三次元形状の領
域及び位置に対応して記憶する（Ｓ２０５）。平面また
は平面に近い一様な領域が、複数の画像にわたって獲得
されている場合には、該複数画像を融合してひとつの大
きな画像を生成する。
せずに、建物の写真などから簡便に幾何形状モデルを作
成する三次元シーンの形状と表面模様の再構成方法およ
びその装置を提供する。 【解決手段】 三次元空間を複数視点から撮影して得ら
れた複数画像の集まりから、三次元形状を再構成し（Ｓ
２０２）、該複数画像の集まりの中の１枚または複数の
画像から、一様な平面または平面に近い形状領域の表面
模様を生成し（Ｓ２０３）、該表面模様が、前記三次元
形状のどの領域のどの位置に対応するかを指定し（Ｓ２
０４）、前記表面模様を前記指定された三次元形状の領
域及び位置に対応して記憶する（Ｓ２０５）。平面また
は平面に近い一様な領域が、複数の画像にわたって獲得
されている場合には、該複数画像を融合してひとつの大
きな画像を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は三次元シーンの形状
と表面模様の再構成方法およびその装置に関するもので
ある。
と表面模様の再構成方法およびその装置に関するもので
ある。
【０００２】
【従来の技術】室内などの三次元シーンの形状や表面模
様を三次元的に再構成する場合には、 ＣＡＤを用いて幾何形状をモデリングした幾何形状モ
デルを用いたり、室内の設計図の数値データをもとに
幾何形状を入力し幾何形状モデルを作成したり、実際
の室内で壁の高さや幅を巻き尺などにより計測して数値
を求め幾何形状モデルを作成する、等の種々の方法によ
り幾何形状モデルを作成し、一方で、その形状モデルの
表面の模様として別途模様画像を用意しておき、テクス
チャーマッピングの技術により三次元空間を構築する手
法がある。ここで、別途用意する模様画像には、実写の
画像やコンピュータグラフィックス技術によって作成し
た画像等を用いることができる。
様を三次元的に再構成する場合には、 ＣＡＤを用いて幾何形状をモデリングした幾何形状モ
デルを用いたり、室内の設計図の数値データをもとに
幾何形状を入力し幾何形状モデルを作成したり、実際
の室内で壁の高さや幅を巻き尺などにより計測して数値
を求め幾何形状モデルを作成する、等の種々の方法によ
り幾何形状モデルを作成し、一方で、その形状モデルの
表面の模様として別途模様画像を用意しておき、テクス
チャーマッピングの技術により三次元空間を構築する手
法がある。ここで、別途用意する模様画像には、実写の
画像やコンピュータグラフィックス技術によって作成し
た画像等を用いることができる。
【０００３】
【発明が解決しようとする課題】しかしながら、従来
は、設計図などの数値データがない場合やＣＡＤで作成
した形状モデルデータがない場合には、実際の建物の壁
の高さや幅を巻き尺等で計測しなければならず、このよ
うな手間のかかる作業を行うことなく建物の写真などか
ら簡便に幾何形状モデルが作成できないという問題があ
った。
は、設計図などの数値データがない場合やＣＡＤで作成
した形状モデルデータがない場合には、実際の建物の壁
の高さや幅を巻き尺等で計測しなければならず、このよ
うな手間のかかる作業を行うことなく建物の写真などか
ら簡便に幾何形状モデルが作成できないという問題があ
った。
【０００４】本発明は、前記従来の欠点を除去し、実際
の建物の壁の高さや幅を巻き尺等で計測せずに、建物の
写真などから簡便に幾何形状モデルを作成する三次元シ
ーンの形状と表面模様の再構成方法およびその装置を提
供する。
の建物の壁の高さや幅を巻き尺等で計測せずに、建物の
写真などから簡便に幾何形状モデルを作成する三次元シ
ーンの形状と表面模様の再構成方法およびその装置を提
供する。
【０００５】
【課題を解決するための手段】この課題を解決するため
に、本発明の三次元シーンの形状と表面模様の再構成方
法は、三次元シーンの形状と表面模様とを三次元的に再
構成する再構成方法であって、三次元空間を複数視点か
ら撮影して得られた複数画像の集まりから、三次元形状
を再構成する工程と、該複数画像の集まりの中の１枚ま
たは複数の画像から、一様な平面または平面に近い形状
領域の表面模様を生成する工程と、該表面模様が、前記
三次元形状のどの領域のどの位置に対応するかを指定す
る工程と、前記表面模様を前記指定された三次元形状の
領域及び位置に対応して記憶する工程とを備えることを
特徴とする。
に、本発明の三次元シーンの形状と表面模様の再構成方
法は、三次元シーンの形状と表面模様とを三次元的に再
構成する再構成方法であって、三次元空間を複数視点か
ら撮影して得られた複数画像の集まりから、三次元形状
を再構成する工程と、該複数画像の集まりの中の１枚ま
たは複数の画像から、一様な平面または平面に近い形状
領域の表面模様を生成する工程と、該表面模様が、前記
三次元形状のどの領域のどの位置に対応するかを指定す
る工程と、前記表面模様を前記指定された三次元形状の
領域及び位置に対応して記憶する工程とを備えることを
特徴とする。
【０００６】ここで、前記三次元形状を再構成する工程
は、各画像から、三次元構造における稜線を抽出または
指定する工程と、各画像において、該稜線のそれぞれに
関して、既知の構造情報から得られた稜線の接続関係と
接続角度情報とを指定する工程と、前工程で指定した接
続関係と接続角度情報とに基づいて、三次元形状情報を
復元する工程と、複数の画像間において、既知の構造情
報から前記稜線の接続関係を指定する工程と、前工程で
指定した接続関係に基づいて、前記復元結果を複数画像
間で融合すると共に、復元不能であった部分の形状に関
して複数画像間の接続関係から復元する工程とを備え
る。また、前記三次元形状を再構成する工程は、複数視
点から撮影された画像群のうちから、近い視点方向から
撮影された２つの画像を選ぶ工程と、各画像から、三次
元構造における稜線を抽出または指定する工程と、各画
像において、該稜線のそれぞれに関して、既知の構造情
報から得られた稜線の接続関係と接続角度情報とを指定
する工程と、前記２つの画像間において同一稜線を指定
し、三角測量の原理により３次元位置を算出して三次元
形状情報を復元する工程と、複数の画像間において、既
知の構造情報から前記稜線の接続関係を指定する工程
と、前工程で指定した接続関係に基づいて、前記復元結
果を複数画像間で融合すると共に、復元不能であった部
分の形状に関して複数画像間の接続関係から復元する工
程とを備える。また、前記表面模様を生成する工程は、
一様な平面または平面に近い領域全域が獲得されている
画像から、該領域を切り出す工程と、前記切り出された
領域内の表面模様に歪み補正や色及び濃淡補正を行う工
程とを有する。また、前記歪み補正や色及び濃淡補正を
行う工程は、前記切り出された領域に、撮像面と撮影領
域とが平行でないことから生じる幾何歪みが存在する場
合に、幾何歪みを補正する工程と、光源の位置や光量な
どの影響で、均一な陰影及び明暗が得られていない場合
に、不均一な陰影及び明暗を補正する工程と、障害物等
によって隠された部分がある場合に、その部分を内挿外
挿により補正する工程の全部または一部を含む。また、
前記領域を切り出す工程は、平面または平面に近い一様
な領域が、複数の画像にわたって獲得されている場合
に、該複数画像を融合してひとつの大きな画像を生成す
る工程と、前記生成された大きな画像から、前記模様領
域を切り出す工程とを有する。
は、各画像から、三次元構造における稜線を抽出または
指定する工程と、各画像において、該稜線のそれぞれに
関して、既知の構造情報から得られた稜線の接続関係と
接続角度情報とを指定する工程と、前工程で指定した接
続関係と接続角度情報とに基づいて、三次元形状情報を
復元する工程と、複数の画像間において、既知の構造情
報から前記稜線の接続関係を指定する工程と、前工程で
指定した接続関係に基づいて、前記復元結果を複数画像
間で融合すると共に、復元不能であった部分の形状に関
して複数画像間の接続関係から復元する工程とを備え
る。また、前記三次元形状を再構成する工程は、複数視
点から撮影された画像群のうちから、近い視点方向から
撮影された２つの画像を選ぶ工程と、各画像から、三次
元構造における稜線を抽出または指定する工程と、各画
像において、該稜線のそれぞれに関して、既知の構造情
報から得られた稜線の接続関係と接続角度情報とを指定
する工程と、前記２つの画像間において同一稜線を指定
し、三角測量の原理により３次元位置を算出して三次元
形状情報を復元する工程と、複数の画像間において、既
知の構造情報から前記稜線の接続関係を指定する工程
と、前工程で指定した接続関係に基づいて、前記復元結
果を複数画像間で融合すると共に、復元不能であった部
分の形状に関して複数画像間の接続関係から復元する工
程とを備える。また、前記表面模様を生成する工程は、
一様な平面または平面に近い領域全域が獲得されている
画像から、該領域を切り出す工程と、前記切り出された
領域内の表面模様に歪み補正や色及び濃淡補正を行う工
程とを有する。また、前記歪み補正や色及び濃淡補正を
行う工程は、前記切り出された領域に、撮像面と撮影領
域とが平行でないことから生じる幾何歪みが存在する場
合に、幾何歪みを補正する工程と、光源の位置や光量な
どの影響で、均一な陰影及び明暗が得られていない場合
に、不均一な陰影及び明暗を補正する工程と、障害物等
によって隠された部分がある場合に、その部分を内挿外
挿により補正する工程の全部または一部を含む。また、
前記領域を切り出す工程は、平面または平面に近い一様
な領域が、複数の画像にわたって獲得されている場合
に、該複数画像を融合してひとつの大きな画像を生成す
る工程と、前記生成された大きな画像から、前記模様領
域を切り出す工程とを有する。
【０００７】又、本発明の三次元シーンの形状と表面模
様の再構成装置は、三次元シーンの形状と表面模様と
を、三次元的に再構成する再構成装置において、三次元
空間を複数視点から撮影して獲得される複数の単眼二次
元画像から成る複数画像の集まりを入力する入力手段
と、前記複数画像の集まりから、三次元形状を再構成す
る再構成手段と、前記複数画像の集まりの中の１枚また
は複数の画像から、一様な平面または平面に近い形状領
域の表面模様を生成する生成手段と、前記表面模様が、
該三次元形状のどの領域どの位置に対応するかを指定す
る指定手段と、前記表面模様を前記指定された三次元形
状の領域及び位置に対応して記憶する記憶手段とを備え
ることを特徴とする。
様の再構成装置は、三次元シーンの形状と表面模様と
を、三次元的に再構成する再構成装置において、三次元
空間を複数視点から撮影して獲得される複数の単眼二次
元画像から成る複数画像の集まりを入力する入力手段
と、前記複数画像の集まりから、三次元形状を再構成す
る再構成手段と、前記複数画像の集まりの中の１枚また
は複数の画像から、一様な平面または平面に近い形状領
域の表面模様を生成する生成手段と、前記表面模様が、
該三次元形状のどの領域どの位置に対応するかを指定す
る指定手段と、前記表面模様を前記指定された三次元形
状の領域及び位置に対応して記憶する記憶手段とを備え
ることを特徴とする。
【０００８】ここで、前記再構成手段は、各単眼画像に
おいて、三次元構造における稜線と、既知の構造情報か
ら得られる稜線の接続関係及び接続角度情報とを指定す
る第１の指定手段と、前記第１の指定手段で指定した接
続関係及び接続角度情報をもとに、各単眼画像の三次元
形状情報を復元する第１の復元手段と、複数の画像間に
おいて、既知の構造情報から稜線の接続関係を指定する
第２の指定手段と、前記第２の指定手段で指定された接
続関係をもとに、前記第１の復元手段による復元結果を
複数画像間で融合すると共に、復元不能であった部分の
形状に関して複数画像間の接続関係から復元する第２の
復元手段とを備える。また、前記再構成手段は、複数視
点から撮影された単眼画像群のうち、近い視点方向から
撮影された２つの画像を選ぶ選択手段と、各単眼画像に
おいて、三次元構造における稜線と、既知の構造情報か
ら得られる稜線の接続関係及び接続角度情報とを指定す
る第１の指定手段と、前記２つの画像間において同一稜
線を指定して、三角測量の原理により３次元的位置を算
出することにより三次元形状情報を復元する第３の復元
手段と、複数の画像間において、既知の構造情報から稜
線の接続関係を指定する第２の指定手段と、前記第２の
指定手段で指定された接続関係をもとに、前記第３の復
元手段による復元結果を複数画像間で融合すると共に、
復元不能であった部分の形状に関して複数画像間の接続
関係から復元する第４の復元手段とを備える。また、前
記生成手段は、一様な平面または平面に近い領域全域が
獲得されているような画像から、該領域を切り出す切出
手段と、前記切り出された領域の歪み補正や色及び濃淡
補正を行う補正手段とを備える。また、前記補正手段
は、切り出された領域の撮像場面と撮影領域とが平行で
ないことから幾何歪みが生じる場合には、幾何歪みを補
正し、光源の位置や光量などの影響で均一な陰影及び明
暗が得られていない場合には、不均一な陰影及び明暗を
補正し、障害物等によって隠された部分がある場合に
は、その部分を内挿外挿により補正する。また、前記切
出手段は、平面または平面に近い一様な領域が複数の画
像にわたって獲得されている場合に、前記複数画像を融
合して１つの大きな画像を生成する手段と、前記大きな
画像から前記模様領域を切り出す手段とを有する。
おいて、三次元構造における稜線と、既知の構造情報か
ら得られる稜線の接続関係及び接続角度情報とを指定す
る第１の指定手段と、前記第１の指定手段で指定した接
続関係及び接続角度情報をもとに、各単眼画像の三次元
形状情報を復元する第１の復元手段と、複数の画像間に
おいて、既知の構造情報から稜線の接続関係を指定する
第２の指定手段と、前記第２の指定手段で指定された接
続関係をもとに、前記第１の復元手段による復元結果を
複数画像間で融合すると共に、復元不能であった部分の
形状に関して複数画像間の接続関係から復元する第２の
復元手段とを備える。また、前記再構成手段は、複数視
点から撮影された単眼画像群のうち、近い視点方向から
撮影された２つの画像を選ぶ選択手段と、各単眼画像に
おいて、三次元構造における稜線と、既知の構造情報か
ら得られる稜線の接続関係及び接続角度情報とを指定す
る第１の指定手段と、前記２つの画像間において同一稜
線を指定して、三角測量の原理により３次元的位置を算
出することにより三次元形状情報を復元する第３の復元
手段と、複数の画像間において、既知の構造情報から稜
線の接続関係を指定する第２の指定手段と、前記第２の
指定手段で指定された接続関係をもとに、前記第３の復
元手段による復元結果を複数画像間で融合すると共に、
復元不能であった部分の形状に関して複数画像間の接続
関係から復元する第４の復元手段とを備える。また、前
記生成手段は、一様な平面または平面に近い領域全域が
獲得されているような画像から、該領域を切り出す切出
手段と、前記切り出された領域の歪み補正や色及び濃淡
補正を行う補正手段とを備える。また、前記補正手段
は、切り出された領域の撮像場面と撮影領域とが平行で
ないことから幾何歪みが生じる場合には、幾何歪みを補
正し、光源の位置や光量などの影響で均一な陰影及び明
暗が得られていない場合には、不均一な陰影及び明暗を
補正し、障害物等によって隠された部分がある場合に
は、その部分を内挿外挿により補正する。また、前記切
出手段は、平面または平面に近い一様な領域が複数の画
像にわたって獲得されている場合に、前記複数画像を融
合して１つの大きな画像を生成する手段と、前記大きな
画像から前記模様領域を切り出す手段とを有する。
【０００９】又、本発明の三次元シーンの形状と表面模
様の再構成方法は、三次元シーンの形状と表面模様とを
三次元的に再構成する再構成方法であって、三次元空間
を複数視点から撮影して得られた複数画像の集まりか
ら、三次元形状を再構成する工程と、該複数画像の集ま
りの中の１枚または複数の画像から、一様な平面または
平面に近い形状領域の表面模様を生成する工程と、該表
面模様が、前記三次元形状のどの領域のどの位置に対応
するかの指定に基づいて、前記表面模様を前記指定され
た三次元形状の領域及び位置に対応して記憶する工程
と、所望の視点が指示された場合に、再構成された前記
三次元形状と表面模様とに基づいて、前記所望の視点か
らの三次元形状と表面模様とを生成する工程とを備える
ことを特徴とする。
様の再構成方法は、三次元シーンの形状と表面模様とを
三次元的に再構成する再構成方法であって、三次元空間
を複数視点から撮影して得られた複数画像の集まりか
ら、三次元形状を再構成する工程と、該複数画像の集ま
りの中の１枚または複数の画像から、一様な平面または
平面に近い形状領域の表面模様を生成する工程と、該表
面模様が、前記三次元形状のどの領域のどの位置に対応
するかの指定に基づいて、前記表面模様を前記指定され
た三次元形状の領域及び位置に対応して記憶する工程
と、所望の視点が指示された場合に、再構成された前記
三次元形状と表面模様とに基づいて、前記所望の視点か
らの三次元形状と表面模様とを生成する工程とを備える
ことを特徴とする。
【００１０】
【発明の実施の形態】以下、添付図面に従って、本発明
の実施例を説明する。 ＜本実施例の装置の構成例＞図１は本実施例を実現する
装置の構成を示すブロック図である。１は、本装置を制
御する演算・制御用のＣＰＵ、２は、後述の制御プログ
ラム及び演算・制御に必要なデータを記憶するデータ記
憶部を有する、ＲＯＭあるはＲＡＭから成る記憶装置、
３は、オペレータから指令を入力するためのマウス等の
ポインティングデバイス、４は、データ及び指令を入力
するためにキーボード、５は、画像表示装置から成り本
実施例ではウインドウシステムにより制御されている。
６は、スキャナ等の画像呼び取り装置、あるいは媒体や
通信を介して画像データを入力する画像入力インタフェ
ース、７は、上記各構成要素を接続するバスである。
の実施例を説明する。 ＜本実施例の装置の構成例＞図１は本実施例を実現する
装置の構成を示すブロック図である。１は、本装置を制
御する演算・制御用のＣＰＵ、２は、後述の制御プログ
ラム及び演算・制御に必要なデータを記憶するデータ記
憶部を有する、ＲＯＭあるはＲＡＭから成る記憶装置、
３は、オペレータから指令を入力するためのマウス等の
ポインティングデバイス、４は、データ及び指令を入力
するためにキーボード、５は、画像表示装置から成り本
実施例ではウインドウシステムにより制御されている。
６は、スキャナ等の画像呼び取り装置、あるいは媒体や
通信を介して画像データを入力する画像入力インタフェ
ース、７は、上記各構成要素を接続するバスである。
【００１１】＜本実施例の装置の処理例＞図２に本実施
例の流れ図を示し、図２を用いて動作手順を詳細に説明
する。ステップＳ２０１にて、室内シーンなどの単眼二
次元画像を読み込む。この画像は、一般的なフィルム式
のスチルカメラにより室内などの三次元空間のシーンを
様々な方向から様々な場所の撮影を数回行い、フィルム
スキャナにより画像データ化したり、あるいは、ビデオ
カメラなどにより動画を撮影して、静止画としてテジタ
イズする、あるいは、電子スチルカメラを用いて直接的
に電子的に画像データをするなどの方法を用いる。
例の流れ図を示し、図２を用いて動作手順を詳細に説明
する。ステップＳ２０１にて、室内シーンなどの単眼二
次元画像を読み込む。この画像は、一般的なフィルム式
のスチルカメラにより室内などの三次元空間のシーンを
様々な方向から様々な場所の撮影を数回行い、フィルム
スキャナにより画像データ化したり、あるいは、ビデオ
カメラなどにより動画を撮影して、静止画としてテジタ
イズする、あるいは、電子スチルカメラを用いて直接的
に電子的に画像データをするなどの方法を用いる。
【００１２】これらの画像の集まりから、ステップＳ２
０２により、三次元空間のシーンの形状を再構成する。
また、ステップＳ２０３により、三次元シーンを例えば
壁一枚といった平面または平面に近い領域の集まりと考
え、それらの表面の模様をテクスチャー画像として獲得
する。そして、ステップＳ２０３で得られた各テクスチ
ャー画像が、ステップＳ２０２にて得られた三次元形状
のどの場所のどの位置にあたるかを、ステップＳ２０４
にて指定する。三次元形状とその表面の模様は形状に付
随した形で得られるので、ステップＳ２０５にて、表面
模様付き幾何形状データとして、再構成された三次元幾
何形状とそれと対応のとれたテクスチャー画像とを保存
する。以後、このデータを一般的な三次元幾何形状のテ
クスチャーマッピングの技術を用いることによって、模
様付きの三次元空間として再構成できる。
０２により、三次元空間のシーンの形状を再構成する。
また、ステップＳ２０３により、三次元シーンを例えば
壁一枚といった平面または平面に近い領域の集まりと考
え、それらの表面の模様をテクスチャー画像として獲得
する。そして、ステップＳ２０３で得られた各テクスチ
ャー画像が、ステップＳ２０２にて得られた三次元形状
のどの場所のどの位置にあたるかを、ステップＳ２０４
にて指定する。三次元形状とその表面の模様は形状に付
随した形で得られるので、ステップＳ２０５にて、表面
模様付き幾何形状データとして、再構成された三次元幾
何形状とそれと対応のとれたテクスチャー画像とを保存
する。以後、このデータを一般的な三次元幾何形状のテ
クスチャーマッピングの技術を用いることによって、模
様付きの三次元空間として再構成できる。
【００１３】これらのステップＳ２０２、ステップＳ２
０３、ステップＳ２０４の各ステップを、以下に更に詳
細に説明する。 （再構成手順Ｉ；Ｓ２０２）ステップＳ２０２の、三次
元空間のシーンの形状を再構成する処理手順について、
図３を用いて詳しく述べる。
０３、ステップＳ２０４の各ステップを、以下に更に詳
細に説明する。 （再構成手順Ｉ；Ｓ２０２）ステップＳ２０２の、三次
元空間のシーンの形状を再構成する処理手順について、
図３を用いて詳しく述べる。
【００１４】まず、ステップＳ３０１にて、ある１つの
画像を選択する。その画像において、例えば壁と壁の境
界のような、シーンの三次元形状の稜線に相当する画像
中でのエッジをマウスで指定する（ステップＳ３０
２）。このとき、（ａ）得られるエッジが画像中に両端
点を持つ場合は、線分として、（ｂ）一方の端点は画像
中にあり、他方が画像の外への解放端となっている場合
は、半直線として、（ｃ）両端点が共に画像中にない場
合は、直線として表現する。図４にその例を模式図で示
す。
画像を選択する。その画像において、例えば壁と壁の境
界のような、シーンの三次元形状の稜線に相当する画像
中でのエッジをマウスで指定する（ステップＳ３０
２）。このとき、（ａ）得られるエッジが画像中に両端
点を持つ場合は、線分として、（ｂ）一方の端点は画像
中にあり、他方が画像の外への解放端となっている場合
は、半直線として、（ｃ）両端点が共に画像中にない場
合は、直線として表現する。図４にその例を模式図で示
す。
【００１５】次に、ステップＳ３０３にて、ステップＳ
３０２で得られた線分／半直線／直線の接続関係と接続
角度情報とを入力する。例えば、図４の撮影画像例１の
場合、（１）線分Ａと半直線Ｂとは端点で接続しており
直交する、（２）線分Ａと線分Ｃとは端点で接続してお
り直交する、（３）半直線Ｂと線分Ｃとは端点で接続し
ており直交する、などといった情報を入力する。このス
テップＳ３０３を指定が可能な情報の入力が終了するま
で繰り返す（ステップＳ３０４）。
３０２で得られた線分／半直線／直線の接続関係と接続
角度情報とを入力する。例えば、図４の撮影画像例１の
場合、（１）線分Ａと半直線Ｂとは端点で接続しており
直交する、（２）線分Ａと線分Ｃとは端点で接続してお
り直交する、（３）半直線Ｂと線分Ｃとは端点で接続し
ており直交する、などといった情報を入力する。このス
テップＳ３０３を指定が可能な情報の入力が終了するま
で繰り返す（ステップＳ３０４）。
【００１６】次に、ステップＳ３０５にて、その画像か
ら消失点が２点計算できるかを調べる。ここで、２点の
消失点は、ステップＳ３０３にて指定した線分／半直線
／直線のうちに実空間で平行する２線があり、各々の平
行な線が作る面同士が直交する場合で、かつ、平行する
２線が画像面上で平行でない場合に計算できる。このス
テップＳ３０５が真の場合、ステップＳ３０６に進む。
ステップＳ３０６にて消失点の算出を行う。これは、画
面上の２直線の交点として求める。
ら消失点が２点計算できるかを調べる。ここで、２点の
消失点は、ステップＳ３０３にて指定した線分／半直線
／直線のうちに実空間で平行する２線があり、各々の平
行な線が作る面同士が直交する場合で、かつ、平行する
２線が画像面上で平行でない場合に計算できる。このス
テップＳ３０５が真の場合、ステップＳ３０６に進む。
ステップＳ３０６にて消失点の算出を行う。これは、画
面上の２直線の交点として求める。
【００１７】次に、ステップＳ３０７にて画像中の線分
／半直線／直線の方向ベクトルを求める。このステップ
Ｓ３０７の手法を以下に詳しく述べる。まず、画像を撮
影したカメラの焦点距離を求める。図５のように三次元
空間中の４直線Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 が、 Ｌ1 ‖Ｌ2 ，Ｌ3 ‖Ｌ4 Ｌ1 ⊥Ｌ2 ，Ｌ3 ⊥Ｌ4 （‖は平行、⊥は垂直を表す）であるとき、Ｌ1 とＬ2
との交点（消失点）をｖ 1 、Ｌ3 とＬ4 の交点（消失
点）をｖ2 とすると（ｖ1 ＝（ｖ11，ｖ12），ｖ2＝
（ｖ21，ｖ22）とする）、撮像面と焦点位置との距離、
すなわち焦点距離（画面距離）ｃは、 ｃ＝（ｖ1 ・ｖ2 ）1/2 …式（１） として求まる。
／半直線／直線の方向ベクトルを求める。このステップ
Ｓ３０７の手法を以下に詳しく述べる。まず、画像を撮
影したカメラの焦点距離を求める。図５のように三次元
空間中の４直線Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 が、 Ｌ1 ‖Ｌ2 ，Ｌ3 ‖Ｌ4 Ｌ1 ⊥Ｌ2 ，Ｌ3 ⊥Ｌ4 （‖は平行、⊥は垂直を表す）であるとき、Ｌ1 とＬ2
との交点（消失点）をｖ 1 、Ｌ3 とＬ4 の交点（消失
点）をｖ2 とすると（ｖ1 ＝（ｖ11，ｖ12），ｖ2＝
（ｖ21，ｖ22）とする）、撮像面と焦点位置との距離、
すなわち焦点距離（画面距離）ｃは、 ｃ＝（ｖ1 ・ｖ2 ）1/2 …式（１） として求まる。
【００１８】さらに、Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 の方向ベ
クトルをＤ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 とすると、
クトルをＤ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 とすると、
【００１９】
【数１】 として方向ベクトルが求まる。これらの方向ベクトルを
もとに、線分／半直線／直線の関係を利用して、他の線
分／半直線／直線の方向ベクトルも計算する。
もとに、線分／半直線／直線の関係を利用して、他の線
分／半直線／直線の方向ベクトルも計算する。
【００２０】ステップＳ３０５が偽の場合には、ステッ
プＳ３０６とＳ３０７は飛ばされ、次のステップＳ３０
８に進む。これらステップＳ３０１〜Ｓ３０７の処理を
各画像で行い、すべての画像にて処理が行われるまで繰
り返す（ステップＳ３０８）。以上ステップＳ３０１〜
Ｓ３０８により、各画像１枚のみから求められる形状が
それぞれ復元される。さらに、ステップＳ３０９にて、
撮影時のカメラの位置向きが近く、隣接した関係にある
画像を選ぶ。そして、ステップＳ３１０で、画像間にお
ける線分／半直線／直線の接続関係、同一性を指定す
る。
プＳ３０６とＳ３０７は飛ばされ、次のステップＳ３０
８に進む。これらステップＳ３０１〜Ｓ３０７の処理を
各画像で行い、すべての画像にて処理が行われるまで繰
り返す（ステップＳ３０８）。以上ステップＳ３０１〜
Ｓ３０８により、各画像１枚のみから求められる形状が
それぞれ復元される。さらに、ステップＳ３０９にて、
撮影時のカメラの位置向きが近く、隣接した関係にある
画像を選ぶ。そして、ステップＳ３１０で、画像間にお
ける線分／半直線／直線の接続関係、同一性を指定す
る。
【００２１】この処理を全ての指定が終わるまで繰り返
す（ステップＳ３１１）。さらにすべての隣接画像間で
の指定が終わるまで繰り返す（ステップＳ３１２）。そ
して、ステップＳ３１３により、ステップＳ３０１〜Ｓ
３０８で求められた形状を基に、ステップＳ３０９から
Ｓ３１２の処理によって新たに付加された形状情報から
シーン全体の形状を求める。
す（ステップＳ３１１）。さらにすべての隣接画像間で
の指定が終わるまで繰り返す（ステップＳ３１２）。そ
して、ステップＳ３１３により、ステップＳ３０１〜Ｓ
３０８で求められた形状を基に、ステップＳ３０９から
Ｓ３１２の処理によって新たに付加された形状情報から
シーン全体の形状を求める。
【００２２】（模様の獲得手順；Ｓ２０３）次に、ステ
ップＳ２０３の三次元シーンの表面の模様を模様画像と
して獲得する工程に関して図６に流れ図を示し、これを
用いて更に詳しく説明する。まず、ステップＳ６０１に
て、壁一枚などの獲得したいテクスチャーを選定する。
ステップＳ６０２で、そのテクスチャーを含む画像を全
画像の中から選ぶ。次に、ステップＳ６０３にて、獲得
したいテクスチャーが１枚の画像に収まっているか否か
をチェックする。ステップＳ６０３が真ならばステップ
Ｓ６０５へ、偽ならばステップＳ６０４に進む。
ップＳ２０３の三次元シーンの表面の模様を模様画像と
して獲得する工程に関して図６に流れ図を示し、これを
用いて更に詳しく説明する。まず、ステップＳ６０１に
て、壁一枚などの獲得したいテクスチャーを選定する。
ステップＳ６０２で、そのテクスチャーを含む画像を全
画像の中から選ぶ。次に、ステップＳ６０３にて、獲得
したいテクスチャーが１枚の画像に収まっているか否か
をチェックする。ステップＳ６０３が真ならばステップ
Ｓ６０５へ、偽ならばステップＳ６０４に進む。
【００２３】ステップＳ６０３が偽の場合、獲得したい
テクスチャーは複数画像にまたがって存在している。そ
のため、ステップＳ６０４により、該テクスチャーを含
む複数の画像をつなぎ合せて、ひとつの大きな画像に融
合する。 （複数画像の合成手順；Ｓ６０４）このステップＳ６０
４の処理を図７を用いて詳しく説明する。
テクスチャーは複数画像にまたがって存在している。そ
のため、ステップＳ６０４により、該テクスチャーを含
む複数の画像をつなぎ合せて、ひとつの大きな画像に融
合する。 （複数画像の合成手順；Ｓ６０４）このステップＳ６０
４の処理を図７を用いて詳しく説明する。
【００２４】まず、該テクスチャーが含まれる画像群を
視点の移動順に並べて通し番号を付け、全枚数をＮ枚と
し１〜Ｎ番までの画像とする（ステップＳ７０１）。さ
らに、各画像をＩmi（i=1,2,…N ）と表す。次に、それ
らの画像の中のある１つの画像ＩmKをステップＳ７０２
にて基準画像として指定する。このステップＳ７０２の
指定方法は、先頭の画像、最後の画像、真ん中の画像、
任意の画像を操作者が指定する、など、どのような方法
でもよい。
視点の移動順に並べて通し番号を付け、全枚数をＮ枚と
し１〜Ｎ番までの画像とする（ステップＳ７０１）。さ
らに、各画像をＩmi（i=1,2,…N ）と表す。次に、それ
らの画像の中のある１つの画像ＩmKをステップＳ７０２
にて基準画像として指定する。このステップＳ７０２の
指定方法は、先頭の画像、最後の画像、真ん中の画像、
任意の画像を操作者が指定する、など、どのような方法
でもよい。
【００２５】該画像群は、視点の移動順に並んでいるた
め、画像群のうち隣接した画像間ＩmiとＩmi+1（i ＝1,
2,…N-1 ）の相関は高い。そこで、ステップＳ７０３に
て、すべての隣接画像間にて、この画像間で同一点が移
されている点を対応点としてマウスなどの位置指定装置
により指定する。この模式図を図８に示す。次に、ステ
ップＳ７０３にて指定された対応点を用いて、隣接画像
間で対応点が一致するように一方の画像が他方の画像に
座標変換されるアフィン変換の変換行列をステップＳ７
０４にて求める。ここで、アフィン変換とは、（ｘ，
ｙ）を（ｘ’，ｙ’）へと次式 ｘ’＝ｂ1 ｘ＋ｂ2 ｙ＋ｂ3 ， ｙ’＝ｂ4 ｘ＋ｂ5 ｙ
＋ｂ6 のように変換する座標変換である。そして、
め、画像群のうち隣接した画像間ＩmiとＩmi+1（i ＝1,
2,…N-1 ）の相関は高い。そこで、ステップＳ７０３に
て、すべての隣接画像間にて、この画像間で同一点が移
されている点を対応点としてマウスなどの位置指定装置
により指定する。この模式図を図８に示す。次に、ステ
ップＳ７０３にて指定された対応点を用いて、隣接画像
間で対応点が一致するように一方の画像が他方の画像に
座標変換されるアフィン変換の変換行列をステップＳ７
０４にて求める。ここで、アフィン変換とは、（ｘ，
ｙ）を（ｘ’，ｙ’）へと次式 ｘ’＝ｂ1 ｘ＋ｂ2 ｙ＋ｂ3 ， ｙ’＝ｂ4 ｘ＋ｂ5 ｙ
＋ｂ6 のように変換する座標変換である。そして、
【００２６】
【数２】 と行列演算により表現でき、Ｂをアフィン変換の変換行
列と呼ぶ。このとき、基準画像ＩmKよりも画像列で前に
ある画像Ｉmiの場合、すなわち、ｉ＜Ｋのときは、Ｉmi
からＩmi+1に変換するアフィン変換行列Ｍi を求める。
また、基準画像ＩmKよりも画像列で後ろにある画像Ｉmi
の場合、すなわち、ｉ＞Ｋの時は、ＩmiからＩmi-1に変
換するアフィン変換行列Ｍi を求める。次に、ステップ
Ｓ７０５に示すように、各画像Ｉmiから基準画像ＩmKへ
のアフィン変換行列Ｍi を用いて、ｉ＜ＫのときＴi ＝
ＭK-1 ・…・Ｍi+1 ・Ｍi を、ｉ＞ＫのときＴi ＝Ｍ
K+1 ・…Ｍi-1 ・Ｍi を求める。以上により、静止画像
列の各画像から基準画像へのアフィン変換行列が求まっ
たことになる。
列と呼ぶ。このとき、基準画像ＩmKよりも画像列で前に
ある画像Ｉmiの場合、すなわち、ｉ＜Ｋのときは、Ｉmi
からＩmi+1に変換するアフィン変換行列Ｍi を求める。
また、基準画像ＩmKよりも画像列で後ろにある画像Ｉmi
の場合、すなわち、ｉ＞Ｋの時は、ＩmiからＩmi-1に変
換するアフィン変換行列Ｍi を求める。次に、ステップ
Ｓ７０５に示すように、各画像Ｉmiから基準画像ＩmKへ
のアフィン変換行列Ｍi を用いて、ｉ＜ＫのときＴi ＝
ＭK-1 ・…・Ｍi+1 ・Ｍi を、ｉ＞ＫのときＴi ＝Ｍ
K+1 ・…Ｍi-1 ・Ｍi を求める。以上により、静止画像
列の各画像から基準画像へのアフィン変換行列が求まっ
たことになる。
【００２７】次に、２次元空間Ｒ2 であるＡをステップ
Ｓ７０６にて用意しておく。ステップＳ７０７にて静止
画像列Ｉmi（i=1,2,…N ）の画像中心点を求めＣi とす
る。Ｃi をアフィン変換Ｔi により変換し、Ｃ'i＝Ｔi
・Ｃi として、Ｃ'iを求める。このＣ'iをＡ中に置く
（ステップＳ７０８）。すなわち、データ記憶部の２次
元位置情報収納領域に点位置情報を格納していく。
Ｓ７０６にて用意しておく。ステップＳ７０７にて静止
画像列Ｉmi（i=1,2,…N ）の画像中心点を求めＣi とす
る。Ｃi をアフィン変換Ｔi により変換し、Ｃ'i＝Ｔi
・Ｃi として、Ｃ'iを求める。このＣ'iをＡ中に置く
（ステップＳ７０８）。すなわち、データ記憶部の２次
元位置情報収納領域に点位置情報を格納していく。
【００２８】次に、ステップＳ７０９にて、図９に示す
ように Ｃ'iを母点として空間ＡをVoroni分割する。こ
の処理は、該２次元位置情報収納領域中にVoronoi 分割
の領域の境界線を線分式として格納し、各Voronoi 領域
を線分の集合として記憶しておく。そして、このＣ'iを
母点とする各Voronoi 領域をＶi とする（ステップＳ７
１０）。そして、ステップＳ７１１により各画像Ｉmiを
アフィン変換し、Ｉm' i ＝Ｔi ・ＩmiとしてＩm'i を求
める。すなわち、Ｉmiを保存してある記憶装置２の記憶
領域上で、各画素に対しアフィン変換した画素位置の座
標値を記憶領域に保存しておくことにより、座標変換後
のデータを保持しておく。これにより、必要によりＶi
∩Ｉm'i となる２次元空間にＩm'i の値をはめ込むこと
が可能となる。
ように Ｃ'iを母点として空間ＡをVoroni分割する。こ
の処理は、該２次元位置情報収納領域中にVoronoi 分割
の領域の境界線を線分式として格納し、各Voronoi 領域
を線分の集合として記憶しておく。そして、このＣ'iを
母点とする各Voronoi 領域をＶi とする（ステップＳ７
１０）。そして、ステップＳ７１１により各画像Ｉmiを
アフィン変換し、Ｉm' i ＝Ｔi ・ＩmiとしてＩm'i を求
める。すなわち、Ｉmiを保存してある記憶装置２の記憶
領域上で、各画素に対しアフィン変換した画素位置の座
標値を記憶領域に保存しておくことにより、座標変換後
のデータを保持しておく。これにより、必要によりＶi
∩Ｉm'i となる２次元空間にＩm'i の値をはめ込むこと
が可能となる。
【００２９】さらに、ステップＳ７１２にて、空間Ａの
一部に対応した必要とする適当な大きさの画像Ｇを用意
する（記憶装置２に記憶領域を用意する）。Ｇは初期状
態では、画素に値を持たない状態である。そして、ステ
ップＳ７１３にてＧ上のＶi∩Ｉm'i となる画像領域に
Ｉm'i の値を代入することにより、Ｇを生成する。ステ
ップＳ７１１，Ｓ７１２の模式図を図１０に示す。
一部に対応した必要とする適当な大きさの画像Ｇを用意
する（記憶装置２に記憶領域を用意する）。Ｇは初期状
態では、画素に値を持たない状態である。そして、ステ
ップＳ７１３にてＧ上のＶi∩Ｉm'i となる画像領域に
Ｉm'i の値を代入することにより、Ｇを生成する。ステ
ップＳ７１１，Ｓ７１２の模式図を図１０に示す。
【００３０】以上により該テクスチャーを含む画像群か
ら、該テクスチャーを内部に包含するひとつの大きな画
像を生成することができる。次に、ステップＳ６０５に
より、該テクスチャーを内部に包含する該大きな画像か
らテクスチャー領域を切り出す。これは、マウスなどの
ポインティングデバイスを用いて操作者の指示により行
う。次に、ステップＳ６０５にて得られた該テクスチャ
ーの面は、３次元的空間中で一般に撮像面に対して平行
でないため、画像中では幾何歪みが生じている。これを
補正するため、ステップＳ６０６にて該テクスチャーの
幾何変換を施す。図１１にその例の概念図を示す。
ら、該テクスチャーを内部に包含するひとつの大きな画
像を生成することができる。次に、ステップＳ６０５に
より、該テクスチャーを内部に包含する該大きな画像か
らテクスチャー領域を切り出す。これは、マウスなどの
ポインティングデバイスを用いて操作者の指示により行
う。次に、ステップＳ６０５にて得られた該テクスチャ
ーの面は、３次元的空間中で一般に撮像面に対して平行
でないため、画像中では幾何歪みが生じている。これを
補正するため、ステップＳ６０６にて該テクスチャーの
幾何変換を施す。図１１にその例の概念図を示す。
【００３１】尚、上記実施例では幾何歪みの補正のつい
てのみ示したが、光源の位置や光量などの影響で均一な
陰影及び明暗が得られていない場合には、不均一な陰影
及び明暗を補正し、障害物等によって隠された部分があ
る場合には、その部分を内挿外挿により補正するように
しても良い。 ＜他の実施例＞実施例１と同様に、全体の流れは図２に
従い、ステップＳ２０１〜Ｓ２０５という流れである。
このうち、ステップＳ２０２の処理を以下のように行
う。このステップＳ２０２の処理を図１２を用いて詳細
に説明する。
てのみ示したが、光源の位置や光量などの影響で均一な
陰影及び明暗が得られていない場合には、不均一な陰影
及び明暗を補正し、障害物等によって隠された部分があ
る場合には、その部分を内挿外挿により補正するように
しても良い。 ＜他の実施例＞実施例１と同様に、全体の流れは図２に
従い、ステップＳ２０１〜Ｓ２０５という流れである。
このうち、ステップＳ２０２の処理を以下のように行
う。このステップＳ２０２の処理を図１２を用いて詳細
に説明する。
【００３２】（再構成手順II；Ｓ２０２）まず、ステッ
プＳ１２０１にて、視点の隣接する２枚の画像を選択す
る。この２枚の画像において、例えば壁と壁の境界のよ
うな、シーンの三次元形状の稜線に相当する画像中での
エッジのうち、その両画像に共通に表れるエッジとその
端点をマウスで指定する（ステップＳ１２０２）。この
とき、（ａ）得られるエッジが画像中に両端点を持つ場
合、線分として、（ｂ）一方の端点は画像中にあり、他
方が画像の外への解放端となっている場合、半直線とし
て、（ｃ）両端点が共に画像中にない場合、直線として
表現する。図４にその例を模式図で示す。また、指定し
た端点は両画像の対応点となる。次に、ステップＳ１２
０３にて、ステップＳ１２０２で得られた線分／半直線
／直線の接続関係、接続角度情報を入力する。たとえ
ば、図４の撮影画像例１の場合、（１）線分Ａと半直線
Ｂは端点で接続しており直交する、（２）線分Ａと線分
Ｃは端点で接続しており直交する、（３）半直線Ｂと線
分Ｃは端点で接続しており直交する、などといった情報
を入力する。このステップＳ１２０３を指定が可能な情
報の入力が終了するまで繰り返す（ステップＳ１２０
４）。
プＳ１２０１にて、視点の隣接する２枚の画像を選択す
る。この２枚の画像において、例えば壁と壁の境界のよ
うな、シーンの三次元形状の稜線に相当する画像中での
エッジのうち、その両画像に共通に表れるエッジとその
端点をマウスで指定する（ステップＳ１２０２）。この
とき、（ａ）得られるエッジが画像中に両端点を持つ場
合、線分として、（ｂ）一方の端点は画像中にあり、他
方が画像の外への解放端となっている場合、半直線とし
て、（ｃ）両端点が共に画像中にない場合、直線として
表現する。図４にその例を模式図で示す。また、指定し
た端点は両画像の対応点となる。次に、ステップＳ１２
０３にて、ステップＳ１２０２で得られた線分／半直線
／直線の接続関係、接続角度情報を入力する。たとえ
ば、図４の撮影画像例１の場合、（１）線分Ａと半直線
Ｂは端点で接続しており直交する、（２）線分Ａと線分
Ｃは端点で接続しており直交する、（３）半直線Ｂと線
分Ｃは端点で接続しており直交する、などといった情報
を入力する。このステップＳ１２０３を指定が可能な情
報の入力が終了するまで繰り返す（ステップＳ１２０
４）。
【００３３】次に、ステップＳ１２０５にて、両画像の
対応点の三次元位置を三角測量の原理で求める。これら
ステップＳ１２０１〜Ｓ１２０５の処理を、すべての隣
接画像に対して行い、すべての画像にて処理が行われる
まで繰り返す（ステップＳ１２０６）。さらに、ステッ
プＳ１２０７にて、視点の隣接した関係にある画像を選
ぶ。そして、ステップＳ１２０８にて、画像間にて直線
・半直線・直線の接続関係、同一性を指定する。この処
理をすべての指定が終わるまで繰り返す（ステップＳ１
２０９）。さらに、すべての隣接画像間で終わるまで繰
り返す（ステップＳ１２１０）。そして、ステップＳ１
２１１により、ステップＳ１２０５で求められたエッジ
の端点の位置をもとに、ステップＳ１２０３とステップ
Ｓ１２０８の処理によって得られる形状情報からシーン
全体の形状を求める。
対応点の三次元位置を三角測量の原理で求める。これら
ステップＳ１２０１〜Ｓ１２０５の処理を、すべての隣
接画像に対して行い、すべての画像にて処理が行われる
まで繰り返す（ステップＳ１２０６）。さらに、ステッ
プＳ１２０７にて、視点の隣接した関係にある画像を選
ぶ。そして、ステップＳ１２０８にて、画像間にて直線
・半直線・直線の接続関係、同一性を指定する。この処
理をすべての指定が終わるまで繰り返す（ステップＳ１
２０９）。さらに、すべての隣接画像間で終わるまで繰
り返す（ステップＳ１２１０）。そして、ステップＳ１
２１１により、ステップＳ１２０５で求められたエッジ
の端点の位置をもとに、ステップＳ１２０３とステップ
Ｓ１２０８の処理によって得られる形状情報からシーン
全体の形状を求める。
【００３４】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。この場合、本発明に係るプ
ログラムを格納した記憶媒体が本発明を構成することに
なる。そして、該記憶媒体からそのプログラムをシステ
ム或は装置に読み出すことによって、そのシステム或は
装置が、予め定められた仕方で動作する。
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。この場合、本発明に係るプ
ログラムを格納した記憶媒体が本発明を構成することに
なる。そして、該記憶媒体からそのプログラムをシステ
ム或は装置に読み出すことによって、そのシステム或は
装置が、予め定められた仕方で動作する。
【００３５】
【発明の効果】本発明により、実際の建物の壁の高さや
幅を巻き尺等で計測せずに、建物の写真などから簡便に
幾何形状モデルを作成する三次元シーンの形状と表面模
様の再構成方法およびその装置を提供できる。すなわ
ち、設計図などの数値データがない場合や、ＣＡＤで作
成した形状モデルデータがない場合に、実際の建物の壁
の高さや幅を巻き尺等で長さを計測するなどの手間のか
かる作業を行うことなく、建物の写真などから簡便に幾
何形状モデルを作成する手法がないという問題を解決す
ることが可能となる。
幅を巻き尺等で計測せずに、建物の写真などから簡便に
幾何形状モデルを作成する三次元シーンの形状と表面模
様の再構成方法およびその装置を提供できる。すなわ
ち、設計図などの数値データがない場合や、ＣＡＤで作
成した形状モデルデータがない場合に、実際の建物の壁
の高さや幅を巻き尺等で長さを計測するなどの手間のか
かる作業を行うことなく、建物の写真などから簡便に幾
何形状モデルを作成する手法がないという問題を解決す
ることが可能となる。
【図１】本実施例の画像処理装置の構成を示すブロック
図である。
図である。
【図２】本実施例の全体の処理の流れを示すフローチャ
ートである。
ートである。
【図３】実施例１のステップＳ２０２の処理の流れを示
すフローチャートである。
すフローチャートである。
【図４】撮影画像の中に現れる直線／半直線／線分の模
式図である。
式図である。
【図５】消失点の算出式の説明のための補助図である。
【図６】図２のステップＳ２０３の処理の流れを示すフ
ローチャートである。
ローチャートである。
【図７】図６のステップＳ６０４の処理の流れを示すフ
ローチャートである。
ローチャートである。
【図８】画像間の対応点指定の模式図である。
【図９】空間ＡをVoronoi 分割する模式図である。
【図１０】画像Ｇの生成の模式図である。
【図１１】テクスチャーの幾何変換の例の模式図であ
る。
る。
【図１２】実施例２のステップＳ２０２の処理の流れを
示すフローチャートである。
示すフローチャートである。
１ ＣＰＵ ２ 処理プログラムや画像データを保存するための記憶
装置 ３ マウス ４ キーボード ５ ウインドウシステム ６ 画像入力のためのインターフェース ７ バス
装置 ３ マウス ４ キーボード ５ ウインドウシステム ６ 画像入力のためのインターフェース ７ バス
Claims (13)
- 【請求項１】 三次元シーンの形状と表面模様とを三次
元的に再構成する再構成方法であって、 三次元空間を複数視点から撮影して得られた複数画像の
集まりから、三次元形状を再構成する工程と、 該複数画像の集まりの中の１枚または複数の画像から、
一様な平面または平面に近い形状領域の表面模様を生成
する工程と、 該表面模様が、前記三次元形状のどの領域のどの位置に
対応するかを指定する工程と、 前記表面模様を前記指定された三次元形状の領域及び位
置に対応して記憶する工程とを備えることを特徴とする
三次元シーンの形状と表面模様の再構成方法。 - 【請求項２】 前記三次元形状を再構成する工程は、 各画像から、三次元構造における稜線を抽出または指定
する工程と、 各画像において、該稜線のそれぞれに関して、既知の構
造情報から得られた稜線の接続関係と接続角度情報とを
指定する工程と、 前工程で指定した接続関係と接続角度情報とに基づい
て、三次元形状情報を復元する工程と、 複数の画像間において、既知の構造情報から前記稜線の
接続関係を指定する工程と、 前工程で指定した接続関係に基づいて、前記復元結果を
複数画像間で融合すると共に、復元不能であった部分の
形状に関して複数画像間の接続関係から復元する工程と
を備えることを特徴とする請求項１記載の三次元シーン
の形状と表面模様の再構成方法。 - 【請求項３】 前記三次元形状を再構成する工程は、 複数視点から撮影された画像群のうちから、近い視点方
向から撮影された２つの画像を選ぶ工程と、 各画像から、三次元構造における稜線を抽出または指定
する工程と、 各画像において、該稜線のそれぞれに関して、既知の構
造情報から得られた稜線の接続関係と接続角度情報とを
指定する工程と、 前記２つの画像間において同一稜線を指定し、三角測量
の原理により３次元位置を算出して三次元形状情報を復
元する工程と、 複数の画像間において、既知の構造情報から前記稜線の
接続関係を指定する工程と、 前工程で指定した接続関係に基づいて、前記復元結果を
複数画像間で融合すると共に、復元不能であった部分の
形状に関して複数画像間の接続関係から復元する工程と
を備えることを特徴とする請求項１記載の三次元シーン
の形状と表面模様の再構成方法。 - 【請求項４】 前記表面模様を生成する工程は、一様な
平面または平面に近い領域全域が獲得されている画像か
ら、該領域を切り出す工程と、前記切り出された領域内
の表面模様に歪み補正や色及び濃淡補正を行う工程とを
有することを特徴とする請求項１記載の三次元シーンの
形状と表面模様の再構成方法。 - 【請求項５】 前記歪み補正や色及び濃淡補正を行う工
程は、 前記切り出された領域に、撮像面と撮影領域とが平行で
ないことから生じる幾何歪みが存在する場合に、幾何歪
みを補正する工程と、 光源の位置や光量などの影響で、均一な陰影及び明暗が
得られていない場合に、不均一な陰影及び明暗を補正す
る工程と、 障害物等によって隠された部分がある場合に、その部分
を内挿外挿により補正する工程の全部または一部を含む
ことを特徴とする請求項３記載の三次元シーンの形状と
表面模様の再構成方法。 - 【請求項６】 前記領域を切り出す工程は、 平面または平面に近い一様な領域が、複数の画像にわた
って獲得されている場合に、 該複数画像を融合してひとつの大きな画像を生成する工
程と、 前記生成された大きな画像から、前記模様領域を切り出
す工程とを有することを特徴とする請求項４記載の三次
元シーンの形状と表面模様の再構成方法。 - 【請求項７】 三次元シーンの形状と表面模様とを、三
次元的に再構成する再構成装置において、 三次元空間を複数視点から撮影して獲得される複数の単
眼二次元画像から成る複数画像の集まりを入力する入力
手段と、 前記複数画像の集まりから、三次元形状を再構成する再
構成手段と、 前記複数画像の集まりの中の１枚または複数の画像か
ら、一様な平面または平面に近い形状領域の表面模様を
生成する生成手段と、 前記表面模様が、該三次元形状のどの領域どの位置に対
応するかを指定する指定手段と、 前記表面模様を前記指定された三次元形状の領域及び位
置に対応して記憶する記憶手段とを備えることを特徴と
する三次元シーンの形状と表面模様の再構成装置。 - 【請求項８】 前記再構成手段は、 各単眼画像において、三次元構造における稜線と、既知
の構造情報から得られる稜線の接続関係及び接続角度情
報とを指定する第１の指定手段と、 前記第１の指定手段で指定した接続関係及び接続角度情
報をもとに、各単眼画像の三次元形状情報を復元する第
１の復元手段と、 複数の画像間において、既知の構造情報から稜線の接続
関係を指定する第２の指定手段と、 前記第２の指定手段で指定された接続関係をもとに、前
記第１の復元手段による復元結果を複数画像間で融合す
ると共に、復元不能であった部分の形状に関して複数画
像間の接続関係から復元する第２の復元手段とを備える
ことを特徴とする請求項７記載の三次元シーンの形状と
表面模様の再構成装置。 - 【請求項９】 前記再構成手段は、 複数視点から撮影された単眼画像群のうち、近い視点方
向から撮影された２つの画像を選ぶ選択手段と、 各単眼画像において、三次元構造における稜線と、既知
の構造情報から得られる稜線の接続関係及び接続角度情
報とを指定する第１の指定手段と、 前記２つの画像間において同一稜線を指定して、三角測
量の原理により３次元的位置を算出することにより三次
元形状情報を復元する第３の復元手段と、 複数の画像間において、既知の構造情報から稜線の接続
関係を指定する第２の指定手段と、 前記第２の指定手段で指定された接続関係をもとに、前
記第３の復元手段による復元結果を複数画像間で融合す
ると共に、復元不能であった部分の形状に関して複数画
像間の接続関係から復元する第４の復元手段とを備える
ことを特徴とする請求項７記載の三次元シーンの形状と
表面模様の再構成装置。 - 【請求項１０】 前記生成手段は、一様な平面または平
面に近い領域全域が獲得されているような画像から、該
領域を切り出す切出手段と、前記切り出された領域の歪
み補正や色及び濃淡補正を行う補正手段とを備えること
を特徴とする請求項７記載の三次元シーンの形状と表面
模様の再構成装置。 - 【請求項１１】 前記補正手段は、切り出された領域の
撮像場面と撮影領域とが平行でないことから幾何歪みが
生じる場合には、幾何歪みを補正し、光源の位置や光量
などの影響で均一な陰影及び明暗が得られていない場合
には、不均一な陰影及び明暗を補正し、障害物等によっ
て隠された部分がある場合には、その部分を内挿外挿に
より補正することを特徴とする請求項１０記載の三次元
シーンの形状と表面模様の再構成装置。 - 【請求項１２】 前記切出手段は、 平面または平面に近い一様な領域が複数の画像にわたっ
て獲得されている場合に、前記複数画像を融合して１つ
の大きな画像を生成する手段と、 前記大きな画像から前記模様領域を切り出す手段とを有
することを特徴とする請求項１０記載の三次元シーンの
形状と表面模様の再構成装置。 - 【請求項１３】 三次元シーンの形状と表面模様とを三
次元的に再構成する再構成方法であって、 三次元空間を複数視点から撮影して得られた複数画像の
集まりから、三次元形状を再構成する工程と、 該複数画像の集まりの中の１枚または複数の画像から、
一様な平面または平面に近い形状領域の表面模様を生成
する工程と、 該表面模様が、前記三次元形状のどの領域のどの位置に
対応するかの指定に基づいて、前記表面模様を前記指定
された三次元形状の領域及び位置に対応して記憶する工
程と、 所望の視点が指示された場合に、再構成された前記三次
元形状と表面模様とに基づいて、前記所望の視点からの
三次元形状と表面模様とを生成する工程とを備えること
を特徴とする三次元シーンの形状と表面模様の再構成方
法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22518295A JP3703178B2 (ja) | 1995-09-01 | 1995-09-01 | 三次元シーンの形状と表面模様の再構成方法およびその装置 |
| EP96300782A EP0726543B1 (en) | 1995-02-07 | 1996-02-06 | Image processing method and apparatus therefor |
| DE69629860T DE69629860T2 (de) | 1995-02-07 | 1996-02-06 | Verfahren und Einrichtung zur Bildverarbeitung |
| US08/597,699 US5727093A (en) | 1995-02-07 | 1996-02-06 | Image processing method and apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22518295A JP3703178B2 (ja) | 1995-09-01 | 1995-09-01 | 三次元シーンの形状と表面模様の再構成方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0969170A true JPH0969170A (ja) | 1997-03-11 |
| JP3703178B2 JP3703178B2 (ja) | 2005-10-05 |
Family
ID=16825253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22518295A Expired - Fee Related JP3703178B2 (ja) | 1995-02-07 | 1995-09-01 | 三次元シーンの形状と表面模様の再構成方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3703178B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6396491B2 (en) | 1998-08-20 | 2002-05-28 | Fujitsu Limited | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene |
| CN110176053A (zh) * | 2019-05-24 | 2019-08-27 | 武汉大势智慧科技有限公司 | 一种大规模实景三维整体匀色方法 |
-
1995
- 1995-09-01 JP JP22518295A patent/JP3703178B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6396491B2 (en) | 1998-08-20 | 2002-05-28 | Fujitsu Limited | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene |
| CN110176053A (zh) * | 2019-05-24 | 2019-08-27 | 武汉大势智慧科技有限公司 | 一种大规模实景三维整体匀色方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3703178B2 (ja) | 2005-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0726543B1 (en) | Image processing method and apparatus therefor | |
| KR101754599B1 (ko) | 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법 | |
| JP5093053B2 (ja) | 電子カメラ | |
| JP3148045B2 (ja) | 三次元物体ｃｇ作成装置 | |
| Sequeira et al. | Automated reconstruction of 3D models from real environments | |
| JP3954211B2 (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| JP3634677B2 (ja) | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 | |
| KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
| JP2008186456A (ja) | ２ｄイメージシーケンスからの３ｄシーン再構成方法 | |
| JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| JP2000011172A (ja) | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 | |
| KR101875047B1 (ko) | 사진측량을 이용한 3d 모델링 시스템 및 방법 | |
| JPH05303629A (ja) | 形状合成方法 | |
| JP2006098256A (ja) | ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体 | |
| KR100837776B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 | |
| JP3614709B2 (ja) | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 | |
| CN110148206B (zh) | 多空间的融合方法 | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JPH0814860A (ja) | モデル作成装置 | |
| JP2832463B2 (ja) | ３次元モデルの再構成方法および表示方法 | |
| US7064767B2 (en) | Image solution processing method, processing apparatus, and program | |
| JPH10208074A (ja) | 画像生成方法 | |
| JP3703178B2 (ja) | 三次元シーンの形状と表面模様の再構成方法およびその装置 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050719 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080729 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110729 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130729 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |