JP6198223B2

JP6198223B2 - 三次元モデル作成システム

Info

Publication number: JP6198223B2
Application number: JP2013224267A
Authority: JP
Inventors: 忠宏河田; 美佐糸数; 江口　正修; 正修江口; 春樹四ヶ所; 宮田　久美; 久美宮田
Original assignee: 山九株式会社
Priority date: 2013-10-29
Filing date: 2013-10-29
Publication date: 2017-09-20
Anticipated expiration: 2033-10-29
Also published as: JP2015087846A

Description

本発明は、任意の視点から見た対象物の二次元画像から、対象物の三次元形状（対象物の表面上の任意に設定した部位（特徴点）の三次元座標）を求める三次元モデル作成システムに関する。

対象物の二次元画像（写真又は図面）から三次元（立体）形状を求める技術は、従来から種々提案されている。例えば、二次元画像として写真を使用する場合、異なる場所（撮影位置）でそれぞれ撮影した写真に共通して写っている部位に基準点を設定し、基準点の写真上における二次元座標から撮影位置を算出し、三角測量の原理に基づいて撮影位置に対する基準点の三次元座標を算出することにより、対象物の三次元形状を求めている（例えば、特許文献１参照）。一方、二次元画像として、例えば、三次元空間内に存在する対象物を、三次元空間を記述する直交座標系の各座標軸方向からそれぞれ見た図面（正面図と背面図の少なくとも一方、両側面図の少なくとも一方、及び平面図と底面図の少なくとも一方からなる少なくとも３枚の図面）を使用する場合、少なくとも２つの図面において共通する点の位置が指示されたときに、その少なくとも２つの点の情報に基いて、その点の三次元座標系上の位置を算出することにより、対象物の三次元形状を求めている（例えば、特許文献２参照）。

特許第４００６２９６号公報特開平１１−６６１１３号公報

従来の三次元モデル作成システムでは、二次元画像が写真の場合と図面の場合とでは、二次元座標から三次元座標を算出する際の処理方法が基本的に異なるため、二次元画像の種類に応じてそれぞれ専用の三次元モデル作成システムを準備しておく必要がある。このため、三次元モデル作成システムの構築に要するコストが増大するという問題がある。また、対象物に小さな改造や補修等が行われて、例えば、対象物の全体構成は図面で知ることができるが、改造部分や補修部分の現況は写真でしか確認することができない場合、従来の三次元モデル作成システムを使用して三次元モデルを作成するには、二次元画像を写真又は図面のいずれかに統一しなければならないという問題がある。このため、三次元モデルの作成が煩雑になるという問題も生じている。

本発明はかかる事情に鑑みてなされたもので、対象物の二次元画像が写真及び図面のいずれの場合であっても適用可能で、対象物の三次元形状を求めることが可能な三次元モデル作成システムを提供することを目的とする。

前記目的に沿う本発明に係る三次元モデル作成システムは、三次元空間内の対象物を異なる視点から見た二次元画像の中から、前記対象物の表面を構成している辺及び面が共通して存在する前記二次元画像を選定画像として複数選択し表示する画像選択部と、
前記選定画像毎に、該選定画像の輪郭線上に共通の特徴点を複数設定し、該特徴点の前記選定画像内における二次元座標をそれぞれ求める二次元座標算出部と、
異なる前記選定画像内に存在する前記特徴点のそれぞれの二次元座標から、前記特徴点にそれぞれ対応する前記対象物の辺上に存在する対応点の三次元座標を求める三次元座標算出部と、
３個以上の前記対応点で三次元空間内に形成され、しかも、共通の該対応点を介して連接する対応面を用いて、前記対象物の立体モデルを作成するモデル作成部と、
前記立体モデルを記憶するモデル保存部とを有し、
前記画像選択部には、前記二次元画像を形成する原データが写真又は図面のいずれであるかが設定される画像データ設定手段が設けられ、
前記三次元座標算出部では、前記原データとして前記写真が設定されたことを受けて、前記選定画像が前記対象物の中心投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出し、前記原データとして前記図面が設定されたことを受けて、前記選定画像が前記対象物の平行投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出し、
しかも、前記モデル作成部には、前記原データとして前記写真が設定されたことを受けて起動し、形成された前記対応面の尺度を一定値に調節する第１の尺度調節手段が、前記画像選択部には、前記原データとして前記図面が設定されたことを受けて起動し、前記選定画像間の尺度を一定値に調節する第２の尺度調節手段がそれぞれ設けられている。
ここで、図面とは、紙に記載された紙図面、ＣＡＤにより作成されたＣＡＤ図面を含む。

本発明に係る三次元モデル作成システムにおいて、前記三次元座標算出部は、前記原データとして前記図面が設定されたことを受けて、前記選定画像が前記対象物の平行投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出する図面用三次元座標演算器群を有し、該図面用三次元座標演算器群には、前記特徴点を順に結んで形成される前記選定画像中の輪郭が、該輪郭が存在する平面に直交する特定方向に対して一定又は相似変化する際に、前記特定方向に存在する前記特徴点の前記二次元座標から前記対応点の該特定方向における存在範囲を求め、前記輪郭を前記特定方向に沿って前記存在範囲内で平行移動させたときの前記輪郭上に存在する前記特徴点の軌跡から前記対応点の三次元座標を求める第１の簡易座標演算器が設けられていることが好ましい。

本発明に係る三次元モデル作成システムにおいて、前記三次元座標算出部は、前記原データとして前記図面が設定されたことを受けて、前記選定画像が前記対象物の平行投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出する図面用三次元座標演算器群を有し、該図面用三次元座標演算器群には、前記対象物が回転対称となる際は、前記特徴点の一部を順に結んで形成され、前記回転対称の回転軸を一辺として含む前記選定画像の部分輪郭を、前記回転軸の回りに回転させたときの前記部分輪郭上に存在する前記特徴点の軌跡から前記対応点の三次元座標を求める第２の簡易座標演算器が設けられていることが好ましい。

本発明に係る三次元モデル作成システムにおいて、前記画像選択部は、前記選定画像の輪郭の一部にそれぞれ沿った輪郭直線及び該輪郭直線に平行な補足輪郭直線を有する補助線を、前記選定画像に重ね合わせて表示する補助線作成手段を有することが好ましい。

本発明に係る三次元モデル作成システムにおいて、前記モデル作成部は、前記立体モデルの前記対応面上に、該対応面にそれぞれ相当する前記選定画像中の面に表示されている図案を表示する図案表示手段を有することが好ましい。

本発明に係る三次元モデル作成システムにおいて、前記モデル保存部に記憶されている別の立体モデルを、前記立体モデルと同一尺度に変換して、該立体モデルと組み合せるモデル統合部を有することが好ましい。

本発明に係る三次元モデル作成システムにおいては、画像選択部が、二次元画像を形成する原データが写真又は図面のいずれであるかを設定する画像データ設定手段を有し、対応点の三次元座標を算出する三次元座標算出部は、原データが写真であるか図面であるかに応じて、対象物に対する視点の三次元位置の算出方法を変えるため、対象物の二次元画像が写真又は図面のいずれの場合であっても、対象物の三次元形状を求めることが可能となる。

本発明に係る三次元モデル作成システムにおいては、モデル作成部に、原データとして写真が設定されたことを受けて起動し、形成された対応面の尺度を一定値に調節する第１の尺度調節手段が、画像選択部には、原データとして図面が設定されたことを受けて起動し、選定画像間の尺度を一定値に調節する第２の尺度調節手段がそれぞれ設けられているので、使用する二次元画像の尺度を予め統一する必要がなく、二次元画像の入手が容易になる。また、写真及び図面に応じて、それぞれ第１、第２の尺度調節手段を用いるので、三次元モデル作成システム（特に、モデル作成部）の演算量の軽減を図ることができる。

本発明に係る三次元モデル作成システムにおいて、図面用三次元座標演算器群に、特徴点を順に結んで形成される選定画像中の輪郭が、輪郭が存在する平面に直交する特定方向に対して一定又は相似変化する際に、特定方向に存在する特徴点の二次元座標から対応点の特定方向における存在範囲を求め、輪郭を特定方向に沿って存在範囲内で平行移動させたときの輪郭上に存在する特徴点の軌跡から対応点の三次元座標を求める第１の簡易座標演算器が設けられている場合、対応点の三次元座標を求める際の演算量の軽減を図ることができる。

本発明に係る三次元モデル作成システムにおいて、図面用三次元座標演算器群に、対象物が回転対称となる際は、特徴点の一部を順に結んで形成され、回転対称の回転軸を一辺として含む選定画像の部分輪郭を、回転軸の回りに回転させたときの部分輪郭上に存在する特徴点の軌跡から対応点の三次元座標を求める第２の簡易座標演算器が設けられている場合、対応点の三次元座標を求める際の演算量の軽減を図ることができる。

本発明に係る三次元モデル作成システムにおいて、画像選択部が、選定画像の輪郭の一部にそれぞれ沿った輪郭直線及び輪郭直線に平行な補足輪郭直線を有する補助線を、選定画像に重ね合わせて表示する補助線作成手段を有する場合、異なる選定画像間において、特徴点の対応関係を明確にすることができる。

本発明に係る三次元モデル作成システムにおいて、モデル作成部が、立体モデルの対応面上に、対応面にそれぞれ相当する選定画像中の面に表示されている図案を表示する図案表示手段を有する場合、対象物の表面の状況を立体モデル上で容易に確認することができる（現場の可視化が可能になる）。

本発明に係る三次元モデル作成システムにおいて、モデル保存部に記憶されている別の立体モデルを、立体モデルと同一尺度に変換して、立体モデルと組み合せるモデル統合部を有する場合、複数の対象物から構成される大型構造物の空間的広がりや、空間的広がりの時間変化を容易に捉えることができる。

本発明の一実施の形態に係る三次元モデル作成システムのブロック図である。画像選択部、二次元座標算出部、三次元座標算出部、モデル作成部、及びモデル統合部のブロック図である。三次元座標算出部のブロック図である。選択された選定画像の説明図である。選定画像に設定された輪郭線と、輪郭線上に指定する特徴点の説明図である。対象物に設定された輪郭線と、輪郭線上に指定された特徴点の状況を示す説明図である。（Ａ）、（Ｂ）はそれぞれ立体モデル及びテクスチャー付き立体モデルの説明図である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１に、本発明の一実施の形態に係る三次元モデル作成システム１０のブロック図を示す。三次元モデル作成システム１０は、三次元空間内の対象物を異なる視点から見た二次元画像の中から、対象物の表面を構成している辺及び面が共通して存在する二次元画像を選定画像として複数選択し表示する画像選択部１１と、選定画像毎に、選定画像の輪郭線上に共通の特徴点を複数設定し、特徴点の選定画像内における二次元座標をそれぞれ求める二次元座標算出部１２とを有している。
ここで、特徴点とは、辺と面のそれぞれの存在範囲を示す空間的広がり情報及び辺と面のそれぞれの形状を示す形状特定情報を与える点である。例えば、直線状の辺では辺の両端部に対応する点、折れ曲った辺では各屈折部に対応する点、湾曲状の辺では湾曲部に対応する複数の点列であり、面の特徴点は、閉じた連接する辺のそれぞれの特徴点の集合である。

また、三次元モデル作成システム１０は、異なる選定画像内に存在する特徴点のそれぞれの二次元座標から、特徴点にそれぞれ対応する対象物の辺上に存在する対応点の三次元座標を求める三次元座標算出部１３と、３個以上の対応点で三次元空間内に形成され、しかも、共通の対応点を介して連接する対応面を用いて、対象物の立体モデルを作成するモデル作成部１４と、立体モデルを記憶するモデル保存部１５と、モデル保存部１５に記憶されている別の立体モデルを、立体モデルと同一尺度に変換して立体モデルと組み合せるモデル統合部１６とを有している。以下、詳細に説明する。

図２に示すように、画像選択部１１は、二次元画像を形成する原データが写真又は図面のいずれであるかを設定する（いずれであるかの情報を入力する）画像データ設定手段１７と、画像データ設定手段１７で設定された二次元画像を読込んで一時保存する画像保存手段１８と、画像保存手段１８に保存された二次元画像の中から、対象物の表面を構成している辺及び面が共通して存在する二次元画像を選定画像として複数選択し、表示器１９を介して表示する選択表示手段２０とを有している。更に、画像選択部１１は、原データとして図面が設定されたことを受けて起動し、選定画像として選択表示手段２０に表示される際に、選定画像間の尺度を一定値に調節する第２の尺度調節手段２１と、表示器１９に表示された選定画像の輪郭の一部、例えば辺にそれぞれ沿った輪郭直線及び輪郭直線に平行な補足輪郭直線を有する補助線を、選定画像に重ね合わせて表示する補助線作成手段２２とを有している。

ここで、画像データ設定手段１７は二次元画像の原データが写真又は図面のいずれであるかの設定を行う機能を、画像保存手段１８は、画像データ設定手段１７で設定された二次元画像を、例えば、スキャナ等を用いて読込んで一時保存する機能を、選択表示手段２０は、画像保存手段１８に保存された二次元画像の中から、対象物の表面を構成している辺及び面が共通して存在する二次元画像を選定画像として複数選択させて、表示器１９に表示する機能をそれぞれ備えたプログラムをコンピュータ（マイクロコンピュータ又は汎用のパーソナルコンピュータ）に搭載することにより構成することができる。また、第２の尺度調節手段２１は、原データとして図面が設定されたことを受けて起動し、選択表示手段２０で選定された各選定画像を表示器１９に表示する際に、選定画像間の尺度を一定値に調節する機能を、補助線作成手段２２は、表示器１９に表示された選定画像上で位置を指定させて補助線を、選定画像に重ね合わせて表示する機能をそれぞれ備えたプログラムをコンピュータに搭載することにより構成することができる。また、表示器１９には、コンピュータに接続して、コンピュータ内の情報をコンピュータを介して表示するディスプレイ装置を用いることができる。

図２に示すように、二次元座標算出部１２は、表示器１９に表示された選定画像を用いて、選定画像間において、共通する辺及び面をそれぞれ構成している輪郭線を指定させると共に、この輪郭線上に共通の特徴点を、予め定められた規則に従って複数設定させる機能を備えた特徴点設定手段２３と、指定させた特徴点の選定画像内における二次元座標を、選定画像中に設定した原点に対して求める機能を備えた二次元座標算出手段２４とを有している。ここで、特徴点を設定する際の規則とは、例えば、各輪郭線上で設定する特徴点の順序（特徴点の指定順番）を同一にすることである。なお、二次元座標算出部１２は、特徴点設定手段２３の機能と、二次元座標算出手段２４の機能をそれぞれ備えたプログラムをコンピュータに搭載することにより構成することができる。

三次元座標算出部１３は、画像選択部１１を介して、原データとして写真が設定されたことを受けて、選定画像が対象物の中心投影により形成されていることに基いて、対象物に対する視点の三次元位置を求めて対応点の三次元座標を算出する写真用三次元座標演算器群２５と、原データとして図面が設定されたことを受けて、選定画像が対象物の平行投影により形成されていることに基いて、対象物に対する視点（カメラ）の三次元位置を求めて対応点の三次元座標を算出する図面用三次元座標演算器群３１を有している。

図３に示すように、写真用三次元座標演算器群２５は、２つの選定画像（写真）において共通の特徴点の選定画像上の二次元座標を用いて対象物に対する視点の三次元位置（視点の位置及び姿勢（方向））を求める機能を備えた写真用の視点位置算出器２７と、視点の三次元位置及び特徴点の選定画像上の二次元座標から、三角測量の原理に基づいて視点位置に対する特徴点の三次元座標を求める機能を備えた写真用の特徴点座標算出器２８と、２つの選定画像毎に求まった共通の特徴点の三次元座標が一致するように座標変換を行って（特異値分解を用いて）得られる三次元座標を対応点の三次元座標とする機能を備えた写真用の対応点座標算出器２９とを有している。そして、写真用三次元座標演算器群２５は、視点位置算出器２７の機能と、特徴点座標算出器２８の機能と、対応点座標算出器２９の機能をそれぞれ備えたプログラムをコンピュータに搭載することにより構成することができる。

ここで、視点の三次元位置は、２つの選定画像のいずれか一方における視点の位置を座標原点とし、選定画像を正面視して、選定画像の奥行き方向をＺ軸方向、選定画像の右方向をＸ軸方向、下方向をＹ軸方向としている。２つの選定画像において共通の特徴点が３点以上存在する場合は、エピポーラ幾何により視点の三次元位置を求める。一方、２つの選定画像において共通の特徴点の個数が２以下の場合は、選定画像毎に視点の三次元位置と特徴点に対応する対応点の三次元座標をそれぞれ仮定し、対応点の選定画像上に形成される擬似特徴点の二次元座標を求めて、選定画像上における特徴点と擬似特徴点との誤差を最小とする条件（バンドル調整法）から視点の三次元位置を求めている。更に、特徴点の二次元座標は誤差を含むため、求めた視点の三次元位置も誤差を含むので、各選定画像における視点の三次元位置の誤差を最小とする条件（ニュートン法）から視点の三次元位置を最適化する。

図３に示すように、三次元座標算出部１３は、原データとして図面が設定された際に、二次元座標算出手段２４で得られた特徴点の二次元座標から、特徴点を順に結んで形成される選定画像中の輪郭が、輪郭が存在する平面に直交する特定方向に対して一定又は相似変化するか（条件１が成立するか）、対象物が回転対称となるか（条件２が成立するか）、条件１及び２以外の場合であるかを判定し、条件１の場合に簡易処理信号１を、条件２の場合に簡易処理信号２を、条件１及び２以外の場合に非簡易処理信号をそれぞれ出力する機能を備えた処理別信号発生器３０を備え、各選定画像（図面）において共通して存在する特徴点の選定画像上の二次元座標を用いて、対象物に対する視点の三次元位置（選定画像を正面視して、選定画像の奥行き方向をＺ軸方向、選定画像の右方向をＸ軸方向、下方向をＹ軸方向とする）を求めて、特徴点に対応する対象物表面上の対応点の三次元座標を求める図面用三次元座標演算器群３１を有している。

図面用三次元座標演算器群３１には、処理別信号発生器３０において簡易処理信号１が出力された際に処理別信号発生器３０を介して二次元座標算出手段２４で算出された特徴点の二次元座標から対応点の特定方向における存在範囲を求め、輪郭を特定方向に沿って存在範囲内で平行移動させたときの輪郭上に存在する特徴点の軌跡から対応点の三次元座標を求める機能を備えた第１の簡易座標演算器３６と、処理別信号発生器３０において簡易処理信号２が出力された際に処理別信号発生器３０を介して二次元座標算出手段２４で算出された特徴点の二次元座標から、特徴点の一部を順に結んで形成され、回転対称の回転軸を一辺として含む選定画像の部分輪郭を形成し、回転軸の回りに回転させたときの部分輪郭上に存在する特徴点の軌跡から対応点の三次元座標を求める機能を備えた第２の簡易座標演算器３７を有している。

更に、図面用三次元座標演算器群３１には、処理別信号発生器３０において非簡易処理信号が出力された際に、二次元座標算出手段２４で二次元座標が算出された特徴点の中から、３枚以上の選定画像全てに存在している特徴点の二次元座標を用いて、対象物上の対応点の三次元位置を求める機能を備えた図面用の対応点座標算出器３５が設けられている。なお、視点の三次元位置の算出誤差を考慮すると、特徴点の個数は１０個以上が好ましい。ここで、対応点座標算出器３５では、選定画像毎に特徴点の二次元座標の重心座標が、選定画像の座標原点となる座標系を用いて、特徴点の二次元座標を再計算する。また、選定画像の枚数をｍ枚、対象物上の対応点の個数をｎ個とした場合、全選定画像上の特徴点の位置情報は「２ｍ行ｎ列」の行列で、全視点の位置情報は３行ｎ列の行列で、対象物上の対応点の位置情報（三次元座標）は２ｍ行３列の行列でそれぞれ標記できる。このため、全特定特徴点の位置情報を示す「２ｍ行ｎ列」の行列を、特異値分解を使用して「２ｍ行３列」の行列と「３行ｎ列」の行列の積で表すと、視点の三次元座標（位置）と対象物上の対応点の三次元座標（位置）がそれぞれ得られる。なお、特異値分解を行う際、視点の位置情報を示す行列は、Ｘ方向とＹ方向は直交し、しかも、Ｘ方向とＹ方向の倍率（尺度）は等しいという付帯条件を用いる。

図面用三次元座標演算器群３１は、処理別信号発生器３０の機能と、対応点座標算出器３５の機能と、第１の簡易座標演算器３６の機能と、第２の簡易座標演算器３７の機能とを備えたプログラムをコンピュータに搭載することにより構成することができる。なお、選定画像上に設定される特徴点が１０個未満の場合は、選定画像毎に視点の三次元位置と特徴点に対応する対応点の三次元座標をそれぞれ仮定し、対応点の選定画像上に形成される擬似特徴点の二次元座標を求めて、選定画像上における特徴点と擬似特徴点との誤差を最小とする条件（バンドル調整法）から視点の三次元位置を求めている。また、特徴点の二次元座標は誤差を含むため、求めた視点の三次元位置も誤差を含むので、各選定画像における視点の三次元位置の誤差を最小とする条件（ニュートン法）から視点の三次元位置を最適化する。

図２に示すように、モデル作成部１４は、三次元座標算出部１３で三次元座標が得られた３個以上の対応点で三次元空間内に対応面を作成する機能を備えた対応面作成器３８と、共通の対応点を有する対応面を選定し、共通の対応点から共通の辺を構成して対応面を連接させて、対象物の立体モデルを作成する機能を備えたモデル作成手段３９を有している。また、モデル作成部１４には、原データとして写真が設定されたことを受けて起動し、共通の対応点を有する対応面を選定した際に、対応面の尺度（倍率）を一定値に調節する第１の尺度調節手段４０が設けられている。更に、モデル作成部１４は、立体モデルを構成している対応面にそれぞれ相当する選定画像中の面に表示されている図案を抽出し、対応面の三次元空間内での位置に応じて抽出した図案を変形させた後に、立体モデルの対応面上に重ねて表示する機能を備えた図案表示手段４１を有している。そして、モデル作成手段３９からの出力（立体モデルのデータ又は立体モデルと立体モデルの対応面上に重ねて表示する図案の組み合わせデータ）は、表示器１９に表示させることができると共に、モデル保存部１５に保存することができる。

そして、モデル作成部１４は、対応面作成器３８の機能と、モデル作成手段３９の機能と、第１の尺度調節手段４０の機能と、図案表示手段４１の機能とを備えたプログラムをコンピュータに搭載することにより構成することができる。また、モデル保存部１５には、コンピュータに接続されてデータの入出力を行う記憶装置（例えば、ハードディスク等の磁気記憶装置、半導体記憶装置、光磁気記憶装置等）を使用することができる。

図２に示すように、モデル統合部１６は、モデル保存部１５に記憶されている別の立体モデルを呼び出し、作成した立体モデルと同一尺度に変換する機能を備えた尺度（倍率）調節手段４２と、作成した立体モデル及び尺度調節された別の立体モデルを読込んで、作成した立体モデルと別の立体モデルの三次元空間内でのそれぞれの位置を調節しながら、立体モデルの所定の位置に別の立体モデルを組み合せて、一体化した新たな立体モデルを作成して、表示器１９に表示させると共にモデル保存部１５に保存する機能を備えたモデル組み合わせ手段４３とを有している。ここで、モデル統合部１６は、尺度調節手段４２の機能とモデル組み合わせ手段４３の機能を備えたプログラムをコンピュータに搭載することにより構成することができる。なお、作成した立体モデルには、モデル作成手段３９で作成が終了した段階の立体モデルの他に、モデル保存部１５に記憶されている更に別の立体モデルを含む。

続いて、本発明の一実施の形態に係る三次元モデル作成システム１０の作用について、二次元画像を形成する原データが写真である場合と図面である場合についてそれぞれ説明する。
二次元画像を形成する原データが写真の場合、画像選択部１１の画像データ設定手段１７を用いて、二次元画像を形成する原データが写真であることの設定を行い、画像保存手段１８に一時保存すると共に、表示器１９に表示させる。次いで、表示器１９に表示された二次元画像の中から、対象物の表面を構成している辺及び面が共通して存在する二次元画像を選定画像として複数選択する。なお、図４に示すように、選択された複数の選定画像４４は、選択表示手段２０を用いて表示器１９の表示画面４５に表示させることができ、選定画像の確認を行うことができる。なお、各選定画像４４に対して、補助線作成手段２２を用いて、表示画面４５に表示された選定画像の輪郭の一部、例えば辺にそれぞれ沿った輪郭直線（及び輪郭直線に平行な補足輪郭直線）を有する補助線として選定画像４４に重ね合わせて表示することができる。

次いで、図５に示すように、表示画面４５に表示された各選定画像４４に対して、特徴点設定手段２３を用いて、選定画像４４間において、共通する辺及び面をそれぞれ構成している輪郭線４６を指定させると共に、この輪郭線４６上に存在する複数の共通の特徴点４７、４８、４９、５０を、予め設定した同一の指定順番に従って設定する。図６に、輪郭線４６上に特徴点４７〜５０が、輪郭線４６ａ上に特徴点４７ａ〜５０ａが、輪郭線４６ｂ上に特徴点４７ｂ〜５０ｂが、輪郭線４６ｃ上に特徴点４７ｃ〜５０ｃがそれぞれ設定された状態を示す。対象物において、共通する辺及び面をそれぞれ構成している全ての輪郭線の指定と、各輪郭線上に存在する共通の特徴点が全て設定されると、二次元座標算出手段２４により、指定された各特徴点の選定画像内における二次元座標が算出される。

指定した全ての特徴点４７〜５０、４７ａ〜５０ａ、４７ｂ〜５０ｂ、４７ｃ〜５０ｃ（以下、４７〜５０ｃと示す）の二次元座標が求められると、三次元座標算出部１３の写真用三次元座標演算器群２５により、各選定画像４４毎に、選定画像４４が撮影された際の視点（カメラ）の対象物に対する三次元位置を求める。続いて、視点の三次元位置及び特徴点４７〜５０ｃの選定画像４４上の二次元座標から、三角測量の原理に基づいて視点位置に対する特徴点４７〜５０ｃの三次元座標を求め、選定画像４４毎に求まった共通の特徴点４７〜５０ｃの三次元座標が一致するように座標変換を行って、得られた三次元座標を特徴点４７〜５０ｃが対応する対象物上の対応点の三次元座標とする。

対応点の三次元座標が特定されると、モデル作成手段３９を用いて、閉じた輪郭線上に存在する３個以上の特徴点に対応する３個以上の対応点で三次元空間内に対応面を作成する。そして、２以上の共通の対応点を有する対応面を選定し、共通の対応点から共通の辺を構成して対応面を連接させて、図７（Ａ）に示すように、対象物の立体モデル５１を作成し、その結果は表示画面４５に表示される。なお、共通の対応点を有する対応面を選定した際に、第１の尺度調節手段４０により、対応面の尺度（倍率）が一定値に統一される。そして、立体モデル５１のデータは、モデル保存部１５に保存される。

更に、図案表示手段４１を用いて、立体モデル５１を構成している対応面にそれぞれ相当する選定画像４４中の各面に表示されている図案を抽出し、対応面の三次元空間内での位置に応じて抽出した図案を変形させた後に立体モデル５１の対応面上に組み込むことができ、図７（Ｂ）に示すように、テクスチャー付き立体モデル５２として表示画面４５に表示することができる。そして、テクスチャー付き立体モデル５２のデータは、モデル保存部１５に保存される。

ここで、立体モデル５１（テクスチャー付き立体モデル５２の場合も同様）が作成された場合、モデル統合部１６を用いて、モデル保存部１５に記憶されている別の立体モデルを呼び出し、立体モデル５１と同一尺度に変換し、例えば、表示器１９の表示画面４５上で
立体モデル５１と別の立体モデルの三次元空間内でのそれぞれの位置を調節しながら、立体モデル５１の所定の位置に別の立体モデルを組み合せて、一体化した新たな立体モデル（統合立体モデル）を作成することができる。なお、統合立体モデルは、表示画面４５に表示させることができると共に、モデル保存部１５に保存することができる。

続いて、二次元画像を形成する原データが図面である場合について説明する。
先ず、二次元画像を形成する原データが図面であることを、画像選択部１１の画像データ設定手段１７を用いて設定する。そして、画像保存手段１８に一時保存された二次元画像から複数の選定画像が選択される際、第２の尺度調節手段２１により、選定画像間の尺度が一定値に調節（統一）される。なお、選定画像の選択、選定画像上への補助線の重ね合わせ表示、選定画像上への輪郭線の指定、各輪郭線上における特徴点の設定、各特徴点の選定画像内における二次元座標の算出は、二次元画像を形成する原データが写真の場合と同様に行うことができるので、説明は省略する。

選定画像上で指定した全ての特徴点の二次元座標が求められると、三次元座標算出部１３の図面用三次元座標演算器群３１を用いて、各選定画像において共通して存在する特徴点の選定画像上の二次元座標を用いて、対象物に対する視点の三次元位置（例えば、選定画像を正面視して、選定画像の奥行き方向をＺ軸方向、選定画像の右方向をＸ軸方向、下方向をＹ軸方向とする）を求め、特徴点に対応する対象物表面上の対応点の三次元座標を求める。ここで、処理別信号発生器３０では、各特徴点の二次元座標から、特徴点を順に結んで形成される選定画像中の輪郭が、輪郭が存在する平面に直交する特定方向に対して一定又は相似変化する条件１が成立するか否かが判定され、条件１が成立する場合は簡易処理信号１が出力される。更に、処理別信号発生器３０では、条件１に該当しない場合、対象物が回転対称である条件２が成立するか否かが判定され、条件２が成立する場合は簡易処理信号２が出力され、条件２が成立しない場合は非簡易処理信号が出力される。

処理別信号発生器３０において非簡易処理信号が出力されると、ｍ枚の選定画像上でそれぞれ指定されたｎ個の特徴点の二次元座標を、特徴点の重心位置に座標原点を設定した座標系に変換する。次いで、座標変換後の全ての特徴点の二次元座標を、行列形式（２ｍ行ｎ列の行列）で表記し、更に、２ｍ行３列の行列（全対応点の位置情報（三次元座標）を示す）と３行ｎ列の行列（全視点の位置情報（三次元座標）を示す）の積の形式に変形する。このとき、視点の位置情報を示す３行ｎ列の行列は、Ｘ方向とＹ方向は直交し、しかも、Ｘ方向とＹ方向の倍率（尺度）は等しいという付帯条件（即ち、二次元画像を形成する原データが図面であることの条件）を満足するように補正することにより視点の三次元座標を求め、視点の三次元位置及び特徴点の選定画像上の二次元座標から特徴点の三次元座標を求めて対応点の三次元座標とする。

処理別信号発生器３０において簡易処理信号１が出力されると、第１の簡易座標演算器３６により、二次元座標算出手段２４で算出された特徴点の二次元座標から対応点の特定方向における存在範囲を求め、輪郭を特定方向に沿って存在範囲内で平行移動させたときの輪郭上に存在する特徴点の軌跡から対応点の三次元座標を求める。また、処理別信号発生器３０において簡易処理信号２が出力されると、第２の簡易座標演算器３７により、二次元座標算出手段２４で算出された特徴点の二次元座標から、特徴点の一部を順に結んで形成され、回転対称の回転軸を一辺として含む選定画像の部分輪郭を形成し、回転軸の回りに回転させたときの部分輪郭上に存在する特徴点の軌跡から対応点の三次元座標を求める。

なお、三次元座標が特定された対応点から対応面を作成し、共通の対応点から共通の辺を構成して対応面を連接させて立体モデルを作成すること、立体モデルのデータをモデル保存部１５に保存すること、立体モデルからテクスチャー付き立体モデルを形成することは、二次元画像を形成する原データが写真の場合と同様に行うことができるので、説明は省略する。また、立体モデルに対して、モデル保存部１５に記憶されている別の立体モデルを組み合せて統合立体モデルを作成することも、二次元画像を形成する原データが写真の場合と同様に行うことができるので、説明は省略する。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合わせたものも、本発明に含まれる。

１０：三次元モデル作成システム、１１：画像選択部、１２：二次元座標算出部、１３：三次元座標算出部、１４：モデル作成部、１５：モデル保存部、１６：モデル統合部、１７：画像データ設定手段、１８：画像保存手段、１９：表示器、２０：選択表示手段、２１：第２の尺度調節手段、２２：補助線作成手段、２３：特徴点設定手段、２４：二次元座標算出手段、２５：写真用三次元座標演算器群、２７：視点位置算出器、２８：特徴点座標算出器、２９：対応点座標算出器、３０：処理別信号発生器、３１：図面用三次元座標演算器群、３５：対応点座標算出器、３６：第１の簡易座標演算器、３７：第２の簡易座標演算器、３８：対応面作成器、３９：モデル作成手段、４０：第１の尺度調節手段、４１：図案表示手段、４２：尺度調節手段、４３：モデル組み合わせ手段、４４：選定画像、４５：表示画面、４６、４６ａ、４６ｂ、４６ｃ：輪郭線、４７、４７ａ、４７ｂ、４７ｃ、４８、４８ａ、４８ｂ、４８ｃ、４９、４９ａ、４９ｂ、４９ｃ、５０、５０ａ、５０ｂ、５０ｃ：特徴点、５１：立体モデル、５２：テクスチャー付き立体モデル

Claims

三次元空間内の対象物を異なる視点から見た二次元画像の中から、前記対象物の表面を構成している辺及び面が共通して存在する前記二次元画像を選定画像として複数選択し表示する画像選択部と、
前記選定画像毎に、該選定画像の輪郭線上に共通の特徴点を複数設定し、該特徴点の前記選定画像内における二次元座標をそれぞれ求める二次元座標算出部と、
異なる前記選定画像内に存在する前記特徴点のそれぞれの二次元座標から、前記特徴点にそれぞれ対応する前記対象物の辺上に存在する対応点の三次元座標を求める三次元座標算出部と、
３個以上の前記対応点で三次元空間内に形成され、しかも、共通の該対応点を介して連接する対応面を用いて、前記対象物の立体モデルを作成するモデル作成部と、
前記立体モデルを記憶するモデル保存部とを有し、
前記画像選択部には、前記二次元画像を形成する原データが写真又は図面のいずれであるかが設定される画像データ設定手段が設けられ、
前記三次元座標算出部では、前記原データとして前記写真が設定されたことを受けて、前記選定画像が前記対象物の中心投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出し、前記原データとして前記図面が設定されたことを受けて、前記選定画像が前記対象物の平行投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出し、
しかも、前記モデル作成部には、前記原データとして前記写真が設定されたことを受けて起動し、形成された前記対応面の尺度を一定値に調節する第１の尺度調節手段が、前記画像選択部には、前記原データとして前記図面が設定されたことを受けて起動し、前記選定画像間の尺度を一定値に調節する第２の尺度調節手段がそれぞれ設けられていることを特徴とする三次元モデル作成システム。
請求項１記載の三次元モデル作成システムにおいて、前記三次元座標算出部は、前記原データとして前記図面が設定されたことを受けて、前記選定画像が前記対象物の平行投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出する図面用三次元座標演算器群を有し、該図面用三次元座標演算器群には、前記特徴点を順に結んで形成される前記選定画像中の輪郭が、該輪郭が存在する平面に直交する特定方向に対して一定又は相似変化する際に、前記特定方向に存在する前記特徴点の前記二次元座標から前記対応点の該特定方向における存在範囲を求め、前記輪郭を前記特定方向に沿って前記存在範囲内で平行移動させたときの前記輪郭上に存在する前記特徴点の軌跡から前記対応点の三次元座標を求める第１の簡易座標演算器が設けられていることを特徴とする三次元モデル作成システム。
請求項１記載の三次元モデル作成システムにおいて、前記三次元座標算出部は、前記原データとして前記図面が設定されたことを受けて、前記選定画像が前記対象物の平行投影により形成されていることに基いて、前記対象物に対する前記視点の三次元位置を求めて前記対応点の三次元座標を算出する図面用三次元座標演算器群を有し、該図面用三次元座標演算器群には、前記対象物が回転対称となる際は、前記特徴点の一部を順に結んで形成され、前記回転対称の回転軸を一辺として含む前記選定画像の部分輪郭を、前記回転軸の回りに回転させたときの前記部分輪郭上に存在する前記特徴点の軌跡から前記対応点の三次元座標を求める第２の簡易座標演算器が設けられていることを特徴とする三次元モデル作成システム。
請求項１〜３のいずれか１項に記載の三次元モデル作成システムにおいて、前記画像選択部は、前記選定画像の輪郭の一部にそれぞれ沿った輪郭直線及び該輪郭直線に平行な補足輪郭直線を有する補助線を、前記選定画像に重ね合わせて表示する補助線作成手段を有することを特徴とする三次元モデル作成システム。
請求項１〜４のいずれか１項に記載の三次元モデル作成システムにおいて、前記モデル作成部は、前記立体モデルの前記対応面上に、該対応面にそれぞれ相当する前記選定画像中の面に表示されている図案を表示する図案表示手段を有することを特徴とする三次元モデル作成システム。
請求項１〜５のいずれか１項に記載の三次元モデル作成システムにおいて、前記モデル保存部に記憶されている別の立体モデルを、前記立体モデルと同一尺度に変換して、該立体モデルと組み合せるモデル統合部を有することを特徴とする三次元モデル作成システム。