JP3429400B2 - モデリングシステム - Google Patents
モデリングシステムInfo
- Publication number
- JP3429400B2 JP3429400B2 JP25305595A JP25305595A JP3429400B2 JP 3429400 B2 JP3429400 B2 JP 3429400B2 JP 25305595 A JP25305595 A JP 25305595A JP 25305595 A JP25305595 A JP 25305595A JP 3429400 B2 JP3429400 B2 JP 3429400B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- dimensional
- dimensional shape
- shape model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、３次元コンピュー
タグラフィックスにおける形状モデルを生成するための
モデリングシステムに関する。
タグラフィックスにおける形状モデルを生成するための
モデリングシステムに関する。
【０００２】３次元コンピュータグラフィックスは、実
在する物体又は架空の物体をその３次元形状モデルに基
づいて画面上に立体的に表示する技術であり、任意の視
点から見た物体をリアルタイムで表示できるので、景観
シミュレーションやプレゼンテーションなどに応用され
ている。
在する物体又は架空の物体をその３次元形状モデルに基
づいて画面上に立体的に表示する技術であり、任意の視
点から見た物体をリアルタイムで表示できるので、景観
シミュレーションやプレゼンテーションなどに応用され
ている。
【０００３】
【従来の技術】実在する物体の３次元形状モデルを、そ
の物体を撮影した実写画像を利用して生成する形状モデ
リング手法が知られている。対象物体の３次元形状モデ
ル（以下、「物体モデル」という）の原型として立方体
・円柱・球などの基本形状の３次元形状モデル（以下、
「基本モデル」という）を用意しておき、基本モデルを
修正して物体モデルを生成することにより、モデリング
の効率を高めることができる。
の物体を撮影した実写画像を利用して生成する形状モデ
リング手法が知られている。対象物体の３次元形状モデ
ル（以下、「物体モデル」という）の原型として立方体
・円柱・球などの基本形状の３次元形状モデル（以下、
「基本モデル」という）を用意しておき、基本モデルを
修正して物体モデルを生成することにより、モデリング
の効率を高めることができる。
【０００４】従来のモデリングシステムは、オペレータ
の指示に従って基本モデルを修正するように構成されて
いた（特開平３−１３８７８４号）。従来のモデリング
の手順は以下のとおりである。
の指示に従って基本モデルを修正するように構成されて
いた（特開平３−１３８７８４号）。従来のモデリング
の手順は以下のとおりである。
【０００５】モデリングシステムは、実写画像と基本
モデルの投影像とを画面上に並べて表示する。 オペレータは、実写画像と投影像とを見比べて、両者
の位置の対応関係を指定する。例えば、基本モデルの頂
点に対応する実写画像中の画素の座標を入力する。その
際、オペレータは、仮想空間内での基本モデルの配置位
置を変更することによって、対応関係の理解が容易にな
るように投影像の視点位置を調整することができる。
モデルの投影像とを画面上に並べて表示する。 オペレータは、実写画像と投影像とを見比べて、両者
の位置の対応関係を指定する。例えば、基本モデルの頂
点に対応する実写画像中の画素の座標を入力する。その
際、オペレータは、仮想空間内での基本モデルの配置位
置を変更することによって、対応関係の理解が容易にな
るように投影像の視点位置を調整することができる。
【０００６】モデリングシステムは、オペレータから
与えられた対応関係情報を透視変換の関係式に適用する
ことによって基本モデルの座標の修正値を算出し、基本
モデルを修正する。
与えられた対応関係情報を透視変換の関係式に適用する
ことによって基本モデルの座標の修正値を算出し、基本
モデルを修正する。
【０００７】
【発明が解決しようとする課題】従来では、オペレータ
からの入力情報のみに基づいて基本モデルが修正される
ので、モデリングの精度がオペレータの判断に依存する
という問題があった。正確な物体モデルが必要な場合に
は、オペレータに対して厳密な判断が要求されることか
ら、作業負担が増大するとともに作業時間が長くなっ
た。実写画像に不鮮明な部分がある場合には、正確な物
体モデルの生成が困難であった。なお、コンピュータビ
ジョンの手法を用いてオペレータの判断に依存しないモ
デリングを実現することが考えられる。しかし、現状で
は実用の上で十分な精度を望めない。
からの入力情報のみに基づいて基本モデルが修正される
ので、モデリングの精度がオペレータの判断に依存する
という問題があった。正確な物体モデルが必要な場合に
は、オペレータに対して厳密な判断が要求されることか
ら、作業負担が増大するとともに作業時間が長くなっ
た。実写画像に不鮮明な部分がある場合には、正確な物
体モデルの生成が困難であった。なお、コンピュータビ
ジョンの手法を用いてオペレータの判断に依存しないモ
デリングを実現することが考えられる。しかし、現状で
は実用の上で十分な精度を望めない。
【０００８】本発明は、上述の問題に鑑みてなされたも
ので、オペレータの作業負担を増大することなく、より
正確な３次元形状モデルを生成することを目的としてい
る。
ので、オペレータの作業負担を増大することなく、より
正確な３次元形状モデルを生成することを目的としてい
る。
【０００９】
【課題を解決するための手段】種々の物体のモデリング
においては、オペレータによる手動のモデリングによっ
て十分な精度が得られる場合も、データ処理手段による
画像解析が有用な場合も起こりうる。手動モデリング機
能と自動モデリング機能とを設けることによって、モデ
リングシステムの実用性を高めることができる。
においては、オペレータによる手動のモデリングによっ
て十分な精度が得られる場合も、データ処理手段による
画像解析が有用な場合も起こりうる。手動モデリング機
能と自動モデリング機能とを設けることによって、モデ
リングシステムの実用性を高めることができる。
【００１０】手動のモデリングの結果を踏まえて、２次
元画像の特定部分に注目して画像解析を行うようにすれ
ば、２次元画像の全体を解析する場合に比べて、画像処
理の無駄を軽減することができ、効率的に２次元画像か
ら特徴情報を抽出することができる。
元画像の特定部分に注目して画像解析を行うようにすれ
ば、２次元画像の全体を解析する場合に比べて、画像処
理の無駄を軽減することができ、効率的に２次元画像か
ら特徴情報を抽出することができる。
【００１１】請求項１の発明のシステムは、物体の立体
構造情報を含む２次元画像に基づいて前記物体の３次元
形状モデルを生成するためのモデリングシステムであっ
て、最新の３次元形状モデルと前記２次元画像とをグロ
ーバル座標空間に配置して当該２次元画像を含む平面に
当該３次元形状モデルを投影したときの像である投影像
と当該２次元画像とを合成し、得られた合成画像をモニ
ター画像として表示する表示制御手段と、オペレータか
ら与えられる指示に従って前記３次元形状モデルを修正
する手動修正手段と、前記２次元画像の内の前記モニタ
ー画像における前記３次元形状モデルを含む一部の領域
を対象に画像解析を行い、その結果に基づいて当該前記
３次元形状モデルの修正目標を設定し、当該辺の端点を
前記修正目標に近づけるように当該３次元形状モデルを
修正する自動修正手段とを有する。
構造情報を含む２次元画像に基づいて前記物体の３次元
形状モデルを生成するためのモデリングシステムであっ
て、最新の３次元形状モデルと前記２次元画像とをグロ
ーバル座標空間に配置して当該２次元画像を含む平面に
当該３次元形状モデルを投影したときの像である投影像
と当該２次元画像とを合成し、得られた合成画像をモニ
ター画像として表示する表示制御手段と、オペレータか
ら与えられる指示に従って前記３次元形状モデルを修正
する手動修正手段と、前記２次元画像の内の前記モニタ
ー画像における前記３次元形状モデルを含む一部の領域
を対象に画像解析を行い、その結果に基づいて当該前記
３次元形状モデルの修正目標を設定し、当該辺の端点を
前記修正目標に近づけるように当該３次元形状モデルを
修正する自動修正手段とを有する。
【００１２】請求項２の発明のシステムにおいて、前記
自動修正手段は、前記２次元画像の内の前記モニター画
像における前記３次元形状モデルの辺を含む一部の領域
を対象に画像解析を行い、当該辺の端点の修正目標を設
定し、当該辺の端点を前記修正目標に近づけるように前
記３次元形状モデルを修正する。
自動修正手段は、前記２次元画像の内の前記モニター画
像における前記３次元形状モデルの辺を含む一部の領域
を対象に画像解析を行い、当該辺の端点の修正目標を設
定し、当該辺の端点を前記修正目標に近づけるように前
記３次元形状モデルを修正する。
【００１３】請求項３の発明のシステムにおいて、前記
自動修正手段は、前記３次元形状モデルの修正量を、３
次元形状モデルのパラメータの修正前の値と前記パラメ
ータの前記修正目標に対応した値との差に基づいて算出
する。
自動修正手段は、前記３次元形状モデルの修正量を、３
次元形状モデルのパラメータの修正前の値と前記パラメ
ータの前記修正目標に対応した値との差に基づいて算出
する。
【００１４】請求項４の発明のシステムにおいて、前記
表示制御手段は、前記３次元形状モデルをワイヤフレー
ム形式で図式化し、且つ前記３次元形状モデルの内の前
記２次元画像と重なる部分の表示色を画素毎に前記２次
元画像と異なる色に設定する。
表示制御手段は、前記３次元形状モデルをワイヤフレー
ム形式で図式化し、且つ前記３次元形状モデルの内の前
記２次元画像と重なる部分の表示色を画素毎に前記２次
元画像と異なる色に設定する。
【００１５】
【発明の実施の形態】図１は本発明に係るモデリングシ
ステム１の構成図である。モデリングシステム１は、シ
ステム制御と画像データ処理とを担うＣＰＵ１０、キー
ボード２１、マウス２２、ディスプレイ３０、ハードデ
ィスクに代表される媒体を備えたメモリ装置４０、及び
イメージリーダ５０から構成されている。ＣＰＵ１０に
は、形状モデリングのためのソフトウェアが組み込まれ
ている。マウス２２に代えてトラックボールなどの他の
ポインティングデバイスを用いてもよい。イメージリー
ダ５０に代えてビデオカメラを用いて物体の画像情報を
ＣＰＵ１０に入力してもよい。光ディスクなどの記憶媒
体から画像をＣＰＵ１０に供給することも可能である。
ステム１の構成図である。モデリングシステム１は、シ
ステム制御と画像データ処理とを担うＣＰＵ１０、キー
ボード２１、マウス２２、ディスプレイ３０、ハードデ
ィスクに代表される媒体を備えたメモリ装置４０、及び
イメージリーダ５０から構成されている。ＣＰＵ１０に
は、形状モデリングのためのソフトウェアが組み込まれ
ている。マウス２２に代えてトラックボールなどの他の
ポインティングデバイスを用いてもよい。イメージリー
ダ５０に代えてビデオカメラを用いて物体の画像情報を
ＣＰＵ１０に入力してもよい。光ディスクなどの記憶媒
体から画像をＣＰＵ１０に供給することも可能である。
【００１６】図２はＣＰＵ１０の機能ブロック図であ
る。ＣＰＵ１０は、イメージリーダ５０が出力する画素
単位の画像データを取り込む画像入力部１１、メモリ装
置４０から基本モデル（物体モデルの原型）を読み出す
形状データ入力部１２、基本モデルを修正して物体モデ
ルを生成する作業部１３、及び生成された物体モデルの
出力制御を担う形状データ出力部１４を有している。物
体モデルの出力とは、メモリ装置４０への格納、又は他
のシステム（例えばテクスチャ生成システム）への転送
を意味する。なお、ＣＰＵ１０に、物体モデルに貼り付
けるテクスチャを生成する機能を加えてもよい。
る。ＣＰＵ１０は、イメージリーダ５０が出力する画素
単位の画像データを取り込む画像入力部１１、メモリ装
置４０から基本モデル（物体モデルの原型）を読み出す
形状データ入力部１２、基本モデルを修正して物体モデ
ルを生成する作業部１３、及び生成された物体モデルの
出力制御を担う形状データ出力部１４を有している。物
体モデルの出力とは、メモリ装置４０への格納、又は他
のシステム（例えばテクスチャ生成システム）への転送
を意味する。なお、ＣＰＵ１０に、物体モデルに貼り付
けるテクスチャを生成する機能を加えてもよい。
【００１７】作業部１３は、表示制御部１３１、手動修
正部１３２、及び自動修正部１３２から構成されてい
る。表示制御部１３１は、修正段階における最新の物体
モデルの投影像と画像入力部１１が読み込んだ手本画像
とを合成し、得られた合成画像をモデリングのモニター
画像として表示する。物体モデルの投影像は、ローカル
座標系（ボディ座標系ともいう）で表現された物体モデ
ルを、グローバル座標空間（ワールド座標空間ともい
う）に手本画像とともに配置し、手本画像を含む平面に
物体モデルを投影したときの像である。
正部１３２、及び自動修正部１３２から構成されてい
る。表示制御部１３１は、修正段階における最新の物体
モデルの投影像と画像入力部１１が読み込んだ手本画像
とを合成し、得られた合成画像をモデリングのモニター
画像として表示する。物体モデルの投影像は、ローカル
座標系（ボディ座標系ともいう）で表現された物体モデ
ルを、グローバル座標空間（ワールド座標空間ともい
う）に手本画像とともに配置し、手本画像を含む平面に
物体モデルを投影したときの像である。
【００１８】手動修正部１３２は、オペレータから与え
られる指示に従って物体モデルを修正する。自動修正部
１３３は、入力画像に対する画像解析を行って修正目標
を設定し、モデリングのパラメータの修正量を算定して
物体モデルを修正する。
られる指示に従って物体モデルを修正する。自動修正部
１３３は、入力画像に対する画像解析を行って修正目標
を設定し、モデリングのパラメータの修正量を算定して
物体モデルを修正する。
【００１９】図３はモデリングの概略を示すフローチャ
ートである。オペレータは、イメージリーダ５０を介し
て、モデリング対象の物体の立体構造情報をもつ２次元
画像をモデリングの手本画像（情報源）としてモデリン
グシステム１に入力する（＃１）。手本画像としては物
体を撮影した実写画像（自然画像）が一般的である。た
だし、フリーハンドのスケッチ、２次元ＣＡＤによる設
計図などの画像も手本画像として利用可能である。
ートである。オペレータは、イメージリーダ５０を介し
て、モデリング対象の物体の立体構造情報をもつ２次元
画像をモデリングの手本画像（情報源）としてモデリン
グシステム１に入力する（＃１）。手本画像としては物
体を撮影した実写画像（自然画像）が一般的である。た
だし、フリーハンドのスケッチ、２次元ＣＡＤによる設
計図などの画像も手本画像として利用可能である。
【００２０】続いて、オペレータは、あらかじめ用意さ
れている複数種の基本モデルの中から、物体に類似した
１つ又は複数の基本モデルを物体モデルの原型として選
択する（＃２）。複数の基本モデルを組み合わせること
により、複雑な物体モデルを生成することができる。基
本形状としては、直方体、円柱、角柱、円錐、角錐、
球、正ｎ面体などがある。オペレータは、これらの形状
の名称又はシンボル図形を一覧表示させた後、適当な形
状を選ぶ。
れている複数種の基本モデルの中から、物体に類似した
１つ又は複数の基本モデルを物体モデルの原型として選
択する（＃２）。複数の基本モデルを組み合わせること
により、複雑な物体モデルを生成することができる。基
本形状としては、直方体、円柱、角柱、円錐、角錐、
球、正ｎ面体などがある。オペレータは、これらの形状
の名称又はシンボル図形を一覧表示させた後、適当な形
状を選ぶ。
【００２１】モデリングシステム１は、ディスプレイ３
０の画面上にモニター画像を表示する（＃３）。最初に
表示されるモニター画像における投影像は、未修正の物
体モデル（つまり原型として選択された基本モデル）に
対応する。基本モデルが、円柱・円錐・球などの回転体
のモデルの場合には、補助線としてローカル座標軸が点
線で表示される。
０の画面上にモニター画像を表示する（＃３）。最初に
表示されるモニター画像における投影像は、未修正の物
体モデル（つまり原型として選択された基本モデル）に
対応する。基本モデルが、円柱・円錐・球などの回転体
のモデルの場合には、補助線としてローカル座標軸が点
線で表示される。
【００２２】モニター画像において手本画像が表す物体
と物体モデルの投影像とが完全に重なっている場合、す
なわち手本画像と物体モデルとが一致している場合は、
物体モデルを修正する必要はない（＃４）。その場合に
はモデリングシステム１が物体モデルの出力（＃８）を
終えた時点でモデリングが完了する。
と物体モデルの投影像とが完全に重なっている場合、す
なわち手本画像と物体モデルとが一致している場合は、
物体モデルを修正する必要はない（＃４）。その場合に
はモデリングシステム１が物体モデルの出力（＃８）を
終えた時点でモデリングが完了する。
【００２３】手本画像と物体モデルとが一致していない
場合には、オペレータは、適切な修正操作を行う（＃
５）。手本画像と物体モデルとが大幅にくい違うときに
は手動修正が好ましい。オペレータは、グローバル座標
空間内の物体モデルに対して移動・回転・拡大・縮小な
どの修正を加える旨の指示を、モデリングシステム１に
与える。例えば物体モデルを定義するパラメータの変更
を指定し、マウス２２を移動させてパラメータ値の増減
を指示する。パラメータとしては、姿勢と位置とを規定
するグローバル座標系に対するローカル座標系の位置、
向きの変位、透視変換のための焦点距離、部分伸縮率な
どがある。物体モデルの特定部位をマウス２２によって
ドラッグすることで、物体モデルの変形を指示すること
もできる。その際、ドラッグが有効な特定部位は、輝度
の格差や点滅によって強調表示される。
場合には、オペレータは、適切な修正操作を行う（＃
５）。手本画像と物体モデルとが大幅にくい違うときに
は手動修正が好ましい。オペレータは、グローバル座標
空間内の物体モデルに対して移動・回転・拡大・縮小な
どの修正を加える旨の指示を、モデリングシステム１に
与える。例えば物体モデルを定義するパラメータの変更
を指定し、マウス２２を移動させてパラメータ値の増減
を指示する。パラメータとしては、姿勢と位置とを規定
するグローバル座標系に対するローカル座標系の位置、
向きの変位、透視変換のための焦点距離、部分伸縮率な
どがある。物体モデルの特定部位をマウス２２によって
ドラッグすることで、物体モデルの変形を指示すること
もできる。その際、ドラッグが有効な特定部位は、輝度
の格差や点滅によって強調表示される。
【００２４】モデリングシステム１は、指示に則して物
体モデルを定義するパラメータを修正する（＃６）。修
正毎に、モニター画像は、手本画像と修正後の最新の物
体モデルとの関係を示す画像に更新される。なお、手動
修正モードにおいて、オペレータは、物体モデルの配置
状態の理解を容易にするために、球のワイヤフレームモ
デル（ガイドポリゴン）をモニター画像に重ねて表示さ
せることができる。
体モデルを定義するパラメータを修正する（＃６）。修
正毎に、モニター画像は、手本画像と修正後の最新の物
体モデルとの関係を示す画像に更新される。なお、手動
修正モードにおいて、オペレータは、物体モデルの配置
状態の理解を容易にするために、球のワイヤフレームモ
デル（ガイドポリゴン）をモニター画像に重ねて表示さ
せることができる。
【００２５】オペレータが自動修正を指示すると、モデ
リングシステム１は、手本画像の解析によって手本画像
と物体モデルの投影像とのズレを数値化し、ズレが最小
となる修正量を算定して物体モデルを修正する（＃
７）。
リングシステム１は、手本画像の解析によって手本画像
と物体モデルの投影像とのズレを数値化し、ズレが最小
となる修正量を算定して物体モデルを修正する（＃
７）。
【００２６】以下、具体例を挙げてモデリングシステム
１の機能を説明する。図４は物体Ｏと手本画像Ｇ１とを
示す図である。ここでは、図４（Ａ）に示す略直方体の
建物Ｏが、モデリング対象の物体である。建物Ｏの物体
モデル（３次元形状モデル）を図４（Ｂ）に示す手本画
像Ｇ１を利用して生成する。手本画像Ｇ１は建物Ｏの外
面Ｓ１に向かって右側の位置ＶＰ１から建物Ｏを撮影し
た写真である。なお、手本画像Ｇ１では外面Ｓ１の一部
が欠けている。したがって、物体モデルにおける外面Ｓ
１の水平方向の長さを確定するには、外面Ｓ１の全域の
情報をもつ手本画像（例えば図５の画像Ｇ３）が必要で
ある。
１の機能を説明する。図４は物体Ｏと手本画像Ｇ１とを
示す図である。ここでは、図４（Ａ）に示す略直方体の
建物Ｏが、モデリング対象の物体である。建物Ｏの物体
モデル（３次元形状モデル）を図４（Ｂ）に示す手本画
像Ｇ１を利用して生成する。手本画像Ｇ１は建物Ｏの外
面Ｓ１に向かって右側の位置ＶＰ１から建物Ｏを撮影し
た写真である。なお、手本画像Ｇ１では外面Ｓ１の一部
が欠けている。したがって、物体モデルにおける外面Ｓ
１の水平方向の長さを確定するには、外面Ｓ１の全域の
情報をもつ手本画像（例えば図５の画像Ｇ３）が必要で
ある。
【００２７】図５はディスプレイ３０の表示例を示す図
であり、図３のステップ＃２が終了した段階の画面（ス
クリーン）３１の内容を示している。なお、画面３１に
は、図示しないアイコンやメッセージを表示する領域が
存在する。
であり、図３のステップ＃２が終了した段階の画面（ス
クリーン）３１の内容を示している。なお、画面３１に
は、図示しないアイコンやメッセージを表示する領域が
存在する。
【００２８】画面３１の下半部に、イメージリーダ５０
によって読み取られた４つの手本画像Ｇ１〜４が並べら
れている。画像Ｇ２〜４も建物Ｏを撮影した写真であ
る。画面３１の上半部の左側に、種々の基本形状の中か
ら選択された基本モデル（直方体のワイヤフレームモデ
ル）が建物Ｏの現時点の物体モデルＭ0 として表示され
ている。オペレータが手動修正モードを指定すると、画
面３１内にモニター画像を表示するための領域（ウイン
ドウ）Ａｗが設定される。
によって読み取られた４つの手本画像Ｇ１〜４が並べら
れている。画像Ｇ２〜４も建物Ｏを撮影した写真であ
る。画面３１の上半部の左側に、種々の基本形状の中か
ら選択された基本モデル（直方体のワイヤフレームモデ
ル）が建物Ｏの現時点の物体モデルＭ0 として表示され
ている。オペレータが手動修正モードを指定すると、画
面３１内にモニター画像を表示するための領域（ウイン
ドウ）Ａｗが設定される。
【００２９】図６は手動修正におけるモニター画像ＧＭ
１，２の変化を示す図、図７は物体モデルＭ0 と手本画
像Ｇ１との位置関係の模式図、図８は物体モデルＭ0 の
表現例を示す図である。
１，２の変化を示す図、図７は物体モデルＭ0 と手本画
像Ｇ１との位置関係の模式図、図８は物体モデルＭ0 の
表現例を示す図である。
【００３０】手動修正の開始時点において、領域Ａｗに
は、手本画像Ｇ１と物体モデルＭ0との関係を示すモニ
ター画像ＧＭ１が表示される〔図６（Ａ）〕。このと
き、物体モデルＭ0 の表示色は、手本画像Ｇ１との識別
が容易なように画素単位で設定される。例えば、基本の
表示色を赤色とし、手本画像Ｇ１内の赤色の画素と重な
る部分の表示色を赤色以外の色（例えば赤色の補色）と
する。ワイヤフレームの内のいわゆる隠れ線部分を他の
部分と異なる色とする色分け表示は、物体モデルＭ0 が
示す立体構造の理解に役立つ。
は、手本画像Ｇ１と物体モデルＭ0との関係を示すモニ
ター画像ＧＭ１が表示される〔図６（Ａ）〕。このと
き、物体モデルＭ0 の表示色は、手本画像Ｇ１との識別
が容易なように画素単位で設定される。例えば、基本の
表示色を赤色とし、手本画像Ｇ１内の赤色の画素と重な
る部分の表示色を赤色以外の色（例えば赤色の補色）と
する。ワイヤフレームの内のいわゆる隠れ線部分を他の
部分と異なる色とする色分け表示は、物体モデルＭ0 が
示す立体構造の理解に役立つ。
【００３１】図６における物体モデルＭ0 の像は、グロ
ーバル座標空間に配置された物体モデルＭ0 の画面３１
への投影像である（図７参照）。オペレータは、目視判
断に基づいて、グローバル座標空間内での物体モデルＭ
0 の配置状態（位置、傾き）の調整を行うとともに、物
体モデルＭ0 の変形（幅、高さ、奥行きの相対比の変
更）を行う。適切な修正操作によって、手本画像Ｇ１中
の物体とほぼ一致する物体モデルＭ1 が得られる。画面
３１には得られた物体モデルＭ1 と手本画像Ｇ１との関
係を示すモニター画像ＧＭ２が表示される〔図６
（Ｂ）〕。
ーバル座標空間に配置された物体モデルＭ0 の画面３１
への投影像である（図７参照）。オペレータは、目視判
断に基づいて、グローバル座標空間内での物体モデルＭ
0 の配置状態（位置、傾き）の調整を行うとともに、物
体モデルＭ0 の変形（幅、高さ、奥行きの相対比の変
更）を行う。適切な修正操作によって、手本画像Ｇ１中
の物体とほぼ一致する物体モデルＭ1 が得られる。画面
３１には得られた物体モデルＭ1 と手本画像Ｇ１との関
係を示すモニター画像ＧＭ２が表示される〔図６
（Ｂ）〕。
【００３２】図８のように、物体モデルＭ0 は番号０〜
５の６つのポリゴンで表現される。図８では便宜上ポリ
ゴンの番号を括弧つきの数字で示してある。ポリゴンは
いずれも四角形であり、それぞれに４つの頂点が対応す
る。頂点は、物体モデルＭ0を定義するための直交座標
系であるローカル座標系の座標（ｘ，ｙ，ｚ）で表現さ
れる。
５の６つのポリゴンで表現される。図８では便宜上ポリ
ゴンの番号を括弧つきの数字で示してある。ポリゴンは
いずれも四角形であり、それぞれに４つの頂点が対応す
る。頂点は、物体モデルＭ0を定義するための直交座標
系であるローカル座標系の座標（ｘ，ｙ，ｚ）で表現さ
れる。
【００３３】図９は自動修正の手順を示す図である。図
９においては、手本画像Ｇ１の中の建物Ｏに対応する部
分にハッチングを付してある。自動修正部１３３は、手
動修正で得られた物体モデルＭ1 の１つの辺Ｅ26に注目
する〔図９（Ａ）〕。辺Ｅ26の端点は頂点Ｐ２，Ｐ６で
ある。手本画像Ｇ１に対する画像解析は、モニター画像
ＧＭ２（つまり画面３１）での辺Ｅ26を含む部分画像Ｇ
１０を対象として行われる。図９（Ｂ）のように、部分
画像Ｇ１０は、辺Ｅ26を中心線とする矩形領域Ａ26内の
画像である。矩形領域Ａ26における辺Ｅ 26と直交する方
向の外形寸法は、画素数に換算して１０に選定されてい
る（ただし、１０に限定する必要はない）。部分画像Ｇ
１０の画素値の分布を解析し、手本画像Ｇ１（厳密には
部分画像Ｇ１０）における建物Ｏと背景Ｂとの境界に合
致する直線Ｌ１を求める〔図９（Ｃ）〕。
９においては、手本画像Ｇ１の中の建物Ｏに対応する部
分にハッチングを付してある。自動修正部１３３は、手
動修正で得られた物体モデルＭ1 の１つの辺Ｅ26に注目
する〔図９（Ａ）〕。辺Ｅ26の端点は頂点Ｐ２，Ｐ６で
ある。手本画像Ｇ１に対する画像解析は、モニター画像
ＧＭ２（つまり画面３１）での辺Ｅ26を含む部分画像Ｇ
１０を対象として行われる。図９（Ｂ）のように、部分
画像Ｇ１０は、辺Ｅ26を中心線とする矩形領域Ａ26内の
画像である。矩形領域Ａ26における辺Ｅ 26と直交する方
向の外形寸法は、画素数に換算して１０に選定されてい
る（ただし、１０に限定する必要はない）。部分画像Ｇ
１０の画素値の分布を解析し、手本画像Ｇ１（厳密には
部分画像Ｇ１０）における建物Ｏと背景Ｂとの境界に合
致する直線Ｌ１を求める〔図９（Ｃ）〕。
【００３４】辺Ｅ26に対する処理と同様に、頂点Ｐ６，
Ｐ７に対応する辺Ｅ67に注目して手本画像Ｇ１を部分的
に解析し、建物Ｏの稜線（背景Ｂとの境界）に合致する
直線Ｌ２を求める〔図９（Ｄ）〕。そして、直線Ｌ１と
直線Ｌ２との交点Ｑ６を求める。
Ｐ７に対応する辺Ｅ67に注目して手本画像Ｇ１を部分的
に解析し、建物Ｏの稜線（背景Ｂとの境界）に合致する
直線Ｌ２を求める〔図９（Ｄ）〕。そして、直線Ｌ１と
直線Ｌ２との交点Ｑ６を求める。
【００３５】画面３１上で頂点Ｐ６が交点Ｑ６と重なる
ように物体モデルＭ1 を修正する必要がある。つまり、
交点Ｑ６が頂点Ｐ６の修正目標である。他の頂点Ｐ４，
Ｐ５，Ｐ７のいずれかが手本画像Ｇ１の建物Ｏとずれて
いる場合には、そのズレをも無くす必要がある。自動修
正部１３３は、頂点Ｐ４〜７のズレが全体として最小と
なるように、物体モデルＭ1 を定義するパラメータを修
正する。
ように物体モデルＭ1 を修正する必要がある。つまり、
交点Ｑ６が頂点Ｐ６の修正目標である。他の頂点Ｐ４，
Ｐ５，Ｐ７のいずれかが手本画像Ｇ１の建物Ｏとずれて
いる場合には、そのズレをも無くす必要がある。自動修
正部１３３は、頂点Ｐ４〜７のズレが全体として最小と
なるように、物体モデルＭ1 を定義するパラメータを修
正する。
【００３６】以下、自動修正部１３３が実行する演算の
内容をさらに詳しく説明する。 〔画像解析〕 部分画像Ｇ１０から建物Ｏのエッジ（境界）を抽出す
るため、部分画像Ｇ１０における水平方向（Ｘ方向）及
び垂直方向（Ｙ方向）の画像値の変化を調べ、Ｘ方向及
びＹ方向のエッジ評価値Ｅｘ，Ｅｙを得る。辺Ｅ26に沿
った方向のエッジ評価値Ｅθを（１）式によって算出す
る。
内容をさらに詳しく説明する。 〔画像解析〕 部分画像Ｇ１０から建物Ｏのエッジ（境界）を抽出す
るため、部分画像Ｇ１０における水平方向（Ｘ方向）及
び垂直方向（Ｙ方向）の画像値の変化を調べ、Ｘ方向及
びＹ方向のエッジ評価値Ｅｘ，Ｅｙを得る。辺Ｅ26に沿
った方向のエッジ評価値Ｅθを（１）式によって算出す
る。
【００３７】
Ｅθ＝｜−Ｅｘ・ｓｉｎθ＋Ｅｙ・ｃｏｓθ｜ …（１）
θ：Ｘ方向に対する辺の傾斜角度
エッジ評価値Ｅθに基づいて直線Ｌ１を求める。部分
画像Ｇ１０内の座標（Ｘ，Ｙ）の点がＥθXYのエッジで
あった場合、直線Ｌ１は、最小二乗法を適用することに
よって（２）式で特定される。
画像Ｇ１０内の座標（Ｘ，Ｙ）の点がＥθXYのエッジで
あった場合、直線Ｌ１は、最小二乗法を適用することに
よって（２）式で特定される。
【００３８】
−Ｘ・ｓｉｎφ＋Ｙ・ｃｏｓφ＝ｈ …（２）
ｈ：−Ｘave ・ｓｉｎφ＋Ｙave ・ｃｏｓφ
φ：（１／２）・ｔａｎ-1（２Ａ／Ｂ）
〔Ｂ・ｃｏｓ２φ＋２Ａ・ｓｉｎ２φ＞０〕
Ａ：Σ（Ｘ・ＥθXY−Ｘave ）（Ｙ・ＥθXY−Ｙave ）
Ｂ：Σ（Ｘ・ＥθXY−Ｘave ）2 −Σ（Ｙ・ＥθXY−Ｙ
ave ）2 Ｘave ：Σ（Ｘ・ＥθXY）／ΣＥθXY Ｙave ：Σ（Ｙ・ＥθXY）／ΣＥθXY 〔修正量の算出〕物体モデルＭ1 のパラメータの修正量
は、画面３１上で頂点Ｐ４〜７が修正目標と一致すると
きのパターニング値と現時点のパターニング値との差で
ある。
ave ）2 Ｘave ：Σ（Ｘ・ＥθXY）／ΣＥθXY Ｙave ：Σ（Ｙ・ＥθXY）／ΣＥθXY 〔修正量の算出〕物体モデルＭ1 のパラメータの修正量
は、画面３１上で頂点Ｐ４〜７が修正目標と一致すると
きのパターニング値と現時点のパターニング値との差で
ある。
【００３９】パラメータをΠi （ｉ＝１〜ｎ）とし、そ
れによって特定される画面３１上の頂点Ｐj （ｊ＝１〜
ｍ）と修整目標点Ｑj のＸ座標の差を表す式をＦｊ（Π
1 ，Π2 ，…Πn ）、Ｙ座標の差を表す式をＧｊ
（Π1 ，Π2 ，…Πn ）とする。
れによって特定される画面３１上の頂点Ｐj （ｊ＝１〜
ｍ）と修整目標点Ｑj のＸ座標の差を表す式をＦｊ（Π
1 ，Π2 ，…Πn ）、Ｙ座標の差を表す式をＧｊ
（Π1 ，Π2 ，…Πn ）とする。
【００４０】現時点のパラメータ値Πi についてＦｊ
（Π1 ，Π2 ，…Πn ）とＧｊ（Π1，Π2 ，…Πn ）
とをテーラー展開し、１次項を取り出す。各パラメータ
の修整量をΔΠi とすると、Ｆｊ（Π1 ，Π2 ，…
Πn ），Ｇｊ（Π1 ，Π2 ，…Πn）は次式で表され
る。
（Π1 ，Π2 ，…Πn ）とＧｊ（Π1，Π2 ，…Πn ）
とをテーラー展開し、１次項を取り出す。各パラメータ
の修整量をΔΠi とすると、Ｆｊ（Π1 ，Π2 ，…
Πn ），Ｇｊ（Π1 ，Π2 ，…Πn）は次式で表され
る。
【００４１】
Ｆｊ（Π1 ，Π2 ，…Πn ）＝（ｄＦ／ｄΠ1 ）ΔΠ1
＋（ｄＦ／ｄΠ2 ）ΔΠ2
・・・＋（ｄＦ／ｄΠn ）ΔΠn …（３）
Ｇｊ（Π1 ，Π2 ，…Πn ）＝（ｄＧ／ｄΠ1 ）ΔΠ1
＋（ｄＧ／ｄΠ2 ）ΔΠ2
・・・＋（ｄＧ／ｄΠn ）ΔΠn …（４）
（３）式及び（４）式のΔΠi を未知数として連立方程
式を解けば修正量を得ることができる。修整量ΔΠi を
現時点のパラメータ値Πi に加えた結果が、修正後の物
体モデルＭ2 のパラメータ値である。
式を解けば修正量を得ることができる。修整量ΔΠi を
現時点のパラメータ値Πi に加えた結果が、修正後の物
体モデルＭ2 のパラメータ値である。
【００４２】以上、建物Ｏの外面Ｓ１の一部の情報が欠
けた手本画像Ｇ１を用いたモデリング作業を説明した
が、モデルの用途によっては他の手本画像を用いる必要
がある。その場合、他の手本画像を用いて物体モデルに
おける外面Ｓ１に対応するポリゴンの縦横比を手動で定
めた後、手本画像Ｇ１を用いて手動及び自動のモデル修
正を行ってもよいし、逆の順序で物体モデルを完成させ
てもよい。例示のように実際の物体が直方体の場合は、
隣接する２つのポリゴンに対応する情報を有した画像
（例えば正面の全域と側面の全域とが写った建物Ｏの全
景写真など）を用いれば、１枚の画像で物体モデルを完
成させることが可能である。種々の撮影アングルの写真
を利用すれば、より物体モデルの精度を高めることがで
きる。
けた手本画像Ｇ１を用いたモデリング作業を説明した
が、モデルの用途によっては他の手本画像を用いる必要
がある。その場合、他の手本画像を用いて物体モデルに
おける外面Ｓ１に対応するポリゴンの縦横比を手動で定
めた後、手本画像Ｇ１を用いて手動及び自動のモデル修
正を行ってもよいし、逆の順序で物体モデルを完成させ
てもよい。例示のように実際の物体が直方体の場合は、
隣接する２つのポリゴンに対応する情報を有した画像
（例えば正面の全域と側面の全域とが写った建物Ｏの全
景写真など）を用いれば、１枚の画像で物体モデルを完
成させることが可能である。種々の撮影アングルの写真
を利用すれば、より物体モデルの精度を高めることがで
きる。
【００４３】
【発明の効果】請求項１乃至請求項４の発明によれば、
オペレータの作業負担を増大することなく、より正確な
３次元形状モデルを生成することができる。
オペレータの作業負担を増大することなく、より正確な
３次元形状モデルを生成することができる。
【００４４】請求項２及び請求項３の発明によれば、画
像処理の負担を軽減し、モデリングの効率化を図ること
ができる。請求項４の発明によれば、オペレータが３次
元形状モデルを容易に認識することができる。
像処理の負担を軽減し、モデリングの効率化を図ること
ができる。請求項４の発明によれば、オペレータが３次
元形状モデルを容易に認識することができる。
【図面の簡単な説明】
【図１】本発明に係るモデリングシステムの構成図であ
る。
る。
【図２】ＣＰＵの機能ブロック図である。
【図３】モデリングの概略を示すフローチャートであ
る。
る。
【図４】物体と手本画像とを示す図である。
【図５】ディスプレイの表示例を示す図である。
【図６】手動修正におけるモニター画像の変化を示す図
である。
である。
【図７】物体モデルと手本画像との位置関係の模式図で
ある。
ある。
【図８】物体モデルの表現例を示す図である。
【図９】自動修正の手順を示す図である。
１ モデリングシステム
１３１ 表示制御部（表示制御手段）
１３２ 手動修正部（手動修正手段）
１３３ 自動修正部（自動修正手段）
Ｅ26 辺
Ｇ１ 手本画像（２次元画像）
Ｇ１０ 部分画像（一部の領域）
ＧＭ１，ＧＭ２ モニター画像
Ｍ1 物体モデル（３次元形状モデル）
Ｏ 建物（物体）
Ｐ６，Ｐ７ 頂点（端点）
Ｑ６ 交点（修正目標）
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平６−290239（ＪＰ，Ａ)
特開 平３−138784（ＪＰ，Ａ)
特開 昭58−99087（ＪＰ，Ａ)
特開 平４−289976（ＪＰ，Ａ)
特開 平６−215097（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 15/00 - 17/50
G06F 17/50
Claims (4)
- 【請求項１】物体の立体構造情報を含む２次元画像に基
づいて前記物体の３次元形状モデルを生成するためのモ
デリングシステムであって、 最新の３次元形状モデルと前記２次元画像とをグローバ
ル座標空間に配置して当該２次元画像を含む平面に当該
３次元形状モデルを投影したときの像である投影像と当
該２次元画像とを合成し、得られた合成画像をモニター
画像として表示する表示制御手段と、 オペレータから与えられる指示に従って前記３次元形状
モデルを修正する手動修正手段と、 前記２次元画像の内の前記モニター画像における前記３
次元形状モデルを含む一部の領域を対象に画像解析を行
い、その結果に基づいて当該前記３次元形状モデルの修
正目標を設定し、当該辺の端点を前記修正目標に近づけ
るように当該３次元形状モデルを修正する自動修正手段
と、 を有したことを特徴とするモデリングシステム。 - 【請求項２】前記自動修正手段は、前記２次元画像の内
の前記モニター画像における前記３次元形状モデルの辺
を含む一部の領域を対象に画像解析を行い、当該辺の端
点の修正目標を設定し、当該辺の端点を前記修正目標に
近づけるように前記３次元形状モデルを修正する請求項
１記載のモデリングシステム。 - 【請求項３】前記自動修正手段は、前記３次元形状モデ
ルの修正量を、３次元形状モデルのパラメータの修正前
の値と前記パラメータの前記修正目標に対応した値との
差に基づいて算出する請求項２記載のモデリングシステ
ム。 - 【請求項４】前記表示制御手段は、前記３次元形状モデ
ルをワイヤフレーム形式で図式化し、且つ前記３次元形
状モデルの内の前記２次元画像と重なる部分の表示色を
画素毎に前記２次元画像と異なる色に設定する請求項１
乃至請求項３のいずれかに記載のモデリングシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25305595A JP3429400B2 (ja) | 1995-09-29 | 1995-09-29 | モデリングシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25305595A JP3429400B2 (ja) | 1995-09-29 | 1995-09-29 | モデリングシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0997354A JPH0997354A (ja) | 1997-04-08 |
| JP3429400B2 true JP3429400B2 (ja) | 2003-07-22 |
Family
ID=17245863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25305595A Expired - Fee Related JP3429400B2 (ja) | 1995-09-29 | 1995-09-29 | モデリングシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3429400B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11250250A (ja) | 1998-02-27 | 1999-09-17 | Fujitsu Ltd | 三次元形状抽出装置及び記録媒体 |
| US6567085B1 (en) * | 1999-12-22 | 2003-05-20 | Lucent Technologies Inc. | Display techniques for three-dimensional virtual reality |
| JP2003006680A (ja) | 2001-06-20 | 2003-01-10 | Zenrin Co Ltd | ３次元電子地図データの生成方法 |
| CN1313979C (zh) * | 2002-05-03 | 2007-05-02 | 三星电子株式会社 | 产生三维漫画的装置和方法 |
| JP5800484B2 (ja) | 2010-09-22 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
| JP5687881B2 (ja) * | 2010-11-12 | 2015-03-25 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
| JP6092921B2 (ja) * | 2015-03-26 | 2017-03-08 | サイトセンシング株式会社 | ３ｄモデル作成装置、３ｄモデル作成方法及び３ｄモデル作成プログラム |
-
1995
- 1995-09-29 JP JP25305595A patent/JP3429400B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0997354A (ja) | 1997-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5990900A (en) | Two-dimensional to three-dimensional image converting system | |
| JP3148045B2 (ja) | 三次元物体ｃｇ作成装置 | |
| Sinha et al. | Interactive 3D architectural modeling from unordered photo collections | |
| US6046745A (en) | Three-dimensional model making device and its method | |
| EP2546806B1 (en) | Image based rendering for ar - enabling user generation of 3d content | |
| US7812839B2 (en) | Method for creating 3-D curved suface by using corresponding curves in a plurality of images | |
| JP3744039B2 (ja) | 透視図作成支援方法 | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| JPH0773344A (ja) | ２次元グラフィック・ディスプレイにおける３次元点の指定方法及び装置 | |
| JP3855053B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP3429400B2 (ja) | モデリングシステム | |
| JPH0997344A (ja) | テクスチャ生成方法およびテクスチャ生成システム | |
| JP3459401B2 (ja) | Ｚバッファを用いた立体映像生成方法 | |
| JP2832463B2 (ja) | ３次元モデルの再構成方法および表示方法 | |
| JP2004199301A (ja) | 画像加工装置 | |
| JP3577202B2 (ja) | 映像作成装置 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP4269951B2 (ja) | ３次元コンピュータ・グラフィックス・モデリング・システム | |
| JP4017351B2 (ja) | ３次元モデル生成装置および３次元モデル生成プログラム | |
| JP3575469B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JPH0877389A (ja) | ３次元形状モデル生成装置 | |
| JP2005322097A (ja) | 対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラム | |
| JP3441804B2 (ja) | 画像処理装置及び方法 | |
| JP3540157B2 (ja) | 画像を利用した形状モデリング方法及び形状モデリングプログラムを記録した記録媒体 | |
| JP3132220B2 (ja) | ３次元モデルの形状作成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021022 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030430 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090516 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090516 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100516 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100516 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |