JP6661980B2 - 重畳表示方法、重畳表示装置、及び重畳表示プログラム - Google Patents

Description

本発明は、重畳表示方法、重畳表示装置、及び重畳表示プログラムに関する。

鉄構業界において鉄塔、橋梁等の立体構造物を構築する際、Computer Aided Design（ＣＡＤ）による設計から現場組立までの間に、部材加工工程、溶接工程、仮組立工程等が実施されることがある。この場合、仮組立工程の後に、部材が現場へ出荷され、現場組立が行われる。部材加工工程では、立体構造物の鉄鋼部材等が加工され、溶接工程では、鉄鋼部材の仮溶接、仮溶接の診断、及び本溶接が行われ、仮組立工程では、仮組立、分解、塗装仕上げ、及び診断が行われる。

このような立体構造物は大型の一品物であることが多いため、溶接工程及び仮組立工程における診断は、仮溶接又は塗装された対象物と、設計時に作成された３次元ＣＡＤモデルとを比較する、目視確認により行われることが多い。

溶接工程における不具合が診断時に見過ごされ、仮組立の作業中に発見された場合、仮組立工程から部材加工工程等への手戻りが発生する。また、仮組立工程における不具合が診断時に見過ごされ、現場組立の作業中に発見された場合、現場組立から部材加工工程等への手戻りが発生する。

画像処理の分野において、物体の画像と３次元モデルの画像とを重畳表示する技術も知られている（例えば、特許文献１〜特許文献３を参照）。

特開２０１０−２１１７４６号公報 特開平１１−２３９９８９号公報 国際公開第２０１２／１７３１４１号パンフレット

上述した従来の立体構造物の構築作業においては、診断方法のデジタル化が進んでいない。そこで、仮組立及び現場組立における手戻りの発生を防止するために、対象物と３次元ＣＡＤモデルとを比較する目視確認に一定の作業時間が費やされる。部材の個数が多くなれば、立体構造物の診断箇所も多くなるため、目視確認の作業時間が増大する。また、精度の高い診断を短時間で行える熟練作業者を育成するのは容易ではなく、熟練作業者の育成期間が数年に及ぶこともある。

なお、かかる問題は、鉄塔、橋梁等の構築作業における診断に限らず、他の立体構造物とそのモデル情報が表すモデルとを比較する確認作業においても生ずるものである。

１つの側面において、本発明は、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することを目的とする。

１つの案では、コンピュータは以下の処理を実行する。
（１）コンピュータは、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、その立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示する。
（２）コンピュータは、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付ける。
（３）コンピュータは、受け付けた選択指示に応じて、重ね合わせる対象のエッジ線と稜線とが重なるようにモデル画像を撮像画像に重畳した重畳画像を表示する。

実施形態によれば、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することができる。

第１の重畳表示装置の機能的構成図である。 第１の重畳表示処理のフローチャートである。 第２の重畳表示装置の機能的構成図である。 第２の重畳表示処理のフローチャートである。 重畳表示装置の具体例を示す機能的構成図である。 重畳表示処理の具体例を示すフローチャート（その１）である。 重畳表示処理の具体例を示すフローチャート（その２）である。 撮像画像を示す図である。 モデル情報を示す図である。 エッジ線を示す図である。 稜線を示す図である。 ポリゴンを示す図である。 モデル画像を示す図である。 モデル画像の大きさの調整を示す図である。 モデル画像の向きの調整を示す図である。 モデル画像の位置の調整を示す図である。 選択されたエッジ線及び稜線を示す図である。 解除されたエッジ線及び稜線を示す図である。 エッジ線及び稜線の４個の組み合わせを示す図である。 組み合わせ情報を示す図である。 重畳画像を示す図である。 重畳表示処理を示す図である。 調整処理のフローチャートである。 調整処理を示す図である。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、第１の重畳表示装置の機能的構成例を示している。図１の重畳表示装置１０１は、表示部１１１及び受け付け部１１２を含む。

図２は、図１の重畳表示装置１０１が行う第１の重畳表示処理の例を示すフローチャートである。まず、表示部１１１は、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、その立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示する（ステップ２０１）。

次に、受け付け部１１２は、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付ける（ステップ２０２）。そして、表示部１１１は、受け付け部１１２が受け付けた選択指示に応じて、重ね合わせる対象のエッジ線と稜線とが重なるようにモデル画像を撮像画像に重畳した重畳画像を表示する。

図１の重畳表示装置１０１によれば、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することができる。

図３は、第２の重畳表示装置の機能的構成例を示している。図３の重畳表示装置３０１は、表示部３１１、受け付け部３１２、及び制御部３１３を含む。

図４は、図３の重畳表示装置３０１が行う第２の重畳表示処理の例を示すフローチャートである。まず、表示部３１１は、撮像装置により立体構造物を撮像した撮像画像と、その立体構造物のモデル情報が表すモデル画像とを表示する（ステップ４０１）。

次に、制御部３１３は、受け付け部３１２が重畳表示指示を受け付ける前後において、変更指示を撮像画像とモデル画像とに対して別々に受け付けるか、又は変更指示を撮像画像とモデル画像とに共通して受け付けるかを切り替える（ステップ４０２）。重畳表示指示は、撮像画像の基準位置とモデル画像の基準位置とが重なるようにモデル画像を撮像画像に重畳した重畳画像を表示させる指示であり、変更指示は、撮像画像又はモデル画像の拡大、縮小、移動、又は回転を示す指示である。

図３の重畳表示装置３０１によれば、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することができる。

図５は、図１の重畳表示装置１０１及び図３の重畳表示装置３０１の具体例を示している。図５の重畳表示装置５０１は、受け付け部５１１、制御部５１２、表示部５１３、及び記憶部５１４を含む。受け付け部５１１は、図１の受け付け部１１２及び図３の受け付け部３１２に対応し、制御部５１２は、図３の制御部３１３に対応し、表示部５１３は、図１の表示部１１１及び図３の表示部３１１に対応する。

記憶部５１４は、１つ以上の撮像画像５２１、１つ以上のモデルファイル５２２、モデル画像５２３、組み合わせ情報５２４、重畳画像５２５、及び変更情報５２６を記憶する。撮像画像５２１は、カメラのような撮像装置により立体構造物を撮像した画像であり、撮像装置の画角を表す情報を含んでいてもよい。モデルファイル５２２は、立体構造物の３次元ＣＡＤモデルを表すモデル情報であり、３次元ＣＡＤモデルに含まれる複数の頂点の頂点情報と、複数の線分の線分情報とを含む。

モデル画像５２３は、モデルファイル５２２が表す３次元ＣＡＤモデルの画像である。組み合わせ情報５２４は、作業者が選択した、重ね合わせる対象のエッジ線と稜線との組み合わせを表す情報であり、重畳画像５２５は、モデル画像５２３を撮像画像５２１に重畳した画像である。変更情報５２６は、画像の拡大、縮小、移動、又は回転を示す変更指示を、撮像画像５２１とモデル画像５２３とに対して別々に受け付けるか、又は撮像画像５２１とモデル画像５２３とに共通して受け付けるかを示す情報である。

重畳表示装置５０１は、タブレット、ノート型パーソナルコンピュータ、スマートフォン等の携帯端末装置であってもよく、デスクトップ型パーソナルコンピュータ等の固定端末装置であってもよい。

図６Ａ及び図６Ｂは、図５の重畳表示装置５０１が行う重畳表示処理の具体例を示すフローチャートである。まず、作業者は、撮像画像５２１及びモデルファイル５２２を指定する指示を入力し、受け付け部５１１は、入力された指示を受け付ける（ステップ６０１）。そして、表示部５１３は、受け付け部５１１が受け付けた指示によって指定される撮像画像５２１を、画面上に表示する（ステップ６０２）。

図７は、表示された撮像画像５２１の例を示している。長方形の撮像画像７０１は、立方体の立体構造物の側面に対応している。

図８は、図７の撮像画像７０１に写っている立体構造物のモデルファイル５２２が表す３次元ＣＡＤモデルの例を示している。モデルファイル５２２の頂点情報は、立方体の頂点８０１等の識別情報と３次元座標とを含み、線分情報は、線分８０２、線分８０３等の識別情報と両端の頂点を示す識別情報とを含む。

次に、制御部５１２は、エッジ検出処理を行って、撮像画像５２１からエッジ線を抽出し（ステップ６０３）、抽出したエッジ線を画面上に表示する（ステップ６０４）。このとき、制御部５１２は、直線のエッジ線のみを抽出してもよく、直線及び曲線のエッジ線を抽出してもよい。

図９は、図７の撮像画像７０１から抽出されたエッジ線の例を示している。エッジ線９０１〜エッジ線９０４は、撮像画像７０１の長方形の４辺からそれぞれ抽出される。

次に、制御部５１２は、モデルファイル５２２の頂点情報及び線分情報を用いて、３次元ＣＡＤモデルの稜線を生成する（ステップ６０５）。制御部５１２は、例えば、線分情報に含まれる複数の線分の中から、３次元ＣＡＤモデルの外形特徴を表す線分のみを抽出し、抽出した線分を稜線として用いることができる。

図１０は、図８の３次元ＣＡＤモデルから生成された稜線の例を示している。図８の線分８０２は、立方体の辺に対応し、外形特徴を表すため、稜線１００１として抽出される。一方、線分８０３は、立方体の側面に含まれ、外形特徴を表していないため、稜線として抽出されない。

次に、制御部５１２は、生成した稜線で囲まれる面を表すポリゴンを生成し、生成した稜線及びポリゴンの情報を、モデル画像５２３として記憶部５１４に格納する（ステップ６０６）。生成されたポリゴンは、３次元ＣＡＤモデルの表面の一部を表している。

図１１は、図１０の稜線から生成されたポリゴンの例を示している。ポリゴン１１０１は、立方体の４辺に対応する４本の稜線で囲まれた長方形の側面を表す。

次に、制御部５１２は、撮像画像５２１とともに、モデル画像５２３を画面上に表示する（ステップ６０７）。これにより、撮像画像５２１から抽出されたエッジ線とともに、モデル画像５２３に含まれる稜線及びポリゴンが表示され、画面上でエッジ線と稜線とが選択可能な状態になる。このとき、制御部５１２は、変更指示を撮像画像５２１とモデル画像５２３とに対して別々に受け付けることを示す変更情報５２６を生成して、記憶部５１４に格納する。

図１２は、図１０の稜線及び図１１のポリゴンを用いて表示されるモデル画像５２３の例を示している。この例では、図９のエッジ線９０１〜エッジ線９０４とともに、立方体のモデル画像１２０１が表示されている。モデル画像１２０１として、稜線だけでなくポリゴンも表示することで、３次元ＣＡＤモデルの背面側の稜線をポリゴンで覆い隠して非表示にすることができ、３次元ＣＡＤモデルの外形が把握しやくなる。

次に、作業者は、画面上のモデル画像５２３の大きさが適切であるか否かを確認する（ステップ６０８）。作業者は、例えば、モデル画像５２３の大きさが、撮像画像５２１のエッジ線とモデル画像５２３の稜線との対応関係を把握するのに適切な大きさである場合に、モデル画像５２３の大きさが適切であると判断する。

モデル画像５２３の大きさが適切でない場合（ステップ６０８，ＮＯ）、作業者は、モデル画像５２３の拡大又は縮小を示す変更指示を入力し、受け付け部５１１は、入力された変更指示を受け付ける（ステップ６１１）。そして、制御部５１２は、変更指示に従ってモデル画像５２３を拡大又は縮小することで、モデル画像５２３の大きさを調整する。制御部５１２は、例えば、稜線及びポリゴンの拡大率又は縮小率を変更することで、モデル画像５２３を拡大又は縮小することができる。

図１３は、図１２に示したモデル画像１２０１の大きさの調整の例を示している。この例では、モデル画像１２０１が拡大されている。

モデル画像５２３の大きさが適切である場合（ステップ６０８，ＹＥＳ）、作業者は、画面上のモデル画像５２３の向きが適切であるか否かを確認する（ステップ６０９）。作業者は、例えば、モデル画像５２３の向きが、撮像画像５２１のエッジ線とモデル画像５２３の稜線との対応関係を把握するのに適切な向きである場合に、モデル画像５２３の向きが適切であると判断する。

モデル画像５２３の向きが適切でない場合（ステップ６０９，ＮＯ）、作業者は、モデル画像５２３の回転を示す変更指示を入力し、受け付け部５１１は、入力された変更指示を受け付ける（ステップ６１２）。そして、制御部５１２は、変更指示に従ってモデル画像５２３を回転させることで、モデル画像５２３の向きを調整する。制御部５１２は、例えば、稜線及びポリゴンの回転角度を変更することで、モデル画像５２３を回転させることができる。

図１４は、図１３に示したモデル画像１２０１の向きの調整の例を示している。この例では、モデル画像１２０１が反時計回りに回転している。

モデル画像５２３の向きが適切である場合（ステップ６０９，ＹＥＳ）、作業者は、画面上のモデル画像５２３の位置が適切であるか否かを確認する（ステップ６１０）。作業者は、例えば、モデル画像５２３の位置が、撮像画像５２１のエッジ線とモデル画像５２３の稜線との対応関係を把握するのに適切な位置である場合に、モデル画像５２３の位置が適切であると判断する。

モデル画像５２３の位置が適切でない場合（ステップ６１０，ＮＯ）、作業者は、モデル画像５２３の移動を示す変更指示を入力し、受け付け部５１１は、入力された変更指示を受け付ける（ステップ６１３）。そして、制御部５１２は、変更指示に従ってモデル画像５２３を移動させることで、モデル画像５２３の位置を調整する。制御部５１２は、例えば、稜線及びポリゴンの位置を変更することで、モデル画像５２３を移動させることができる。

図１５は、図１４に示したモデル画像１２０１の位置の調整の例を示している。この例では、モデル画像１２０１が上方へ移動している。

モデル画像５２３の位置が適切である場合（ステップ６１０，ＹＥＳ）、作業者は、重畳表示における基準位置となるエッジ線及び稜線を示す選択指示を入力し、受け付け部５１１は、入力された選択指示を受け付ける（ステップ６１４）。そして、制御部５１２は、選択指示が示すエッジ線及び稜線の色、太さ、線種等を変更することで、そのエッジ線及び稜線を強調して表示する。エッジ線及び稜線を強調して表示することで、作業者は、選択結果を容易に確認することができる。

このとき、制御部５１２は、そのエッジ線と稜線との間を結ぶ線分を表示してもよい。エッジ線と稜線との間を結ぶ線分を表示することで、作業者による選択結果の確認作業がさらに効率化される。

図１６は、図１５に示した画面において選択されたエッジ線及び稜線の例を示している。この例では、エッジ線９０１及び稜線１６０１が選択され、エッジ線９０１と稜線１６０１とを結ぶ線分１６１１が表示されている。

次に、作業者は、強調されたエッジ線及び稜線の組み合わせが適切であるか否かを確認する（ステップ６１５）。作業者は、例えば、強調されたエッジ線と稜線とが、立体構造物の同じ稜線に対応している場合に、その組み合わせが適切であると判断する。

組み合わせが適切でない場合（ステップ６１５，ＮＯ）、作業者は、選択した組み合わせを解除する指示を入力し、受け付け部５１１は、入力された指示を受け付ける（ステップ６２２）。そして、制御部５１２は、エッジ線及び稜線を強調する強調表示を解除する。このとき、制御部５１２は、そのエッジ線と稜線との間を結ぶ線分を非表示にする。

図１７は、解除されたエッジ線及び稜線の例を示している。この例では、選択されたエッジ線９０３及び稜線１７０１の組み合わせが解除され、エッジ線９０３と稜線１７０１とを結ぶ線分１７０２が非表示に変更されている。

次に、作業者は、ステップ６１４以降の操作を繰り返し、組み合わせが適切である場合（ステップ６１５，ＹＥＳ）、重ね合わせる対象のＮ個の組み合わせを選択したか否かを確認する（ステップ６１６）。Ｎは１以上の整数である。Ｎが小さいほど、作業者の作業時間は短くなるが、重畳表示の精度は低下する。一方、Ｎが大きいほど、作業者の作業時間は長くなるが、重畳表示の精度は向上する。Ｎは１〜４のいずれかであってもよい。

Ｎ個の組み合わせを選択していない場合（ステップ６１６，ＮＯ）、作業者は、ステップ６１４以降の操作を繰り返し、Ｎ個の組み合わせを選択した場合（ステップ６１６，ＹＥＳ）、重畳指示を入力する（ステップ６１７）。受け付け部５１１は、入力された重畳指示を受け付け、制御部５１２は、選択されたＮ個の組み合わせを表す組み合わせ情報５２４を生成して、記憶部５１４に格納する。

図１８は、エッジ線及び稜線の４個の組み合わせの例を示している。この例では、エッジ線９０１及び稜線１６０１の組み合わせと、エッジ線９０２及び稜線１６０２の組み合わせと、エッジ線９０３及び稜線１６０３の組み合わせと、エッジ線９０４及び稜線１６０４の組み合わせとが選択されている。そして、エッジ線９０１と稜線１６０１とを結ぶ線分１６１１と、エッジ線９０２と稜線１６０２とを結ぶ線分１６１２と、エッジ線９０３と稜線１６０３とを結ぶ線分１６１３と、エッジ線９０４と稜線１６０４とを結ぶ線分１６１４とが表示されている。

図１９は、組み合わせ情報５２４の例を示している。図１９の組み合わせ情報５２４の各エントリは、エッジ線ＩＤ、稜線ＩＤ、及び優先順位を含む。エッジＩＤは、組み合わせに含まれるエッジ線の識別情報であり、稜線ＩＤは、組み合わせに含まれる稜線の識別情報であり、優先順位は、所定の基準に基づいて決定された組み合わせの優先度を表す。

例えば、作業者がエッジ線及び稜線の組み合わせを選択した順序を、そのまま優先順位として決定してもよく、稜線の信頼度が高い順に優先順位を決定してもよい。例えば、立体構造物の部材の稜線のうち、加工精度又は組立精度の高い稜線の信頼度は高く、加工精度又は組立精度の低い稜線の信頼度は低くなる。この場合、モデルファイル５２２の線分情報に、それぞれの線分の信頼度を示す情報が付加され、制御部５１２は、選択された稜線の信頼度を参照して、組み合わせの優先順位を決定する。

Ｅ１〜Ｅ４は、図１８のエッジ線９０１〜エッジ線９０４のエッジ線ＩＤであり、Ｌ１〜Ｌ４は、稜線１６０１〜稜線１６０４の稜線ＩＤである。Ｅ１及びＬ１の組み合わせの優先順位が最も高く、Ｅ４及びＬ４の組み合わせの優先順位が最も低い。

次に、制御部５１２は、組み合わせ情報５２４の各組み合わせに含まれるエッジ線と稜線とが重なるようにモデル画像５２３を撮像画像５２１に重畳した重畳画像５２５を生成して、記憶部５１４に格納する（ステップ６１８）。制御部５１２は、例えば、モデル画像５２３の稜線及びポリゴンの拡大率又は縮小率、回転角度、及び位置を調整することで、モデル画像５２３を撮像画像５２１に重畳することができる。

なお、Ｎが２以上である場合、複数の組み合わせそれぞれに含まれるエッジ線と稜線とがすべて一致することは稀である。この場合、制御部５１２は、稜線及びポリゴンの拡大率又は縮小率、回転角度、及び位置の最適値を計算することで、それぞれのエッジ線と稜線とが適度に重なり合った重畳画像５２５を生成する。

次に、制御部５１２は、エッジ線及び稜線を強調する強調表示を解除するとともに、エッジ線を非表示にする（ステップ６１９）。このとき、制御部５１２は、エッジ線と稜線との間を結ぶ線分も非表示にする。

次に、制御部５１２は、重畳画像５２５を画面上に表示する（ステップ６２０）。このとき、制御部５１２は、組み合わせ情報５２４の各組み合わせに含まれるエッジ線及び稜線の色、太さ、線種等を変更することで、そのエッジ線及び稜線を強調して表示してもよい。エッジ線及び稜線を強調して表示することで、作業者は、重畳表示により重ね合わせられたエッジ線及び稜線を容易に確認することができる。そして、制御部５１２は、記憶部５１４内の変更情報５２６を、撮像画像５２１とモデル画像５２３とに共通して変更指示を受け付けることを示す情報に切り替える。

図２０は、図７の撮像画像７０１に図１２のモデル画像１２０１を重畳した重畳画像５２５の例を示している。

作業者は、画面上の重畳画像５２５を見て、撮像画像５２１とモデル画像５２３との間のずれを確認する。このとき、作業者は、所望の箇所のずれを確認するために、重畳画像５２５に対する変更指示を入力し、受け付け部５１１は、変更情報５２６に従って、入力された変更指示を撮像画像５２１とモデル画像５２３とに共通して受け付ける（ステップ６２１）。そして、制御部５１２は、変更指示に従って重畳画像５２５全体を拡大、縮小、回転、又は移動することで、重畳画像５２５の大きさ、向き、又は位置を調整する。

このような重畳表示処理によれば、１つの画面上に表示された撮像画像５２１のエッジ線とモデル画像５２３の稜線とを選択するだけで、選択したエッジ線と稜線とが重なった重畳画像５２５が自動的に表示される。したがって、立体構造物の撮像画像５２１とその３次元ＣＡＤモデルのモデル画像５２３とのずれを瞬時に確認することができ、立体構造物と３次元ＣＡＤモデルとを比較する確認作業が効率化される。また、熟練作業者でなくても、精度の高い診断を短時間で行うことが可能になる。

図２１は、別の撮像画像５２１に対する重畳表示処理の例を示している。まず、立体構造物の撮像画像２１０１から、エッジ検出処理によってエッジ線２１０２が抽出され、撮像画像２１０１及びエッジ線２１０２とともに、立体構造物の３次元ＣＡＤモデルから生成されたモデル画像２１０３が表示される。

次に、作業者から入力された選択指示に従って、撮像画像２１０１のエッジ線２１１１及びモデル画像２１０３の稜線２１２１の組み合わせが強調表示される。さらに、エッジ線２１１２及び稜線２１２２の組み合わせと、エッジ線２１１３及び稜線２１２３の組み合わせと、エッジ線２１１４及び稜線２１２４の組み合わせとが強調表示される。そして、エッジ線２１１１と稜線２１２１とを結ぶ線分２１３１と、エッジ線２１１２と稜線２１２２とを結ぶ線分２１３２と、エッジ線２１１３と稜線２１２３とを結ぶ線分２１３３と、エッジ線２１１４と稜線２１２４とを結ぶ線分２１３４とが表示される。

これらの４個の組み合わせが選択された後、エッジ線２１１１〜エッジ線２１１４と稜線２１２１〜稜線２１２４とがそれぞれ重なるように、モデル画像２１０３を撮像画像２１０１に重畳した、重畳画像２１０４が表示される。

図２２は、図６Ｂの重畳表示処理に続いて行われる調製処理の例を示すフローチャートである。この調整処理では、組み合わせ情報５２４に含まれる優先順位に基づいて、重畳画像５２５に含まれる撮像画像５２１又はモデル画像５２３の大きさ、向き、又は位置が調整される。

まず、作業者は、画面上の重畳画像５２５を見て、撮像画像５２１とモデル画像５２３とがずれているか否かを確認する（ステップ２２０１）。撮像画像５２１とモデル画像５２３とがずれていない場合（ステップ２２０１，ＮＯ）、作業者は、確認作業を終了する。

一方、撮像画像５２１とモデル画像５２３とがずれている場合（ステップ２２０１，ＹＥＳ）、作業者は、重畳画像５２５に対する調整指示を入力し、受け付け部５１１は、入力された調整指示を受け付ける。そして、制御部５１２は、調整指示に応じて、優先順位を示す制御変数ｉに１を設定する（ステップ２２０２）。

次に、制御部５１２は、組み合わせ情報５２４の優先順位ｉのエントリを選択し、選択したエントリからエッジ線ＩＤ及び稜線ＩＤを取得し、取得したエッジ線ＩＤ及び稜線ＩＤが示すエッジ線及び稜線を強調して表示する（ステップ２２０３）。そして、作業者は、強調されたエッジ線及び稜線の組み合わせを基準として調整を行うか否かを判断する。

強調されたエッジ線及び稜線の組み合わせを基準として調整を行う場合（ステップ２２０３，ＹＥＳ）、作業者は、実行指示を入力し、受け付け部５１１は、入力された実行指示を受け付ける。そして、制御部５１２は、実行指示に従って、強調したエッジ線と稜線とが一致するようにモデル画像５２３を拡大、縮小、回転、又は移動することで、重畳画像５２５を調整する（ステップ２２０４）。

次に、制御部５１２は、ｉがＮに達したか否をチェックする（ステップ２２０５）。ｉがＮに達していない場合（ステップ２２０５，ＮＯ）、制御部５１２は、ｉを１だけインクリメントして（ステップ２２０６）、ステップ２２０３以降の処理を繰り返す。一方、ｉがＮに達している場合（ステップ２２０５，ＹＥＳ）、制御部５１２は、処理を終了する。

このような調整処理によれば、撮像画像５２１とモデル画像５２３とがずれている場合に、撮像画像５２１及びモデル画像５２３の基準位置を変更しながら、撮像画像５２１とモデル画像５２３とのずれを詳細に確認することができる。

図２３は、図２１の重畳画像２１０４に対する調整処理の例を示している。この場合、エッジ線及び稜線の組み合わせの優先順位は、以下の通りである。
優先順位１：エッジ線２１１１及び稜線２１２１
優先順位２：エッジ線２１１２及び稜線２１２２
優先順位３：エッジ線２１１３及び稜線２１２３
優先順位４：エッジ線２１１４及び稜線２１２４

モデル画像２１０３を撮像画像２１０１に重畳した重畳画像２１０４が表示された後、作業者が優先順位１又は優先順位２の組み合わせを基準として指定した場合、画面上で重畳画像２１０４が重畳画像２３０１のように変更される。優先順位１の組み合わせが指定された場合、エッジ線２１１１と稜線２１２１とが一致する重畳画像２３０１が表示され、優先順位２の組み合わせが指定された場合、エッジ線２１１２と稜線２１２２とが一致する重畳画像２３０１が表示される。

次に、作業者が優先順位３の組み合わせを基準として指定した場合、画面上で重畳画像２３０１が重畳画像２３０２のように変更される。この場合、エッジ線２１１３と稜線２１２３とが一致する重畳画像２３０２が表示される。

次に、作業者が優先順位４の組み合わせを基準として指定した場合、画面上で重畳画像２３０２が重畳画像２３０３のように変更される。この場合、エッジ線２１１４と稜線２１２４とが一致する重畳画像２３０３が表示される。

図１の重畳表示装置１０１、図３の重畳表示装置３０１、及び図５の重畳表示装置５０１の構成は一例に過ぎず、重畳表示装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、変更指示の受け付け方法を切り替えない場合、図５の変更情報５２６を省略することができ、重ね合わせる対象のエッジ線と稜線とを示す選択指示を作業者が入力しない場合、組み合わせ情報５２４を省略することができる。

図２、図４、図６Ａ、図６Ｂ、及び図２２のフローチャートは一例に過ぎず、重畳表示装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図６Ａ及び図６Ｂの重畳表示処理において、モデル画像５２３のポリゴンを表示する必要がない場合、ステップ６０６の処理を省略することができる。モデル画像５２３の大きさ、向き、及び位置を調整する必要がない場合、ステップ６０８〜ステップ６１３の処理を省略することができる。

選択したエッジ線及び稜線の組み合わせが適切であるか否かを確認する必要がない場合、ステップ６１５及びステップ６２２の処理を省略することができる。画面上の重畳画像５２５を変更する必要がない場合、ステップ６２１の処理を省略することができる。重ね合わせる対象のエッジ線と稜線とを示す選択指示を作業者が入力しない場合、ステップ６０８〜ステップ６１７の処理を省略することができる。

ステップ６０２〜ステップ６０４の処理とステップ６０５〜ステップ６０７の処理の順序を入れ替えてもよい。ステップ６１４及びステップ６２０において、制御部５１２は、選択されたエッジ線及び稜線を強調しなくてもよい。

図７〜図２１及び図２３の撮像画像、モデル情報、エッジ線、稜線、ポリゴン、モデル画像、重畳画像、及び組み合わせ情報は一例に過ぎず、別の画像又は情報を用いてもよい。

図１の重畳表示装置１０１、図３の重畳表示装置３０１、及び図５の重畳表示装置５０１は、例えば、図２４に示すような情報処理装置（コンピュータ）を用いて実現可能である。図２４の情報処理装置は、Central Processing Unit（ＣＰＵ）２４０１、メモリ２４０２、入力装置２４０３、出力装置２４０４、補助記憶装置２４０５、媒体駆動装置２４０６、及びネットワーク接続装置２４０７を備える。これらの構成要素はバス２４０８により互いに接続されている。

メモリ２４０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ２４０２は、図５の記憶部５１４として用いることができる。

ＣＰＵ２４０１（プロセッサ）は、例えば、メモリ２４０２を利用してプログラムを実行することにより、図３の制御部３１３及び図５の制御部５１２として動作する。

入力装置２４０３は、例えば、キーボード、ポインティングデバイス等であり、作業者からの指示又は情報の入力に用いられる。入力装置２４０３は、図１の受け付け部１１２、図３の受け付け部３１２、及び図５の受け付け部５１１として用いることができる。

出力装置２４０４は、例えば、表示装置、プリンタ、スピーカ等であり、作業者への問い合わせ又は処理結果の出力に用いられる。処理結果は、重畳画像５２５であってもよい。出力装置２４０４は、図１の表示部１１１、図３の表示部３１１、及び図５の表示部５１３として用いることができる。

補助記憶装置２４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２４０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２４０５にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。補助記憶装置２４０５は、図５の記憶部５１４として用いることができる。

媒体駆動装置２４０６は、可搬型記録媒体２４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２４０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。作業者は、この可搬型記録媒体２４０９にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２４０２、補助記憶装置２４０５、又は可搬型記録媒体２４０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置２４０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２４０７を介して受け取り、それらをメモリ２４０２にロードして使用することができる。

なお、情報処理装置が図２４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、他の装置との通信を行う必要がない場合は、ネットワーク接続装置２４０７を省略してもよく、可搬型記録媒体２４０９を利用しない場合は、媒体駆動装置２４０６を省略してもよい。

情報処理装置が通話機能を有する携帯端末装置である場合、マイク及びスピーカのような通話用の装置を含んでいてもよく、カメラのような撮像装置を含んでいてもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図２４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジと、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
処理をコンピュータが実行することを特徴とする重畳表示方法。
（付記２）
前記重ね合わせる対象は、エッジ線と稜線との複数の組み合わせを含み、前記複数の組み合わせの各々は、１本のエッジ線と１本の稜線とを含み、前記コンピュータは、前記複数の組み合わせの各々に含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする付記１記載の重畳表示方法。
（付記３）
前記選択指示は、前記複数の組み合わせそれぞれの優先順位を含み、前記コンピュータは、前記複数の組み合わせの中から前記優先順位に従って１つの組み合わせを順番に選択し、選択した組み合わせに含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする付記２記載の重畳表示方法。
（付記４）
前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線との間を結ぶ線分を表示することを特徴とする付記１乃至３のいずれか１項に記載の重畳表示方法。
（付記５）
前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調して表示することを特徴とする付記１乃至４のいずれか１項に記載の重畳表示方法。
（付記６）
前記コンピュータは、前記重畳画像を表示するとき、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調する強調表示を解除することを特徴とする付記５記載の重畳表示方法。
（付記７）
前記コンピュータは、前記重畳画像を表示するとき、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調して表示することを特徴とする付記１乃至６のいずれか１項に記載の重畳表示方法。
（付記８）
撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
処理をコンピュータが実行することを特徴とする重畳表示方法。
（付記９）
表示部と受け付け部とを備える重畳表示装置であって、
前記表示部は、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
前記受け付け部は、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
前記表示部は、前記受け付け部が受け付けた前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
ことを特徴とする重畳表示装置。
（付記１０）
撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示する表示部と、
前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける受け付け部と、
前記受け付け部が前記重畳画像を表示させる前記指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える制御部と、
を備えることを特徴とする重畳表示装置。
（付記１１）
撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
処理をコンピュータに実行させる重畳表示プログラム。
（付記１２）
撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
処理をコンピュータに実行させる重畳表示プログラム。

１０１、３０１、５０１ 重畳表示装置
１１１、３１１、５１３ 表示部
１１２、３１１、５１１ 受け付け部
３１３、５１２ 制御部
５１４ 記憶部
５２１、７０１、２１０１ 撮像画像
５２２ モデルファイル
５２３、１２０１、２１０３ モデル画像
５２４ 組み合わせ情報
５２５、２１０４、２３０１〜２３０３ 重畳画像
５２６ 変更情報
８０１ 頂点
８０２、８０３、１６１１〜１６１４、１７０２、２１３１〜２１３４ 線分
９０１〜９０４、２１０２、２１１１〜２１１４ エッジ線
１００１、１６０１〜１６０４、１７０１、２１２１〜２１２４ 稜線
１１０１ ポリゴン
２４０１ ＣＰＵ
２４０２ メモリ
２４０３ 入力装置
２４０４ 出力装置
２４０５ 補助記憶装置
２４０６ 媒体駆動装置
２４０７ ネットワーク接続装置
２４０８ バス
２４０９ 可搬型記録媒体

Claims (10)

1. 撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
   重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
   前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
   処理をコンピュータが実行することを特徴とする重畳表示方法。
2. 前記重ね合わせる対象は、エッジ線と稜線との複数の組み合わせを含み、前記複数の組み合わせの各々は、１本のエッジ線と１本の稜線とを含み、前記コンピュータは、前記複数の組み合わせの各々に含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする請求項１記載の重畳表示方法。
3. 前記選択指示は、前記複数の組み合わせそれぞれの優先順位を含み、前記コンピュータは、前記複数の組み合わせの中から前記優先順位に従って１つの組み合わせを順番に選択し、選択した組み合わせに含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする請求項２記載の重畳表示方法。
4. 前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線との間を結ぶ線分を表示することを特徴とする請求項１乃至３のいずれか１項に記載の重畳表示方法。
5. 前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調して表示することを特徴とする請求項１乃至４のいずれか１項に記載の重畳表示方法。
6. 撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
   前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
   処理をコンピュータが実行することを特徴とする重畳表示方法。
7. 表示部と受け付け部とを備える重畳表示装置であって、
   前記表示部は、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
   前記受け付け部は、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
   前記表示部は、前記受け付け部が受け付けた前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
   ことを特徴とする重畳表示装置。
8. 撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示する表示部と、
   前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける受け付け部と、
   前記受け付け部が前記重畳画像を表示させる前記指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える制御部と、
   を備えることを特徴とする重畳表示装置。
9. 撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
   重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
   前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
   処理をコンピュータに実行させる重畳表示プログラム。
10. 撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
    前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
    処理をコンピュータに実行させる重畳表示プログラム。