JP3910382B2

JP3910382B2 - 画像照合装置

Info

Publication number: JP3910382B2
Application number: JP2001210968A
Authority: JP
Inventors: 将年高田; 憲司荒木; 浩志阪田; 力竹内; 眞一久恒
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-07-11
Filing date: 2001-07-11
Publication date: 2007-04-25
Anticipated expiration: 2021-07-11
Also published as: US6972759B2; JP2003030645A; US20030011593A1; US20030011591A1

Description

【０００１】
【発明の属する技術分野】
本発明は画像照合装置にかかり、特に、プラント設備の３次元データに基づく合成画像と実画像との照合装置に関する。
【０００２】
【従来の技術】
プラントの配管等の設備のレイアウトは、プラントを構成する部品の位置座標等からなるモデルデータと、プラントの実物とでは異なることが多い。これは、プラントを変更した場合でも、モデルデータの修正を怠った場合に生じる。この状態では、プラントに不具合が発生し、施工ミス箇所を発見しようとする場合などに、モデルデータを活用することができない。このため、モデルデータと実物との相違点を抽出することは極めて重要である。
【０００３】
プラント設備のデータと実物を比較照合する方法としては、特開平9-81778号公報に記載されたものがある。これでは、３次元モデルデータと、対象の写真画像を用い、３次元モデルデータを写真に対応した位置に変換したものと写真画像を比較することで、３次元モデルデータを写真に合わせて修正する。
【０００４】
【発明が解決しようとする課題】
プラントのレイアウトモデルデータは、必ずしも見た目の形状に対応しているわけではない。すなわち、プラント設備の大半をしめる配管では、実際には配管のまわりを覆うように保温材が巻かれているものが多い。しかし、モデルデータには保温材のデータは含まれていない。
【０００５】
また、データ量を減らすために、バルブ等の複雑な形状の機器のデータは、簡略化された記号等の形で保持される。このため、モデルデータとプラントを撮影した実画像とを単純に照合しても、正確な比較は行えない。
【０００６】
本発明は、実物を写した画像とモデルデータとの相違点を精度よく抽出するための画像照合に関する技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、本発明では以下の処理を行う。すなわち、複数の部品の集合体を構成する前記各部品の識別情報および３次元空間上の位置を示す情報を含む３次元モデルデータと、前記集合体を撮影した画像の画像データ、当該画像を撮影した位置を示す情報および当該画像の撮影方向を示す情報を含む画像情報と、前記部品の画像データを含む部品情報とを取得する。前記３次元モデルデータおよび前記部品情報に基づいて、前記集合体を撮影した画像と同じ位置から同じ方向を見た合成画像を生成する。前記集合体を撮影した画像の画像データと、前記生成された合成画像の画像データとを照合する。これにより、実画像とモデルデータの相違点を精度良く抽出できる。
【０００８】
【発明の実施の形態】
本発明の一実施形態を利用したプラント３次元画像照合システム１の機能構成の一例を図１に示す。本実施形態に係るシステムは、モデルデータ格納装置１０、画像データ格納装置２０、部品ライブラリ３０、保温材ライブラリ４０、モデル補正処理部５０、および照合処理部６０を備えている。
【０００９】
本システムは、コンピュータシステム等の情報処理装置により実現することができる。より具体的には、図２に示すように、バス線２０５によって互いに接続された中央演算部（ＣＰＵ）２０３、主記憶部２０４、外部記憶装置２０６、２０７、入力装置２０１、および表示装置２０２を備えるコンピュータシステムにより構成することができる。
【００１０】
図２のコンピュータシステムにおいて、図１のモデルデータ格納装置１０、画像データ格納装置２０、部品ライブラリ３０、および保温材ライブラリ４０は、それぞれ、外部記憶装置２０６により構成される。モデル補正処理部５０および照合処理部６０は、それぞれ、外部記憶装置２０７に記憶されたモデル補正プログラム５０ａと照合プログラム６０ａとが、ＣＰＵ２０３の制御により主記憶部２０４に読み取られ、さらにＣＰＵ２０３で実行されることにより実現される。
【００１１】
外部記憶装置２０６に格納されるデータおよび外部記憶装置２０７に格納されるプログラムを、入力装置２０１、表示装置２０２、ＣＰＵ２０３、主記憶装置２０４で構成されるコンピュータシステムに組み込んだ状態でプラント３次元照合システムとして提供することも可能である。また、モデルデータ１０ａ、画像データ２０ｂ、部品ライブラリデータ３０ａ、保温材ライブラリデータ４０ａ、モデル補正プラグラム５０ａおよび照合プログラム６０ａは、それぞれ、ＣＤ−ＲＯＭ、フレキシブルディスク、ＤＶＤ等の記録媒体から、またはネットワーク経由で取得して、コンピュータシステムにインストールして本システムを構成することもできる。
【００１２】
つぎに、３次元画像照合システム１の各構成について説明する。
【００１３】
モデルデータ格納装置１０は、プラントの３次元レイアウトデータ、各部品の使用条件、および型式データ等を含むモデルデータを格納している。モデルデータは、例えば、３次元プロセスＣＡＤ等のアプリケーションによって入力される。モデルデータは、所定の単位（例えば、配管単位、あるいは溶接またはフランジ等によって接続された範囲）ごとにモデルデータ格納装置１０へ格納してもよい。
【００１４】
モデルデータの一例を図３に示す。ここでは、配管およびバルブ、ポンプ等の機器を接続し、管の中を流体が流れるプラントを例に取り説明する。モデルデータは、例えば、部品ＩＤ１１と、部品の種類１２と、同一部品内での種類を示す機器種別１３と、基準点１４（基準点１、基準点２、基準点３）と、配管の口径を示す径１５と、部品の型式１６と、使用条件１７と、保温材厚１８とを有する。
【００１５】
部品ＩＤ１１は、配管または機器等の各部品を一意に識別するための情報である。部品ＩＤ１１により、このプラントにおける各部品間の接続関係を知ることができる。たとえば、部品ＩＤ１１は、プラント名−系統名−系統番号−要素番号の書式で記述される。要素番号は、上流から下流に順番に振られる。
【００１６】
種類１２は、各部品の種類を示す。例えば、PIPEは直管、ELBOWはエルボ、REDUCERはレデューサ、VALVEはバルブ、PUMPはポンプを表す。
【００１７】
基準点１４は、プラントにおける各部品の位置を示すものである。基準点１４には、３つの基準点（基準点１〜３）を含む。各基準点は、予め定められた原点を基準とした３次元座標（ｘ、ｙ、ｚ）で表される。基準点１は上流側の中心点（始点）、基準点２は下流側の中心点（終点）を示す。基準点３は、基準点１、２を結ぶ直線と最も離れた点である。例えば、曲がっている配管の場合、基準点３が曲がっている点を示す。
【００１８】
使用条件１７とは、内部流体の種類、温度、流速、圧力等の各部品が使用されるときの条件を示す。例えば、図３に示す例では、内部を流れる流体の温度（Ｔ）、流速（ｖ）および圧力（Ｐ）が定められている。使用条件１７は、設定を省略することもできる。
【００１９】
保温材厚１８は、配管や機器に設置される保温材の厚さを示す。保温材は、部品を覆う部材である。保温材厚１８は、設定を省略してもよい。設定されていない場合、保温材の有無および厚さは不明である。また保温材厚が０の場合は、保温材が設置されないことを表す。
【００２０】
画像データ格納装置２０は、プラントをカメラ等の撮影機器により撮影した画像データを格納する。画像データ格納装置２０には、例えば、図４に示すように、撮影位置２１と、撮影方向２２と、画像データ２３とが格納される。撮影位置２１は、画像を撮影したカメラ位置の座標を示す。撮影方向２２は、画像を撮影した際のカメラの向きを示す。画像データ２３は、カメラフィルムのスキャンデータ、デジタルカメラの撮影データ、ビデオカメラの動画の１フレーム分の切り出しデータ等を利用して作成される。
【００２１】
部品ライブラリ３０は、部品の型式および画像データ等、部品に関する情報を格納している。部品ライブラリ３０には、例えば、図５に示すような、部品種類３１、型式３２、撮影角度３３、画像データ３４、距離３５および保温材３６が格納される。
【００２２】
型式３２はメーカー名、機器種類、および径の組み合わせなどによる固有の識別名称である。撮影角度３３は、画像データ３４を撮影したときの視線角度を示す。撮影角度３３は、方位角度と仰角の対で表される。ここで、座標軸は、流れの方向をｘ軸、弁棒方向をｚ軸、これらと垂直な流れ方向から見て右側をｙ軸と定める。方位角度はｘｙ平面内のｘ軸からのなす角度、仰角はｘｚ平面のｘ軸からのなす角度である。画像データ３４は、撮影角度３３で撮影した機器の画像データを格納する。距離３５は、対象の機器と撮影位置との間の距離を示す。距離３５は、設定を省略することができる。保温材３６は、画像データ３４は機器に保温材が巻かれた状態の画像であるかどうかを示す。
【００２３】
なお、部品ライブラリ３０に格納されるデータは、インターネット等の通信回線を通して最新の情報に更新できるようにしてもよい。さらに、部品ライブラリ３０を遠隔地に設置し、通信回線を介して参照するようにしてもよい。
【００２４】
保温材ライブラリ４０は、保温材を設置する際の条件、および設置する保温材の厚さを格納する。保温材ライブラリ４０には、例えば、図６に示すように、保温材ＩＤ４１、使用条件４２、床高さ４３、上流機器４４および保温材厚４５が格納される。
【００２５】
条件４２は内部流体の温度条件、床高さ４３は床からの高さに関する条件、上流機器４４は上流にある機器種類の条件を、それぞれ示す。保温材厚４５は、条件に合致する場合に設置される保温材の厚さを示す。
【００２６】
なお、この保温材ライブラリデータは、ユーザによる編集、インターネット等のネットワークを通したデータの取り込みによる更新を可能にしてもよい。
【００２７】
モデル補正処理部５０は、画像データ、部品ライブラリデータおよび保温材ライブラリデータに基づいて、モデルデータを補正する。さらに、モデル補正処理部５０は、補正したモデルデータに基づいて、合成画像を生成する。
【００２８】
まず、ユーザが画像データ格納装置２０に記憶されている画像データの中から、比較の基準とする画像データ２３（以下、基準画像データと呼ぶ）を選択する。モデル補正処理部５０は、選択された基準画像データの撮影位置２１および撮影方向２２と同じ位置から同じ方向を撮影したときに、その画像に含まれることとなる対象部品を特定する。すなわち、その対象部品は、基準画像に写っている部品と同じである。そして、各対象部品内について、モデル補正処理部５０は上流から順に、図７に示す処理を行う。
【００２９】
モデル補正処理部５０は、モデルデータ格納装置１０を参照して、対象となる部品の保温材厚１８が設定されているかどうかを判定する（Ｓ１０１）。保温材厚１８にデータが設定されている場合（０の場合も含む）は、ステップＳ１０７へ進む。
【００３０】
保温材厚１８にデータが設定されていない場合は、モデル補正処理部５０は、当該部品の使用条件１７が設定されているかどうかを判定する（Ｓ１０２）。使用条件１７が設定されている場合、モデル補正処理部５０は、保温材ライブラリ４０を参照し、当該部品に適した保温材およびその厚さを決定し、モデルデータを補正する（Ｓ１０３、Ｓ１０４）。
【００３１】
具体的には、モデル補正処理部５０は、当該部品の使用条件１７と保温材ライブラリの使用条件４２とを比較する（Ｓ１０３）。使用条件１７に温度が設定されていない場合、１つ上流の配管部品の使用条件１７に含まれる温度を代用しても良い。モデル補正処理部５０は、当該部品の基準点１４から床高さを求めて保温ライブラリの床高さ４３と比較する。つまり、対象配管部品の基準点１４の基準点１が（ｘ１、ｙ１、ｚ１）である場合、（ｘ１、ｙ１、ｚ１）と（ｘ１、ｙ１、０）を結ぶ線分と最初に交差する、部品種類がCONCであるモデルデータ中のデータを検索する。ここで、部品種類CONCは、コンクリート部品であるプラントの床を示す。つまり、この交点と（ｘ１、ｙ１、ｚ１）との距離が、当該部品の下にある最も近い床までの距離、すなわち床高さとなる。なお、実際には部品が傾いていることもあるが、ここでは基準点１を高さの基準とする。モデル補正処理部５０は、部品ＩＤ１１から上流機器を求め、保温ライブラリの上流機器４４と比較する。上流機器は、部品ＩＤ１１の要素番号を１引いたＩＤ１１を有する機器を検索して特定する。これらがすべて一致する場合、保温材の種類およびその厚さが定まる。複数の保温材について条件が一致する場合、保温材ＩＤ４１の最も大きい保温材を選択する。そして、この保温材ライブラリの保温材厚４５を、対象部品の保温材厚１８として設定する（Ｓ１０４）。条件が合致する保温材データがない場合には、保温材厚１８は０とする。
【００３２】
ステップＳ１０２において、使用条件１７が設定されていない場合、モデル補正処理部５０は、基準画像を用いて保温材厚を推定する処理を行い、モデルデータを補正する（Ｓ１０５、Ｓ１０６）。
【００３３】
具体的には、対象の配管の口径を、１ｍｍ刻みで増加させた場合のモデルデータを作成する（Ｓ１０５）。次に、このモデルデータに基づく合成画像を生成し、合成画像と基準画像との比較照合を行う。最も類似度が高い場合の口径増加分の１／２を、保温材厚とする（Ｓ１０６）。口径を増加させないモデルに基づく合成画像が最も類似度が高い場合は、保温材厚は０である。
【００３４】
ここで、ステップＳ１０６までの処理結果に基づいて、モデル補正処理部５０は、保温材外装形状モデルを作成する（Ｓ１０７）。例えば、補正前の配管口径に保温材の厚さの２倍を足したものを新たに配管口径として代入する。
【００３５】
次に、ステップＳ１０７までの処理で補正されたモデルデータを用いて合成画像を作成する（Ｓ１０８〜Ｓ１１０）。具体的には、対象部品がバルブ等部品ライブラリ３０に画像データが記録されているものである場合、機器の型式によって部品ライブラリ３０から画像データ３４を取得する（Ｓ１０８）。さらにこのとき、保温材の有無に応じて、保温材が巻かれている画像および保温材が巻かれていない画像のいずれかを取得する。
【００３６】
次に、部品ライブラリ３０の画像データ３４を、基準画像に応じて向き、および大きさを補正する（Ｓ１０９）。具体的には、基準画像の撮影位置２１、撮影方向２２および当該部品の位置を示す基準点１４に基づいて、視線角度を算出する。すなわち、視線角度は、視点位置（撮影位置２１）および対象機器の中心座標を結ぶベクトルと、画像データの撮影方向２２とのなす角度の水平および垂直成分で表す。ここで、水平成分は方位角、垂直成分は仰角とする。そして、この視線角度を用いて、この角度に対応した機器の画像データを得る。すなわち、モデル補正処理部５０は、部品ライブラリ３０に格納されている当該部品画像の角度３３と、視線角度が一致するか、または近い画像を検索する。一致するものがない場合は、画像の対称性を仮定して、方位角をＡＺとすると、ＡＺ±１８０度を方位角とする画像、もしくは１８０−２＊ＡＺを方位角とする画像の左右反転画像を検索結果とする。
【００３７】
そして得られた画像を、合成画像へ張り込む（Ｓ１１０）。これにはまず、モデルデータに対して、画像データの視点位置、視線方向に対応した投影変換を行い、２次元画像を作成する。この際、対象となっている機器に代えて、その中心位置に、検索結果の２次元画像を配置する。これらの処理によって、保温材の有無による配管、機器の厚み変化を反映し、また機器画像を詳細化した、モデルデータに基づく画像（以下、合成画像と呼ぶ）が合成される。
【００３８】
照合処理部６０は、モデル補正処理部５０によって合成された合成画像データと画像データ格納装置２０から選択された基準画像データとを比較し、相違点を抽出する。照合処理部６０は、基準画像データおよび合成画像データを読み込み、両画像の各画素について濃度比較を行う。濃度比較は、各画素色のグレースケール表現によって行い、各画素のグレースケール値の差分を算出する。照合処理部６０は、これを画素中のすべての点に対して行い、隣り合う縦横５画素以上の領域で差分が閾値１０を超える領域を、相違領域として判定し、出力する。出力方法は、差分値をグレースケール値として画像化した画像出力、及びこのグレースケール値をＲＧＢ表現のＲ値に設定した画像を、画像データに重ね合わせた画像出力によって行う。
【００３９】
また他の実施形態として、ネットワーク経由でユーザから画像データもしくはモデルデータを受け付け、前記照合手段６０によって出力される照合結果をデータ送信者に返信し、ユーザー名と処理日時とデータ件数とを出力する照合サービス提供手段を有する３次元予測サービスを行うことができる。
【００４０】
図８にこの場合のプラント３次元画像照合サービスシステム８の全体構成の一例を示す。プラント３次元画像照合サービスシステム８は、プラント３次元画像照合システム１に加えて、ネットワーク接続装置７０と、照合サービス提供処理部８０とを備える。
【００４１】
ネットワーク接続装置７０は、メール、ＷＷＷ等のネットワークデータ搬送形式に従い、インターネットもしくはイントラネット等のネットワークに接続し、データの入出力を行う。ユーザは、このネットワーク接続装置７０を通して、ユーザ名と、プラント設備の画像データ、プラントモデルデータを送信する。照合サービス提供処理部８０は、ネットワーク接続装置７０から画像データ、モデルデータをモデルデータ格納装置１０、画像データ格納装置２０に格納する。また、照合サービス提供処理部８０は、モデル補正処理部５０および照合処理部６０を起動して照合結果を取得する。
【００４２】
照合サービス提供処理部８０は、照合結果データをネットワーク接続装置７０を通してユーザ送信する。照合サービス提供処理部８０は、同時に返信先ユーザ名、処理した画像数、処理日時を予測サービス提供処理部８０内の内部記憶領域に記録する。記録されたユーザ名、画像数、日時のデータは、適宜表示装置に出力することが可能である。これにより、サービス実施履歴の確認と、サービス実施料の課金管理を行うことができる。
【００４３】
なお、上記実施形態において説明した各構成は、可能な限り組み合わせの変更、追加、省略等をすることができる。
【００４４】
【発明の効果】
本発明によれば、実物を写した画像とモデルデータとの相違点を精度よく抽出することができる。
【図面の簡単な説明】
【図１】本発明を適用した一実施形態に係るプラント３次元画像照合システム１の構成を示す図である。
【図２】プラント３次元画像照合システム１を実現するためのハードウェア構成の一例を示す図である。
【図３】モデルデータ格納装置１０に格納されるモデルデータの例を示す図である。
【図４】画像データ格納装置２０に格納される画像データの例を示す図である。
【図５】部品ライブラリ３０に格納される部品データの例を示す図である。
【図６】保温材ライブラリ４０に格納される保温材データの例を示す図である。
【図７】モデル補正処理の手順を示すフローチャートである。
【図８】本発明を適用した一実施形態に係るプラント３次元画像照合サービスシステム８の構成を示す図である。
【符号の説明】
１…プラント３次元画像照合システム、８…プラント３次元画像照合サービスシステム、１０…モデルデータ格納装置、２０…画像データ格納装置、３０…部品ライブラリ、４０…保温ライブラリ、５０…モデル補正処理部、６０…照合処理部。

Claims

複数の部品の集合体を構成する前記各部品の識別情報および３次元空間上の位置を示す情報を記憶する３次元モデルデータ記憶部と、
前記部品の画像データを記憶する部品データ記憶部と、
前記集合体を撮影した画像の画像データと、当該画像を撮影した位置を示す情報と、当該画像の撮影方向を示す情報とを対応付けて記憶した画像データ記憶部と、
前記３次元モデルデータ記憶部に記憶された３次元モデルデータの配管口径を変化させる補正をするモデル補正手段と、
前記モデル補正手段により補正された３次元モデルデータと、前記部品データ記憶部を参照して、前記画像データ記憶部に記憶された画像と同じ位置から同じ方向を見た合成画像を生成する画像合成手段と、
前記画像データ記憶部に記憶された画像の画像データと、前記生成された合成画像の画像データとを照合する手段と、を備える画像照合装置。
前記３次元モデルデータ記憶部は、前記各部品ごとに、被覆部材が適用されているときは当該被覆部材の厚さに関する情報をさらに記憶し、
前記モデル補正手段は、前記被覆部材の厚さに関する情報に基づいて３次元モデルデータを補正する請求項１記載の画像照合装置。
部品を覆う被覆部材を使用する条件を示す情報を記憶する被覆部材情報記憶部をさらに備え、
前記３次元モデルデータ記憶部は、前記各部品ごとに、当該部品の使用条件を示す情報をさらに記憶し、
前記モデル補正手段は、前記被覆部材情報記憶部を参照し、前記被覆部材の使用条件を示す情報に基づいて３次元モデルデータを補正する請求項１記載の画像照合装置。
複数の部品の集合体を構成する前記各部品の識別情報および３次元空間上の位置を示す情報を記憶する３次元モデルデータ記憶部と、
前記部品の画像データを記憶する部品データ記憶部と、
前記集合体を撮影した画像の画像データと、当該画像を撮影した位置を示す情報と、当該画像の撮影方向を示す情報とを対応付けて記憶した画像データ記憶部と、
前記３次元モデルデータ記憶部に記憶された３次元モデルデータを補正するモデル補正手段と、
前記モデル補正手段により補正された３次元モデルデータと、前記部品データ記憶部を参照して、前記画像データ記憶部に記憶された画像と同じ位置から同じ方向を見た合成画像を生成する画像合成手段と、
前記画像データ記憶部に記憶された画像の画像データと、前記生成された合成画像の画像データとを照合する手段と、を備え、
前記３次元モデルデータ記憶部は、前記各部品ごとに、被覆部材が適用されているときは当該被覆部材の厚さに関する情報をさらに記憶し、
前記モデル補正手段は、前記被覆部材の厚さに関する情報に基づいて３次元モデルデータを補正すること、
を特徴とする画像照合装置。
複数の部品の集合体を構成する前記各部品の識別情報および３次元空間上の位置を示す情報を記憶する３次元モデルデータ記憶部と、
前記部品の画像データを記憶する部品データ記憶部と、
前記部品を覆う被覆部材を使用する条件を示す情報を記憶する被覆部材情報記憶部と、
前記集合体を撮影した画像の画像データと、当該画像を撮影した位置を示す情報と、当該画像の撮影方向を示す情報とを対応付けて記憶した画像データ記憶部と、
前記３次元モデルデータ記憶部に記憶された３次元モデルデータを補正するモデル補正手段と、
前記モデル補正手段により補正された３次元モデルデータと、前記部品データ記憶部を参照して、前記画像データ記憶部に記憶された画像と同じ位置から同じ方向を見た合成画像を生成する画像合成手段と、
前記画像データ記憶部に記憶された画像の画像データと、前記生成された合成画像の画像データとを照合する手段と、を備え、
前記３次元モデルデータ記憶部は、前記各部品ごとに、当該部品の使用条件を示す情報をさらに記憶し、
前記モデル補正手段は、前記被覆部材情報記憶部を参照し、前記被覆部材の使用条件を示す情報に基づいて３次元モデルデータを補正すること、
を特徴とする画像照合装置。
複数の部品の集合体を構成する前記各部品の識別情報および３次元空間上の位置を示す情報を含む３次元モデルデータと、前記集合体を撮影した画像の画像データ、当該画像を撮影した位置を示す情報および当該画像の撮影方向を示す情報を含む画像情報と、前記部品の画像データを含む部品情報とを取得する処理と、
取得した前記３次元モデルデータの配管口径を変化させる補正をする処理と、
前記補正がされた３次元モデルデータおよび前記部品情報に基づいて、前記集合体を撮影した画像と同じ位置から同じ方向を見た合成画像を生成する処理と、
前記集合体を撮影した画像の画像データと、前記生成された合成画像の画像データとを照合する処理とをコンピュータに実行させるためのプログラム。