JP7478000B2 - ３ｄ画像データ解析装置 - Google Patents

Description

本発明は３Ｄ画像データ解析装置に関する。

従来から各種の分野において画像解析が行われているが、特に近年ではドローン技術の進展に伴い３Ｄ画像を対象とする画像解析が求められるようになっている。具体的にはドローン画像による目視点検や、ドローン画像のＡＩ解析による診断技術の導入が進んでいる。

３Ｄ画像解析について、特許文献１は複数の２次元画像から作成される３次元モデルについて、２次元画像に撮影されているものが３次元モデルの座標系におけるどの座標に位置するかを特定することができるようにすることを目的として、「検査対象物を検査する検査システムであって、カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸方向を取得する撮影情報取得部と、前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、検出した前記異常について、前記撮影位置および前記視点軸方向に応じて前記３次元座標系における位置である異常位置を特定する異常位置特定部と、前記異常位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、を備えることを特徴とする検査システム」のように構成することを提案している。

特開２０１９－２１１２５７号公報

特許文献１の画像解析によれば、３Ｄモデル（３Ｄ画像）と異常検出部を備えることにより、検出した異常を３Ｄモデル上に表示することができる。例えば鉄塔をドローン撮影して得た３Ｄ画像の解析により、鉄塔に発生したサビの位置が３Ｄ画像上に表示され、把握することができる。

これに対し近年では、対象物全体（この例では鉄塔）の点検・保守の効率化・高精度化を実現することが要望されており、この点について特許文献１では対象である鉄塔の局所的な状態（この例ではさび）は診断できるが、局所的なさびの状態が対象全体である鉄塔に及ぼす影響までを評価することができないものであった。

以上のことから本発明においては、局所的な状態が対象全体に及ぼす影響までを含めて評価することを可能とする３Ｄ画像データ解析装置を提供することを目的とする。

以上のことから本発明においては、「対象物の３Ｄ画像データから３Ｄモデルに変換する変換手段と、対象物の画像データから推定した局所の状態から、対象物の全体解析の解析条件を作成する解析条件作成手段と、前記３Ｄモデルと前記解析条件から対象全体の状態を評価する全体解析手段を備え、対象全体を解析することを特徴とする３Ｄ画像データ解析装置」としたものである。

局所的な状態が対象全体に及ぼす影響までを含めて評価することを可能とする３Ｄ画像データ解析装置を提供することができる。

本発明に係る３Ｄ画像データ解析装置の基本的な構成例を示す図。 ＣＡＤモデル変換手法の一例を示すフロー図。 配管の場合の、３Ｄ画像１０と３ＤＣＡＤモデル５０などの例を示す図。 Ｌ形鋼の場合の、３Ｄ画像１０と３ＤＣＡＤモデル５０などの例を示す図。 画像解析手段２０のデータ処理例を示す図。 構造物に生じた劣化が対象である場合の画像解析手段２０の処理フロー例を示す図。 劣化部位を反映した後の部品形状例を示す図。 保温材にまかれた配管に生じた劣化が対象である場合の画像解析手段２０の処理フロー例を示す図。 全体解析手段７０の処理フロー例を示す図。 全体解析手段７０の処理フロー例を示す図。 本発明の実施例２に係る３Ｄ画像データ解析装置の基本的な構成例を示す図。 ３Ｄ画像の全体あるいは部品についての設計データがＣＡＤシステム内などに保有されている場合を示す図。 実施例４に係る３Ｄ画像データ解析装置の基本的な構成例を示す図。 実施例５に係る３Ｄ画像データ解析装置の基本的な構成例を示す図。 Ｌ形鋼の劣化部位を３次元位置座標上に示した図。 Ｌ形鋼の各部寸法を示した図。 劣化部位の大きさを示す図。

以下，本発明の実施例について、図面を用いて説明する。

実施例１では、本発明に係る３Ｄ画像データ解析装置の基本的な構成例を説明する。図１は、本発明に係る３Ｄ画像データ解析装置１の基本的な構成例を示している。

図１は、データを計算機装置内で処理することを意図しているが、この図の表記において四角で示す３Ｄ画像１０、３Ｄモデル（ＣＡＤモデル）５０、解析結果８０は、夫々計算機装置で取り扱う初期データ、中間生成物データ、最終成果物データを示している。これに対し、縁に丸みを持たせた四角で示す画像解析手段２０，ＣＡＤモデル変換手段３０，解析条件作成手段４０，全体解析手段７０は、計算機装置内の演算部で実施される処理機能を記述している。したがって、各種成果物などはこれらの処理結果ということができる。なおデータベース６０は環境運用データを記録している。

図１において３Ｄ画像データ解析装置１が入力して取り扱う初期の情報は、３Ｄ画像１０である。ここで３Ｄ画像１０をどのようにして入手するのかについては、別途説明するが、ここで取り扱う３Ｄ画像１０は、３Ｄの点群データであり、全ての点群に区別がない（部位毎の区別がない）３Ｄ点群（色つき）と、部位毎に分割され、部位名が付いた３Ｄ点群（色付き）の２種類がある。本発明はいずれの点群であってもよい。なお３Ｄ画像１０は、別途図３、図４を用いて、その一例を説明する。

３Ｄ画像１０に対しては、２つの異なる処理が実行される。その一つはＣＡＤモデル変換手段３０により３Ｄモデル（ＣＡＤモデル）５０を生成する処理であり、他の一つは画像解析手段２０と解析条件作成手段４０による対象物の状態推定に関する処理である。前者は対象物の形状を追求した処理であるが、後者は対象物の局所的な状態を追求した処理ということができる。

ＣＡＤモデル変換手段３０では、３Ｄの点群データから３Ｄ形状を生成する。図２は、ＣＡＤモデル変換手法の一例を示すフロー図である。図２の一連の処理では、３Ｄの点群データから変換する領域を選択（処理ステップＳ１１）し、さらには変換する部品を選択（処理ステップＳ１２）する。ここでは配管を部品として選択したものとし、これにより一般的な配管の３Ｄ形状が比較情報として入手される。

処理ステップＳ１３では、一般的な配管の３Ｄ形状と選択領域から抽出した点群データを比較し、その誤差が最も小さくなるように一般的な配管の３Ｄ形状を修正し、修正後の配管の情報を３Ｄ部品のＣＡＤモデルとして選択する。

処理ステップＳ１３では、一般的な配管の３Ｄ形状と選択領域から抽出した点群データの誤差が大きい点が存在する場合に、処理ステップＳ１６に移動してこの誤差が大きい点を削除し、再度処理ステップＳ１３の処理をくりかえす。これにより、点群の配置状況を反映した部品（配管）の３Ｄ形状が生成される。

この一連の処理によれば、誤差が大きなデータが取り除かれることで、３Ｄモデルが正確に形成できる。この処理では、誤差が大きな点を削除することが重要であり、３Ｄ画像が部位毎に分かれた画像であった場合、対象となるＣＡＤモデルが確定（例えば、配管）しているため、変換効率が高いという特徴がある。なお、処理ステップＳ１２において部位が特定されていない場合には、３Ｄ画像が配管を表すのか、鉄骨を表すのかが、コンピュータには、わからないため、フローチャートの処理ステップＳ１４の処理で、どのモデルがマッチするか試行錯誤的に判定しなければならないことになる。

図３、図４は、それぞれ配管とＬ形鋼の場合の、３Ｄ画像１０と３ＤＣＡＤモデル５０などの例を示している。３Ｄ画像１０は、複数の画像データから作成した３Ｄの点群データである。３ＤＣＡＤモデル５０は部品ごとにＣＡＤで定義されたパラメトリックな形状要素であり、配管の場合には円柱形状である。なおこれらの図では端部が明確に表示できないことから、端部を縁取りして、見やすい表示としている。

図１に戻り、画像解析手段２０は、２Ｄ画像または３Ｄ画像から対象物の局所的な状態を推定する手段であり、深層学習を活用する。その入力は、２Ｄ画像または３Ｄ画像、出力は、対象物の局所的な状態である。２Ｄ画像の具体的な例としては、サビが発生している鋼材の画像であり、その出力としては、サビによる鋼材の減肉深さ、サビの表面面積などが推定できる。ここで、図１の例では、画像解析手段２０は３Ｄ画像を用いるような図示になっているが、３Ｄ画像の元データとして２Ｄ画像を備えているのが通例である。

なお画像解析手段２０自体はよく知られた技術であり、例えば図５にデータ処理例を示すように、予め撮影した画像データ２１と減肉量が記録された点検データ２２の関係を事前学習しておき、画像解析手段２０においては学習結果に基づき、減肉量２３（減肉範囲、深さ）を数量的に推定することができる。

次に解析条件作成手段４０では、画像解析手段２０で求めた推定状態を３Ｄモデル５０の形状に反映する。図６ａは、画像解析手段２０の処理フロー例を示しており、ここではまず処理ステップＳ３１において、劣化がないＣＡＤ形状を３Ｄモデル５０から取得する。これはＣＡＤモデル変換手段３０により得られたＣＡＤ形状である。次に処理ステップＳ３２において、解析条件作成手段４０から推定した対象物の局所的な状態として例えば表面劣化部位の形状を取得し、処理ステップＳ３３において、元形状から劣化部位を取り除いた形状を新たな形状として設定し、３Ｄモデル５０の形状に反映する。これによれば、現状の部材の状態（形状）を反映できるため、正確なシミュレーション（強度計算など）ができる。図６ｂは劣化部位を反映した後の部品形状例を示している。白く見える部分が劣化により減肉した部分である。

解析条件作成手段４０は、画像解析手段２０で求めた推定状態を材質パラメータに反映するものであってもよい。図６ｃは、材質パラメータに反映する場合の画像解析手段２０の処理フロー例を示しており、ここではまず処理ステップＳ３１において、劣化がない部材のＣＡＤ形状の材質パラメータを取得する。次に処理ステップＳ３２において、劣化部位の形状から材質パラメータの補正値を算出する。処理ステップＳ３３において、補正値による補正を行う。この処理によれば、現状の部材の状態を、材質パラメータ（強度パラメータ等）に反映できるため、正確なシミュレーション（強度計算等）ができる。

図１に戻り、全体解析手段７０は、解析条件作成手段４０からの劣化情報、３Ｄモデル５０からの３Ｄ画像、データベース６０からの環境運用情報を用いて、対象物の全体解析として例えば強度計算を実施する。図７ａ、図７ｂは、全体解析手段７０の処理フロー例を示している。

外部環境下におかれ荷重がかかる構造物に生じた劣化が対象である場合の全体解析手段７０の処理フロー例である図７ａでは、処理ステップＳ４１において解析条件作成手段７０で求めた解析条件として、例えば減肉量の範囲と深さの情報を数値情報として取得する。処理ステップＳ４２では、データベース６０を参照して環境運用条件のデータを取得する。この例では、環境条件データは対象物における振動であり、運用条件は対象物における荷重である。これらの情報から処理ステップＳ４２では、劣化部位が存在する対象物の全体解析として例えば強度計算を実施し、処理ステップＳ４３ではこの結果を出力する。これにより、劣化状態を反映した対象物のシミュレーションができるため、対象物の状態を正確に把握できる。例えば、対象物機器が、その荷重に耐えられるかを判定することができる。

外部環境下におかれ、保温材にまかれた配管に生じた劣化が対象である場合の全体解析手段７０の処理フロー例である図７ｂでは、処理ステップＳ５１において解析条件作成手段７０で求めた解析条件として、例えば水分流入係数の情報を数値情報として取得する。処理ステップＳ５２では、データベース６０を参照して環境運用条件のデータを取得する。この例では、環境条件データは対象物が設置された場所における降水量であり、運用条件は対象物における配管温度である。これらの情報から処理ステップＳ５３では、保温材中の水分量を計算し、処理ステップＳ５４では、水分による腐食量を計算する。またこれらから、処理ステップＳ５５では現状の減肉量を推定する。これにより、劣化状態を反映した対象物のシミュレーションができるため、対象物の状態を正確に把握できる。配管の減肉量が許容値以内であるかを判定することが可能となる。

ここで、劣化した場合の形状をＣＡＤモデルとして再現した場合の全体解析手段７０は、例えば、サビにより鉄骨が減肉した場合に、サビの部分を除いた３Ｄ形状を作成し、ＦＥ解析を実施するのがよい。なお形状を与え、ＦＥ解析により強度解析をする技術は公知であり、このとき鉄骨の強度パラメータは劣化がない鉄骨と同じものを使うのがよい。また劣化した場合に強度パラメータを変更し解析するときは、形状そのものではなく、形状に起因するパラメータを与える解析手法を用いて計算するのがよい。

なお３Ｄモデル５０としては、形状のみを推定したＣＡＤモデル変換手段３０からの情報と、形状に劣化部位を反映した解析条件作成手段４０からの情報を備えることになるが、解析結果８０として外部提示するときに、どちらの情報と組み合わせて提示するのかは任意に行いうることである。要は、３Ｄ形状と劣化の解析結果の情報が組み合わされて提示されることに意味がある。

上記した実施例１は、要するにドローン等で撮影された画像から作成された対象物の３Ｄ画像１０を、ＣＡＤモデル変換手段３０で３Ｄモデル５０に変換し、３Ｄ画像１０から画像解析手段２０により対象物の局所的な状態（劣化状態）を推定し、これを、解析条件作成手段４０により、３Ｄモデル５０の形状に反映し、または、３Ｄ形状はそのままとし、劣化部位の強度物性を変更し、劣化した対象物を模擬する。次に、対象物が、特定の環境・運用条件でどのような挙動を示すかを、全体解析手段７０にて評価する。これにより、対象物全体の状態を効率的かつ高精度に評価することができる。

実施例２もまた実施例１と同じく本発明に係る３Ｄ画像データ解析装置の基本的な構成例を示したものであるが、実施例２に係る３Ｄ画像データ解析装置を示す図８の構成例では、ＣＡＤモデル変換手段３０が属性付きモデル変換手段３１とされ、３Ｄモデル（ＣＡＤモデル）５０が３Ｄモデル（属性付き）とされている。

この場合に、３Ｄ画像１０に映っている被写体、あるいはその部品が何であるかが予め判明しており、従ってその部品の属性が知られていることを前提とする。属性の一例としては、配管についてその直径や肉厚、あるいは材質がクロム鋼であることなどがあげられる。これらの情報は、画像情報に付帯する付属の属性情報として取り扱われ、例えば３Ｄモデル５０にはクロム鋼や錆びたときの色に反映されることで、より現実的な画像表現とすることが可能である。

図３、図４の右側には、それぞれ配管とＬ形鋼の、属性情報があるときの３ＤＣＡＤモデル５１の画像例を示している。この場合の属性情報は、部品細部についての詳細な表示情報に反映されている。

実施例３では既存の設計情報を３Ｄ画像データ解析装置に反映してより効率的な運用を行うことについて説明する。

図９は、３Ｄ画像の全体あるいは部品についての設計データがＣＡＤシステム内などに保有されている場合に、この情報をＣＡＤモデル変換手段３０や全体解析手段７０に与えて、活用することを示している。この場合の設計データは、例えば対象物である鉄塔の部品の種別（配管、Ｌ形鋼、Ｈ形鋼の区別など）設計寸法、材質などの情報を提供してもらうのがよい。

ここで、設計データ９０をＣＡＤモデル変換へ適用して、３Ｄ画像をＣＡＤモデルに変換するためには、抽出した点群との誤差が最も小さくなる部品のＣＡＤモデルを選択することになる。この時、設計データ９０から、あらかじめ、対象物で利用されている部品の種類と仕様の候補を絞り込むことで、３Ｄモデルへの変換を容易にすることができる。また、３Ｄ画像１０からは判断ができない形状を設計データ９０により推定することもできる。例えば、プラントの配管には、熱を逃がさないために保温材がまかれているものがある。この場合、３Ｄ画像１０には、配管そのものの情報がないため、配管径がわからない。このような場合に、設計データ９０から、保温材の厚みを取得することで、配管の外径を推定できるため、配管の３Ｄモデルに変換することができる。

また設計データ９０を全体解析手段７０への活用へ適用したときは、３Ｄモデル５０から得られる形状以外の情報が必要となる。例えば、鉄骨の強度計算をする場合、鉄骨の断面、長さ以外に鉄骨のヤング率など材質情報が必要となる。また、保温材下の配管の腐食量を計算する場合も、配管の材質により腐食速度が異なることから、配管の材質情報が必要となる。これらの材質情報は、設計データ９０として保存されている部材の情報から取得する。

実施例１から実施例３では、３Ｄ画像が既に存在することを前提としているが、実施例４では２Ｄ画像から、３Ｄ画像を生成することについて説明する。なお２Ｄ画像は、通常の写真であり、ドローンから連続で撮影した写真や、地上から撮影した写真がこれらに含まれる。

実施例４に係る３Ｄ画像データ解析装置の基本的な構成例を示す図１０では、３Ｄ画像１０は、複数の確度から撮影した２Ｄ画像１５を用いた３Ｄ画像作成手段１１０により作成する。ただし、２Ｄ画像１５は、同一の対象物またはその部品を複数の角度から撮影した複数の画像群である。なお複数の画像群を用いて３Ｄ画像１０に変換する３Ｄ画像作成手段の具体手法は、すでに公知のものであり、本発明はそのいずれかを適宜採用することができる。

実施例４によれば、一般に２Ｄ画像１５の方が画像の解析度が高いため、画像解析手段２０による状態推定の精度が向上する。

実施例５は、実施例４において複数の２Ｄ画像１５から３Ｄ画像作成手段１１０により３Ｄ画像１０を作成するに際し、対象物の２Ｄ画像１５から解析に重要な部位を特定して特定部位の情報を３Ｄ画像１０に付与するものである。

実施例５に係る３Ｄ画像データ解析装置の基本的な構成例を示す図１１は、上記実施例で説明した機能を組み合わせた全体構成例を示している。この図において、部位特定手段１２０は以下の処理により３Ｄ画像上の部位を特定する。まず、深層学習による公知の２Ｄ画像１５の画像認識技術により、配管、鉄骨、バルブなどの部品の種別を特定する。これにより、２Ｄ画像１５の上で、どの部分が配管であるかを特定できる。次に、２Ｄ画像１５の座標と３Ｄ画像１０の座標の対応関係の情報から、２Ｄ画像上で認識した部品が、３Ｄ画像上のどこに対応するかを判別する。

なお、３Ｄの点群の部位を特定する手段として、２Ｄ画像を活用せず、３Ｄ画像のみから部位を特定する技術を用いても良い。この場合３Ｄ画像が部位特定手段１２０に与えられることになる。

これにより、３Ｄ画像１０は対象物残体の情報ばかりでなく、各部品についても高精度解析に有利な２Ｄ画像から作成されるため、より一層の高解析度とすることが期待できる。

実施例６は、全体解析手段７０のさらに具体的な処理事例について説明する。ここでは、図６ｂに例示したＬ形鋼の劣化部位について検討する。図１２ａはＬ形鋼の劣化部位を３次元位置座標上に示した図である。図１２ｂは各部寸法、図１２ｃは劣化部位の大きさを示している。

断面の劣化と部材が上記のものであるときの強度計算に用いるパラメータには、断面積Ａ、中性軸Ｃ、断面二次モーメントＩ、断面係数Ｚなどがある。これらの図に示した寸法を用いてこれらを計算すると、それぞれ（１）式～（４）式のようになる。

この（１）式から（４）式は、ｈの多項式となっており、例えば、断面二次モーメントＩは、ｈの３次式となっており、ｈが大きいほど断面二次モーメントが大きく、曲がりにくい。

ここで、図１２ｃに示したように鉄骨が劣化すると、部分的に高さｈが減少する。図の例では、ｈ１だけ完全に減肉している部分があり、劣化部材まで含めると、通常の強度が期待できない寸法はｈ２となる。

劣化の度合いをパラメータに反映する方法は、断面形状が一定としたまま、劣化の度合いをパラメータに反映することである。例えば、高さｈをｈ－ｈ１または、ｈ－ｈ２とすることで、劣化により断面形状が変化した鉄骨の強度を計算することができる。また、ｈ－ｈ３ （ｈ＜ｈ３＜ｈ２）としても良い。

また、本実施例では、断面形状パラメータを鉄骨の長さ方向ｚに対して一定とした近似を用いたが、断面形状をｚの関数として強度計算をしてもよい。

１：３Ｄ画像データ解析装置
１０：３Ｄ画像
２０：画像解析手段
３０：ＣＡＤモデル変換手段
４０：解析条件作成手段
５０：３Ｄモデル
６０：環境、運用データベース
７０：全体解析手段

Claims (7)

1. 対象物の３Ｄ画像データから３Ｄモデルに変換する変換手段と、対象物の画像データから推定した局所の状態から、対象物の全体解析の解析条件を作成する解析条件作成手段と、前記３Ｄモデルと前記解析条件から対象全体の状態を評価する全体解析手段を備え、対象全体を解析するとともに、
   前記変換手段は、３Ｄの点群データから変換する領域を選択し、変換する部品を選択し、変換する部品の３Ｄ形状と選択領域から抽出した点群データを比較し、変換する部品の３Ｄ形状と選択領域から抽出した点群データの誤差が最も小さくなるように変換する部品の３Ｄ形状を修正するとともに、変換する部品の３Ｄ形状と選択領域から抽出した点群データの誤差が大きい点が存在する場合に、この誤差が大きい点を削除して点群の配置状況を反映した部品の３Ｄ形状を生成し、
   前記解析条件作成手段は、劣化がないＣＡＤ形状を３Ｄモデルから取得し、推定した対象物の局所的な状態の形状を取得し、元形状から対象物の局所的な状態の形状を取り除いた形状を新たな形状として設定し、３Ｄモデルの形状に反映し、
   前記全体解析手段は、解析条件として減肉量の範囲と深さの情報を数値情報として取得し、環境運用条件のデータから、劣化部位が存在する対象物の全体解析として強度計算を実施することを特徴とする３Ｄ画像データ解析装置。
2. 請求項１に記載の３Ｄ画像データ解析装置であって、
   前記変換手段は、前記対象物の属性を加味した変換により３Ｄモデルを得ることを特徴とする３Ｄ画像データ解析装置。
3. 請求項１に記載の３Ｄ画像データ解析装置であって、
   前記変換手段は、前記対象物の設計データを加味した変換により３Ｄモデルを得るとともに、前記全体解析手段は前記対象物の設計データを加味した全体解析を行うことを特徴とする３Ｄ画像データ解析装置。
4. 請求項１に記載の３Ｄ画像データ解析装置であって、
   前記３Ｄ画像データは、複数の角度から撮影した２Ｄ画像を用いた３Ｄ画像作成手段により作成することを特徴とする３Ｄ画像データ解析装置。
5. 請求項４に記載の３Ｄ画像データ解析装置であって、
   前記３Ｄ画像作成手段は、複数の２Ｄ画像から３Ｄ画像を作成するに際し、対象物の２Ｄ画像から解析に重要な部位を特定して特定部位の情報を３Ｄ画像に付与することを特徴とする３Ｄ画像データ解析装置。
6. 請求項１から請求項５のいずれか１項に記載の３Ｄ画像データ解析装置であって、
   前記解析条件作成手段は、劣化がない部材のＣＡＤ形状の材質パラメータを取得し、劣
   化部位の形状から材質パラメータの補正値を算出し、補正値による補正を行うことを特徴
   とする３Ｄ画像データ解析装置。
7. 請求項１から請求項６のいずれか１項に記載の３Ｄ画像データ解析装置であって、
   前記全体解析手段は、保温材にまかれた配管に生じた劣化が対象である場合に解析条件として、水分流入係数の情報を数値情報として取得し、環境運用条件のデータを取得し、取得した水分流入係数と環境運用条件の情報から保温材中の水分量を計算し、水分による腐食量を計算解析条件として減肉量の範囲と深さの情報を数値情報として取得することを特徴とする３Ｄ画像データ解析装置。

Images