JP6506886B1 - 表示データ生成装置および表示データ生成方法 - Google Patents

表示データ生成装置および表示データ生成方法 Download PDF

Info

Publication number
JP6506886B1
JP6506886B1 JP2018526277A JP2018526277A JP6506886B1 JP 6506886 B1 JP6506886 B1 JP 6506886B1 JP 2018526277 A JP2018526277 A JP 2018526277A JP 2018526277 A JP2018526277 A JP 2018526277A JP 6506886 B1 JP6506886 B1 JP 6506886B1
Authority
JP
Japan
Prior art keywords
data
dimensional point
display
point group
data generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018526277A
Other languages
English (en)
Other versions
JPWO2019111391A1 (ja
Inventor
健太郎 小寺
健太郎 小寺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6506886B1 publication Critical patent/JP6506886B1/ja
Publication of JPWO2019111391A1 publication Critical patent/JPWO2019111391A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Radiation Pyrometers (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

表示データ生成装置(1)は、設備の表面の3次元点群データを生成する設備データ生成部(12)と、設備の熱画像データを取得する熱画像データ取得部(10)と、熱画像データに基づいて設備の内部変状の3次元点群データを生成する変状データ生成部(13)と、設備の表面の3次元点群データと内部変状の3次元点群データとに基づいて、設備の表面の3次元点群に内部変状の3次元点群を重畳した画像を表示装置に表示する表示データを生成する表示データ生成部(17)とを備える。

Description

本発明は、設備の3次元点群の画像を表示装置に表示する表示データを生成する表示データ生成装置、表示データ生成方法、および表示処理方法に関するものである。
従来、トンネル、道路、および橋といった設備の3次元点群の画像を表示装置に表示する表示データを生成し、設備の3次元点群の画像を表示装置に表示する技術が知られている。例えば、特許文献1には、レーザスキャナ装置による計測結果から生成される道路表面の3次元点群データの標高値成分と、赤外線熱計測装置の計測結果から生成される熱画像とを合成し、合成した画像を表示装置に表示する変状箇所検出支援装置が開示されている。
特開2013−92403号公報
しかしながら、特許文献1に記載の変状箇所検出支援装置は、設備の表面である道路表面の3次元点群データの標高値成分に熱画像を合成して生成された画像を表示装置に表示するため、表示装置に表示された画像から設備の内部変状の状態を精度よく把握することが難しい。
本発明は、上記に鑑みてなされたものであって、設備の内部変状の状態を精度よく表示することができる表示データを生成する表示データ生成装置を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明の表示データ生成装置は、設備データ生成部と、熱画像データ取得部と、3次元点群変換部と、変状データ生成部と、表示データ生成部とを備える。設備データ生成部は、設備の表面の3次元点群データを生成する。熱画像データ取得部は、設備の熱画像データを取得する。3次元点群変換部は、熱画像データに基づいて、熱画像の3次元点群データを生成する。変状データ生成部は、熱画像データに基づいて、設備の内部変状の3次元点群データを生成する。表示データ生成部は、表面の3次元点群データと内部変状の3次元点群データと熱画像の3次元点群データとに基づき、表面の3次元点群に内部変状の3次元点群および熱画像の3次元点群を重畳した画像を表示装置に表示する表示データを生成する。変状データ生成部は、推定部と、調整部と、生成部とを備える。推定部は、熱画像データに基づいて設備の内部変状を推定する。調整部は、設備へレーザを照射して発生する超音波の状態を測定するレーザ超音波計測装置による超音波の測定結果から得られる設備の内部状態の情報に基づいて、推定部によって推定される内部変状の情報を調整する。生成部は、調整部によって調整された内部変状の情報に基づいて、内部変状の3次元点群データを生成する。
本発明によれば、設備の内部変状の状態を精度よく表示することができる、という効果を奏する。
本発明の実施の形態1にかかる設備管理システムの構成例を示す図 実施の形態1にかかるデータテーブルの一例を示す図 実施の形態1にかかる表示装置の表示領域に表示された3次元画像の一例を示す図 実施の形態1にかかる表示データ生成装置による表示データ生成手順の一例を示すフローチャート 図4に示すステップS11の具体的な処理手順の一例を示すフローチャート 図4に示すステップS15の具体的な処理手順の一例を示すフローチャート 実施の形態1にかかる表示データ生成装置のハードウェア構成の一例を示す図 本発明の実施の形態2にかかる設備管理システムの構成例を示す図 実施の形態2にかかる表示データ生成装置における図4に示すステップS15の具体的な処理手順の一例を示すフローチャート 本発明の実施の形態3にかかる設備管理システムの構成例を示す図 実施の形態3にかかる表示データ生成装置における図4に示すステップS11の具体的な処理手順の一例を示すフローチャート
以下に、本発明の実施の形態にかかる表示データ生成装置、表示データ生成方法、および表示処理方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
図1は、本発明の実施の形態1にかかる設備管理システムの構成例を示す図である。設備管理システム100は、設備の表面の3次元点群データと設備の内部変状の3次元点群データとに基づいて表示データを生成し、生成した表示データに基づいて内部変状を含む設備の画像を表示する。なお、設備の表面は、設備がトンネルである場合、例えば、トンネルの内壁面であり、設備が橋梁である場合、例えば、橋梁の表面である。トンネルの内壁面は、トンネルをトンネル内から見たトンネルの外観ということもでき、橋梁の表面は、橋梁の外観ということもできる。以下、設備の表面を設備表面と記載する場合がある。
設備表面の3次元点群データは、設備表面を3次元点群で表すデータであり、設備の内部変状の3次元点群データは、設備の内部変状を3次元点群で表すデータである。3次元点群は、複数の3次元点からなる集合である。3次元点群データには、複数の3次元点のデータが含まれており、各3次元点のデータには、3次元点の3次元における位置を示すデータが含まれる。
設備管理システム100の表示処理対象は、例えば、トンネル、橋梁、および道路といったインフラ(インフラストラクチャー)設備であるが、インフラ設備以外の設備であってもよい。設備管理システム100の表示処理対象がトンネルである場合、設備表面の3次元点群データは、トンネルの内壁面の3次元点群データである。
設備の内部変状の種類には、例えば、設備内部に形成される空洞、ひび、剥離、および漏水が含まれる。なお、内部変状の3次元点群は、例えば、内部変状の外形に沿って配置される複数の3次元点、または内部変状の領域全体に配置される複数の3次元点で表される。例えば、空洞の外形または全体を示す。また、ひびの3次元点群は、例えば、ひびの外形または全体を示す。なお、設備の内部変状は、空洞、ひび、剥離、および漏水に限定されない。以下、設備の内部変状を単に内部変状と記載する場合がある。
設備管理システム100は、図1に示すように、表示データを生成する表示データ生成装置1と、設備の熱画像データを生成するサーモグラフィ装置2と、設備の撮像データを生成するカメラ装置3とを備える。さらに、設備管理システム100は、マウスおよびキーボードを含む入力装置4と、表示データ生成装置1によって生成された表示データに基づいて内部変状を含む設備の画像を表示する表示装置5とを備える。なお、設備管理システム100において、サーモグラフィ装置2およびカメラ装置3を各々複数設けることもできる。
サーモグラフィ装置2は、設備表面の赤外線画像を撮像するカメラ部21と、カメラ部21で撮像された赤外線画像の情報を熱画像データへ変換する熱画像変換部22と、熱画像変換部22で変換された熱画像データを表示データ生成装置1へ送信する熱画像データ送信部23とを備える。例えば、設備がトンネルである場合、カメラ部21は、トンネル内の空間に配置され、トンネルの内壁面の赤外線画像を撮像する。
カメラ部21は、例えば、少なくとも2つの赤外線イメージセンサを有する赤外線ステレオカメラである。各赤外線イメージセンサで撮像された赤外線画像が熱画像変換部22により熱画像データへ変換され、変換された熱画像データが熱画像データ送信部23から表示データ生成装置1へ送信される。
なお、サーモグラフィ装置2は、設備の熱画像を示すデータである熱画像データを生成する構成であればよく、図1に示す構成に限定されない。また、サーモグラフィ装置2は、周期的に熱画像データを生成し、生成した熱画像データを表示データ生成装置1へ有線または無線で送信するが、表示データ生成装置1からの要求に従ったタイミングで熱画像データを生成して表示データ生成装置1へ送信することもできる。
カメラ装置3は、設備を撮像して設備の撮像データを生成するカメラ部27と、カメラ部27で生成した撮像データを表示データ生成装置1へ有線または無線で送信する撮像データ送信部28とを備える。例えば、設備がトンネルである場合、設備の撮像データは、トンネルの内壁面の撮像データである。例えば、設備がトンネルである場合、カメラ部27は、トンネル内の空間に配置され、トンネルの内壁面の画像を撮像する。
カメラ装置3は、少なくとも2つのイメージセンサを有するステレオカメラであり、各イメージセンサで撮像された設備の撮像データが表示データ生成装置1へ送信される。カメラ装置3は、周期的に撮像データを生成し、生成した撮像データを表示データ生成装置1へ送信するが、表示データ生成装置1からの要求に応じたタイミングで撮像データを生成して表示データ生成装置1へ送信することもできる。
表示データ生成装置1は、熱画像データ取得部10と、撮像データ取得部11と、設備データ生成部12と、変状データ生成部13と、データ記憶処理部14と、記憶部15と、条件情報取得部16と、表示データ生成部17とを備える。
熱画像データ取得部10は、サーモグラフィ装置2によって生成された熱画像データをサーモグラフィ装置2から取得する。撮像データ取得部11は、カメラ装置3によって生成された撮像データをカメラ装置3から取得する。
設備データ生成部12は、撮像データ取得部11によって取得された撮像データに基づき、設備表面の3次元点群データを生成する。具体的には、設備データ生成部12は、カメラ部21に含まれるステレオカメラによって得られる複数の撮像データに基づいて、設備表面の3次元点群データを生成する。設備表面の3次元点群データは、カメラ装置3で撮像される設備表面の状態を示す3次元点群データであり、設備がトンネルの場合、トンネルの内壁面を示す3次元点群データである。
設備表面の3次元点群データは、撮像データから生成されることに限定されない。例えば、設備表面の3次元点群データは、レーザスキャナ装置から得られる設備表面の計測データに基づいて生成されてもよい。この場合、表示データ生成装置1は、撮像データ取得部11に代えて、レーザスキャナ装置から設備表面の計測データを取得する計測データ取得部を備える。そして、設備データ生成部12は、計測データ取得部によって取得された設備表面の計測データから設備表面の3次元点群データを生成する。
レーザスキャナ装置は、レーザパルスを送信し、送信したレーザパルスの反射波をセンサで受信する構成を有する。例えば、レーザスキャナ装置は、レーザスキャナ装置と設備の表面との間をレーザパルスが往復する時間および波長の位相差を計測しかつレーザパルスが発射した方向を計測することによって、設備表面の計測データを生成する。
変状データ生成部13は、熱画像データ取得部10によって取得された熱画像データに基づいて、設備に形成される内部変状の種類、位置、および形状を推定し、推定した内部変状の3次元点群データを生成する。
変状データ生成部13は、推定部31と、生成部32とを備える。推定部31は、熱画像データ取得部10によって取得された熱画像データから得られる設備の温度分布または温度変化に基づいて、設備の内部変状を推定する。生成部32は、推定部31によって推定された内部変状に基づいて、内部変状の3次元点群データを生成する。
推定部31は、熱画像の3次元点群データを生成する3次元点群変換部41と、熱画像の3次元点群データから設備の内部変状を推定する変状推定部42とを備える。3次元点群変換部41は、サーモグラフィ装置2の赤外線ステレオカメラから得られる複数の赤外線画像データを変換した複数の熱画像データに基づいて、熱画像の3次元点群データを生成する。
3次元点群変換部41によって生成される熱画像の3次元点群データには、設備表面を表す複数の3次元点のデータが含まれる。各3次元点のデータには、3次元における3次元点の位置を示す位置データに加え、3次元における3次元点の位置の温度を示す温度データが含まれる。
変状推定部42は、熱画像の3次元点群データから設備の内部変状を推定する。設備がトンネルの場合、熱画像の3次元点群データには、トンネルの内壁面を表す複数の3次元点の各々の位置データと温度データが含まれる。変状推定部42は、熱画像の3次元点群データからトンネルの温度分布または温度変化を求め、かかるトンネルの内壁面の温度分布または温度変化に基づいて、トンネルの内部変状を推定する。
トンネルに空洞、ひび、剥離、または漏水が生じている場合、トンネルの内壁面からトンネルの壁内部への熱伝導率が変わる。そのため、トンネル内の雰囲気温度が変化すると、トンネルの内壁面のうち内部変状に近い領域は周囲の領域との間で温度差が生じる。例えば、トンネルの内壁面のうちトンネルの壁内部で空洞、ひび、または剥離が生じている領域に近い領域では周囲の領域と比べて温度変化が大きい。また、トンネルの内壁面のうちトンネルの内部で漏水が生じている領域に近い領域では周囲の領域と比べて温度変化が小さい。
変状推定部42は、トンネルの内壁面の温度分布または温度変化から設備に形成されている内部変状の種類、位置、および形状を推定する。変状推定部42は、トンネル内の雰囲気温度が異なる時間でサーモグラフィ装置2によって生成された2つの熱画像データに基づいて、トンネルの内壁面の温度変化を検出する。
変状推定部42は、トンネルの内壁面のうち温度変化が相対的に大きい領域がある場合、かかる領域の内部に空洞、ひび、または剥離が生じていると推定する。剥離は、空洞に比べ、内壁面から比較的浅い部分に生じするため、空洞よりも温度変化が大きい。そのため、変状推定部42は、温度変化の差によって空洞と剥離とを区別する。また、空洞および剥離と、ひびとは温度変化する領域の形状が異なるため、推定部31は、温度変化する領域の形状によって、空洞とひび、または剥離とひびを区別する。
また、変状推定部42は、サーモグラフィ装置2によって生成された熱画像データから得られるトンネルの内壁面の温度分布に基づいて、トンネルに形成される内部変状を推定することもできる。
トンネル内の雰囲気温度が相対的に大きく変化した時刻において、トンネルの内壁面のうち内部変状に近い領域と周囲の領域とで温度が異なる。例えば、日中は、トンネル内の雰囲気温度が高くなり、夜間は、トンネル内の雰囲気温度が低くなる。そして、雰囲気温度が低い夜間から雰囲気温度が高い日中になった場合、トンネルの内壁面のうち内部変状に近い領域と周囲の領域とで温度が異なる。したがって、トンネルの内壁面の温度分布に基づいてトンネルに形成される内部変状を推定することができる。
変状推定部42は、推定した内部変状の種類、位置、および形状を示す情報を生成部32へ出力する。なお、変状推定部42は、トンネルの場合と同様の処理によって、トンネル以外の設備の内部変状を推定し、推定結果を生成部32へ出力することができる。
生成部32は、推定部31から出力される内部変状の種類、位置、および形状を示す情報に基づいて、内部変状の3次元点群データを生成する。内部変状の3次元点群データには、各3次元点のデータと、内部変状の種類および状態を示すデータとが含まれる。各3次元点のデータには、設備の壁内部の位置を示す位置データが含まれる。内部変状の3次元点群データは、生成部32によって内部変状毎に生成される。
データ記憶処理部14は、設備表面の3次元点群データを設備データ生成部12から取得し、取得した設備表面の3次元点群データを記憶部15に記憶する。また、データ記憶処理部14は、変状データ生成部13の生成部32から内部変状の3次元点群データを取得し、変状データ生成部13の3次元点群変換部41から熱画像の3次元点群データを変状データ生成部13から取得する。データ記憶処理部14は、取得した内部変状の3次元点群データおよび熱画像の3次元点群データを記憶部15に記憶する。
記憶部15は、データテーブル51を記憶している。かかるデータテーブル51に設備表面の3次元点群データ、内部変状の3次元点群データ、および熱画像の3次元点群データの情報が追加される。図2は、実施の形態1にかかるデータテーブルの一例を示す図である。図2に示すデータテーブル51では、「データID(Idenitifier)」毎に、「日時」、「種類」、「状態」、および「データ」が関連付けられている。
データテーブル51において、「データID」は、3次元点群データ毎に固有の識別情報である。なお、データIDは、3次元点群データで特定される対象が同じである場合、同一のデータIDを割り当てることができる。例えば、図2に示すデータテーブル51において、「D0005」、「D0011」、および「D0016」に代えて、「D0001」を割り当てることができる。また、「D0007」および「D0012」に代えて、「D0002」を割り当てることができる。
「日時」は、3次元点群データをデータテーブル51に追加した日時を示す時間情報である。なお、時間情報は、3次元点群データの生成日時を示す情報、または3次元点群データの生成に用いられた撮像データの生成日時を示す情報であってもよい。
また、データテーブル51において、「種類」は、3次元点群データの種類を示す種類情報であり、「状態」は、内部変状の状態を示す状態情報であり、「データ」は、3次元点群データである。なお、データテーブル51における「データ」は、記憶部15に記憶された3次元点群データのファイル名を示すデータであってもよい。
データ記憶処理部14は、3次元点群データをデータテーブル51に追加する場合、データIDを生成し、生成したデータIDと、時間情報と、種類情報と、状態情報とを3次元点群データと共にデータテーブル51に記憶する。
データテーブル51における「種類」には、設備表面、赤外線、空洞、ひび、剥離、および漏水が含まれる。データ記憶処理部14は、設備表面の3次元点群データをデータテーブル51に追加する場合に、設備表面を3次元点群データの種類としてデータテーブル51に追加する。また、データ記憶処理部14は、空洞の3次元点群データをデータテーブル51に追加する場合に、空洞を3次元点群データの種類としてデータテーブル51に追加する。データ記憶処理部14は、熱画像、ひび、剥離、および漏水の3次元点群データについても同様に、3次元点群データの種類をデータテーブル51に追加する。
データテーブル51における「状態」には、内部変状の大きさ、深さ、および形状といった内部変状の状態を示す情報が含まれる。図2に示すデータテーブル51において、例えば、「W300」は、内部変状の大きさが300cmであることを示し、「D10」は、内部変状の深さが10cmであることを示している。なお、内部変状の大きさは、内部変状の体積ではなく、設備表面に沿った内部変状の広がりを面積または長さで示すものであってもよい。
図1に戻って、表示データ生成装置1の説明を続ける。表示データ生成装置1の条件情報取得部16は、入力装置4への操作によって入力された条件情報を取得する。条件情報は、表示装置5に表示させる3次元点群の条件である表示条件を示す情報である。
表示データ生成部17は、記憶部15から3次元点群データを取得し、取得した3次元点群データに基づいて表示データを生成する。表示データ生成部17は、記憶部15から3次元点群データを取得する取得部33と、取得部33によって取得された3次元点群データに基づいて表示データを生成する生成部34とを備える。
取得部33は、入力装置4への操作によって入力された条件情報に基づいて、記憶部15から3次元点群データを取得し、生成部34へ出力する。条件情報には、指定種類を示す情報と、指定状態を示す情報と、表示態様を示す情報とが含まれる。
指定種類は、記憶部15から抽出する3次元点群データをデータテーブル51における「種類」で絞り込むための情報である。取得部33は、指定種類が設備表面と空洞である場合、データテーブル51における「種類」が設備表面である3次元点群データと、データテーブル51における「種類」が空洞である3次元点群データとを記憶部15から取得する。なお、指定種類が条件情報に含まれない場合、取得部33は、データテーブル51における「種類」での絞り込みを行わない。
指定状態は、記憶部15から抽出する3次元点群データをデータテーブル51における「状態」で絞り込むための情報である。取得部33は、指定状態が深さ5cm以上である場合、データテーブル51における「状態」で特定される深さが5cm以上である3次元点群データを記憶部15から取得する。なお、指定状態が条件情報に含まれない場合、取得部33は、データテーブル51における「状態」での絞り込みを行わない。
表示態様には、指定日時の3次元点群データを表示する第1の態様と、指定期間の3次元点群データを時系列で表示する第2の態様とが含まれる。取得部33は、表示態様を示す情報が第1の態様を指定する情報である場合、表示態様を示す情報に含まれる指定日時に該当する「日時」の3次元点群データを記憶部15から取得する。
例えば、表示態様が第1の態様であり、指定日時が2017年12月1日であり、指定種類が設備表面と空洞であるとする。また、データテーブル51が図2に示す状態であるとする。この場合、取得部33は、データIDが「D0001」から「D0003」までの3つの3次元点群データを記憶部15から取得する。
また、表示態様を示す情報が第2の態様を指定する情報である場合、表示態様を示す情報に含まれる指定期間に該当する「日時」の3次元点群データを記憶部15から取得する。例えば、表示態様が第2の態様であり、指定期間が2017年12月1日から12月2日であり、指定種類が設備表面と空洞であるとする。
この場合、取得部33は、データIDが「D0001」から「D0003」までの3つの3次元点群データを記憶部15から取得し、取得した3つの3次元点群データを生成部34へ出力する。さらに、取得部33は、データIDが「D0006」から「D0008」までの3つの3次元点群データを記憶部15から取得し、取得した3つの3次元点群データを生成部34へ出力する。
このように、取得部33は、時系列の3次元点群データを順次記憶部15から取得し、取得した3次元点群データを順次生成部34へ出力することができる。
生成部34は、取得部33から出力された3次元点群データに基づいて表示データを生成する。表示データは、表示装置5に3次元点群の画像を表示するための情報である。例えば、生成部34は、取得部33から設備表面の3次元点群データと内部変状の3次元点群データとが出力される場合、設備表面の3次元点群データと内部変状の3次元点群データに基づき、設備表面の3次元点群に内部変状の3次元点群を重畳した画像を表示装置5に表示する表示データを生成する。
生成部34は、取得部33から設備表面の3次元点群データと内部変状の3次元点群データとが時系列で出力される場合、時系列の表示データを生成する。例えば、データIDが「D0001」から「D0003」までの3つの3次元点群データと、データIDが「D0006」から「D0008」までの3つの3次元点群データとが取得部33から順次出力されたとする。
この場合、生成部34は、データIDが「D0001」から「D0003」までの3つの3次元点群データに基づき、2017年12月1日における設備表面の3次元点群に空洞の3次元点群を重畳した画像を表示装置5に表示する表示データを生成し、生成した表示データを表示装置5へ出力する。その後、生成部34は、データIDが「D0006」から「D0008」までの3つの3次元点群データに基づき、2017年12月2日における設備表面の3次元点群に空洞の3次元点群を重畳した画像を表示装置5に表示する表示データを生成し、生成した表示データを表示装置5へ出力する。
表示装置5は、表示データ生成部17から出力された表示データに基づく3次元点群の画像を表示する。例えば、表示装置5は、表示データ生成部17から出力された表示データに基づいて、設備表面の3次元点群に内部変状の3次元点群を重畳させた3次元画像を表示する。なお、表示装置5は、3次元画像を2次元平面に3次元的に表示したり、利用者の視差を利用して3次元画像を3次元的に表示したりすることができる。なお、生成部34は、一つの日時の設備表面の3次元点群に内部変状の3次元点を時系列で表示装置5に表示する複数の表示データを生成することもできる。
図3は、実施の形態1にかかる表示装置の表示領域に表示された3次元画像の一例を示す図である。図3に示す例では、表示装置5の表示領域70には、トンネルの3次元点群60に、空洞の3次元点群61,62と、ひびの3次元点群63と、剥離の3次元点群64とが重畳された3次元画像が表示されている。トンネルの3次元点群60は、トンネルの内壁面を表す3次元点群である。なお、空洞の3次元点群61,62によってトンネルの壁内部に形成される空洞が把握でき、ひびの3次元点群63によってトンネルの壁内部へのひびの延伸の度合いを把握できる。なお、トンネルの壁内部へのひびの延伸は、ひびの奥行とも呼ばれる。
表示装置5は、入力装置4への操作情報に基づいて、設備表面の3次元点群に内部変状の3次元点群を重畳させた3次元画像の角度および大きさを変えた3次元画像を表示領域70に表示することができる。これにより、内部変状の状態を容易に把握することができる。なお、表示データ生成部17は、入力装置4への操作情報に基づいて角度および大きさを変えた3次元画像のデータを表示データとして表示装置5に出力することもできる。
このように、設備管理システム100では、設備表面の3次元点群に内部変状の3次元点群を重畳させた3次元画像を表示することができるため、設備の内部変状の状態を精度良く表示することができる。
なお、図3に示す例では、トンネルの外壁面を示す破線65の画像が示されており、生成部34は、破線65の3次元点群データを予め有している。破線65の3次元点群データに基づき、破線65の画像を表示装置5に表示させるように表示データを生成することで、トンネルの外壁面を示す破線65を表示領域70に表示することができる。破線65によって、トンネルの壁の厚みを把握することができ、内部変状の位置の把握を容易に行うことができる。なお、生成部34は、破線65の3次元点群が含まれない画像を表示装置5に表示する表示データを生成することもできる。
また、表示装置5は、設備表面の3次元点群データと内部変状の3次元点群データとをそれぞれ含む時系列の複数の表示データが表示データ生成部17から順次出力された場合、時系列の各表示データに基づく3次元画像を時系列に順次表示する。これにより、例えば、設備の経時的な変化を示す時系列の3次元画像を表示装置5に表示させることができる。
例えば、時系列の複数の表示データが、データIDが「D0001」から「D0003」までの3つの3次元点群データに基づいて生成される第1の表示データと、データIDが「D0006」から「D0008」までの3つの3次元点群データに基づいて生成される第2の表示データであるとする。表示データ生成部17から、第1の表示データ、第2の表示データの順に表示装置5へ出力され、表示装置5は、第1の表示データに基づく3次元画像、第2の表示データに基づく3次元画像の順に表示する。
このように、表示データ生成部17は、内部変状の複数の3次元点群の画像を時系列順に表示する複数の表示データを生成し、生成した複数の表示データを時系列順に表示装置5へ出力することができる。そのため、内部変状の経時的な変化を把握することができ、将来の内部変状の変化を想定するのに役立てることができる。
また、設備管理システム100は、内部変状の種類を指定することで、4つの種類の内部変状の3次元点群データのうち指定された条件に合致する内部変状の3次元点群データのみを表示装置5に表示させることができる。例えば、指定種類が設備表面と空洞である場合、設備表面の3次元点群に内部変状として空洞の3次元点群のみが重畳された3次元画像を表示装置5に表示させることができる。したがって、内部変状のうち一部の内部変状を重点的に表示装置5に表示させて確認することが可能となる。
また、設備管理システム100は、設備表面の3次元点群に、熱画像の3次元点群と、内部変状の3次元点群とを重畳させることができる。そのため、内部変状の3次元点群に加え、熱画像の3次元点群によっても内部変状の状態を推測することができ、表示装置5の表示を確認する作業者の利便性を向上させることができる。なお、設備管理システム100は、設備表面の3次元点群に、熱画像の3次元点群のみを重畳することもできる。
なお、生成部34によって生成される表示データの形式は、設備表面の3次元点群に内部変状の3次元点群を重畳した画像を表示装置5に表示できる形式である。例えば、生成部34によって生成される表示データの形式は、イメージデータ形式、CAD(Computer Aided Design)データ形式、またはその他のデータ形式である。CADデータは、例えば、複数のレイヤの画像が重畳されて表示画像を構成するデータであり、設備表面の3次元点群のレイヤと内部変状の3次元点群のレイヤとは異なるレイヤに設定される。なお、表示データは、設備表面の3次元点群と内部変状の3次元点群とを同じレイヤで合成したデータであってもよい。
次に、表示データ生成装置1による表示データ生成手順を説明する。図4は、実施の形態1にかかる表示データ生成装置による表示データ生成手順の一例を示すフローチャートである。
図4に示すように、表示データ生成装置1は、サーモグラフィ装置2の熱画像データから設備の内部変状の3次元点群データを生成する(ステップS11)。ステップS11の処理は、表示データ生成装置1の熱画像データ取得部10および変状データ生成部13によって実行される処理であり、図5に示すステップS21からS23の処理であり、後で詳述する。
また、表示データ生成装置1は、カメラ装置3の撮像データから設備表面の3次元点群データを生成する(ステップS12)。表示データ生成装置1は、ステップS11で生成された内部変状の3次元点群データとステップS12で生成された設備表面の3次元点群データとを記憶部15に記憶する(ステップS13)。次に、表示データ生成装置1は、入力装置4からの条件情報があるか否かを判定する(ステップS14)。
表示データ生成装置1は、条件情報があると判定した場合(ステップS14:Yes)、表示データを生成し、生成した表示データを表示装置5へ出力する(ステップS15)。ステップS15の処理は、表示データ生成装置1の表示データ生成部17によって実行される処理であり、図6に示すステップS31からS38の処理であり、後で詳述する。
表示装置5は、表示データ生成装置1から出力された表示データに基づいて、設備表面の3次元点群に内部変状の3次元点群を重畳した3次元画像を表示領域70に表示する。表示データ生成装置1は、ステップS15の処理が終了した場合、または、条件情報がないと判定した場合(ステップS14:No)、図4に示す処理を終了する。なお、表示データ生成装置1は、ステップS11からS13の処理とステップS14,S15の処理とを並行して繰り返し行うことができる。
図5は、図4に示すステップS11の具体的な処理手順の一例を示すフローチャートである。図5に示すように、表示データ生成装置1の熱画像データ取得部10は、サーモグラフィ装置2から熱画像データを取得する(ステップS21)。表示データ生成装置1の変状データ生成部13は、熱画像データ取得部10によって取得された熱画像データに基づき、内部変状を推定する(ステップS22)。変状データ生成部13は、内部変状の推定結果に基づき、内部変状の3次元群データを生成する(ステップS23)。
図6は、図4に示すステップS15の具体的な処理手順の一例を示すフローチャートである。図6に示すように、表示データ生成装置1の表示データ生成部17は、入力装置4からの条件情報で特定される表示態様が第2の態様であるか否かを判定する(ステップS31)。
表示データ生成部17は、表示態様が第2の態様であると判定した場合(ステップS31:Yes)、条件情報で指定される種類および状態の条件を満たす3次元点群データのうち、条件情報で指定される指定期間のうち未取得で最も古い日時かつ指定種類の3次元点群データを記憶部15から取得する(ステップS32)。
表示データ生成部17は、ステップS32で取得された3次元点群データに基づいて表示データを生成する(ステップS33)。表示データ生成部17は、ステップS33で生成された表示データを表示装置5へ出力する(ステップS34)。
表示データ生成部17は、ステップS34の処理が終了した場合、条件情報で指定される種類および状態の条件を満たす3次元点群データのうち、条件情報で指定される指定期間の全データを取得したか否かを判定する(ステップS35)。表示データ生成部17は、指定期間の全データを取得していないと判定した場合(ステップS35:No)、ステップS32へ移行する。
表示データ生成部17は、ステップS31において、表示態様が第2の態様ではないと判定した場合(ステップS31:No)、条件情報で指定される種類および状態の条件を満たす3次元点群データのうち、条件情報で指定される指定日時かつ指定種類の3次元点群データを記憶部15から取得する(ステップS36)。
表示データ生成部17は、ステップS36で取得された3次元点群データに基づいて表示データを生成する(ステップS37)。表示データ生成部17は、ステップS37で生成された表示データを表示装置5へ出力する(ステップS38)。
表示データ生成部17は、ステップS38の処理が終了した場合、または、指定期間の全データを取得していると判定された場合(ステップS35:Yes)、図6に示す処理を終了する。
なお、サーモグラフィ装置2およびカメラ装置3は、計測車両に搭載することができる。計測車両は、例えば、自動車または列車である。サーモグラフィ装置2は計測車両が走行中に熱画像データを生成し、生成した熱画像データを表示データ生成装置1へ出力する。また、カメラ装置3は計測車両が走行中に撮像データを生成し、生成した撮像データを表示データ生成装置1へ出力することができる。
計測車両は、計測車両の緯度および経度を検出する位置検出部を有しており、位置検出部によって検出された計測車両の緯度および経度を示す位置データは表示データ生成装置1へ有線または無線で出力される。設備データ生成部12は、撮像データが生成されたときの計測車両の緯度および経度を位置データから把握することで、設備表面の3次元点群における各3次元点群の位置を求めることができる。同様に、3次元点群変換部41は、撮像データが生成されたときの計測車両の緯度および経度を位置データから把握することで、内部変状の3次元点群における各3次元点群の位置を求めることができる。なお、表示データ生成装置1は、計測車両に搭載しても、計測車両とは別の位置に配置してもよい。
図7は、実施の形態1にかかる表示データ生成装置のハードウェア構成の一例を示す図である。図7に示すように、表示データ生成装置1は、プロセッサ101と、メモリ102と、インタフェース回路103とを備えるコンピュータである。プロセッサ101、メモリ102、およびインタフェース回路103は、バス104によって互いにデータの送受信が可能である。熱画像データ取得部10、撮像データ取得部11、変状データ生成部13の一部、および条件情報取得部16は、インタフェース回路103によって実現され、記憶部15は、メモリ102によって実現される。
プロセッサ101は、メモリ102に記憶されたOS(Operating System)および処理プログラムを読み出して実行することによって、設備データ生成部12、変状データ生成部13、データ記憶処理部14、および表示データ生成部17の機能を実行する。なお、プロセッサ101は、磁気ディスク、USB(Universal Serial Bus)メモリ、光ディスク、コンパクトディスク、およびDVD(Digital Versatile Disc)のうち一つ以上の記憶媒体から不図示のインタフェースを介してOSおよび処理プログラムを読み出してメモリ102に記憶して実行することもできる。光ディスク、コンパクトディスク、およびDVDは、コンピュータが読み取り可能なプログラムが記録された記録媒体である。
プロセッサ101は、処理回路の一例であり、CPU、DSP(Digital Signal Processer)、およびシステムLSI(Large Scale Integration)のうち一つ以上を含む。メモリ102は、プロセッサ101の作業領域として用いられる記憶領域であり、RAM(Random Access Memory)に代表される不揮発性または揮発性の半導体メモリである。
以上のように、実施の形態1にかかる表示データ生成装置1は、設備データ生成部12と、熱画像データ取得部10と、変状データ生成部13と、表示データ生成部17とを備える。設備データ生成部12は、設備表面の3次元点群データを生成する。熱画像データ取得部10は、設備の熱画像データを取得する。変状データ生成部13は、熱画像データに基づいて設備の内部変状の3次元点群データを生成する。表示データ生成部17は、設備表面の3次元点群データと内部変状の3次元点群データに基づいて設備表面の3次元点群の画像に内部変状の3次元点群を重畳した画像を表示装置5に表示する表示データを生成する。これにより、設備表面の3次元点群に内部変状の3次元点群が重畳された画像を表示装置5に表示させることができる。内部変状の3次元点群によって内部変状が可視化されることから、設備の内部変状の状態を容易に把握することができる。したがって、例えば、次回以降において、設備管理システム100により設備の状態を点検する際に、重点的に点検を行う場所を絞り込むことができる。また、内部変状の可視化によって、どの内部変状の補修作業を優先すればよいかの順位付けも容易に行うことができる。
また、変状データ生成部13は、推定部31と、生成部32とを含む。推定部31は、熱画像データから得られる設備の温度分布または温度変化に基づいて、設備の内部変状を推定する。生成部32は、推定部31によって推定された設備の内部変状に基づいて、内部変状の3次元点群データを生成する。これにより、設備の内部変状を精度よく推定することができ、内部変状の3次元点群データを精度よく生成することができる。
また、表示データ生成部17は、内部変状の複数の3次元点群の画像を時系列順に表示装置5に表示する複数の表示データを生成し、生成した複数の表示データを時系列順に表示装置5に出力する。これにより、内部変状の経時的な変化を把握することができ、将来の内部変状の変化を想定するのに役立てることができる。
また、表示データ生成装置1は、内部変状の表示条件を示す情報を含む条件情報を取得する条件情報取得部16を備える。内部変状の表示条件は、例えば、内部変状の種類および状態のうち少なくとも一つを含む。表示データ生成部17は、変状データ生成部13によって生成された内部変状の複数の3次元点群データのうち表示条件を満たす内部変状の3次元点群データを取得し、取得した内部変状の3次元点群データと設備表面の3次元点群データとに基づいて表示データを生成する。これにより、例えば、内部変状の種類、大きさ、および深さといった条件を作業者が指定することにより、内部変状の3次元点群のうち条件に合致する内部変状の3次元点群に絞った表示を行うことができる。したがって、例えば、検討すべき種類、大きさおよび深さの内部変状のみを重点的に表示することができる。
また、表示データ生成装置1は、取得部33と生成部34とを備える表示処理装置として機能する。取得部33は、設備表面の3次元点群データと設備の内部変状の3次元点群データとを取得する。生成部34は、取得部33によって取得された設備表面の3次元点群データと内部変状の3次元点群データとに基づいて、設備表面の3次元点群の画像に内部変状の3次元点群を重畳した画像を表示装置5に表示する表示データを生成し、生成した表示データを表示装置5へ出力する。これにより、設備表面の3次元点群の画像に内部変状の3次元点群の画像が重畳されて表示装置5に表示される。
実施の形態2.
実施の形態2にかかる設備管理システムは、内部変状が将来的にどのように変化するかをシミュレーションし、シミュレーションした内部変状の3次元点群データを表示することができる点で、実施の形態1にかかる設備管理システム100と異なる。以下においては、実施の形態1と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態1の設備管理システム100と異なる点を中心に説明する。
図8は、本発明の実施の形態2にかかる設備管理システムの構成例を示す図である。図8に示すように、実施の形態2にかかる設備管理システム100Aは、サーモグラフィ装置2と、カメラ装置3と、表示データ生成装置1Aと、入力装置4と、表示装置5とを備える。
表示データ生成装置1Aは、シミュレーション部18を有する点で表示データ生成装置1と異なる。シミュレーション部18は、入力装置4への操作によって入力された条件情報に基づいて、記憶部15から3次元点群データを取得する。
シミュレーション部18は、入力装置4への操作によって入力された条件情報に含まれる指定日時または指定期間に将来の日時が含まれている場合、条件情報に含まれる指定種類に該当する種類の内部変状の3次元点群データを取得する。例えば、シミュレーション部18は、指定種類が空洞である場合、データテーブル51における「種類」が空洞である3次元点群データを複数または全て取得する。
シミュレーション部18は、取得した複数の3次元点群データに基づいて、指定日時または指定期間に含まれる将来の日時における3次元点群データを生成する。例えば、シミュレーション部18は、空洞の3次元点群データを取得した場合、取得した空洞の3次元点群データから空洞の状態の推移を判定する。シミュレーション部18は、判定した空洞の状態の推移から、将来の日時における空洞の状態をシミュレーションし、将来の日時における空洞の3次元点群データを生成する。
シミュレーション部18は、同じ内部変状の時系列の複数の3次元点群データから、内部変状毎に、指定日時または指定期間に含まれる将来の日時における3次元点群データを生成する。例えば、シミュレーション部18は、同一のデータIDが割り当てられた3次元点群データを同じ内部変状の3次元点群データとして処理することができる。
また、シミュレーション部18は、入力装置4への操作によって入力された条件情報に含まれる指定日時または指定期間に将来の日時が含まれている場合、条件情報に含まれる指定種類に該当する種類の内部変状の3次元点群データに加え、熱画像の3次元点群データを取得することもできる。
この場合、シミュレーション部18は、指定種類に該当する種類の内部変状の3次元点群データに基づいて、指定種類に該当する種類の内部変状の3次元点群の状態の推移を判定する。また、シミュレーション部18は、熱画像の3次元点群データに基づいて、内部変状の温度の推移を判定する。
シミュレーション部18は、判定した内部変状の3次元点群の状態推移と内部変状の温度推移とに基づいて、将来の日時における内部変状の状態をシミュレーションし、将来の日時における内部変状の3次元点群データを生成する。このように、内部変状の変化推移に加え、内部変状の温度推移を用いることで、将来の日時における内部変状の状態を精度よくシミュレーションすることができる。
シミュレーション部18におけるシミュレーションは、内部変状の3次元点群の各日時の状態を複数のパラメータとした関数によって行うことができる。例えば、シミュレーション部18は、日時、内部変状の大きさ、および内部変状の深さの各々をパラメータとした関数に、各日時における、日時、内部変状の大きさ、および内部変状の深さを入力することで、将来の日時における内部変状の状態を演算することができる。
なお、シミュレーション部18は、将来の日時における内部変状の状態をシミュレーションすることができればよく、例えば、日時、内部変状の大きさ、および内部変状の深さを素性とした学習器であってもよい。
シミュレーション部18は、生成した将来の日時における内部変状の3次元点群データを記憶部15に記憶する。表示データ生成部17は、シミュレーション部18によって生成された内部変状の将来の日時における3次元点群データを記憶部15から取得し、取得した内部変状の将来の日時における3次元点群データに基づいて、設備表面の3次元点群の画像に内部変状の将来の日時における3次元点群を重畳した画像を表示装置5に表示する表示データを生成する。表示データ生成部17は、生成した表示データを表示装置5へ出力する。これにより、内部変状の将来の日時における3次元点群の画像を表示装置5に表示することができる。
なお、シミュレーション部18は、生成した将来の日時における内部変状の3次元点群データを表示データ生成部17へ直接出力することもできる。この場合、表示データ生成部17は、シミュレーション部18から取得した内部変状の将来の日時における3次元点群データに基づいて、設備表面の3次元点群の画像に内部変状の将来の日時における3次元点群を重畳した画像を表示装置5に表示する表示データを生成する。また、シミュレーション部18は、入力装置4への操作によって条件情報が入力される前に、内部変状の将来の各日時における3次元点群データを生成し、生成した内部変状の将来の各日時における3次元点群データを記憶部15に記憶することもできる。
また、シミュレーション部18は、将来の日時における内部変状の状態と同様に、将来の日時における設備表面の状態をシミュレーションすることもできる。この場合、シミュレーション部18は、将来の日時における設備表面の3次元点群データを生成し、生成した将来の日時における設備表面の3次元点群データを記憶部15に記憶する。表示データ生成部17は、シミュレーション部18によって生成された設備表面の将来の日時における3次元点群データを記憶部15から取得し、取得した設備表面の将来の日時における3次元点群データに基づいて表示データを生成することができる。
表示データ生成装置1Aによる表示データ生成手順は、表示データ生成装置1による表示データ生成手順のうち図4に示すステップS15の具体的な処理手順が異なる。図9は、実施の形態2にかかる表示データ生成装置における図4に示すステップS15の具体的な処理手順の一例を示すフローチャートである。図9に示すステップS31からS38の処理は、図6に示すステップS31からS38の処理と同じであるため説明を省略する。
図9に示すように、表示データ生成装置1Aのシミュレーション部18は、条件情報に含まれる指定日時または指定期間は、将来の日時を含むか否かを判定する(ステップS30)。シミュレーション部18は、指定日時または指定期間が将来の日時を含むと判定した場合(ステップS30:Yes)、指定日時または指定期間に含まれる将来の日時における3次元点群データを生成する(ステップS39)。なお、シミュレーション部18は、生成した3次元点群データを記憶部15に記憶する。
表示データ生成装置1Aは、ステップS39の処理が終了した場合、または、指定日時または指定期間が将来の日時を含まないと判定した場合(ステップS30:No)、処理をステップS31へ移行する。
実施の形態2にかかる表示データ生成装置1Aのハードウェア構成例は、図7に示す表示データ生成装置1と同じである。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、シミュレーション部18の機能を実行することができる。
以上のように、実施の形態2にかかる表示データ生成装置1Aは、変状データ生成部13によって過去に生成された複数の内部変状の3次元点群データに基づいて、内部変状の将来の日時における3次元点群データを生成するシミュレーション部18を備える。表示データ生成部17は、シミュレーション部18によって生成された内部変状の将来の日時における3次元点群データに基づいて、設備表面の3次元点群の画像に内部変状の将来の日時における3次元点群を重畳した画像を表示装置5に表示する表示データを生成する。これにより、過去だけでなく未来も内部変状の3次元点群などを時系列で確認することができるため、例えば、次回以降における設備の点検または補修の計画の立案がし易くなり、設備管理における利便性を向上させることができる。
実施の形態3.
実施の形態3にかかる設備管理システムは、設備へ照射されたレーザによって発生する超音波を測定した結果と熱画像データとに基づいて、設備の内部変状の3次元点群データを生成することができる点で、実施の形態2にかかる設備管理システム100Aと異なる。以下においては、実施の形態1と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態2の設備管理システム100Aと異なる点を中心に説明する。
図10は、本発明の実施の形態3にかかる設備管理システムの構成例を示す図である。図10に示すように、実施の形態3にかかる設備管理システム100Bは、サーモグラフィ装置2と、カメラ装置3と、表示データ生成装置1Bと、入力装置4と、表示装置5と、レーザ超音波計測装置6とを備える。なお、設備管理システム100Bにおいて、レーザ超音波計測装置6を複数設けることができる。
レーザ超音波計測装置6は、設備へ照射されたレーザによって発生する超音波を測定し、測定した結果を表示データ生成装置1Bへ送信する。かかるレーザ超音波計測装置6は、設備へ向けてレーザを射出することで設備へレーザを照射するレーザ射出部24と、レーザ射出部24から設備へ照射されたレーザにより発生する超音波を計測する超音波計測部25と、超音波計測部25による超音波の測定結果を示す超音波計測データを表示データ生成装置1Bへ有線または無線で送信する計測結果送信部26とを備える。
超音波計測部25は、例えば、レーザ射出部24から射出されたレーザの反射成分を解析するレーザ干渉計を有しており、レーザ干渉計においてレーザの反射成分を解析することで、超音波を計測することができる。
表示データ生成装置1Bは、表示データ生成装置1Aにおける変状データ生成部13に代えて変状データ生成部13Bを備え、さらに計測結果入力部19を備える。計測結果入力部19は、レーザ超音波計測装置6から送信される超音波計測データを取得する。
変状データ生成部13Bは、推定部31と、生成部32Bと、調整部35とを備える。調整部35は、超音波計測データから得られる設備の内部状態の情報に基づいて、推定部31によって推定された設備の内部変状の種類、位置、および形状を調整することができる。例えば、調整部35は、推定部31によって推定された設備の内部変状の種類、位置、および形状と、超音波計測データから得られる設備の内部状態の情報とを比較し、尤もらしい内部変状の種類、位置、および形状を生成部32Bへ出力する。
調整部35は、例えば、レーザ超音波計測装置6から送信される複数の超音波計測データに開口合成処理を施すことで設備の内部状態の情報を得ることができる。調整部35は、設備の内部状態の情報から設備の内部変状の種類、位置、および形状を推定することができる。そして、調整部35は、推定部31によって推定された設備の内部変状のうち、超音波計測データから推定される設備の内部変状と一致する種類、位置、および形状の内部変状の情報のみを生成部32Bへ出力することができる。なお、調整部35は、超音波計測データから得られる設備の内部状態から推定部31によって推定された設備の内部変状の位置および形状を補正することで、推定部31によって推定された設備の内部変状の種類、位置、および形状を調整することもできる。
このように、調整部35は、超音波計測データから得られる設備の内部状態に基づいて、推定部31によって推定された設備の内部変状の種類、位置、および形状を調整する。そのため、内部変状の種類、位置、および形状の推定精度を向上させることができる。生成部32Bは、調整部35によって調整された内部変状の種類、位置、および形状の情報に基づいて、内部変状の3次元点群データを生成する。
表示データ生成装置1Bによる表示データ生成手順は、表示データ生成装置1,1Aによる表示データ生成手順のうち図4に示すステップS11の具体的な処理手順が異なる。図11は、実施の形態3にかかる表示データ生成装置における図4に示すステップS11の具体的な処理手順の一例を示すフローチャートである。図11に示すステップS21,S23の処理は、図5に示すステップS21,S23の処理と同じである。
図11に示すように、表示データ生成装置1Bの計測結果入力部19は、レーザ超音波計測装置6から超音波計測データを取得する(ステップS20)。表示データ生成装置1Bの変状データ生成部13Bは、ステップS20で取得された超音波計測データとステップS21で取得された熱画像データとから内部変状を推定する(ステップS22B)。ステップS23において、変状データ生成部13Bは、内部変状の推定結果に基づき、内部変状の3次元群データを生成する。
実施の形態3にかかる表示データ生成装置1Bのハードウェア構成例は、図7に示す表示データ生成装置1と同じである。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、シミュレーション部18、計測結果入力部19、および変状データ生成部13Bの機能を実行することができる。
以上のように、実施の形態3にかかる表示データ生成装置1Bの表示データ生成部17は、設備へレーザを照射して発生する超音波の状態を測定するレーザ超音波計測装置6による超音波の測定結果と熱画像データとに基づいて、設備の内部変状の3次元点群データを生成する。したがって、内部変状の3次元点群データを精度よく生成することができ、内部変状を正確に状態把握できる。これにより、次回以降の表示データ生成装置1Bによる設備の点検の計画をより立て易くなり、また、補修の計画を精度よく行うことができる。
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
1,1A,1B 表示データ生成装置、2 サーモグラフィ装置、3 カメラ装置、4 入力装置、5 表示装置、6 レーザ超音波計測装置、10 熱画像データ取得部、11 撮像データ取得部、12 設備データ生成部、13,13B 変状データ生成部、14 データ記憶処理部、15 記憶部、16 条件情報取得部、17 表示データ生成部、18 シミュレーション部、19 計測結果入力部、21,27 カメラ部、22 熱画像変換部、23 熱画像データ送信部、24 レーザ射出部、25 超音波計測部、26 計測結果送信部、28 撮像データ送信部、31 推定部、32,32B,34 生成部、33 取得部、35 調整部、41 3次元点群変換部、42 変状推定部、51 データテーブル、100,100A,100B 設備管理システム。

Claims (7)

  1. 設備の表面の3次元点群データを生成する設備データ生成部と、
    前記設備の熱画像データを取得する熱画像データ取得部と、
    前記熱画像データに基づいて、熱画像の3次元点群データを生成する3次元点群変換部と、
    前記熱画像データに基づいて、前記設備の内部変状の3次元点群データを生成する変状データ生成部と、
    前記表面の3次元点群データと前記内部変状の3次元点群データと前記熱画像の3次元点群データとに基づいて、前記表面の3次元点群に前記内部変状の3次元点群および前記熱画像の3次元点群を重畳した画像を表示装置に表示する表示データを生成する表示データ生成部と、を備え
    前記変状データ生成部は、
    前記熱画像データに基づいて前記設備の内部変状を推定する推定部と、
    前記設備へレーザを照射して発生する超音波の状態を測定するレーザ超音波計測装置による前記超音波の測定結果から得られる前記設備の内部状態の情報に基づいて、前記推定部によって推定される内部変状の情報を調整する調整部と、
    前記調整部によって調整された内部変状の情報に基づいて、前記内部変状の3次元点群データを生成する生成部と、を備える
    ことを特徴とする表示データ生成装置。
  2. 前記設備は、トンネルであり、
    前記表面は、前記トンネルの内壁面であり、
    前記設備データ生成部は、
    前記トンネルの外壁面の3次元点群データを有し、
    前記表示データ生成部は、
    前記表示データと前記トンネルの外壁面の3次元点群データとに基づいて、前記外壁面の画像を前記表示装置に表示させるように表示データを生成する
    ことを特徴とする請求項1に記載の表示データ生成装置。
  3. 前記表示データ生成部は、
    前記内部変状の複数の3次元点群の画像を時系列順に前記表示装置に表示する複数の表示データを生成し、生成した前記複数の表示データを時系列順に前記表示装置に出力する
    ことを特徴とする請求項1または2に記載の表示データ生成装置。
  4. 前記内部変状の表示条件を示す情報を含む条件情報を取得する条件情報取得部を備え、
    前記表示データ生成部は、
    前記変状データ生成部によって生成された前記内部変状の複数の3次元点群データのうち前記表示条件を満たす内部変状の3次元点群データを取得し、取得した内部変状の3次元点群データと前記表面の3次元点群データに基づいて、前記表示データを生成する
    ことを特徴とする請求項1からのいずれか一つに記載の表示データ生成装置。
  5. 前記変状データ生成部によって過去に生成された複数の前記内部変状の3次元点群データに基づいて、前記内部変状の将来の日時における3次元点群データを生成するシミュレーション部を備え、
    前記表示データ生成部は、
    前記シミュレーション部によって生成された前記内部変状の将来の日時における3次元点群データに基づいて、前記表面の3次元点群に前記内部変状の将来の日時における3次元点群を重畳した画像を前記表示装置に表示する表示データを生成する
    ことを特徴とする請求項1からのいずれか一つに記載の表示データ生成装置。
  6. コンピュータが実行する表示データ生成方法であって、
    設備の表面の3次元点群データを生成する設備データ生成ステップと、
    前記設備の熱画像データを取得する熱画像データ取得ステップと、
    前記熱画像データに基づいて、熱画像の3次元点群データを生成する3次元点群変換ステップと、
    前記熱画像データに基づいて、前記設備の内部変状の3次元点群データを生成する変状データ生成ステップと、
    前記表面の3次元点群データと前記内部変状の3次元点群データと前記熱画像の3次元点群データとに基づいて、前記表面の3次元点群に前記内部変状の3次元点群および前記熱画像の3次元点群を重畳した画像を表示装置に表示する表示データを生成する表示データ生成ステップと、を含み、
    前記変状データ生成ステップは、
    前記熱画像データに基づいて前記設備の内部変状を推定する推定ステップと、
    前記設備へレーザを照射して発生する超音波の状態を測定するレーザ超音波計測装置による前記超音波の測定結果から得られる前記設備の内部状態の情報に基づいて、前記推定ステップによって推定される内部変状の情報を調整する調整ステップと、
    前記調整ステップによって調整された内部変状の情報に基づいて、前記内部変状の3次元点群データを生成する生成ステップと、を含む
    ことを特徴とする表示データ生成方法。
  7. 前記設備は、トンネルであり、
    前記表面は、前記トンネルの内壁面であり、
    前記表示データ生成ステップは、
    前記表示データと前記トンネルの外壁面の3次元点群データとに基づいて、前記外壁面の画像を前記表示装置に表示させるように表示データを生成する
    ことを特徴とする請求項に記載の表示データ生成方法。
JP2018526277A 2017-12-07 2017-12-07 表示データ生成装置および表示データ生成方法 Active JP6506886B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/044067 WO2019111391A1 (ja) 2017-12-07 2017-12-07 表示データ生成装置、表示データ生成方法、および表示処理方法

Publications (2)

Publication Number Publication Date
JP6506886B1 true JP6506886B1 (ja) 2019-04-24
JPWO2019111391A1 JPWO2019111391A1 (ja) 2019-12-12

Family

ID=66324140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526277A Active JP6506886B1 (ja) 2017-12-07 2017-12-07 表示データ生成装置および表示データ生成方法

Country Status (2)

Country Link
JP (1) JP6506886B1 (ja)
WO (1) WO2019111391A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249536A (ja) * 2004-03-03 2005-09-15 Tokyo Univ Of Science コンクリートの非破壊検査方法及び非破壊検査装置
JP2005300179A (ja) * 2004-04-06 2005-10-27 Constec Engi Co 赤外線構造物診断システム
US20070217672A1 (en) * 2006-03-20 2007-09-20 Siemens Power Generation, Inc. Combined 2D and 3D nondestructive examination
JP2011203090A (ja) * 2010-03-25 2011-10-13 Mitsubishi Electric Corp トンネル変状計測装置及びトンネル変状計測方法
JP2015081858A (ja) * 2013-10-23 2015-04-27 株式会社東芝 レーザ超音波検査装置及び方法
WO2016006283A1 (ja) * 2014-07-10 2016-01-14 三菱電機株式会社 構造物維持管理システム
JP2016156747A (ja) * 2015-02-25 2016-09-01 株式会社東芝 欠陥検出処理装置、欠陥検出処理システム、および欠陥検出処理方法
WO2017119154A1 (ja) * 2016-01-07 2017-07-13 三菱電機株式会社 検出装置および検出方法
WO2017130251A1 (ja) * 2016-01-29 2017-08-03 パナソニックIpマネジメント株式会社 厚み計測方法及び厚み計測装置、並びに欠陥検出方法及び欠陥検出装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249536A (ja) * 2004-03-03 2005-09-15 Tokyo Univ Of Science コンクリートの非破壊検査方法及び非破壊検査装置
JP2005300179A (ja) * 2004-04-06 2005-10-27 Constec Engi Co 赤外線構造物診断システム
US20070217672A1 (en) * 2006-03-20 2007-09-20 Siemens Power Generation, Inc. Combined 2D and 3D nondestructive examination
JP2011203090A (ja) * 2010-03-25 2011-10-13 Mitsubishi Electric Corp トンネル変状計測装置及びトンネル変状計測方法
JP2015081858A (ja) * 2013-10-23 2015-04-27 株式会社東芝 レーザ超音波検査装置及び方法
WO2016006283A1 (ja) * 2014-07-10 2016-01-14 三菱電機株式会社 構造物維持管理システム
JP2016156747A (ja) * 2015-02-25 2016-09-01 株式会社東芝 欠陥検出処理装置、欠陥検出処理システム、および欠陥検出処理方法
WO2017119154A1 (ja) * 2016-01-07 2017-07-13 三菱電機株式会社 検出装置および検出方法
WO2017130251A1 (ja) * 2016-01-29 2017-08-03 パナソニックIpマネジメント株式会社 厚み計測方法及び厚み計測装置、並びに欠陥検出方法及び欠陥検出装置

Also Published As

Publication number Publication date
WO2019111391A1 (ja) 2019-06-13
JPWO2019111391A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
KR101948852B1 (ko) 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치
JP5606340B2 (ja) 構造物計測システム
JPWO2021140886A5 (ja)
JP2011522217A5 (ja)
RU2013143160A (ru) Нежесткая трансформация изображения сосуда с использованием формы внутрисосудистого устройства
TW200947348A (en) System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part
JP2015034711A (ja) 3次元データの処理装置、その処理方法及びその処理プログラム
WO2018155590A1 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
US11162888B2 (en) Cloud-based machine learning system and data fusion for the prediction and detection of corrosion under insulation
JP2015135317A (ja) 画像処理装置、システム、画像処理方法およびプログラム
JP2007058508A (ja) 形状測定に基づく構造解析システム及び解析方法
US8022344B2 (en) Optical wavefront control pattern generating apparatus and optical wavefront control pattern generating method
Bogue Three‐dimensional measurements: a review of technologies and applications
Sansoni et al. Feasibility of contactless 3D optical measurement for the analysis of bone and soft tissue lesions: new technologies and perspectives in forensic sciences
JP2006349579A (ja) 変位情報測定システム及び方法並びにプログラム
JP6506886B1 (ja) 表示データ生成装置および表示データ生成方法
KR20110071322A (ko) 댐 거동 경향 분석 시스템 및 이를 이용한 거동 경향 분석 방법
JP6361927B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2009014501A (ja) 製品の3次元形状モデルデータ作成方法
JPWO2018056129A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
KR102039902B1 (ko) 원격 기자재 정도 검사 시스템 및 방법
Van-Bien et al. Improving the depth accuracy and assessment of microsoft kinect v2 towards a usage for mechanical part modeling
Im et al. Hybrid approach to visualize building energy information model in geospatial application programs
JP7410387B2 (ja) 付属品の取り付け位置検査方法及び取り付け位置検査装置
JP2019035708A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180518

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180518

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190329

R150 Certificate of patent or registration of utility model

Ref document number: 6506886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250