JPWO2019021719A1 - 損傷データ編集装置、損傷データ編集方法、およびプログラム - Google Patents

損傷データ編集装置、損傷データ編集方法、およびプログラム Download PDF

Info

Publication number
JPWO2019021719A1
JPWO2019021719A1 JP2019532452A JP2019532452A JPWO2019021719A1 JP WO2019021719 A1 JPWO2019021719 A1 JP WO2019021719A1 JP 2019532452 A JP2019532452 A JP 2019532452A JP 2019532452 A JP2019532452 A JP 2019532452A JP WO2019021719 A1 JPWO2019021719 A1 JP WO2019021719A1
Authority
JP
Japan
Prior art keywords
damage
data
unit
damage data
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019532452A
Other languages
English (en)
Other versions
JP6805351B2 (ja
Inventor
浩明 菊池
浩明 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019021719A1 publication Critical patent/JPWO2019021719A1/ja
Application granted granted Critical
Publication of JP6805351B2 publication Critical patent/JP6805351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Bridges Or Land Bridges (AREA)

Abstract

本発明は、撮影画像に写された損傷が精度良く表現された損傷データを得ることができる損傷データ編集装置、損傷データ編集方法、およびプログラムを提供することを目的とする。損傷データ編集装置(20)は、画像取得部(22)と、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部(32)と、表示部(26)と、表示部(26)に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御部(38)と、表示部(26)に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集部(40)と、図面データ取得部(24)と、射影関係受付部(34)と、出力部(44)と、を備える。

Description

本発明は、損傷データ編集装置、損傷データ編集方法、およびプログラムに関し、特に点検対象である建造物の撮影画像から生成される損傷データを編集する技術に関する。
橋梁、トンネル等の建造物は、継時的に損傷の発生する可能性が高くなる。したがって、定期的に損傷の発生および損傷の進行状況の点検を行うことが求められている。
建造物を点検する調査員は、点検の結果を示す帳票として所定形式の点検調書を作成する必要がある。その点検調書の一つとして建造物の損傷状態を図示する損傷図がある。実際に点検した調査員とは異なる専門家であっても、所定形式で作成された損傷図を見ることにより、建造物の損傷の発生および進行状況を把握し、その建造物の維持管理計画を策定することが可能になる。
また近年において建造物の点検は、撮影画像を利用して行われる場合がある。すなわち、調査員は、点検対象である建造物の撮影画像を取得し、その撮影画像から損傷(例えばひび割れ)を検出することにより、建造物の損傷の点検を行う。
特許文献1には、建造物の撮影画像を利用して検査図面(損傷図に相当)の作成を行う技術が記載されている。具体的には、点検対象の建造物の撮影画像における損傷の特徴から線や面や文字の損傷オブジェクトを作成し、スキャナで読み込んだ製図面データ上に配置する技術が記載されている。
特開2004−318790号公報
ここで、撮影画像から画像処理により損傷を検出する場合には、撮影画像に射影変換等の加工を加える前に損傷の検出処理を行うと、より精度の高い損傷の検出を行うことができる。すなわち、撮影画像に射影変換等の加工が加えられると、加工の影響により撮影画像のデータに影響が及ぼされて、精度の良い損傷の検出が行えない場合が発生する。
しかしながら、特許文献1に記載された技術では、射影変換前の撮影画像に基づいて損傷オブジェクトが生成されることに関しては言及されていない。
また、撮影画像から画像処理により損傷を検出する場合には、必ずしも精度良く損傷が検出されるとは限らず、画像処理により損傷を検出したのちにユーザが確認し、必要に応じて損傷の検出結果を編集(修正および加工)することが必要になる場合がある。
しかしながら、特許文献1に記載された技術では、損傷の検出結果であるオブジェクトデータの生成の際に、撮影画像の損傷とオブジェクトデータとを合わせるような編集機能に関して言及されていない。すなわち、特許文献1に記載された技術では、生成されたオブジェクトデータが精度良く撮影画像の損傷を表現しているかユーザが確認し編集する機能に関しては言及されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、撮影画像に写された損傷が精度良く表現された損傷データを得ることができる損傷データ編集装置、損傷データ編集方法、およびプログラムを提供することである。
上記目的を達成するための本発明の一の態様である損傷データ編集装置は、点検対象の建造物が撮影された撮影画像を取得する画像取得部と、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部と、表示部と、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御部と、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集部と、点検対象の建造物の図面データを取得する図面データ取得部と、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係の入力を受け付ける射影関係受付部と、射影関係受付部で受け付けられた射影関係に基づいて、損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データを射影変換する射影変換部と、射影変換部で射影変換された損傷データを出力する出力部と、を備える。
本態様によれば、損傷データ生成部で撮影画像を画像解析されることにより損傷データが生成され、そして生成された損傷データは、撮影画像と図面データとの射影関係に基づいて射影変換される。すなわち、本態様の損傷データは、射影変換前の撮影画像における損傷の検出に基づいて生成され、その後射影変換される。これにより本態様は、損傷の検出を行う撮影画像において射影変換による画質劣化の影響を受けることがなく、撮影画像に写された損傷を精度良く再現した損傷データを生成することができる。
また本態様によれば、表示制御部により、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示されるので、ユーザは、そのオーバレイ表示を確認して、生成された損傷データを編集することができる。すなわちユーザは、生成された損傷データが、撮影画像に写っている損傷を精度良く表現しているか否かを確認することができる。例えばユーザは、撮影画像に写っている損傷と損傷データとの間に差異がある場合には、撮影画像に写っている損傷を参照して損傷データを編集することができる。これにより、本態様は、撮影画像に写された損傷を精度良く表現した損傷データを生成することができる。
好ましくは、表示制御部は、表示部に図面データを表示させ、射影関係受付部は、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係を示す、撮影画像の4点および図面データの4点を受け付ける。
本態様によれば、射影関係受付部により、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係を示す、撮影画像の4点および図面データの4点が受け付けられる。これにより本態様は、適切に射影関係が受け付けられて、正確な損傷データの射影変換が行われる。
好ましくは、射影変換部は、撮影画像の4点を図面データの4点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データを射影変換する。
本態様によれば、射影変換部により、撮影画像の4点を図面データの4点に合わせる射影変換行列が算出され、算出した射影変換行列により損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データが射影変換される。これにより、本態様は、正確に損傷データの射影変換を行うことができる。
好ましくは、損傷データ編集装置は、表示部に表示された撮影画像と図面データ取得部で取得された図面データとのミラーリング関係の入力を受け付けるミラーリング関係受付部と、ミラーリング関係受付部で受け付けられたミラーリング関係に基づいて、損傷データをミラーリングするミラーリング部と、を備え、出力部は、ミラーリングおよび射影変換された損傷データを出力する。
本態様によれば、ミラーリング関係受付部により、表示部に表示された撮影画像と図面データ取得部で取得された図面データとのミラーリング関係の入力が受け付けられ、ミラーリング部により、ミラーリング関係受付部で受け付けられたミラーリング関係に基づいて、損傷データがミラーリングされる。これにより本態様は、ミラーリングされた損傷データを得ることができ、建造物の撮影側とは反対側から見た損傷状態を図示する損傷データを得ることができる。
好ましくは、損傷データ編集装置は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する撮影画像合成部を備え、損傷データ生成部は、複数の撮影画像の各々について、損傷データを生成する。
本態様によれば、撮影画像合成部により、建造物の一区画を分割撮影することにより得られる複数の撮影画像が合成されるので、合成された撮影画像を取得することができ、合成された撮影画像の表示を行うことができる。また、本態様によれば、損傷データ生成部により複数の撮影画像の各々について、損傷データが生成される。すなわち、本態様では、合成される前の各撮影画像において損傷データが生成されるので、損傷データ生成部は、撮影画像の合成の影響を受けずに、精度良く損傷データの生成を行うことができる。
好ましくは、撮影画像合成部は、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成を行う。
本態様によれば、撮影画像合成部により、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成が行われる。これにより本態様は、一区画毎の合成画像を得ることができ、一区画毎の合成画像を表示することができる。
好ましくは、損傷データ編集装置は、撮影画像合成部で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する損傷データ合成部を備える。
本態様によれば、損傷データ合成部により、撮影画像合成部で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する。これにより本態様は、合成された損傷データを得ることができる。
好ましくは、損傷データ合成部は、一区画毎に合成を行う。
本態様によれば、損傷データ合成部により、一区画毎に合成が行われる。これにより、本態様は一区画毎に合成された損傷データを得ることができる。
好ましくは、損傷データ編集装置は、射影変換部で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データを作成する損傷図面データ作成部を備え、出力部は、損傷図面データを出力する。
本態様によれば、損傷図面データ作成部により、射影変換部で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データが作成され、出力部により、損傷図面データが出力される。これにより本態様は、精度良く撮影画像の損傷を表現した損傷データを有する損傷図面データを得ることができる。
好ましくは、建造物は、橋梁またはトンネルである。
本発明の他の態様である損傷データ編集方法は、点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御ステップと、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集ステップと、点検対象の建造物の図面データを取得する図面データ取得ステップと、表示部に表示された撮影画像と図面データ取得ステップで取得された図面データとの射影関係の入力を受け付ける射影関係受付ステップと、射影関係受付ステップで受け付けられた射影関係に基づいて、損傷データ生成ステップで生成した損傷データまたは編集ステップで編集された損傷データを射影変換する射影変換ステップと、射影変換ステップで射影変換された損傷データを出力する出力ステップと、を含む。
本発明の他の態様である損傷データ編集工程をコンピュータに実行させるプログラムは、点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御ステップと、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集ステップと、点検対象の建造物の図面データを取得する図面データ取得ステップと、表示部に表示された撮影画像と図面データ取得ステップで取得された図面データとの射影関係の入力を受け付ける射影関係受付ステップと、射影関係受付ステップで受け付けられた射影関係に基づいて、損傷データ生成ステップで生成した損傷データまたは編集ステップで編集された損傷データを射影変換する射影変換ステップと、射影変換ステップで射影変換された損傷データを出力する出力ステップと、を含む。
本発明によれば、損傷データが、射影変換前の撮影画像における損傷の検出に基づいて生成され、その後射影変換されるので、損傷の検出を行う撮影画像において射影変換による画質劣化の影響を受けることがなく、撮影画像に写された損傷を精度良く再現した損傷データを生成することができる。また本発明によれば、ユーザに、生成された損傷データが、撮影画像に写っている損傷を精度良く表現しているか否かを確認し編集する機能を提供することができ、撮影画像に写された損傷を精度良く表現した損傷データを生成することができる。
図1は建造物の一例である橋梁の構造を示す斜視図である。 図2は損傷データ編集装置の構成例を示すブロック図である。 図3は記憶部に記憶される損傷図形の例を示す図である。 図4は損傷データ編集装置の動作フローを示すフローチャートである。 図5は射影関係受付部で受け付けられる射影関係の具体例を説明する図である。 図6は損傷データ編集装置の構成例を示すブロック図である。 図7はミラーリングに関して説明する図である。 図8はミラーリングに関して説明する図である。 図9は損傷図面データの例を示す図である。 図10は反転損傷図面データの例を示す図である。 図11は損傷データ編集装置の動作フローを示すフローチャートである。 図12はCAD図面の一例を示す図である。 図13は射影関係およびミラーリング関係の入力の具体例を説明する図である。 図14はミラーリングに関して説明する図である。 図15はミラーリングして得られた損傷データを示す図である。 図16は損傷図面データの作成に関して説明する図である。 図17は床版の格間に関する編集画面の表示例を示す図である。 図18は床版におけるひび割れの進行モデルの一例を模式的に示す図である。 図19は格間が撮影された撮影画像を示す図である。 図20は撮影装置を備えるロボット装置を概念的に示す図である。 図21はミラーリングのバリエーションの説明のための説明図である。
以下、添付図面にしたがって本発明にかかる損傷データ編集装置、損傷データ編集方法およびプログラムの好ましい実施の形態について説明する。
図1は、本発明が適用される建造物の一例である橋梁の構造を示す斜視図であって、橋梁1を下側から見た場合の斜視図である。本図の橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有する。主桁2の上部には、コンクリート製の部材である床版6が設けられている。主桁2は、橋脚7(または橋台)の間に渡され、床版6上の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支えるため、主桁2を連結する部材である。対傾構4および横構5は、特に横荷重に抵抗するため、主桁2を連結する部材である。橋脚7は、橋梁1の主桁2、横桁3、対傾構4、横構5、および床版6の上部構造を支える柱であり、橋梁1の脚に相当する部材である。
なお、図1に示した橋梁1は本発明の説明に用いるために紹介した建造物の一例であり、本発明における建造物は、このような橋梁1に限定されない。撮影画像により損傷の検出が行えて、点検が行える対象であれば、本発明の建造物に該当する。例えば本発明における建造物は、トンネルでもよい。
<第1の実施形態>
図2は、第1の実施形態における損傷データ編集装置20の構成例を示すブロック図である。損傷データ編集装置20は、撮影装置10で撮影された点検対象の建造物の撮影画像を取得する。
撮影装置10は、点検対象の建造物を撮影する撮影デバイスによって構成される。撮影デバイスの例として、デジタルカメラ、スマートフォンに内蔵されたカメラ、タブレット端末に内蔵されたカメラが挙げられる。撮影装置10で取得された撮影画像は、損傷データ編集装置20に入力される。
本形態の損傷データ編集装置20は、例えばコンピュータに設けられる。損傷データ編集装置20は、主に、画像取得部22、図面データ取得部24、表示部26、操作部28、CPU30、および記憶部50を備える。
画像取得部22は、点検対象の建造物が撮影された撮影画像を取得する。また画像取得部22は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を取得してもよい。ここで建造物の一区画とは例えば、点検を行う際に便宜上区切りを付ける建造物の一区画であり、床版6における格間(図1および図19を参照)が挙げられる。
図面データ取得部24は、点検対象の建造物の図面データを取得する。例えば図面データ取得部24は、点検対象の建造物を示すCAD(computer aided design)図面を取得する。また、図面データ取得部24は、スキャナ等で読み込ませた図面データを取得してもよい。
画像取得部22および図面データ取得部24は、デジタル信号の入力を行う入力デバイスによって構成することができる。このような入力デバイスとして、例えば、無線通信または有線通信を行う通信デバイスを用いてもよい。メモリカード等の記憶媒体とのインタフェースデバイスを入力デバイスとして用いてもよい。
表示部26は、液晶表示デバイス等の表示デバイスによって構成される。例えば表示部26は、コンピュータのモニタにより構成される。
操作部28は、ユーザの操作を受け付ける。キーボードおよびマウスによって構成することができる。これら以外の操作デバイス、例えば表示部26に設けられるタッチパネルによって操作部28を構成してもよい。
CPU30は、プログラムを実行するCPU(central processing unit)30であり、単数または複数のCPUにより構成される。
記憶部50は、プログラムおよびそのプログラムの実行に必要な情報を記憶する。記憶部50は、メモリデバイスによって構成される。
CPU30は、損傷データ生成部32、射影関係受付部34、射影変換部36、表示制御部38、編集部40、および出力部44を備える。
損傷データ生成部32は、撮影画像を画像解析することにより、損傷データを生成する。すなわち、損傷データ生成部32は、画像取得部22で取得された撮影画像に対して画像解析を実行することにより損傷を検出し、その損傷を表現する損傷データを生成する。ここで、撮影画像に写る損傷としては、ひび割れ、剥離、鉄筋露出、遊離石灰、および漏水が挙げられる。また損傷データとは、撮影画像に写っている損傷を表示部26において表現するデータである。例えば損傷データとしては、撮影画像に写っている損傷をトレースした画像データであったり、予め損傷の種別毎に記憶部50に記憶された損傷図形(図3参照)であったりする。なお、損傷データ生成部32が行う撮影画像における損傷画像を検出するための画像解析、および損傷データを生成する技術は公知の技術が用いられる。
図3は、記憶部50に記憶される損傷図形の例を示す図である。図3に示すように、記憶部50には損傷の種類に応じた損傷図形を記憶部50に記憶させておき、損傷データ生成部32には検出した損傷に応じて記憶されている損傷図形を損傷データとして使用してもよい。図3には、ひび割れ、剥離、鉄筋露出、遊離石灰、漏水の損傷図形が例示されている。
射影関係受付部34は、表示部26に表示された撮影画像と図面データ取得部24で取得された図面データとの射影関係の入力を受け付ける。射影関係受付部34で受け付けられる射影関係は、様々な形態で受け付けられる。例えば射影関係受付部34は、撮影画像と図面データとでそれぞれ対応する4点の指定を受け付けることにより、射影関係を受け付けてもよい。また例えば射影関係受付部34は、撮影画像における矩形であるべき箇所を公知の画像認識技術により検出し、検出された矩形であるべき箇所に対応する図面データの箇所を指定することにより、射影関係を受け付けてもよい。
射影変換部36は、射影関係受付部34で受け付けられた射影関係に基づいて、損傷データ生成部32で検出した損傷データまたは編集部40で編集された損傷データを射影変換する。射影変換部36は、公知の技術によって損傷データまたは編集部40で編集された損傷データを射影変換する。例えば射影変換部36は、撮影画像の4点を図面データの4点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部32で生成した損傷データまたは編集部40で編集された損傷データを射影変換する。
表示制御部38は、表示部26に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる。すなわち表示制御部38は、撮影画像を表示部26に表示させ、且つ撮影画像における損傷に対応するように損傷データを重畳表示させる。なお、表示制御部38は、撮影画像、損傷データ、図面データ、および損傷図面データを表示部26に適宜表示させる機能を有する。
編集部40は、表示部26に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する。例えばユーザは、表示部26に表示された撮影画像と損傷データ生成部32で自動的に生成された損傷データを見比べて、正確に損傷データが撮影画像の損傷を表現できていない場合には、損傷データを編集(加工)する。この場合、ユーザはコンピュータに取り付けられたマウス(操作部28)を使用して、損傷データの編集に関する指令を入力する。そして、編集部40は、その編集の指令に基づいて損傷データを編集する。編集部40は、追加、削除、および修正といった各種の編集操作も受け付ける。
出力部44は、射影変換部36で射影変換された損傷データを出力する。出力部44の出力形態は特に限定されるものではなく、損傷データまたは損傷図面データ(図9および図10)を有効に利用できるものであればよい。例えば出力部44は、DXF(Drawing Exchange Format)のファイル形式で出力してもよいし、他の画像データのフォーマットで出力してもよい。
次に、損傷データ編集装置20の動作フローに関して説明する。図4は、第1の実施形態の損傷データ編集装置20の動作フローを示すフローチャートである。
先ず、画像取得部22は、撮影装置10により撮影された撮影画像を取得する(ステップS10:画像取得ステップ)。そして、損傷データ生成部32は、取得された撮影画像について画像解析を行って、撮影画像に写っている損傷を検出し、その検出結果に基づいて損傷データを生成する(ステップS11:損傷データ生成ステップ)。その後、表示制御部38により、撮影画像と検出された損傷データとを表示部26にオーバレイ表示する(ステップS12:表示制御ステップ)。
ユーザは、表示部26に表示された撮影画像と損傷データとを確認しながら、表示部26に表示された損傷データの編集の指令をパソコンに接続されているマウスにより入力し、編集部40は入力された指令に基づいて損傷データを編集する(ステップS13:編集ステップ)。
次に、図面データ取得部24により図面データが取得される(ステップS14:図面データ取得ステップ)。なお、図面データの取得は、予め行われていてもよい。例えば、図面データ取得部24は、点検作業前に点検対象の建造物の図面データを取得し、取得された図面データは記憶部50に記憶されていてもよい。
その後、射影関係受付部34により、射影関係の入力が受け付けられる(ステップS15:射影関係受付ステップ)。
図5は、射影関係受付部34で受け付けられる射影関係の具体例を説明する図である。
表示制御部38により、表示部26に点検対象である橋脚7の撮影画像100が表示され、また建造物のCAD図面70(図面データ)が表示されている。具体的には、コンピュータのモニタに撮影画像100およびCAD図面70が表示されている。
損傷データ生成部32で生成された損傷データDD1およびDD2が、撮影画像における損傷に対応するようにオーバレイ表示されている。
ユーザは、表示部26に表示された撮影画像100と橋脚7のCAD図面70において、コンピュータのポインティングデバイスにより、矩形の4点に対応する点を入力する。すなわち、撮影画像100のA1、B1、C1、およびD1の4点を指定して入力し、CAD図面70において対応するA2、B2、C2、およびD2の4点を指定して入力する。そして、射影関係受付部34は、ユーザから入力された各4点(撮影画像100のA1、B1、C1、およびD1と、A2、B2、C2、およびD2)を射影関係として受け付ける。
図4に戻って、射影変換部36により、射影関係受付部34で受け付けられた射影関係に基づいて、撮影画像100の損傷データDD1およびDD2が射影変換される(ステップS16:射影変換ステップ)。具体的には射影変換部36は、撮影画像100のA1、B1、C1、およびD1の4点を、図面データのA2、B2、C2、およびD2の4点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部32で検出した損傷データまたは編集部40で編集された損傷データを射影変換する。
その後、出力部44により射影変換された損傷データが出力される(ステップS17:出力ステップ)。
上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上記の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上記の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。
図6は、第2の実施形態における損傷データ編集装置20の構成例を示すブロック図である。なお、図2において既に説明を行った箇所は同じ符号を付して説明は省略する。損傷データ編集装置20は、主に、画像取得部22、図面データ取得部24、表示部26、操作部28、CPU30、および記憶部50を備える。
CPU30は、損傷データ生成部32、撮影画像合成部46、損傷データ合成部48、ミラーリング関係受付部52、射影関係受付部34、射影変換部36、ミラーリング部54、表示制御部38、編集部40、損傷図面データ作成部42、および出力部44を備える。
撮影画像合成部46は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する。すなわち、撮影画像合成部46は、画像取得部22により複数の撮影画像が入力された場合に、入力された複数の撮影画像を合成する。撮影画像合成部46の画像合成は公知の技術を使用することにより行われ、例えば各撮影画像の特徴点を検出することにより撮影画像の合成を行う。また、撮影画像合成部46は、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成を行ってもよい。例えば撮影画像合成部46は、一区画として格間が採用された複数の撮影画像が入力された場合には、格間毎に、撮影画像を合成してもよい。
損傷データ生成部32は、画像取得部22において複数の撮影画像が取得された場合においても、複数の撮影画像の各々について、損傷を検出し損傷データを生成する。すなわち、損傷データ生成部32は、画像取得部22により複数の画像が取得された場合であっても、合成される前の取得された各撮影画像に対して画像処理を行い、損傷データを生成する。これにより、画像合成の影響により、損傷の検出精度の低下を抑制することができる。
損傷データ合成部48は、撮影画像合成部46で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する。すなわち、損傷データ合成部48は、撮影画像合成部46において合成される場合の合成情報(例えば合成する際の各撮影画像の重なり、特徴点の座標等)に基づいて、各撮影画像において生成された損傷データを合成する。また損傷データ合成部48は、一区画毎に複数の撮影画像の合成を行ってもよい。例えば損傷データ合成部48は、一区画として格間が採用されている場合には、格間毎に損傷データを合成する。
ミラーリング関係受付部52は、表示部26に表示された撮影画像と図面データ取得部24で取得された図面データとのミラーリング関係の入力を受け付ける。ミラーリング関係の入力は、例えばユーザにより、表示部26に表示された撮影画像と図面データとの対応する各4点がポインティングデバイスにより指定されることにより行われる。
ミラーリング部54は、ミラーリング関係受付部52で受け付けられたミラーリング関係に基づいて、損傷データをミラーリングする。なお、ミラーリングは、鏡映反転ともいう。ミラーリングの中心となる軸(以下「ミラーリング軸」という)の方向は、画像の上下方向には限定されない。つまりミラーリングは、いわゆる左右反転には限定されない。ミラーリングは、左右反転以外の反転(例えば上下反転)を含む。本発明におけるミラーリングは、ミラーリング軸を中心として損傷データを反転させる画像処理であるといえる。ミラーリング軸の方向は、ミラーリング部54により、入力された撮影画像を画像解析して、決定することができる。また、本発明のミラーリングは、ミラーリング軸の方向を固定にした態様と、ミラーリング軸の方向を可変にした態様とがある。本明細書において、後者の方向可変の態様は後に詳説する。
このようなミラーリングについて、図7および図8を用いて説明する。図7に示すように、仮に床版6の上面に描かれた「F」の文字を床版6の下側から透視したとすると、実際には「F」を上下反転した形状に見える。これは「F」が非線対称の形状を有するからである。同様に、一般的な損傷(例えばひび割れ)は、非線対称の形状を有するため、橋梁1の下側から床版6を撮影して得られた画像中の損傷の形状と、橋梁1の上側から床版6を透視して見た場合の損傷の形状とは、互いにミラーリングの関係になることが分かる。そこで、図8に示すように、橋梁1の下側から撮影して得られた撮影画像IMG1を、ミラーリングにより、橋梁1の上側から見た画像に相当する鏡映画像IMG2に変換する。そうすると、損傷の形状は、橋梁1の下側から見た場合の形状(図8では「F」を上下反転した形状)から、橋梁1の上側から見た形状(図8では「F」の形状)に変換される。画像中の損傷の位置も、ミラーリングにより、撮影側から見た場合の位置から、撮影側とは反対側から見た場合の位置に変換できることが分かる。
図8に示した例では、橋梁1を基準とした全体座標系の座標軸Gxの方向と撮影画像IMG1の左右方向(x方向)とがマッチングしているため、ミラーリングとして撮影画像IMG1を上下反転したが、例えば全体座標系の座標軸Gxの方向と撮影画像IMG1の上下方向(y方向)とがマッチングしている場合には、ミラーリングとして撮影画像IMG1を左右反転させる。
損傷図面データ作成部42は、射影変換部36で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データ(損傷図)を作成する。また、損傷図面データ作成部42は、操作部28により入力された各種の情報を、損傷図面データに追加することができる。
損傷図面データ作成部42は、入力された点検結果情報を損傷図面データに追加する。例えば、損傷の種類、および損傷程度の評価区分(「ランク情報」ともいう)を、操作部28を介して入力されると、損傷図面データ作成部42は、損傷図面データに追加する。なお、点検結果情報の「入力」は、予め決められた候補から選択する形式の入力である「選択入力」でもよい。
また、損傷図面データ作成部42は、損傷データまたは撮影画像に基づいて損傷の特徴量を計測する特徴量計測機能を有する。損傷図面データ作成部42は、計測した特徴量を示す情報を損傷図面データに追加する。例えば、橋梁1の床版6の損傷データ中におけるひび割れ画像の幅、長さ、および間隔を局所座標系の寸法として検出し、その局所座標系の寸法を全体座標系の寸法に換算する。表示制御部38は、計測された損傷の特徴量と鏡映画像とを、表示部26に表示させる。
出力部44は、ミラーリングおよび射影変換された損傷データを出力する。また、損傷図面データ作成部42で損傷図面データが作成された場合には、出力部44は損傷図面データを出力する。
以下に、損傷図面データ作成部42で損傷図面データが作成された場合の出力部44で出力される損傷図面データに関して説明する。なお損傷図面データとは損傷図を表すデータのことである。
図9は、損傷図面データの例を示す図である。この損傷図面データは、点検対象である橋梁1の床版6に生じた各損傷について、格間ごとに、ひび割れ、漏水、遊離石灰といった損傷を示す損傷データと、部材名(本例では「床版」)と、要素番号(Ds0101〜Ds0104、Ds0201〜Ds0204)と、損傷の種類(「ひび割れ」、「漏水」、「遊離石灰」等)と、損傷程度の評価区分(「ランク情報」ともいう)と、損傷の特徴量(例えばひび割れの幅、間隔)とが記載されたものである。本図では、損傷程度として評価区分を、アルファベットの「a」〜「e」により、五段階で表している。
さらに、図10は、図9に示した損傷図面データを反転した反転損傷図面データの例を示す図である。図10に示した反転損傷図面データは、ミラーリング部54によりミラーリングされた損傷データにより構成される。また、図面データもミラーリング部54によりミラーリングされている。本発明では、撮影された側からの損傷図面データ(図9)と、撮影された側の反対側から見た反転損傷図面データ(図10)を構成する損傷データへの編集(加工)が可能である。
図10に示した反転損傷図面データは、CAD図面、損傷データといった非テキスト成分をミラーリング部54によりミラーリングされている。また、部材名、要素番号、損傷の種類、ランク情報、損傷の特徴量といったテキスト成分をミラーリングせずに図中の位置を損傷図面データ作成部42で変更している。
図11は、第2の実施形態の損傷データ編集装置20の動作フローを示すフローチャートである。
先ず、画像取得部22は、撮影装置10により撮影された複数の撮影画像を取得する(ステップS20)。その後、損傷データ生成部32は、各撮影画像に対して画像処理を行うことにより、撮影画像に写っている損傷を検出し、その検出に基づいて損傷データを生成する(ステップS21)。
次に、撮影画像合成部46により取得された複数の各撮影画像が合成される(ステップS22)。そして、撮影画像合成部46により撮影画像が合成された結果に基づいて、損傷データ合成部48により、損傷データが合成される(ステップS23)。
その後、表示制御部38により、撮影画像と検出された損傷データとを表示部26にオーバレイ表示する(ステップS24)。
ユーザは、表示部26に表示された撮影画像と損傷データとを確認しながら、表示部26に表示された損傷データの編集の指令を例えばパソコンに接続されているマウスにより入力し、編集部40は入力された編集指令に基づいて損傷データを編集する(ステップS25)。
次に、図面データ取得部24により図面データが取得される(ステップS26)。例えば、図面データ取得部24により、図面データとして橋梁1を示すCAD図面が入力される。図12は、CAD図面の一例を示す図である。図中の「DsXXXX」(Ds0101〜Ds0105およびDs0201〜DS0205)は、橋梁1の床版6の要素である格間を識別する要素番号である。ここで「Ds」は、「床版」を表わす記号であり、「XXXX」は、床版6のうちの主桁2と横桁3とで囲まれた範囲である格間の格子状配列位置を示す番号である。言い換えると、本例の床版6は、格子状配列の複数の格間によって構成されており、格間毎に要素番号が付与されている。本例のCAD図面80は、格間の矩形枠情報を含んでいる。図中の要素番号DsXXXXは、表示部26での表示を省略してもよい。
図11に戻って、射影関係受付部34により、射影関係の入力が受け付けられて、ミラーリング関係受付部52により、ミラーリング関係の入力が受け付けられる(ステップS27)。
図13は、射影関係受付部34およびミラーリング関係受付部52で受け付けられる射影関係およびミラーリング関係の入力の具体例を説明する図である。なお、図13に示す場合では、射影関係とミラーリング関係とが同時に入力される例である。
表示制御部38により、表示部26に点検対象である橋脚7の撮影画像102が表示され、また建造物のCAD図面80が表示されている。撮影画像102は、床版6の格間が撮影されており、床版6には損傷(ひび割れ)が発生している。また損傷データ生成部32が撮影画像102を画像解析して、ひび割れを検出し生成した損傷データDD3が重畳的に表示されている。すなわち、損傷データDD3は、撮影画像102の損傷にオーバレイ表示されている。
例えばユーザは、表示部26に表示された撮影画像100と橋脚7のCAD図面において、コンピュータのポインティングデバイスにより、矩形の4点に対応する点を入力する。すなわち、撮影画像100のA1、B1、C1、およびD1の4点を指定して入力し、CAD図面において対応するA2、B2、C2、およびD2の4点を指定して入力する。この入力は、射影関係の入力と同時にミラーリング関係の入力である。
次に射影変換部36により、射影関係受付部34で受け付けられた射影関係に基づいて、撮影画像100の損傷データDD3が射影変換およびミラーリングされる(ステップS28)。例えば、損傷データDD3が射影変換されると損傷データDD4のようになる。
図14は、ミラーリング部54により行われる、各損傷データのミラーリングに関して説明する図である。図14は、ミラーリングされる前の格間の損傷データDD5を示す。この損傷データDD5は、橋梁1の下側から見た損傷状態を示す画像であって、床版6のうちの一つの格間の損傷状態を示す画像である。図15は、図14の損傷データDD5をミラーリングして得られた損傷データDD6を示す図である。本例では、橋梁1を基準とした全体座標系の座標軸Gxと損傷データDD5の左右方向(x方向)とがマッチングしているので、損傷データDD5をミラーリングとして上下反転することにより、損傷データDD6が取得される。つまり、本例でのミラーリング軸MAxの方向は、損傷データDD5の左右方向(x方向)である。
図11に戻って、その後、出力部44により射影変換された損傷データで構成される損傷図面データを出力する(ステップS29)。
ここで、損傷図面データ作成部42で行われる損傷図面データの作成に関して具体例を説明する。
図16は、損傷図面データ作成部42で行われる損傷図面データの作成に関して説明する図である。損傷図面データ作成部42により生成された損傷データDD6をCAD図面80に重ね合わせて表示させた損傷図面データが表示部26に表示される。図16は、図12に示したCAD図面80に、図15に示した損傷データDD6を重ね合わせて表示した例を示す。なおCAD図面80と損傷データDD6との位置合わせは、公知の技術により行われる。例えば、CAD図面80が有する座標データと損傷データDD6が有する座標データに基づいて、CAD図面80と損傷データDD6との位置合わせが行われる。
次に、損傷図面データ作成部42により、損傷データDD6に基づいて、損傷の特徴量を計測する。例えば、ひび割れの幅および間隔が、特徴量として計測される。
次に、損傷図面データ作成部42により、損傷図面データの各要素に関する編集が行われる。図17は、床版6の要素番号Ds0202が付与された格間に関する編集画面の表示例を示す図である。本例では、表示部26に、CAD図面80および損傷データDD6を表示させると同時に、損傷リスト82を表示させている。本例では、要素番号Ds0202の格間に、損傷データDD6に基づいてひび割れが検出されているので、その「種別」(損傷の種類)である「ひび割れ」が損傷図面データ作成部42により損傷リスト82に自動的に記入される。また、要素番号Ds0202の格間の「ひび割れ」の特徴量として、損傷図面データ作成部42により「ひび割れ」の幅および間隔が計測されているので、損傷図面データ作成部42により損傷リスト82の「寸法」の欄に自動的に記入される。損傷図面データ作成部42により自動的に記入されなかった項目は、操作部28によりユーザが入力することができる。例えば、損傷データDD6において漏水および遊離石灰を視認できる場合、その種別である「漏水+遊離石灰」をユーザが操作部28を介して入力することができる。
また、自動的に未検出のひび割れが損傷データDD6中に視認できる場合、そのひび割れの種別および寸法を操作部28を介してユーザが入力することができる。なお、図17では図示しなかったが、ひび割れの寸法を計測するためのスケール画像を表示部26に表示させることができ、そのスケール画像を用いて未検出のひび割れの寸法を計測することが可能である。未検出のひび割れを損傷図面データに反映させるため、損傷データDD6中の損傷画像に対して、操作部28によりトレース操作を行うことができる。例えば、操作部28がタッチパネルにより構成されている場合、損傷データDD6中のひび割れ画像を指あるいはペンでトレースすると、そのトレースの軌跡が損傷データとして損傷図面データに追加される。ここで、CAD図面80における損傷データDD6中のひび割れ画像の形状および位置は、橋梁1を上側(撮影側とは反対側である)から見た場合の実際のひび割れの形状および位置に相当するので、容易且つ正確に入力することができる。
損傷リスト82の「区分」は、損傷程度の評価区分(「ランク情報」ともいう)を入力するための欄である。図18は、床版6におけるひび割れの進行モデルの一例を模式的に示す図である。この進行モデルでは、評価区分RANKが「a」〜「e」の五段階で表される。各評価区分RANKとひび割れ状態STATEとの対応関係は次の通りである。
a:損傷なし。
b:横方向(車輌の通行方向に直交する短手方向)に沿って複数のひび割れが並列に発生した状態である。乾燥収縮による複数のひび割れが並列の梁状になる段階である。
c:縦方向(車輌の通行方向に平行な長手方向)のひび割れおよび横方向のひび割れが互いに交差した状態である。活荷重により複数のひび割れが格子状になり、その格子状の領域のひび割れ密度が増加する段階である。後半時期には、ひび割れが床版6の上下方向(床版下面に直交する垂直方向)で貫通する。
d:格子状の領域のひび割れ密度が規定値を超え、貫通した複数のひび割れの破面同士が平滑化された状態である。摺り磨き作用により床版6がせん断抵抗を失う段階である。
e:抜け落ちが生じた状態である。低下した押抜きせん断強度を超える輪荷重により抜け落ちが生じる。
このように損傷図面データ作成部42により、損傷図面データの全体に関する編集が行われる。また例えば、損傷図面データ作成部42により、損傷図面データに床版6の全体に関する健全性の判定区分を操作部28を介して入力されてもよい。
次に、損傷図面データ作成部42で編集が完了した損傷図面データを出力部44が出力する。損傷図面データは、表示制御部38により表示部26に表示出力させることができるほか、ネットワークを介してプリンタ(図示を省略)に印刷出力させることができる。例えば、図9に示した損傷図面データがプリンタにより印刷出力される。また、損傷図面データは、ネットワークを介してデータベース(図示を省略)にアップロードすることができる。
<ミラーリングのバリエーション>
前述の第2の実施形態では、本発明の理解を容易にするため、ミラーリング軸の方向が固定である場合を例に説明したが、本発明はそのようなミラーリング軸の方向が固定である場合に限定されない。本発明は、ミラーリング軸の方向を可変にした構成でもよい。
ミラーリング部54は、各種の情報に基づいて、ミラーリング軸の方向を決定する機能を有する。ミラーリング部54は、決定した方向のミラーリング軸を中心としてミラーリングを行う。
第1に、画像取得部22により入力された画像(ミラーリング前の画像である)を画像解析して、その画像解析の結果に基づいてミラーリング軸の方向を決定する態様がある。
図19は、格間が撮影された撮影画像を示す図である。例えば、図19に示す、床版6の格間の撮影画像IMG21を取得したとする。この撮影画像IMG21は、格間の縁部の画像EG(以下「縁部画像」という)を含む。実空間において、格間の縁部の形状は矩形であり、その矩形を構成する互いに直交する二辺は一般に長さが異なる。つまり縁部の矩形は、互いに直交する長辺と短辺とを有する。また、実空間において、縁部の矩形の互いに直交する二辺は、橋梁1を基準とした全体座標系における二つの座標軸Gx、Gyと方向が一致している。そこで、ミラーリング部54は、撮影画像IMG21から縁部画像を検出し、その縁部画像を必要に応じて矩形に射影変換した後、その矩形の互いに直交する長辺および短辺のうちいずれか一辺の方向に基づいて、ミラーリング軸の方向を決定することができる。もっとも、本発明の撮影対象(点検対象である)は床版6の格間に限定されず、他の撮影対象の幾何学的特徴に基づいてミラーリング軸の方向を決定してよいことは、言うまでもない。
第2に、建造物を基準にした全体座標系(「第1の座標系」である)の座標軸と、画像を撮影した撮影装置10を基準にした局所座標系(「第2の座標系」である)の座標軸とがなす角度に基づいて、ミラーリング軸の方向を決定する態様がある。
例えば、図20に示すようにロボット装置90に搭載された撮影装置10により撮影して得られた画像が画像取得部22により入力され、かつロボット装置90の撮影装置制御に従った撮影装置制御情報が画像取得部22により入力される。この撮影装置制御情報には、図21に示すように、橋梁1を基準にした全体座標系の座標軸Gx、Gy、Gzと、撮影装置10を基準にした局所座標系の座標軸Lx、Ly、Lzとがなす角度を示す角度情報が含まれる。本例の局所座標系において、互いに直交する三つの座標軸Lx、Ly、Lzのうち一つの座標軸Lzは、撮影装置10の撮影方向(光軸方向ともいう)であり、かつ橋梁1の床版6(被撮影面である)と直交する。つまり、本例では、全体座標系の一つの座標軸Gzの方向と局所座標系の一つの座標軸Lzの方向とが一致している。
本例のロボット装置90は、橋梁1に懸垂した懸垂式ロボットであり、図20ではその撮影に関する要部のみを示した。なお、懸垂式ロボットは、橋梁1に懸垂する代わりに、橋梁上の走行体(車輌)に懸垂する方式のロボットでもよい。また、懸垂式ロボットの代わりに、ドローン(無人飛行体)等の無人飛行式ロボットを用いる場合にも本発明を適用可能である。
本例のロボット装置90は、撮影装置10の移動および回動の制御を行う撮影装置制御機構92を備える。この撮影装置制御機構92は、撮影装置10を互いに直交するGx方向、Gy方向およびGz方向のそれぞれで移動可能なXYZ移動機構と、撮影装置10をパン方向Pおよびチルト方向Tのそれぞれで回動可能なパンチルト機構とを兼ねている。
ミラーリング部54は、全体座標系の座標軸Gx(またはGy)と局所座標系の座標軸Lx(またはLy)とでなす角度を示す角度情報に基づいて、ミラーリング軸の方向を決定することが可能である。
また、撮影装置10をパン方向Pに回動させる場合、つまり橋梁1を基準とした全体座標系に対して撮影装置10の方位角度が可変である場合、ミラーリング部54は、全体座標系の座標軸GxまたはGyに対する撮影装置10の方位角度に基づいて、ミラーリング軸の方向を決定することが可能である。
なお、全体座標系の座標軸Gx、Gy、Gzに対する局所座標系の座標軸Lx、Ly、Lzの設定態様、および撮影装置10のパンチルトの態様(角度制御態様)には、各種あるため、その局所座標系の座標軸の設定態様および撮影装置10の角度制御態様に応じた角度情報を取得して、その角度情報に基づいてミラーリング軸の方向を決定すればよい。
<クライアントサーバ型>
クライアントサーバ型のシステムでは、クライアント装置およびサーバ装置の少なくともいずれかにより損傷データ編集装置20を構成してもよい。言い換えると、本発明の損傷データ編集装置20は、クライアントサーバ型のシステムのうちの一つまたは複数のコンピュータ装置により構成してよい。
以上、本発明を実施するための形態に関して説明してきたが、本発明は上記した実施形態および変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
7 橋脚
10 撮影装置
20 損傷データ編集装置
22 画像取得部
24 図面データ取得部
26 表示部
28 操作部
30 CPU
32 損傷データ生成部
34 射影関係受付部
36 射影変換部
38 表示制御部
40 編集部
42 損傷図面データ作成部
44 出力部
46 撮影画像合成部
48 損傷データ合成部
50 記憶部
52 ミラーリング関係受付部
54 ミラーリング部
82 損傷リスト
90 ロボット装置
92 撮影装置制御機構
ステップS10−ステップS17 第1の実施形態の損傷データ編集工程
ステップS20−ステップS29 第2の実施形態の損傷データ編集工程

Claims (13)

  1. 点検対象の建造物が撮影された撮影画像を取得する画像取得部と、
    前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部と、
    表示部と、
    前記表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御部と、
    前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集部と、
    前記点検対象の建造物の図面データを取得する図面データ取得部と、
    前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとの射影関係の入力を受け付ける射影関係受付部と、
    前記射影関係受付部で受け付けられた前記射影関係に基づいて、前記損傷データ生成部で生成した前記損傷データまたは前記編集部で編集された前記損傷データを射影変換する射影変換部と、
    前記射影変換部で射影変換された前記損傷データを出力する出力部と、
    を備える損傷データ編集装置。
  2. 前記表示制御部は、前記表示部に前記図面データを表示させ、
    前記射影関係受付部は、前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとの前記射影関係を示す、前記撮影画像の4点および前記図面データの4点を受け付ける請求項1に記載の損傷データ編集装置。
  3. 前記射影変換部は、前記撮影画像の4点を前記図面データの4点に合わせる射影変換行列を算出し、前記算出した射影変換行列により前記損傷データ生成部で生成した前記損傷データまたは前記編集部で編集された前記損傷データを射影変換する請求項1または2に記載の損傷データ編集装置。
  4. 前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとのミラーリング関係の入力を受け付けるミラーリング関係受付部と、
    前記ミラーリング関係受付部で受け付けられた前記ミラーリング関係に基づいて、前記損傷データをミラーリングするミラーリング部と、を備え、
    前記出力部は、ミラーリングおよび射影変換された前記損傷データを出力する請求項1から3のいずれか1項に記載の損傷データ編集装置。
  5. 前記建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する撮影画像合成部を備え、
    前記損傷データ生成部は、前記複数の撮影画像の各々について、前記損傷データを生成する請求項1から4のいずれか1項に記載の損傷データ編集装置。
  6. 前記撮影画像合成部は、前記図面データに表される一区画に対応して撮影された前記複数の撮影画像を、前記一区画毎に合成を行う請求項5に記載の損傷データ編集装置。
  7. 前記撮影画像合成部で合成された前記複数の撮影画像の合成情報に基づいて、前記損傷データを合成する損傷データ合成部を備える請求項6に記載の損傷データ編集装置。
  8. 前記損傷データ合成部は、前記一区画毎に合成を行う請求項7に記載の損傷データ編集装置。
  9. 前記射影変換部で射影変換された前記損傷データと前記損傷データに対応する前記図面データとが重畳された損傷図面データを作成する損傷図面データ作成部を備え、
    前記出力部は、前記損傷図面データを出力する請求項1から8のいずれか1項に記載の損傷データ編集装置。
  10. 前記建造物は、橋梁またはトンネルである請求項1から9のいずれか1項に記載の損傷データ編集装置。
  11. 点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、
    前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、
    表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御ステップと、
    前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集ステップと、
    前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
    前記表示部に表示された前記撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
    前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ生成ステップで生成した前記損傷データまたは前記編集ステップで編集された前記損傷データを射影変換する射影変換ステップと、
    前記射影変換ステップで射影変換された前記損傷データを出力する出力ステップと、
    を含む損傷データ編集方法。
  12. 点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、
    前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、
    表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御ステップと、
    前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集ステップと、
    前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
    前記表示部に表示された前記撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
    前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ生成ステップで生成した前記損傷データまたは前記編集ステップで編集された前記損傷データを射影変換する射影変換ステップと、
    前記射影変換ステップで射影変換された前記損傷データを出力する出力ステップと、
    を含む損傷データ編集工程をコンピュータに実行させるプログラム。
  13. 請求項12に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2019532452A 2017-07-27 2018-06-26 損傷データ編集装置、損傷データ編集方法、およびプログラム Active JP6805351B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017145567 2017-07-27
JP2017145567 2017-07-27
PCT/JP2018/024199 WO2019021719A1 (ja) 2017-07-27 2018-06-26 損傷データ編集装置、損傷データ編集方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020201168A Division JP7170023B2 (ja) 2017-07-27 2020-12-03 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム

Publications (2)

Publication Number Publication Date
JPWO2019021719A1 true JPWO2019021719A1 (ja) 2020-04-16
JP6805351B2 JP6805351B2 (ja) 2020-12-23

Family

ID=65041050

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019532452A Active JP6805351B2 (ja) 2017-07-27 2018-06-26 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP2020201168A Active JP7170023B2 (ja) 2017-07-27 2020-12-03 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020201168A Active JP7170023B2 (ja) 2017-07-27 2020-12-03 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム

Country Status (2)

Country Link
JP (2) JP6805351B2 (ja)
WO (1) WO2019021719A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7312581B2 (ja) * 2019-03-18 2023-07-21 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP7356242B2 (ja) * 2019-03-18 2023-10-04 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP7427381B2 (ja) * 2019-07-22 2024-02-05 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
KR102378411B1 (ko) * 2021-12-14 2022-03-24 (주) 다음기술단 휴대용 전자장치를 이용한 외관조사망도 작성 및 시각화 방법
KR102387717B1 (ko) * 2021-12-14 2022-04-18 (주) 다음기술단 드론 촬영 및 사진첩 기법을 이용한 시설물 손상 진단 및 점검방법
JP2024000324A (ja) * 2022-06-20 2024-01-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318790A (ja) * 2003-04-16 2004-11-11 Im Soft Kk 構造物用検査装置及び検査方法、並びに記録媒体
JP2005310044A (ja) * 2004-04-26 2005-11-04 Constec Engi Co データ処理装置、データ処理方法、及びデータ処理プログラム
JP2006132973A (ja) * 2004-11-02 2006-05-25 Fujimitsu Komuten:Kk コンクリート構造物のクラック検査装置及びクラック検査方法
JP2013167494A (ja) * 2012-02-14 2013-08-29 Fujitsu Ltd 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2016099235A (ja) * 2014-11-21 2016-05-30 株式会社ソーシャル・キャピタル・デザイン 正置画像処理システムおよび構造物維持管理業務システム
JP2016126769A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 検査結果出力装置、検査結果出力方法、及び、プログラム
WO2017103982A1 (ja) * 2015-12-14 2017-06-22 株式会社 ニコン・トリンブル 欠陥検出装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099784A (ja) * 1999-09-29 2001-04-13 Keisoku Kensa Kk 既設橋梁における床板のひび割れ検出方法及びその表示方法
JP2002310920A (ja) * 2001-04-19 2002-10-23 Keisoku Kensa Kk コンクリート壁のひび割れ検出方法およびその装置
JP2002328096A (ja) * 2001-04-27 2002-11-15 Tokyo Electric Power Co Inc:The 構造物に形成されたひび割れ欠陥検出プログラム、ひび割れ欠陥検出方法及びひび割れ欠陥検出システム
JP2018185146A (ja) * 2015-09-25 2018-11-22 富士フイルム株式会社 損傷図作成装置及び損傷図作成方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318790A (ja) * 2003-04-16 2004-11-11 Im Soft Kk 構造物用検査装置及び検査方法、並びに記録媒体
JP2005310044A (ja) * 2004-04-26 2005-11-04 Constec Engi Co データ処理装置、データ処理方法、及びデータ処理プログラム
JP2006132973A (ja) * 2004-11-02 2006-05-25 Fujimitsu Komuten:Kk コンクリート構造物のクラック検査装置及びクラック検査方法
US20080195330A1 (en) * 2004-11-02 2008-08-14 Tooru Hara Concrete Structure Crack Inspection Device and Crack Inspection Method
JP2013167494A (ja) * 2012-02-14 2013-08-29 Fujitsu Ltd 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2016099235A (ja) * 2014-11-21 2016-05-30 株式会社ソーシャル・キャピタル・デザイン 正置画像処理システムおよび構造物維持管理業務システム
JP2016126769A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 検査結果出力装置、検査結果出力方法、及び、プログラム
WO2017103982A1 (ja) * 2015-12-14 2017-06-22 株式会社 ニコン・トリンブル 欠陥検出装置及びプログラム

Also Published As

Publication number Publication date
JP2021047197A (ja) 2021-03-25
JP6805351B2 (ja) 2020-12-23
JP7170023B2 (ja) 2022-11-11
WO2019021719A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP7170023B2 (ja) 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム
JP6874096B2 (ja) 損傷図編集装置及びプログラム
US11189009B2 (en) Image processing apparatus and image processing method
Lattanzi et al. 3D scene reconstruction for robotic bridge inspection
US20080195330A1 (en) Concrete Structure Crack Inspection Device and Crack Inspection Method
JP7145970B2 (ja) コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
CN111684234B (zh) 修补长度的确定方法及修补长度的确定装置
US20220405878A1 (en) Image processing apparatus, image processing method, and image processing program
JPWO2017221965A1 (ja) 状態判定装置、状態判定方法、及びプログラム
JP2024012527A (ja) 情報表示装置、方法及びプログラム
JP2000121358A (ja) 検査点位置取得方法および装置
WO2022070734A1 (ja) 構造物の点検支援装置、構造物の点検支援方法、及びプログラム
JP6564738B2 (ja) 図面作成装置及び図面作成方法
US11959862B2 (en) Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system
EP4131157A1 (en) Inspection support device, method, and program
JP2005062041A (ja) 健全度評価方法、評価プログラム、及び評価装置
JP7429774B2 (ja) 損傷評価装置、方法及びプログラム
JPWO2020111139A1 (ja) 座標算出装置、座標算出方法、及びプログラム
JP7433623B2 (ja) 構造物画像管理システム
WO2020116279A1 (ja) 構造物の点検支援装置及び方法
Majidi et al. Intelligent 3d Crack Reconstruction Using Close Range Photogrammetry Imagery
CN117940950A (zh) 信息处理装置、方法及程序、以及图像数据结构
JPH11110554A (ja) 回転ずれ検出方法及び回転ずれ検出装置
Zhang et al. Geometric distortion correction to testing image

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20191206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201203

R150 Certificate of patent or registration of utility model

Ref document number: 6805351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250