JP6619516B2 - Damage diagram editing apparatus and damage diagram editing method - Google Patents

Damage diagram editing apparatus and damage diagram editing method Download PDF

Info

Publication number
JP6619516B2
JP6619516B2 JP2018523686A JP2018523686A JP6619516B2 JP 6619516 B2 JP6619516 B2 JP 6619516B2 JP 2018523686 A JP2018523686 A JP 2018523686A JP 2018523686 A JP2018523686 A JP 2018523686A JP 6619516 B2 JP6619516 B2 JP 6619516B2
Authority
JP
Japan
Prior art keywords
image
damage
mirror
unit
damage diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523686A
Other languages
Japanese (ja)
Other versions
JPWO2017221706A1 (en
Inventor
浩明 菊池
浩明 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017221706A1 publication Critical patent/JPWO2017221706A1/en
Application granted granted Critical
Publication of JP6619516B2 publication Critical patent/JP6619516B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/80Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard

Description

本発明は、構造物の損傷状態を図示する損傷図を編集する損傷図編集装置及び損傷図編集方法に関し、特に、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することを可能にする損傷図編集装置及び損傷図編集方法に関する。   The present invention relates to a damage diagram editing apparatus and a damage diagram editing method for editing a damage diagram illustrating a damage state of a structure, and more particularly to a damage diagram illustrating a damage state viewed from the side opposite to an imaging side of a structure. The present invention relates to a damage diagram editing apparatus and a damage diagram editing method that enable accurate and easy editing.

社会的なインフラストラクチャーとして、橋梁、トンネル等の構造物が存在する。これらの構造物には損傷が発生し、その損傷は進行する性質を持つため、定期的に点検を行うことが求められる。   Structures such as bridges and tunnels exist as social infrastructure. Since these structures are damaged, and the damage has the property of proceeding, regular inspections are required.

構造物を点検した調査員は点検の結果を示す帳票として所定形式の点検調書を作成する必要があり、その点検調書の一つとして構造物の損傷状態を図示する損傷図がある。所定形式で作成された損傷図を見ることにより、実際に点検した調査員とは異なる専門家であっても、構造物の損傷の進行状況を把握し、その構造物の維持管理計画を策定することが可能になる。   The investigator who inspected the structure needs to prepare a check form in a predetermined format as a form indicating the result of the check, and there is a damage diagram illustrating the damage state of the structure as one of the check forms. By looking at the damage map created in the prescribed format, even if it is an expert who is different from the inspector who actually inspected, understand the progress of damage to the structure and formulate a maintenance plan for the structure. It becomes possible.

特許文献1には、建築物の外壁面のひび割れを示す図(上記の「損傷図」に相当)を作成する際に、建築物を示すCAD(computer aided design)図面と建築物の外壁面の撮像画像とを、コンピュータ装置の異なる表示領域に表示し、表示された撮像画像中のひび割れ画像が操作デバイスによりトレース操作されると、そのトレース操作に対応したトレース線図をCAD図面上に写像することが、記載されている。   Patent Document 1 discloses a CAD (computer aided design) drawing showing a building and an outside wall surface of the building when creating a figure (corresponding to the above “damage map”) showing a crack on the outer wall surface of the building. The captured image is displayed in a different display area of the computer device, and when a crack image in the displayed captured image is traced by the operation device, a trace diagram corresponding to the trace operation is mapped onto the CAD drawing. It is described.

特許文献2には、トンネルの内壁面の凹凸形状を示す展開図を作成する際に、トンネルの内壁面をレーザスキャナで計測して得られた計測データに基づいて凹凸形状図形を生成し、その凹凸形状図形に画像のパターンを描画することが、記載されている。この展開図は、トンネル上方からトンネルを透過して内壁面を見た場合の凹凸形状を示す図として作成できる。   In Patent Document 2, when creating a development showing the uneven shape of the inner wall surface of the tunnel, an uneven shape figure is generated based on measurement data obtained by measuring the inner wall surface of the tunnel with a laser scanner, It is described that an image pattern is drawn on a concavo-convex figure. This development view can be created as a diagram showing the uneven shape when the inner wall surface is seen through the tunnel from above.

特開2005−31044号公報JP 2005-31044 A 特開2012−220471号公報JP 2012-220471 A

所定形式の損傷図として、構造物の目視側とは反対側から見た損傷状態を図示する損傷図を作成することが求められる場合がある。例えば、橋梁の床版を目視点検する調査員は、実際には橋梁の下側から床版の損傷状態を目視しても、野帳には橋梁の上側から見た損傷状態としてスケッチし、所定形式の損傷図を作成する必要がある。   As a predetermined type of damage diagram, it may be required to create a damage diagram illustrating a damage state viewed from the side opposite to the viewing side of the structure. For example, an investigator who visually inspects a floor deck of a bridge actually sketches the damaged state of the floor slab from the lower side of the bridge as a damaged state viewed from the upper side of the bridge. It is necessary to create a form of damage diagram.

また、目視の代わりにデジタルカメラ等の撮像装置で床版を撮像する場合には、橋梁の下側から撮像して得られた床版の画像に従って、撮像側(橋梁の下側である)とは反対側(橋梁の上側である)から見た損傷状態を図示するように、所定形式の損傷図を作成する必要がある。   In addition, when the floor slab is imaged by an imaging device such as a digital camera instead of visual observation, according to the floor slab image obtained from the lower side of the bridge, the imaging side (the lower side of the bridge) and It is necessary to create a predetermined form of damage diagram to illustrate the state of damage as seen from the opposite side (above the bridge).

しかしながら、橋梁の下側から見た場合とその反対側である橋梁の上側から見た場合とでは、損傷の形状及び位置が異なって見えるため、損傷状態を正確に反映した損傷図を作成する負荷がかかる。例えばひび割れ状態を図示する損傷図を作成する場合、ひび割れの幅、ひび割れ同士の間隔といった数値を損傷図に記入するだけではなくて、ひび割れの形状及び位置を正確に損傷図に記入することが求められる。ここで、現実のひび割れ状態が損傷図に正確に反映されなかった場合、構造物の損傷の進行状況を的確に把握することが難しくなるので、適切な維持管理計画を策定することも難しくなる。   However, since the shape and position of the damage look different when viewed from the bottom of the bridge and from the top of the opposite bridge, the load to create a damage diagram that accurately reflects the damage state It takes. For example, when creating a damage diagram illustrating the state of cracks, it is necessary not only to enter numerical values such as the width of cracks and the distance between cracks into the damage diagram, but also to accurately enter the shape and position of the cracks in the damage diagram. It is done. Here, when the actual crack state is not accurately reflected in the damage diagram, it is difficult to accurately grasp the progress of damage to the structure, and it is also difficult to formulate an appropriate maintenance management plan.

特許文献1に記載の技術によれば、調査員はコンピュータ装置に表示された撮像画像中のひび割れ画像をトレース操作することにより、そのひび割れ画像に対応するトレース線図をCAD図面上に写像させることができるが、構造物の撮像側とは反対側から見た損傷状態をCAD図面上に写像させることはできない。そもそも特許文献1の実施形態では点検対象が建築物の外壁面なので、撮像側(建築物の外側である)から見たひび割れ状態の図を作成することができれば十分であったと考えられる。   According to the technique described in Patent Document 1, the investigator traces the crack image in the captured image displayed on the computer device, thereby mapping the trace diagram corresponding to the crack image on the CAD drawing. However, the damage state viewed from the opposite side to the imaging side of the structure cannot be mapped on the CAD drawing. In the first place, since the object to be inspected is the outer wall surface of the building in the embodiment of Patent Document 1, it is considered sufficient if it is possible to create a cracked view as seen from the imaging side (outside the building).

特許文献2に記載の技術によれば、トンネル上方からトンネルを透過して内壁面を見た場合の凹凸形状を示す展開図を作成できるが、レーザスキャナでトンネルの内壁面の凹凸形状を計測する必要があり、レーザスキャナを用いない場合には、トンネル上方から見た場合の内壁面の凹凸形状を示す展開図を作成することができない。   According to the technique described in Patent Document 2, it is possible to create a developed view showing the uneven shape when the inner wall surface is seen through the tunnel from above the tunnel, but the uneven shape of the inner wall surface of the tunnel is measured with a laser scanner. If it is necessary and a laser scanner is not used, it is not possible to create a developed view showing the uneven shape of the inner wall surface when viewed from above the tunnel.

本発明は、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することを可能にする損傷図編集装置及び損傷図編集方法を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide a damage diagram editing apparatus and a damage diagram editing method capable of accurately and easily editing a damage diagram illustrating a damage state viewed from the side opposite to the imaging side of a structure. And

上述した目的を達成するため、本発明の第1の態様に係る損傷図編集装置は、点検対象の構造物の画像を入力する画像入力部と、入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、表示部と、表示部に鏡映画像を表示させる表示制御部と、ユーザの操作を受け付ける操作部と、鏡映画像が表示部に表示された状態で操作部により受け付けられた操作に応じて、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図を編集する編集部と、を備える。   In order to achieve the above-described object, a damage diagram editing apparatus according to a first aspect of the present invention includes an image input unit for inputting an image of a structure to be inspected, and a mirror movie by mirroring the input image. Mirror reversal unit for acquiring an image, display unit, display control unit for displaying a mirror image on the display unit, operation unit for accepting user operation, and operation with the mirror image displayed on the display unit An editing unit that edits a damage diagram corresponding to a mirror image, which is a damage diagram indicating a damage state of the structure, in accordance with an operation received by the unit.

本態様によれば、入力された画像を鏡映反転して鏡映画像が取得され、鏡映画像が表示部に表示された状態で操作部により受け付けられた操作に応じて、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図が編集されるので、ユーザは鏡映画像を見ながら編集操作を行うことにより鏡映画像に対応する損傷図を取得することができる。つまり、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。   According to this aspect, the input image is mirror-inverted to obtain a mirror image, and the structure is damaged in accordance with an operation received by the operation unit while the mirror image is displayed on the display unit. Since the damage diagram corresponding to the mirror image is edited, the user can acquire the damage diagram corresponding to the mirror image by performing an editing operation while viewing the mirror image. it can. That is, it is possible to accurately and easily edit a damage diagram illustrating a damage state viewed from the side opposite to the imaging side of the structure.

本発明の第2の態様に係る損傷図編集装置は、画像合成を行う画像合成部を備え、画像入力部は、構造物の複数の分割画像を画像として入力し、鏡映反転部は、複数の分割画像のそれぞれを鏡映反転し、画像合成部は、鏡映反転された複数の分割画像を合成する。本態様によれば、分割撮像の場合でも、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。   The damage diagram editing apparatus according to the second aspect of the present invention includes an image composition unit that performs image composition, the image input unit inputs a plurality of divided images of the structure as an image, and the reflection inversion unit includes a plurality of reflection inversion units. Each of the divided images is mirror-inverted, and the image synthesis unit synthesizes a plurality of the mirror-inverted divided images. According to this aspect, even in the case of divided imaging, it is possible to accurately and easily edit the damage diagram illustrating the damage state viewed from the side opposite to the imaging side of the structure.

本発明の第3の態様に係る損傷図編集装置は、画像合成を行う画像合成部を備え、画像入力部は、構造物の複数の分割画像を画像として入力し、鏡映反転部は、画像合成部により複数の分割画像を合成して得られた合成画像を鏡映反転する。本態様によれば、分割撮像の場合でも、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。   The damage diagram editing apparatus according to the third aspect of the present invention includes an image composition unit that performs image composition, the image input unit inputs a plurality of divided images of a structure as an image, and the reflection inversion unit includes an image The composite image obtained by combining the plurality of divided images by the combining unit is mirror-inverted. According to this aspect, even in the case of divided imaging, it is possible to accurately and easily edit the damage diagram illustrating the damage state viewed from the side opposite to the imaging side of the structure.

本発明の第4の態様に係る損傷図編集装置では、画像合成部は、複数の分割画像のそれぞれに対して、拡縮、あおり補正及び回転のうち少なくとも一つの画像処理を行うことにより、複数の分割画像にわたる構造物の被撮像面と画像を撮像した撮像装置との距離又は角度の不一致に関する補正を行う。本態様によれば、複数の分割画像にわたり構造物の被撮像面と撮像装置との距離又は角度の不一致の影響が存在する場合でも精度の高い損傷図を生成することが可能になる。   In the damage diagram editing apparatus according to the fourth aspect of the present invention, the image composition unit performs at least one of image processing among enlargement / reduction, tilt correction, and rotation on each of the plurality of divided images. Correction is performed regarding a mismatch in distance or angle between the imaging surface of the structure over the divided images and the imaging device that captured the image. According to this aspect, it is possible to generate a highly accurate damage diagram even when there is an influence of a mismatch in the distance or angle between the imaging surface of the structure and the imaging device over a plurality of divided images.

本発明の第5の態様に係る損傷図編集装置では、構造物を示す図面を入力する図面入力部を備え、表示制御部は、図面に鏡映画像を重ね合わせて表示部に表示させる。本態様によれば、重ね合わせて表示された図面及び鏡映画像を見ながら損傷図の編集操作を行うことができるので、正確な損傷図を容易に作成することが可能になる。   The damage diagram editing apparatus according to the fifth aspect of the present invention includes a drawing input unit that inputs a drawing showing a structure, and the display control unit displays a mirror image on the drawing and displays the same on the display unit. According to this aspect, the damage diagram can be edited while viewing the drawings and the mirrored images displayed in a superimposed manner, so that an accurate damage diagram can be easily created.

本発明の第6の態様に係る損傷図編集装置では、操作部は、表示部に鏡映画像が表示された状態で鏡映画像中の損傷画像に対するトレース操作を受け付け、表示制御部は、トレース操作に対応する損傷図形を鏡映画像中の損傷画像に重ね合わせて表示部に表示させ、編集部は、トレース操作に対応する損傷図形を損傷図に追加する。本態様によれば、鏡映画像中の損傷画像をトレース操作することにより、正確な損傷図を容易に作成することが可能になる。   In the damage diagram editing apparatus according to the sixth aspect of the present invention, the operation unit receives a trace operation on the damaged image in the mirror image in a state where the mirror image is displayed on the display unit, and the display control unit The damaged figure corresponding to the operation is superimposed on the damaged image in the mirror image and displayed on the display unit, and the editing unit adds the damaged figure corresponding to the trace operation to the damage diagram. According to this aspect, it is possible to easily create an accurate damage diagram by tracing the damaged image in the mirror image.

本発明の第7の態様に係る損傷図編集装置では、鏡映画像又は鏡映反転前の画像から損傷画像を検出する損傷検出部を備え、表示制御部は、検出された損傷画像に対応する損傷図形を鏡映画像中の損傷画像に重ね合わせて表示部に表示させ、編集部は、損傷図形を損傷図に追加する。本態様によれば、損傷画像に対応する損傷図形が自動的に生成されて損傷図に自動的に追加されるので、ユーザは煩雑な操作を行うことなく損傷状態が正確に反映された損傷図を取得することが可能になる。   The damage diagram editing apparatus according to the seventh aspect of the present invention includes a damage detection unit that detects a damage image from a mirror image or an image before mirror reversal, and the display control unit corresponds to the detected damage image. The damaged figure is superimposed on the damaged image in the mirror image and displayed on the display unit, and the editing unit adds the damaged figure to the damage diagram. According to this aspect, since the damage figure corresponding to the damage image is automatically generated and automatically added to the damage figure, the damage figure in which the damage state is accurately reflected without performing complicated operations by the user. It becomes possible to get.

本発明の第8の態様に係る損傷図編集装置では、操作部は、表示部に鏡映画像が表示された状態で損傷に対する点検結果情報の入力を受け付け、表示制御部は、入力された点検結果情報と鏡映画像とを表示部に表示させ、編集部は、入力された点検結果情報を損傷図に追加する。   In the damage diagram editing apparatus according to the eighth aspect of the present invention, the operation unit accepts input of inspection result information for damage in a state where the mirror image is displayed on the display unit, and the display control unit receives the input inspection. Result information and a mirror image are displayed on a display part, and an edit part adds the input inspection result information to a damage figure.

本発明の第9の態様に係る損傷図編集装置では、編集部は、鏡映画像又は鏡映反転前の画像に基づいて損傷の特徴量を計測し、計測した特徴量を示す情報を損傷図に追加する。   In the damage diagram editing apparatus according to the ninth aspect of the present invention, the editing unit measures a feature amount of damage based on a mirror image or an image before mirror reversal, and displays information indicating the measured feature amount in the damage diagram. Add to

本発明の第10の態様に係る損傷図編集装置では、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を入力する損傷図入力部を備え、表示制御部は、入力された損傷図と鏡映画像とを表示部に表示させる。   The damage diagram editing apparatus according to the tenth aspect of the present invention includes a damage diagram input unit that inputs a damage diagram indicating a state of damage as viewed from the side opposite to the imaging side of the structure. The damage diagram and the mirror image are displayed on the display unit.

本発明の第11の態様に係る損傷図編集装置では、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を入力する損傷図入力部と、入力された損傷図を構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部と、を備え、表示制御部は、反転損傷図と画像とを表示部に表示させる。   In the damage diagram editing apparatus according to the eleventh aspect of the present invention, a damage diagram input unit for inputting a damage diagram showing a state of damage viewed from the side opposite to the imaging side of the structure, and the inputted damage diagram are structured. A damage diagram reversing unit for converting into a reverse damage diagram showing a damage state viewed from the imaging side of the object, and the display control unit displays the reverse damage diagram and the image on the display unit.

本発明の第12の態様に係る損傷図編集装置では、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を、構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部を備え、操作部は、損傷図に関する反転操作を受け付け、表示制御部は、反転操作に応じて、損傷図が表示部に表示された状態と反転損傷図が表示部に表示された状態とを切替える。   In the damage diagram editing apparatus according to the twelfth aspect of the present invention, the damage diagram showing the state of damage viewed from the side opposite to the imaging side of the structure is inverted, and the state of damage viewed from the image capturing side of the structure is inverted. A damage diagram reversing unit for converting to a damage diagram is provided, the operation unit accepts a reversing operation related to the damage diagram, and the display control unit displays the state where the damage diagram is displayed on the display unit and the reversed damage diagram according to the reversing operation Switches the state displayed on the display unit.

本発明の第13の態様に係る損傷図編集装置では、鏡映反転部は、入力された画像を画像解析して、鏡映反転軸の方向を決定する。   In the damage diagram editing apparatus according to the thirteenth aspect of the present invention, the mirror reversing unit analyzes the input image and determines the direction of the mirror reversal axis.

本発明の第14の態様に係る損傷図編集装置では、鏡映反転部は、構造物を基準とした第1の座標系の座標軸と画像を撮像した撮像装置を基準とした第2の座標系の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定する。   In the damage diagram editing apparatus according to the fourteenth aspect of the present invention, the mirror reversing unit includes the second coordinate system based on the coordinate axis of the first coordinate system based on the structure and the imaging device capturing the image. The direction of the mirror reversal axis is determined based on the angle formed by the coordinate axis.

本発明の第15の態様に係る損傷図編集装置では、鏡映反転部は、構造物を基準として、画像を撮像した撮像装置の方位角度に基づいて、鏡映反転軸の方向を決定する。   In the damage diagram editing apparatus according to the fifteenth aspect of the present invention, the mirror reversing unit determines the direction of the mirror reversal axis based on the azimuth angle of the image capturing apparatus that captured the image with the structure as a reference.

本発明の第16の態様に係る損傷図編集方法では、点検対象の構造物の画像を入力するステップと、入力された画像を鏡映反転して鏡映画像を取得するステップと、表示デバイスに鏡映画像を表示させるステップと、鏡映画像が表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図を編集するステップと、を備える。   In the damage diagram editing method according to the sixteenth aspect of the present invention, a step of inputting an image of a structure to be inspected, a step of mirroring the input image to obtain a mirror image, and a display device A step of displaying a mirror image and a damage diagram showing the state of damage to the structure according to the operation received by the operation device while the mirror image is displayed on the display device. Editing a damage diagram to be included.

構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。   It is possible to accurately and easily edit a damage diagram illustrating a damage state viewed from the side opposite to the imaging side of the structure.

図1は、構造物の一例である橋梁の構造を示す斜視図である。FIG. 1 is a perspective view showing a structure of a bridge as an example of a structure. 図2は、第1の実施形態における損傷図編集装置の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of the damage diagram editing apparatus according to the first embodiment. 図3は、鏡映反転の説明に用いる第1の説明図である。FIG. 3 is a first explanatory diagram used for explaining the mirror inversion. 図4は、鏡映反転の説明に用いる第2の説明図である。FIG. 4 is a second explanatory diagram used for explanation of mirror reversal. 図5は、損傷図形の例を示す説明図である。FIG. 5 is an explanatory diagram showing an example of a damaged figure. 図6は、損傷図の例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of a damage diagram. 図7は、反転損傷図の例を示す説明図である。FIG. 7 is an explanatory diagram illustrating an example of a reverse damage diagram. 図8は、第1の実施形態における第1の損傷図編集処理例の流れを示すフローチャートである。FIG. 8 is a flowchart showing the flow of the first damage diagram editing process example in the first embodiment. 図9は、CAD図面の一例を示す図である。FIG. 9 is a diagram illustrating an example of a CAD drawing. 図10は、表示された画像の一例を示す図である。FIG. 10 is a diagram illustrating an example of the displayed image. 図11は、表示された鏡映画像の一例を示す図である。FIG. 11 is a diagram illustrating an example of the displayed mirror image. 図12は、CAD図面に鏡映画像を重ね合わせて表示した一例を示す図である。FIG. 12 is a diagram illustrating an example in which a mirror image is displayed superimposed on a CAD drawing. 図13は、床版の格間に関する編集画面の表示例を示す図である。FIG. 13 is a diagram illustrating a display example of an editing screen related to a floor slab space. 図14は、床版におけるひび割れの進行モデルの一例を模式的に示す図である。FIG. 14 is a diagram schematically illustrating an example of a crack progression model in a floor slab. 図15は、第1の実施形態における第2の損傷図編集処理例の流れを示すフローチャートである。FIG. 15 is a flowchart illustrating a flow of a second damage diagram editing process example according to the first embodiment. 図16は、第1の実施形態における第3の損傷図編集処理例の流れを示すフローチャートである。FIG. 16 is a flowchart illustrating a flow of a third damage diagram editing process example according to the first embodiment. 図17は、第2の実施形態における損傷図編集装置の構成例を示すブロック図である。FIG. 17 is a block diagram illustrating a configuration example of a damage diagram editing apparatus according to the second embodiment. 図18は、鏡映反転のバリエーションの説明のための説明図であって、床版の格間ごとの画像の例を示す図である。FIG. 18 is an explanatory diagram for explaining the mirror inversion variation, and is a diagram illustrating an example of an image for each floor slab. 図19は、懸垂式のロボット装置に搭載された撮像装置例を示す説明図である。FIG. 19 is an explanatory diagram illustrating an example of an imaging device mounted on a suspended robot device. 図20は、鏡映反転のバリエーションの説明のための説明図である。FIG. 20 is an explanatory diagram for explaining a mirror inversion variation.

以下、添付図面に従って、本発明に係る損傷図編集装置及び損傷図編集方法を実施するための形態について説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, embodiments for carrying out a damage diagram editing apparatus and a damage diagram editing method according to the present invention will be described with reference to the accompanying drawings.

[構造物例]
図1は、本発明が適用される構造物の一例である橋梁の構造を示す斜視図であって、橋梁を下側から見た場合の斜視図である。本図の橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有する。主桁2の上部には、コンクリート製の部材である床版6が設けられている。主桁2は、橋台又は橋脚の間に渡され、床版6上の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支えるため、主桁2を連結する部材である。対傾構4及び横構5は、特に横荷重に抵抗するため、主桁2を連結する部材である。
[Example of structure]
FIG. 1 is a perspective view showing a structure of a bridge as an example of a structure to which the present invention is applied, and is a perspective view when the bridge is viewed from below. The bridge 1 in this figure has a main girder 2, a cross girder 3, an inclined frame 4, and a horizontal frame 5. On the upper part of the main girder 2, a floor slab 6 which is a concrete member is provided. The main girder 2 is a member that is passed between the abutment or the pier and supports the load on the floor slab 6. The cross beam 3 is a member for connecting the main beams 2 in order to support the load by the plurality of main beams 2. The anti-tilting structure 4 and the horizontal structure 5 are members that connect the main beam 2 in order to particularly resist lateral loads.

尚、図1に示した橋梁1は本発明の説明に用いるために紹介した構造物の一例であり、本発明における「構造物」はこのような橋梁に限定されない。本発明における構造物は、例えばトンネルでもよい。   The bridge 1 shown in FIG. 1 is an example of a structure introduced for use in the description of the present invention, and the “structure” in the present invention is not limited to such a bridge. The structure in the present invention may be a tunnel, for example.

[第1の実施形態]
図2は、第1の実施形態における損傷図編集装置の構成例を示すブロック図である。
[First Embodiment]
FIG. 2 is a block diagram illustrating a configuration example of the damage diagram editing apparatus according to the first embodiment.

撮像装置10は、点検対象の構造物を撮像する撮像デバイスによって構成される。撮像デバイスの例として、デジタルカメラ、スマートフォンが挙げられる。これら以外の撮像デバイスを用いてもよい。   The imaging device 10 is configured by an imaging device that images a structure to be inspected. Examples of the imaging device include a digital camera and a smartphone. An imaging device other than these may be used.

損傷図編集装置20は、画像表示可能な表示部22と、ユーザの操作を受け付ける操作部24と、点検対象の構造物を撮像装置10により撮像して得られた画像を入力する画像入力部26と、点検対象の構造物を示すCAD(computer aided design)図面を入力する図面入力部28と、プログラムを実行するCPU(central processing unit)30と、プログラム及びそのプログラムの実行に必要な情報を記憶する記憶部50とを備える。   The damage diagram editing apparatus 20 includes a display unit 22 that can display an image, an operation unit 24 that receives a user's operation, and an image input unit 26 that inputs an image obtained by imaging the structure to be inspected by the imaging device 10. And a drawing input unit 28 for inputting a CAD (computer aided design) drawing showing the structure to be inspected, a CPU (central processing unit) 30 for executing the program, and a program and information necessary for executing the program are stored. Storage unit 50.

表示部22は、液晶表示デバイス等の表示デバイスによって構成される。操作部24は、キーボード及びマウスによって構成することができる。これら以外の操作デバイス、例えばタッチパネルによって操作部24を構成してもよい。画像入力部26及び図面入力部28は、デジタル信号の入力を行う入力デバイスによって構成することができる。このような入力デバイスとして、例えば、無線通信又は有線通信を行う通信デバイスを用いてもよい。メモリカード等の記憶媒体とのインタフェースデバイスを入力デバイスとして用いてもよい。CPU30は、複数のCPUにより構成してもよい。記憶部50は、メモリデバイスによって構成される。   The display unit 22 is configured by a display device such as a liquid crystal display device. The operation unit 24 can be configured with a keyboard and a mouse. The operation unit 24 may be configured by an operation device other than these, for example, a touch panel. The image input unit 26 and the drawing input unit 28 can be configured by an input device that inputs a digital signal. As such an input device, for example, a communication device that performs wireless communication or wired communication may be used. An interface device with a storage medium such as a memory card may be used as an input device. The CPU 30 may be composed of a plurality of CPUs. The storage unit 50 is configured by a memory device.

CPU30は、表示部22を制御する表示制御部32と、画像補正を行う画像補正部34と、画像を鏡映反転して鏡映画像を取得する鏡映反転部36と、画像合成を行う画像合成部38と、鏡映画像(又は鏡映反転前の画像)から損傷画像を検出する損傷検出部40と、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図を編集する編集部42とを含んで構成される。   The CPU 30 includes a display control unit 32 that controls the display unit 22, an image correction unit 34 that performs image correction, a mirror inversion unit 36 that mirrors and inverts an image to obtain a mirror image, and an image that performs image composition. The combination part 38, the damage detection part 40 which detects a damage image from a mirror image (or image before mirror reversal), and the damage figure which shows the damage state of a structure, Comprising: The damage figure corresponding to a mirror image And an editing unit 42 for editing the.

表示制御部32は、CAD図面に鏡映画像を重ね合わせて表示部22に表示させる。また、表示制御部32は、鏡映画像及び損傷図を表示部22に表示させる。   The display control unit 32 causes the display unit 22 to display the mirror image superimposed on the CAD drawing. Further, the display control unit 32 causes the display unit 22 to display a mirror image and a damage diagram.

画像補正部34は、画像に対して、拡縮、あおり補正及び回転のうち必要な画像処理を行う。つまり、複数の分割画像にわたる構造物の被撮像面と撮像装置10との距離又は角度の不一致に関する補正を行う。本例での「拡縮」は、複数の分割画像にわたる、撮像装置10と床版6(被撮像面である)との距離の不一致に関する縮尺補正である。本例の画像補正部34は、画像の拡大又は縮小により複数の画像間で縮尺を一致させる画像処理を行う。本例での「あおり補正」は、複数の分割画像にわたる、撮像装置10の撮像方向に対する床版6(被撮像面である)の傾き角度の不一致に関する補正である。本例の画像補正部34は、撮像方向に対する床版6の傾き角度に応じた画像の歪みを削減又は一致させる画像処理を行う。本例での「回転」は、複数の分割画像にわたる、床版6(被撮像面である)に対する撮像装置10の方位角度の不一致に関する補正である。本例の画像補正部34は、画像中の床版6の角度を複数の画像間で一致させる画像処理を行う。各補正のパラメータは、操作部24から入力することができる。例えば、距離情報、傾き角度情報、方位角度情報等の入力を操作部24により受け付ける。撮像装置10から補正パラメータを取得してもよい。例えば、画像補正部34は、撮像装置10に基づいた局所座標系における座標値を取得して、橋梁1に基づいた全体座標系における座標値に変換し、その全体座標系の座標値に基づいて補正パラメータを決定する。画像に補正パラメータが付加されている場合には、その画像に付加された補正パラメータを用いて画像補正を行えばよい。画像に基づいて補正パラメータを導き出してもよい。例えば、画像から格間の縁部を検出し、更に画像に基づいて画像中の縁部領域の形状、サイズ及び角度を算出し、その算出結果に基づいて補正パラメータを導き出すことができる。尚、上述の「拡縮」、「あおり補正」及び「回転」を組み合わせる場合、一回の画像処理として行うことができる。その画像処理として公知の射影変換を用いることができる。   The image correction unit 34 performs necessary image processing among enlargement / reduction, tilt correction, and rotation on the image. That is, the correction regarding the mismatch of the distance or the angle between the imaging target surface of the structure and the imaging device 10 over a plurality of divided images is performed. “Enlargement / reduction” in this example is a scale correction related to a mismatch in distance between the imaging apparatus 10 and the floor slab 6 (which is the imaging target surface) over a plurality of divided images. The image correction unit 34 in this example performs image processing for matching the scales of a plurality of images by enlarging or reducing the images. The “tilt correction” in this example is a correction related to the mismatch of the inclination angle of the floor slab 6 (which is the imaging surface) with respect to the imaging direction of the imaging apparatus 10 over a plurality of divided images. The image correction unit 34 in this example performs image processing for reducing or matching image distortion according to the inclination angle of the floor slab 6 with respect to the imaging direction. The “rotation” in this example is a correction related to a mismatch in the azimuth angle of the imaging apparatus 10 with respect to the floor slab 6 (which is the imaging target surface) over a plurality of divided images. The image correcting unit 34 in this example performs image processing for matching the angles of the floor slab 6 in the image between the plurality of images. Each correction parameter can be input from the operation unit 24. For example, the operation unit 24 receives inputs such as distance information, tilt angle information, and azimuth angle information. Correction parameters may be acquired from the imaging device 10. For example, the image correction unit 34 acquires coordinate values in the local coordinate system based on the imaging device 10, converts the coordinate values in the global coordinate system based on the bridge 1, and based on the coordinate values in the global coordinate system. Determine correction parameters. When correction parameters are added to the image, image correction may be performed using the correction parameters added to the image. Correction parameters may be derived based on the image. For example, it is possible to detect the edge of the case from the image, further calculate the shape, size, and angle of the edge region in the image based on the image, and derive the correction parameter based on the calculation result. When the above-described “enlargement / reduction”, “tilting correction”, and “rotation” are combined, it can be performed as a single image processing. As the image processing, a known projective transformation can be used.

鏡映反転部36は、画像入力部26により入力された画像を鏡映画像に変換する画像処理である、鏡映反転を行う。「鏡映画像」は、「ミラー画像」ともいう。「鏡映反転」は「ミラーリング」ともいう。鏡映反転の中心となる軸(以下「鏡映反転軸」という)の方向は、画像の上下方向には限定されない。つまり鏡映反転は、いわゆる左右反転には限定されない。鏡映反転は、左右反転以外の反転(例えば上下反転)を含む。本発明における鏡映反転は、鏡映反転軸を中心として画像を反転させる画像処理であるといえる。鏡映反転軸の方向は、例えば、入力された画像を画像解析して、決定することができる。また、本発明の鏡映反転は、鏡映反転軸の方向を固定にした態様と、鏡映反転軸の方向を可変にした態様とがある。本明細書において、後者の方向可変の態様は後に詳説する。   The mirror inversion unit 36 performs mirror inversion, which is image processing for converting the image input by the image input unit 26 into a mirror image. A “mirror image” is also referred to as a “mirror image”. “Mirror reversal” is also called “mirroring”. The direction of the axis serving as the center of mirror reversal (hereinafter referred to as “mirror reversal axis”) is not limited to the vertical direction of the image. That is, mirror reversal is not limited to so-called left-right reversal. The mirror inversion includes inversions other than left-right inversion (eg, upside-down inversion). The mirror reversal in the present invention can be said to be image processing for reversing an image around the mirror reversal axis. The direction of the mirror reversal axis can be determined, for example, by analyzing the input image. Further, the mirror inversion of the present invention includes an aspect in which the direction of the mirror inversion axis is fixed and an aspect in which the direction of the mirror inversion axis is variable. In the present specification, the latter variable direction mode will be described in detail later.

このような鏡映反転について、図3及び図4を用いて説明する。図3に示すように、仮に床版6の上面に描かれた「F」の文字を床版6の下側から透視したとすると、実際には「F」を上下反転した形状に見える。これは「F」が非線対称の形状を有するからである。同様に、一般的な損傷(例えばひび割れ)は、非線対称の形状を有するため、橋梁1の下側から床版6を撮像して得られた画像中の損傷の形状と、橋梁1の上側から床版6を透視して見た場合の損傷の形状とは、互いに鏡映反転の関係になることが分かる。そこで、図4に示すように、橋梁1の下側から撮像して得られた画像IMG1を、鏡映反転により、橋梁1の上側から見た画像に相当する鏡映画像IMG2に変換する。そうすると、損傷の形状は、橋梁1の下側から見た場合の形状(図4では「F」を上下反転した形状)から、橋梁1の上側から見た形状(図4では「F」の形状)に変換される。画像中の損傷の位置も、鏡映反転により、撮像側から見た場合の位置から、撮像側とは反対側から見た場合の位置に変換できることが分かる。尚、複数回に分割撮像した場合については、後に詳説する。   Such mirror reversal will be described with reference to FIGS. As shown in FIG. 3, if the letter “F” drawn on the upper surface of the floor slab 6 is seen through from the lower side of the floor slab 6, it actually looks like a vertically inverted shape of “F”. This is because “F” has a non-axisymmetric shape. Similarly, since a general damage (for example, a crack) has a non-symmetrical shape, the shape of the damage in the image obtained by imaging the floor slab 6 from the lower side of the bridge 1 and the upper side of the bridge 1. Thus, it can be seen that the shape of the damage when seen through the floor slab 6 is in a mirror-inverted relationship with each other. Therefore, as shown in FIG. 4, an image IMG1 obtained by imaging from the lower side of the bridge 1 is converted into a mirrored image IMG2 corresponding to an image viewed from the upper side of the bridge 1 by mirror inversion. Then, the shape of the damage is from the shape when viewed from the lower side of the bridge 1 (the shape in which “F” is turned upside down in FIG. 4) to the shape viewed from the upper side of the bridge 1 (the shape of “F” in FIG. 4). ). It can be seen that the position of damage in the image can also be converted from the position seen from the imaging side to the position seen from the side opposite to the imaging side by mirror inversion. In addition, the case where divided imaging is performed a plurality of times will be described in detail later.

図4に示した例では、橋梁1を基準とした全体座標系の座標軸Gxの方向と画像IMG1の左右方向(x方向)とがマッチングしているため、鏡映反転として画像IMG1を上下反転したが、例えば全体座標系の座標軸Gxの方向と画像IMG1の上下方向(y方向)とがマッチングしている場合には、鏡映反転として画像IMG1を左右反転させる。   In the example shown in FIG. 4, since the direction of the coordinate axis Gx of the global coordinate system with reference to the bridge 1 matches the left-right direction (x direction) of the image IMG1, the image IMG1 is inverted upside down as a mirror inversion. However, for example, when the direction of the coordinate axis Gx of the global coordinate system matches the vertical direction (y direction) of the image IMG1, the image IMG1 is reversed left and right as mirror reversal.

画像合成部38は、構造物を複数回に分割撮像して得られた複数の画像(以下「分割画像」という)が画像入力部26に入力された場合、これらの複数の分割画像を一枚の画像に合成する。このような画像合成の態様には、鏡映反転された複数の分割画像(鏡映画像である)を合成する第1の画像合成態様と、鏡映反転前の複数の分割画像(非鏡映画像である)を合成する第2の画像合成態様とがある。各合成態様の詳細は後述する。   When a plurality of images (hereinafter referred to as “divided images”) obtained by dividing and capturing the structure multiple times are input to the image input unit 26, the image composition unit 38 displays these divided images as one sheet. To the image. Such an image composition mode includes a first image composition mode for synthesizing a plurality of mirror-inverted divided images (which are mirror images), and a plurality of segmented images (non-mirror movie) before mirror inversion. A second image composition mode for synthesizing the image. Details of each synthesis mode will be described later.

第1の画像合成態様では、鏡映反転部36は、複数の分割画像のそれぞれを鏡映反転する。また、第1の画像合成態様では、表示制御部32は、鏡映反転された各分割画像を、撮像側とは反対側から見た構造物を示すCAD図面のうちの被撮像領域に重ね合わせることができる。第2の画像合成態様では、鏡映反転部36は、画像合成部38により複数の分割画像を合成して得られた合成画像を鏡映反転する。また、第2の画像合成態様では、表示制御部32は、鏡映反転前の各分割画像を、撮像側から見た構造物を示すCAD図面のうちの被撮像領域に重ね合わせることができる。   In the first image composition mode, the mirror inversion unit 36 mirrors and inverts each of the plurality of divided images. Further, in the first image composition mode, the display control unit 32 superimposes each of the mirror-inverted divided images on a region to be imaged in a CAD drawing showing a structure viewed from the side opposite to the imaging side. be able to. In the second image composition mode, the mirror reversing unit 36 mirror-inverts the composite image obtained by combining the plurality of divided images by the image composition unit 38. Further, in the second image composition mode, the display control unit 32 can superimpose each divided image before mirror reversal on an imaged area in a CAD drawing showing a structure viewed from the imaging side.

損傷検出部40は、鏡映画像(又は鏡映反転前の画像)から損傷画像を検出する。例えば、橋梁1の床版6の鏡映画像から、ひび割れ、剥離、鉄筋露出、遊離石灰、漏水といった損傷の画像(損傷画像)を検出し、その検出した損傷画像を鏡映画像から抽出する。   The damage detection unit 40 detects a damaged image from a mirror image (or an image before mirror reversal). For example, an image of damage (damage image) such as cracks, peeling, rebar exposure, free lime, and water leakage is detected from the mirror image of the floor slab 6 of the bridge 1, and the detected damage image is extracted from the mirror image.

編集部42は、損傷検出部40によって検出された損傷画像に対応する損傷図形を生成する損傷図形生成機能を有する。表示制御部32は、検出された損傷画像に対応する損傷図形を、鏡映画像中の損傷画像に重ね合わせて表示部22に表示させる。例えば、図5に示す、ひび割れ、剥離、鉄筋露出、遊離石灰、漏水などの損傷図形が生成される。各損傷図形の形状は、鏡映画像中の損傷画像の形状に相当する。編集部42は、生成した損傷図形を、損傷図に追加する。   The editing unit 42 has a damaged graphic generation function for generating a damaged graphic corresponding to the damaged image detected by the damage detection unit 40. The display control unit 32 causes the display unit 22 to display a damaged graphic corresponding to the detected damaged image on the damaged image in the mirror image. For example, damage figures such as cracks, peeling, reinforcing bar exposure, free lime, and water leakage shown in FIG. 5 are generated. The shape of each damaged figure corresponds to the shape of the damaged image in the mirror image. The editing unit 42 adds the generated damaged graphic to the damage diagram.

また、編集部42は、操作部24でのトレース操作に対応する損傷図形を生成することができる。操作部24は、表示部22に鏡映画像が表示された状態で鏡映画像中の損傷画像に対するトレース操作を受け付ける。表示制御部32は、トレース操作に対応する損傷図形を鏡映画像中の損傷画像に重ね合わせて表示部22に表示させる。編集部42は、トレース操作に対応する損傷図形を損傷図に追加する。また、追加だけでなく、「削除」、「修正」といった各種の編集操作も受け付けることが、好ましい。   Further, the editing unit 42 can generate a damaged graphic corresponding to the trace operation on the operation unit 24. The operation unit 24 receives a trace operation for a damaged image in the mirror image while the mirror image is displayed on the display unit 22. The display control unit 32 causes the display unit 22 to display the damaged figure corresponding to the trace operation on the damaged image in the mirror image. The editing unit 42 adds a damaged figure corresponding to the trace operation to the damage diagram. In addition to addition, it is preferable to accept various editing operations such as “deletion” and “correction”.

また、編集部42は、操作部24により入力された各種の情報を、損傷図に追加する。操作部24は、表示部22に鏡映画像が表示された状態で損傷に対する点検結果情報の入力を受け付ける。表示制御部32は、入力された点検結果情報と鏡映画像とを表示部22に表示させる。編集部42は、入力された点検結果情報を損傷図に追加する。例えば、損傷の種類、及び損傷程度の評価区分(「ランク情報」ともいう)を、操作部24から入力すると、損傷図に追加される。尚、点検結果情報の「入力」は、予め決められた候補から選択する形式の入力である「選択入力」でもよい。   In addition, the editing unit 42 adds various information input by the operation unit 24 to the damage diagram. The operation unit 24 receives input of inspection result information for damage in a state where a mirror image is displayed on the display unit 22. The display control unit 32 causes the display unit 22 to display the input inspection result information and the mirror image. The editing unit 42 adds the input inspection result information to the damage diagram. For example, when the type of damage and the evaluation category (also referred to as “rank information”) of the damage level are input from the operation unit 24, the damage is added to the damage diagram. The “input” of the inspection result information may be “selection input” that is an input in a format for selecting from predetermined candidates.

また、編集部42は、鏡映画像(又は鏡映反転前の画像)に基づいて損傷の特徴量を計測する特徴量計測機能を有する。編集部42は、計測した特徴量を示す情報を損傷図に追加する。例えば、橋梁1の床版6の鏡映画像中におけるひび割れ画像の幅、長さ、及び間隔を局所座標系の寸法として検出し、その局所座標系の寸法を全体座標系の寸法に換算する。表示制御部32は、計測された損傷の特徴量と鏡映画像とを、表示部22に表示させる。   The editing unit 42 has a feature amount measurement function for measuring a feature amount of damage based on a mirror image (or an image before mirror reversal). The editing unit 42 adds information indicating the measured feature amount to the damage diagram. For example, the width, length, and interval of the crack image in the mirror image of the floor slab 6 of the bridge 1 are detected as the dimensions of the local coordinate system, and the dimensions of the local coordinate system are converted into the dimensions of the global coordinate system. The display control unit 32 causes the display unit 22 to display the measured feature amount of damage and the mirror image.

図6は、損傷図の例を示す図である。この損傷図は、点検対象である橋梁1の床版6に生じた各損傷について、格間ごとに、ひび割れ、漏水、遊離石灰といった損傷を示す損傷図形と、部材名(本例では「床版」)と、要素番号(Ds0101〜Ds0104、Ds0201〜Ds0204)と、損傷の種類(「ひび割れ」、「漏水」、「遊離石灰」等)と、損傷程度の評価区分(「ランク情報」ともいう)と、損傷の特徴量(例えばひび割れの幅、間隔)とが記載されたものである。本図では、損傷程度として評価区分を、アルファベットの「a」〜「e」により、五段階で表している。   FIG. 6 is a diagram illustrating an example of a damage diagram. This damage diagram shows the damage figure that shows damage such as cracks, water leakage, and free lime, and the name of each member (in this example, “floor slab”) for each damage that occurred on the floor slab 6 of the bridge 1 to be inspected. ”), Element numbers (Ds0101 to Ds0104, Ds0201 to Ds0204), damage type (“ crack ”,“ water leakage ”,“ free lime ”, etc.), and damage evaluation grade (also referred to as“ rank information ”) And the characteristic amount of damage (for example, the width and interval of cracks). In this figure, the evaluation classification is represented by five alphabets “a” to “e” as the degree of damage.

更に、CPU30は、損傷図を反転する損傷図反転部44を備える。図7は、図6に示した損傷図を反転した反転損傷図の例を示す。図7に示すように、本例の損傷図反転部44は、構造物の撮像側とは反対側から見た損傷の状態を示す図6の損傷図を、構造物の撮像側から見た損傷の状態を示す図7の反転損傷図に、変換する。   Further, the CPU 30 includes a damage diagram reversing unit 44 that reverses the damage diagram. FIG. 7 shows an example of an inversion damage diagram obtained by inverting the damage diagram shown in FIG. As shown in FIG. 7, the damage diagram inversion unit 44 of the present example shows the damage diagram of FIG. 6 showing the state of damage viewed from the side opposite to the imaging side of the structure, as viewed from the imaging side of the structure. This is converted into the reverse damage diagram of FIG.

本例の損傷図反転部44は、CAD図面、損傷図形といった非テキスト成分を鏡映反転部36により鏡映反転する一方で、部材名、要素番号、損傷の種類、ランク情報、損傷の特徴量といったテキスト成分を鏡映反転せずに図中の位置を変更している点で、好ましい。ただし、テキスト成分を非テキスト成分と同様に鏡映反転する場合も本発明に含まれる。非テキスト成分のCAD図面及び損傷図形が鏡映反転されることにより、少なくとも損傷図形の形状及び位置が正しいか否かを視認し易くなる。例えば、橋梁1を下側から見た場合の損傷状態のスケッチと比較可能になる。   The damage diagram inversion unit 44 of this example mirrors and inverts non-text components such as CAD drawings and damaged figures by the mirror inversion unit 36, while the member name, element number, damage type, rank information, and damage feature amount. This is preferable in that the position in the figure is changed without mirror-inverting the text component. However, the present invention includes a case where the text component is mirror-inverted similarly to the non-text component. By reversing the CAD drawing and damaged figure of the non-text component, it becomes easy to visually recognize at least whether the shape and position of the damaged figure are correct. For example, it becomes possible to compare with a sketch of a damaged state when the bridge 1 is viewed from below.

操作部24は、損傷図に関する反転操作を受け付ける。表示制御部32は、反転操作に応じて、図6に示した損傷図が表示部22に表示された状態と、図7に示した反転損傷図が表示部22に表示された状態とを切替える。   The operation unit 24 receives a reversing operation related to the damage diagram. The display control unit 32 switches between the state where the damage diagram shown in FIG. 6 is displayed on the display unit 22 and the state where the reverse damage diagram shown in FIG. .

次に、本発明の損傷図編集方法を適用した損傷図編集処理例について説明する。   Next, an example of damage diagram editing processing to which the damage diagram editing method of the present invention is applied will be described.

図8は、第1の実施形態における第1の損傷図編集処理例の流れを示すフローチャートである。本処理は、記憶部50に記憶されたプログラムに従って、CPU30により実行される。   FIG. 8 is a flowchart showing the flow of the first damage diagram editing process example in the first embodiment. This process is executed by the CPU 30 according to a program stored in the storage unit 50.

まず、図面入力部28により、橋梁1を示すCAD図面を入力する(ステップS2)。入力されたCAD図面を、表示制御部32により表示部22に表示させる(ステップS4)。図9は、CAD図面の一例を示す。図中の「DsXXXX」(Ds0101〜Ds0104及びDs0201〜DS0204)は、橋梁1の床版6の要素である格間を識別する要素番号である。ここで「Ds」は、「床版」を表わす記号であり、「XXXX」は、床版6のうちの主桁2と横桁3とで囲まれた範囲である格間の格子状配列位置を示す番号である。言い換えると、本例の床版6は、格子状配列の複数の格間によって構成されており、格間毎に要素番号が付与されている。本例のCAD図面80は、格間の矩形枠情報を含んでいる。図中の要素番号DsXXXXは、表示部22での表示を省略してもよい。橋梁1を基準とした全体座標系の座標軸Gx、Gy、Gzは、後の説明のために図中に記載したものであり、表示部22での表示を省略してよい。   First, a CAD drawing showing the bridge 1 is input by the drawing input unit 28 (step S2). The input CAD drawing is displayed on the display unit 22 by the display control unit 32 (step S4). FIG. 9 shows an example of a CAD drawing. “DsXXXX” (Ds0101 to Ds0104 and Ds0201 to DS0204) in the figure is an element number for identifying a space that is an element of the floor slab 6 of the bridge 1. Here, “Ds” is a symbol representing “floor slab”, and “XXXX” is a grid-like array position of a space that is a range surrounded by the main beam 2 and the horizontal beam 3 of the floor slab 6 It is a number which shows. In other words, the floor slab 6 of this example is composed of a plurality of spaces in a lattice arrangement, and an element number is assigned to each space. The CAD drawing 80 of this example includes rectangular frame information of a case. The element number DsXXXX in the drawing may be omitted from the display unit 22. The coordinate axes Gx, Gy, and Gz of the global coordinate system with the bridge 1 as a reference are described in the drawing for later explanation, and the display on the display unit 22 may be omitted.

次に、画像入力部26により、床版6の格間の画像を入力する(ステップS6)。つまり、撮像装置10により点検対象の床版6を格子状配列の格間ごとに撮像して得られた画像を入力する。本例では格間ごとに画像を入力するが、複数の画像を一括入力してもよい。   Next, the image of the floor slab 6 is input by the image input unit 26 (step S6). That is, an image obtained by imaging the floor slab 6 to be inspected by the imaging device 10 for each space of the grid arrangement is input. In this example, an image is input for each case, but a plurality of images may be input collectively.

次に、画像補正部34により、格間の画像に対して、拡縮(縮尺補正)、あおり補正、及び回転のうち、必要な画像補正が行われる(ステップS8)。つまり、複数の格間にわたる床版6と撮像装置10との距離又は角度の不一致に関する補正が行われる。尚、複数の格間にわたり距離及び角度の不一致が無い場合には、本ステップを省略できる。   Next, the image correction unit 34 performs necessary image correction among enlargement / reduction (scale correction), tilt correction, and rotation on the image of the case (step S8). That is, the correction regarding the mismatch in the distance or angle between the floor slab 6 and the imaging device 10 across a plurality of spaces is performed. Note that this step can be omitted when there is no mismatch in distance and angle across a plurality of cases.

次に、鏡映反転部36により、格間の画像を鏡映反転する(ステップS10)。図10は、要素番号Ds0101の格間の画像IMG11を示す。この画像IMG11は、橋梁1の下側から見た損傷状態を示す画像であって、床版6のうちの一つの格間の損傷状態を示す画像である。図11は、図10の画像IMG11を鏡映反転して得られた鏡映画像IMG12を示す。本例では、橋梁1を基準とした全体座標系の座標軸Gxと画像IMG11の左右方向(x方向)とがマッチングしているので、画像IMG11を鏡映反転として上下反転することにより、鏡映画像IMG12が取得される。つまり、本例での鏡映反転軸MAxの方向は、画像IMG11の左右方向(x方向)である。   Next, the mirror inversion unit 36 performs mirror inversion on the image of the case (step S10). FIG. 10 shows an image IMG11 between the elements having the element number Ds0101. This image IMG11 is an image showing a damaged state viewed from the lower side of the bridge 1, and is an image showing a damaged state of one of the floor slabs 6. FIG. 11 shows a mirror image IMG12 obtained by mirror-inverting the image IMG11 of FIG. In this example, since the coordinate axis Gx of the global coordinate system with the bridge 1 as a reference matches the left-right direction (x direction) of the image IMG11, the mirror image is inverted by using the image IMG11 as the mirror inversion. IMG 12 is acquired. That is, the direction of the mirror reversal axis MAx in this example is the left-right direction (x direction) of the image IMG11.

次に、表示制御部32により、鏡映画像IMG12をCAD図面80に重ね合わせて表示部22に表示させる(ステップS12)。図12は、図9に示したCAD図面80に、図11に示した鏡映画像IMG12を重ね合わせて表示した例を示す。尚、鏡映画像IMG12は、不要部分をトリミングしてある。本例では、鏡映画像IMG12中の格間の縁部を、CAD図面80中の格間の縁部に対して位置合わせしてある。   Next, the display control unit 32 causes the mirror image IMG12 to be superimposed on the CAD drawing 80 and displayed on the display unit 22 (step S12). 12 shows an example in which the mirror image IMG12 shown in FIG. 11 is superimposed and displayed on the CAD drawing 80 shown in FIG. In the mirror image IMG12, unnecessary portions are trimmed. In this example, the edge of the case in the mirror image IMG 12 is aligned with the edge of the case in the CAD drawing 80.

次に、損傷検出部40により、鏡映画像IMG12を画像解析して、鏡映画像IMG12から損傷画像を検出する(ステップS14)。例えば、ひび割れの画像が、鏡映画像IMG12から検出される。   Next, the damage detection unit 40 analyzes the mirror image IMG12 and detects a damage image from the mirror image IMG12 (step S14). For example, a cracked image is detected from the mirror image IMG12.

次に、編集部42により、鏡映画像IMG12に基づいて、損傷の特徴量を計測する(ステップS16)。例えば、ひび割れの幅及び間隔が、特徴量として計測される。   Next, the feature amount of damage is measured by the editing unit 42 based on the mirror image IMG12 (step S16). For example, the width and interval of cracks are measured as feature quantities.

次に、編集部42により、損傷図の各要素に関する編集を行う(ステップS18)。図13は、床版6の要素番号Ds0101が付与された格間に関する編集画面の表示例を示す。本例では、表示部22に、CAD図面80及び鏡映画像IMG12を表示させると同時に、損傷リスト82を表示させている。本例では、要素番号Ds0101の格間に、前述のステップS14でひび割れが検出されているので、その「種別」(損傷の種類)である「ひび割れ」が編集部42により損傷リスト82に自動的に記入される。また、要素番号Ds0101の格間の「ひび割れ」の特徴量として、前述のステップS16で「ひび割れ」の幅及び間隔が計測されているので、編集部42により損傷リスト82の「寸法」の欄に自動的に記入される。編集部42により自動的に記入されなかった項目は、操作部24により入力することができる。例えば、鏡映画像IMG12中に漏水及び遊離石灰を視認できる場合、その種別である「漏水+遊離石灰」を操作部24により入力することができる。   Next, the editing unit 42 edits each element of the damage diagram (step S18). FIG. 13 shows a display example of an editing screen related to a case to which the element number Ds0101 of the floor slab 6 is assigned. In this example, the CAD drawing 80 and the mirror image IMG12 are displayed on the display unit 22, and at the same time, the damage list 82 is displayed. In this example, since a crack is detected in the above-described step S14 between the element numbers Ds0101, the “type” (type of damage) “crack” is automatically added to the damage list 82 by the editing unit 42. Will be filled in. Further, as the feature amount of the “crack” between the element numbers Ds0101, the width and interval of the “crack” are measured in the above-described step S16, so the editing unit 42 puts them in the “dimension” column of the damage list 82. Completed automatically. Items that are not automatically entered by the editing unit 42 can be input by the operation unit 24. For example, when water leakage and free lime can be visually recognized in the mirror image IMG 12, the type “water leakage + free lime” can be input by the operation unit 24.

また、自動的に未検出のひび割れが鏡映画像IMG12中に視認できる場合、そのひび割れの種別及び寸法を操作部24により入力することができる。尚、図13では図示しなかったが、ひび割れの寸法を計測するためのスケール画像を表示部22に表示させることができ、そのスケール画像を用いて未検出のひび割れの寸法を計測することが可能である。未検出のひび割れを損傷図に反映させるため、鏡映画像IMG12中の損傷画像に対して、操作部24によりトレース操作を行うことができる。例えば、操作部24がタッチパネルにより構成されている場合、鏡映画像IMG12中のひび割れ画像を指あるいはペンでトレースすると、そのトレースの軌跡が損傷図形として損傷図に追加される。ここで、CAD図面80における鏡映画像IMG12中のひび割れ画像の形状及び位置は、橋梁1を上側(撮像側とは反対側である)から見た場合の実際のひび割れの形状及び位置に相当するので、容易且つ正確に入力することができる。   Further, when an undetected crack is automatically visible in the mirror image IMG 12, the type and size of the crack can be input by the operation unit 24. Although not shown in FIG. 13, a scale image for measuring the size of a crack can be displayed on the display unit 22, and the size of an undetected crack can be measured using the scale image. It is. In order to reflect the undetected crack in the damage diagram, the operation unit 24 can perform a tracing operation on the damaged image in the mirror image IMG12. For example, when the operation unit 24 is configured by a touch panel, if a cracked image in the mirror image IMG12 is traced with a finger or a pen, the trace of the trace is added to the damage diagram as a damaged figure. Here, the shape and position of the crack image in the mirror image IMG12 in the CAD drawing 80 correspond to the shape and position of the actual crack when the bridge 1 is viewed from the upper side (the side opposite to the imaging side). Therefore, it is possible to input easily and accurately.

損傷リスト82の「区分」は、損傷程度の評価区分(「ランク情報」ともいう)を入力するための欄である。図14は、床版6におけるひび割れの進行モデルの一例を模式的に示す図である。この進行モデルでは、評価区分RANKが「a」〜「e」の五段階で表される。各評価区分RANKとひび割れ状態STATEとの対応関係は次の通りである。   The “classification” in the damage list 82 is a column for inputting an evaluation classification (also referred to as “rank information”) of the degree of damage. FIG. 14 is a diagram schematically illustrating an example of a crack progression model in the floor slab 6. In this progression model, the evaluation category RANK is expressed in five stages from “a” to “e”. The correspondence relationship between each evaluation category RANK and the crack state STATE is as follows.

a:損傷なし。   a: No damage.

b:横方向(車輌の通行方向に直交する短手方向)に沿って複数のひび割れが並列に発生した状態である。乾燥収縮による複数のひび割れが並列の梁状になる段階である。   b: A state in which a plurality of cracks are generated in parallel along the lateral direction (short direction perpendicular to the direction of vehicle travel). This is the stage where multiple cracks due to drying shrinkage become parallel beams.

c:縦方向(車輌の通行方向に平行な長手方向)のひび割れ及び横方向のひび割れが互いに交差した状態である。活荷重により複数のひび割れが格子状になり、その格子状の領域のひび割れ密度が増加する段階である。後半時期には、ひび割れが床版の上下方向(床版下面に直交する垂直方向)で貫通する。   c: A state in which a crack in the vertical direction (longitudinal direction parallel to the vehicle traveling direction) and a crack in the horizontal direction intersect each other. This is a stage in which a plurality of cracks are formed in a lattice shape due to a live load, and the crack density in the lattice-shaped region increases. In the second half, cracks penetrate in the vertical direction of the floor slab (vertical direction perpendicular to the floor slab lower surface).

d:格子状の領域のひび割れ密度が規定値を超え、貫通した複数のひび割れの破面同士が平滑化された状態である。摺り磨き作用により床版がせん断抵抗を失う段階である。   d: The crack density in the lattice-shaped region exceeds the specified value, and the fracture surfaces of the plurality of cracks that have penetrated are in a smoothed state. This is the stage where the slab loses shear resistance due to the polishing action.

e:抜け落ちが生じた状態である。低下した押抜きせん断強度を超える輪荷重により抜け落ちが生じる。   e: State in which dropout has occurred. Dropout occurs due to wheel load exceeding the reduced punching shear strength.

次に、全要素に関する編集が終了したか否かを判定する(ステップS20)。本例では、床版6を構成する全ての格間(本例では要素番号Ds0101〜Ds0104及びDs0201〜Ds0204)について編集が終了したか否かを判定する。   Next, it is determined whether or not editing for all elements has been completed (step S20). In this example, it is determined whether or not editing has been completed for all the spaces constituting the floor slab 6 (in this example, element numbers Ds0101 to Ds0104 and Ds0201 to Ds0204).

未編集の要素がある場合(ステップS20でNOの場合)、ステップS6に戻る。全ての要素に関する編集が終了した場合(ステップS20でYESの場合)、損傷図の全体に関する編集を行う(ステップS22)。本ステップでは、例えば、床版6の全体に関する健全性の判定区分を操作部24により入力する。   If there is an unedited element (NO in step S20), the process returns to step S6. When editing for all elements has been completed (YES in step S20), editing for the entire damage diagram is performed (step S22). In this step, for example, a soundness determination category related to the entire floor slab 6 is input by the operation unit 24.

次に、編集が完了した損傷図を出力する(ステップS24)。損傷図は、表示制御部32により表示部22に表示出力させることができるほか、ネットワークを介してプリンタ(図示を省略)に印刷出力させることができる。例えば、図6に示した損傷図がプリンタにより印刷出力される。また、損傷図は、ネットワークを介してデータベース(図示を省略)にアップロードすることができる。   Next, the damage diagram that has been edited is output (step S24). The damage diagram can be displayed on the display unit 22 by the display control unit 32, or can be printed out by a printer (not shown) via the network. For example, the damage diagram shown in FIG. 6 is printed out by a printer. The damage diagram can be uploaded to a database (not shown) via a network.

尚、図6に示した損傷図には、鏡映画像が含まれないが、このような場合に本発明は限定されない。損傷図に鏡映画像を含めてもよい。また、損傷図に対して、損傷図形を記入する代わりに鏡映画像を埋め込むようにしてもよい。即ち、要求又は許容される損傷図の形式に応じて、編集部42による損傷図の編集内容を適宜変更してよい。   The damage diagram shown in FIG. 6 does not include a mirror image, but the present invention is not limited to such a case. A mirror image may be included in the damage diagram. In addition, a mirror image may be embedded in the damage diagram instead of entering the damage graphic. That is, the editing content of the damage diagram by the editing unit 42 may be changed as appropriate according to the format of the required or allowed damage diagram.

以上、床版6の格間ごとの画像を入力した場合の処理例を説明したが、格間を複数回に分割して撮像した複数の分割画像を入力した場合には、複数の分割画像を格間ごとに一枚の合成画像に合成することが、好ましい。以下では、複数の分割画像を鏡映反転後に合成する場合と、複数の分割画像を合成後に鏡映反転する場合とに分けて、損傷図編集処理例を紹介する。   As mentioned above, although the processing example at the time of inputting the image for every space of floor slab 6 was explained, when a plurality of divided images taken by dividing the space into multiple times are input, a plurality of divided images are input. It is preferable to compose one composite image for each case. Hereinafter, an example of damage diagram editing processing will be introduced, divided into a case where a plurality of divided images are combined after mirror reversal and a case where a plurality of divided images are mirrored after reversal.

図15は、第1の実施形態における第2の損傷図編集処理例の流れを示すフローチャートである。本処理は、記憶部50に記憶されたプログラムに従って、CPU30により実行される。尚、図8に示した第1の損傷図編集処理例と同様のステップには同じ符号を付してあり、説明済みの内容を以下では省略する。   FIG. 15 is a flowchart illustrating a flow of a second damage diagram editing process example according to the first embodiment. This process is executed by the CPU 30 according to a program stored in the storage unit 50. The same steps as those in the first damage diagram editing process example shown in FIG. 8 are denoted by the same reference numerals, and the description thereof will be omitted below.

本例では、画像入力部26により、橋梁1の床版6の複数の分割画像を入力する(ステップS102)。次に、画像補正部34により、各分割画像に対して必要な画像補正を行う(ステップS104)。次に、鏡映反転部36により、各分割画像を鏡映反転する(ステップS106)。次に、鏡映反転された複数の分割画像(鏡映画像である)を、撮像側とは反対側から見た橋梁1を示すCAD図面に重ね合わせて表示部22に表示させる(ステップS108)。次に、画像合成部38により、鏡映反転された複数の分割画像を合成する(ステップS110)。   In this example, the image input unit 26 inputs a plurality of divided images of the floor slab 6 of the bridge 1 (step S102). Next, the image correction unit 34 performs necessary image correction on each divided image (step S104). Next, the mirror reversing unit 36 mirrors each divided image (step S106). Next, a plurality of the mirror-inverted divided images (mirror images) are displayed on the display unit 22 in a superimposed manner on the CAD drawing showing the bridge 1 viewed from the side opposite to the imaging side (step S108). . Next, the image synthesizing unit 38 synthesizes a plurality of mirror-inverted divided images (step S110).

図16は、第1の実施形態における第3の損傷図編集処理例の流れを示すフローチャートである。本処理は、記憶部50に記憶されたプログラムに従って、CPU30により実行される。尚、図8に示した第1の損傷図編集処理例と同様のステップには同じ符号を付してあり、説明済みの内容を以下では省略する。   FIG. 16 is a flowchart illustrating a flow of a third damage diagram editing process example according to the first embodiment. This process is executed by the CPU 30 according to a program stored in the storage unit 50. The same steps as those in the first damage diagram editing process example shown in FIG. 8 are denoted by the same reference numerals, and the description thereof will be omitted below.

本例では、画像入力部26により、橋梁1の床版6の複数の分割画像を入力する(ステップS202)。次に、画像補正部34により、各分割画像に対して必要な画像補正を行う(ステップS204)。次に、複数の分割画像(非鏡映画像である)を、撮像側から見た橋梁1を示すCAD図面に重ね合わせて表示部22に表示させる(ステップS206)。次に、画像合成部38により、複数の分割画像を合成する(ステップS208)。次に、鏡映反転部36により、合成画像を鏡映反転する(ステップS210)。CAD図面を合成画像と共に鏡映反転することができる。   In this example, the image input unit 26 inputs a plurality of divided images of the floor slab 6 of the bridge 1 (step S202). Next, the image correction unit 34 performs necessary image correction on each divided image (step S204). Next, a plurality of divided images (non-mirrored images) are displayed on the display unit 22 so as to be superimposed on the CAD drawing showing the bridge 1 viewed from the imaging side (step S206). Next, the image composition unit 38 composes a plurality of divided images (step S208). Next, the composite image is mirror-inverted by the mirror inversion unit 36 (step S210). The CAD drawing can be mirror-inverted with the composite image.

[第2の実施形態]
図17は、第2の実施形態における損傷図編集装置200の構成例を示すブロック図である。尚、図2に示した第1の実施形態における損傷図編集装置20と同じ構成要素には同じ符号を付してあり、既に説明した内容を省略する。
[Second Embodiment]
FIG. 17 is a block diagram illustrating a configuration example of the damage diagram editing apparatus 200 according to the second embodiment. In addition, the same code | symbol is attached | subjected to the same component as the damage drawing editing apparatus 20 in 1st Embodiment shown in FIG. 2, and the content already demonstrated is abbreviate | omitted.

第2の実施形態の損傷図編集装置200は、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を入力する損傷図入力部60を備える。   The damage diagram editing apparatus 200 according to the second embodiment includes a damage diagram input unit 60 that inputs a damage diagram indicating a state of damage viewed from the side opposite to the imaging side of the structure.

本例の損傷図反転部44は、損傷図入力部60により入力された損傷図を、構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する。   The damage diagram inversion unit 44 of this example converts the damage diagram input by the damage diagram input unit 60 into an inversion damage diagram showing the state of damage viewed from the imaging side of the structure.

本例の表示制御部32は、入力された損傷図と鏡映画像とを表示部22に同時に表示させる第1の既存損傷図表示機能と、反転損傷図と非鏡映画像とを表示部22に同時に表示させる第2の既存損傷図表示機能とを有する。   The display control unit 32 of the present example displays the first existing damage diagram display function for simultaneously displaying the input damage diagram and the mirror image on the display unit 22, and the reverse damage diagram and the non-mirror image. And a second existing damage diagram display function to display simultaneously.

第1の既存損傷図表示機能によれば、構造物の撮像側とは反対側(例えば橋梁1の上側)から見た過去の損傷状態と、現在の鏡映画像とを見比べて、損傷の進行状況を確認することができる。   According to the first existing damage diagram display function, the progress of damage is compared with the past damage state viewed from the side opposite to the imaging side of the structure (for example, the upper side of the bridge 1) and the current mirror image. You can check the situation.

第2の既存損傷図表示機能によれば、構造物の撮像側(例えば橋梁1の下側)から見た過去の損傷状態と、現在の画像とを見比べて、損傷の進行状況を確認することができる。   According to the second existing damage map display function, the progress of damage is confirmed by comparing the past damage state viewed from the imaging side of the structure (for example, the lower side of the bridge 1) with the current image. Can do.

[鏡映反転のバリエーション]
前述の第1の実施形態及び第2の実施形態では、本発明の理解を容易にするため、鏡映反転軸の方向が固定である場合を例に説明したが、本発明はそのような鏡映反転軸の方向が固定である場合に限定されない。本発明は、鏡映反転軸の方向を可変にした構成でもよい。
[Variation of mirror reversal]
In the first embodiment and the second embodiment described above, the case where the direction of the mirror reversal axis is fixed has been described as an example in order to facilitate the understanding of the present invention. It is not limited to the case where the direction of the mirror reversal axis is fixed. The present invention may have a configuration in which the direction of the mirror reversal axis is variable.

鏡映反転部36は、各種の情報に基づいて、鏡映反転軸の方向を決定する機能を有する。鏡映反転部36は、決定した方向の鏡映反転軸を中心として鏡映反転を行う。   The mirror reversing unit 36 has a function of determining the direction of the mirror reversal axis based on various information. The mirror reversing unit 36 performs mirror reversal around the mirror reversal axis in the determined direction.

第1に、画像入力部26により入力された画像(鏡映反転前の画像である)を画像解析して、その画像解析の結果に基づいて鏡映反転軸の方向を決定する態様がある。   First, there is a mode in which an image input by the image input unit 26 (an image before mirror reversal) is subjected to image analysis, and the direction of the mirror reversal axis is determined based on the result of the image analysis.

例えば、図18に示す、床版6の格間ごとの画像IMG21を取得したとする。この画像IMG21は、格間の縁部の画像EG(以下「縁部画像」という)を含む。実空間において、格間の縁部の形状は矩形であり、その矩形を構成する互いに直交する二辺は一般に長さが異なる。つまり縁部の矩形は、互いに直交する長辺と短辺とを有する。また、実空間において、縁部の矩形の互いに直交する二辺は、橋梁1を基準とした全体座標系における二つの座標軸Gx、Gyと方向が一致している。そこで、鏡映反転部36は、鏡映反転前の画像(分割撮像の場合には合成画像でよい)から縁部画像を検出し、その縁部画像を必要に応じて矩形に射影変換した後、その矩形の互いに直交する長辺及び短辺のうちいずれか一辺の方向に基づいて、鏡映反転軸の方向を決定することができる。もっとも、本発明の撮像対象(点検対象である)は床版の格間に限定されず、他の撮像対象の幾何学的特徴に基づいて鏡映反転軸の方向を決定してよいことは、言うまでもない。   For example, it is assumed that an image IMG21 for each space of the floor slab 6 shown in FIG. 18 is acquired. This image IMG21 includes an image EG (hereinafter referred to as an “edge image”) of the edge of the case. In the real space, the shape of the edge portion of the case is a rectangle, and the two sides that form a rectangle are generally different in length. That is, the edge rectangle has a long side and a short side orthogonal to each other. In the real space, two sides of the edge rectangle that are orthogonal to each other have the same direction as the two coordinate axes Gx and Gy in the overall coordinate system with the bridge 1 as a reference. Therefore, the mirror reversing unit 36 detects an edge image from an image before mirror reversal (or a composite image in the case of divided imaging), and after projecting and converting the edge image into a rectangle as necessary. The direction of the mirror reversal axis can be determined based on the direction of one of the long side and the short side of the rectangle orthogonal to each other. However, the imaging target of the present invention (which is the target of inspection) is not limited to the floor slab, and the direction of the mirror inversion axis may be determined based on the geometric characteristics of the other imaging target. Needless to say.

第2に、構造物を基準にした全体座標系(「第1の座標系」である)の座標軸と、画像を撮像した撮像装置10を基準にした局所座標系(「第2の座標系」である)の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定する態様がある。   Second, the coordinate axes of the overall coordinate system (which is the “first coordinate system”) based on the structure and the local coordinate system (the “second coordinate system”) based on the imaging device 10 that captured the image. There is a mode in which the direction of the mirror reversal axis is determined based on the angle formed by the coordinate axis.

例えば、図19に示すようにロボット装置70に搭載された撮像装置10により撮像して得られた画像が画像入力部26により入力され、かつロボット装置70の撮像装置制御に従った撮像装置制御情報が画像入力部26により入力される。この撮像装置制御情報には、図20に示すように、橋梁1を基準にした全体座標系の座標軸Gx、Gy、Gzと、撮像装置10を基準にした局所座標系の座標軸Lx、Ly、Lzとがなす角度を示す角度情報が含まれる。本例の局所座標系において、互いに直交する三つの座標軸Lx、Ly、Lzのうち一つの座標軸Lzは、撮像装置10の撮像方向(光軸方向ともいう)であり、かつ橋梁1の床版6(被撮像面である)と直交する。つまり、本例では、全体座標系の一つの座標軸Gzの方向と局所座標系の一つの座標軸Lzの方向とが一致している。   For example, as shown in FIG. 19, an image obtained by imaging by the imaging device 10 mounted on the robot device 70 is input by the image input unit 26, and imaging device control information according to the imaging device control of the robot device 70 is obtained. Is input by the image input unit 26. As shown in FIG. 20, the imaging apparatus control information includes coordinate axes Gx, Gy, Gz of the global coordinate system with the bridge 1 as a reference, and coordinate axes Lx, Ly, Lz of a local coordinate system with the imaging apparatus 10 as a reference. Angle information indicating an angle formed by and is included. In the local coordinate system of this example, one of the three coordinate axes Lx, Ly, and Lz orthogonal to each other is the imaging direction (also referred to as the optical axis direction) of the imaging apparatus 10 and the floor slab 6 of the bridge 1. Orthogonal to (the surface to be imaged). In other words, in this example, the direction of one coordinate axis Gz in the overall coordinate system and the direction of one coordinate axis Lz in the local coordinate system coincide.

本例のロボット装置70は、橋梁に懸垂した懸垂式ロボットであり、図19ではその撮像に関する要部のみを示した。尚、懸垂式ロボットは、橋梁に懸垂する代わりに、橋梁上の走行体(車輌)に懸垂する方式のロボットでもよい。また、懸垂式ロボットの代わりに、ドローン(無人飛行体)等の無人飛行式ロボットを用いる場合にも本発明を適用可能である。   The robot apparatus 70 of this example is a suspended robot suspended from a bridge, and FIG. 19 shows only the main part related to imaging. The suspended robot may be a robot that hangs on a traveling body (vehicle) on the bridge instead of hanging on the bridge. Further, the present invention can also be applied to a case where an unmanned flying robot such as a drone (unmanned flying vehicle) is used instead of the suspended robot.

本例のロボット装置70は、撮像装置10の移動及び回動の制御を行う撮像装置制御機構72を備える。この撮像装置制御機構72は、撮像装置10を互いに直交するGx方向、Gy方向及びGz方向のそれぞれで移動可能なXYZ移動機構と、撮像装置10をパン方向P及びチルト方向Tのそれぞれで回動可能なパンチルト機構とを兼ねている。   The robot apparatus 70 of this example includes an imaging apparatus control mechanism 72 that controls the movement and rotation of the imaging apparatus 10. The imaging device control mechanism 72 rotates the imaging device 10 in the pan direction P and the tilt direction T, respectively, and an XYZ movement mechanism that can move the imaging device 10 in the Gx direction, the Gy direction, and the Gz direction orthogonal to each other. It also serves as a possible pan / tilt mechanism.

鏡映反転部36は、全体座標系の座標軸Gx(又はGy)と局所座標系の座標軸Lx(又はLy)とでなす角度を示す角度情報に基づいて、鏡映反転軸の方向を決定することが可能である。   The mirror reversing unit 36 determines the direction of the mirror reversal axis based on angle information indicating an angle formed by the coordinate axis Gx (or Gy) of the global coordinate system and the coordinate axis Lx (or Ly) of the local coordinate system. Is possible.

また、撮像装置10をパン方向Pに回動させる場合、つまり橋梁1を基準とした全体座標系に対して撮像装置10の方位角度が可変である場合、鏡映反転部36は、全体座標系の座標軸Gx又はGyに対する撮像装置10の方位角度に基づいて、鏡映反転軸の方向を決定することが可能である。   When the imaging device 10 is rotated in the pan direction P, that is, when the azimuth angle of the imaging device 10 is variable with respect to the overall coordinate system with respect to the bridge 1, the mirror reversing unit 36 uses the overall coordinate system. The direction of the mirror reversal axis can be determined based on the azimuth angle of the imaging device 10 with respect to the coordinate axis Gx or Gy.

尚、全体座標系の座標軸Gx、Gy、Gzに対する局所座標系の座標軸Lx、Ly、Lzの設定態様、及び撮像装置10のパンチルトの態様(角度制御態様)には、各種あるため、その局所座標系の座標軸の設定態様及び撮像装置10の角度制御態様に応じた角度情報を取得して、その角度情報に基づいて鏡映反転軸の方向を決定すればよい。   Since there are various setting modes of the coordinate axes Lx, Ly, and Lz of the local coordinate system with respect to the coordinate axes Gx, Gy, and Gz of the global coordinate system and pan / tilt modes (angle control modes) of the imaging apparatus 10, the local coordinates What is necessary is just to acquire the angle information according to the setting mode of the coordinate axis of the system and the angle control mode of the imaging device 10 and determine the direction of the mirror reversal axis based on the angle information.

[クライアントサーバ型]
クライアントサーバ型のシステムでは、クライアント装置及びサーバ装置の少なくともいずれかにより損傷図編集装置を構成してもよい。言い換えると、本発明の損傷図編集装置は、クライアントサーバ型のシステムのうちの一つ又は複数のコンピュータ装置により構成してよい。
[Client server type]
In the client server type system, the damage diagram editing device may be configured by at least one of the client device and the server device. In other words, the damage diagram editing apparatus of the present invention may be configured by one or a plurality of computer apparatuses of a client server type system.

以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。   As mentioned above, although the form for implementing this invention has been demonstrated, this invention is not limited to embodiment and the modification which were mentioned above, A various deformation | transformation is possible in the range which does not deviate from the main point of this invention.

1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 撮像装置
20 損傷図編集装置
22 表示部
24 操作部
26 画像入力部
28 図面入力部
30 CPU
32 表示制御部
34 画像補正部
36 鏡映反転部
38 画像合成部
40 損傷検出部
42 編集部
44 損傷図反転部
50 記憶部
60 損傷図入力部
70 ロボット装置
72 撮像装置制御機構
80 CAD図面
82 損傷リスト
200 損傷図編集装置
Ds0101〜Ds0104、Ds0201〜Ds0204 要素番号
EG 縁部画像
Gx、Gy、Gz 全体座標系の座標軸
IMG1、IMG11、IMG21 画像
IMG2、IMG12 鏡映画像
Lx、Ly、Lz 局所座標系の座標軸
MAx 鏡映反転軸
P パン方向
RANK 評価区分
STATE 状態
T チルト方向
DESCRIPTION OF SYMBOLS 1 Bridge 2 Main girder 3 Horizontal girder 4 Opposite frame 5 Horizontal frame 6 Floor slab 10 Imaging device 20 Damage drawing editing device 22 Display part 24 Operation part 26 Image input part 28 Drawing input part 30 CPU
32 display control unit 34 image correction unit 36 mirror reversing unit 38 image compositing unit 40 damage detection unit 42 editing unit 44 damage diagram reversing unit 50 storage unit 60 damage diagram input unit 70 robot device 72 imaging device control mechanism 80 CAD drawing 82 damage List 200 Damage diagram editing device Ds0101-Ds0104, Ds0201-Ds0204 Element number EG Edge image Gx, Gy, Gz Coordinate axes IMG1, IMG11, IMG21 Image IMG2, IMG12 Mirror image Lx, Ly, Lz of local coordinate system Coordinate axis MAX Reflection reversal axis P Pan direction RANK Evaluation category STATE State T Tilt direction

Claims (24)

点検対象の構造物の画像を入力する画像入力部と、
前記入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、
表示部と、
前記表示部に前記鏡映画像を表示させる表示制御部と、
ユーザの操作を受け付ける操作部と、
前記鏡映画像が前記表示部に表示された状態で前記操作部により受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集する編集部と、
画像合成を行う画像合成部と、を備え、
前記画像入力部は、前記構造物の複数の分割画像を前記画像として入力し、
前記鏡映反転部は、前記複数の分割画像のそれぞれを鏡映反転し、
前記画像合成部は、前記鏡映反転された複数の分割画像を合成する、
損傷図編集装置。
An image input unit for inputting an image of a structure to be inspected;
A mirror reversing unit for mirror reversing the input image to obtain a mirror image;
A display unit;
A display control unit for displaying the mirror image on the display unit;
An operation unit for receiving user operations;
In accordance with an operation received by the operation unit in a state where the mirror image is displayed on the display unit, a damage diagram showing a damage state of the structure, and a damage diagram corresponding to the mirror image An editorial department to edit,
An image composition unit for performing image composition,
The image input unit inputs a plurality of divided images of the structure as the image,
The mirror reversing unit mirror-inverts each of the plurality of divided images,
The image synthesizing unit synthesizes the plurality of divided images that are mirror-inverted;
Damage diagram editing device.
点検対象の構造物の画像を入力する画像入力部と、
前記入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、
表示部と、
前記表示部に前記鏡映画像を表示させる表示制御部と、
ユーザの操作を受け付ける操作部と、
前記鏡映画像が前記表示部に表示された状態で前記操作部により受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集する編集部と、
画像合成を行う画像合成部と、を備え、
前記画像入力部は、前記構造物の複数の分割画像を前記画像として入力し、
前記鏡映反転部は、前記画像合成部により前記複数の分割画像を合成して得られた合成画像を鏡映反転する、
損傷図編集装置。
An image input unit for inputting an image of a structure to be inspected;
A mirror reversing unit for mirror reversing the input image to obtain a mirror image;
A display unit;
A display control unit for displaying the mirror image on the display unit;
An operation unit for receiving user operations;
In accordance with an operation received by the operation unit in a state where the mirror image is displayed on the display unit, a damage diagram showing a damage state of the structure, and a damage diagram corresponding to the mirror image An editorial department to edit,
An image composition unit for performing image composition,
The image input unit inputs a plurality of divided images of the structure as the image,
The mirror reversing unit mirror-inverts a composite image obtained by combining the plurality of divided images by the image combining unit;
Damage diagram editing device.
前記画像合成部は、前記複数の分割画像のそれぞれに対して、拡縮、あおり補正及び回転のうち少なくとも一つの画像処理を行うことにより、前記複数の分割画像にわたる前記構造物の被撮像面と前記画像を撮像した撮像装置との距離又は角度の不一致に関する補正を行う、
請求項またはに記載の損傷図編集装置。
The image synthesizing unit performs at least one image processing among enlargement / reduction, tilt correction, and rotation on each of the plurality of divided images, so that the surface to be imaged of the structure across the plurality of divided images and the image Corrects for mismatch in distance or angle with the imaging device that captured the image,
The damage diagram editing apparatus according to claim 1 or 2 .
前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を、前記構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部を備え、
前記操作部は、前記損傷図に関する反転操作を受け付け、
前記表示制御部は、前記反転操作に応じて、前記損傷図が前記表示部に表示された状態と前記反転損傷図が前記表示部に表示された状態とを切替える、
請求項1からのうちいずれか一項に記載の損傷図編集装置。
A damage diagram reversing unit for converting the damage diagram showing the state of damage seen from the side opposite to the imaging side of the structure into an inversion damage diagram showing the state of damage seen from the imaging side of the structure;
The operation unit accepts a reversal operation related to the damage diagram,
The display control unit switches between the state in which the damage diagram is displayed on the display unit and the state in which the reverse damage diagram is displayed on the display unit, according to the inversion operation.
The damage diagram editing apparatus according to any one of claims 1 to 3 .
前記鏡映反転部は、前記入力された画像を画像解析して、鏡映反転軸の方向を決定する、
請求項1からのうちいずれか一項に記載の損傷図編集装置。
The mirror reversing unit analyzes the input image and determines the direction of the mirror reversal axis.
The damage diagram editing device according to any one of claims 1 to 4 .
前記鏡映反転部は、前記構造物を基準とした第1の座標系の座標軸と前記画像を撮像した撮像装置を基準とした第2の座標系の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定する、
請求項1からのうちいずれか一項に記載の損傷図編集装置。
The mirror reversing unit is configured to perform a reflection based on an angle formed by a coordinate axis of the first coordinate system with respect to the structure and a coordinate axis of the second coordinate system with respect to the imaging device that captures the image. Determine the direction of the reversal axis,
The damage diagram editing device according to any one of claims 1 to 4 .
前記鏡映反転部は、前記構造物を基準として、前記画像を撮像した撮像装置の方位角度に基づいて、鏡映反転軸の方向を決定する、
請求項1からのうちいずれか一項に記載の損傷図編集装置。
The mirror reversing unit determines the direction of the mirror reversal axis based on the azimuth angle of the imaging device that captured the image with the structure as a reference.
The damage diagram editing device according to any one of claims 1 to 4 .
点検対象の構造物の画像を入力する画像入力部と、
前記入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、
表示部と、
前記表示部に前記鏡映画像を表示させる表示制御部と、
ユーザの操作を受け付ける操作部と、
前記鏡映画像が前記表示部に表示された状態で前記操作部により受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集する編集部と、
前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を、前記構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部と、を備え、
前記操作部は、前記損傷図に関する反転操作を受け付け、
前記表示制御部は、前記反転操作に応じて、前記損傷図が前記表示部に表示された状態と前記反転損傷図が前記表示部に表示された状態とを切替える、
損傷図編集装置。
An image input unit for inputting an image of a structure to be inspected;
A mirror reversing unit for mirror reversing the input image to obtain a mirror image;
A display unit;
A display control unit for displaying the mirror image on the display unit;
An operation unit for receiving user operations;
In accordance with an operation received by the operation unit in a state where the mirror image is displayed on the display unit, a damage diagram showing a damage state of the structure, and a damage diagram corresponding to the mirror image An editorial department to edit,
A damage diagram reversing unit that converts the damage diagram showing the state of damage viewed from the side opposite to the imaging side of the structure into an inversion damage diagram showing the state of damage viewed from the imaging side of the structure; Prepared,
The operation unit accepts an inversion operation related to the damage diagram,
The display control unit switches between the state in which the damage diagram is displayed on the display unit and the state in which the reverse damage diagram is displayed on the display unit, according to the inversion operation.
Damage diagram editing device.
点検対象の構造物の画像を入力する画像入力部と、
前記入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、
表示部と、
前記表示部に前記鏡映画像を表示させる表示制御部と、
ユーザの操作を受け付ける操作部と、
前記鏡映画像が前記表示部に表示された状態で前記操作部により受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集する編集部と、を備え、
前記鏡映反転部は、前記入力された画像を画像解析して、鏡映反転軸の方向を決定する、
損傷図編集装置。
An image input unit for inputting an image of a structure to be inspected;
A mirror reversing unit for mirror reversing the input image to obtain a mirror image;
A display unit;
A display control unit for displaying the mirror image on the display unit;
An operation unit for receiving user operations;
In accordance with an operation received by the operation unit in a state where the mirror image is displayed on the display unit, a damage diagram showing a damage state of the structure, and a damage diagram corresponding to the mirror image An editing section for editing ,
The mirror reversing unit analyzes the input image and determines the direction of the mirror reversal axis.
Damage diagram editing device.
点検対象の構造物の画像を入力する画像入力部と、
前記入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、
表示部と、
前記表示部に前記鏡映画像を表示させる表示制御部と、
ユーザの操作を受け付ける操作部と、
前記鏡映画像が前記表示部に表示された状態で前記操作部により受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集する編集部と、を備え、
前記鏡映反転部は、前記構造物を基準とした第1の座標系の座標軸と前記画像を撮像した撮像装置を基準とした第2の座標系の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定する、
損傷図編集装置。
An image input unit for inputting an image of a structure to be inspected;
A mirror reversing unit for mirror reversing the input image to obtain a mirror image;
A display unit;
A display control unit for displaying the mirror image on the display unit;
An operation unit for receiving user operations;
In accordance with an operation received by the operation unit in a state where the mirror image is displayed on the display unit, a damage diagram showing a damage state of the structure, and a damage diagram corresponding to the mirror image An editing section for editing ,
The mirror reversing unit is a mirror based on an angle formed by a coordinate axis of the first coordinate system based on the structure and a coordinate axis of the second coordinate system based on the imaging device that captures the image. Determine the direction of the reversal axis,
Damage diagram editing device.
点検対象の構造物の画像を入力する画像入力部と、
前記入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、
表示部と、
前記表示部に前記鏡映画像を表示させる表示制御部と、
ユーザの操作を受け付ける操作部と、
前記鏡映画像が前記表示部に表示された状態で前記操作部により受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集する編集部と、を備え、
前記鏡映反転部は、前記構造物を基準として、前記画像を撮像した撮像装置の方位角度に基づいて、鏡映反転軸の方向を決定する、
損傷図編集装置。
An image input unit for inputting an image of a structure to be inspected;
A mirror reversing unit for mirror reversing the input image to obtain a mirror image;
A display unit;
A display control unit for displaying the mirror image on the display unit;
An operation unit for receiving user operations;
In accordance with an operation received by the operation unit in a state where the mirror image is displayed on the display unit, a damage diagram showing a damage state of the structure, and a damage diagram corresponding to the mirror image An editing section for editing ,
The mirror reversing unit determines the direction of the mirror reversal axis based on the azimuth angle of the imaging device that captured the image with the structure as a reference.
Damage diagram editing device.
前記構造物を示す図面を入力する図面入力部を備え、
前記表示制御部は、前記図面に前記鏡映画像を重ね合わせて前記表示部に表示させる、
請求項1から11のうちいずれか一項に記載の損傷図編集装置。
A drawing input unit for inputting a drawing showing the structure;
The display control unit causes the mirror image to be superimposed on the drawing and displayed on the display unit.
The damage diagram editing device according to any one of claims 1 to 11 .
前記操作部は、前記表示部に前記鏡映画像が表示された状態で前記鏡映画像中の損傷画像に対するトレース操作を受け付け、
前記表示制御部は、前記トレース操作に対応する損傷図形を前記鏡映画像中の前記損傷画像に重ね合わせて前記表示部に表示させ、
前記編集部は、前記トレース操作に対応する前記損傷図形を前記損傷図に追加する、
請求項1から12のうちいずれか一項に記載の損傷図編集装置。
The operation unit accepts a trace operation for a damaged image in the mirror image in a state where the mirror image is displayed on the display unit,
The display control unit causes the display unit to display a damaged figure corresponding to the trace operation superimposed on the damaged image in the mirror image,
The editing unit adds the damage figure corresponding to the trace operation to the damage diagram;
The damage diagram editing device according to any one of claims 1 to 12 .
前記鏡映画像又は鏡映反転前の前記画像から損傷画像を検出する損傷検出部を備え、
前記表示制御部は、前記検出された損傷画像に対応する損傷図形を前記鏡映画像中の損傷画像に重ね合わせて前記表示部に表示させ、
前記編集部は、前記損傷図形を前記損傷図に追加する、
請求項1から13のうちいずれか一項に記載の損傷図編集装置。
A damage detection unit for detecting a damage image from the mirror image or the image before mirror reversal;
The display control unit displays a damage figure corresponding to the detected damage image on the damage image in the mirror image so as to be displayed on the display unit,
The editing unit adds the damaged graphic to the damage diagram.
The damage diagram editing apparatus according to any one of claims 1 to 13 .
前記操作部は、前記表示部に前記鏡映画像が表示された状態で前記損傷に対する点検結果情報の入力を受け付け、
前記表示制御部は、前記入力された点検結果情報と前記鏡映画像とを前記表示部に表示させ、
前記編集部は、前記入力された点検結果情報を前記損傷図に追加する、
請求項1から14のうちいずれか一項に記載の損傷図編集装置。
The operation unit accepts input of inspection result information for the damage in a state where the mirror image is displayed on the display unit,
The display control unit displays the input inspection result information and the mirror image on the display unit,
The editing unit adds the input inspection result information to the damage diagram.
15. The damage diagram editing device according to any one of claims 1 to 14 .
前記編集部は、前記鏡映画像又は鏡映反転前の前記画像に基づいて前記損傷の特徴量を計測し、前記計測した特徴量を示す情報を前記損傷図に追加する、
請求項1から15のうちいずれか一項に記載の損傷図編集装置。
The editing unit measures the feature amount of the damage based on the mirror image or the image before mirror reversal, and adds information indicating the measured feature amount to the damage diagram;
The damage diagram editing device according to any one of claims 1 to 15 .
前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を入力する損傷図入力部を備え、
前記表示制御部は、前記入力された損傷図と前記鏡映画像とを前記表示部に表示させる、
請求項1から16のうちいずれか一項に記載の損傷図編集装置。
A damage diagram input unit for inputting the damage diagram indicating the state of damage as viewed from the side opposite to the imaging side of the structure;
The display control unit causes the display unit to display the input damage diagram and the mirror image.
The damage diagram editing device according to any one of claims 1 to 16 .
前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を入力する損傷図入力部と、
前記入力された損傷図を前記構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部と、
を備え、
前記表示制御部は、前記反転損傷図と前記画像とを前記表示部に表示させる、
請求項1から17のうちいずれか一項に記載の損傷図編集装置。
A damage diagram input unit for inputting the damage diagram showing the state of damage as viewed from the side opposite to the imaging side of the structure;
A damage diagram inversion unit for converting the input damage diagram into an inversion damage diagram showing a state of damage seen from the imaging side of the structure;
With
The display control unit causes the display unit to display the reverse damage diagram and the image.
The damage diagram editing device according to any one of claims 1 to 17 .
点検対象の構造物の画像を入力するステップと、
前記入力された画像を鏡映反転して鏡映画像を取得するステップと、
表示デバイスに前記鏡映画像を表示させるステップと、
前記鏡映画像が前記表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集するステップと、
前記構造物の複数の分割画像を前記画像として入力するステップと、
前記複数の分割画像のそれぞれを鏡映反転するステップと、
前記鏡映反転された複数の分割画像を合成するステップと、
を備える損傷図編集方法。
Inputting an image of the structure to be inspected;
Reversing the input image to obtain a mirrored image;
Displaying the mirrored image on a display device;
In accordance with an operation received by the operation device in a state where the mirror image is displayed on the display device, a damage diagram showing a damage state of the structure and editing the damage diagram corresponding to the mirror image And steps to
Inputting a plurality of divided images of the structure as the image;
Mirror-inverting each of the plurality of divided images;
Synthesizing a plurality of the mirror-inverted divided images;
A damage diagram editing method comprising:
点検対象の構造物の画像を入力するステップと、
前記入力された画像を鏡映反転して鏡映画像を取得するステップと、
表示デバイスに前記鏡映画像を表示させるステップと、
前記鏡映画像が前記表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集するステップと、
前記構造物の複数の分割画像を前記画像として入力するステップと、
前記複数の分割画像を合成して得られた合成画像を鏡映反転するステップと、
を備える損傷図編集方法。
Inputting an image of the structure to be inspected;
Reversing the input image to obtain a mirrored image;
Displaying the mirrored image on a display device;
In response to an operation received by the operation device in a state where the mirror image is displayed on the display device, a damage diagram showing a state of damage to the structure and editing the damage diagram corresponding to the mirror image And steps to
Inputting a plurality of divided images of the structure as the image;
Mirror-reversing a composite image obtained by combining the plurality of divided images;
A damage diagram editing method comprising:
点検対象の構造物の画像を入力するステップと、
前記入力された画像を鏡映反転して鏡映画像を取得するステップと、
表示デバイスに前記鏡映画像を表示させるステップと、
前記鏡映画像が前記表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集するステップと、
前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を、前記構造物の撮像側から見た損傷の状態を示す反転損傷図に変換するステップと、
前記損傷図に関する反転操作を受け付けるステップと、
前記反転操作に応じて、前記損傷図が前記表示デバイスに表示された状態と前記反転損傷図が前記表示デバイスに表示された状態とを切替えるステップと、
を備える損傷図編集方法。
Inputting an image of the structure to be inspected;
Reversing the input image to obtain a mirrored image;
Displaying the mirrored image on a display device;
In accordance with an operation received by the operation device in a state where the mirror image is displayed on the display device, a damage diagram indicating a damage state of the structure and a damage diagram corresponding to the mirror image is edited. And steps to
Converting the damage diagram showing the state of damage viewed from the side opposite to the imaging side of the structure into an inversion damage diagram showing the state of damage viewed from the imaging side of the structure;
Receiving a reversing operation relating to the damage diagram;
Switching between a state in which the damage diagram is displayed on the display device and a state in which the reverse damage diagram is displayed on the display device in response to the reversing operation;
A damage diagram editing method comprising:
点検対象の構造物の画像を入力するステップと、
前記入力された画像を鏡映反転して鏡映画像を取得するステップと、
表示デバイスに前記鏡映画像を表示させるステップと、
前記鏡映画像が前記表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集するステップと、
前記入力された画像を画像解析して、鏡映反転軸の方向を決定するステップと、
を備える損傷図編集方法。
Inputting an image of the structure to be inspected;
Reversing the input image to obtain a mirrored image;
Displaying the mirrored image on a display device;
In accordance with an operation received by the operation device in a state where the mirror image is displayed on the display device, a damage diagram showing a damage state of the structure and editing the damage diagram corresponding to the mirror image And steps to
Analyzing the input image to determine the direction of the mirror reversal axis;
A damage diagram editing method comprising:
点検対象の構造物の画像を入力するステップと、
前記入力された画像を鏡映反転して鏡映画像を取得するステップと、
表示デバイスに前記鏡映画像を表示させるステップと、
前記鏡映画像が前記表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集するステップと、
前記構造物を基準とした第1の座標系の座標軸と前記画像を撮像した撮像装置を基準とした第2の座標系の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定するステップと、
を備える損傷図編集方法。
Inputting an image of the structure to be inspected;
Reversing the input image to obtain a mirrored image;
Displaying the mirrored image on a display device;
In accordance with an operation received by the operation device in a state where the mirror image is displayed on the display device, a damage diagram showing a damage state of the structure and editing the damage diagram corresponding to the mirror image And steps to
The direction of the mirror reversal axis is determined based on the angle formed by the coordinate axis of the first coordinate system based on the structure and the coordinate axis of the second coordinate system based on the imaging device that captured the image. Steps,
A damage diagram editing method comprising:
点検対象の構造物の画像を入力するステップと、
前記入力された画像を鏡映反転して鏡映画像を取得するステップと、
表示デバイスに前記鏡映画像を表示させるステップと、
前記鏡映画像が前記表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集するステップと、
前記構造物を基準として、前記画像を撮像した撮像装置の方位角度に基づいて、鏡映反転軸の方向を決定するステップと、
を備える損傷図編集方法。
Inputting an image of the structure to be inspected;
Reversing the input image to obtain a mirrored image;
Displaying the mirrored image on a display device;
In accordance with an operation received by the operation device in a state where the mirror image is displayed on the display device, a damage diagram indicating a damage state of the structure and a damage diagram corresponding to the mirror image is edited. And steps to
Determining the direction of the mirror reversal axis based on the azimuth angle of the imaging device that captured the image with the structure as a reference;
A damage diagram editing method comprising:
JP2018523686A 2016-06-24 2017-06-07 Damage diagram editing apparatus and damage diagram editing method Active JP6619516B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016125535 2016-06-24
JP2016125535 2016-06-24
PCT/JP2017/021110 WO2017221706A1 (en) 2016-06-24 2017-06-07 Damage diagram editing device and damage diagram editing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019206269A Division JP6874096B2 (en) 2016-06-24 2019-11-14 Damage diagram editing device and program

Publications (2)

Publication Number Publication Date
JPWO2017221706A1 JPWO2017221706A1 (en) 2019-02-28
JP6619516B2 true JP6619516B2 (en) 2019-12-11

Family

ID=60784217

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018523686A Active JP6619516B2 (en) 2016-06-24 2017-06-07 Damage diagram editing apparatus and damage diagram editing method
JP2019206269A Active JP6874096B2 (en) 2016-06-24 2019-11-14 Damage diagram editing device and program
JP2021071755A Active JP7146013B2 (en) 2016-06-24 2021-04-21 Server device, image processing method, and program

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019206269A Active JP6874096B2 (en) 2016-06-24 2019-11-14 Damage diagram editing device and program
JP2021071755A Active JP7146013B2 (en) 2016-06-24 2021-04-21 Server device, image processing method, and program

Country Status (2)

Country Link
JP (3) JP6619516B2 (en)
WO (1) WO2017221706A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3748341A4 (en) * 2018-02-02 2021-02-24 Fujifilm Corporation Image processing device and image processing method
JP7272015B2 (en) * 2018-03-14 2023-05-12 株式会社リコー Diagnosis management server, diagnosis system, diagnosis management method, and program
JP6970817B2 (en) * 2018-04-11 2021-11-24 富士フイルム株式会社 Structure management equipment, structure management method, and structure management program
WO2020121917A1 (en) * 2018-12-13 2020-06-18 富士フイルム株式会社 Damage diagram creation assistance device, damage diagram creation assistance method, damage diagram creation assistance program, and damage diagram creation assistance system
CN113227781B (en) * 2018-12-20 2024-02-13 株式会社岛津制作所 Defect inspection apparatus and defect inspection method
JP6732082B1 (en) * 2019-09-03 2020-07-29 三菱電機株式会社 Image generation apparatus, image generation method, and image generation program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2684191B2 (en) * 1988-07-11 1997-12-03 三井造船株式会社 Inspection system for concrete structures
JP2011082726A (en) * 2009-10-06 2011-04-21 Sanyo Electric Co Ltd Image reproducing apparatus, and imaging apparatus
JP2011246908A (en) * 2010-05-25 2011-12-08 Takeda Design And Manufacturing Co Ltd Bridge inspection device
JP5803723B2 (en) * 2012-02-14 2015-11-04 富士通株式会社 Structure inspection support method, structure inspection support program, and structure inspection support device

Also Published As

Publication number Publication date
WO2017221706A1 (en) 2017-12-28
JPWO2017221706A1 (en) 2019-02-28
JP7146013B2 (en) 2022-10-03
JP6874096B2 (en) 2021-05-19
JP2020030855A (en) 2020-02-27
JP2021114320A (en) 2021-08-05

Similar Documents

Publication Publication Date Title
JP6619516B2 (en) Damage diagram editing apparatus and damage diagram editing method
JP7170023B2 (en) DAMAGE DATA EDITING DEVICE, DAMAGE DATA EDITING METHOD, PROGRAM, AND SYSTEM
Duque et al. Bridge deterioration quantification protocol using UAV
Omer et al. Use of gaming technology to bring bridge inspection to the office
Valença et al. Assessment of cracks on concrete bridges using image processing supported by laser scanning survey
JP7241139B2 (en) Server device, image processing method, and image processing system
Xu et al. TLS-based composite structure deformation analysis validated with laser tracker
Lattanzi et al. 3D scene reconstruction for robotic bridge inspection
Barazzetti et al. BIM from laser scans… not just for buildings: NURBS-based parametric modeling of a medieval bridge
Armesto et al. FEM modeling of structures based on close range digital photogrammetry
US11948291B2 (en) Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium
JP6937391B2 (en) Repair length determination method and repair length determination device
Bassier et al. Semi-automated creation of accurate FE meshes of heritage masonry walls from point cloud data
Lee et al. Vision-based inspection of prefabricated components using camera poses: Addressing inherent limitations of image-based 3D reconstruction
Trias et al. Supporting quantitative structural assessment of highway bridges through the use of LiDAR scanning
Shinozaki et al. Detection of deterioration of furnace walls using large-scale point-clouds
JP2005310044A (en) Apparatus, method and program for data processing
Janowski et al. The method of measuring the membrane cover geometry using laser scanning and synchronous photogrammetry
US20230003663A1 (en) Inspection support device, inspection support method, and inspection support program
JP6564738B2 (en) Drawing creating apparatus and drawing creating method
Turkan et al. Towards automated progress tracking of erection of concrete structures
WO2022070734A1 (en) Structure inspection assistance device, structure inspection assistance method, and program
Nagarajan et al. Imaging and laser scanning–based noncontact deflection monitoring technique for timber railroad bridges
JP7329951B2 (en) Image processing device and its control method
Covian et al. Application of HDS techniques to bridge inspection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191114

R150 Certificate of patent or registration of utility model

Ref document number: 6619516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250