WO2022254635A1 - 解析装置、解析方法、及びプログラム - Google Patents

解析装置、解析方法、及びプログラム Download PDF

Info

Publication number
WO2022254635A1
WO2022254635A1 PCT/JP2021/021084 JP2021021084W WO2022254635A1 WO 2022254635 A1 WO2022254635 A1 WO 2022254635A1 JP 2021021084 W JP2021021084 W JP 2021021084W WO 2022254635 A1 WO2022254635 A1 WO 2022254635A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud data
analysis
camera
image
Prior art date
Application number
PCT/JP2021/021084
Other languages
English (en)
French (fr)
Inventor
一清 涌井
安弘 松本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023525262A priority Critical patent/JPWO2022254635A1/ja
Priority to PCT/JP2021/021084 priority patent/WO2022254635A1/ja
Publication of WO2022254635A1 publication Critical patent/WO2022254635A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge

Definitions

  • the present disclosure relates to an analysis device, analysis method, and program that improve the accuracy of point cloud data.
  • Point cloud data refers to data of a set of points handled by a computer having information such as basic X, Y, Z position information and color. Conventionally, the following three methods are used to acquire the position coordinates of point cloud data.
  • the first method is a method in which the laser scanner outputs the acquired data as colored point cloud data, and the position of the point cloud data is automatically corrected by SLAM (Simultaneous Localization and Mapping).
  • Point cloud data is obtained by reading the information reflected by laser light emitted from a laser scanner.
  • Non-Patent Document 1 describes a method of automatically generating a three-dimensional polygon model used for maintenance from measured point cloud data of a civil engineering structure.
  • the second method is to generate position coordinates using SFM (Structure from Motion) technology from images captured using a stereo camera.
  • SFM Structure from Motion
  • MVS Multi-View Stereo multi-view stereo
  • the third method is to acquire the absolute position coordinates inside the tunnel by combining the tunnel plan and the internal structural diagram.
  • the accuracy of the position information of the point cloud data generated from the image of the tunnel interior is reduced due to the shooting distance from the camera, the number of camera pixels, etc.
  • the purpose of the present disclosure which has been made in view of such circumstances, is to improve the accuracy of point cloud data for predicting deterioration in the analysis of internal images and point cloud data of structures.
  • an analysis device is an analysis device that generates point cloud data from an image of the interior of a structure, and inputs an image of the interior of the structure captured by moving a stereo camera.
  • a 3D point cloud data generation unit that generates point cloud data of the internal structure of the structure from the internal image input unit and each internal image on the shooting route, and a point cloud data other than the deterioration prediction target is generated from the point cloud data.
  • a first analysis unit that removes, and a second analysis unit that extracts point cloud data in a space within a certain distance from the camera trajectory of the stereo camera from the point cloud data removed by the first analysis unit.
  • an analysis method is an analysis device that generates point cloud data from an image of the inside of a structure. a step of inputting an image; a step of generating point cloud data of the internal structure of the structure from each internal image on the photographing route; and a step of removing point cloud data other than those targeted for degradation prediction from the point cloud data. and extracting point cloud data in a space within a certain distance from the camera trajectory of the stereo camera from the removed point cloud data.
  • a program causes a computer to function as the analysis device.
  • FIG. 10 is a schematic diagram for specifying a point cloud data area to be removed other than deterioration prediction targets
  • FIG. 4 is a schematic diagram showing criteria for identifying point cloud data surfaces to be removed other than degradation prediction targets
  • FIG. 4 is a schematic diagram for explaining a method of calculating a separation distance from a camera trajectory; It is a figure which represented typically the state which a measurement error produces.
  • 4 is a flow chart showing an example of an analysis method executed by an analysis device according to an embodiment; It is a block diagram which shows schematic structure of the computer which functions as an analysis apparatus.
  • the analysis device 1 includes an internal image input unit 11, a 3D point cloud data generation unit 12, a first analysis unit 13, and a second analysis unit 14.
  • the analysis device 1 is an analysis device that generates point cloud data from an image inside a structure.
  • a location (deterioration prediction target) in the internal structure of the structure where deterioration prediction is to be performed is selected.
  • the internal image input unit 11 inputs an image of the interior of the structure captured by moving the stereo camera 15 and outputs the internal image of the structure to the 3D point cloud data generation unit 12.
  • the 3D point cloud data generation unit 12 generates point cloud data (3D point cloud data) of the internal structure of the structure from each internal image on the shooting route.
  • the 3D point cloud data is generated using SFM techniques.
  • SFM technology is a general term for technology that restores the shape of an object from multiple photographs taken of a certain object. Using SFM software, you can easily create a 3D model by inputting multiple photographs. obtain.
  • the 3D point cloud data generation unit 12 outputs the generated 3D point cloud data to the first analysis unit 13 .
  • Point cloud data has position information.
  • the first analysis unit 13 receives the point cloud data of the internal structure of the structure generated by the 3D point cloud data generation unit 12, and removes the point cloud data other than the deterioration prediction target from the point cloud data. Further, the first analysis unit 13 outputs point cloud data obtained by removing point cloud data other than the degradation prediction target from the 3D point cloud data to the second analysis unit.
  • a method for removing point cloud data other than deterioration prediction targets will be described in detail below with reference to FIGS. 2A and 2B.
  • the target of deterioration prediction is described below as the structure inside the tunnel, the target of deterioration prediction is not limited to the structure inside the tunnel.
  • the first analysis unit 13 identifies the attachments installed inside the tunnel other than the deterioration prediction target, and removes the point cloud data of the attachments.
  • the target of deterioration prediction is the inner structure of a tunnel
  • the appendages are hardware, cables, etc. installed inside the tunnel.
  • the first analysis unit 13 identifies a point cloud data surface in which the length of the normal between the 2D internal cross section of the internal structure of the structure and the point cloud data surface is equal to or longer than a certain length, and the identified point A region extending the group data surface in the direction of travel of the structure is removed.
  • This process will be described with reference to FIGS. 2A and 2B.
  • the internal structure of the structure is described below as the internal structure of a tunnel, but the deterioration prediction target is not limited to this.
  • FIG. 2A is a schematic diagram for specifying a point cloud data area to be removed other than deterioration prediction targets.
  • a solid line indicates a 2D internal cross section 21 of a tunnel and a region 21' extending the inner cross section 21 in the direction of travel of the tunnel. 22 is extended in the tunnel traveling direction, and the dashed line indicates the 2D point cloud data surface 23 to be removed and the point cloud data area 23' to be removed by extending the point cloud data surface 23 in the tunnel traveling direction, Black circles and triangles indicate attachments (black circles are cables, triangles are hardware).
  • FIG. 2B is a schematic diagram showing criteria for specifying point cloud data surfaces to be removed other than deterioration prediction targets.
  • the first analysis unit 13 uses a method that extends perpendicularly from a point cloud data surface 22 generated from the image of the inside of the tunnel to a 2D internal cross section 21 on the image of the inside of the tunnel. It is determined whether or not the length of the line L is equal to or longer than a certain length. When the length of the normal line L is equal to or longer than a certain length, the first analysis unit 13 determines that the 2D internal cross section 21 and the point cloud data surface 22 are greatly deviated, and as shown in FIG. 2A , in the 2D internal cross section 21, the point cloud data surface 23 to be removed is identified, and a region 23' obtained by extending the point cloud data surface 23 in the tunnel advancing direction is identified.
  • the first analysis unit 13 estimates the cross-sectional alignment of the deterioration prediction target that is hidden by the attachments installed inside the tunnel (such as the cable/hardware 20 shown in FIG. 2B) from the cross-sectional alignment of the 3D point cloud data. Then, the point cloud data of the region obtained by extending the estimated cross-sectional alignment in the direction of movement of the structure may be removed as the point cloud data other than the structural evaluation object.
  • the second analysis unit 14 extracts point cloud data in a space within a certain distance from the camera trajectory 25 of the stereo camera 15 from the point cloud data removed by the first analysis unit 13 .
  • a method for extracting point cloud data with high positional accuracy will be described below.
  • the second analysis unit 14 estimates a line segment that forms the camera trajectory 25 and extracts point cloud data in a space within a predetermined separation distance from the camera trajectory 25 .
  • a plurality of panorama images taken at different times are created from the 360-degree images, and then the difference in appearance of the same stationary object in each panorama image is obtained. is performed by analyzing the image and determining the position of the camera.
  • the second analysis unit 14 estimates the space within the separation distance in a cylindrical shape with the camera trajectory 25 as the central axis. That is, as shown in FIG. 3A, the second analysis unit 14 estimates a specific separation distance 26 from the camera trajectory 25 with the cylindrical shape 24 and extracts point cloud data within the separation distance 26 .
  • the separation distance 26 from the camera trajectory 25 may be calculated by the following formula (1).
  • the second analysis unit 14 uses the baseline length, the number of pixels, the angle of view, and the pixel error (angle of view/number of pixels) of the stereo camera 15 to determine whether the error (measurement error) of the positional information of the point cloud data is equal to or less than a threshold. Calculate the separation distance.
  • FIG. 3B illustrates the relationship between the base line length of the camera, the number of pixels, the angle of view, the pixel error, and the like.
  • the camera trajectory 25 is perpendicular to the plane of the paper in FIG. 3B. In FIG.
  • la is the base length that is the distance between the left and right lenses 27 in the stereo camera 15
  • lb is the camera distance from the lens to the object
  • lc is the separation distance
  • ld is the separation distance considering the measurement error.
  • the camera angle is ⁇
  • the pixel error is Ea
  • the measurement error is Eb. Since the lens 27 of the stereo camera has a pixel error Ea, which is an angular deviation with respect to the object, a measurement error Eb also occurs in the separation distance lc, and the position of the object may appear to be shifted.
  • the measurement accuracy of stereo images is determined by how long one pixel in the image actually corresponds to. In other words, the measurement accuracy varies depending on the lens/camera resolution, shooting distance, and baseline length (inter-camera distance).
  • the stereo-corresponding point pixels on the camera imaging plate have a size, the point to be measured can only be specified within a certain range in the actual space, and that range becomes a measurement error.
  • FIG. 3B is a diagram schematically showing a state in which the above measurement errors occur.
  • FIG. 4 is a flowchart showing an example of an analysis method executed by the analysis device 1 according to one embodiment.
  • the tunnel location (deterioration prediction target) for which deterioration prediction is to be performed is selected.
  • step S101 the internal image input unit 11 inputs an image of the inside of the tunnel captured by moving the stereo camera 15.
  • step S102 the 3D point cloud data generation unit 12 generates point cloud data of the tunnel internal structure from each internal image on the imaging route.
  • step S103 the first analysis unit 13 removes point cloud data other than deterioration prediction targets from the point cloud data.
  • step S104 the second analysis unit 14 extracts point cloud data in a space within a certain distance from the camera trajectory of the stereo camera 15 from the removed point cloud data.
  • the analysis device 1 since point cloud data in a space within a certain distance from the camera trajectory of the stereo camera 15 is extracted, it is possible to extract point cloud data with high positional accuracy suitable for quantifying deterioration events. .
  • the internal image input unit 11, the 3D point cloud data generation unit 12, the first analysis unit 13, and the second analysis unit 14 in the analysis device 1 described above form part of a control device (controller).
  • the control device may be composed of dedicated hardware such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array), or may be composed of a processor, or may be composed of both.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • FIG. 5 is a block diagram showing a schematic configuration of a computer that functions as the analysis device 1.
  • the computer 100 may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like.
  • Program instructions may be program code, code segments, etc. for performing the required tasks.
  • the computer 100 includes a processor 110, a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, and a storage 140 as storage units, an input unit 150, an output unit 160, and communication An interface (I/F) 170 is provided.
  • a processor 110 a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, and a storage 140 as storage units, an input unit 150, an output unit 160, and communication An interface (I/F) 170 is provided.
  • Each component is communicatively connected to each other via a bus 180 .
  • the internal image input unit 11 in the analysis device 1 described above may be constructed as the input unit 150 .
  • the ROM 120 stores various programs and various data.
  • RAM 130 temporarily stores programs or data as a work area.
  • the storage 140 is composed of a HDD (Hard Disk Drive) or SSD (Solid State Drive) and stores various programs including an operating system and various data.
  • the ROM 120 or the storage 140 stores programs according to the present disclosure.
  • the processor 110 is specifically a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured by a plurality of processors of The processor 110 reads a program from the ROM 120 or the storage 140 and executes the program using the RAM 130 as a work area, thereby performing control of each configuration and various arithmetic processing. Note that at least part of these processing contents may be realized by hardware.
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • GPU Graphics Processing Unit
  • DSP Digital Signal Processor
  • SoC System on a Chip
  • the program may be recorded on a recording medium readable by the computer 100.
  • a program can be installed in the computer 100 by using such a recording medium.
  • the recording medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like.
  • this program may be downloaded from an external device via a network.
  • An analysis device that generates point cloud data from an image inside a structure, Input images of the interior of the structure captured by moving the stereo camera, generate point cloud data of the internal structure of the structure from each internal image on the shooting route, and use the point cloud data to determine the components other than the target for deterioration prediction.
  • An analysis apparatus comprising a control unit that removes point cloud data and extracts point cloud data in a space within a predetermined distance from the camera trajectory of the stereo camera from the removed point cloud data.
  • the control unit 2 The analysis device according to additional item 1, wherein a line segment that forms the camera trajectory is estimated, and point cloud data in a space within a predetermined separation distance from the camera trajectory is extracted.
  • the analyzing apparatus according to additional item 1, wherein the space within the separation distance is estimated in a cylindrical shape having the camera trajectory as a central axis.
  • the control unit 3 The analysis device according to item 2, wherein the separation distance at which the error in the positional information of the point cloud data is equal to or less than a threshold value is calculated using the base line length, the number of pixels, the angle of view, and the pixel error of the camera.
  • (Appendix 5) An analysis method for generating point cloud data from an image inside a structure, By analysis equipment, a step of inputting an image of the inside of a structure photographed by moving a stereo camera; a step of generating point cloud data of the internal structure of the structure from each internal image on the photographing route; An analysis method comprising the steps of: removing point cloud data other than those to be predicted; and extracting point cloud data in a space within a certain distance from the camera trajectory of the stereo camera from the removed point cloud data.
  • Appendix 6 A non-temporary storage medium storing a computer-executable program, the non-temporary storage medium storing a program that causes the computer to function as the analysis device according to any one of additional items 1 to 4.
  • analysis device 11 internal image input unit 12 3D point cloud data generation unit 13 first analysis unit 14 second analysis unit 100 computer 110 processor 120 ROM 130 RAM 140 storage 150 input unit 160 output unit 170 communication interface (I/F) 180 bus
  • I/F communication interface

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本発明に係る解析装置（１）は、ステレオカメラを移動させて撮影した構造物内部の画像を入力する内部画像入力部（１１）と、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成する3D点群データ生成部（１２）と、前記点群データから、劣化予測対象以外の点群データを除去する第１解析部（１３）と、前記第１解析部により除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出する第２解析部（１４）と、を備える。

Description

解析装置、解析方法、及びプログラム
　本開示は、点群データの精度を向上させる解析装置、解析方法、及びプログラムに関する。
　従来、とう道（通信ケーブルなどの専用管路トンネルのうち、特に敷設・撤去・保守作業用に人が立ち入れる管径のものをいう）内部の劣化の予測には、３次元座標値を有する点群データが活用される。点群データとは、Ｘ、Ｙ、Ｚの基本的位置情報、色などの情報を有するコンピュータで扱う点の集合のデータをいう。従来、点群データの位置座標の取得では、下記の３種の手法などが行われている。
　第1の手法は、レーザースキャナが、取得したデータを、色付き点群データとして出力し、該点群データをＳＬＡＭ（Simultaneous Localization and Mapping）により自動的に位置補正する手法である。点群データは，レーザースキャナから照射されたレーザー光が物体にあたり反射された情報を読み取ることにより取得される。例えば、非特許文献１には、土木構造物の計測点群データから維持管理に用いる３次元ポリゴンモデルの自動生成手法が記載されている。
　第２の手法は、ステレオカメラを用いて撮影した画像からＳＦＭ（Structure from Motion）技術を利用して位置座標を生成する手法である。高密度な点群データを生成するために、ＳＦＭ技術の一概念である「ＭＶＳ（Multi-View Stereo）多眼ステレオ」技術を使用してもよい。
　第３の手法は、とう道の平面図及び内部構造図を組み合わせることにより、とう道内部の絶対位置座標を取得する手法である。
日高 菜緒、「土木構造物の計測点群データから維持管理に用いる３次元ポリゴンモデルの自動生成手法に関する研究」、［online］、［2021年5月13日検索］、インターネット＜ＵＲＬ: https://ir.library.osaka-u.ac.jp/repo/ouka/all/69597/29788_Dissertation.pdf＞、pp.1～12
　しかしながら、とう道の平面図、縦断図、内部構造図の相互の位置情報には不一致な箇所があり、また、とう道の平面図、縦断図、内部構造図には現地構造と一致しない箇所があるため、内部構造について図面位置情報を用いて構造評価することが困難である。
　また、とう道内部の画像から生成した点群データは、カメラからの撮影距離、カメラ画素数などにより、位置情報の精度が低下する。
　更に、とう道内部の画像は、カメラの死角になり撮影できない箇所（ケーブル・金物などの裏側にあるコンクリート壁面部）があり、とう道コンクリート壁面の点群データがとれない箇所が発生する。
　かかる事情に鑑みてなされた本開示の目的は、構造物の内部画像及び点群データの解析において、劣化予測のための点群データの精度を向上させることにある。
　上記課題を解決するため、一実施形態に係る解析装置は、構造物内部の画像から点群データを生成する解析装置であって、ステレオカメラを移動させて撮影した構造物内部の画像を入力する内部画像入力部と、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成する3D点群データ生成部と、前記点群データから、劣化予測対象以外の点群データを除去する第１解析部と、前記第１解析部により除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出する第２解析部と、を備える。
　上記課題を解決するため、一実施形態に係る解析方法は、構造物内部の画像から点群データを生成する解析装置であって、解析装置により、ステレオカメラを移動させて撮影した構造物内部の画像を入力するステップと、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成するステップと、前記点群データから、劣化予測対象以外の点群データを除去するステップと、前記除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出するステップと、を含む。
　上記課題を解決するため、一実施形態に係るプログラムは、コンピュータを、上記解析装置として機能させる。
　本開示によれば、劣化事象の定量化に適した位置精度の高い点群データを抽出することができる。
一実施形態に係る解析装置の構成例を示すブロック図である。 劣化予測対象以外の除去する点群データ領域を特定する概略図である。 劣化予測対象以外の除去する点群データ面を特定するための基準を示す概略図である。 カメラ軌道からの離隔距離を算出する方法を説明するための概略図である。 計測誤差が生じる状態を模式的に表した図である。 一実施形態に係る解析装置が実行する解析方法の一例を示すフローチャートである。 解析装置として機能するコンピュータの概略構成を示すブロック図である。
　以下、一実施形態に係る解析装置を、詳細に説明する。本発明は、以下の実施形態に限定されるものではなく、その要旨の範囲内で種々変形して実施することができる。
　図１に示すように、一実施形態に係る解析装置１は、内部画像入力部１１と、3D点群データ生成部１２と、第１解析部１３と、第２解析部１４と、を備える。解析装置１は、構造物内部の画像から点群データを生成する解析装置である。
　解析装置１を動作させる前に、事前準備として、構造物の内部構造における、劣化予測を行う箇所（劣化予測対象）の選定が行われる。
　内部画像入力部１１は、ステレオカメラ１５を移動させて撮影した構造物内部の画像を入力し、該構造物の内部画像を3D点群データ生成部１２へ出力する。
　3D点群データ生成部１２は、撮影ルート上の各内部画像により、構造物の内部構造の点群データ（3D点群データ）を生成する。該3D点群データはＳＦＭ技術を用いて生成される。ＳＦＭ技術とは、ある対象を撮影した複数枚の写真から、対象の形状を復元する技術の総称を指し、ＳＦＭソフトウェアを使えば、複数の写真を入力することで、3Dモデルを容易に作成し得る。3D点群データ生成部１２は、生成した3D点群データを第１解析部１３へ出力する。点群データは、位置情報を有する。
　第１解析部１３は、3D点群データ生成部１２が生成した構造物の内部構造の点群データを入力し、該点群データから、劣化予測対象以外の点群データを除去する。また、第１解析部１３は、3D点群データより劣化予測対象以外の点群データを除去した点群データを第２解析部へ出力する。以下に、図２Ａ及び図２Ｂを参照し、劣化予測対象以外の点群データを除去する方法を詳細に説明する。以下、劣化予測対象は、トンネル内部の構造として説明されるが、劣化予測対象はトンネル内部の構造に限られるものではない。
　第１解析部１３は、劣化予測対象以外の点群データを除去するにあたり、劣化予測対象以外のトンネル内部に設置された付属物を特定し、該付属物の点群データを除去する。劣化予測対象がトンネル内部構造である場合、付属物とは、トンネル内部に設置された金物、ケーブルなどである。
　例えば、第１解析部１３は、構造物の内部構造の2D内部断面と点群データ面間の法線の長さが一定の長さ以上である点群データ面を特定し、該特定した点群データ面を構造物の進行方向に伸長した領域を除去する。この処理を図２Ａ及び図２Ｂを参照して説明する。図中では、構造物の内部構造をトンネルの内部構造として以下に説明するが、劣化予測対象はこれに限られるものではない。
　図２Ａは、劣化予測対象以外の除去する点群データ領域を特定する概略図である。図２Ａ中、実線はトンネルの2D内部断面２１及び内部断面２１をトンネル進行方向に伸長した領域２１′を、点線はトンネル内部の画像から生成された2Dの点群データ面２２及び点群データ面２２をトンネル進行方向に伸長した領域２２′を、一点鎖線は2Dの除去する点群データ面２３及び除去する点群データ面２３をトンネル進行方向に伸長した除去する点群データ領域２３′を、黒丸及び三角形は付属物（黒丸はケーブル、三角形は金物）を示す。
　図２Ｂは、劣化予測対象以外の除去する点群データ面を特定するための基準を示す概略図である。具体的には、第１解析部１３は、図２Ｂに示すように、トンネル内部の画像から生成された点群データ面２２から直角に、トンネル内部の画像上の2D内部断面２１へ伸ばした法線Ｌの長さが一定の長さ以上であるか否かを判断する。法線Ｌの長さが一定の長さ以上である場合、第１解析部１３は、2D内部断面２１及び点群データ面２２が大きく乖離していると判断すると共に、図２Ａに示すように、2D内部断面２１において、除去する点群データ面２３を特定し、点群データ面２３をトンネル進行方向に伸長した領域２３′を特定する。
　また、第１解析部１３は、3D点群データの断面線形から、トンネル内部に設置された付属物（図２Ｂに示すケーブル・金物２０など）で隠れている劣化予測対象の断面線形を推定して、該推定した断面線形を構造物の進行方向に伸長した領域の点群データを、構造評価対象物以外の点群データである、として除去してもよい。
　第２解析部１４は、第１解析部１３により除去された点群データから、ステレオカメラ１５のカメラ軌道２５から一定距離以内の空間にある点群データを抽出する。位置精度が高い点群データの抽出方法は以下に記述される。
　第２解析部１４は、カメラ軌道２５となる線分を推定し、カメラ軌道２５からの所定の離隔距離以内の空間にある点群データを抽出する。
　まず、カメラ軌道２５となる線分の推定は、３６０度画像から互いに異なる時刻に撮影された複数のパノラマ画像を作成し、次に、各パノラマ画像に写っている同一静止物の見え方の違いを画像解析し、カメラの位置を求めることにより行う。
　次に第２解析部１４は、該離隔距離以内の空間を、カメラ軌道２５を中心軸とする円筒形で推定する。すなわち、図３Ａに示すように、第２解析部１４は、カメラ軌道２５からの特定の離隔距離２６を円筒形２４で推定し、離隔距離２６以内の点群データを抽出する。
　あるいは、カメラ軌道２５からの離隔距離２６を、下記の式（１）によって算出してもよい。第２解析部１４は、ステレオカメラ１５の基線長、画素数、画角、ピクセル誤差（画角／画素数をいう）を用いて、点群データの位置情報の誤差（計測誤差）が閾値以下となる離隔距離を算出する。図３Ｂに、カメラの基線長、画素数、画角、ピクセル誤差などの関係を図示する。カメラ軌道２５は、図３Ｂにおいては紙面に垂直な方向である。図３Ｂ中、ステレオカメラ１５における左右のレンズ２７間の距離である基線長をlaと、レンズから対象物までのカメラ距離をlbと、離隔距離をlcと、計測誤差を考慮した離隔距離をldと、カメラ角度をθと、ピクセル誤差をEaと、計測誤差をEbと、記号で表記する。ステレオカメラのレンズ２７は、対象物への角度のずれであるピクセル誤差Eaを有するため、離隔距離lcにも計測誤差Ebが生じ、該対象物の位置がずれて見えることがある。点群データの位置情報の誤差（計測誤差）は、担保したい精度を決めると、他の変数は撮影したカメラにより決まるため、カメラ軌道からの離隔距離が算出できる。そして、式（１）から算出した離隔距離以内の空間にある点群データを抽出する。
Figure JPOXMLDOC01-appb-M000001
　ステレオ画像での計測精度は、画像中の1画素が実際にどのくらいの長さに対応するかで決まる。つまり、計測精度は、レンズ・カメラの解像度・撮影距離・基線長（カメラ間距離）によって変わる。また、カメラ撮像板中のステレオ対応点画素は大きさを持っているため、実際の空間中では計測対象点はある範囲内ということでしか特定できず、その範囲が計測誤差となる。図３Ｂは、以上のような計測誤差が生じる状態を模式的に表した図である。
　図４は、一実施形態に係る解析装置１が実行する解析方法の一例を示すフローチャートである。
　解析装置１が解析方法を実行する前に、事前準備として、劣化予測を行うトンネル箇所（劣化予測対象）の選定を行う。
　ステップＳ１０１では、内部画像入力部１１が、ステレオカメラ１５を移動させて撮影したトンネル内部の画像を入力する。
　ステップＳ１０２では、3D点群データ生成部１２が、撮影ルート上の各内部画像により、トンネル内部構造の点群データを生成する。
　ステップＳ１０３では、第１解析部１３が、点群データから、劣化予測対象以外の点群データを除去する。
　ステップＳ１０４では、第２解析部１４が、除去された点群データから、ステレオカメラ１５のカメラ軌道から一定距離以内の空間にある点群データを抽出する。
　解析装置１によれば、ステレオカメラ１５のカメラ軌道から一定距離以内の空間にある点群データを抽出するため、劣化事象の定量化に適した位置精度の高い点群データを抽出することができる。
　上記の解析装置１における内部画像入力部１１、3D点群データ生成部１２、第１解析部１３、及び第２解析部１４は、制御装置（コントローラ）の一部を構成する。該制御装置は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。
　また、上記の解析装置１を機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。図５は、解析装置１として機能するコンピュータの概略構成を示すブロック図である。ここで、コンピュータ１００は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　図５に示すように、コンピュータ１００は、プロセッサ１１０と、記憶部としてＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、及びストレージ１４０と、入力部１５０と、出力部１６０と、通信インターフェース（I/F）１７０と、を備える。各構成は、バス１８０を介して相互に通信可能に接続されている。上記の解析装置１における内部画像入力部１１は入力部１５０として構築されてもよい。
　ＲＯＭ１２０は、各種プログラム及び各種データを保存する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive)又はＳＳＤ(Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを保存する。本開示では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが保存されている。
　プロセッサ１１０は、具体的にはＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。
　プログラムは、コンピュータ１００が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータ１００にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　構造物内部の画像から点群データを生成する解析装置であって、
　ステレオカメラを移動させて撮影した構造物内部の画像を入力し、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成し、前記点群データから、劣化予測対象以外の点群データを除去し、前記除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出する制御部
を備える解析装置。
　（付記項２）
　前記制御部は、
　前記カメラ軌道となる線分を推定し、前記カメラ軌道からの所定の離隔距離以内の空間にある点群データを抽出する、付記項１に記載の解析装置。
　（付記項３）
　前記制御部は、
　前記離隔距離以内の空間を、前記カメラ軌道を中心軸とする円筒形で推定する、付記項１に記載の解析装置。
　（付記項４）
　前記制御部は、
　カメラの基線長、画素数、画角、及びピクセル誤差を用いて、前記点群データの位置情報の誤差が閾値以下となる前記離隔距離を算出する、付記項２に記載の解析装置。
　（付記項５）
　構造物内部の画像から点群データを生成する解析方法であって、
　解析装置により、
　ステレオカメラを移動させて撮影した構造物内部の画像を入力するステップと、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成するステップと、前記点群データから、劣化予測対象以外の点群データを除去するステップと、前記除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出するステップと、を含む解析方法。
　（付記項６）
　コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から４のいずれか一項に記載の解析装置として機能させるプログラムを記憶した非一時的記憶媒体。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。たとえば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１　                 解析装置
１１　                 内部画像入力部
１２　                 3D点群データ生成部
１３　                 第1解析部
１４             第２解析部
１００                 コンピュータ
１１０                 プロセッサ
１２０                 ＲＯＭ
１３０                 ＲＡＭ
１４０                 ストレージ
１５０                 入力部
１６０           出力部
１７０                 通信インターフェース（Ｉ／Ｆ）
１８０                 バス

Claims (6)

  1. 　構造物内部の画像から点群データを生成する解析装置であって
    　ステレオカメラを移動させて撮影した構造物内部の画像を入力する内部画像入力部と、
    　撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成する3D点群データ生成部と、
    　前記点群データから、劣化予測対象以外の点群データを除去する第１解析部と、
    　前記第１解析部により除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出する第２解析部と、
    を備える解析装置。
  2. 　前記第２解析部は、前記カメラ軌道となる線分を推定し、前記カメラ軌道からの所定の離隔距離以内の空間にある点群データを抽出する、請求項１に記載の解析装置。
  3. 　前記第２解析部は、前記離隔距離以内の空間を、前記カメラ軌道を中心軸とする円筒形で推定する、請求項１に記載の解析装置。
  4. 　前記第２解析部は、カメラの基線長、画素数、画角、及びピクセル誤差を用いて、前記点群データの位置情報の誤差が閾値以下となる前記離隔距離を算出する、請求項２に記載の解析装置。
  5. 　構造物内部の画像から点群データを生成する解析方法であって、
    　解析装置により、
    　ステレオカメラを移動させて撮影した構造物内部の画像を入力するステップと、
    　撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成するステップと、
    　前記点群データから、劣化予測対象以外の点群データを除去するステップと、
    　前記除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出するステップと、
    を含む解析方法。
  6. 　コンピュータを、請求項１から４のいずれか一項に記載の解析装置として機能させるためのプログラム。
     
PCT/JP2021/021084 2021-06-02 2021-06-02 解析装置、解析方法、及びプログラム WO2022254635A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023525262A JPWO2022254635A1 (ja) 2021-06-02 2021-06-02
PCT/JP2021/021084 WO2022254635A1 (ja) 2021-06-02 2021-06-02 解析装置、解析方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021084 WO2022254635A1 (ja) 2021-06-02 2021-06-02 解析装置、解析方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022254635A1 true WO2022254635A1 (ja) 2022-12-08

Family

ID=84322888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021084 WO2022254635A1 (ja) 2021-06-02 2021-06-02 解析装置、解析方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022254635A1 (ja)
WO (1) WO2022254635A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203090A (ja) * 2010-03-25 2011-10-13 Mitsubishi Electric Corp トンネル変状計測装置及びトンネル変状計測方法
JP2012242317A (ja) * 2011-05-23 2012-12-10 Mitsubishi Electric Corp キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
CN110766798A (zh) * 2019-11-30 2020-02-07 中铁一局集团有限公司 一种基于激光扫描数据的隧道监控量测成果可视化方法
JP2020054788A (ja) * 2018-10-02 2020-04-09 株式会社リコー 生体情報計測システムおよび生体情報計測用プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203090A (ja) * 2010-03-25 2011-10-13 Mitsubishi Electric Corp トンネル変状計測装置及びトンネル変状計測方法
JP2012242317A (ja) * 2011-05-23 2012-12-10 Mitsubishi Electric Corp キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
JP2020054788A (ja) * 2018-10-02 2020-04-09 株式会社リコー 生体情報計測システムおよび生体情報計測用プログラム
CN110766798A (zh) * 2019-11-30 2020-02-07 中铁一局集团有限公司 一种基于激光扫描数据的隧道监控量测成果可视化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KANAI, HITOSHL: "Development of Inspection System for Tunnel Point Cloud", UNISYS TECHNOLOGY REVIEW, vol. 143, 29 February 2020 (2020-02-29), JP , pages 23 - 34, XP009541698, ISSN: 0914-9996 *

Also Published As

Publication number Publication date
JPWO2022254635A1 (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
Braun et al. A concept for automated construction progress monitoring using bim-based geometric constraints and photogrammetric point clouds.
JP2015201192A (ja) 物体の位置及び向きの検出
JP6476831B2 (ja) 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP5388921B2 (ja) ３次元距離計測装置及びその方法
KR102234461B1 (ko) ２ｄ 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템
EP3926360A1 (en) Neural network based methods and systems for object detection using concatenated lidar, radar and camera data sets
JP2017134617A (ja) 位置推定装置、プログラム、位置推定方法
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
WO2018155590A1 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
KR102407425B1 (ko) 라이다 스캐너에서 획득한 점군 정합 방법
JP2006214893A (ja) 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
Sommer et al. Scan methods and tools for reconstruction of built environments as basis for digital twins
JP5396585B2 (ja) 地物特定方法
KR20110089299A (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
JP2023029441A (ja) 計測装置、計測システムおよび車両
WO2022254635A1 (ja) 解析装置、解析方法、及びプログラム
JP5656018B2 (ja) 球体の検出方法
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
EP3961556A1 (en) Object recognition device and object recognition method
KR102254961B1 (ko) 무인항공기를 이용하여 3차원 모델링 효율 향상을 위한 측면촬영 기법을 포함하는 무인항공기 사전비행 시뮬레이터 시스템
Peel et al. An improved robot for bridge inspection
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
US10480934B2 (en) Effective search for a silhouette cone to reconstruct a three dimensional shape of an object
JP6570321B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022254636A1 (ja) 解析装置、解析方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944137

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525262

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18565955

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944137

Country of ref document: EP

Kind code of ref document: A1