WO2021044629A1 - 画像処理システムおよび画像処理方法 - Google Patents
画像処理システムおよび画像処理方法 Download PDFInfo
- Publication number
- WO2021044629A1 WO2021044629A1 PCT/JP2019/035262 JP2019035262W WO2021044629A1 WO 2021044629 A1 WO2021044629 A1 WO 2021044629A1 JP 2019035262 W JP2019035262 W JP 2019035262W WO 2021044629 A1 WO2021044629 A1 WO 2021044629A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- equipment
- unit
- images
- processing system
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 116
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000605 extraction Methods 0.000 claims abstract description 84
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000005856 abnormality Effects 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 58
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 238000013461 design Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D11/00—Lining tunnels, galleries or other underground cavities, e.g. large underground chambers; Linings therefor; Making such linings in situ, e.g. by assembling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- Patent Document 1 discloses a technique for identifying an image of equipment from an image captured by the imaging camera by comparing an image obtained by imaging the surroundings with an image of teaching equipment. Has been done.
- FIG. 2 is a diagram showing an example of a method for acquiring a structure image by the traveling type measuring device according to the first embodiment.
- the traveling type measuring device 2 is equipped with an imaging unit 51.
- the traveling type measuring device 2 repeatedly images the surroundings of the traveling type measuring device 2 by the imaging unit 51 while traveling in the tunnel 3, and generates a structure image which is an image of the inner wall 3a of the tunnel 3 to which the equipment 4 is attached. To do.
- the traveling type measuring device 2 has a laser scanner device, and measures the three-dimensional shape of the inner wall 3a of the tunnel 3 by the laser scanner device. Further, the traveling type measuring device 2 detects the three-dimensional position of each pixel constituting the structure image 5 from the data obtained by the laser scanner device. The traveling type measuring device 2 can generate a developed image of the tunnel 3 based on the three-dimensional position of each pixel constituting the structure image 5. The traveling type measuring device 2 generates the structure image 5 so that the intervals of the pixels constituting the structure image 5 are set to preset intervals. That is, the traveling type measuring device 2 generates the structure image 5 so as to have a scale set in advance with respect to the actual size of the tunnel 3.
- FIG. 4 is a diagram showing a configuration example of the image processing system according to the first embodiment.
- the image processing system 1 according to the first embodiment includes an acquisition unit 10, an image information storage unit 11, an image division unit 12, an image extraction unit 13, and a first learning model generation unit 14.
- the equipment image specifying unit 15 and the input unit 16 are provided.
- the image processing system 1 includes a specific area extraction unit 17, an equipment information storage unit 18, an abnormality determination unit 19, a second learning model generation unit 20, an equipment abnormality information storage unit 21, and a display processing unit 22. , And a display unit 23.
- the traveling type measuring device 2 has a position detecting unit (not shown) for detecting the traveling position of the traveling type measuring device 2, and the traveling type measuring device when each area image 6 is imaged by the position detecting unit.
- the traveling position of 2 is detected as the imaging position of the region image 6.
- the traveling type measuring device 2 can also generate structure image information by associating the detected imaging position information of the region image 6 with the information of the region image 6 for each region image 6.
- the traveling type measuring device 2 generates trajectory information indicating the traveling trajectory of the traveling type measuring device 2 based on the traveling position of the traveling type measuring device 2 repeatedly detected by the position detection unit, and the generated trajectory information. Is included in the structure image information.
- the image dividing unit 12 divides the structure image 5 into a plurality of divided images 7 so that the size of the divided image 7, which is an image obtained by dividing the structure image 5, becomes a predetermined size.
- the specified size is smaller than the size of the entire equipment image. Since the specified size is smaller than the size of the entire equipment image, the entire equipment image is spread over the plurality of divided images 7. Since the structure image 5 is generated so as to have a preset scale with respect to the actual size of the tunnel 3 as described above, the size of the entire equipment image is generated by the traveling type measuring device 2. Obtained from the scale of the entire facility image for tunnel 3.
- the image extraction unit 13 may have a configuration in which the equipment partial image 8 is extracted by pattern matching processing or the like using an image showing a part of the equipment 4 as a reference image instead of the first learning model.
- the image extraction unit 13 has an image showing a part of the equipment 4 as a reference image, and divides the image when the degree of coincidence between the image included in the divided image 7 and the reference image is equal to or more than a preset value.
- the image 7 can also be extracted as the equipment partial image 8.
- the equipment image specifying unit 15 When the equipment part image 8 is located at one end of the first area image, the equipment image specifying unit 15 has a second equipment part image 8 that faces the equipment part image 8 at one end of the first area image in the tunnel axial direction. It is determined whether or not it is at one end of the area image of. When the equipment image specifying unit 15 determines that the equipment partial image 8 is located at one end of the second area image, the equipment partial image 8 at one end of the second area image is set to the equipment at one end of the first area image. It is connected to the partial image 8. When the structure image information includes the above-mentioned identification number information, the equipment image identification unit 15 determines the positional relationship of the plurality of area images 6 based on the identification number information.
- the structure image information includes the above-mentioned imaging position information and trajectory information
- a plurality of equipment image specifying units 15 are used based on the imaging position of the traveling type measuring device 2 in the traveling trajectory of the traveling type measuring device 2. The positional relationship of the area image 6 of the above is determined.
- the equipment image specifying unit 15 turns on the size enlargement setting flag when the operation to the input unit 16 is an operation for performing the size enlargement setting.
- the equipment image specifying unit 15 determines that there is a size enlargement setting when the size enlargement setting flag is on.
- the image processing system 1 since the image processing system 1 specifies the equipment image using the divided image 7 having a size smaller than the image of the equipment 4, the size of the image handled when specifying the equipment image is small. Therefore, the image processing system 1 can reduce the amount of memory used for the processing for specifying the equipment image as compared with the case where the structure image 5 is not divided.
- FIG. 11 is a diagram for explaining an example of specific area image processing by the specific area extraction unit according to the first embodiment.
- the specific area extraction unit 17 is a specific area image 31 1 , 31 2 , 31 3 , 31 which is an image of four specific areas 30 1 , 30 2 , 30 3 , 304 in the connected image 9. 4 is extracted.
- the specific area 30 when each of the specific areas 30 1 , 30 2 , 30 3 , and 30 4 is shown without distinction, it may be described as the specific area 30.
- indicating each particular area image 31 1, 31 2, 31 3, 31 4 to not separately distinguished may be referred to as the specific area image 31.
- the second learning model is generated by the second learning model generation unit 20 shown in FIG.
- the second learning model generation unit 20 generates the second learning model by machine learning using the learning data.
- the learning data is, for example, an image of a determination target component having no abnormality and an image of a determination target component having an abnormality.
- the second learning model generation unit 20 generates the second learning model by a learning process in which the image of the determination target component having no abnormality is used as the correct answer image and the image of the determination target component having abnormality is used as the incorrect answer image.
- the abnormality determination unit 19 inputs the specific area image 31 extracted by the specific area extraction unit 17 into the second learning model, and determines the abnormality of the determination target component based on the information output from the second learning model. Specifically, the abnormality determination unit 19 determines that the determination target component is abnormal when the information indicating that the determination target component is abnormal is output from the second learning model. Further, the abnormality determination unit 19 determines that the determination target component is not abnormal when the information indicating that the determination target component is not abnormal is output from the second learning model.
- FIG. 12 is a diagram for explaining an example of the abnormality determination process by the abnormality determination unit according to the first embodiment.
- the specific area extracting section 17 the specific area image 31 1 extracted by 31 2, 31 3, 31 4 are inputted to the second learning model.
- abnormality determination unit 19 specific area image 31 2, 31 3, 31 3 determination target component corresponding to 4 are normal, one determination target component corresponding to a specific area image 31 1 is abnormal Judging.
- the image processing system 1 is connected to the image 9, design specific region 30 set in advance in such figures 1, 30 2, 30 3, 30 the specific area image 31 1 included in the 4, 31 2, 31 3, 31 4 identifies, determines an abnormality of the equipment 4 using the specific area image 31 1, 31 2, 31 3, 31 4. Therefore, the image processing system 1 can shorten the time required for the process of determining the abnormality of the equipment 4 as compared with the case of determining the abnormality of the equipment 4 by using the connected image 9 as it is. Further, since the image processing system 1 performs the process of determining the abnormality of the equipment 4 using the second learning model, the accuracy of the abnormality determination for the equipment 4 can be improved.
- step S31 the equipment image specifying unit 15 determines that there is an adjacent equipment partial image 8 or connected image 9 (step S31: Yes)
- the equipment partial image 8 selected in step S30 is used as the adjacent equipment partial image 8 or connected image 9. (Step S32).
- step S32 When the processing of step S32 is completed, or when it is determined that there is no adjacent equipment partial image 8 or connected image 9 (step S31: No), the equipment image specifying unit 15 has step S30 of the plurality of equipment partial images 8. It is determined whether or not there is an unselected equipment partial image 8 in (step S33). When the equipment image specifying unit 15 determines that there is an unselected equipment partial image 8 (step S33: Yes), the processing proceeds to step S30. When the equipment image specifying unit 15 determines that there is no unselected equipment partial image 8 (step S33: No), the equipment image specifying unit 15 determines whether or not there is a connected image 9 generated in step S32 (step S34).
- the processor 101, the memory 102, the communication device 103, the input / output circuit 104, and the display device 105 can send and receive data to and from each other by, for example, the bus 106.
- the image information storage unit 11, the equipment information storage unit 18, and the equipment abnormality information storage unit 21 are realized by the memory 102.
- the input unit 16 is realized by the input / output circuit 104.
- the display unit 23 is realized by the display device 105.
- the processor 101 reads and executes the acquisition unit 10, the image division unit 12, the image extraction unit 13, the first learning model generation unit 14, the equipment image identification unit 15, and the specific area extraction.
- the functions of the unit 17, the abnormality determination unit 19, the second learning model generation unit 20, and the display processing unit 22 are executed.
- the processor 101 is, for example, an example of a processing circuit, and includes one or more of a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a system LSI (Large Scale Integration).
- the image processing system 1 may be composed of a client device, a server device, or a client device and a server device.
- each of the two or more devices has, for example, the hardware configuration shown in FIG. Communication between two or more devices is performed via the communication device 103.
- the image processing system 1 may be composed of two or more server devices.
- the image processing system 1 may be composed of a processing server and a data server.
- the processing server is, for example, the acquisition unit 10, the image division unit 12, the image extraction unit 13, the first learning model generation unit 14, the equipment image identification unit 15, the specific area extraction unit 17, the abnormality determination unit 19, and the second. It has a learning model generation unit 20 and a display processing unit 22.
- the data server also includes an image information storage unit 11, a first learning model generation unit 14, an equipment information storage unit 18, and an equipment abnormality information storage unit 21.
- the equipment image specifying unit 15 is at least one of the equipment partial images 8 having two or more positions before being divided by the image dividing unit 12 among the plurality of divided images 7 divided by the image dividing unit 12.
- a connected image 9 is generated by connecting a plurality of divided images 7 at adjacent positions and two or more equipment partial images 8.
- FIG. 20 is a diagram showing an example of a structure image measured by the traveling type measuring device according to the second embodiment.
- the tunnel axial direction is the X-axis direction
- the tunnel circumferential direction is the Y-axis direction.
- the tunnel axial direction is the extension direction of the tunnel 3.
- the equipment image specifying unit 15A performs a process of rotating the connected image 9 or a process of inverting the connected image 9 based on the position of the connected image 9 in the structure image and the type of the structure image. As a result, the equipment image specifying unit 15A can appropriately specify the equipment image, and the abnormality of the equipment 4 can be accurately determined from the equipment image specified by the equipment image specifying unit 15A.
- FIG. 23 is a flowchart showing an example of a part of the procedure in the equipment image identification processing procedure by the equipment image identification unit according to the second embodiment.
- the process shown in FIG. 23 is a process performed between step S34 and step S35 shown in FIG.
- 1,1A image processing system 2,2A traveling measuring device, 3 tunnel, 3a inner wall, 4,4 1 to 4 14 equipment, 5,5A, 5A'structure image, 6,6 1 to 6 5 , 6A, 6A 1 to 6A 5 , 6B, 6B 1 to 6B 5 area image, 7, 7 1 to 7 5 , 7 8 , 7 9 , 7 12 , 7 13 , 7 16 , 7 17 , 7 20 to 7 24 split image, 8, 8 1 to 8 14 Equipment partial image, 9 Connected image, 10 Acquisition unit, 11 Image information storage unit, 12 Image division unit, 13 Image extraction unit, 14 First learning model generation unit, 15, 15A Equipment image identification unit , 16 Input unit, 17 Specific area extraction unit, 18 Equipment information storage unit, 19 Abnormality determination unit, 20 Second learning model generation unit, 21 Equipment abnormality information storage unit, 22 Display processing unit, 23 Display unit, 30, 30 1 , 30 2 , 30 3 , 30 4 Specific area, 31, 31 1 , 31 2 , 31 3 , 31 4 Specific area image, 51, 51A,
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Geology (AREA)
- Architecture (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Structural Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
画像処理システム(1)は、画像分割部(12)と、画像抽出部(13)と、設備画像特定部(15)と、を備える。画像分割部(12)は、構造物に取り付けられた設備の画像を含む構造物の画像を、設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する。画像抽出部(13)は、画像分割部(12)によって分割された複数の画像の中から設備の一部を示す画像を複数抽出する。設備画像特定部(15)は、画像抽出部(13)で抽出された複数の画像のうち画像分割部(12)による分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した2つ以上の画像を含む連結画像を設備の画像として特定する。
Description
本発明は、設備が取り付けられた構造物の画像から設備の画像を特定する画像処理システムおよび画像処理方法に関する。
従来、トンネルまたは橋梁などといった構造物に取り付けられた照明機器または看板などの設備は、定期的に点検が行われている。設備の点検では、構造物に設備を取り付けるための締結具に錆または緩みがないか、または設備そのものに亀裂などの問題がないかなどを確認する作業が行われる。かかる作業を、構造物に取り付けられた全ての設備を対象に一つ一つ作業者が目視などにより確認することによって行うと、非常に手間と時間がかかる。
点検作業を目視で行うかわりに、撮像装置によって撮影された画像から設備の画像を特定し、特定した画像を確認する方法がある。画像を特定する技術として、特許文献1には、撮像カメラが周囲を撮像して得られる画像をティーチング設備画像と比較することで、撮像カメラが撮像した画像から設備の画像を特定する技術が開示されている。
しかしながら、特許文献1に記載の技術では、撮像カメラが撮像した画像とティーチング設備画像とを比較するため、取り扱う画像のサイズが大きく、撮像カメラが撮像した画像から設備の画像を特定する処理において使用するメモリ量が多い。
本発明は、上記に鑑みてなされたものであって、設備が取り付けられた構造物の画像から設備の画像を特定する処理に使用するメモリ量を低減させることができる画像処理システムを得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明の画像処理システムは、画像分割部と、画像抽出部と、設備画像特定部と、を備える。画像分割部は、構造物に取り付けられた設備の画像を含む構造物の画像を、設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する。画像抽出部は、画像分割部によって分割された複数の画像の中から設備の一部を示す画像を複数抽出する。設備画像特定部は、画像抽出部で抽出された複数の画像のうち画像分割部による分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した2つ以上の画像を含む連結画像を設備の画像として特定する。
本発明によれば、設備が取り付けられた構造物の画像から設備の画像を特定する処理に使用するメモリ量を低減させることができる、という効果を奏する。
以下に、本発明の実施の形態にかかる画像処理システムおよび画像処理方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
図1は、本発明の実施の形態1にかかる画像処理システムを説明するための図である。図1に示す画像処理システム1は、設備が取り付けられた構造物の画像から設備の画像である設備画像を特定する。以下においては、走行型計測装置2によって撮像される構造物がトンネル3であり、トンネル3に取り付けられる設備4が照明機器であるものとして説明する。なお、走行型計測装置2によって撮像される構造物は、トンネル3に限定されず、橋梁または建物などであってもよい。また、設備4は、照明機器に限定されず、送風機または看板などであってもよい。
図1は、本発明の実施の形態1にかかる画像処理システムを説明するための図である。図1に示す画像処理システム1は、設備が取り付けられた構造物の画像から設備の画像である設備画像を特定する。以下においては、走行型計測装置2によって撮像される構造物がトンネル3であり、トンネル3に取り付けられる設備4が照明機器であるものとして説明する。なお、走行型計測装置2によって撮像される構造物は、トンネル3に限定されず、橋梁または建物などであってもよい。また、設備4は、照明機器に限定されず、送風機または看板などであってもよい。
図2は、実施の形態1にかかる走行型計測装置による構造物画像の取得方法の一例を示す図である。図2に示すように、走行型計測装置2は、撮像部51を搭載している。走行型計測装置2は、トンネル3内を走行しながら撮像部51によって走行型計測装置2の周囲を繰り返し撮像し、設備4が取り付けられたトンネル3の内壁3aの画像である構造物画像を生成する。
撮像部51は、例えば、ラインカメラであり、走行型計測装置2の進行方向と直交または交差する方向に沿って複数の画素が配列される。走行型計測装置2は、ラインカメラから繰り返し出力される画素の情報に基づいて、構造物画像を生成する。なお、撮像部51は、マトリクス状に複数の画素が配列されたエリアカメラであってもよい。
図3は、実施の形態1にかかる走行型計測装置によって計測される構造物画像の一例を示す図である。図3に示す構造物画像5は、トンネル3の内壁3aの一部を2次元平面に展開したと仮定した場合におけるトンネル3の展開画像である。図3において、トンネル軸方向がX軸方向であり、トンネル周方向がY軸方向である。トンネル軸方向は、トンネル3の延伸方向である。また、トンネル周方向は、トンネル軸方向に直交する面でトンネル3を切断した場合の内壁3aを示す線に沿った方向である。
走行型計測装置2は、レーザスキャナ装置を有しており、レーザスキャナ装置によってトンネル3の内壁3aの3次元形状を計測する。また、走行型計測装置2は、レーザスキャナ装置によって得られるデータから構造物画像5を構成する各画素の3次元位置を検出する。走行型計測装置2は、構造物画像5を構成する各画素の3次元位置に基づいてトンネル3の展開画像を生成することができる。走行型計測装置2は、構造物画像5を構成する各画素の間隔が、予め設定された間隔になるように構造物画像5を生成する。すなわち、走行型計測装置2は、トンネル3の実際の大きさに対して予め設定された縮尺になるように構造物画像5を生成する。
図3に示す構造物画像5は、設備4が取り付けられたトンネル3の内壁3aの画像であってトンネル3の入口から出口に亘るまでの画像である。構造物画像5は、撮像部51から順次出力される複数の領域画像61~65を繋ぎ合わせて生成される。領域画像61~65は、トンネル軸方向の領域が各々異なる。図3に示す構造物画像5には、複数の設備41~47の画像が含まれる。以下、複数の設備41~47の各々を個別に区別せずに示す場合、設備4と記載し、複数の領域画像61~65の各々を個別に区別せずに示す場合、領域画像6と記載する。
図4は、実施の形態1にかかる画像処理システムの構成例を示す図である。図4に示すように、実施の形態1にかかる画像処理システム1は、取得部10と、画像情報記憶部11と、画像分割部12と、画像抽出部13と、第1学習モデル生成部14と、設備画像特定部15と、入力部16とを備える。また、画像処理システム1は、特定領域抽出部17と、設備情報記憶部18と、異常判定部19と、第2学習モデル生成部20と、設備異常情報記憶部21と、表示処理部22と、表示部23とを備える。
取得部10は、不図示の通信ネットワークを介して、走行型計測装置2から構造物画像5の情報である構造物画像情報を取得し、取得した構造物画像情報を画像情報記憶部11に記憶させる。画像情報記憶部11に記憶される構造物画像情報は、繋ぎ合わされていない状態の複数の領域画像61~65の情報から構成されてもよい。この場合、トンネル軸方向に沿って隣り合う2つの領域画像6同士を特定できるように、各領域画像6の情報には、識別番号の情報または撮像位置の情報が含まれる。
例えば、走行型計測装置2は、図3に示す領域画像61,62,63,64,65の順に連続する複数の識別番号の情報を一つずつ割り当てる。連続する複数の識別番号が例えばID1,ID2,ID3,ID4,ID5である場合、領域画像61には識別番号「ID1」が割り当てられ、領域画像62には識別番号「ID2」が割り当てられ、領域画像63には識別番号「ID3」が割り当てられる。また、領域画像64には識別番号「ID4」が割り当てられ、領域画像65には識別番号「ID5」が割り当てられる。
また、走行型計測装置2は、走行型計測装置2の走行位置を検出する不図示の位置検出部を有しており、位置検出部によって各領域画像6が撮像されたときの走行型計測装置2の走行位置を領域画像6の撮像位置として検出する。走行型計測装置2は、検出した領域画像6の撮像位置の情報と領域画像6の情報とを領域画像6毎に関連付けることで構造物画像情報を生成することもできる。この場合、走行型計測装置2は、位置検出部によって繰り返し検出される走行型計測装置2の走行位置に基づいて、走行型計測装置2の走行軌跡を示す軌跡情報を生成し、生成した軌跡情報を構造物画像情報に含める。
画像分割部12は、画像情報記憶部11から構造物画像情報を読み出し、読み出した構造物画像情報に基づいて、構造物画像5を設備4の全体を示す画像である設備全体画像よりも小さなサイズの複数の画像へ分割する画像分割処理を行う。図5は、実施の形態1にかかる画像分割部による画像分割処理の一例を説明するための図である。なお、図5では、構造物画像5のうち一部のみを示している。
図5に示すように、画像分割部12は、構造物画像5を分割した画像である分割画像7のサイズが規定サイズになるように構造物画像5を複数の分割画像7へ分割する。規定サイズは、設備全体画像のサイズよりも小さい。規定サイズが設備全体画像のサイズよりも小さいため、設備全体画像は、複数の分割画像7に跨って存在することになる。構造物画像5は、上述したようにトンネル3の実際の大きさに対して予め設定された縮尺になるように生成されるため、設備全体画像のサイズは、走行型計測装置2によって生成される設備全体画像のトンネル3に対する縮尺から得られる。
画像分割部12は、構造物画像5のサイズと設備全体画像のサイズとに基づいて、分割画像7のサイズを決定し、決定したサイズを規定サイズに設定する。画像分割部12は、構造物画像情報が複数の領域画像6の情報を含む場合、領域画像6を分割した画像である分割画像7のサイズが規定サイズになるように領域画像6を複数の分割画像7へ分割する。この場合、画像分割部12は、領域画像6のサイズと設備全体画像のサイズに基づいて、分割画像7のサイズを決定し、決定したサイズを規定サイズに設定する。なお、画像分割部12は、入力部16へ入力される情報を規定サイズの情報として用いることができる。
図4に示す画像抽出部13は、画像分割部12によって分割された複数の分割画像7の中から設備4の一部を示す画像を設備4の部分画像として複数抽出する。画像抽出部13は、機械学習によって生成された学習モデルを用いて、複数の分割画像7の中から設備4の一部を示す画像を抽出する。以下、画像抽出部13によって抽出される設備4の一部を示す画像を設備部分画像と記載する場合がある。
図6は、実施の形態1にかかる画像抽出部による画像抽出処理の一例を説明するための図である。図6に示すように、画像抽出部13は、第1学習モデルを有しており、画像分割部12によって分割された複数の分割画像7の中から第1学習モデルを用いて設備4の一部を示す画像として特定される設備部分画像8を複数抽出する。
第1学習モデルは、設備4の一部を示す画像を用いた機械学習によって生成される計算モデルである。第1学習モデルに入力される情報は、分割画像7であり、第1学習モデルから出力される情報は、設備4の一部を示す画像であるか否かを示す情報である。第1学習モデルは、例えば、畳み込みニューラルネットワークであるが、線形回帰またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよい。
第1学習モデルは、図4に示す第1学習モデル生成部14によって生成される。第1学習モデル生成部14は、学習データを用いた機械学習によって第1学習モデルを生成する。学習用データは、設備4の一部を示す画像および設備4の一部を示す画像以外の画像などである。図7は、実施の形態1にかかる第1学習モデル生成部による学習処理の一例を説明するための図である。図7に示すように、第1学習モデル生成部14は、設備4の一部を示す画像を正解画像とし、設備4の一部を示す画像以外の画像を不正解画像として用いる学習処理によって、第1学習モデルを生成する。
画像抽出部13は、分割画像7を第1学習モデルへ入力し、第1学習モデルから出力される情報に基づいて、設備部分画像8を抽出する。例えば、画像抽出部13は、第1学習モデルから設備4の一部を示す画像であることを示す情報が出力された場合に、第1学習モデルへ入力された分割画像7を設備部分画像8として抽出する。また、画像抽出部13は、第1学習モデルから設備4の一部を示す画像でないことを示す情報が出力された場合に、第1学習モデルへ入力された分割画像7を設備部分画像8として抽出しない。
なお、画像抽出部13は、第1学習モデルに代えて、設備4の一部を示す画像を基準画像として、パターンマッチング処理などによって、設備部分画像8を抽出する構成であってもよい。例えば、画像抽出部13は、設備4の一部を示す画像を基準画像として有し、分割画像7に含まれる画像と基準画像との一致度が予め設定された値以上である場合に、分割画像7を設備部分画像8として抽出することもできる。
設備画像特定部15は、画像抽出部13で抽出された複数の設備部分画像8のうち画像分割部12による分割前の位置が互いに隣接する位置にある2つ以上の設備部分画像8を連結し、連結した2つ以上の設備部分画像8を含む連結画像を設備4の全体を示す画像として特定する。以下、設備画像特定部15によって特定される設備4の全体を示す画像を設備画像と記載する場合がある。
図8は、実施の形態1にかかる設備画像特定部による設備画像特定処理の一例を説明するための図である。図9は、実施の形態1にかかる設備画像特定部による設備画像特定処理の他の例を示す図である。
図8に示す例では、画像抽出部13によって設備部分画像81~812が抽出されている。以下、設備部分画像81~8kの各々を個別に区別せずに示す場合、設備部分画像8と記載する。図8に示すように、設備部分画像81~812の各々は、画像分割部12による分割前の位置が設備部分画像81~812のうち少なくとも一つと互いに隣接する位置にあるため、設備画像特定部15は、設備部分画像81~812を連結する。
設備画像特定部15は、図8に示すように、設備部分画像81~812が各々画像分割部12による分割前の位置になるように設備部分画像81~812を連結することで、設備部分画像81~812を含む一つの連結画像9を生成する。
設備画像特定部15は、連結画像9のサイズが予め設定された範囲内であるか否かを判定し、連結画像9のサイズが予め設定された範囲内であると判定した場合に、連結画像9を設備画像として特定する。例えば、図8において、連結画像9のX軸方向の長さSxが以下の式(1)を満たし、連結画像9のY軸方向の長さSyが以下の式(2)を満たす場合に、連結画像9を設備画像として特定する。「αmin」および「αmax」は、X軸の範囲を特定するためのパラメータであり、「βmin」および「βmax」は、Y軸の範囲を特定するためのパラメータである。
αmin<Sx<αmax ・・・(1)
βmin<Sy<βmax ・・・(2)
αmin<Sx<αmax ・・・(1)
βmin<Sy<βmax ・・・(2)
設備画像特定部15は、構造物画像5が複数の領域画像6から構成される場合において、トンネル軸方向で複数の領域画像6を繋げたと仮定した場合に隣接する位置にある設備部分画像8同士を連結する。例えば、複数の領域画像6がトンネル軸方向に沿って連続する第1の領域画像と第2の領域画像とを含み、第1の領域画像の一端と第2の領域画像の一端とがトンネル軸方向で互いに対向する位置関係にあるとする。設備画像特定部15は、第1の領域画像の一端に設備部分画像8がある場合、第1の領域画像の一端にある設備部分画像8とトンネル軸方向で対向する設備部分画像8が第2の領域画像の一端にあるかどうかを判定する。設備画像特定部15は、第2の領域画像の一端に設備部分画像8があると判定した場合、第2の領域画像の一端にある設備部分画像8を第1の領域画像の一端にある設備部分画像8に連結する。なお、設備画像特定部15は、構造物画像情報に上述した識別番号の情報が含まれる場合、識別番号の情報に基づいて、複数の領域画像6の位置関係を判定する。また、設備画像特定部15は、構造物画像情報に上述した撮像位置の情報および軌跡情報が含まれる場合、走行型計測装置2の走行軌跡における走行型計測装置2の撮像位置に基づいて、複数の領域画像6の位置関係を判定する。
図9に示す例では、画像抽出部13によって設備部分画像813,814が抽出されている。図9に示すように、設備部分画像813,814は、画像分割部12による分割前の位置が互いに隣接する位置にあるため、設備画像特定部15は、設備部分画像813,814を連結する。図9に示す連結画像9は、X軸方向の長さSxが最小値αminよりも小さく、Y軸方向の長さSyが最小値βminよりも小さい。そのため、設備画像特定部15は、図9に示す連結画像9を設備画像として特定しない。
このように、設備画像特定部15は、サイズが予め設定された範囲内である連結画像9を設備画像として特定する。そのため、設備画像特定部15は、連結画像9のサイズにかかわらず連結画像9を設備画像として特定する場合に比べて、設備4の画像以外の画像を設備画像として誤って特定してしまう可能性を低減することができる。
また、設備画像特定部15は、画像分割部12によって分割された複数の分割画像7のうち、画像分割部12による分割前の位置が複数の設備部分画像8のうち少なくともいずれか1つと隣接する位置にある複数の分割画像7を抽出する。設備画像特定部15は、抽出した複数の分割画像7と複数の設備部分画像8とを画像分割部12による分割前の位置関係になるように連結して連結画像9を生成する。設備画像特定部15は、例えば、サイズ拡大設定がある場合に、画像分割部12による分割前の位置が設備部分画像8と隣接する分割画像7を用いて連結画像9を生成する。設備画像特定部15は、入力部16への操作がサイズ拡大設定を行うための操作である場合に、サイズ拡大設定フラグをオンにする。設備画像特定部15は、サイズ拡大設定フラグがオンである場合に、サイズ拡大設定があると判定する。
図10は、実施の形態1にかかる設備画像特定部による設備画像特定処理の他の例を示す図である。図10に示す例では、画像抽出部13によって設備部分画像82,83,85~88,810,811が抽出されている。設備画像特定部15は、画像分割部12による分割前の位置が複数の設備部分画像82,83,85~88,810,811のうち少なくともいずれか1つと隣接する位置にある複数の分割画像71~75,78,79,712,713,716,717,720~724を抽出する。
そして、設備画像特定部15は、複数の設備部分画像82,83,85~88,810,811と複数の分割画像71~75,78,79,712,713,716,717,720~724とを画像分割部12による分割前の位置関係になるように連結して連結画像9を生成する。
画像抽出部13が設備4の一部を示す画像ではない分割画像7を設備部分画像8として誤判定する可能性を低減するために、第1学習モデルの学習データとして用いられる画像には、設備4の一部の画像が占める割合が少ない画像が含まれない場合がある。この場合、画像抽出部13は、設備4の一部の画像が占める割合が少ない分割画像7を設備部分画像8として抽出することが難しい場合がある。設備画像特定部15は、上述のように、設備部分画像8に加えて、設備部分画像8に隣接する分割画像7を連結画像9の生成に用いる。そのため、画像抽出部13において設備4の一部の画像が占める割合が少ない分割画像7がある場合であっても、設備画像を精度よく特定することができる。
このように、画像処理システム1は、設備4の画像よりも小さなサイズの分割画像7を用いて設備画像を特定することから、設備画像を特定する際に取り扱う画像のサイズが小さい。そのため、画像処理システム1は、構造物画像5を分割しない場合に比べ、設備画像を特定するための処理に使用するメモリ量を低減させることができる。
図4に示す特定領域抽出部17は、設備画像として特定された連結画像9における特定領域の画像を抽出する。特定領域は、例えば、異常判定の対象となる部品である判定対象部品の画像を含む領域であり、設備4の設計図などから設定される。判定対象部品は、例えば、設備4をトンネル3の内壁3aへ取り付けるためのボルトまたはネジなどの締結具、または設備4を構成する部品などである。
設備情報記憶部18には、設備4の設計図の情報である設計図情報が記憶されており、設計図情報には判定対象部品の領域を示す情報が含まれる。特定領域抽出部17は、設備情報記憶部18に記憶された設計図情報に基づいて、判定対象部品の領域を判定する。特定領域抽出部17は、判定した判定対象部品の領域に基づいて、判定対象部品の領域を含む領域を上述した特定領域として決定する。なお、特定領域抽出部17は、入力部16へ入力される特定領域の情報に基づいて、特定領域を決定することもできる。
図11は、実施の形態1にかかる特定領域抽出部による特定領域画像処理の一例を説明するための図である。図11に示す例では、特定領域抽出部17は、連結画像9における4つの特定領域301,302,303,304の画像である特定領域画像311,312,313,314を抽出する。以下、特定領域301,302,303,304の各々を個別に区別せずに示す場合、特定領域30と記載する場合がある。また、特定領域画像311,312,313,314の各々を個別に区別せずに示す場合、特定領域画像31と記載する場合がある。
図4に示す異常判定部19は、特定領域抽出部17によって抽出された特定領域画像31から設備4の異常を判定する。設備4の異常は、例えば、設備4のトンネル3の内壁3aへの取り付け状態の異常、または設備4の亀裂などの異常である。異常判定部19は、例えば、機械学習によって生成された学習モデルを用いて、特定領域抽出部17によって抽出された特定領域画像31から設備4を構成する判定対象部品の異常を判定する。判定対象部品の異常は、判定対象部品が締結具である場合、締結具の緩み、締結具の錆び、締結具の欠損、締結具の欠落、または設備4を構成する部品の亀裂などである。
異常判定部19は、第2学習モデルの情報を有しており、特定領域抽出部17によって抽出された画像から第2学習モデルを用いて判定対象部品の異常を判定する。第2学習モデルは、異常がある判定対象部品の画像を用いた機械学習によって生成される計算モデルである。第2学習モデルに入力される情報は、特定領域抽出部17によって抽出された特定領域画像31であり、第2学習モデルから出力される情報は、判定対象部品が異常であるか否かを示す情報である。第2学習モデルは、例えば、畳み込みニューラルネットワークであるが、線形回帰またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよい。
第2学習モデルは、図4に示す第2学習モデル生成部20によって生成される。第2学習モデル生成部20は、学習用データを用いた機械学習によって第2学習モデルを生成する。学習用データは、例えば、異常がない判定対象部品の画像および異常がある判定対象部品の画像である。第2学習モデル生成部20は、異常がない判定対象部品の画像を正解画像とし、異常がある判定対象部品の画像を不正解画像とした学習処理によって、第2学習モデルを生成する。
異常判定部19は、特定領域抽出部17によって抽出された特定領域画像31を第2学習モデルへ入力し、第2学習モデルから出力される情報に基づいて、判定対象部品の異常を判定する。具体的には、異常判定部19は、判定対象部品が異常であることを示す情報が第2学習モデルから出力された場合、判定対象部品が異常であると判定する。また、異常判定部19は、判定対象部品が異常ではないことを示す情報が第2学習モデルから出力された場合、判定対象部品が異常ではないと判定する。
図12は、実施の形態1にかかる異常判定部による異常判定処理の一例を説明するための図である。図12に示す例では、特定領域抽出部17によって抽出された特定領域画像311,312,313,314が第2学習モデルに入力されている。そして、異常判定部19は、特定領域画像312,313,314に対応する3つの判定対象部品は正常であり、特定領域画像311に対応する1つの判定対象部品は異常であると判定している。
このように、画像処理システム1は、連結画像9に対して、設計図面などで事前に設定した特定領域301,302,303,304に含まれる特定領域画像311,312,313,314を特定し、各特定領域画像311,312,313,314を用いて設備4の異常を判定する。そのため、画像処理システム1は、連結画像9をそのまま用いて設備4の異常を判定する場合に比べて、設備4の異常を判定する処理にかかる時間を短縮することができる。また、画像処理システム1は、第2学習モデルを用いて設備4の異常を判定する処理を行うことから、設備4に対する異常判定の精度を高めることができる。
異常判定部19は、異常であると判定した判定対象部品の情報を示す設備異常情報を図4に示す設備異常情報記憶部21に記憶する。図4に示す表示処理部22は、入力部16への特定操作があった場合に、設備異常情報記憶部21から設備異常情報を読み出し、読み出した設備異常情報に基づいて、異常であると判定した判定対象部品の情報を表示部23に表示する。
図13は、実施の形態1にかかる画像処理システムによる処理手順の一例を示すフローチャートである。図13に示す処理は、例えば、画像処理システム1によって構造物画像5が取得された場合または入力部16への特定操作がある場合に開始される。
図13に示すように、画像処理システム1の画像分割部12は、構造物画像5を複数の分割画像7へ分割する(ステップS10)。次に、画像処理システム1の画像抽出部13は、画像抽出処理を行う(ステップS11)。かかる画像抽出処理は、図14に示すステップS20~S24の処理であり、後述する。
次に、画像処理システム1の設備画像特定部15は、設備画像特定処理を行う(ステップS12)。かかる設備画像特定処理は、図15に示すステップS30~S39の処理であり後述する。次に、画像処理システム1の異常判定部19は、特定領域画像処理および異常判定処理を行う(ステップS13)。特定領域画像処理および異常判定処理は、図16に示すステップS40~S45の処理であり、後述する。画像処理システム1は、ステップS13の処理を終了すると、図13に示す処理を終了する。
図14は、実施の形態1にかかる画像抽出部による画像抽出処理の一例を示すフローチャートである。図14に示すように、画像抽出部13は、画像分割部12によって生成された複数の分割画像7のうち画像抽出部13による処理が未処理の分割画像7を選択し(ステップS20)、ステップS20で選択した分割画像7を第1学習モデルへ入力する(ステップS21)。画像抽出部13は、第1学習モデルの出力に基づいて、ステップS20で選択した分割画像7が設備部分画像8であるか否かを判定する(ステップS22)。
画像抽出部13は、ステップS20で選択した分割画像7が設備部分画像8であると判定した場合(ステップS22:Yes)、ステップS20で選択した分割画像7を設備部分画像8として抽出する(ステップS23)。画像抽出部13は、ステップS23の処理が終了した場合、または分割画像7が設備部分画像8ではないと判定した場合(ステップS22:No)、画像分割部12によって生成された複数の分割画像7のうちステップS20において未選択の分割画像7があるか否かを判定する(ステップS24)。
画像抽出部13は、未選択の分割画像7があると判定した場合(ステップS24:Yes)、処理をステップS20へ移行する。画像抽出部13は、未選択の分割画像7がないと判定した場合(ステップS24:No)、図14に示す処理を終了する。
図15は、実施の形態1にかかる設備画像特定部による設備画像特定処理の一例を示すフローチャートである。図15に示すように、設備画像特定部15は、画像抽出部13によって抽出された複数の設備部分画像8のうち設備画像特定部15で未処理の設備部分画像8を選択する(ステップS30)。設備画像特定部15は、ステップS30で選択した設備部分画像8に隣接する設備部分画像8または連結画像9があるか否かを判定する(ステップS31)。
設備画像特定部15は、隣接する設備部分画像8または連結画像9があると判定した場合(ステップS31:Yes)、ステップS30で選択した設備部分画像8を隣接する設備部分画像8または連結画像9に連結する(ステップS32)。
設備画像特定部15は、ステップS32の処理が終了した場合、または隣接する設備部分画像8または連結画像9がないと判定した場合(ステップS31:No)、複数の設備部分画像8のうちステップS30において未選択の設備部分画像8があるか否かを判定する(ステップS33)。設備画像特定部15は、未選択の設備部分画像8があると判定した場合(ステップS33:Yes)、処理をステップS30へ移行する。設備画像特定部15は、未選択の設備部分画像8がないと判定した場合(ステップS33:No)、ステップS32で生成された連結画像9があるか否かを判定する(ステップS34)。
設備画像特定部15は、連結画像9があると判定した場合(ステップS34:Yes)、サイズ拡大設定があるか否かを判定する(ステップS35)。設備画像特定部15は、サイズ拡大設定があると判定した場合(ステップS35:Yes)、連結画像9に隣接する分割画像7を連結画像9に結合して連結画像9を変更する(ステップS36)。
設備画像特定部15は、ステップS36の処理が終了した場合、またはサイズ拡大設定がないと判定した場合(ステップS35:No)、連結画像9のサイズが予め設定された範囲であるか否かを判定する(ステップS37)。設備画像特定部15は、連結画像9のサイズは予め設定された範囲であると判定した場合(ステップS37:Yes)、サイズが予め設定された範囲である連結画像9を設備画像として特定する(ステップS38)。
設備画像特定部15は、ステップS38の処理が終了した場合、または連結画像9のサイズは予め設定された範囲でないと判定した場合(ステップS37:No)、設備画像特定部15での処理が未処理の連結画像9があるか否かを判定する(ステップS39)。設備画像特定部15は、未処理の連結画像9があると判定した場合(ステップS39:Yes)、処理をステップS37へ移行する。設備画像特定部15は、未処理の連結画像9がないと判定した場合(ステップS39:No)、または連結画像9がないと判定した場合(ステップS34:No)、図15に示す処理を終了する。
図16は、実施の形態1にかかる特定領域抽出部による特定領域画像処理および異常判定部による異常判定処理の各々の一例を示すフローチャートである。図16に示すように、特定領域抽出部17は、設備画像特定部15によって設備画像として特定された連結画像9のうち異常判定部19で未処理の連結画像9を選択する(ステップS40)。特定領域抽出部17は、ステップS40で選択した連結画像9から特定領域画像31を抽出し(ステップS41)、抽出した特定領域画像31を第2学習モデルへ入力する(ステップS42)。
異常判定部19は、第2学習モデルの出力に基づいて、判定対象部品に異常があるか否かを判定する(ステップS43)。異常判定部19は、判定対象部品に異常があると判定した場合(ステップS43:Yes)、異常であると判定した判定対象部品の情報を示す設備異常情報を設備異常情報記憶部21に記憶する(ステップS44)。異常判定部19は、ステップS44の処理が終了した場合、または判定対象部品に異常がないと判定された場合(ステップS43:No)、設備画像特定部15によって設備画像として特定された連結画像9のうちステップS40において未選択の連結画像9があるか否かを判定する(ステップS45)。
異常判定部19は、未選択の連結画像9があると判定した場合(ステップS45:Yes)、処理をステップS40へ移行する。異常判定部19は、未選択の連結画像9がないと判定した場合(ステップS45:No)、図16に示す処理を終了する。
図17は、実施の形態1にかかる画像処理システムのハードウェア構成の一例を示す図である。図17に示すように、画像処理システム1は、プロセッサ101と、メモリ102と、通信装置103と、入出力回路104と、表示装置105とを備えるコンピュータを含む。
プロセッサ101、メモリ102、通信装置103、入出力回路104、および表示装置105は、例えば、バス106によって互いにデータの送受信が可能である。画像情報記憶部11、設備情報記憶部18、および設備異常情報記憶部21は、メモリ102によって実現される。入力部16は、入出力回路104によって実現される。表示部23は、表示装置105によって実現される。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、取得部10、画像分割部12、画像抽出部13、第1学習モデル生成部14、設備画像特定部15、特定領域抽出部17、異常判定部19、第2学習モデル生成部20、および表示処理部22の機能を実行する。プロセッサ101は、例えば、処理回路の一例であり、CPU(Central Processing Unit)、DSP(Digital Signal Processer)、およびシステムLSI(Large Scale Integration)のうち1つ以上を含む。
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、およびEEPROM(登録商標)(Electrically Erasable Programmable Read Only Memory)のうち1つ以上を含む。また、メモリ102は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびDVD(Digital Versatile Disc)のうち1つ以上を含む。なお、画像処理システム1は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)などの集積回路を含んでいてもよい。
画像処理システム1は、クライアント装置で構成されてもよく、サーバ装置で構成されてもよく、クライアント装置とサーバ装置とで構成されてもよい。画像処理システム1が2つ以上の装置で構成される場合、2つ以上の装置の各々は、例えば、図17に示すハードウェア構成を有する。なお、2つ以上の装置間の通信は、通信装置103を介して行われる。また、画像処理システム1は、2つ以上のサーバ装置で構成されてもよい。例えば、画像処理システム1は、処理サーバと、データサーバとで構成されてもよい。この場合、処理サーバは、例えば、取得部10、画像分割部12、画像抽出部13、第1学習モデル生成部14、設備画像特定部15、特定領域抽出部17、異常判定部19、第2学習モデル生成部20、および表示処理部22を有する。また、データサーバは、画像情報記憶部11、第1学習モデル生成部14、設備情報記憶部18、および設備異常情報記憶部21を有する。
以上のように、実施の形態1にかかる画像処理システム1は、画像分割部12と、画像抽出部13と、設備画像特定部15とを備える。画像分割部12は、構造物に取り付けられた設備4の画像を含む構造物の画像を、設備4の全体を示す画像よりも小さなサイズの複数の分割画像7へ分割する。画像抽出部13は、画像分割部12によって分割された複数の分割画像7の中から設備4の一部を示す設備部分画像8を複数抽出する。設備画像特定部15は、画像抽出部13で抽出された複数の設備部分画像8のうち画像分割部12による分割前の位置が互いに隣接する位置にある2つ以上の設備部分画像8を連結し、連結した2つ以上の設備部分画像8を含む連結画像9を設備4の画像として特定する。画像処理システム1は、設備4の全体を示す画像よりも小さなサイズの分割画像7を用いて設備画像を特定することから、構造物画像5を分割しない場合に比べ、設備画像を特定するための処理に使用するメモリ量を低減させることができる。
また、画像抽出部13は、設備4の一部を示す画像を用いた機械学習によって生成される第1学習モデルを有し、画像分割部12によって分割された複数の分割画像7の中から第1学習モデルを用いて設備部分画像8を複数抽出する。これにより、画像処理システム1は、設備画像を精度よく特定することができる。
また、設備画像特定部15は、連結画像9のサイズが予め設定された範囲内であるか否かを判定し、連結画像9のサイズが予め設定された範囲内であると判定した場合に、連結画像9を設備画像として特定する。これにより、画像処理システム1は、設備画像を精度よく特定することができる。
また、設備画像特定部15は、画像分割部12によって分割された複数の分割画像7のうち、画像分割部12による分割前の位置が2つ以上の設備部分画像8のうち少なくともいずれか1つと隣接する位置にある複数の分割画像7と2つ以上の設備部分画像8とを連結して連結画像9を生成する。これにより、画像処理システム1は、設備画像を精度よく特定することができる。
また、画像処理システム1は、連結画像9における特定領域30の画像である特定領域画像31を抽出する特定領域抽出部17と、特定領域抽出部17によって抽出された特定領域画像31から設備部分画像8の異常を判定する異常判定部19とを備える。これにより、画像処理システム1は、連結画像9をそのまま用いて判定対象部品の異常を判定する場合に比べて、異常判定処理の時間を短縮することができる。
また、異常判定部19は、判定対象部品が異常である状態の判定対象部品の画像を用いて機械学習によって生成された第2学習モデルを有する。第2学習モデルは、異常判定用の学習モデルの一例である。異常判定部19は、特定領域抽出部17によって抽出された画像を第2学習モデルへ入力して得られる結果に基づいて、設備4の異常を判定する。これにより、画像処理システム1は、判定対象部品に対する異常判定の精度を高めることができる。
実施の形態2.
実施の形態2にかかる画像処理システムは、走行型計測装置から設備4を含むトンネル3の内壁3a全体の画像を構造物画像として走行型計測装置から取得し、構造物画像における連結画像9の位置に基づいて設備画像を特定する処理を行う点で、実施の形態1にかかる画像処理システム1と異なる。以下においては、実施の形態1と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態1の画像処理システム1および走行型計測装置2と異なる点を中心に説明する。
実施の形態2にかかる画像処理システムは、走行型計測装置から設備4を含むトンネル3の内壁3a全体の画像を構造物画像として走行型計測装置から取得し、構造物画像における連結画像9の位置に基づいて設備画像を特定する処理を行う点で、実施の形態1にかかる画像処理システム1と異なる。以下においては、実施の形態1と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態1の画像処理システム1および走行型計測装置2と異なる点を中心に説明する。
図18は、本発明の実施の形態2にかかる画像処理システムを説明するための図である。図18に示す画像処理システム1Aは、走行型計測装置2Aによって生成されるトンネル3の画像から、トンネル3に取り付けられた設備4の画像である設備画像を特定し、特定した設備画像から設備4の異常を検出する。
図19は、実施の形態2にかかる走行型計測装置による構造物画像の取得方法の一例を示す図である。図19に示すように、走行型計測装置2Aは、撮像部51A,51Bを搭載している。かかる走行型計測装置2Aは、構造物であるトンネル3内を走行し且つ撮像部51A,51Bの向きを変えながら走行型計測装置2Aの周囲を繰り返し撮像し、構造物画像を生成する。走行型計測装置2Aによって生成される構造物画像は、トンネル3の内壁3a全体に亘る画像である。
図20は、実施の形態2にかかる走行型計測装置によって計測される構造物画像の一例を示す図である。図20において、トンネル軸方向がX軸方向であり、トンネル周方向がY軸方向である。トンネル軸方向は、トンネル3の延伸方向である。
図20に示す構造物画像5Aは、トンネル3の内壁3a全体の画像であり、トンネル3の内壁3aの全体を2次元平面に展開したと仮定した場合におけるトンネル3の展開画像である。走行型計測装置2Aは、撮像部51Aから順次出力される複数の領域画像6A1~6A5をトンネル軸方向で繋ぎ合わせて領域画像6Aを生成し、撮像部51Bから順次出力される複数の領域画像6B1~6B5をトンネル軸方向で繋ぎ合わせて領域画像6Bを生成する。走行型計測装置2Aは、領域画像6Aと領域画像6Bとをトンネル周方向で繋ぎ合わせることで、構造物画像5Aを生成する。領域画像6Aには複数の設備41~47の画像が含まれ、領域画像6Bには複数の設備48~414の画像が含まれる。なお、構造物画像5Aは、構造物画像5と同様に、繋ぎ合わされていない状態の複数の領域画像6A1~6A5,6B1~6B5の情報を含んでいてもよい。
図21は、実施の形態2にかかる画像処理システムの構成例を示す図である。図21に示すように、実施の形態2にかかる画像処理システム1Aは、設備画像特定部15に代えて設備画像特定部15Aを備える。設備画像特定部15Aは、構造物画像5Aにおける連結画像9の位置に基づいて、連結画像9の回転処理および反転処理のうちの少なくとも1つの処理を行い、かかる処理を行った連結画像9を設備画像として特定する。
例えば、設備画像特定部15Aは、構造物画像5Aのうち図20に示す領域画像6Aから抽出した複数の分割画像7を連結して得られる連結画像9を180度回転し、180度回転した連結画像9を設備画像として特定する。また、設備画像特定部15Aは、構造物画像5Aのうち図20に示す領域画像6Bから抽出した複数の分割画像7を連結して得られる連結画像9をそのまま設備画像として特定する。
図20に示す構造物画像5Aの種類は、見上げ図であり、トンネル3の内壁3aをトンネル3内から見た場合のトンネル3の内壁3aの画像を展開した展開画像であるが、走行型計測装置2Aは、見下げ図を生成することもできる。見下げ図は、トンネル3の内壁3aをトンネル外からみたと仮定した場合のトンネル3の内壁3aの画像を展開した展開画像である。以下、見下げ図の構造物画像を構造物画像5A’と記載する。
ここで、見上げ図と見下げ図について図面を参照して説明する。図22は、実施の形態2にかかる見上げ図と見下げ図との関係を説明するための図である。図22に示す例では、説明を分かりやすくするために、トンネル3に取り付けられる2つの設備4を便宜的に「2」の文字と「5」の文字とで表現している。また、図22に示す例では、トンネル3の入口の右端を「a1」とし、トンネル3の入口の左端を「b1」とし、トンネル3の出口の右端を「a2」とし、トンネル3の出口の左端を「b2」としている。なお、ここでの左右方向は、トンネル3の入口の手前からトンネル3を見た場合の方向である。
トンネル3の内壁3aの画像をトンネル3の左端b1,b2を基準として展開することでトンネル3の見上げ図が得られる。かかる見上げ図では、「2」の文字が180度回転した状態である。そこで、設備画像特定部15Aは、構造物画像5Aの領域画像6Aから抽出した複数の分割画像7を連結して得られる連結画像9を180度回転し、180度回転した連結画像9を設備画像として特定する。すなわち、設備画像特定部15Aは、構造物画像5Aにおける連結画像9の位置が領域画像6Aに含まれる場合、180度回転した連結画像9を設備画像として特定する。
また、トンネル3の内壁3aの画像をトンネル3の右端a1,a2を基準として展開することでトンネル3の見下げ図が得られる。見下げ図において、領域画像6A’は、領域画像6Aを変換して得られる画像であり、領域画像6B’は、領域画像6Bを変換して得られる画像である。かかる見下げ図では、「2」の文字が左右反転した状態であり、また、「5」の文字が上下反転した状態である。
そこで、設備画像特定部15Aは、構造物画像5A’の領域画像6A’から抽出した複数の分割画像7を連結して得られる連結画像9を左右反転し、左右反転した連結画像9を設備画像として特定する。すなわち、設備画像特定部15Aは、構造物画像5A’における連結画像9の位置が領域画像6A’に含まれる場合、左右反転した連結画像9を設備画像として特定する。
また、設備画像特定部15Aは、構造物画像5A’の領域画像6B’から抽出した複数の分割画像7を連結して得られる連結画像9を上下反転し、上下反転した連結画像9を設備画像として特定する。すなわち、設備画像特定部15Aは、構造物画像5A’における連結画像9の位置が領域画像6B’に含まれる場合、上下反転した連結画像9を設備画像として特定する。
このように、設備画像特定部15Aは、構造物画像における連結画像9の位置と、構造物画像の種類とに基づいて、連結画像9を回転する処理または連結画像9を反転する処理を行う。これにより、設備画像特定部15Aは、設備画像を適切に特定することができ、設備画像特定部15Aによって特定された設備画像から設備4の異常を精度よく判定することができる。
なお、画像処理システム1Aは、走行型計測装置2Aから構造物画像5A’を取得することに代えて、構造物画像5Aを見下げ図へ変換する不図示の装置から見下げ図である構造物画像5A’を取得することもできる。
図23は、実施の形態2にかかる設備画像特定部による設備画像特定処理手順における一部の手順の一例を示すフローチャートである。図23に示す処理は、図15に示すステップS34とステップS35との間に行われる処理である。
図23に示すように、画像処理システム1Aの設備画像特定部15Aは、構造物画像が見上げ図であるか否かを判定する(ステップS50)。設備画像特定部15Aは、構造物画像が見上げ図であると判定した場合(ステップS50:Yes)、構造物画像5Aにおける連結画像9の位置が特定の位置であるか否かを判定する(ステップS51)。ステップS51において、設備画像特定部15Aは、連結画像9が構造物画像5Aにおける領域画像6Aに含まれる画像である場合、連結画像9の位置が特定の位置であると判定する。
設備画像特定部15Aは、連結画像9の位置が特定の位置であると判定した場合(ステップS51:Yes)、連結画像9を180度回転し、180度回転した連結画像9を設備画像として特定する(ステップS52)。設備画像特定部15Aは、構造物画像が見上げ図ではないと判定した場合(ステップS50:No)、構造物画像5A’における連結画像9の位置が特定の位置であるか否かを判定する(ステップS53)。ステップS53において、設備画像特定部15Aは、構造物画像5A’における連結画像9の位置が領域画像6B’に含まれる画像である場合、連結画像9の位置が特定の位置であると判定する。
設備画像特定部15Aは、連結画像9の位置が特定の位置であると判定した場合(ステップS53:Yes)、連結画像9を上下反転し、上下反転した連結画像9を設備画像として特定する(ステップS54)。また、設備画像特定部15Aは、連結画像9の位置が特定の位置ではないと判定した場合(ステップS53:No)、連結画像9を左右反転し、左右反転した連結画像9を設備画像として特定する(ステップS55)。
設備画像特定部15Aは、ステップS52の処理が終了した場合、連結画像9の位置が特定の位置ではないと判定した場合(ステップS51:No)、ステップS54の処理が終了した場合、またはステップS55の処理が終了した場合、図23に示す処理を終了する。
図21に示す画像処理システム1Aのハードウェア構成は、図17に示す画像処理システム1のハードウェア構成と同じである。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、設備画像特定部15Aの機能を実行することができる。
以上のように、実施の形態2にかかる画像処理システム1Aの設備画像特定部15Aは、構造物画像5A,5A’における連結画像9の位置に基づく連結画像9の回転処理および反転処理のうち少なくとも1つの処理を含み、かかる処理が行われた連結画像9を設備画像として特定する。これにより、異常判定部19は、設備画像特定部15Aによって特定された設備画像から設備4の異常を精度よく判定することができる。
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
1,1A 画像処理システム、2,2A 走行型計測装置、3 トンネル、3a 内壁、4,41~414 設備、5,5A,5A’ 構造物画像、6,61~65,6A,6A1~6A5,6B,6B1~6B5 領域画像、7,71~75,78,79,712,713,716,717,720~724 分割画像、8,81~814 設備部分画像、9 連結画像、10 取得部、11 画像情報記憶部、12 画像分割部、13 画像抽出部、14 第1学習モデル生成部、15,15A 設備画像特定部、16 入力部、17 特定領域抽出部、18 設備情報記憶部、19 異常判定部、20 第2学習モデル生成部、21 設備異常情報記憶部、22 表示処理部、23 表示部、30,301,302,303,304 特定領域、31,311,312,313,314 特定領域画像、51,51A,51B 撮像部。
Claims (8)
- 構造物に取り付けられた設備の画像を含む前記構造物の画像を、前記設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する画像分割部と、
前記画像分割部によって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出部と、
前記画像抽出部で抽出された前記複数の画像のうち前記画像分割部による分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した前記2つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定部と、を備える
ことを特徴とする画像処理システム。 - 前記画像抽出部は、
前記設備の一部を示す画像を用いた機械学習によって生成された学習モデルを有し、前記画像分割部によって分割された前記複数の画像の中から前記学習モデルを用いて前記設備の一部を示す画像を複数抽出する
ことを特徴とする請求項1に記載の画像処理システム。 - 前記設備画像特定部は、
前記連結画像のサイズが予め設定された範囲内であるか否かを判定し、前記連結画像のサイズが前記予め設定された範囲内であると判定した場合に、前記連結画像を前記設備の画像として特定する
ことを特徴とする請求項1または2に記載の画像処理システム。 - 前記設備画像特定部は、
前記画像分割部によって分割された前記複数の画像のうち、前記画像分割部による分割前の位置が前記2つ以上の画像のうち少なくともいずれか1つと隣接する位置にある複数の画像と前記2つ以上の画像とを連結して前記連結画像を生成する
ことを特徴とする請求項1から3のいずれか1つに記載の画像処理システム。 - 前記連結画像における特定領域の画像を抽出する特定領域抽出部と、
前記特定領域抽出部によって抽出された画像から前記設備の異常を判定する異常判定部とを備える
ことを特徴とする請求項1から4のいずれか1つに記載の画像処理システム。 - 前記異常判定部は、
前記設備の部品が異常である状態の前記部品の画像を用いて機械学習によって生成された異常判定用の学習モデルを有し、前記特定領域抽出部によって抽出された画像を前記異常判定用の学習モデルへ入力して得られる結果に基づいて、前記設備の異常を判定する
ことを特徴とする請求項5に記載の画像処理システム。 - 前記構造物の画像は、
トンネルの展開画像であり、
前記設備画像特定部による前記設備の画像を特定する処理は、前記トンネルの展開画像における前記連結画像の位置に基づく前記連結画像の回転処理および反転処理のうち少なくとも1つの処理を含み、前記少なくとも1つの処理が行われた連結画像を前記設備の画像として特定する
ことを特徴とする請求項5または6に記載の画像処理システム。 - コンピュータが行う画像処理方法であって、
構造物に取り付けられた設備の画像を含む前記構造物の画像を、前記設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する画像分割ステップと、
前記画像分割ステップによって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出ステップと、
前記画像抽出ステップで抽出された前記複数の画像のうち前記画像分割ステップによる分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した前記2つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定ステップと、
を含む
ことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/035262 WO2021044629A1 (ja) | 2019-09-06 | 2019-09-06 | 画像処理システムおよび画像処理方法 |
JP2019570580A JP6664574B1 (ja) | 2019-09-06 | 2019-09-06 | 画像処理システムおよび画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/035262 WO2021044629A1 (ja) | 2019-09-06 | 2019-09-06 | 画像処理システムおよび画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021044629A1 true WO2021044629A1 (ja) | 2021-03-11 |
Family
ID=70000330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/035262 WO2021044629A1 (ja) | 2019-09-06 | 2019-09-06 | 画像処理システムおよび画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6664574B1 (ja) |
WO (1) | WO2021044629A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022123218A (ja) * | 2021-02-12 | 2022-08-24 | オムロン株式会社 | 画像検査装置、画像検査方法、及び学習済みモデル生成装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1144200A (ja) * | 1997-07-25 | 1999-02-16 | Toshiba Corp | 道路トンネル総合監視制御装置 |
JP2002019606A (ja) * | 2000-07-03 | 2002-01-23 | Mitsubishi Heavy Ind Ltd | 作業ロボット付路線保守移動装置 |
JP2004030188A (ja) * | 2002-06-25 | 2004-01-29 | Matsushita Electric Works Ltd | 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラム |
JP2011186719A (ja) * | 2010-03-08 | 2011-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出装置、物体検出方法及び物体検出プログラム |
JP2016223796A (ja) * | 2015-05-27 | 2016-12-28 | 株式会社パスコ | トンネル壁面の損傷検出装置及びトンネル壁面の損傷検出プログラム |
JP2018101416A (ja) * | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | 火災監視システム |
-
2019
- 2019-09-06 WO PCT/JP2019/035262 patent/WO2021044629A1/ja active Application Filing
- 2019-09-06 JP JP2019570580A patent/JP6664574B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1144200A (ja) * | 1997-07-25 | 1999-02-16 | Toshiba Corp | 道路トンネル総合監視制御装置 |
JP2002019606A (ja) * | 2000-07-03 | 2002-01-23 | Mitsubishi Heavy Ind Ltd | 作業ロボット付路線保守移動装置 |
JP2004030188A (ja) * | 2002-06-25 | 2004-01-29 | Matsushita Electric Works Ltd | 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラム |
JP2011186719A (ja) * | 2010-03-08 | 2011-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出装置、物体検出方法及び物体検出プログラム |
JP2016223796A (ja) * | 2015-05-27 | 2016-12-28 | 株式会社パスコ | トンネル壁面の損傷検出装置及びトンネル壁面の損傷検出プログラム |
JP2018101416A (ja) * | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | 火災監視システム |
Non-Patent Citations (1)
Title |
---|
SASAMA, HIROSHI ET AL. ET AL.: "Inspection System for Railway Facilities Using Continuously Scanned Image", IEEJ TRANSACTIONS ON ELECTRONICS, INFORMATION AND SYSTEMS, vol. 117, no. 10, 20 September 1997 (1997-09-20), pages 1345 - 1354, XP055803235, ISSN: 0385-4221 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021044629A1 (ja) | 2021-09-27 |
JP6664574B1 (ja) | 2020-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4687518B2 (ja) | 画像処理方法およびその方法を用いた3次元計測方法ならびに画像処理装置 | |
US10704900B2 (en) | Detection device and detection method | |
US20190228519A1 (en) | Anomaly detection using image-based physical characterization | |
JP6757690B2 (ja) | 検査支援装置、検査支援方法及びプログラム | |
CN113167742B (zh) | 混凝土构造物的点检辅助装置、点检辅助方法及记录介质 | |
CN112288732A (zh) | 一种点胶的检测方法、装置、设备及系统 | |
JP2019020220A (ja) | 画像処理装置、及び画像処理方法、ならびにプログラム | |
US20100060903A1 (en) | Image Measuring Apparatus and Computer Program | |
US20240233107A1 (en) | Image Processing Method and Apparatus, Optical System, and Computer-Readable Storage Medium | |
WO2021044629A1 (ja) | 画像処理システムおよび画像処理方法 | |
JP6749528B1 (ja) | 変状管理装置、変状管理方法、および変状管理プログラム | |
KR102420856B1 (ko) | 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치 | |
JPH0591411A (ja) | 画像処理装置 | |
CN116625239B (zh) | 一种基于图像处理的台阶孔检测方法、装置及系统 | |
WO2020158726A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4670994B2 (ja) | カラー画像の処理方法および画像処理装置 | |
JP2021117155A (ja) | 検査装置、検査方法、及び検査プログラム | |
JP2008139262A (ja) | 欠陥検査方法およびその方法を用いた検査装置 | |
CN113192070B (zh) | 一种基于计算机视觉的焊缝图像处理方法和系统 | |
JP6610367B2 (ja) | 被検査対象物の検査装置及び検査方法 | |
JP6802944B1 (ja) | 検査支援装置、検査支援方法及びプログラム | |
CN112150373B (zh) | 图像处理方法、图像处理装置和可读存储介质 | |
JP7340434B2 (ja) | 配筋検査システム、配筋検査方法、及び配筋検査プログラム | |
JP4670993B2 (ja) | カラー画像の処理方法および画像処理装置 | |
JP6175904B2 (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2019570580 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19944236 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19944236 Country of ref document: EP Kind code of ref document: A1 |