JPWO2021044629A1 - Image processing system and image processing method - Google Patents
Image processing system and image processing method Download PDFInfo
- Publication number
- JPWO2021044629A1 JPWO2021044629A1 JP2019570580A JP2019570580A JPWO2021044629A1 JP WO2021044629 A1 JPWO2021044629 A1 JP WO2021044629A1 JP 2019570580 A JP2019570580 A JP 2019570580A JP 2019570580 A JP2019570580 A JP 2019570580A JP WO2021044629 A1 JPWO2021044629 A1 JP WO2021044629A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- equipment
- unit
- images
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 117
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000605 extraction Methods 0.000 claims abstract description 84
- 238000003709 image segmentation Methods 0.000 claims abstract description 43
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000005856 abnormality Effects 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 56
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 238000013461 design Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D11/00—Lining tunnels, galleries or other underground cavities, e.g. large underground chambers; Linings therefor; Making such linings in situ, e.g. by assembling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Geology (AREA)
- Architecture (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Structural Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
画像処理システム(1)は、画像分割部(12)と、画像抽出部(13)と、設備画像特定部(15)と、を備える。画像分割部(12)は、構造物に取り付けられた設備の画像を含む構造物の画像を、設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する。画像抽出部(13)は、画像分割部(12)によって分割された複数の画像の中から設備の一部を示す画像を複数抽出する。設備画像特定部(15)は、画像抽出部(13)で抽出された複数の画像のうち画像分割部(12)による分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した2つ以上の画像を含む連結画像を設備の画像として特定する。The image processing system (1) includes an image segmentation unit (12), an image extraction unit (13), and an equipment image identification unit (15). The image segmentation unit (12) divides the image of the structure including the image of the equipment attached to the structure into a plurality of images having a size smaller than the image showing the entire equipment. The image extraction unit (13) extracts a plurality of images showing a part of the equipment from the plurality of images divided by the image segmentation unit (12). The equipment image identification unit (15) connects two or more images whose positions before division by the image segmentation unit (12) are adjacent to each other among the plurality of images extracted by the image extraction unit (13). , A concatenated image including two or more concatenated images is specified as an image of the equipment.
Description
本発明は、設備が取り付けられた構造物の画像から設備の画像を特定する画像処理システムおよび画像処理方法に関する。 The present invention relates to an image processing system and an image processing method for identifying an image of equipment from an image of a structure to which equipment is attached.
従来、トンネルまたは橋梁などといった構造物に取り付けられた照明機器または看板などの設備は、定期的に点検が行われている。設備の点検では、構造物に設備を取り付けるための締結具に錆または緩みがないか、または設備そのものに亀裂などの問題がないかなどを確認する作業が行われる。かかる作業を、構造物に取り付けられた全ての設備を対象に一つ一つ作業者が目視などにより確認することによって行うと、非常に手間と時間がかかる。 Conventionally, equipment such as lighting equipment or signboards attached to structures such as tunnels or bridges are regularly inspected. In the inspection of equipment, work is performed to check whether the fasteners for attaching the equipment to the structure are rusted or loose, or whether the equipment itself has problems such as cracks. It takes a lot of time and effort if the operator visually confirms all the equipment attached to the structure one by one.
点検作業を目視で行うかわりに、撮像装置によって撮影された画像から設備の画像を特定し、特定した画像を確認する方法がある。画像を特定する技術として、特許文献1には、撮像カメラが周囲を撮像して得られる画像をティーチング設備画像と比較することで、撮像カメラが撮像した画像から設備の画像を特定する技術が開示されている。 Instead of performing the inspection work visually, there is a method of identifying the image of the equipment from the image taken by the imaging device and confirming the identified image. As a technique for identifying an image, Patent Document 1 discloses a technique for identifying an image of equipment from an image captured by the imaging camera by comparing an image obtained by imaging the surroundings with an image of teaching equipment. Has been done.
しかしながら、特許文献1に記載の技術では、撮像カメラが撮像した画像とティーチング設備画像とを比較するため、取り扱う画像のサイズが大きく、撮像カメラが撮像した画像から設備の画像を特定する処理において使用するメモリ量が多い。 However, in the technique described in Patent Document 1, in order to compare the image captured by the imaging camera with the teaching equipment image, the size of the image to be handled is large, and it is used in the process of identifying the equipment image from the image captured by the imaging camera. There is a lot of memory to do.
本発明は、上記に鑑みてなされたものであって、設備が取り付けられた構造物の画像から設備の画像を特定する処理に使用するメモリ量を低減させることができる画像処理システムを得ることを目的とする。 The present invention has been made in view of the above, and obtains an image processing system capable of reducing the amount of memory used for processing to identify an image of equipment from an image of a structure to which equipment is attached. The purpose.
上述した課題を解決し、目的を達成するために、本発明の画像処理システムは、画像分割部と、画像抽出部と、設備画像特定部と、を備える。画像分割部は、構造物に取り付けられた設備の画像を含む構造物の画像を、設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する。画像抽出部は、画像分割部によって分割された複数の画像の中から設備の一部を示す画像を複数抽出する。設備画像特定部は、画像抽出部で抽出された複数の画像のうち画像分割部による分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した2つ以上の画像を含む連結画像を設備の画像として特定する。 In order to solve the above-mentioned problems and achieve the object, the image processing system of the present invention includes an image segmentation unit, an image extraction unit, and an equipment image identification unit. The image segmentation section divides the image of the structure including the image of the equipment attached to the structure into a plurality of images having a size smaller than the image showing the entire equipment. The image extraction unit extracts a plurality of images showing a part of the equipment from the plurality of images divided by the image segmentation unit. The equipment image identification unit connects two or more images whose positions before division by the image segmentation unit are adjacent to each other among a plurality of images extracted by the image extraction unit, and joins two or more images. The including connected image is specified as an image of the equipment.
本発明によれば、設備が取り付けられた構造物の画像から設備の画像を特定する処理に使用するメモリ量を低減させることができる、という効果を奏する。 According to the present invention, it is possible to reduce the amount of memory used for the process of identifying the image of the equipment from the image of the structure to which the equipment is attached.
以下に、本発明の実施の形態にかかる画像処理システムおよび画像処理方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。 Hereinafter, the image processing system and the image processing method according to the embodiment of the present invention will be described in detail with reference to the drawings. The present invention is not limited to this embodiment.
実施の形態1.
図1は、本発明の実施の形態1にかかる画像処理システムを説明するための図である。図1に示す画像処理システム1は、設備が取り付けられた構造物の画像から設備の画像である設備画像を特定する。以下においては、走行型計測装置2によって撮像される構造物がトンネル3であり、トンネル3に取り付けられる設備4が照明機器であるものとして説明する。なお、走行型計測装置2によって撮像される構造物は、トンネル3に限定されず、橋梁または建物などであってもよい。また、設備4は、照明機器に限定されず、送風機または看板などであってもよい。Embodiment 1.
FIG. 1 is a diagram for explaining an image processing system according to a first embodiment of the present invention. The image processing system 1 shown in FIG. 1 identifies an equipment image, which is an image of equipment, from an image of a structure to which equipment is attached. In the following, the structure imaged by the traveling
図2は、実施の形態1にかかる走行型計測装置による構造物画像の取得方法の一例を示す図である。図2に示すように、走行型計測装置2は、撮像部51を搭載している。走行型計測装置2は、トンネル3内を走行しながら撮像部51によって走行型計測装置2の周囲を繰り返し撮像し、設備4が取り付けられたトンネル3の内壁3aの画像である構造物画像を生成する。
FIG. 2 is a diagram showing an example of a method for acquiring a structure image by the traveling type measuring device according to the first embodiment. As shown in FIG. 2, the traveling
撮像部51は、例えば、ラインカメラであり、走行型計測装置2の進行方向と直交または交差する方向に沿って複数の画素が配列される。走行型計測装置2は、ラインカメラから繰り返し出力される画素の情報に基づいて、構造物画像を生成する。なお、撮像部51は、マトリクス状に複数の画素が配列されたエリアカメラであってもよい。
The
図3は、実施の形態1にかかる走行型計測装置によって計測される構造物画像の一例を示す図である。図3に示す構造物画像5は、トンネル3の内壁3aの一部を2次元平面に展開したと仮定した場合におけるトンネル3の展開画像である。図3において、トンネル軸方向がX軸方向であり、トンネル周方向がY軸方向である。トンネル軸方向は、トンネル3の延伸方向である。また、トンネル周方向は、トンネル軸方向に直交する面でトンネル3を切断した場合の内壁3aを示す線に沿った方向である。
FIG. 3 is a diagram showing an example of a structure image measured by the traveling type measuring device according to the first embodiment. The
走行型計測装置2は、レーザスキャナ装置を有しており、レーザスキャナ装置によってトンネル3の内壁3aの3次元形状を計測する。また、走行型計測装置2は、レーザスキャナ装置によって得られるデータから構造物画像5を構成する各画素の3次元位置を検出する。走行型計測装置2は、構造物画像5を構成する各画素の3次元位置に基づいてトンネル3の展開画像を生成することができる。走行型計測装置2は、構造物画像5を構成する各画素の間隔が、予め設定された間隔になるように構造物画像5を生成する。すなわち、走行型計測装置2は、トンネル3の実際の大きさに対して予め設定された縮尺になるように構造物画像5を生成する。
The traveling
図3に示す構造物画像5は、設備4が取り付けられたトンネル3の内壁3aの画像であってトンネル3の入口から出口に亘るまでの画像である。構造物画像5は、撮像部51から順次出力される複数の領域画像61〜65を繋ぎ合わせて生成される。領域画像61〜65は、トンネル軸方向の領域が各々異なる。図3に示す構造物画像5には、複数の設備41〜47の画像が含まれる。以下、複数の設備41〜47の各々を個別に区別せずに示す場合、設備4と記載し、複数の領域画像61〜65の各々を個別に区別せずに示す場合、領域画像6と記載する。The
図4は、実施の形態1にかかる画像処理システムの構成例を示す図である。図4に示すように、実施の形態1にかかる画像処理システム1は、取得部10と、画像情報記憶部11と、画像分割部12と、画像抽出部13と、第1学習モデル生成部14と、設備画像特定部15と、入力部16とを備える。また、画像処理システム1は、特定領域抽出部17と、設備情報記憶部18と、異常判定部19と、第2学習モデル生成部20と、設備異常情報記憶部21と、表示処理部22と、表示部23とを備える。
FIG. 4 is a diagram showing a configuration example of the image processing system according to the first embodiment. As shown in FIG. 4, the image processing system 1 according to the first embodiment includes an
取得部10は、不図示の通信ネットワークを介して、走行型計測装置2から構造物画像5の情報である構造物画像情報を取得し、取得した構造物画像情報を画像情報記憶部11に記憶させる。画像情報記憶部11に記憶される構造物画像情報は、繋ぎ合わされていない状態の複数の領域画像61〜65の情報から構成されてもよい。この場合、トンネル軸方向に沿って隣り合う2つの領域画像6同士を特定できるように、各領域画像6の情報には、識別番号の情報または撮像位置の情報が含まれる。The
例えば、走行型計測装置2は、図3に示す領域画像61,62,63,64,65の順に連続する複数の識別番号の情報を一つずつ割り当てる。連続する複数の識別番号が例えばID1,ID2,ID3,ID4,ID5である場合、領域画像61には識別番号「ID1」が割り当てられ、領域画像62には識別番号「ID2」が割り当てられ、領域画像63には識別番号「ID3」が割り当てられる。また、領域画像64には識別番号「ID4」が割り当てられ、領域画像65には識別番号「ID5」が割り当てられる。For example, running
また、走行型計測装置2は、走行型計測装置2の走行位置を検出する不図示の位置検出部を有しており、位置検出部によって各領域画像6が撮像されたときの走行型計測装置2の走行位置を領域画像6の撮像位置として検出する。走行型計測装置2は、検出した領域画像6の撮像位置の情報と領域画像6の情報とを領域画像6毎に関連付けることで構造物画像情報を生成することもできる。この場合、走行型計測装置2は、位置検出部によって繰り返し検出される走行型計測装置2の走行位置に基づいて、走行型計測装置2の走行軌跡を示す軌跡情報を生成し、生成した軌跡情報を構造物画像情報に含める。
Further, the traveling
画像分割部12は、画像情報記憶部11から構造物画像情報を読み出し、読み出した構造物画像情報に基づいて、構造物画像5を設備4の全体を示す画像である設備全体画像よりも小さなサイズの複数の画像へ分割する画像分割処理を行う。図5は、実施の形態1にかかる画像分割部による画像分割処理の一例を説明するための図である。なお、図5では、構造物画像5のうち一部のみを示している。
The
図5に示すように、画像分割部12は、構造物画像5を分割した画像である分割画像7のサイズが規定サイズになるように構造物画像5を複数の分割画像7へ分割する。規定サイズは、設備全体画像のサイズよりも小さい。規定サイズが設備全体画像のサイズよりも小さいため、設備全体画像は、複数の分割画像7に跨って存在することになる。構造物画像5は、上述したようにトンネル3の実際の大きさに対して予め設定された縮尺になるように生成されるため、設備全体画像のサイズは、走行型計測装置2によって生成される設備全体画像のトンネル3に対する縮尺から得られる。
As shown in FIG. 5, the
画像分割部12は、構造物画像5のサイズと設備全体画像のサイズとに基づいて、分割画像7のサイズを決定し、決定したサイズを規定サイズに設定する。画像分割部12は、構造物画像情報が複数の領域画像6の情報を含む場合、領域画像6を分割した画像である分割画像7のサイズが規定サイズになるように領域画像6を複数の分割画像7へ分割する。この場合、画像分割部12は、領域画像6のサイズと設備全体画像のサイズに基づいて、分割画像7のサイズを決定し、決定したサイズを規定サイズに設定する。なお、画像分割部12は、入力部16へ入力される情報を規定サイズの情報として用いることができる。
The
図4に示す画像抽出部13は、画像分割部12によって分割された複数の分割画像7の中から設備4の一部を示す画像を設備4の部分画像として複数抽出する。画像抽出部13は、機械学習によって生成された学習モデルを用いて、複数の分割画像7の中から設備4の一部を示す画像を抽出する。以下、画像抽出部13によって抽出される設備4の一部を示す画像を設備部分画像と記載する場合がある。
The
図6は、実施の形態1にかかる画像抽出部による画像抽出処理の一例を説明するための図である。図6に示すように、画像抽出部13は、第1学習モデルを有しており、画像分割部12によって分割された複数の分割画像7の中から第1学習モデルを用いて設備4の一部を示す画像として特定される設備部分画像8を複数抽出する。
FIG. 6 is a diagram for explaining an example of the image extraction process by the image extraction unit according to the first embodiment. As shown in FIG. 6, the
第1学習モデルは、設備4の一部を示す画像を用いた機械学習によって生成される計算モデルである。第1学習モデルに入力される情報は、分割画像7であり、第1学習モデルから出力される情報は、設備4の一部を示す画像であるか否かを示す情報である。第1学習モデルは、例えば、畳み込みニューラルネットワークであるが、線形回帰またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよい。
The first learning model is a calculation model generated by machine learning using an image showing a part of the equipment 4. The information input to the first learning model is the divided
第1学習モデルは、図4に示す第1学習モデル生成部14によって生成される。第1学習モデル生成部14は、学習データを用いた機械学習によって第1学習モデルを生成する。学習用データは、設備4の一部を示す画像および設備4の一部を示す画像以外の画像などである。図7は、実施の形態1にかかる第1学習モデル生成部による学習処理の一例を説明するための図である。図7に示すように、第1学習モデル生成部14は、設備4の一部を示す画像を正解画像とし、設備4の一部を示す画像以外の画像を不正解画像として用いる学習処理によって、第1学習モデルを生成する。
The first learning model is generated by the first learning
画像抽出部13は、分割画像7を第1学習モデルへ入力し、第1学習モデルから出力される情報に基づいて、設備部分画像8を抽出する。例えば、画像抽出部13は、第1学習モデルから設備4の一部を示す画像であることを示す情報が出力された場合に、第1学習モデルへ入力された分割画像7を設備部分画像8として抽出する。また、画像抽出部13は、第1学習モデルから設備4の一部を示す画像でないことを示す情報が出力された場合に、第1学習モデルへ入力された分割画像7を設備部分画像8として抽出しない。
The
なお、画像抽出部13は、第1学習モデルに代えて、設備4の一部を示す画像を基準画像として、パターンマッチング処理などによって、設備部分画像8を抽出する構成であってもよい。例えば、画像抽出部13は、設備4の一部を示す画像を基準画像として有し、分割画像7に含まれる画像と基準画像との一致度が予め設定された値以上である場合に、分割画像7を設備部分画像8として抽出することもできる。
The
設備画像特定部15は、画像抽出部13で抽出された複数の設備部分画像8のうち画像分割部12による分割前の位置が互いに隣接する位置にある2つ以上の設備部分画像8を連結し、連結した2つ以上の設備部分画像8を含む連結画像を設備4の全体を示す画像として特定する。以下、設備画像特定部15によって特定される設備4の全体を示す画像を設備画像と記載する場合がある。
The equipment
図8は、実施の形態1にかかる設備画像特定部による設備画像特定処理の一例を説明するための図である。図9は、実施の形態1にかかる設備画像特定部による設備画像特定処理の他の例を示す図である。 FIG. 8 is a diagram for explaining an example of the equipment image specifying process by the equipment image specifying unit according to the first embodiment. FIG. 9 is a diagram showing another example of the equipment image specifying process by the equipment image specifying unit according to the first embodiment.
図8に示す例では、画像抽出部13によって設備部分画像81〜812が抽出されている。以下、設備部分画像81〜8kの各々を個別に区別せずに示す場合、設備部分画像8と記載する。図8に示すように、設備部分画像81〜812の各々は、画像分割部12による分割前の位置が設備部分画像81〜812のうち少なくとも一つと互いに隣接する位置にあるため、設備画像特定部15は、設備部分画像81〜812を連結する。In the example shown in FIG. 8, the equipment
設備画像特定部15は、図8に示すように、設備部分画像81〜812が各々画像分割部12による分割前の位置になるように設備部分画像81〜812を連結することで、設備部分画像81〜812を含む一つの連結画像9を生成する。Facility
設備画像特定部15は、連結画像9のサイズが予め設定された範囲内であるか否かを判定し、連結画像9のサイズが予め設定された範囲内であると判定した場合に、連結画像9を設備画像として特定する。例えば、図8において、連結画像9のX軸方向の長さSxが以下の式(1)を満たし、連結画像9のY軸方向の長さSyが以下の式(2)を満たす場合に、連結画像9を設備画像として特定する。「αmin」および「αmax」は、X軸の範囲を特定するためのパラメータであり、「βmin」および「βmax」は、Y軸の範囲を特定するためのパラメータである。
αmin<Sx<αmax ・・・(1)
βmin<Sy<βmax ・・・(2)The equipment
αmin <Sx <αmax ・ ・ ・ (1)
βmin <Sy <βmax ・ ・ ・ (2)
設備画像特定部15は、構造物画像5が複数の領域画像6から構成される場合において、トンネル軸方向で複数の領域画像6を繋げたと仮定した場合に隣接する位置にある設備部分画像8同士を連結する。例えば、複数の領域画像6がトンネル軸方向に沿って連続する第1の領域画像と第2の領域画像とを含み、第1の領域画像の一端と第2の領域画像の一端とがトンネル軸方向で互いに対向する位置関係にあるとする。設備画像特定部15は、第1の領域画像の一端に設備部分画像8がある場合、第1の領域画像の一端にある設備部分画像8とトンネル軸方向で対向する設備部分画像8が第2の領域画像の一端にあるかどうかを判定する。設備画像特定部15は、第2の領域画像の一端に設備部分画像8があると判定した場合、第2の領域画像の一端にある設備部分画像8を第1の領域画像の一端にある設備部分画像8に連結する。なお、設備画像特定部15は、構造物画像情報に上述した識別番号の情報が含まれる場合、識別番号の情報に基づいて、複数の領域画像6の位置関係を判定する。また、設備画像特定部15は、構造物画像情報に上述した撮像位置の情報および軌跡情報が含まれる場合、走行型計測装置2の走行軌跡における走行型計測装置2の撮像位置に基づいて、複数の領域画像6の位置関係を判定する。
In the case where the
図9に示す例では、画像抽出部13によって設備部分画像813,814が抽出されている。図9に示すように、設備部分画像813,814は、画像分割部12による分割前の位置が互いに隣接する位置にあるため、設備画像特定部15は、設備部分画像813,814を連結する。図9に示す連結画像9は、X軸方向の長さSxが最小値αminよりも小さく、Y軸方向の長さSyが最小値βminよりも小さい。そのため、設備画像特定部15は、図9に示す連結画像9を設備画像として特定しない。In the example shown in FIG. 9, the equipment
このように、設備画像特定部15は、サイズが予め設定された範囲内である連結画像9を設備画像として特定する。そのため、設備画像特定部15は、連結画像9のサイズにかかわらず連結画像9を設備画像として特定する場合に比べて、設備4の画像以外の画像を設備画像として誤って特定してしまう可能性を低減することができる。
In this way, the equipment
また、設備画像特定部15は、画像分割部12によって分割された複数の分割画像7のうち、画像分割部12による分割前の位置が複数の設備部分画像8のうち少なくともいずれか1つと隣接する位置にある複数の分割画像7を抽出する。設備画像特定部15は、抽出した複数の分割画像7と複数の設備部分画像8とを画像分割部12による分割前の位置関係になるように連結して連結画像9を生成する。設備画像特定部15は、例えば、サイズ拡大設定がある場合に、画像分割部12による分割前の位置が設備部分画像8と隣接する分割画像7を用いて連結画像9を生成する。設備画像特定部15は、入力部16への操作がサイズ拡大設定を行うための操作である場合に、サイズ拡大設定フラグをオンにする。設備画像特定部15は、サイズ拡大設定フラグがオンである場合に、サイズ拡大設定があると判定する。
Further, in the equipment
図10は、実施の形態1にかかる設備画像特定部による設備画像特定処理の他の例を示す図である。図10に示す例では、画像抽出部13によって設備部分画像82,83,85〜88,810,811が抽出されている。設備画像特定部15は、画像分割部12による分割前の位置が複数の設備部分画像82,83,85〜88,810,811のうち少なくともいずれか1つと隣接する位置にある複数の分割画像71〜75,78,79,712,713,716,717,720〜724を抽出する。FIG. 10 is a diagram showing another example of the equipment image specifying process by the equipment image specifying unit according to the first embodiment. In the example shown in FIG. 10, the equipment
そして、設備画像特定部15は、複数の設備部分画像82,83,85〜88,810,811と複数の分割画像71〜75,78,79,712,713,716,717,720〜724とを画像分割部12による分割前の位置関係になるように連結して連結画像9を生成する。Then, the equipment
画像抽出部13が設備4の一部を示す画像ではない分割画像7を設備部分画像8として誤判定する可能性を低減するために、第1学習モデルの学習データとして用いられる画像には、設備4の一部の画像が占める割合が少ない画像が含まれない場合がある。この場合、画像抽出部13は、設備4の一部の画像が占める割合が少ない分割画像7を設備部分画像8として抽出することが難しい場合がある。設備画像特定部15は、上述のように、設備部分画像8に加えて、設備部分画像8に隣接する分割画像7を連結画像9の生成に用いる。そのため、画像抽出部13において設備4の一部の画像が占める割合が少ない分割画像7がある場合であっても、設備画像を精度よく特定することができる。
In order to reduce the possibility that the
このように、画像処理システム1は、設備4の画像よりも小さなサイズの分割画像7を用いて設備画像を特定することから、設備画像を特定する際に取り扱う画像のサイズが小さい。そのため、画像処理システム1は、構造物画像5を分割しない場合に比べ、設備画像を特定するための処理に使用するメモリ量を低減させることができる。
As described above, since the image processing system 1 specifies the equipment image by using the divided
図4に示す特定領域抽出部17は、設備画像として特定された連結画像9における特定領域の画像を抽出する。特定領域は、例えば、異常判定の対象となる部品である判定対象部品の画像を含む領域であり、設備4の設計図などから設定される。判定対象部品は、例えば、設備4をトンネル3の内壁3aへ取り付けるためのボルトまたはネジなどの締結具、または設備4を構成する部品などである。
The specific
設備情報記憶部18には、設備4の設計図の情報である設計図情報が記憶されており、設計図情報には判定対象部品の領域を示す情報が含まれる。特定領域抽出部17は、設備情報記憶部18に記憶された設計図情報に基づいて、判定対象部品の領域を判定する。特定領域抽出部17は、判定した判定対象部品の領域に基づいて、判定対象部品の領域を含む領域を上述した特定領域として決定する。なお、特定領域抽出部17は、入力部16へ入力される特定領域の情報に基づいて、特定領域を決定することもできる。
The equipment
図11は、実施の形態1にかかる特定領域抽出部による特定領域画像処理の一例を説明するための図である。図11に示す例では、特定領域抽出部17は、連結画像9における4つの特定領域301,302,303,304の画像である特定領域画像311,312,313,314を抽出する。以下、特定領域301,302,303,304の各々を個別に区別せずに示す場合、特定領域30と記載する場合がある。また、特定領域画像311,312,313,314の各々を個別に区別せずに示す場合、特定領域画像31と記載する場合がある。FIG. 11 is a diagram for explaining an example of specific area image processing by the specific area extraction unit according to the first embodiment. In the example shown in FIG. 11, the specific
図4に示す異常判定部19は、特定領域抽出部17によって抽出された特定領域画像31から設備4の異常を判定する。設備4の異常は、例えば、設備4のトンネル3の内壁3aへの取り付け状態の異常、または設備4の亀裂などの異常である。異常判定部19は、例えば、機械学習によって生成された学習モデルを用いて、特定領域抽出部17によって抽出された特定領域画像31から設備4を構成する判定対象部品の異常を判定する。判定対象部品の異常は、判定対象部品が締結具である場合、締結具の緩み、締結具の錆び、締結具の欠損、締結具の欠落、または設備4を構成する部品の亀裂などである。
The
異常判定部19は、第2学習モデルの情報を有しており、特定領域抽出部17によって抽出された画像から第2学習モデルを用いて判定対象部品の異常を判定する。第2学習モデルは、異常がある判定対象部品の画像を用いた機械学習によって生成される計算モデルである。第2学習モデルに入力される情報は、特定領域抽出部17によって抽出された特定領域画像31であり、第2学習モデルから出力される情報は、判定対象部品が異常であるか否かを示す情報である。第2学習モデルは、例えば、畳み込みニューラルネットワークであるが、線形回帰またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよい。
The
第2学習モデルは、図4に示す第2学習モデル生成部20によって生成される。第2学習モデル生成部20は、学習用データを用いた機械学習によって第2学習モデルを生成する。学習用データは、例えば、異常がない判定対象部品の画像および異常がある判定対象部品の画像である。第2学習モデル生成部20は、異常がない判定対象部品の画像を正解画像とし、異常がある判定対象部品の画像を不正解画像とした学習処理によって、第2学習モデルを生成する。
The second learning model is generated by the second learning
異常判定部19は、特定領域抽出部17によって抽出された特定領域画像31を第2学習モデルへ入力し、第2学習モデルから出力される情報に基づいて、判定対象部品の異常を判定する。具体的には、異常判定部19は、判定対象部品が異常であることを示す情報が第2学習モデルから出力された場合、判定対象部品が異常であると判定する。また、異常判定部19は、判定対象部品が異常ではないことを示す情報が第2学習モデルから出力された場合、判定対象部品が異常ではないと判定する。
The
図12は、実施の形態1にかかる異常判定部による異常判定処理の一例を説明するための図である。図12に示す例では、特定領域抽出部17によって抽出された特定領域画像311,312,313,314が第2学習モデルに入力されている。そして、異常判定部19は、特定領域画像312,313,314に対応する3つの判定対象部品は正常であり、特定領域画像311に対応する1つの判定対象部品は異常であると判定している。FIG. 12 is a diagram for explaining an example of the abnormality determination process by the abnormality determination unit according to the first embodiment. In the example shown in FIG. 12, the specific
このように、画像処理システム1は、連結画像9に対して、設計図面などで事前に設定した特定領域301,302,303,304に含まれる特定領域画像311,312,313,314を特定し、各特定領域画像311,312,313,314を用いて設備4の異常を判定する。そのため、画像処理システム1は、連結画像9をそのまま用いて設備4の異常を判定する場合に比べて、設備4の異常を判定する処理にかかる時間を短縮することができる。また、画像処理システム1は、第2学習モデルを用いて設備4の異常を判定する処理を行うことから、設備4に対する異常判定の精度を高めることができる。Thus, the image processing system 1 is connected to the
異常判定部19は、異常であると判定した判定対象部品の情報を示す設備異常情報を図4に示す設備異常情報記憶部21に記憶する。図4に示す表示処理部22は、入力部16への特定操作があった場合に、設備異常情報記憶部21から設備異常情報を読み出し、読み出した設備異常情報に基づいて、異常であると判定した判定対象部品の情報を表示部23に表示する。
The
図13は、実施の形態1にかかる画像処理システムによる処理手順の一例を示すフローチャートである。図13に示す処理は、例えば、画像処理システム1によって構造物画像5が取得された場合または入力部16への特定操作がある場合に開始される。
FIG. 13 is a flowchart showing an example of a processing procedure by the image processing system according to the first embodiment. The process shown in FIG. 13 is started, for example, when the
図13に示すように、画像処理システム1の画像分割部12は、構造物画像5を複数の分割画像7へ分割する(ステップS10)。次に、画像処理システム1の画像抽出部13は、画像抽出処理を行う(ステップS11)。かかる画像抽出処理は、図14に示すステップS20〜S24の処理であり、後述する。
As shown in FIG. 13, the
次に、画像処理システム1の設備画像特定部15は、設備画像特定処理を行う(ステップS12)。かかる設備画像特定処理は、図15に示すステップS30〜S39の処理であり後述する。次に、画像処理システム1の異常判定部19は、特定領域画像処理および異常判定処理を行う(ステップS13)。特定領域画像処理および異常判定処理は、図16に示すステップS40〜S45の処理であり、後述する。画像処理システム1は、ステップS13の処理を終了すると、図13に示す処理を終了する。
Next, the equipment
図14は、実施の形態1にかかる画像抽出部による画像抽出処理の一例を示すフローチャートである。図14に示すように、画像抽出部13は、画像分割部12によって生成された複数の分割画像7のうち画像抽出部13による処理が未処理の分割画像7を選択し(ステップS20)、ステップS20で選択した分割画像7を第1学習モデルへ入力する(ステップS21)。画像抽出部13は、第1学習モデルの出力に基づいて、ステップS20で選択した分割画像7が設備部分画像8であるか否かを判定する(ステップS22)。
FIG. 14 is a flowchart showing an example of the image extraction process by the image extraction unit according to the first embodiment. As shown in FIG. 14, the
画像抽出部13は、ステップS20で選択した分割画像7が設備部分画像8であると判定した場合(ステップS22:Yes)、ステップS20で選択した分割画像7を設備部分画像8として抽出する(ステップS23)。画像抽出部13は、ステップS23の処理が終了した場合、または分割画像7が設備部分画像8ではないと判定した場合(ステップS22:No)、画像分割部12によって生成された複数の分割画像7のうちステップS20において未選択の分割画像7があるか否かを判定する(ステップS24)。
When the
画像抽出部13は、未選択の分割画像7があると判定した場合(ステップS24:Yes)、処理をステップS20へ移行する。画像抽出部13は、未選択の分割画像7がないと判定した場合(ステップS24:No)、図14に示す処理を終了する。
When the
図15は、実施の形態1にかかる設備画像特定部による設備画像特定処理の一例を示すフローチャートである。図15に示すように、設備画像特定部15は、画像抽出部13によって抽出された複数の設備部分画像8のうち設備画像特定部15で未処理の設備部分画像8を選択する(ステップS30)。設備画像特定部15は、ステップS30で選択した設備部分画像8に隣接する設備部分画像8または連結画像9があるか否かを判定する(ステップS31)。
FIG. 15 is a flowchart showing an example of the equipment image specifying process by the equipment image specifying unit according to the first embodiment. As shown in FIG. 15, the equipment
設備画像特定部15は、隣接する設備部分画像8または連結画像9があると判定した場合(ステップS31:Yes)、ステップS30で選択した設備部分画像8を隣接する設備部分画像8または連結画像9に連結する(ステップS32)。
When the equipment
設備画像特定部15は、ステップS32の処理が終了した場合、または隣接する設備部分画像8または連結画像9がないと判定した場合(ステップS31:No)、複数の設備部分画像8のうちステップS30において未選択の設備部分画像8があるか否かを判定する(ステップS33)。設備画像特定部15は、未選択の設備部分画像8があると判定した場合(ステップS33:Yes)、処理をステップS30へ移行する。設備画像特定部15は、未選択の設備部分画像8がないと判定した場合(ステップS33:No)、ステップS32で生成された連結画像9があるか否かを判定する(ステップS34)。
When the processing of step S32 is completed, or when it is determined that there is no adjacent equipment
設備画像特定部15は、連結画像9があると判定した場合(ステップS34:Yes)、サイズ拡大設定があるか否かを判定する(ステップS35)。設備画像特定部15は、サイズ拡大設定があると判定した場合(ステップS35:Yes)、連結画像9に隣接する分割画像7を連結画像9に結合して連結画像9を変更する(ステップS36)。
When the equipment
設備画像特定部15は、ステップS36の処理が終了した場合、またはサイズ拡大設定がないと判定した場合(ステップS35:No)、連結画像9のサイズが予め設定された範囲であるか否かを判定する(ステップS37)。設備画像特定部15は、連結画像9のサイズは予め設定された範囲であると判定した場合(ステップS37:Yes)、サイズが予め設定された範囲である連結画像9を設備画像として特定する(ステップS38)。
When the processing of step S36 is completed or when it is determined that there is no size enlargement setting (step S35: No), the equipment
設備画像特定部15は、ステップS38の処理が終了した場合、または連結画像9のサイズは予め設定された範囲でないと判定した場合(ステップS37:No)、設備画像特定部15での処理が未処理の連結画像9があるか否かを判定する(ステップS39)。設備画像特定部15は、未処理の連結画像9があると判定した場合(ステップS39:Yes)、処理をステップS37へ移行する。設備画像特定部15は、未処理の連結画像9がないと判定した場合(ステップS39:No)、または連結画像9がないと判定した場合(ステップS34:No)、図15に示す処理を終了する。
When the processing of step S38 is completed, or when it is determined that the size of the
図16は、実施の形態1にかかる特定領域抽出部による特定領域画像処理および異常判定部による異常判定処理の各々の一例を示すフローチャートである。図16に示すように、特定領域抽出部17は、設備画像特定部15によって設備画像として特定された連結画像9のうち異常判定部19で未処理の連結画像9を選択する(ステップS40)。特定領域抽出部17は、ステップS40で選択した連結画像9から特定領域画像31を抽出し(ステップS41)、抽出した特定領域画像31を第2学習モデルへ入力する(ステップS42)。
FIG. 16 is a flowchart showing an example of each of the specific area image processing by the specific area extraction unit and the abnormality determination processing by the abnormality determination unit according to the first embodiment. As shown in FIG. 16, the specific
異常判定部19は、第2学習モデルの出力に基づいて、判定対象部品に異常があるか否かを判定する(ステップS43)。異常判定部19は、判定対象部品に異常があると判定した場合(ステップS43:Yes)、異常であると判定した判定対象部品の情報を示す設備異常情報を設備異常情報記憶部21に記憶する(ステップS44)。異常判定部19は、ステップS44の処理が終了した場合、または判定対象部品に異常がないと判定された場合(ステップS43:No)、設備画像特定部15によって設備画像として特定された連結画像9のうちステップS40において未選択の連結画像9があるか否かを判定する(ステップS45)。
The
異常判定部19は、未選択の連結画像9があると判定した場合(ステップS45:Yes)、処理をステップS40へ移行する。異常判定部19は、未選択の連結画像9がないと判定した場合(ステップS45:No)、図16に示す処理を終了する。
When the
図17は、実施の形態1にかかる画像処理システムのハードウェア構成の一例を示す図である。図17に示すように、画像処理システム1は、プロセッサ101と、メモリ102と、通信装置103と、入出力回路104と、表示装置105とを備えるコンピュータを含む。
FIG. 17 is a diagram showing an example of the hardware configuration of the image processing system according to the first embodiment. As shown in FIG. 17, the image processing system 1 includes a computer including a
プロセッサ101、メモリ102、通信装置103、入出力回路104、および表示装置105は、例えば、バス106によって互いにデータの送受信が可能である。画像情報記憶部11、設備情報記憶部18、および設備異常情報記憶部21は、メモリ102によって実現される。入力部16は、入出力回路104によって実現される。表示部23は、表示装置105によって実現される。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、取得部10、画像分割部12、画像抽出部13、第1学習モデル生成部14、設備画像特定部15、特定領域抽出部17、異常判定部19、第2学習モデル生成部20、および表示処理部22の機能を実行する。プロセッサ101は、例えば、処理回路の一例であり、CPU(Central Processing Unit)、DSP(Digital Signal Processer)、およびシステムLSI(Large Scale Integration)のうち1つ以上を含む。
The
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、およびEEPROM(登録商標)(Electrically Erasable Programmable Read Only Memory)のうち1つ以上を含む。また、メモリ102は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびDVD(Digital Versatile Disc)のうち1つ以上を含む。なお、画像処理システム1は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)などの集積回路を含んでいてもよい。
The
画像処理システム1は、クライアント装置で構成されてもよく、サーバ装置で構成されてもよく、クライアント装置とサーバ装置とで構成されてもよい。画像処理システム1が2つ以上の装置で構成される場合、2つ以上の装置の各々は、例えば、図17に示すハードウェア構成を有する。なお、2つ以上の装置間の通信は、通信装置103を介して行われる。また、画像処理システム1は、2つ以上のサーバ装置で構成されてもよい。例えば、画像処理システム1は、処理サーバと、データサーバとで構成されてもよい。この場合、処理サーバは、例えば、取得部10、画像分割部12、画像抽出部13、第1学習モデル生成部14、設備画像特定部15、特定領域抽出部17、異常判定部19、第2学習モデル生成部20、および表示処理部22を有する。また、データサーバは、画像情報記憶部11、第1学習モデル生成部14、設備情報記憶部18、および設備異常情報記憶部21を有する。
The image processing system 1 may be composed of a client device, a server device, or a client device and a server device. When the image processing system 1 is composed of two or more devices, each of the two or more devices has, for example, the hardware configuration shown in FIG. Communication between two or more devices is performed via the
以上のように、実施の形態1にかかる画像処理システム1は、画像分割部12と、画像抽出部13と、設備画像特定部15とを備える。画像分割部12は、構造物に取り付けられた設備4の画像を含む構造物の画像を、設備4の全体を示す画像よりも小さなサイズの複数の分割画像7へ分割する。画像抽出部13は、画像分割部12によって分割された複数の分割画像7の中から設備4の一部を示す設備部分画像8を複数抽出する。設備画像特定部15は、画像抽出部13で抽出された複数の設備部分画像8のうち画像分割部12による分割前の位置が互いに隣接する位置にある2つ以上の設備部分画像8を連結し、連結した2つ以上の設備部分画像8を含む連結画像9を設備4の画像として特定する。画像処理システム1は、設備4の全体を示す画像よりも小さなサイズの分割画像7を用いて設備画像を特定することから、構造物画像5を分割しない場合に比べ、設備画像を特定するための処理に使用するメモリ量を低減させることができる。
As described above, the image processing system 1 according to the first embodiment includes an
また、画像抽出部13は、設備4の一部を示す画像を用いた機械学習によって生成される第1学習モデルを有し、画像分割部12によって分割された複数の分割画像7の中から第1学習モデルを用いて設備部分画像8を複数抽出する。これにより、画像処理システム1は、設備画像を精度よく特定することができる。
Further, the
また、設備画像特定部15は、連結画像9のサイズが予め設定された範囲内であるか否かを判定し、連結画像9のサイズが予め設定された範囲内であると判定した場合に、連結画像9を設備画像として特定する。これにより、画像処理システム1は、設備画像を精度よく特定することができる。
Further, the equipment
また、設備画像特定部15は、画像分割部12によって分割された複数の分割画像7のうち、画像分割部12による分割前の位置が2つ以上の設備部分画像8のうち少なくともいずれか1つと隣接する位置にある複数の分割画像7と2つ以上の設備部分画像8とを連結して連結画像9を生成する。これにより、画像処理システム1は、設備画像を精度よく特定することができる。
Further, the equipment
また、画像処理システム1は、連結画像9における特定領域30の画像である特定領域画像31を抽出する特定領域抽出部17と、特定領域抽出部17によって抽出された特定領域画像31から設備部分画像8の異常を判定する異常判定部19とを備える。これにより、画像処理システム1は、連結画像9をそのまま用いて判定対象部品の異常を判定する場合に比べて、異常判定処理の時間を短縮することができる。
Further, the image processing system 1 is a facility partial image from the specific
また、異常判定部19は、判定対象部品が異常である状態の判定対象部品の画像を用いて機械学習によって生成された第2学習モデルを有する。第2学習モデルは、異常判定用の学習モデルの一例である。異常判定部19は、特定領域抽出部17によって抽出された画像を第2学習モデルへ入力して得られる結果に基づいて、設備4の異常を判定する。これにより、画像処理システム1は、判定対象部品に対する異常判定の精度を高めることができる。
Further, the
実施の形態2.
実施の形態2にかかる画像処理システムは、走行型計測装置から設備4を含むトンネル3の内壁3a全体の画像を構造物画像として走行型計測装置から取得し、構造物画像における連結画像9の位置に基づいて設備画像を特定する処理を行う点で、実施の形態1にかかる画像処理システム1と異なる。以下においては、実施の形態1と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態1の画像処理システム1および走行型計測装置2と異なる点を中心に説明する。
The image processing system according to the second embodiment acquires an image of the entire
図18は、本発明の実施の形態2にかかる画像処理システムを説明するための図である。図18に示す画像処理システム1Aは、走行型計測装置2Aによって生成されるトンネル3の画像から、トンネル3に取り付けられた設備4の画像である設備画像を特定し、特定した設備画像から設備4の異常を検出する。
FIG. 18 is a diagram for explaining the image processing system according to the second embodiment of the present invention. The
図19は、実施の形態2にかかる走行型計測装置による構造物画像の取得方法の一例を示す図である。図19に示すように、走行型計測装置2Aは、撮像部51A,51Bを搭載している。かかる走行型計測装置2Aは、構造物であるトンネル3内を走行し且つ撮像部51A,51Bの向きを変えながら走行型計測装置2Aの周囲を繰り返し撮像し、構造物画像を生成する。走行型計測装置2Aによって生成される構造物画像は、トンネル3の内壁3a全体に亘る画像である。
FIG. 19 is a diagram showing an example of a method for acquiring a structure image by the traveling type measuring device according to the second embodiment. As shown in FIG. 19, the traveling
図20は、実施の形態2にかかる走行型計測装置によって計測される構造物画像の一例を示す図である。図20において、トンネル軸方向がX軸方向であり、トンネル周方向がY軸方向である。トンネル軸方向は、トンネル3の延伸方向である。
FIG. 20 is a diagram showing an example of a structure image measured by the traveling type measuring device according to the second embodiment. In FIG. 20, the tunnel axial direction is the X-axis direction, and the tunnel circumferential direction is the Y-axis direction. The tunnel axial direction is the extension direction of the
図20に示す構造物画像5Aは、トンネル3の内壁3a全体の画像であり、トンネル3の内壁3aの全体を2次元平面に展開したと仮定した場合におけるトンネル3の展開画像である。走行型計測装置2Aは、撮像部51Aから順次出力される複数の領域画像6A1〜6A5をトンネル軸方向で繋ぎ合わせて領域画像6Aを生成し、撮像部51Bから順次出力される複数の領域画像6B1〜6B5をトンネル軸方向で繋ぎ合わせて領域画像6Bを生成する。走行型計測装置2Aは、領域画像6Aと領域画像6Bとをトンネル周方向で繋ぎ合わせることで、構造物画像5Aを生成する。領域画像6Aには複数の設備41〜47の画像が含まれ、領域画像6Bには複数の設備48〜414の画像が含まれる。なお、構造物画像5Aは、構造物画像5と同様に、繋ぎ合わされていない状態の複数の領域画像6A1〜6A5,6B1〜6B5の情報を含んでいてもよい。The
図21は、実施の形態2にかかる画像処理システムの構成例を示す図である。図21に示すように、実施の形態2にかかる画像処理システム1Aは、設備画像特定部15に代えて設備画像特定部15Aを備える。設備画像特定部15Aは、構造物画像5Aにおける連結画像9の位置に基づいて、連結画像9の回転処理および反転処理のうちの少なくとも1つの処理を行い、かかる処理を行った連結画像9を設備画像として特定する。
FIG. 21 is a diagram showing a configuration example of the image processing system according to the second embodiment. As shown in FIG. 21, the
例えば、設備画像特定部15Aは、構造物画像5Aのうち図20に示す領域画像6Aから抽出した複数の分割画像7を連結して得られる連結画像9を180度回転し、180度回転した連結画像9を設備画像として特定する。また、設備画像特定部15Aは、構造物画像5Aのうち図20に示す領域画像6Bから抽出した複数の分割画像7を連結して得られる連結画像9をそのまま設備画像として特定する。
For example, the equipment
図20に示す構造物画像5Aの種類は、見上げ図であり、トンネル3の内壁3aをトンネル3内から見た場合のトンネル3の内壁3aの画像を展開した展開画像であるが、走行型計測装置2Aは、見下げ図を生成することもできる。見下げ図は、トンネル3の内壁3aをトンネル外からみたと仮定した場合のトンネル3の内壁3aの画像を展開した展開画像である。以下、見下げ図の構造物画像を構造物画像5A’と記載する。
The type of the
ここで、見上げ図と見下げ図について図面を参照して説明する。図22は、実施の形態2にかかる見上げ図と見下げ図との関係を説明するための図である。図22に示す例では、説明を分かりやすくするために、トンネル3に取り付けられる2つの設備4を便宜的に「2」の文字と「5」の文字とで表現している。また、図22に示す例では、トンネル3の入口の右端を「a1」とし、トンネル3の入口の左端を「b1」とし、トンネル3の出口の右端を「a2」とし、トンネル3の出口の左端を「b2」としている。なお、ここでの左右方向は、トンネル3の入口の手前からトンネル3を見た場合の方向である。
Here, the looking-up view and the looking-down view will be described with reference to the drawings. FIG. 22 is a diagram for explaining the relationship between the looking-up view and the looking-down view according to the second embodiment. In the example shown in FIG. 22, for the sake of clarity, the two facilities 4 attached to the
トンネル3の内壁3aの画像をトンネル3の左端b1,b2を基準として展開することでトンネル3の見上げ図が得られる。かかる見上げ図では、「2」の文字が180度回転した状態である。そこで、設備画像特定部15Aは、構造物画像5Aの領域画像6Aから抽出した複数の分割画像7を連結して得られる連結画像9を180度回転し、180度回転した連結画像9を設備画像として特定する。すなわち、設備画像特定部15Aは、構造物画像5Aにおける連結画像9の位置が領域画像6Aに含まれる場合、180度回転した連結画像9を設備画像として特定する。
A top-up view of the
また、トンネル3の内壁3aの画像をトンネル3の右端a1,a2を基準として展開することでトンネル3の見下げ図が得られる。見下げ図において、領域画像6A’は、領域画像6Aを変換して得られる画像であり、領域画像6B’は、領域画像6Bを変換して得られる画像である。かかる見下げ図では、「2」の文字が左右反転した状態であり、また、「5」の文字が上下反転した状態である。
Further, by developing the image of the
そこで、設備画像特定部15Aは、構造物画像5A’の領域画像6A’から抽出した複数の分割画像7を連結して得られる連結画像9を左右反転し、左右反転した連結画像9を設備画像として特定する。すなわち、設備画像特定部15Aは、構造物画像5A’における連結画像9の位置が領域画像6A’に含まれる場合、左右反転した連結画像9を設備画像として特定する。
Therefore, the equipment
また、設備画像特定部15Aは、構造物画像5A’の領域画像6B’から抽出した複数の分割画像7を連結して得られる連結画像9を上下反転し、上下反転した連結画像9を設備画像として特定する。すなわち、設備画像特定部15Aは、構造物画像5A’における連結画像9の位置が領域画像6B’に含まれる場合、上下反転した連結画像9を設備画像として特定する。
Further, the equipment
このように、設備画像特定部15Aは、構造物画像における連結画像9の位置と、構造物画像の種類とに基づいて、連結画像9を回転する処理または連結画像9を反転する処理を行う。これにより、設備画像特定部15Aは、設備画像を適切に特定することができ、設備画像特定部15Aによって特定された設備画像から設備4の異常を精度よく判定することができる。
In this way, the equipment
なお、画像処理システム1Aは、走行型計測装置2Aから構造物画像5A’を取得することに代えて、構造物画像5Aを見下げ図へ変換する不図示の装置から見下げ図である構造物画像5A’を取得することもできる。
Instead of acquiring the structure image 5A'from the traveling
図23は、実施の形態2にかかる設備画像特定部による設備画像特定処理手順における一部の手順の一例を示すフローチャートである。図23に示す処理は、図15に示すステップS34とステップS35との間に行われる処理である。 FIG. 23 is a flowchart showing an example of a part of the procedure in the equipment image identification processing procedure by the equipment image identification unit according to the second embodiment. The process shown in FIG. 23 is a process performed between step S34 and step S35 shown in FIG.
図23に示すように、画像処理システム1Aの設備画像特定部15Aは、構造物画像が見上げ図であるか否かを判定する(ステップS50)。設備画像特定部15Aは、構造物画像が見上げ図であると判定した場合(ステップS50:Yes)、構造物画像5Aにおける連結画像9の位置が特定の位置であるか否かを判定する(ステップS51)。ステップS51において、設備画像特定部15Aは、連結画像9が構造物画像5Aにおける領域画像6Aに含まれる画像である場合、連結画像9の位置が特定の位置であると判定する。
As shown in FIG. 23, the equipment
設備画像特定部15Aは、連結画像9の位置が特定の位置であると判定した場合(ステップS51:Yes)、連結画像9を180度回転し、180度回転した連結画像9を設備画像として特定する(ステップS52)。設備画像特定部15Aは、構造物画像が見上げ図ではないと判定した場合(ステップS50:No)、構造物画像5A’における連結画像9の位置が特定の位置であるか否かを判定する(ステップS53)。ステップS53において、設備画像特定部15Aは、構造物画像5A’における連結画像9の位置が領域画像6B’に含まれる画像である場合、連結画像9の位置が特定の位置であると判定する。
When the equipment
設備画像特定部15Aは、連結画像9の位置が特定の位置であると判定した場合(ステップS53:Yes)、連結画像9を上下反転し、上下反転した連結画像9を設備画像として特定する(ステップS54)。また、設備画像特定部15Aは、連結画像9の位置が特定の位置ではないと判定した場合(ステップS53:No)、連結画像9を左右反転し、左右反転した連結画像9を設備画像として特定する(ステップS55)。
When the equipment
設備画像特定部15Aは、ステップS52の処理が終了した場合、連結画像9の位置が特定の位置ではないと判定した場合(ステップS51:No)、ステップS54の処理が終了した場合、またはステップS55の処理が終了した場合、図23に示す処理を終了する。
The equipment
図21に示す画像処理システム1Aのハードウェア構成は、図17に示す画像処理システム1のハードウェア構成と同じである。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、設備画像特定部15Aの機能を実行することができる。
The hardware configuration of the
以上のように、実施の形態2にかかる画像処理システム1Aの設備画像特定部15Aは、構造物画像5A,5A’における連結画像9の位置に基づく連結画像9の回転処理および反転処理のうち少なくとも1つの処理を含み、かかる処理が行われた連結画像9を設備画像として特定する。これにより、異常判定部19は、設備画像特定部15Aによって特定された設備画像から設備4の異常を精度よく判定することができる。
As described above, the equipment
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。 The configuration shown in the above-described embodiment shows an example of the content of the present invention, can be combined with another known technique, and is one of the configurations without departing from the gist of the present invention. It is also possible to omit or change the part.
1,1A 画像処理システム、2,2A 走行型計測装置、3 トンネル、3a 内壁、4,41〜414 設備、5,5A,5A’ 構造物画像、6,61〜65,6A,6A1〜6A5,6B,6B1〜6B5 領域画像、7,71〜75,78,79,712,713,716,717,720〜724 分割画像、8,81〜814 設備部分画像、9 連結画像、10 取得部、11 画像情報記憶部、12 画像分割部、13 画像抽出部、14 第1学習モデル生成部、15,15A 設備画像特定部、16 入力部、17 特定領域抽出部、18 設備情報記憶部、19 異常判定部、20 第2学習モデル生成部、21 設備異常情報記憶部、22 表示処理部、23 表示部、30,301,302,303,304 特定領域、31,311,312,313,314 特定領域画像、51,51A,51B 撮像部。1,1A image processing system, 2,2A traveling measuring device, 3 tunnel, 3a inner wall, 4,4 1 to 4 14 equipment, 5,5A, 5A'structure image, 6,6 1 to 6 5 , 6A, 6A 1 to 6A 5 , 6B, 6B 1 to 6B 5 area image, 7, 7 1 to 7 5 , 7 8 , 7 9 , 7 12 , 7 13 , 7 16 , 7 17 , 7 20 to 7 24 split image, 8, 8 1 to 8 14 Equipment partial image, 9 Connected image, 10 Acquisition unit, 11 Image information storage unit, 12 Image division unit, 13 Image extraction unit, 14 First learning model generation unit, 15, 15A Equipment image identification unit , 16 Input unit, 17 Specific area extraction unit, 18 Equipment information storage unit, 19 Abnormality determination unit, 20 Second learning model generation unit, 21 Equipment abnormality information storage unit, 22 Display processing unit, 23 Display unit, 30, 30 1 , 30 2 , 30 3 , 30 4 Specific area, 31, 31 1 , 31 2 , 31 3 , 31 4 Specific area image, 51, 51A, 51B Imaging unit.
Claims (8)
前記画像分割部によって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出部と、
前記画像抽出部で抽出された前記複数の画像のうち前記画像分割部による分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した前記2つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定部と、を備える
ことを特徴とする画像処理システム。An image segmentation section that divides an image of the structure, including an image of the equipment attached to the structure, into a plurality of images having a size smaller than an image showing the entire equipment.
An image extraction unit that extracts a plurality of images showing a part of the equipment from the plurality of images divided by the image segmentation unit, and an image extraction unit.
Of the plurality of images extracted by the image extraction unit, two or more images whose positions before division by the image division unit are adjacent to each other are concatenated, and the concatenation including the two or more images concatenated. An image processing system including an equipment image specifying unit that specifies an image as an image of the equipment.
前記設備の一部を示す画像を用いた機械学習によって生成された学習モデルを有し、前記画像分割部によって分割された前記複数の画像の中から前記学習モデルを用いて前記設備の一部を示す画像を複数抽出する
ことを特徴とする請求項1に記載の画像処理システム。The image extraction unit
It has a learning model generated by machine learning using an image showing a part of the equipment, and a part of the equipment is selected from the plurality of images divided by the image segmentation unit using the learning model. The image processing system according to claim 1, wherein a plurality of the indicated images are extracted.
前記連結画像のサイズが予め設定された範囲内であるか否かを判定し、前記連結画像のサイズが前記予め設定された範囲内であると判定した場合に、前記連結画像を前記設備の画像として特定する
ことを特徴とする請求項1または2に記載の画像処理システム。The equipment image identification part is
When it is determined whether or not the size of the connected image is within the preset range and it is determined that the size of the connected image is within the preset range, the connected image is used as an image of the equipment. The image processing system according to claim 1 or 2, wherein the image processing system is specified as.
前記画像分割部によって分割された前記複数の画像のうち、前記画像分割部による分割前の位置が前記2つ以上の画像のうち少なくともいずれか1つと隣接する位置にある複数の画像と前記2つ以上の画像とを連結して前記連結画像を生成する
ことを特徴とする請求項1から3のいずれか1つに記載の画像処理システム。The equipment image identification part is
Among the plurality of images divided by the image segmentation unit, the plurality of images and the two images whose position before division by the image segmentation unit is adjacent to at least one of the two or more images. The image processing system according to any one of claims 1 to 3, wherein the connected image is generated by connecting the above images.
前記特定領域抽出部によって抽出された画像から前記設備の異常を判定する異常判定部とを備える
ことを特徴とする請求項1から4のいずれか1つに記載の画像処理システム。A specific area extraction unit that extracts an image of a specific area in the connected image, and a specific area extraction unit.
The image processing system according to any one of claims 1 to 4, further comprising an abnormality determination unit for determining an abnormality of the equipment from an image extracted by the specific area extraction unit.
前記設備の部品が異常である状態の前記部品の画像を用いて機械学習によって生成された異常判定用の学習モデルを有し、前記特定領域抽出部によって抽出された画像を前記異常判定用の学習モデルへ入力して得られる結果に基づいて、前記設備の異常を判定する
ことを特徴とする請求項5に記載の画像処理システム。The abnormality determination unit
It has a learning model for abnormality determination generated by machine learning using an image of the component in a state where the component of the equipment is abnormal, and the image extracted by the specific area extraction unit is learned for the abnormality determination. The image processing system according to claim 5, wherein the abnormality of the equipment is determined based on the result obtained by inputting to the model.
トンネルの展開画像であり、
前記設備画像特定部による前記設備の画像を特定する処理は、前記トンネルの展開画像における前記連結画像の位置に基づく前記連結画像の回転処理および反転処理のうち少なくとも1つの処理を含み、前記少なくとも1つの処理が行われた連結画像を前記設備の画像として特定する
ことを特徴とする請求項5または6に記載の画像処理システム。The image of the structure is
It is an unfolded image of the tunnel,
The process of specifying the image of the equipment by the equipment image specifying unit includes at least one of the rotation process and the inversion process of the connected image based on the position of the connected image in the developed image of the tunnel, and at least one of the processes. The image processing system according to claim 5 or 6, wherein the connected image in which the two processes are performed is specified as an image of the equipment.
構造物に取り付けられた設備の画像を含む前記構造物の画像を、前記設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する画像分割ステップと、
前記画像分割ステップによって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出ステップと、
前記画像抽出ステップで抽出された前記複数の画像のうち前記画像分割ステップによる分割前の位置が互いに隣接する位置にある2つ以上の画像を連結し、連結した前記2つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定ステップと、
を含む
ことを特徴とする画像処理方法。It is an image processing method performed by a computer.
An image segmentation step of dividing an image of the structure, including an image of the equipment attached to the structure, into a plurality of images smaller in size than an image showing the entire equipment.
An image extraction step of extracting a plurality of images showing a part of the equipment from the plurality of images divided by the image segmentation step, and an image extraction step.
Of the plurality of images extracted in the image extraction step, two or more images whose positions before division by the image segmentation step are adjacent to each other are concatenated, and the concatenation including the two or more images concatenated. Equipment image identification step to specify the image as the image of the equipment, and
An image processing method characterized by including.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/035262 WO2021044629A1 (en) | 2019-09-06 | 2019-09-06 | Image processing system and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6664574B1 JP6664574B1 (en) | 2020-03-13 |
JPWO2021044629A1 true JPWO2021044629A1 (en) | 2021-09-27 |
Family
ID=70000330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570580A Active JP6664574B1 (en) | 2019-09-06 | 2019-09-06 | Image processing system and image processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6664574B1 (en) |
WO (1) | WO2021044629A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022123218A (en) * | 2021-02-12 | 2022-08-24 | オムロン株式会社 | Image inspection device, image inspection method, and learned model creation device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1144200A (en) * | 1997-07-25 | 1999-02-16 | Toshiba Corp | Road tunnel comprehensively monitoring control device |
JP2002019606A (en) * | 2000-07-03 | 2002-01-23 | Mitsubishi Heavy Ind Ltd | Railroad maintenance traveling device with work robot |
JP4062987B2 (en) * | 2002-06-25 | 2008-03-19 | 松下電工株式会社 | Image area dividing method, image area dividing apparatus, and image area dividing program |
JP2011186719A (en) * | 2010-03-08 | 2011-09-22 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus, method and program for detecting object |
JP6558951B2 (en) * | 2015-05-27 | 2019-08-14 | 株式会社パスコ | Tunnel wall damage detection device and tunnel wall damage detection program |
WO2018116966A1 (en) * | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | Fire monitoring system |
-
2019
- 2019-09-06 JP JP2019570580A patent/JP6664574B1/en active Active
- 2019-09-06 WO PCT/JP2019/035262 patent/WO2021044629A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP6664574B1 (en) | 2020-03-13 |
WO2021044629A1 (en) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4687518B2 (en) | Image processing method, three-dimensional measurement method using the method, and image processing apparatus | |
US10704900B2 (en) | Detection device and detection method | |
US11282186B2 (en) | Anomaly detection using image-based physical characterization | |
TW202105549A (en) | Method of defect detection on a specimen and system thereof | |
JP6757690B2 (en) | Inspection support equipment, inspection support methods and programs | |
CN113167742B (en) | Point inspection support device, point inspection support method, and recording medium for concrete structure | |
US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
JP2019020220A (en) | Image processing apparatus, image processing method, and program | |
US11562479B2 (en) | Inspection apparatus, inspection method, and non-volatile storage medium | |
WO2021044629A1 (en) | Image processing system and image processing method | |
JP7360092B2 (en) | Inspection equipment, inspection method, and inspection program | |
WO2020158726A1 (en) | Image processing device, image processing method, and program | |
JP4670994B2 (en) | Color image processing method and image processing apparatus | |
JP2002140713A (en) | Image processing method and image processor | |
JP2008139262A (en) | Detect inspection method and inspection apparatus using the same | |
JP6749528B1 (en) | Defect management device, modification management method, and modification management program | |
CN113192070B (en) | Weld image processing method and system based on computer vision | |
KR102420856B1 (en) | Method and Device for Examining the Existence of 3D Objects Using Images | |
JP6610367B2 (en) | Inspection apparatus and inspection method for inspection object | |
JP7340434B2 (en) | Reinforcement inspection system, reinforcement inspection method, and reinforcement inspection program | |
CN112150373B (en) | Image processing method, image processing apparatus, and readable storage medium | |
JP2021009702A (en) | Inspection support device, inspection support method and program | |
JP4670993B2 (en) | Color image processing method and image processing apparatus | |
JP4670995B2 (en) | Color image processing method and image processing apparatus | |
JP2021125786A5 (en) | Inspection device, information processing method, inspection system, inspection method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191219 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6664574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |