JP7453848B2 - Face image processing device, face image processing method - Google Patents

Face image processing device, face image processing method Download PDF

Info

Publication number
JP7453848B2
JP7453848B2 JP2020089125A JP2020089125A JP7453848B2 JP 7453848 B2 JP7453848 B2 JP 7453848B2 JP 2020089125 A JP2020089125 A JP 2020089125A JP 2020089125 A JP2020089125 A JP 2020089125A JP 7453848 B2 JP7453848 B2 JP 7453848B2
Authority
JP
Japan
Prior art keywords
crack
image
face image
face
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020089125A
Other languages
Japanese (ja)
Other versions
JP2021183773A (en
Inventor
舜祐 有家
涼 邊見
動太 淡路
広明 伊原
泰司 三原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Corp
Original Assignee
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Corp filed Critical Shimizu Corp
Priority to JP2020089125A priority Critical patent/JP7453848B2/en
Publication of JP2021183773A publication Critical patent/JP2021183773A/en
Application granted granted Critical
Publication of JP7453848B2 publication Critical patent/JP7453848B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lining And Supports For Tunnels (AREA)
  • Image Processing (AREA)

Description

本発明は、切羽画像加工装置、切羽画像加工方法に関する。 The present invention relates to a face image processing device and a face image processing method.

山岳トンネルの切羽周辺にカメラを設置し、切羽を監視するシステムがある(例えば、特許文献1)。このようなシステムでは、切羽をカメラで監視するシステムにおいて、切羽で発生する切羽崩落や肌落ちの予兆である鏡吹付けコンクリートのクラックを検知している。また、このようなシステムにおいて、AI(artificial intelligence;人工知能)を用いて検知しようとする場合には、切羽の鏡吹付けコンクリートに発生するクラックの画像が必要であり、検知する精度を高めるためには、多様なクラック発生パターンや、重機や人などのノイズが含まれた教師データを大量に集める必要がある。 There is a system in which a camera is installed around the face of a mountain tunnel to monitor the face (for example, Patent Document 1). In such a system, the working face is monitored with a camera to detect cracks in mirror shotcrete, which are a sign of face collapse or skin fall that occurs at the working face. In addition, in such a system, when attempting to detect using AI (artificial intelligence), images of cracks that occur in the mirror shotcrete of the face are required, and in order to improve the detection accuracy. , it is necessary to collect a large amount of training data that includes various crack occurrence patterns and noise from heavy machinery and people.

特開2018-207194号公報Japanese Patent Application Publication No. 2018-207194

しかしながら、実際のトンネル切羽において鏡吹付けコンクリートにクラックが発生する頻度は低いため、多種多様な教師データを大量に集めることは非常に難しい。
また、ブレーカーなどの重機を用いて実験的に鏡吹付けコンクリートにクラックを発生させることは可能であるが、得られるクラックパターンは限られてしまうという課題がある。
However, since cracks rarely occur in mirror shotcrete in actual tunnel faces, it is extremely difficult to collect a large amount of diverse training data.
Furthermore, although it is possible to experimentally generate cracks in mirror shotcrete using heavy equipment such as breakers, there is a problem in that the crack patterns that can be obtained are limited.

本発明は、このような事情に鑑みてなされたもので、その目的は、切羽の鏡吹付コンクリートに発生するクラックの画像を効率よく収集することが可能な切羽画像加工装置、切羽画像加工方法を提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a face image processing device and a face image processing method that can efficiently collect images of cracks occurring in mirror shotcrete of the face. It is about providing.

上述した課題を解決するために、本願発明の一態様は、吹付コンクリートが施工された切羽を撮像した切羽画像を取得する取得部と、クラックの種類を選択する指示を入力するクラック種類入力部と、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成するデータ加工部と、前記合成画像を出力する加工データ出力部と、を有し、前記クラック種類入力部は、クラックの幅を指定するクラック幅、クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、のうち少なくともいずれか1つを取得し、前記データ加工部は、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成する切羽画像加工装置である In order to solve the above-mentioned problems, one aspect of the present invention includes an acquisition unit that acquires a face image of a face on which shotcrete has been applied, and a crack type input unit that inputs an instruction to select the type of crack. , a data processing unit that generates a composite image by compositing a crack image indicating that there is a crack in the shotcrete with the face image, and a processed data output unit that outputs the composite image , The crack type input section indicates the crack width that specifies the width of the crack, the crack density that specifies the degree of darkness of the shadow of the crack, and the crack in the image of the crack that actually occurred. The data processing section acquires at least one of the crack colors corresponding to the pixel values of the pixels constituting the image, and the data processing section converts the crack image into the crack image according to the type of crack selected by the crack type input section. This is a face image processing device that synthesizes a face image .

また、本発明の一態様は、取得部が、吹付コンクリートが施工された切羽を撮像した切羽画像を取得し、クラック種類入力部が、クラックの種類を選択する指示を入力し、データ加工部が、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成し、加工データ出力部が、前記合成画像を出力し、前記クラックの種類を選択する指示を入力することは、クラックの幅を指定するクラック幅、クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、のうち少なくともいずれか1つを取得することを含み、前記合成画像を生成することは、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成することを含む切羽画像加工方法である。 Further, in one aspect of the present invention, the acquisition unit acquires a face image obtained by capturing a face on which shotcrete has been applied, the crack type input unit inputs an instruction to select the type of crack, and the data processing unit inputs an instruction to select the type of crack. , a composite image is generated by combining a crack image indicating that there is a crack in the shotcrete with the face image, and a processed data output unit outputs the composite image and selects the type of the crack. Inputting instructions includes crack width to specify the width of the crack, crack density to specify the degree of darkness of the shadow of the crack, and an image showing the crack in which the crack actually occurred. Generating the composite image includes obtaining at least one of the crack colors corresponding to the pixel values of the pixels constituting the image, and generating the composite image includes obtaining at least one crack color corresponding to the pixel value of the pixels constituting the image, and generating the composite image includes obtaining the crack color according to the crack type selected by the crack type input section. This is a face image processing method including composing a corresponding crack image with the face image .

以上説明したように、この発明によれば、切羽の鏡吹付コンクリートに発生するクラックの画像を効率よく収集することができる。 As described above, according to the present invention, images of cracks occurring in the mirror shotcrete of the face can be efficiently collected.

この発明の一実施形態による切羽監視システム1の構成を示す概略ブロック図である。1 is a schematic block diagram showing the configuration of a face monitoring system 1 according to an embodiment of the present invention. 鏡吹付けコンクリートの施工がなされた切羽を撮像した切羽画像にクラック画像を合成した場合の一例を示す図である。It is a figure which shows an example of the case where a crack image is synthesized with the face image which imaged the face on which mirror shotcrete construction was performed. 切羽画像加工装置40の動作を説明するフローチャートである。It is a flow chart explaining operation of face image processing device 40.

以下、本発明の一実施形態による切羽画像加工装置を用いた切羽監視システムについて図面を参照して説明する。
図1は、この発明の一実施形態による切羽監視システム1の構成を示す概略ブロック図である。
切羽監視システム1は、カメラ10と、端末装置20(端末装置20a、端末装置20b)と、操作端末30と、切羽画像加工装置40と、クラック検出装置50を有する。
EMBODIMENT OF THE INVENTION Hereinafter, a face monitoring system using a face image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic block diagram showing the configuration of a face monitoring system 1 according to an embodiment of the present invention.
The face monitoring system 1 includes a camera 10, terminal devices 20 (terminal devices 20a, terminal devices 20b), an operation terminal 30, a face image processing device 40, and a crack detection device 50.

カメラ10は、トンネルの切羽よりも後方側に所定の距離(例えば10メートル程度)の位置におけるトンネルの側壁に設置され、切羽Fを撮像する。カメラ10は、撮像結果を切羽画像としてクラック検出装置50に出力する。カメラ10は、1秒間に数フレームから十数フレーム程度となるタイミングで撮像し、順次クラック検出装置50に切羽画像を出力する。
ここで、切羽Fは、トンネルの掘削が行われることによって露出する地山に対して、厚みが数cm(センチメートル)程度となるようにコンクリートが吹付けられる「鏡吹付けコンクリート」が施工される。
カメラ10は、鏡吹付けコンクリートが施工された切羽を撮像し、切羽画像を出力する。また、カメラ10は、地山掘削、吹付けコンクリート、鋼製支保工建込などの、切羽施工の各種サイクル毎に切羽画像を撮像するようにしてもよい。
The camera 10 is installed on the side wall of the tunnel at a position a predetermined distance (for example, about 10 meters) behind the tunnel face, and images the face F. The camera 10 outputs the imaging result to the crack detection device 50 as a face image. The camera 10 captures images at a timing ranging from several frames to more than ten frames per second, and sequentially outputs face images to the crack detection device 50.
Here, for the face F, "mirror shotcrete" is constructed, in which concrete is sprayed to a thickness of several centimeters (centimeters) onto the ground that is exposed when the tunnel is excavated. Ru.
The camera 10 images a face on which mirror shotcrete has been applied, and outputs a face image. Furthermore, the camera 10 may capture face images for each type of face construction cycle, such as earth excavation, shotcrete, and steel shoring construction.

端末装置20は、切羽に対する掘削施工する現場において複数台(例えば、端末装置20a、端末装置20b等。特に識別しない場合には単に端末装置20と称する。)用いられる。この端末装置20としては、例えば、スマートフォンやタブレット等のいずれかを用いることができる。端末装置20は、掘削等の作業を行う作業者に携帯される。端末装置20は、クラック検出装置50に対し、無線または有線によって接続され、クラック検出装置50と通信を行う機能を有する。また、端末装置20は、スピーカやタッチパネル等を備える。
なお、ここでは端末装置20が2台(端末装置20a、端末装置20b)である場合について説明するが、1台のみであってもよいし、3台以上であってもよい。
A plurality of terminal devices 20 (for example, a terminal device 20a, a terminal device 20b, etc., simply referred to as the terminal device 20 if not specifically identified) are used at a site where excavation work is performed for a face. As this terminal device 20, for example, a smartphone, a tablet, or the like can be used. The terminal device 20 is carried by a worker who performs work such as excavation. The terminal device 20 is connected to the crack detection device 50 wirelessly or by wire, and has a function of communicating with the crack detection device 50. Further, the terminal device 20 includes a speaker, a touch panel, and the like.
Although a case will be described here in which there are two terminal devices 20 (terminal device 20a, terminal device 20b), there may be only one, or three or more terminal devices.

操作端末30は、マウスやキーボード等の入力装置と、ディスプレイ等の表示装置を有する。技術者等のユーザから各種操作を受け付けることができる。この操作端末30としては、コンピュータを用いてもよい。 The operation terminal 30 has an input device such as a mouse and a keyboard, and a display device such as a display. Various operations can be accepted from users such as engineers. A computer may be used as this operating terminal 30.

切羽画像加工装置40は、画像取得部400、記憶部401、切羽画像選択部402、クラック種類入力部403、色抽出部404、データ加工部405、ラベル付与部406、教師データ生成部407、出力部408とを有する。 The face image processing device 40 includes an image acquisition unit 400, a storage unit 401, a face image selection unit 402, a crack type input unit 403, a color extraction unit 404, a data processing unit 405, a labeling unit 406, a teacher data generation unit 407, and an output unit. 408.

ここで、切羽画像加工装置40において、教師データは大きく分けて2種類ある。第1の教師データは、鏡吹付けコンクリートの施工がなされた切羽においてクラックが発生した状態を撮影した画像を用いた教師データであり、第2の教師データは、鏡吹付けコンクリートの施工がなされた切羽を撮像した画像において、クラックが発生していない箇所に対して、クラックを表す画像であるクラック画像が合成された合成画像を用いた教師データである。このようなクラックの形状は、概ね線状である。 Here, in the face image processing device 40, there are roughly two types of teacher data. The first training data is training data using an image taken of a state in which cracks have occurred in a face where mirror shotcrete has been constructed, and the second training data is training data that uses an image taken of a state in which cracks have occurred in a face where mirror shotcrete has been constructed. This training data uses a composite image in which a crack image, which is an image representing a crack, is composited with a portion where no crack has occurred in an image of a face that has been captured. The shape of such a crack is generally linear.

第1の教師データは、実際に切羽の施工現場において鏡吹付けコンクリートにクラックが発生している切羽を撮像した切羽画像を用いることができる。
第2の教師データは、鏡吹付けコンクリートの施工がなされた切羽を撮像した画像に対して、クラックが発生した場合にはどのような状態であるかを、経験や知識をもとに、技術者によって、クラック画像を操作端末30が操作されることで切羽画像に描画された合成画像を用いることができる。
図2は、鏡吹付けコンクリートの施工がなされた切羽を撮像した切羽画像にクラック画像を合成した場合の一例を示す図である。ここでは、クラック画像201、202、203、204、205、206、207、208、209に示すように複数のクラック画像が鏡吹付コンクリートの表面に対して合成される。ここでは、1つの切羽画像に対して複数のクラック画像が合成された場合が図示されているが、1つのみ合成するようにしてもよい。
As the first training data, a face image obtained by capturing an image of a face in which cracks have occurred in mirror shotcrete at an actual face construction site can be used.
The second training data is an image of a face where mirror shotcrete has been constructed, and is based on technical knowledge and experience to determine what the condition would be like if cracks occurred. A composite image drawn on the face image can be used by a person who operates the crack image on the operating terminal 30.
FIG. 2 is a diagram showing an example of a case where a crack image is synthesized with a face image obtained by capturing an image of a face where mirror shotcrete has been applied. Here, a plurality of crack images as shown in crack images 201, 202, 203, 204, 205, 206, 207, 208, and 209 are synthesized on the surface of mirror shotcrete. Although a case is shown in which a plurality of crack images are combined with one face image, only one may be combined.

第1の教師データを用いる場合、鏡吹付けコンクリートに実際に発生したクラックを撮像した画像を用いるため、学習によって得られる学習済みモデルによるクラック判定の精度が高いというメリットがある。一方で、学習に必要な枚数の画像を準備することが容易ではない場合がある。
第2の教師データを用いる場合、実際に発生したクラックを撮像した画像ではないものの、種々のクラックのパターンを描画することができ、学習に必要な枚数の画像を準備しやすいメリットがある。ここでは、合成画像におけるクラック画像は、技術者の経験や知識を反映させた上で描画することで、実際に発生したクラックを高い精度で再現するように描画することも可能である。また、クラックを表す画像は、鏡吹付けコンクリートの施工がなされた切羽が撮像された画像に対し、操作端末30から技術者によって操作入力されることで描画される。クラック画像は、切羽の状態や施工現場の環境を考慮して形状や色味等によって表現される。
When using the first teacher data, an image of a crack that actually occurs in mirror shotcrete is used, so there is an advantage that the accuracy of crack determination by the trained model obtained through learning is high. On the other hand, it may not be easy to prepare the necessary number of images for learning.
When using the second teacher data, although it is not an image of an actually generated crack, various crack patterns can be drawn, and there is an advantage that it is easy to prepare the number of images necessary for learning. Here, by drawing the crack image in the composite image after reflecting the experience and knowledge of the engineer, it is also possible to draw it so as to reproduce the crack that actually occurred with high precision. Further, the image representing the crack is drawn by an engineer inputting an operation from the operation terminal 30 to an image of a face where mirror shotcrete has been applied. The crack image is expressed by shape, color, etc., taking into consideration the condition of the face and the environment of the construction site.

画像取得部400は、吹付コンクリートが施工された切羽を撮像した切羽画像を取得する。例えば、画像取得部400は、カメラ10によって生成される切羽画像を取得する。 The image acquisition unit 400 acquires a face image of a face on which shotcrete has been applied. For example, the image acquisition unit 400 acquires a face image generated by the camera 10.

記憶部401は、各種データを記憶する。例えば記憶部401は、カメラ10によって撮像され画像取得部400によって取得された複数の切羽画像や、後述する合成画像等を記憶する。 The storage unit 401 stores various data. For example, the storage unit 401 stores a plurality of face images captured by the camera 10 and acquired by the image acquisition unit 400, a composite image to be described later, and the like.

切羽画像選択部402は、取得された切羽画像のうち、加工対象とする切羽画像を選択する指示を入力する。
クラック種類入力部403は、クラックの種類を選択する指示を入力する。
The face image selection unit 402 inputs an instruction to select a face image to be processed from among the acquired face images.
A crack type input section 403 inputs an instruction to select the type of crack.

色抽出部404は、吹付コンクリートに対して実際にクラックが生じている切羽を撮像した切羽画像において当該クラックに対して生じた影の表す画像領域の色を抽出する。
ここで、クラックが発生するとその部分に影が生じる。これを利用し、実際に発生したクラックを撮影した画像において、クラックの影の部分の色を抽出し、その抽出された色でクラックを描写し、クラック画像を生成することができる。
The color extracting unit 404 extracts the color of an image area represented by a shadow caused by a crack in a face image obtained by capturing an image of a face where a crack has actually occurred in the shotcrete.
Here, if a crack occurs, a shadow will appear in that area. Using this, it is possible to extract the color of the shadow part of the crack in an image of an actually generated crack, depict the crack with the extracted color, and generate a crack image.

データ加工部405は、吹付けコンクリートにクラックがあることを示すクラック画像を切羽画像に対して合成することで合成画像を生成する。このようにして得られた合成画像は、クラック検出装置50の学習部501において学習を行うために必要な教師データとして用いることができる。
データ加工部405は、切羽画像に対してクラックを表す画像を操作端末30のキーボードやマウス等から入力される操作内容に応じて合成する。操作内容としては、クラック画像を合成する際の条件、クラックそのものを描画するための操作、等であってもよい。
データ加工部405が合成画像を生成する機能は、例えば、画像処理ソフトウェアを実行することで実現してもよい。切羽画像に対してクラック画像を合成する処理を行う画像処理ソフトウェアとしては、アドビシステムズ社(Adobe Systems Incorporated)のPhotoshop(登録商標)を用いてもよい。
The data processing unit 405 generates a composite image by combining a crack image indicating that there is a crack in the shotcrete with the face image. The composite image obtained in this manner can be used as teacher data necessary for learning in the learning section 501 of the crack detection device 50.
The data processing unit 405 synthesizes an image representing a crack with the face image according to the operation details input from the keyboard, mouse, etc. of the operating terminal 30. The operation details may include conditions for synthesizing crack images, operations for drawing the crack itself, and the like.
The function of the data processing unit 405 to generate a composite image may be realized, for example, by executing image processing software. Photoshop (registered trademark) from Adobe Systems Incorporated may be used as the image processing software that performs the process of synthesizing the crack image with the face image.

データ加工部405は、切羽画像選択部402によって選択された切羽画像に対してクラック画像を合成する。例えば、記憶部401に記憶される複数の切羽画像のうち、操作端末30のマウス等を用いて選択された切羽画像を、クラック画像を合成する対象の切羽画像として決定し、合成を行う(加工対象選択機能)。
データ加工部405は、クラック種類入力部403によって選択されたクラックの種類に応じたクラック画像を切羽画像に対して合成する。例えば、クラック画像の態様の選択肢を複数のパターンについて予め記憶部401に記憶しておき、そのクラック画像の態様のうち、操作端末30のマウス等を用いて選択されたパターンのクラック画像を用いて切羽画像に対して合成を行う(クラックパターン選択機能)。
The data processing unit 405 synthesizes a crack image with the face image selected by the face image selection unit 402. For example, among the plurality of face images stored in the storage unit 401, the face image selected using the mouse or the like of the operating terminal 30 is determined as the face image to be combined with the crack image, and the combination is performed (processed). target selection function).
The data processing unit 405 synthesizes a crack image corresponding to the type of crack selected by the crack type input unit 403 with the face image. For example, options for the mode of the crack image are stored in advance in the storage unit 401 for a plurality of patterns, and from among the modes of the crack image, the crack image of the pattern selected using the mouse or the like of the operation terminal 30 is used. Composes the face image (crack pattern selection function).

クラック画像の態様としては、例えば、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ(不透明度)、クラックの色がある。クラックの幅は、鏡吹付けコンクリートに対して実験によって発生させたクラックの場合、最大幅4ピクセル程度(実寸25mm程度)であった。このため、データ加工部405は、4ピクセルを最大幅として、1ピクセルから4ピクセルの間のうちいずれの値にするかを操作端末30からの操作入力を受け付け、指定された幅に従ってクラック画像を生成する。ここではクラックの幅は最大幅4ピクセル程度(実寸25mm程度)としたが、鏡吹付けコンクリートに生じ売るクラックを考慮し、他の値を用いるようにしてもよい。
また、クラックの長さについては、長さの最小値と最大値とを、実験結果を基に予め決めており、その長さの範囲のうちいずれの値にするかを操作端末30からの操作入力を受け付け、指定された長さに従ってクラック画像を生成する。
また、クラックの形状については、直線状、W字状(ジグザグ状)等、形状の特徴に応じた分類であってもよい。データ加工部405は、この分類のいずれにするかについて操作端末30からの操作入力を受け付け、指定された長さに従ってクラック画像を生成することができる。
また、クラックの影の濃さは、実験の結果、様々な場合があった。そのため、データ加工部405は、クラックの影の濃さ(不透明度)について、70%、50%、30%のように、複数の濃さのパターンのうち、いずれにするかについて操作端末30から操作入力を受け付け、指定されたクラックの影の濃さに基づいてクラック画像を生成する。
クラックの色は、色抽出部404によって抽出された色を適用することができる。ここでは、データ加工部405は、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値を取得し、この画素値に応じてクラック画像を生成する。これにとり、実際に生じ得るクラックの色を元に、クラック画像を生成することができる。
The aspects of the crack image include, for example, the width of the crack, the length of the crack, the shape of the crack, the darkness (opacity) of the shadow of the crack, and the color of the crack. In the case of cracks experimentally generated in mirror shotcrete, the maximum width of the crack was about 4 pixels (actual size of about 25 mm). For this reason, the data processing unit 405 accepts an operation input from the operation terminal 30 specifying which value to use between 1 pixel and 4 pixels, with 4 pixels being the maximum width, and converts the crack image according to the specified width. generate. Here, the maximum width of the crack is about 4 pixels (actual size is about 25 mm), but other values may be used in consideration of cracks that occur in mirror shotcrete.
Regarding the length of the crack, the minimum and maximum lengths are predetermined based on experimental results, and it is possible to decide which value to use within the length range by operating the operation terminal 30. It accepts input and generates a crack image according to the specified length.
Moreover, the shape of the crack may be classified according to the characteristics of the shape, such as a straight line or a W-shape (zigzag shape). The data processing unit 405 can receive an operation input from the operating terminal 30 regarding which of these classifications to use, and can generate a crack image according to the specified length.
Moreover, the density of the shadow of the crack varied in various cases as a result of the experiment. Therefore, the data processing unit 405 uses the operating terminal 30 to determine which of a plurality of density patterns to use, such as 70%, 50%, and 30%, regarding the density (opacity) of the shadow of the crack. It accepts operation input and generates a crack image based on the density of the specified crack shadow.
The color extracted by the color extraction unit 404 can be applied as the color of the crack. Here, the data processing unit 405 acquires the pixel values of pixels forming an image showing the crack in the image of the crack that actually occurred, and generates a crack image according to this pixel value. In this case, a crack image can be generated based on the color of cracks that may actually occur.

データ加工部405は、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色について、操作端末30から入力される操作内容に応じて決定することができる。また、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色については、少なくともいずれか1つについて指定されるようにし、指定されなかった項目については、過去に生成したクラック画像の値を用いるようにしてもよい。また、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色のそれぞれの項目の選択肢の中から選択するようにしてもよいし、操作端末30がマニュアルでクラック画像を任意に描くようにしてもよい。
また、このようにして生成されたクラック画像を、切羽画像のどの位置に配置するかについては、操作端末30から入力される配置する位置を指定する操作入力に応じて決定するようにしてもよい。
The data processing unit 405 can determine the width of the crack, the length of the crack, the shape of the crack, the darkness of the shadow of the crack, and the color of the crack according to the operation details input from the operating terminal 30. In addition, at least one of the crack width, crack length, crack shape, crack shadow density, and crack color should be specified, and items that were not specified should be specified in the past. The value of the generated crack image may be used. Alternatively, the selection may be made from among the options for the crack width, crack length, crack shape, crack shadow density, and crack color, or the operation terminal 30 may manually The image may be drawn arbitrarily.
Further, the position in the face image at which the crack image generated in this manner is to be placed may be determined in accordance with an operation input input from the operation terminal 30 specifying the position to be placed. .

このようにしてデータ加工部405によって生成される合成画像は、教師データとして用いることができる。 The composite image thus generated by the data processing unit 405 can be used as teacher data.

また、データ加工部405は、切羽画像に対してクラック画像を合成する場合、切羽画像におけるクラックに対応する領域に含まれる画素の画素値(RGB画像の場合にはRGBの各値)を書き換えることで合成画像を生成するようにしてもよいし、切羽画像のレイヤとは別のレイヤにクラック画像を描画し、これらのレイヤを重ね合わせることで合成画像を生成するようにしてもよい。ここで、クラック画像が切羽画像とは別のレイヤとして生成されている場合には、クラック画像に対応するレイヤに基づいて、クラックである領域を示す座標データも関連付けすることができる。 Furthermore, when synthesizing a crack image with the face image, the data processing unit 405 rewrites the pixel values (in the case of an RGB image, each RGB value) of pixels included in the area corresponding to the crack in the face image. Alternatively, the crack image may be drawn on a layer different from the face image layer, and the composite image may be generated by overlapping these layers. Here, if the crack image is generated as a layer separate from the face image, coordinate data indicating the area of the crack can also be associated based on the layer corresponding to the crack image.

ラベル付与部406は、合成された画像に基づいて、クラック画像に対応する画素についてクラックを表すラベル(アノテーション)を付与する。例えば、ラベル付与部406は、合成画像に含まれる各画素において、クラック画像に対応する画素であるか否かを判定し、クラック画像である場合には、ラベルを付与する。クラック画像であるか否かについては、データ加工部405によって加えられた画素であるか否かについて判定するようにしてもよい。
ラベル付与部406は、合成画像のうち、クラック画像に該当する画素のそれぞれに対して、「クラック」を表すラベルを付与するようにしてもよいし、クラック画像を構成する画像の領域に対してラベルを付与してもよい。
The labeling unit 406 gives a label (annotation) indicating a crack to a pixel corresponding to the cracked image, based on the combined image. For example, the labeling unit 406 determines whether or not each pixel included in the composite image corresponds to a cracked image, and if the pixel is a cracked image, assigns a label to the pixel. Whether or not the image is a cracked image may be determined by determining whether or not the pixels are added by the data processing unit 405.
The label assigning unit 406 may assign a label indicating "crack" to each pixel that corresponds to a crack image in the composite image, or may assign a label indicating "crack" to each pixel that corresponds to a crack image in the composite image. A label may be added.

なお、鏡吹付けコンクリートに実際にクラックが発生した切羽を撮像した切羽画像についてラベルを付与する場合、どの部分がクラック画像であるかを特定する必要がある。ここでは、例えば、技術者が操作端末30を操作することで、切羽画像のうちクラックに対応する箇所に対して、クラックであることを指定することで、クラック画像を特定するようにしてもよい。 Note that when labeling a face image obtained by capturing an image of a face where cracks have actually occurred in mirror shotcrete, it is necessary to specify which part is the crack image. Here, for example, the crack image may be specified by the engineer operating the operating terminal 30 and specifying that the part corresponding to the crack in the face image is a crack. .

このように、ラベル付与部406が「クラック」を示すラベルを画素毎に付与することで、切羽画像や合成画像において、「クラック」を示すラベルが付与された画素が隣接している画像の領域をクラックが存在する領域として特定することが可能となる。 In this way, the labeling unit 406 adds a label indicating "crack" to each pixel, so that in a face image or a composite image, an area of the image where pixels attached with a label indicating "crack" are adjacent to each other. It becomes possible to identify the region where cracks exist.

教師データ生成部407は、合成画像に対してラベル付与部406によって画素にラベルが付与されたデータを、教師データとして得る。例えば、教師データ生成部407は、ラベルが付与された切羽画像または合成画像を教師データとして得ることで、教師データを生成する。 The teacher data generation unit 407 obtains data in which the labeling unit 406 adds labels to pixels of the composite image as teacher data. For example, the teacher data generation unit 407 generates the teacher data by obtaining a labeled face image or a composite image as the teacher data.

出力部408は、合成画像を出力する。出力先としては、記憶部401に書き込むことでもよいし、クラック検出装置50の学習部501に対して出力してもよい。 The output unit 408 outputs a composite image. As an output destination, it may be written in the storage unit 401 or output to the learning unit 501 of the crack detection device 50.

次に、クラック検出装置50について説明する。
クラック検出装置50は、教師データ取得部500、学習部501、記憶部502、検出部503を含む。
Next, the crack detection device 50 will be explained.
The crack detection device 50 includes a teacher data acquisition section 500, a learning section 501, a storage section 502, and a detection section 503.

教師データ取得部500は、切羽画像加工装置40によって生成された教師データを取得する。
学習部501は、鏡吹付けコンクリートが施工された切羽が撮像された切羽画像における画素のうち、吹付けコンクリートに存在するクラックに対応する画素に対してクラックを表すラベルが付与された教師データを用いて、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習する。この教師データは、教師データ取得部500によって、切羽画像加工装置40から得られた教師データを利用することができる。
この学習には、AI(artificial intelligence:人工知能)技術を用いる。例えば、この学習には、セマンティックセグメンテーション(Semantic Segmentation)を用いる。セマンティックセグメンテーション(Semantic Segmentation)は、画像内の全画素にそれぞれラベルを付与するディープラーニング(Deep Learning)を用いたアルゴリズムである。
このセマンティックセグメンテーションでは、対象物を画素単位で検出できることから、線状に多数発生するクラックに対しても認識分解能が高く、また、施工時の作業者や重機の移動によって生じる画像の変化であるノイズに対しても高い識別性能を持っている。そのため、施工中の切羽をカメラ10によって動画撮影をするような条件下であっても効率的にクラックを識別することが可能となる。
セマンティックセグメンテーションでは、例えば、クラックに対応する画素の情報と、その画素の周辺の画素の情報との関係を学習する。
学習部501は、学習を行うことで、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習した学習済モデルを生成する。
The teacher data acquisition unit 500 acquires the teacher data generated by the face image processing device 40.
The learning unit 501 acquires training data in which a label representing a crack is assigned to a pixel corresponding to a crack existing in the shotcrete among pixels in a face image in which a face on which mirror shotcrete has been constructed is imaged. This method is used to learn the relationship between a face image and pixels corresponding to cracks included in the face image. As this teacher data, teacher data obtained from the face image processing device 40 can be used by the teacher data acquisition unit 500.
This learning uses AI (artificial intelligence) technology. For example, this learning uses semantic segmentation. Semantic segmentation is an algorithm using deep learning that assigns labels to all pixels in an image.
Since this semantic segmentation can detect objects pixel by pixel, it has a high recognition resolution even for cracks that occur in many linear shapes. It also has high discrimination performance. Therefore, it is possible to efficiently identify cracks even under conditions where the face under construction is photographed as a moving image using the camera 10.
In semantic segmentation, for example, the relationship between information on a pixel corresponding to a crack and information on pixels surrounding that pixel is learned.
The learning unit 501 performs learning to generate a learned model that has learned the relationship between a face image and a pixel corresponding to a crack included in the face image.

記憶部502は、学習部501によって得られた学習済みモデルを記憶する。記憶部502は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この記憶部502は、例えば、不揮発性メモリを用いることができる。
The storage unit 502 stores the trained model obtained by the learning unit 501. The storage unit 502 includes a storage medium such as an HDD (Hard Disk Drive), a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), or a RAM (Random Access read/write). e Memory), ROM (Read Only Memory), or these Constructed by any combination of storage media.
This storage unit 502 can use, for example, a nonvolatile memory.

検出部503は、吹付けコンクリートが施工された切羽が撮像された切羽画像における画素のうち、吹付けコンクリートに存在するクラックに対応する画素に対してクラックを表すラベルが付与された教師データを用いて、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習した学習済みモデルに対し、判定対象である切羽画像を入力し、判定対象の切羽画像に対してセグメンテーションすることでクラックに対応する領域があるか否かを検出する。
出力部504は、検出部503によって、切羽画像にクラックに対応する領域があることを検出した場合には、クラックが検出されたことを示す情報を出力する。この出力としては、例えば、端末装置20a、端末装置20b等であってもよいし、切羽施工の現場を管理する管理者の端末装置に対して出力してもよい。これにより、これら端末装置からクラックが生じたことを示す警報音を出力したり、クラックが発生したことを示す警告メッセージを画面上に表示したりすることができる。出力部408は、クラックがあると検出された結果を端末装置20に送信することで、切羽崩落発生前に作業者に対して避難を促すことができる。
The detection unit 503 uses training data in which a label indicating a crack is assigned to a pixel corresponding to a crack existing in the shotcrete among pixels in a face image in which a face on which shotcrete has been applied is captured. Then, by inputting the face image to be judged to the trained model that has learned the relationship between the face image and the pixels corresponding to the cracks included in the face image, and performing segmentation on the face image to be judged. Detecting whether there is a region corresponding to a crack.
When the detection unit 503 detects that there is a region corresponding to a crack in the face image, the output unit 504 outputs information indicating that a crack has been detected. This output may be, for example, the terminal device 20a, the terminal device 20b, etc., or may be output to a terminal device of a manager who manages the face construction site. As a result, these terminal devices can output an alarm sound indicating that a crack has occurred, or display a warning message on the screen indicating that a crack has occurred. The output unit 408 can urge workers to evacuate before a face collapse occurs by transmitting the result that a crack has been detected to the terminal device 20.

上述したこのクラック検出装置50において、画像取得部400、切羽画像選択部402、クラック種類入力部403、色抽出部404、データ加工部405、ラベル付与部406、教師データ生成部407、出力部408は、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてよい。
また、クラック検出装置50において、教師データ取得部500、学習部501、検出部503、出力部504は、CPU等の処理装置若しくは専用の電子回路で構成されてもよい。
In this crack detection device 50 described above, an image acquisition section 400, a face image selection section 402, a crack type input section 403, a color extraction section 404, a data processing section 405, a labeling section 406, a teacher data generation section 407, and an output section 408. may be configured with a processing device such as a CPU (central processing unit) or a dedicated electronic circuit, for example.
Furthermore, in the crack detection device 50, the teacher data acquisition section 500, the learning section 501, the detection section 503, and the output section 504 may be configured with a processing device such as a CPU or a dedicated electronic circuit.

次に、切羽画像加工装置40における動作を説明する。図3は、切羽画像加工装置40の動作を説明するフローチャートである。
切羽画像加工装置40の画像取得部400は、カメラ10によって撮像された切羽画像を取得し(ステップS101)、記憶部401に記憶する。ここで撮影される切羽については、施工された鏡吹付けコンクリートにおいてクラックが発生していない状態が撮像された切羽画像である。なお、鏡吹付けコンクリートにおいてクラックが発生している状態が撮像された切羽画像であってもよい。また、画像取得部400は、カメラ10によって撮影が行われる毎に切羽画像を取得し、記憶部401に記憶する。
Next, the operation of the face image processing device 40 will be explained. FIG. 3 is a flowchart illustrating the operation of the face image processing device 40.
The image acquisition unit 400 of the face image processing device 40 acquires the face image captured by the camera 10 (step S101), and stores it in the storage unit 401. The face photographed here is a face image taken of a state in which no cracks have occurred in the mirror shotcrete that has been constructed. Note that the face image may be an image of a state in which cracks have occurred in mirror shotcrete. Further, the image acquisition unit 400 acquires a face image every time a photograph is taken by the camera 10, and stores it in the storage unit 401.

次に、切羽画像選択部402は、操作端末30からの操作入力に基づいて、記憶部401に記憶された切羽画像の中から、加工する対象である切羽画像を読み出す(ステップS102)。ここで選択される切羽画像は、クラックが生じていない状態の鏡吹付けコンクリートが撮像された切羽画像とクラックが生じている状態の鏡吹付けコンクリートが撮像された切羽画像とのうちいずれであってもよいが、クラックが生じていない状態の鏡吹付けコンクリートが撮像された切羽画像を対象として選択された場合には、クラックがない状態の鏡吹付けコンクリートの施工状態を考慮し、この施工状態であればどのようなクラックが発生し得るかを検討した結果を基に得られるクラック画像を合成した教師データを得ることができる。
一方、クラックが生じている状態の鏡吹付けコンクリートが撮像された切羽画像を対象として選択された場合には、既に発生しているクラックの状態を考慮し、さらにクラックが発生した場合には、どのようなクラックが発生しうるかを検討した結果を基に得られるクラック画像を合成した教師データを得ることができる。
Next, the face image selection unit 402 reads a face image to be processed from among the face images stored in the storage unit 401 based on the operation input from the operating terminal 30 (step S102). The face image selected here is either a face image that captures mirror shotcrete without cracks or a face image that captures mirror shotcrete with cracks. However, if a face image of mirror shotcrete with no cracks is selected as the target, the construction condition of the mirror shotcrete with no cracks should be taken into consideration. Teacher data can be obtained by combining crack images obtained based on the results of examining what kind of cracks may occur under certain conditions.
On the other hand, when a face image of mirror shotcrete with cracks is selected as the target, the state of the cracks that have already occurred is taken into consideration, and if further cracks occur, the Training data can be obtained by combining crack images obtained based on the results of examining what kind of cracks may occur.

色抽出部404は、記憶部401に記憶された切羽画像のうち、クラックが生じている鏡吹付けコンクリートが撮像された切羽画像におけるクラックを示す画素から、色を示す画素値を取得する(ステップS103)。色を抽出する対象の切羽画像は、ステップS102において選択された切羽画像とは異なる切羽画像であって、クラックが発生した状態の鏡吹付けコンクリートが撮像された切羽画像が操作端末30によって選択され、この切羽画像からクラックの色を抽出するようにしてもよい。また、色を抽出する対象の切羽画像は、操作端末30からの選択入力に従って選択されてもよい。 The color extraction unit 404 acquires pixel values indicating colors from pixels indicating cracks in the face image stored in the storage unit 401, in which mirror shotcrete with cracks is imaged (step S103). The target face image from which color is extracted is a face image different from the face image selected in step S102, and the face image in which the mirror shotcrete in which cracks have occurred is selected by the operation terminal 30. , the color of the crack may be extracted from this face image. Further, the face image whose color is to be extracted may be selected according to a selection input from the operation terminal 30.

次に、クラック種類入力部403は、クラックの態様を指定する入力を操作端末30から受け付ける(ステップS104)。ここでは、クラック種類入力部403は、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ(不透明度)等について指定する入力を受け付ける。
クラックの色が抽出され、クラックの態様の指定入力を受け付けると、データ加工部405は、抽出された色、指定入力されたクラックの態様に応じたクラック画像を生成し(ステップS105)、生成されたクラック画像を切羽画像に合成する(ステップS106)。なお、クラック画像を切羽画像のどの位置に配置するかについては、操作端末30から指定される。
Next, the crack type input unit 403 receives an input specifying the type of crack from the operating terminal 30 (step S104). Here, the crack type input unit 403 receives input specifying the width of the crack, the length of the crack, the shape of the crack, the density of the shadow of the crack (opacity), and the like.
When the color of the crack is extracted and the specified input of the form of the crack is received, the data processing unit 405 generates a crack image according to the extracted color and the specified inputted form of the crack (step S105). The generated crack image is combined with the face image (step S106). Note that the position in the face image at which the crack image is to be placed is specified from the operating terminal 30.

合成画像が生成されると、ラベル付与部406は、合成画像におけるクラック画像に対してラベルを付与する(ステップS107)。ラベルが付与されると、教師データ生成部407は、ラベルが付与された合成画像を教師データとして取得し、クラック検出装置50に教師データとして出力する(ステップS108)。 When the composite image is generated, the labeling unit 406 assigns a label to the crack image in the composite image (step S107). Once the label is assigned, the teacher data generation unit 407 acquires the labeled composite image as the teacher data, and outputs it to the crack detection device 50 as the teacher data (step S108).

なお、上述した処理において、1つの切羽画像に対して、クラック画像を変えた合成画像を複数種類生成するようにしてもよい。 In addition, in the above-described process, a plurality of types of composite images with different crack images may be generated for one face image.

以上説明した実施形態においては、クラックが発生していない状態の鏡吹付けコンクリートを撮像した切羽画像であっても、写真合成によって人為的に疑似クラックを作成することでクラック画像を切羽画像に合成するようにしたので、実際にクラックが発生している鏡吹付けコンクリートを撮像した切羽画像がなくても、クラックを含む切羽画像を準備することができ、これを教師データとして用いることができる。これにより、鏡吹付けコンクリートにクラックが発生している状態の切羽画像を効率的に大量に作成することが可能となる。 In the embodiment described above, even if the face image is taken of mirror-shot concrete with no cracks, the crack image is synthesized with the face image by artificially creating pseudo-cracks through photo synthesis. Therefore, even if there is no face image taken of mirror-shot concrete in which cracks have actually occurred, a face image containing cracks can be prepared, and this can be used as training data. This makes it possible to efficiently create a large number of face images showing cracks in mirror shotcrete.

実際のトンネル切羽において、鏡吹付けコンクリートにクラックが発生する頻度は低く、また実験によって得られるクラックパターンは限られている。そのため、実際にクラックが発生した切羽の画像を大量に準備することが容易ではないが、本実施形態によれば、写真合成等によって人為的にクラックを表現した合成画像を用いるようにしたので、大量のクラックパターンやノイズパターンを学習用データとして作成することができ、AIの学習効率および判定精度の向上を実現することが可能となる。 In actual tunnel faces, cracks occur less frequently in mirror shotcrete, and the crack patterns that can be obtained through experiments are limited. Therefore, it is not easy to prepare a large number of images of faces where cracks have actually occurred, but according to this embodiment, a composite image in which cracks are artificially expressed by photo composition etc. is used. A large amount of crack patterns and noise patterns can be created as learning data, making it possible to improve AI learning efficiency and judgment accuracy.

また、クラック画像を合成する対象の切羽画像や、合成するクラックの態様を任意に選択することができるため、選択された内容に応じて、多様かつ大量の教師データを効率的に作成することができる。 In addition, since it is possible to arbitrarily select the face image on which the crack image is to be synthesized and the aspect of the crack to be synthesized, it is possible to efficiently create a large amount of diverse training data according to the selected content. can.

また、実際に発生していなければ取得できない態様のクラックについても、上述のようにクラック画像を生成し合成することで、教師データとして作成することができるため、AIが検知可能なパターンを大幅に増やすことができる。すなわち、実際に発生しうる態様のクラックについて実際に撮影した切羽画像を準備できなかったとしても、技術者の知識や経験を活かして合成画像として生成することで準備することができる。
また、上述の実施形態によれば、ラベル付与部406がラベルを付与するようにしたので、本来必要なアノテーション作業(クラック部分を画像処理ソフトで選択し正解ラベルを付与する作業)を人手によって行う必要がないので、アノテーション作業にかかる時間を大幅に削減することができる。
また、上述した実施形態によれば、教師データの作成から学習済みモデルの作成までにかかる時間を大幅に短縮することができる。
In addition, even for cracks that cannot be obtained unless they actually occur, by generating and compositing crack images as described above, it is possible to create training data, greatly increasing the number of patterns that AI can detect. can be increased. That is, even if it is not possible to prepare a face image actually taken of a type of crack that may actually occur, it can be prepared by generating a composite image by utilizing the knowledge and experience of an engineer.
Further, according to the above-described embodiment, since the labeling unit 406 adds the labels, the originally necessary annotation work (selecting the cracked part using image processing software and adding the correct label) is performed manually. Since this is not necessary, the time required for annotation work can be significantly reduced.
Further, according to the embodiment described above, the time required from creating teacher data to creating a trained model can be significantly reduced.

また、以上説明した実施形態において、クラック検出装置50が、教師データ取得部500、学習部501を有する場合について説明したが、これら教師データ取得部500、学習部501の機能を、クラック検出装置50とは別の装置に設け、当該別の装置を学習装置として構成するようにしてもよい。そして学習装置において学習することで得られた学習済モデルをクラック検出装置50の記憶部502に書き込むようにしてもよい。 Furthermore, in the embodiment described above, a case has been described in which the crack detection device 50 has the teacher data acquisition section 500 and the learning section 501. The learning device may be provided in a separate device, and the separate device may be configured as a learning device. Then, the learned model obtained by learning in the learning device may be written into the storage unit 502 of the crack detection device 50.

上述した実施形態における切羽画像加工装置40とクラック検出装置50とをそれぞれコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 The face image processing device 40 and the crack detection device 50 in the embodiment described above may each be realized by a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Note that the "computer system" herein includes hardware such as an OS and peripheral devices. Furthermore, the term "computer-readable recording medium" refers to portable media such as flexible disks, magneto-optical disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into computer systems. Furthermore, a "computer-readable recording medium" refers to a storage medium that dynamically stores a program for a short period of time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include a device that retains a program for a certain period of time, such as a volatile memory inside a computer system that is a server or client in that case. Further, the above-mentioned program may be one for realizing a part of the above-mentioned functions, or may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized using a programmable logic device such as an FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described above in detail with reference to the drawings, the specific configuration is not limited to these embodiments, and includes designs within the scope of the gist of the present invention.

1…切羽監視システム、10…カメラ、20,20a,20b…端末装置、30…操作端末,40…切羽画像加工装置、50…クラック検出装置、400…画像取得部、401…記憶部、402…切羽画像選択部、403…クラック種類入力部、404…色抽出部、405…データ加工部、406…ラベル付与部、407…教師データ生成部、408…出力部、500…教師データ取得部、501…学習部、502…記憶部、503…検出部、504…出力部 1... Face monitoring system, 10... Camera, 20, 20a, 20b... Terminal device, 30... Operation terminal, 40... Face image processing device, 50... Crack detection device, 400... Image acquisition section, 401... Storage section, 402... Face image selection section, 403...Crack type input section, 404...Color extraction section, 405...Data processing section, 406...Labeling section, 407...Teacher data generation section, 408...Output section, 500...Teacher data acquisition section, 501 ...learning section, 502...storage section, 503...detection section, 504...output section

Claims (7)

吹付コンクリートが施工された切羽を撮像した切羽画像を取得する取得部と、
クラックの種類を選択する指示を入力するクラック種類入力部と、
吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成するデータ加工部と、
前記合成画像を出力する加工データ出力部と、
を有し、
前記クラック種類入力部は、
クラックの幅を指定するクラック幅、
クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、
実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、
のうち少なくともいずれか1つを取得し、
前記データ加工部は、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成する
羽画像加工装置。
an acquisition unit that acquires a face image of a face on which shotcrete has been applied;
a crack type input section for inputting instructions for selecting a crack type;
a data processing unit that generates a composite image by combining a crack image indicating that there is a crack in the shotcrete with the face image;
a processed data output unit that outputs the composite image;
has
The crack type input section is
crack width, which specifies the width of the crack;
Crack density, which specifies the degree of darkness of the crack shadow;
A crack color corresponding to the pixel value of the pixels that make up the image showing the crack in the image of the crack that actually occurred;
Obtain at least one of the following,
The data processing unit synthesizes a crack image according to the type of crack selected by the crack type input unit with the face image.
Face image processing device.
前記クラック種類入力部は、
前記クラック幅、
前記クラック濃さ、
前記クラック色、
クラックの長さを指定するクラック長さ、
クラックの形状の特徴に応じた分類のいずれであるかを指定するクラック形状、
のうち少なくともいずれか1つを取得する
請求項1に記載の切羽画像加工装置。
The crack type input section is
the crack width;
the crack density;
said crack color;
crack length, which specifies the length of the crack;
Crack shape, which specifies which classification it is in according to the characteristics of the crack shape;
Get at least one of
The face image processing device according to claim 1 .
前記データ加工部は、
前記クラック種類入力部によって入力可能な複数の項目のうち、前記クラック種類入力部によって指示されたクラックの種類と、前記クラック種類入力部によって指示されなかった項目については過去に生成したクラック画像の値とを用いて、前記切羽画像に対してクラック画像を合成する
請求項1または請求項2に記載の切羽画像加工装置。
The data processing section is
Among the plurality of items that can be input using the crack type input section, the crack type specified by the crack type input section and the values of crack images generated in the past for items not specified by the crack type input section. A crack image is synthesized with the face image using
The face image processing device according to claim 1 or 2 .
前記取得された切羽画像のうち、加工対象とする切羽画像を選択する指示を入力する切羽画像選択部を有し、
前記データ加工部は、前記切羽画像選択部によって選択された切羽画像に対してクラック画像を合成する
請求項1に記載の切羽画像加工装置。
a face image selection unit for inputting an instruction to select a face image to be processed from among the acquired face images;
The face image processing device according to claim 1, wherein the data processing unit synthesizes a crack image with the face image selected by the face image selection unit.
前記データ加工部によって加工されたクラック画像に対してクラックを表すラベルを付与するラベル付与部
を有する請求項1から請求項のうちいずれか1項に記載の切羽画像加工装置。
The face image processing device according to any one of claims 1 to 4 , further comprising a labeling section that adds a label indicating a crack to the crack image processed by the data processing section.
吹付コンクリートに対して実際にクラックが生じている切羽を撮像した切羽画像において当該クラックに対して生じた影の表す画像領域の色を抽出する色抽出部を有し、
前記データ加工部は、前記切羽画像に対して、前記色抽出部によって抽出された色によってクラックを表したクラック画像を合成する
請求項1から請求項のうちいずれか1項に記載の切羽画像加工装置。
a color extraction unit that extracts the color of an image area represented by a shadow caused by the crack in a face image taken of a face where a crack has actually occurred in the shotcrete;
The face image according to any one of claims 1 to 5 , wherein the data processing unit synthesizes a crack image representing a crack with the color extracted by the color extraction unit, with the face image. Processing equipment.
取得部が、吹付コンクリートが施工された切羽を撮像した切羽画像を取得し、
クラック種類入力部が、クラックの種類を選択する指示を入力し、
データ加工部が、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成し、
加工データ出力部が、前記合成画像を出力し、
前記クラックの種類を選択する指示を入力することは、
クラックの幅を指定するクラック幅、
クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、
実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、
のうち少なくともいずれか1つを取得することを含み、
前記合成画像を生成することは、
前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成することを含む
切羽画像加工方法。
The acquisition unit acquires a face image of a face on which shotcrete has been applied,
The crack type input section inputs an instruction to select the type of crack,
a data processing unit generates a composite image by combining a crack image indicating that there is a crack in the shotcrete with the face image;
a processed data output unit outputs the composite image;
Entering instructions to select the type of crack is
crack width, which specifies the width of the crack;
Crack density, which specifies the degree of darkness of the crack shadow;
A crack color corresponding to the pixel value of the pixels that make up the image showing the crack in the image of the crack that actually occurred;
including acquiring at least one of the following;
Generating the composite image includes:
The method includes composing a crack image corresponding to the type of crack selected by the crack type input section with the face image.
Face image processing method.
JP2020089125A 2020-05-21 2020-05-21 Face image processing device, face image processing method Active JP7453848B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020089125A JP7453848B2 (en) 2020-05-21 2020-05-21 Face image processing device, face image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020089125A JP7453848B2 (en) 2020-05-21 2020-05-21 Face image processing device, face image processing method

Publications (2)

Publication Number Publication Date
JP2021183773A JP2021183773A (en) 2021-12-02
JP7453848B2 true JP7453848B2 (en) 2024-03-21

Family

ID=78767166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020089125A Active JP7453848B2 (en) 2020-05-21 2020-05-21 Face image processing device, face image processing method

Country Status (1)

Country Link
JP (1) JP7453848B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088630A (en) 2016-11-29 2018-06-07 ホーチキ株式会社 Fire monitoring system
JP2018207194A (en) 2017-05-31 2018-12-27 株式会社大林組 Working place monitoring system
JP2019023392A (en) 2017-07-24 2019-02-14 株式会社大林組 Working face evaluation support system, working face evaluation support method and working face evaluation support program
JP2019114238A (en) 2017-12-25 2019-07-11 キヤノン株式会社 Image processing device and control method of the same
JP2020027424A (en) 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 Learning data generating device, discrimination model generating device, and program
JP2020038227A (en) 2016-06-14 2020-03-12 富士フイルム株式会社 Image processing method, image processing device, and image processing program
JP6675691B1 (en) 2019-01-22 2020-04-01 日本金銭機械株式会社 Learning data generation method, program, learning data generation device, and inference processing method
US20200142052A1 (en) 2018-06-04 2020-05-07 Shandong University Automatic wall climbing type radar photoelectric robot system for non-destructive inspection and diagnosis of damages of bridge and tunnel structure

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038227A (en) 2016-06-14 2020-03-12 富士フイルム株式会社 Image processing method, image processing device, and image processing program
JP2018088630A (en) 2016-11-29 2018-06-07 ホーチキ株式会社 Fire monitoring system
JP2018207194A (en) 2017-05-31 2018-12-27 株式会社大林組 Working place monitoring system
JP2019023392A (en) 2017-07-24 2019-02-14 株式会社大林組 Working face evaluation support system, working face evaluation support method and working face evaluation support program
JP2019114238A (en) 2017-12-25 2019-07-11 キヤノン株式会社 Image processing device and control method of the same
US20200142052A1 (en) 2018-06-04 2020-05-07 Shandong University Automatic wall climbing type radar photoelectric robot system for non-destructive inspection and diagnosis of damages of bridge and tunnel structure
JP2020027424A (en) 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 Learning data generating device, discrimination model generating device, and program
JP6675691B1 (en) 2019-01-22 2020-04-01 日本金銭機械株式会社 Learning data generation method, program, learning data generation device, and inference processing method

Also Published As

Publication number Publication date
JP2021183773A (en) 2021-12-02

Similar Documents

Publication Publication Date Title
US11263807B2 (en) Method for the automatic material classification and texture simulation for 3D models
CN110678901B (en) Information processing apparatus, information processing method, and computer-readable storage medium
US20030156739A1 (en) Rock fragmentation analysis system
JP2008245719A (en) Object area extracting method, apparatus, and program
JP2019207535A (en) Information processing apparatus, information processing method, and program
JP2008052602A (en) Image density conversion method, image enhancement processor, and its program
CN110302536A (en) A kind of method for checking object and relevant apparatus based on interactive application
CN111461070B (en) Text recognition method, device, electronic equipment and storage medium
JP7453848B2 (en) Face image processing device, face image processing method
JP7374847B2 (en) Face evaluation system, face evaluation learning system, face evaluation method, face evaluation learning method, computer program
JP7078295B2 (en) Deformity detection device, deformation detection method, and program
CN110852172B (en) Method for expanding crowd counting data set based on Cycle Gan picture collage and enhancement
JP2021184163A (en) Learning device, crack detection device, learning method, and crack detection method
JP6744237B2 (en) Image processing device, image processing system and program
JP2005241886A (en) Extraction method of changed area between geographical images, program for extracting changed area between geographical images, closed area extraction method and program for extracting closed area
JP7186821B2 (en) Bar arrangement inspection device, bar arrangement inspection method and program
US20020158972A1 (en) Method of image processing an animated figure
CN114529714A (en) Unmanned aerial vehicle detection method and device, computer equipment and storage medium
CN116862920A (en) Portrait segmentation method, device, equipment and medium
AU2015275308B2 (en) A method for automatic material classification and texture simulation for 3d models
JP2008079897A (en) Medical image processing system
CN110264491A (en) Passenger flow statistical method, device, computer equipment and readable storage medium storing program for executing
JP6670918B2 (en) Generation device, generation method, and generation program
WO2023228717A1 (en) Computer program, processing method, and processing device
JP7214023B1 (en) Bar arrangement inspection device, bar arrangement inspection method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240308

R150 Certificate of patent or registration of utility model

Ref document number: 7453848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150