KR20230055479A - Ready-mixed concrete quality image judgment system using artificial intelligence - Google Patents

Ready-mixed concrete quality image judgment system using artificial intelligence Download PDF

Info

Publication number
KR20230055479A
KR20230055479A KR1020210138909A KR20210138909A KR20230055479A KR 20230055479 A KR20230055479 A KR 20230055479A KR 1020210138909 A KR1020210138909 A KR 1020210138909A KR 20210138909 A KR20210138909 A KR 20210138909A KR 20230055479 A KR20230055479 A KR 20230055479A
Authority
KR
South Korea
Prior art keywords
ready
mixed concrete
image
artificial intelligence
quality
Prior art date
Application number
KR1020210138909A
Other languages
Korean (ko)
Inventor
하주형
한승철
안계현
Original Assignee
현대건설(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대건설(주) filed Critical 현대건설(주)
Priority to KR1020210138909A priority Critical patent/KR20230055479A/en
Publication of KR20230055479A publication Critical patent/KR20230055479A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/027Frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Abstract

The present invention relates to a system for determining a ready-mixed concrete quality image in real time using artificial intelligence. For the purpose, provided is a ready-mixed concrete quality image determining system using artificial intelligence, comprising: a camera (100) for photographing a hopper (11) when ready-mixed concrete (40) is input into a pump car (10) from a ready-mixed concrete vehicle (20); an artificial intelligence inference model (150) for inferring to divide the surface of the ready-mixed concrete (40) into a normal area (62) and a defective area (64) based on the ratio of aggregate exposed to the surface of the ready-mixed concrete (40) in the image of the camera (100); and a control unit (180) for calculating the area ratio of the normal area (62) and the defective area (64) and determining the quality of the ready-mixed concrete based on the calculated ratio. Therefore, the objectivity of determination can be improved.

Description

인공지능을 이용한 레미콘 품질의 영상 판정 시스템{Ready-mixed concrete quality image judgment system using artificial intelligence}Ready-mixed concrete quality image judgment system using artificial intelligence}

본 발명은 현장 반입되는 콘크리트 레미콘의 품질을 판정하는 기술에 관한 것으로, 보다 상세하게는 인공지능을 이용하여 레미콘 품질을 실시간으로 영상 판정하는 시스템에 관한 것이다. The present invention relates to a technology for determining the quality of concrete ready-mixed concrete brought into the field, and more particularly, to a system for image-determining the quality of ready-mixed concrete in real time using artificial intelligence.

토목, 건설 현장에서는 외부로부터 레미콘차량이 레미콘을 운반해 오고, 펌프카가 이를 받아 거푸집에 타설하는 방식이 사용된다. 그런데 운반되어 타설되는 레미콘은 외부의 레미콘 업체가 배합한 것이므로 철저한 품질관리 어려웠다. 일예로 일부 레미콘 업체는 배합 비율의 조작, 기준치 이상의 가수 등과 같은 편법을 통해 불량 레미콘을 생산하곤 했다. At civil engineering and construction sites, a ready-mixed concrete vehicle transports ready-mixed concrete from the outside, and a pump car receives it and pours it into a formwork. However, since the ready-mixed concrete that was transported and poured was mixed by an external ready-mixed concrete company, thorough quality control was difficult. For example, some ready-mixed concrete manufacturers used to produce defective ready-mixed concrete through expedient methods such as manipulating the mixing ratio and adding water above the standard value.

이와 같은 불량 레미콘을 그대로 타설하는 경우 품질 하자, 레미콘의 불균일성, 철거와 재시공 및 민원 발생 등의 부작용이 일어난다. 특히, 다수의 레미콘차량이 활용되는 경우, 부분적인 불량 레미콘을 적발하기 어렵다는 현실적 어려움이 있다. 현행 품질규정은 레미콘 150 m3당 1회의 품질시험만을 규정하고 있기 때문이다. In the case of pouring such defective ready-mixed concrete as it is, side effects such as quality defects, non-uniformity of ready-mixed concrete, demolition and re-construction, and civil complaints occur. In particular, when a plurality of ready-mixed concrete vehicles are utilized, there is a practical difficulty in that it is difficult to detect partially defective ready-mixed concrete. This is because the current quality regulation stipulates only one quality test per 150 m 3 of ready-mixed concrete.

또한, 레미콘은 배관을 통해 폐쇄적으로 이송되고, 호퍼에 레미콘을 토출하는 순간이 타설 전 외부로 노출되는 전부이기 때문에 육안으로 품질을 실시간 확인하기 매우 어려웠다. 그리고, 설령 불량 레이콘이라고 판단되더라도 이미 타설되어 버린 후가 대부분이었다. In addition, since the ready-mixed concrete is transported closedly through the pipe, and the moment the ready-mixed concrete is discharged into the hopper is all that is exposed to the outside before pouring, it is very difficult to visually check the quality in real time. And even if it is judged to be a defective ray cone, most of it has already been cast.

1. 대한민국 특허공개 제 10-2013-0040296 호(콘크리트 품질 관리시스템 및 관리 방법),1. Korean Patent Publication No. 10-2013-0040296 (Concrete Quality Management System and Management Method), 2. 대한민국 특허공개 제 10-2016-0123691 호(이동용 단말기를 이용한 콘크리트 품질관리 예측 시스템).2. Republic of Korea Patent Publication No. 10-2016-0123691 (concrete quality management prediction system using a mobile terminal).

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 해결하고자 하는 과제는 토출되는 레미콘의 품질을 실시간으로 판정할 수 있는 인공지능을 이용한 레미콘 품질의 영상 판정 시스템을 제공하는 것이다.Therefore, the present invention has been made to solve the above problems, and the problem to be solved by the present invention is to provide an image determination system of ready-mixed concrete quality using artificial intelligence that can determine the quality of discharged ready-mixed concrete in real time will be.

다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the technical problems to be achieved in the present invention are not limited to the above-mentioned technical problems, and other technical problems not mentioned will be clear to those skilled in the art from the description below. You will be able to understand.

상기의 기술적 과제를 달성하기 위하여, 레미콘차량(20)에서 펌프카(10)로 레미콘(40)이 투입될 때, 호퍼(11)를 촬영하는 카메라(100); 카메라(100)의 영상 중 레미콘(40) 표면에 노출된 골재의 비율에 기초하여 레미콘(40)의 표면을 정상영역(62)과 불량영역(64)으로 나누도록 추론하는 인공지능 추론모델(150); 및 정상영역(62)과 불량영역(64)의 면적 비율을 산출하고, 산출된 비율에 기초하여 레미콘의 품질을 판정하는 제어부(180);를 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치가 제공된다.In order to achieve the above technical problem, when the ready-mixed concrete 40 is put into the pump car 10 from the ready-mixed concrete vehicle 20, the camera 100 for photographing the hopper 11; An artificial intelligence inference model 150 that infers to divide the surface of the ready-mixed concrete 40 into a normal area 62 and a defective area 64 based on the ratio of the aggregate exposed to the surface of the ready-mixed concrete 40 in the image of the camera 100 ); And a control unit 180 that calculates the area ratio of the normal area 62 and the defective area 64 and determines the quality of the ready-mixed concrete based on the calculated ratio; An image determination device is provided.

또한, 카메라(100)는 레미콘차량(20)에 탑재되거나 작업자(125)가 휴대하는 휴대폰(120)의 카메라일 수 있다. In addition, the camera 100 may be mounted on the ready-mixed concrete vehicle 20 or a camera of a mobile phone 120 carried by a worker 125.

또한, 카메라(100)의 영상은, 호퍼(11)의 평면 영상 중 추론에 사용되지 않는 배제영역(50) 및 추론에 사용되는 관심영역(60);으로 구성된다. In addition, the image of the camera 100 is composed of an exclusion region 50 not used for inference and a region of interest 60 used for inference among the planar images of the hopper 11 .

또한, 배제영역(50)은 레미콘차량(20)으로부터 레미콘(40)이 투입되는 영역(45)을 포함한다.In addition, the exclusion area 50 includes an area 45 into which the ready-mixed concrete 40 is injected from the ready-mixed concrete vehicle 20 .

또한, 카메라(100)의 영상으로부터 각 프레임의 이미지를 추출하고, 추출된 이미지로부터 관심영역(60)을 추출하는 영상처리부(130)를 더 포함한다.In addition, an image processing unit 130 for extracting an image of each frame from the image of the camera 100 and extracting a region of interest 60 from the extracted image is further included.

또한, 인공지능 추론모델(150)은 카메라(100)의 영상 중 레미콘(40) 표면에 노출된 골재의 음영 비율에 기초하여 추론할 수 있다.In addition, the artificial intelligence inference model 150 may infer based on the ratio of the shading of the aggregate exposed to the surface of the ready-mixed concrete 40 among the images of the camera 100.

또한, 인공지능 추론모델(150)은 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 정상영역(62)으로 추론하고, 임계치에 미달하는 경우 불량영역(64)으로 추론한다.In addition, the artificial intelligence inference model 150 infers a normal area 62 when the shade of the aggregate indicates a density equal to or higher than a threshold value, and infers a defective area 64 when the shade does not reach the threshold value.

또한, 상기와 같은 본 발명의 목적은 또 다른 실시예로써, 레미콘 품질 판정에 관한 복수의 이력 정보가 저장된 이력 데이터베이스(210); 복수의 이력 정보를 이용하여 기계학습함으로써 인공지능 추론모델을 생성하는 모델학습부(220); 추론모델을 작업장의 응용프로그램(140)에 전송하거나 최신 추론모델로 업데이트하는 전송/업데이트부(240); 작업장의 작업자(125)가 응용프로그램(140)을 통해 입력한 작업자 정보, 상기 작업장 정보 및 레미콘 차량(20) 정보를 저장하는 데이터베이스 수단(260, 270, 280); 및 데이터베이스 수단의 정보 및 작업장에 대해 추론모델(150)이 판정에 사용한 영상 및 판정 결과를 상기 이력 데이터베이스(210)에 저장하는 서버제어부(250);를 포함하는 것을 특징으로 하는 레미콘 품질의 영상 판정을 위한 인공지능 추론모델의 학습서버 장치에 의해서도 달성될 수 있다.In addition, another object of the present invention as described above, as another embodiment, a history database 210 in which a plurality of history information about the quality determination of ready-mixed concrete is stored; A model learning unit 220 for generating an artificial intelligence inference model by machine learning using a plurality of history information; a transmission/update unit 240 that transmits the inference model to the application program 140 in the workplace or updates it with the latest inference model; Database means (260, 270, 280) for storing the worker information input by the worker 125 of the workshop through the application 140, the workshop information and the ready-mixed concrete vehicle 20 information; And a server control unit 250 for storing the information of the database means and the image used by the reasoning model 150 for the decision on the workplace and the decision result in the history database 210; It can also be achieved by the learning server device of the artificial intelligence inference model for.

또한, 모델학습부(220)는 레미콘 표면의 영상에서 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 정상영역(62)이고, 임계치에 미달하는 경우 불량영역(64)이라고 기계학습된 인공지능 추론모델을 생성한다.In addition, the model learning unit 220 is a normal region 62 when the shade of the aggregate in the image of the surface of the ready-mixed concrete indicates a density equal to or higher than the threshold value, and a defective region 64 when the threshold value is not reached. generate

또한, 작업장은 원격지에 위치하는 적어도 하나의 작업장이고, 응용프로그램(140)은 작업장 내에 위치하는 퍼스널 컴퓨터, 태블릿PC, 및 휴대폰(120) 중 적어도 하나에서 실행된다. In addition, the workplace is at least one workplace located in a remote location, and the application program 140 is executed on at least one of a personal computer, a tablet PC, and a mobile phone 120 located in the workplace.

또한, 상기와 같은 본 발명의 목적은 또 다른 카테고리로써, 레미콘차량(20)에서 펌프카(10)로 레미콘(40)이 투입될 때, 카메라(100)가 호퍼(11)를 촬영하는 단계(S100); 영상처리부(130)가 카메라(100)의 영상에서 이미지를 추출하고, 이미지로부터 관심영역(60)을 추출하는 단계(S110); 추론모델(150)이 관심영역(60)에 대해 레미콘(40) 표면에 노출된 골재의 음영 비율에 기초하여 레미콘(40)의 표면을 정상영역(62)과 불량영역(64)으로 나누도록 추론하는 단계(S120); 및 제어부(180)가 정상영역(62)과 상기 불량영역(64)의 면적 비율을 산출하는 단계(S130); 및 제어부(180)가 산출된 비율에 기초하여 레미콘의 품질을 판정하여 출력하는 단계(S140);를 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 방법에 의해서도 달성될 수 있다.In addition, the object of the present invention as described above is another category, the step of photographing the hopper 11 by the camera 100 when the ready-mixed concrete 40 is introduced from the ready-mixed concrete vehicle 20 to the pump car 10 (S100 ); The image processor 130 extracts an image from the image of the camera 100 and extracts a region of interest 60 from the image (S110); The inference model 150 reasoned to divide the surface of the ready-mixed concrete 40 into a normal region 62 and a defective region 64 based on the shade ratio of the aggregate exposed on the surface of the ready-mixed concrete 40 for the region of interest 60 Step (S120); and calculating, by the controller 180, an area ratio between the normal area 62 and the defective area 64 (S130); And the control unit 180 determining and outputting the quality of the ready-mixed concrete based on the calculated ratio (S140); can also be achieved by a method for determining the image of the ready-mixed concrete quality using artificial intelligence, characterized in that it includes.

또한, 추론단계(S120)는 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 정상영역(62)으로 추론하고, 임계치에 미달하는 경우 불량영역(64)으로 추론한다.In addition, in the inference step (S120), if the shadow of the aggregate indicates a density equal to or higher than a threshold value, it is inferred as a normal region 62, and if it does not reach the threshold value, it is inferred as a defective region 64.

또한, 판정단계(S140)에서 정상영역(62)의 비율이 30% 이상인 경우 정상 레미콘으로 판정하고, 30%미만인 경우 불량레미콘으로 판정한다.In addition, in the determination step (S140), when the ratio of the normal region 62 is 30% or more, it is determined as normal ready-mixed concrete, and when it is less than 30%, it is determined as defective ready-mixed concrete.

또한, 불량레미콘이라고 판정된 경우 제어부(180)가 경고를 발생하는 단계(S150)를 더 포함한다.In addition, when it is determined that the ready-mixed concrete is defective, the control unit 180 further includes generating a warning (S150).

또한, 통신부(190)가 추론에 사용된 이미지 및 판정의 결과를 서버(200)로 전송하는 단계를 더 포함한다. In addition, the communication unit 190 further includes transmitting the image used for inference and the result of the determination to the server 200 .

본 발명의 일실시예에 따르면, 작업자의 숙련도와 무관하게 레미콘의 불량 여부를 판단할 수 있어서 판정의 객관성을 높힐 수 있다. According to one embodiment of the present invention, it is possible to determine whether the ready-mixed concrete is defective regardless of the skill level of the operator, thereby increasing the objectivity of the determination.

또한, 기계학습된 인공지능 추론모델을 이용함으로써 정확한 실시간 판단이 가능하다.In addition, accurate real-time judgment is possible by using a machine-learned artificial intelligence inference model.

만약, 불량 레미콘이라고 판정되는 경우 즉각적으로 경고함과 동시에 타설을 중단시켜 불량 레이콘이 타설되는 것을 방지할 수 있다. If it is determined that it is defective ready-mixed concrete, it is possible to immediately warn and stop pouring at the same time to prevent the defective ready-mixed concrete from being poured.

또한, 중앙의 서버가 여러 작업장과 데이터 통신함으로써 각 작업장의 정보를 실시간으로 공유할 수 있고, 각 작업장으로부터 수신된 다양한 이력 정보가 서버에 누적되기 때문에 최신의 인공지능 추론모델이 유지될 수 있는 장점이 있다. In addition, the central server can share information from each workplace in real time by communicating data with multiple workplaces, and since various history information received from each workplace is accumulated in the server, the latest artificial intelligence inference model can be maintained. there is

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니된다.
도 1은 작업장의 콘크리트 타설을 위해 레미콘차량(20) 및 펌프카(10)가 배치되는 구성도,
도 2는 도 1에 도시된 호퍼(11)에 대해 본 발명의 실시예가 적용되도록 관심영역(60)과 배제영역(50)을 구분하는 평면도,
도 3은 본 발명의 일실시예에 따른 인공지능을 이용한 레미콘 품질의 영상 판정 시스템의 개략적인 블록도,
도 4는 도 3 중 서버(200)의 개략적인 내부 블록도,
도 5a는 본 발명에 따른 관심영역(60)에 대해 불량 레미콘이라고 판정한 사진,
도 5b는 본 발명에 따른 관심영역(60)에 대해 정상 레미콘이라고 판정한 사진,
도 6은 본 발명의 일실시예에 따른 인공지능을 이용한 레미콘 품질의 영상 판정 방법을 개략적으로 나타낸 흐름도이다.
The following drawings attached to this specification illustrate preferred embodiments of the present invention, and together with the detailed description of the present invention serve to further understand the technical idea of the present invention, the present invention is the details described in such drawings should not be construed as limited to
1 is a configuration diagram in which a ready-mixed concrete vehicle 20 and a pump car 10 are arranged for concrete pouring in a workshop;
2 is a plan view dividing a region of interest 60 and an exclusion region 50 so that an embodiment of the present invention is applied to the hopper 11 shown in FIG. 1;
3 is a schematic block diagram of an image determination system of ready-mixed concrete quality using artificial intelligence according to an embodiment of the present invention;
4 is a schematic internal block diagram of the server 200 in FIG. 3;
5a is a photograph of a region of interest 60 determined to be defective ready-mixed concrete according to the present invention;
Figure 5b is a photograph determined to be normal ready-mixed concrete for the region of interest 60 according to the present invention;
6 is a flowchart schematically illustrating a method for determining an image of ready-mixed concrete quality using artificial intelligence according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, since the description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, the scope of the present invention should not be construed as being limited thereto.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.The meaning of terms described in the present invention should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element. It should be understood that when an element is referred to as “connected” to another element, it may be directly connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as being “directly connected” to another element, it should be understood that no intervening elements exist. Meanwhile, other expressions describing the relationship between components, such as “between” and “immediately between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “having” refer to a described feature, number, step, operation, component, part, or It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as consistent with meanings in the context of related art, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present invention.

실시예의 구성Configuration of the embodiment

이하, 첨부된 도면을 참조하여 바람직한 실시예의 구성을 상세히 설명하기로 한다. 도 1은 작업장의 콘크리트 타설을 위해 레미콘차량(20) 및 펌프카(10)가 배치되는 구성도이다. 도 1에 도시된 바와 같이, 레미콘차량(20)은 외부에서 배합된 레미콘을 펌프카(10)의 호퍼(11)에 토출한다. 펌프카(10)는 붐(12)과 엔드호스(13)를 통해 레미콘을 거푸집(1)에 타설한다.Hereinafter, the configuration of a preferred embodiment will be described in detail with reference to the accompanying drawings. 1 is a configuration diagram in which a ready-mixed concrete vehicle 20 and a pump car 10 are arranged for concrete pouring in a workshop. As shown in FIG. 1, the ready-mixed concrete vehicle 20 discharges the externally mixed ready-mixed concrete to the hopper 11 of the pump car 10. The pump car 10 pours the ready-mixed concrete into the formwork 1 through the boom 12 and the end hose 13.

도 2는 도 1에 도시된 호퍼(11)에 대해 본 발명의 실시예가 적용되도록 관심영역(60)과 배제영역(50)을 구분하는 평면도이다. 도 2에 도시된 바와 같이, 카메라(10)는 호퍼(11)의 상부에서 호퍼(11)를 동영상 촬영한다. 카메라(10)는 펌프카(10)에 고정된 거치형 CCD 카메라일 수 있다. 그 밖에 카메라(10)는 작업자(125)의 휴대폰(120)이나 태블릿 PC에 장착된 카메라일 수 있다. FIG. 2 is a plan view illustrating a region of interest 60 and an exclusion region 50 so that an embodiment of the present invention is applied to the hopper 11 shown in FIG. 1 . As shown in FIG. 2 , the camera 10 takes a video of the hopper 11 from the top of the hopper 11 . The camera 10 may be a stationary CCD camera fixed to the pump car 10 . In addition, the camera 10 may be a camera mounted on the mobile phone 120 or tablet PC of the worker 125 .

호퍼(11)는 프레임(30) 및 보강을 위한 복수의 리브(32)로 이루어진다. 투입중인 레미콘(45)은 리브(32) 사이의 틈을 통해 펌프카(10)로 유입된다. The hopper 11 is composed of a frame 30 and a plurality of ribs 32 for reinforcement. The ready-mixed concrete 45 being injected is introduced into the pump car 10 through the gap between the ribs 32.

배제영역(50)은 판정에 방해가 될 수 있는 영역이며 사각형으로 설정할 수 있다. 배제영역(50)은 추론모델(150)에 입력되지 않거나 무시된다. 본 실시예에서 배제영역(50)은 레미콘차량(20)으로부터 토출되어 투입중인 레미콘(45)이 있는 영역으로 설정한다. The exclusion area 50 is an area that may interfere with judgment and may be set as a rectangle. The exclusion area 50 is not entered into the reasoning model 150 or is ignored. In this embodiment, the exclusion area 50 is set as an area where the ready-mixed concrete 45 discharged from the ready-mixed concrete vehicle 20 and being put in is located.

관심영역(Region of Interest, ROI, 60)은 추론모델(150)에 의해 추론에 사용되는 영역이다. 관심영역(60)은 사각형으로 정의되며, 호퍼(11)의 평면 중 배제영역(50)을 제외한 최대 사각형으로 정의될 수 있다. The Region of Interest (ROI) 60 is a region used for inference by the inference model 150 . The region of interest 60 is defined as a rectangle, and may be defined as the largest rectangle of the plane of the hopper 11 excluding the exclusion region 50 .

도 3은 본 발명의 일실시예에 따른 인공지능을 이용한 레미콘 품질의 영상 판정 시스템의 개략적인 블록도이다. 도 3에 도시된 바와 같이, 판정 시스템은 서버(200)와 적어도 하나의 작업장에 설치된 클라이언트로 구성될 수 있다. 3 is a schematic block diagram of an image determination system of ready-mixed concrete quality using artificial intelligence according to an embodiment of the present invention. As shown in FIG. 3 , the decision system may include a server 200 and a client installed in at least one workplace.

서버(200)는 중앙의 전산실이나 현장사무소에 배치될 수 있고, 서버컴퓨터가 될 수 있으며, LAN, 인터넷, 인트라넷 등을 통해 유무선으로 네트워크 연결되어 있다. The server 200 may be placed in a central computer room or field office, may be a server computer, and is connected to a wired or wireless network through a LAN, the Internet, or an intranet.

현장 데이터(110)는 카메라(100) 또는 휴대폰(120)이 촬영하여 생성한 동영상이 될 수 있다. 현장 데이터(110)는 작업자(125)가 입력한 로그인 데이터, 작업자 정보(예 : ID, 패스워드, 휴대폰 번호, 이메일, 이름, 직위 등), 작업장 정보(예 : 작업장 위치나 주소, 공구 등), 레미콘 차량 정보(예 : 회사명, 차량번호, 운전자), 일시 정보 등을 포함한다. Field data 110 may be a video generated by the camera 100 or the mobile phone 120 taken. The field data 110 includes login data entered by the operator 125, operator information (eg ID, password, mobile phone number, email, name, position, etc.), workplace information (eg, workplace location or address, tools, etc.), Includes ready-mixed concrete vehicle information (e.g. company name, license plate number, driver), date and time information, etc.

운영프로그램(140)은 카메라(100)와 연결된 퍼스널 컴퓨터 또는 휴대폰(120)에 설치되어 실행되는 프로그램이다. The operating program 140 is a program that is installed and executed in the personal computer or mobile phone 120 connected to the camera 100 .

영상처리부(130)는 현장 데이터(110)와 추론모델(150) 사이에 위치한다. 영상처리부(130)는 24 ~ 30 프레임의 동영상으로부터 개별 이미지(예 : JPG 파일)을 추출하고, 추출된 이미지로부터 관심영역(60)을 추출(크롭)한다. 영상처리부(130)는 추출된 관심영역(60)의 이미지를 회전, 상하/좌우 반전, 확대/축소 등을 수행하여 통일된 규격으로 변환하며, 골재의 음영을 강조하기 위해 밝기, 채도, 색조 등을 미리 정해진 파라미터에 따라 조정한다. 이러한 영상처리부(130)의 이미지 프로세싱은 공지의 알고리즘을 이용하여 수행될 수 있다. The image processing unit 130 is located between the field data 110 and the inference model 150. The image processing unit 130 extracts individual images (eg, JPG files) from 24 to 30 frames of video, and extracts (crops) the region of interest 60 from the extracted images. The image processing unit 130 converts the extracted image of the region of interest 60 into a unified standard by performing rotation, up/down/left/right inversion, enlargement/reduction, etc., and brightness, saturation, hue, etc. to emphasize the shade of the aggregate. is adjusted according to predetermined parameters. Image processing of the image processing unit 130 may be performed using a known algorithm.

인공지능 추론모델(150)은 영상처리부(130)가 제공하는 영상 중 레미콘(40) 표면에 노출된 골재의 음영밀도에 기초하여 레미콘(40)의 표면을 정상영역(62)과 불량영역(64)으로 나누도록 추론한다. 즉, 인공지능 추론모델(150)은 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 정상영역(62)으로 추론하고, 임계치에 미달하는 경우 불량영역(64)으로 추론한다. The artificial intelligence inference model 150 divides the surface of the ready-mixed concrete 40 into normal areas 62 and defective areas 64 based on the shadow density of the aggregate exposed on the surface of the ready-mixed concrete 40 among the images provided by the image processing unit 130. ) is inferred to divide by That is, the artificial intelligence inference model 150 infers a normal area 62 when the shade of the aggregate indicates a density equal to or higher than a threshold value, and infers a defective area 64 when the shade does not reach the threshold value.

레미콘의 배합비율이 비정상적이거나 과하게 물이 투입(가수)된 경우 콘크리트에서 재료분리(골재의 분리) 현상이 발생한다. 재료분리가 발생한 콘크리트는 구성재료가 골로루 분포되어 있지 않고, 굵은 골재와 물이 분리되어 움직이며, 물이 표면으로 떠 올라 영상 분석이 가능하다. 이러한 점에 착안하여 인공지능 추론모델(150)은 레미콘(40)의 표면이 평활하거나 골재의 음영 밀도가 낮은 경우 불량영역(64)으로 추론하고, 골재의 음영 밀도가 높은 경우 정상영역(62)으로 추론한다. If the mixing ratio of ready-mixed concrete is abnormal or excessive water is added (aqueduct), material separation (separation of aggregate) occurs in concrete. In concrete where material separation has occurred, the constituent materials are not evenly distributed, and the coarse aggregate and water move separately, and the water floats to the surface, enabling image analysis. In view of this point, the artificial intelligence inference model 150 infers the defective area 64 when the surface of the ready-mixed concrete 40 is smooth or the shading density of the aggregate is low, and the normal area 62 when the shading density of the aggregate is high. infer as

제어부(180)는 추론된 정상영역(62)과 불량영역(64)의 면적을 산출하고 상대 비율을 산출한다. 산출된 비율 중 정상영역(62)이 30% 이상인 경우 정상 레미콘으로 판정하고, 30% 미만인 경우 불량 레미콘으로 판정한다. 제어부(180)는 CPU, AP(어플리케이션 프로세서), MICOM 등이 될 수 있다. 제어부(180)는 판정 결과를 출력부(160)에 전송하고, 통신부(190)를 통해 서버(200)에 전송한다. The controller 180 calculates the areas of the inferred normal region 62 and the defective region 64 and calculates a relative ratio. If the normal area 62 of the calculated ratio is 30% or more, it is determined as normal ready-mixed concrete, and if it is less than 30%, it is determined as defective ready-mixed concrete. The control unit 180 may be a CPU, an AP (application processor), MICOM, or the like. The control unit 180 transmits the determination result to the output unit 160 and to the server 200 through the communication unit 190 .

출력부(160)는 모니터, 휴대폰(120)의 터치스크린 디스플레이(170)가 될 수 있으며, 프린터가 될 수도 있다. The output unit 160 may be a monitor, a touch screen display 170 of the mobile phone 120, or a printer.

통신부(190)는 제어부(180)의 판정 결과, 현장 데이터(110), 판정에 사용된 영상이나 이미지 등을 서버(200)로 전송하고, 서버(200)로부터 최신의 학습된 추론모델(230)을 전송받는다. 통신부(190)는 LAN, 인터넷, 인트라넷 등을 통해 유무선으로 연결되며, TCP/IP(transmission control protocol/internet protocol), 와이파이, 블루투스, 4G, 5G 통신모듈 등이 될 수 있다. The communication unit 190 transmits the judgment result of the control unit 180, the field data 110, the video or image used in the judgment to the server 200, and the latest learned inference model 230 from the server 200 is sent The communication unit 190 is wired and wirelessly connected through a LAN, Internet, intranet, etc., and may be a transmission control protocol/internet protocol (TCP/IP), Wi-Fi, Bluetooth, 4G, or 5G communication module.

도 4는 도 3 중 서버(200)의 개략적인 내부 블록도이다. 도 4에 도시된 바와 같이, 이력 데이터베이스(210)는 레미콘 품질 판정에 관한 복수의 이력 정보가 저장된다. 이력 정보는 기계학습을 위한 73만개의 학습 이미지를 포함하며, 복수의 작업장으로부터 수신되는 영상, 판정 결과 등이 저장된다. 이력 데이터베이스(210)는 계속 업데이트되며, 모델학습부(220)에 최신 정보를 제공한ㄷ. FIG. 4 is a schematic internal block diagram of the server 200 in FIG. 3 . As shown in Figure 4, the history database 210 is stored a plurality of history information on the ready-mixed concrete quality determination. The history information includes 730,000 learning images for machine learning, and images received from multiple workplaces and judgment results are stored. The history database 210 is continuously updated and provides the latest information to the model learning unit 220.

모델학습부(220)는 이력 데이터베이스(210)로부터의 이력 정보를 이용하여 기계학습함으로써 인공지능 추론모델을 생성한다. 또한, 모델학습부(220)는 레미콘 표면의 영상에서 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 정상영역(62)이고, 임계치에 미달하는 경우 불량영역(64)이라고 기계학습된 인공지능 추론모델을 생성한다. 생성되는 추론모델은 신경회로망(Neural Network) 모델, 지름길 연결(shortcut connection 또는 skip connection), 층간 교차 연결(cross-layer connections) 등의 다양한 기술이 적용된 합성곱 신경망(Convolutional Neural Network, CNN)모델이 될 수 있다. The model learning unit 220 generates an artificial intelligence inference model by machine learning using the history information from the history database 210. In addition, the model learning unit 220 is a normal region 62 when the shade of the aggregate in the image of the surface of the ready-mixed concrete indicates a density equal to or higher than the threshold value, and a defective region 64 when the threshold value is not reached. generate The generated inference model is a Convolutional Neural Network (CNN) model applied with various technologies such as a neural network model, shortcut connection or skip connection, and cross-layer connections. It can be.

모델학습부(220)는 신경회로망의 추론모델을 생성하기 위하여, 이력 데이터를 이용하여 제 1 합성곱하는 단계, 제 1 활성함수를 이용하여 연산하는 단계, 연산된 데이터를 이용하여 제 2 합성곱하는 단계, 제 2 활성함수를 이용하여 연산하는 단계(S134); 연산된 데이터를 풀링(pooling)하는 단계; 및 신경망 모델을 드롭아웃(Drop out)하는 단계 등을 순차적으로 수행한다. The model learning unit 220 performs a first convolution step using history data, a first convolution step using the first activation function, and a second convolution step using the calculated data to generate an inference model of the neural network. , calculating using the second activation function (S134); pooling the calculated data; And a step of dropping out the neural network model is sequentially performed.

본 발명의 실시예에서는 6개의 신경회로망 계층으로 구성하였고 계층별로 풀링(pooling)과 드롭아웃(Dropout)을 포함하였다. 활성 함수는 신경회로망의 개별 뉴런에 들어오는 입력신호의 총합을 출력신호로 변환하는 함수하며, 제 1, 2 활성 함수는 ReLU(rectified linear unit)를 사용하였다. 여러 다양한 최적화 기법을 사용할 수 있으나, 본 실예시에서는 Adam Optimizer를 이용하여 신경망 최적화 과정을 진행하였다. 이와 같은 기계학습 과정을 통해 학습과 검증이 반복되며 99.99% 이상의 정확도가 나올 때 학습은 종료되며, 학습된 추론모델(230)이 확정된다. In the embodiment of the present invention, it was composed of six neural network layers, and included pooling and dropout for each layer. The activation function is a function that converts the sum of input signals entering individual neurons of the neural network into an output signal, and ReLU (rectified linear unit) was used for the first and second activation functions. Various optimization techniques can be used, but in this example, the neural network optimization process was performed using Adam Optimizer. Learning and verification are repeated through such a machine learning process, and when an accuracy of 99.99% or more is obtained, learning is terminated and the learned inference model 230 is confirmed.

전송/업데이트부(240)는 추론모델을 작업장의 응용프로그램(140)에 전송하거나 일정 주기마다 최신 추론모델로 업데이트한다. 또한, 전송/업데이트부(240)는 작업장의 통신부(190)로부터 현장 데이터(110)를 수신하여 서버제어부(250)로 전달한다. 전송/업데이트부(240)가 수신한 현장 데이터(110)는 각각의 데이터베이스에 저장된다. 예를 들어, 작업자 데이터베이스(260)에는 작업자(125)가 입력한 로그인 데이터, 작업자 정보(예 : ID, 패스워드, 휴대폰 번호, 이메일, 이름, 직위 등)가 저장된다. 작업장 데이터베이스(270)에는 작업장 정보(예 : 작업장 위치나 주소, 공구 등)가 저장된다. 차량 데이터베이스(280)에는 레미콘 차량 정보(예 : 회사명, 차량번호, 운전자) 및 운행 일시 정보 등을 포함한다. The transmission/update unit 240 transmits the inference model to the application program 140 in the workplace or updates the latest inference model at regular intervals. In addition, the transmission/update unit 240 receives field data 110 from the communication unit 190 of the workplace and transmits it to the server control unit 250 . Field data 110 received by the transmission / update unit 240 is stored in each database. For example, the worker database 260 stores log-in data and worker information (eg, ID, password, mobile phone number, e-mail, name, position, etc.) input by the worker 125 . The workshop database 270 stores workshop information (eg, workshop location or address, tools, etc.). The vehicle database 280 includes ready-mixed concrete vehicle information (eg, company name, license plate number, driver) and operation date and time information.

실시예의 동작Operation of the embodiment

이하, 첨부된 도면을 참조하여 바람직한 실시예의 동작을 상세히 설명하기로 한다. 도 6은 본 발명의 일실시예에 따른 인공지능을 이용한 레미콘 품질의 영상 판정 방법을 개략적으로 나타낸 흐름도이다. 도 6에 도시된 바와 같이, 먼저, 레미콘차량(20)에서 펌프카(10)로 레미콘(40)이 투입될 때, 카메라(100)가 호퍼(11)를 동영상 촬영한다(S100). 동영상에는 투입 및 교반을 통해 유동중인 레미콘(40)의 표면이 촬영된다. Hereinafter, the operation of the preferred embodiment will be described in detail with reference to the accompanying drawings. 6 is a flowchart schematically illustrating a method for determining an image of ready-mixed concrete quality using artificial intelligence according to an embodiment of the present invention. As shown in Figure 6, first, when the ready-mixed concrete 40 is introduced from the ready-mixed concrete vehicle 20 to the pump car 10, the camera 100 takes a video of the hopper 11 (S100). In the video, the surface of the ready-mixed concrete 40 in flow through input and stirring is photographed.

그 다음, 영상처리부(130)가 카메라(100)의 영상에서 이미지를 추출하고, 이미지로부터 관심영역(60)을 추출한다(S110).Next, the image processing unit 130 extracts an image from the image of the camera 100 and extracts a region of interest 60 from the image (S110).

그 다음, 추론모델(150)은 관심영역(60)에 대해 레미콘(40) 표면에 노출된 골재의 음영 비율에 기초하여 레미콘(40)의 표면을 정상영역(62)과 불량영역(64)으로 나누도록 추론한다(S120).Then, the inference model 150 divides the surface of the ready-mixed concrete 40 into a normal region 62 and a defective region 64 based on the shade ratio of the aggregate exposed on the surface of the ready-mixed concrete 40 with respect to the region of interest 60. Inference to divide (S120).

도 5a는 본 발명에 따른 관심영역(60)에 대해 불량 레미콘이라고 판정한 사진이고, 도 5b는 본 발명에 따른 관심영역(60)에 대해 정상 레미콘이라고 판정한 사진이다. 도 5a 및 도 5b에서 S135, S170, S190, S240, F350, F630, F800은 콘크리트의 등급[강도(S, F)-슬럼프값]을 나타나며, 이들 중 S135, S170, S190, F350, F630은 “OK”에 합산된다. Figure 5a is a picture of the area of interest 60 according to the present invention determined to be defective ready-mixed concrete, Figure 5b is a picture of the area of interest 60 according to the present invention determined to be normal ready-mixed concrete. In FIGS. 5A and 5B, S135, S170, S190, S240, F350, F630, and F800 indicate grades of concrete [strength (S, F)-slump value], and among them, S135, S170, S190, F350, and F630 are “ OK”.

도 5a 및 도 5b에 도시된 바와 같이, 정상영역(62)에서는 레미콘(40)의 표면에 다수의 골재 음영이 있음을 알 수 있고, 불량영역(64)에서는 재료분리가 일어나서 골재의 음영이 작거나 빈약하며 거의 평활한 표면의 레미콘임을 확인할 수 있다. 한편, 호퍼(11)의 내부에는 교반기(미도시)가 회전하면서 레미콘을 계속 상하좌우로 교반하는 상태이다. As shown in FIGS. 5A and 5B, it can be seen that there are a number of aggregate shadows on the surface of the ready-mixed concrete 40 in the normal region 62, and material separation occurs in the defective region 64, so the shadow of the aggregate is small. It can be confirmed that it is a ready-mixed concrete with a poor or almost smooth surface. On the other hand, while a stirrer (not shown) rotates inside the hopper 11, the ready-mixed concrete is continuously stirred up, down, left and right.

그 다음, 제어부(180)는 정상영역(62)과 불량영역(64)의 면적 비율을 산출한다(S130). 도 5a의 표시된 “OK 5%”는 정상영역(62)의 면적비율이 5%임을 나타내고, “NOT OK 95.0%”는 불량영역(64)의 면적비율이 95.0%임을 나타낸다. 그리고, 도 5b에 표시된 “OK 30%”는 정상영역(62)의 면적비율이 30.0%임을 나타내고, “NOT OK 70.0%”는 불량영역(64)의 면적비율이 70.0%임을 나타낸다. Next, the controller 180 calculates the area ratio of the normal region 62 and the defective region 64 (S130). “OK 5%” in FIG. 5A indicates that the area ratio of the normal region 62 is 5%, and “NOT OK 95.0%” indicates that the area ratio of the defective region 64 is 95.0%. Also, “OK 30%” shown in FIG. 5B indicates that the area ratio of the normal region 62 is 30.0%, and “NOT OK 70.0%” indicates that the area ratio of the defective region 64 is 70.0%.

그 다음, 제어부(180)는 산출된 비율(30 : 70)에 기초하여 레미콘의 품질을 판정하여 출력한다(S140). 이 때, 정상영역(62)의 비율이 30% 이상인 경우 정상 레미콘으로 판정하고, 30%미만인 경우 불량레미콘으로 판정한다. 따라서, 도 5a는 불량 레미콘으로 판정하고, 도 5b는 정상 레미콘으로 판정한다. 기준치 30%는 레미콘의 종류, 반죽질기, 계절, 시공사양 등에 따라 10 ~ 40 % 범위에서 적절히 선택될 수 있다. Then, the controller 180 determines and outputs the quality of ready-mixed concrete based on the calculated ratio (30:70) (S140). At this time, if the ratio of the normal area 62 is 30% or more, it is determined as normal ready-mixed concrete, and if it is less than 30%, it is determined as defective ready-mixed concrete. Therefore, FIG. 5a is determined as defective ready-mixed concrete, and FIG. 5b is determined as normal ready-mixed concrete. The standard value of 30% may be appropriately selected in the range of 10 to 40% depending on the type of ready-mixed concrete, dough consistency, season, and construction specifications.

만약, 제어부(180)가 불량레미콘이라고 판정한 경우 경고를 발생한다(S150). 경고는 휴대폰(120)의 알람 소리 및/또는 진동, 디스플레이(170)의 적색 경광 표시 등이 될 수 있다. If the controller 180 determines that the ready-mixed concrete is defective, a warning is generated (S150). The warning may be an alarm sound and/or vibration of the mobile phone 120, a red light indicator on the display 170, and the like.

통신부(190)는 추론에 사용된 이미지 및 판정의 결과를 서버(200)로 전송하여 이력 데이터베이스(210), 작업자 데이터베이스(260), 작업장 데이터베이스(270) 및 레미콘차량 데이터베이스(280)에 각각 저장하도록 한다. The communication unit 190 transmits the image used in the inference and the result of the judgment to the server 200 to be stored in the history database 210, the worker database 260, the workshop database 270, and the ready-mixed concrete vehicle database 280, respectively. do.

본 발명의 일실시예에서는 인공지능 추론모델이 정상영역의 “OK”와 불량영역 “NOT OK”로 구분하여 추론하였으나, 부분적으로 재료분리가 일어난 영역을 세분화하여 더 정밀하게 학습하고 추론하도록 변형할 수 있다. In one embodiment of the present invention, the artificial intelligence inference model divides and infers the normal area “OK” and the defective area “NOT OK”, but it can be modified to learn and infer more precisely by subdividing the area where material separation has partially occurred. can

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.Detailed descriptions of the preferred embodiments of the present invention disclosed as described above are provided to enable those skilled in the art to implement and practice the present invention. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the scope of the present invention. For example, those skilled in the art can use each configuration described in the above-described embodiments in a manner of combining with each other. Thus, the present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.The present invention may be embodied in other specific forms without departing from the spirit and essential characteristics of the present invention. Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention. The invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein. In addition, claims that do not have an explicit citation relationship in the claims may be combined to form an embodiment or may be included as new claims by amendment after filing.

1 : 거푸집,
10 : 펌프카,
11 : 호퍼,
12 : 붐(Boom),
13 : 앤드호스,
20 : 레미콘차량,
30 : 프레임,
32 : 리브,
40 : 레미콘,
45 : 레미콘이 투입중인 영역,
50 : 배제영역,
60 : 관심영역(ROI),
62 : 정상영역,
64 : 불량영역,
100 : 카메라,
110 : 현장 데이터,
120 : 휴대폰,
125 : 작업자,
130 : 영상처리부,
140 : 응용 프로그램,
150 : 인공지능 추론모델,
160 : 출력부,
170 : 디스플레이,
180 : 제어부,
190 : 통신부,
200 : 서버,
210 : 이력 데이터베이스,
220 : 모델학습부,
230 : 학습된 추론모델,
240 : 전송/업데이트부,
250 : 서버 제어부,
260 : 작업자 데이터베이스,
270 : 작업장 데이터베이스,
280 : 차량 데이터베이스.
1: formwork,
10: pump car,
11: Hopper,
12: Boom,
13: end hose,
20: ready-mixed concrete vehicle,
30: frame,
32: rib,
40: ready-mixed concrete,
45: area where ready-mixed concrete is being put in,
50: exclusion area,
60: region of interest (ROI),
62: normal area,
64: defective area,
100: camera,
110: field data,
120: mobile phone,
125: worker,
130: image processing unit,
140: application,
150: artificial intelligence reasoning model,
160: output unit,
170: display,
180: control unit,
190: Ministry of Communications,
200: server,
210: history database,
220: model learning unit,
230: learned inference model,
240: transmission/update unit,
250: server control unit,
260: worker database,
270: workshop database,
280: vehicle database.

Claims (15)

레미콘차량(20)에서 펌프카(10)로 레미콘(40)이 투입될 때, 호퍼(11)를 촬영하는 카메라(100);
상기 카메라(100)의 영상 중 레미콘(40) 표면에 노출된 골재의 비율에 기초하여 상기 레미콘(40)의 표면을 정상영역(62)과 불량영역(64)으로 나누도록 추론하는 인공지능 추론모델(150); 및
상기 정상영역(62)과 상기 불량영역(64)의 면적 비율을 산출하고, 산출된 비율에 기초하여 상기 레미콘의 품질을 판정하는 제어부(180);를 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치.
When the ready-mixed concrete 40 is injected from the ready-mixed concrete vehicle 20 to the pump car 10, the camera 100 for photographing the hopper 11;
An artificial intelligence inference model that infers that the surface of the ready-mixed concrete 40 is divided into a normal region 62 and a defective region 64 based on the ratio of aggregate exposed to the surface of the ready-mixed concrete 40 in the image of the camera 100. (150); and
A control unit 180 that calculates the area ratio of the normal area 62 and the defective area 64 and determines the quality of the ready-mixed concrete based on the calculated ratio; Quality image determination device.
제 1 항에 있어서,
상기 카메라(100)는 상기 레미콘차량(20)에 탑재되거나 작업자(125)가 휴대하는 휴대폰(120)의 카메라인 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치.
According to claim 1,
The camera 100 is an image determination device of ready-mixed concrete quality using artificial intelligence, characterized in that the camera of the mobile phone 120 mounted on the ready-mixed concrete vehicle 20 or carried by the worker 125.
제 1 항에 있어서,
상기 카메라(100)의 영상은, 상기 호퍼(11)의 평면 영상 중 추론에 사용되지 않는 배제영역(50) 및 추론에 사용되는 관심영역(60);으로 구성되는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치.
According to claim 1,
The image of the camera 100, among the flat images of the hopper 11, an exclusion region 50 not used for inference and a region of interest 60 used for inference; Remicon quality video judgment device.
제 3 항에 있어서,
상기 배제영역(50)은 상기 레미콘차량(20)으로부터 상기 레미콘(40)이 투입되는 영역(45)을 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치.
According to claim 3,
The exclusion area 50 comprises an area 45 into which the remicon 40 is injected from the remicon vehicle 20. Remicon quality image determination device using artificial intelligence.
제 3 항에 있어서,
상기 카메라(100)의 영상으로부터 각 프레임의 이미지를 추출하고,
추출된 상기 이미지로부터 상기 관심영역(60)을 추출하는 영상처리부(130)를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치.
According to claim 3,
Extracting an image of each frame from the image of the camera 100,
An image determination device of ready-mixed concrete quality using artificial intelligence, characterized in that it further comprises an image processing unit 130 for extracting the region of interest 60 from the extracted image.
제 1 항에 있어서,
상기 인공지능 추론모델(150)은 상기 카메라(100)의 영상 중 레미콘(40) 표면에 노출된 골재의 음영 비율에 기초하여 추론하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치.
According to claim 1,
The artificial intelligence inference model 150 is an image determination device of ready-mixed concrete quality using artificial intelligence, characterized in that inferring based on the shading ratio of the aggregate exposed to the surface of the ready-mixed concrete 40 among the images of the camera 100.
제 6 항에 있어서,
상기 인공지능 추론모델(150)은 상기 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 상기 정상영역(62)으로 추론하고, 상기 임계치에 미달하는 경우 불량영역(64)으로 추론하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 장치.
According to claim 6,
The artificial intelligence inference model 150 infers as the normal area 62 when the shade of the aggregate indicates a density equal to or higher than a threshold value, and infers it as a defective area 64 when the shade does not reach the threshold value. Image determination device of ready-mixed concrete quality using.
레미콘 품질 판정에 관한 복수의 이력 정보가 저장된 이력 데이터베이스(210);
상기 복수의 이력 정보를 이용하여 기계학습함으로써 인공지능 추론모델을 생성하는 모델학습부(220);
상기 추론모델을 작업장의 응용프로그램(140)에 전송하거나 최신 추론모델로 업데이트하는 전송/업데이트부(240);
상기 작업장의 작업자(125)가 상기 응용프로그램(140)을 통해 입력한 상기 작업자 정보, 상기 작업장 정보 및 레미콘 차량(20) 정보를 저장하는 데이터베이스 수단(260, 270, 280); 및
상기 데이터베이스 수단의 정보 및 상기 작업장에 대해 상기 추론모델(150)이 판정에 사용한 영상 및 판정 결과를 상기 이력 데이터베이스(210)에 저장하는 서버제어부(250);를 포함하는 것을 특징으로 하는 레미콘 품질의 영상 판정을 위한 인공지능 추론모델의 학습서버 장치.
A history database 210 in which a plurality of history information about the quality of ready-mixed concrete is stored;
A model learning unit 220 generating an artificial intelligence inference model by machine learning using the plurality of history information;
a transmission/update unit 240 that transmits the inference model to the application program 140 in the workplace or updates it with the latest inference model;
Database means (260, 270, 280) for storing the worker information, the workshop information and the ready-mixed concrete vehicle 20 information input by the worker 125 of the workshop through the application 140; and
A server control unit 250 for storing the information of the database means and the image used by the inference model 150 for determination of the workplace and the determination result in the history database 210; Learning server device of artificial intelligence inference model for image judgment.
제 8 항에 있어서,
상기 모델학습부(220)는 레미콘 표면의 영상에서 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 정상영역(62)이고, 상기 임계치에 미달하는 경우 불량영역(64)이라고 기계학습된 상기 인공지능 추론모델을 생성하는 것을 특징으로 하는 레미콘 품질의 영상 판정을 위한 인공지능 추론모델의 학습서버 장치.
According to claim 8,
The model learning unit 220 is a normal region 62 when the shade of the aggregate in the image of the surface of the ready-mixed concrete indicates a density equal to or higher than a threshold value, and the artificial intelligence inference model machine-learned as a defective region 64 when it does not reach the threshold value A learning server device of an artificial intelligence inference model for image determination of ready-mixed concrete quality, characterized in that for generating.
제 8 항에 있어서,
상기 작업장은 원격지에 위치하는 적어도 하나의 작업장이고,
상기 응용프로그램(140)은 상기 작업장 내에 위치하는 퍼스널 컴퓨터, 태블릿PC, 및 휴대폰(120) 중 적어도 하나에서 실행되는 것을 특징으로 하는 레미콘 품질의 영상 판정을 위한 인공지능 추론모델의 학습서버 장치.
According to claim 8,
The workplace is at least one workplace located in a remote location,
The application program 140 is a learning server device of an artificial intelligence inference model for image determination of ready-mixed concrete quality, characterized in that running on at least one of a personal computer, a tablet PC, and a mobile phone 120 located in the workplace.
레미콘차량(20)에서 펌프카(10)로 레미콘(40)이 투입될 때, 카메라(100)가 호퍼(11)를 촬영하는 단계(S100);
영상처리부(130)가 상기 카메라(100)의 영상에서 이미지를 추출하고, 상기 이미지로부터 관심영역(60)을 추출하는 단계(S110);
추론모델(150)이 상기 관심영역(60)에 대해 레미콘(40) 표면에 노출된 골재의 음영 비율에 기초하여 상기 레미콘(40)의 표면을 정상영역(62)과 불량영역(64)으로 나누도록 추론하는 단계(S120); 및
제어부(180)가 상기 정상영역(62)과 상기 불량영역(64)의 면적 비율을 산출하는 단계(S130); 및
상기 제어부(180)가 산출된 비율에 기초하여 상기 레미콘의 품질을 판정하여 출력하는 단계(S140);를 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 방법.
When the ready-mixed concrete 40 is introduced from the ready-mixed concrete vehicle 20 to the pump car 10, the camera 100 photographs the hopper 11 (S100);
The image processing unit 130 extracts an image from the image of the camera 100 and extracts a region of interest 60 from the image (S110);
The inference model 150 divides the surface of the ready-mixed concrete 40 into a normal region 62 and a defective region 64 based on the shade ratio of the aggregate exposed on the surface of the ready-mixed concrete 40 with respect to the region of interest 60 inferring (S120); and
calculating, by the controller 180, an area ratio between the normal area 62 and the defective area 64 (S130); and
The control unit 180 determines and outputs the quality of the ready-mixed concrete based on the calculated ratio (S140); method for determining the image of the ready-mixed concrete quality using artificial intelligence, characterized in that it comprises a.
제 11 항에 있어서,
상기 추론단계(S120)는 상기 골재의 음영이 임계치 이상의 밀도를 나타내는 경우 상기 정상영역(62)으로 추론하고, 상기 임계치에 미달하는 경우 불량영역(64)으로 추론하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 방법.
According to claim 11,
In the inference step (S120), when the shade of the aggregate indicates a density equal to or higher than a threshold value, it is inferred as the normal region (62), and when it is less than the threshold value, it is inferred as a defective region (64). A method for determining the image quality of ready-mixed concrete.
제 11 항에 있어서,
상기 판정단계(S140)에서 상기 정상영역(62)의 비율이 30% 이상인 경우 정상 레미콘으로 판정하고, 30%미만인 경우 불량레미콘으로 판정하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 방법.
According to claim 11,
In the determination step (S140), if the ratio of the normal area 62 is 30% or more, it is determined as normal remicon, and if it is less than 30%, it is determined as defective remicon.
제 13 항에 있어서,
상기 불량레미콘이라고 판정된 경우 상기 제어부(180)가 경고를 발생하는 단계(S150)를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 방법.
According to claim 13,
When it is determined that the defective ready-mixed concrete is determined, the control unit 180 generates a warning (S150).
제 11 항에 있어서,
통신부(190)가 추론에 사용된 상기 이미지 및 상기 판정의 결과를 서버(200)로 전송하는 단계를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 레미콘 품질의 영상 판정 방법.
According to claim 11,
The communication unit 190 further comprises the step of transmitting the image used for inference and the result of the determination to the server 200.
KR1020210138909A 2021-10-19 2021-10-19 Ready-mixed concrete quality image judgment system using artificial intelligence KR20230055479A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210138909A KR20230055479A (en) 2021-10-19 2021-10-19 Ready-mixed concrete quality image judgment system using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210138909A KR20230055479A (en) 2021-10-19 2021-10-19 Ready-mixed concrete quality image judgment system using artificial intelligence

Publications (1)

Publication Number Publication Date
KR20230055479A true KR20230055479A (en) 2023-04-26

Family

ID=86099546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210138909A KR20230055479A (en) 2021-10-19 2021-10-19 Ready-mixed concrete quality image judgment system using artificial intelligence

Country Status (1)

Country Link
KR (1) KR20230055479A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116819050A (en) * 2023-06-26 2023-09-29 河南安祐中路桥工程有限公司 Concrete stirring uniformity detection system and detection method thereof
KR102634943B1 (en) * 2023-08-04 2024-02-07 주식회사 인포앤 Apparatus and Method for 3D Machine Vision Inspection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130040296A (en) 2011-10-14 2013-04-24 김창휘 Remicon quality management system and method
KR20160123691A (en) 2015-04-16 2016-10-26 원준연 Concrete quality prediction system using a mobile terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130040296A (en) 2011-10-14 2013-04-24 김창휘 Remicon quality management system and method
KR20160123691A (en) 2015-04-16 2016-10-26 원준연 Concrete quality prediction system using a mobile terminal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116819050A (en) * 2023-06-26 2023-09-29 河南安祐中路桥工程有限公司 Concrete stirring uniformity detection system and detection method thereof
CN116819050B (en) * 2023-06-26 2024-04-09 河南安祐中路桥工程有限公司 Concrete stirring uniformity detection system and detection method thereof
KR102634943B1 (en) * 2023-08-04 2024-02-07 주식회사 인포앤 Apparatus and Method for 3D Machine Vision Inspection

Similar Documents

Publication Publication Date Title
KR20230055479A (en) Ready-mixed concrete quality image judgment system using artificial intelligence
JP6921241B2 (en) Display screen quality inspection methods, equipment, electronic devices and storage media
JP4730431B2 (en) Target tracking device
CN107273849B (en) Display control device and display control method
EP1421368B1 (en) Image processing and inspection system
JP6938270B2 (en) Information processing device and information processing method
JPWO2020146036A5 (en)
CN110948879A (en) 3D printing remote monitoring system based on cloud platform and control method
CN116567395A (en) Security equipment linkage operation regulation and control method and computer storage medium
JP2020160966A (en) Image recognition system and image recognition method
WO2017038450A1 (en) Monitoring system, monitoring network construction method, and program
CN116789016A (en) Method and equipment for monitoring operation hidden danger of intelligent building site tower crane
CN109462728B (en) Code rate control method and device, image acquisition equipment and readable storage medium
JP7146416B2 (en) Information processing device, information processing system, information processing method, and program
KR20060041555A (en) System and method for detecting and alarming a fire of thermal power plants
JP7390260B2 (en) Compaction state determination device and compaction state determination method
CN103556561A (en) Method and system for detecting pavement segregation and engineering machine
US20200412974A1 (en) Information processing apparatus, system, control method of information processing apparatus, and non-transitory computer-readable storage medium
JP2021080657A (en) Operation object device and construction machine
JP7458138B2 (en) Information processing system, information processing device, terminal device, information processing method, and program
JP2004266528A (en) Video delivery service monitor and monitoring method
JP2020077337A (en) Image monitoring system
CN108985968A (en) A kind of automatic production method of concrete and device, storage medium, terminal
WO2022239315A1 (en) Information processing method, information processing device, and program
WO2024047793A1 (en) Video processing system, video processing device, and video processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal