KR20220070621A - PPE wear detection method and system using motion mosaic image - Google Patents
PPE wear detection method and system using motion mosaic image Download PDFInfo
- Publication number
- KR20220070621A KR20220070621A KR1020200157347A KR20200157347A KR20220070621A KR 20220070621 A KR20220070621 A KR 20220070621A KR 1020200157347 A KR1020200157347 A KR 1020200157347A KR 20200157347 A KR20200157347 A KR 20200157347A KR 20220070621 A KR20220070621 A KR 20220070621A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- ppe
- mosaic
- motion
- detection method
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 230000033001 locomotion Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract 2
- 230000001681 protective effect Effects 0.000 claims description 7
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상처리 기반의 객체검출 방법에 관한 것으로, 화면 분석을 통해 영상 내 출연하는 사람들이 요구되는 안전장비를 착용하고 있는지 감지할 수 있는 방법에 관한 것이다.The present invention relates to an image processing-based object detection method, and to a method for detecting whether people appearing in an image are wearing required safety equipment through screen analysis.
건설업은 산업분야 중 사망사고가 가장 많이 발생하는 분야이다. 한국산업안전보건공단의 산업재해통계 자료에 따르면 2020년 6월 기준 전체 산업재해 사고 사망자 중 54%가 건설업에서 발생했다. 우리나라는 산업안전보건기준에 관한 규칙과 산업안전보건법에 따라 사업주의 보호 장비 지급과 근로자의 보호 장비 착용이 의무화 되어있다.The construction industry is one of the industries with the highest number of fatal accidents. According to the statistics of occupational accidents by the Korea Occupational Safety and Health Agency, 54% of all deaths from occupational accidents as of June 2020 occurred in the construction industry. In Korea, in accordance with the Rules on Occupational Safety and Health Standards and the Occupational Safety and Health Act, employers are obliged to provide protective equipment and workers to wear protective equipment.
개인보호 장비(PPE, Personal Protective Equipment) 검출은 컴퓨터 비전과 인공지능 기술을 이용하여 현장 근로자의 보호 장비 착용 여부를 확인할 수 있도록 한다. 안전모, 안전조끼, 안전벨트, 안전화, 장갑 등이 PPE에 해당된다. Personal Protective Equipment (PPE) detection uses computer vision and artificial intelligence technology to make sure that field workers are wearing protective equipment. PPE includes hard hats, safety vests, seat belts, safety boots, and gloves.
PPE 검출에 적용되는 핵심 기술은 객체검출(object detection) 기술이다. 객체검출은 이미지에서 관심 객체를 배경과 구분해 식별하는 자동화 기법으로, 이미지 내에서 관심 객체의 존재 여부와 위치를 경계박스(bounding box) 설정을 통해 파악할 수 있게 해준다.A core technology applied to PPE detection is an object detection technology. Object detection is an automated technique that distinguishes an object of interest in an image from the background and identifies the existence and location of the object of interest in the image by setting a bounding box.
객체검출을 위해 딥러닝(deep learning) 알고리즘이 많이 활용되며 대표적으로 YOLO(You Only Look Once) 알고리즘이 사용된다. YOLO는 다른 딥러닝 기반 객체검출 알고리즘과 비교하여 빠른 처리속도와 상대적으로 높은 검출 정확도를 보인다. 이로 인해 YOLO는 PPE 검출을 포함하여 다양한 실시간 객체검출 응용분야에 활용되고 있다. A deep learning algorithm is widely used for object detection, and the You Only Look Once (YOLO) algorithm is typically used. Compared to other deep learning-based object detection algorithms, YOLO shows fast processing speed and relatively high detection accuracy. For this reason, YOLO is being utilized in a variety of real-time object detection applications, including PPE detection.
YOLO의 고질적인 문제로 작은 객체 검출에 취약한 부분이 있다. 건설현장에서 PPE 검출을 위해 사용되는 CCTV 카메라가 실외 환경에서 넓은 시야각 확보를 위해 원거리에 설치될 경우, 카메라 출력영상에서 근로자는 상대적으로 매우 작게 보인다. 이런 이미지에 대해 YOLO 기반 PPE 검출을 수행할 경우, 작게 표출되는 보호 장비는 검출이 안 되는 경우가 발생한다.As a chronic problem of YOLO, it is vulnerable to small object detection. When a CCTV camera used for PPE detection at a construction site is installed at a distance to secure a wide viewing angle in an outdoor environment, the worker looks relatively small in the camera output image. When YOLO-based PPE detection is performed on such an image, protective equipment that is displayed in a small amount may not be detected.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, YOLO와 같은 one-stage 객체검출 알고리즘을 이용하여 PPE 검출 시 작게 표출되는 PPE 객체에 대한 검출 성능을 향상시킬 수 있는 이미지 전처리 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to improve the detection performance of a small expressed PPE object when detecting PPE using a one-stage object detection algorithm such as YOLO. An object of the present invention is to provide an image preprocessing method.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, PPE 착용 감지 방법은, 영상 프레임에서 모션이 발생하는 부분을 추출하는 단계; 추출된 이미지를 모자이크 방식으로 결합하여 재구성하는 단계; 모자이크 이미지에서 객체를 검출하는 단계; 및 검출된 객체 정보를 원본 이미지에 적용하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a PPE wearing detection method includes: extracting a portion in which motion occurs in an image frame; Reconstructing by combining the extracted images in a mosaic manner; detecting an object in the mosaic image; and applying the detected object information to the original image.
추출 단계는, 두 개의 연속적인 이미지 프레임들을 대조하는 단계; 프레임 대조를 통해 얻은 threshold 이미지에서 움직임이 발생한 영역을 확장하여 blob 형태로 구성하는 단계; 및 생성된 blob의 윤곽을 찾아낸 다음, 윤곽에 대한 경계박스를 구하는 단계;를 포함할 수 있다.The extraction step may include collating two successive image frames; constructing a blob shape by expanding a region in which motion occurs in a threshold image obtained through frame contrast; and finding the contour of the generated blob, and then obtaining a bounding box for the contour.
대조 단계는, 두 개의 연속적인 이미지 프레임들을 gray scale로 변환하고, 현재 이미지 프레임과 이전 이미지 프레임 간 픽셀 차이를 계산하여 픽셀 간 변화를 찾아낼 수 있다.The collation step converts two successive image frames to gray scale, and calculates the pixel difference between the current image frame and the previous image frame to find the pixel-to-pixel change.
구성 단계는, threshold 이미지에서, erosion을 통해 노이즈를 제거하고, dilation을 적용하여 이미지 픽셀 영역을 키워서 움직임이 발생한 영역을 확장하여 blob 형태로 구성할 수 있다.In the configuration step, in the threshold image, noise is removed through erosion, and the image pixel area is enlarged by applying dilation to expand the area in which motion occurs to form a blob.
재구성 단계는, 추출된 경계 박스들의 면적을 계산하고 순서를 매기는 단계; 및 가장 큰 면적을 가진 박스를 기준으로 다른 움직임 바운딩 박스들을 인접시켜 새로운 이미지를 구성하는 단계;를 포함할 수 있다.The reconstruction step may include calculating and ordering the areas of the extracted bounding boxes; and configuring a new image by adjoining other motion bounding boxes based on the box having the largest area.
모자이크 이미지는, 가로:세로 비율이 1:1이 되도록 하며, 이미지로 채워지지 않는 영역은 패딩 처리될 수 있다.In the mosaic image, the aspect ratio is 1:1, and an area not filled with the image may be padded.
객체 검출단계는, 검출하고자 하는 PPE 객체들을 기반으로 학습된 딥러닝 모델을 사용하여, 객체를 검출할 수 있다.In the object detection step, an object may be detected using a deep learning model learned based on the PPE objects to be detected.
한편, 본 발명의 다른 실시예에 따른, PPE 착용 감지 시스템은, 영상을 입력받는 입력부; 및 입력부를 통해 입력되는 영상 프레임에서 모션이 발생하는 부분을 추출하고, 추출된 이미지를 모자이크 방식으로 결합하여 재구성하며, 모자이크 이미지에서 객체를 검출하고, 검출된 객체 정보를 원본 이미지에 적용하는 프로세서;를 포함한다.On the other hand, according to another embodiment of the present invention, PPE wear detection system, an input unit for receiving an image; and a processor for extracting a portion in which motion occurs from an image frame input through the input unit, reconstructing the extracted images by combining them in a mosaic manner, detecting an object in the mosaic image, and applying the detected object information to the original image; includes
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, PPE 검출을 위한 이미지 분석 영역 축소 및 최적화를 통해, 작은 크기로 표출되는 PPE 객체의 감지 가능성을 향상시킬 수 있게 된다.As described above, according to the embodiments of the present invention, it is possible to improve the detection possibility of a PPE object expressed in a small size by reducing and optimizing the image analysis area for PPE detection.
또한, 본 발명의 실시예들에서 제시한 방법은 PPE 검출 외 사용자가 착용하고 있는 다른 물체 검출 시나리오에서 활용가능하다.In addition, the method presented in the embodiments of the present invention can be utilized in other object detection scenarios worn by the user other than PPE detection.
도 1은 모션 전처리가 적용된 PPE 검출 프로세스,
도 2는 움직임 영역 감지 프로세스,
도 3은 움직임 영역 감지 예시,
도 4는 모자이크 이미지 생성 프로세스,
도 5는 모자이크 이미지 생성 예시,
도 6은 객체 검출 예시(모자이크 이미지에 표출),
도 7은 객체 재구성 예시,
도 8은 전처리 없이 PPE 검출,
도 9는 모션 모자이크 이미지 전처리 후 PPE 검출,
도 10은 본 발명의 다른 실시예에 따른 PPE 착용 감지 시스템의 블럭도.1 is a PPE detection process with motion preprocessing applied;
2 is a motion region detection process;
3 is an example of motion area detection;
4 is a mosaic image creation process;
5 is an example of generating a mosaic image;
6 is an example of object detection (expressed in a mosaic image);
7 is an example of object reconstruction;
8 is PPE detection without pretreatment,
9 shows PPE detection after motion mosaic image preprocessing;
10 is a block diagram of a PPE wear detection system according to another embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는, 모션 모자이크 이미지를 활용한 PPE 착용 감지 방법 및 시스템을 제시한다. In an embodiment of the present invention, a method and system for detecting PPE wearing using a motion mosaic image are provided.
본 발명의 실시예에 따른 PPE 착용 감지 방법은, 화면 분석을 통해 영상 내 출연하는 사람들이 요구되는 안전장비를 착용하고 있는지 감지할 수 있는 방법으로, 분석해야 할 대상이 존재할만한 영역을 추출하고, 작은 크기로 표출되는 감지 대상 객체의 추출 가능성을 높여준다.The PPE wearing detection method according to an embodiment of the present invention is a method that can detect whether people appearing in the video are wearing required safety equipment through screen analysis, extracting an area where an object to be analyzed is likely to exist, It increases the extraction possibility of the detection target object expressed in a small size.
딥러닝 기반 객체인식 알고리즘에서 분석할 이미지는 크기가 조절(resize)된다. 예를 들어 YOLO에서는 학습과 추론 시 입력 이미지를 32 픽셀의 배수로 조절(resize)하며 기본값은 416x416 픽셀이다. 예를 들어 크기가 1920x1080 픽셀인 이미지를 입력으로 제공할 경우, YOLO는 입력 이미지를 416x234 픽셀로 축소하고 나머지 부분은 패딩(padding) 처리하여 416x416 픽셀 크기의 이미지를 생성한다.In the deep learning-based object recognition algorithm, the image to be analyzed is resized. For example, YOLO resizes the input image to a multiple of 32 pixels during training and inference, which defaults to 416x416 pixels. For example, if you provide an image with a size of 1920x1080 pixels as input, YOLO reduces the input image to 416x234 pixels and padding the rest to create an image with a size of 416x416 pixels.
원본 입력 이미지에 검출해야 할 작은 크기의 객체가 존재할 경우, 이미지 크기 조정 과정에서 픽셀 수 감소로 인하여 유효 특징이 줄어들거나 사라진다. 입력 이미지의 해상도를 최대한 보존할 수 있게 된다면 작은 크기의 객체 검출 성능이 향상된다.When an object of a small size to be detected exists in the original input image, effective features decrease or disappear due to a reduction in the number of pixels during the image resizing process. If the resolution of the input image can be preserved as much as possible, the small-sized object detection performance is improved.
PPE 검출 시 우리는 작업자와 작업자가 착용하고 있는 PPE에 관심이 있다. 작업자가 존재하지 않는 이미지 영역은 처리할 필요가 없다. When detecting PPE, we are interested in the operator and the PPE they are wearing. Areas of the image where the operator does not exist do not need to be processed.
따라서, 이미지에서 작업자가 존재할만한 영역만 선별적으로 추출하여 이미지를 재구성한다면 전체적인 입력 이미지 크기를 줄이면서 작업자의 해상도를 최대한 보존할 수 있게 된다. 현장에서 작업자는 움직이고 이동하기 때문에 이미지에서 움직임이 발생하는 부분을 감지하면 작업자가 존재할만한 영역을 유추하여 분석할 수 있다. Therefore, if the image is reconstructed by selectively extracting only the region where the operator exists from the image, it is possible to reduce the overall input image size while preserving the operator's resolution as much as possible. Since the operator moves and moves in the field, if a movement occurs in the image, the area where the operator is likely to exist can be inferred and analyzed.
도 1은 본 발명의 일 실시예에 따른 모션 전처리 기법이 적용된 PPE 검출 프로세스 과정을 보여준다.1 shows a PPE detection process to which a motion pre-processing technique is applied according to an embodiment of the present invention.
"움직임 영역 감지" 단계에서는 영상 프레임에서 모션이 발생하는 부분을 추출한다(S110). "모자이크 이미지 생성" 단계에서는 추출된 이미지를 모자이크 방식으로 결합하고 재구성한다(S120). "객체검출" 단계에서는 YOLO와 같은 인공지능 딥러닝 기반의 one-stage 객체검출 모델을 사용한다(S130). "객체 재구성" 단계에서는 모자이크 이미지에서 검출된 객체 정보를 원본 이미지에 적용한다(S140). In the "moving area detection" step, a portion in which motion occurs is extracted from the image frame (S110). In the "creation of mosaic image" step, the extracted images are combined in a mosaic manner and reconstructed (S120). In the "object detection" step, a one-stage object detection model based on artificial intelligence deep learning such as YOLO is used (S130). In the "object reconstruction" step, the object information detected in the mosaic image is applied to the original image (S140).
도 2는 움직임 영역 감지 프로세스를 보여준다.Figure 2 shows the motion region detection process.
"프레임 대조(frame differencing)" 단계에서는 움직임 감지를 위해 두 개의 연속적인 이미지 프레임이 요구된다. 프레임들을 gray scale로 변환 후, 현재 이미지 프레임과 이전 이미지 프레임 간 픽셀 차이를 계산하여 픽셀 간 변화를 찾아낸다(S111).The "frame differencing" step requires two consecutive image frames for motion detection. After converting the frames to gray scale, the pixel difference between the current image frame and the previous image frame is calculated to find the change between pixels (S111).
"모폴로지 연산(morphological processing)" 단계에서는 프레임 대조 과정을 통해 얻은 threshold 이미지에 대해서, erosion을 통해 노이즈를 제거하고, dilation을 적용하여 이미지 픽셀 영역을 키워서 움직임이 발생한 영역을 확장하여 blob 형태로 구성한다(S112).In the "morphological processing" step, for the threshold image obtained through the frame collation process, noise is removed through erosion, and the image pixel area is enlarged by applying dilation. (S112).
"바운딩 박스 계산" 단계에서는 생성된 blob의 윤곽을 찾아낸 다음, 윤곽에 대한 경계박스(움직임이 발생한 영역)를 구한다(S113). In the step of "calculating bounding box", the contour of the generated blob is found, and then, a bounding box (region in which motion occurs) is obtained for the contour (S113).
도 3에는 움직임 영역 감지 결과들을 예시하였다.3 exemplifies motion region detection results.
도 4는 감지된 모션 영역들을 하나의 이미지로 재구성하는 "모자이크 이미지 생성" 프로세스를 보여준다.Fig. 4 shows the process of “creating a mosaic image” to reconstruct the sensed motion regions into one image.
"면적 계산" 단계에서는 추출된 움직임 바운딩 박스들의 면적을 계산하고 순서를 매긴다(S121).In the "area calculation" step, the areas of the extracted motion bounding boxes are calculated and ordered (S121).
"모자이크 구성" 단계에서는 가장 큰 면적을 가진 박스를 기준으로 다른 움직임 바운딩 박스들을 인접시켜 새로운 이미지를 구성한다(S122). 모자이크 이미지를 구성할 때 가로, 세로 비율이 최대한 1:1이 되도록 한다. 추출된 모든 바운딩 박스 모자이크 후, 이미지로 채워지지 않는 영역에 대해서는 패딩 처리하여 사각형 형태로 이미지를 구성한다. 또한 각 모션 경계박스에 대해 원본 이미지에서의 좌표와 모자이크 이미지에서의 좌표를 저장하여, 추후 모자이크 이미지에서 검출되는 PPE가 원본 이미지로 표출될 수 있도록 한다.In the "mosaic composition" step, a new image is constructed by adjoining other motion bounding boxes based on the box having the largest area (S122). When composing a mosaic image, make sure that the aspect ratio is 1:1 as much as possible. After mosaicing all the extracted bounding boxes, the area not filled with the image is padded to compose the image in the form of a rectangle. Also, by storing the coordinates in the original image and the coordinates in the mosaic image for each motion bounding box, the PPE detected in the mosaic image can be displayed as the original image later.
도 5에는 모자이크 이미지 생성 결과들을 예시하였다.5 exemplifies the mosaic image generation results.
"모자이크 이미지 생성" 단계에서 생성된 모자이크 이미지는 "객체검출" 단계의 입력으로 재공된다. 객체검출은 검출하고자 하는 PPE 객체들을 기반으로 학습된 딥러닝 모델을 사용한다(예. YOLO). 딥러닝 모델은 감지된 객체에 대한 바운딩 박스의 좌표와 객체 라벨을 반환한다. 도 6은 반환된 객체추출 정보를 모자이크 이미지에 표출한 예시를 보여준다.The mosaic image generated in the "mosaic image generation" step is provided as an input to the "object detection" step. Object detection uses a deep learning model trained based on the PPE objects to be detected (eg YOLO). The deep learning model returns the coordinates of the bounding box for the detected object and the object label. 6 shows an example of expressing the returned object extraction information on a mosaic image.
"객체 검출" 단계는 모자이크 이미지에서 감지된 PPE 객체들에 대한 바운딩 박스의 좌표와 라벨을 반환한다(S130).The "object detection" step returns the coordinates and labels of the bounding boxes for the PPE objects detected in the mosaic image (S130).
"객체 재구성" 단계에서는 "모자이크 이미지 생성" 단계에서 저장된 모션 경계박스에 대응되는 원본 이미지에서의 좌표 정보를 이용하여, 원본 이미지에 감지된 객체 정보를 표출한다(S140). 도 7은 모자이크 이미지에서의 객체들을 원본 이미지로 표출한 예를 보여준다.In the "object reconstruction" step, the object information detected in the original image is expressed by using the coordinate information in the original image corresponding to the motion bounding box stored in the "mosaic image creation" step (S140). 7 shows an example in which objects in a mosaic image are expressed as an original image.
도 8과 9는 본 발명의 실시예에 따른 방법을 적용하지 않았을 때와 적용하였을 때의 검출 차이를 보여준다.8 and 9 show the difference in detection when the method according to the embodiment of the present invention is not applied and when the method is applied.
지금까지, 모션 모자이크 이미지를 활용한 PPE 착용 감지 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a preferred embodiment has been described in detail for a PPE wearing detection method and system using a motion mosaic image.
본 발명의 실시예에서는, YOLO와 같은 one-stage 객체검출 알고리즘을 이용하여 PPE 검출 시 작게 표출되는 PPE 객체에 대한 검출 성능을 향상시킬 수 있는 이미지 전처리 방법을 제시하였다.In an embodiment of the present invention, an image pre-processing method capable of improving the detection performance of a small expressed PPE object when PPE is detected using a one-stage object detection algorithm such as YOLO is presented.
이에 의해, PPE 검출을 위한 이미지 분석 영역 축소 및 최적화를 통해, 작은 크기로 표출되는 PPE 객체의 감지 가능성을 상승시킬 수 있다. 또한, PPE 검출 외 사용자가 착용하고 있는 다른 물체 검출 시나리오에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.Accordingly, it is possible to increase the detection possibility of a PPE object expressed in a small size by reducing and optimizing the image analysis area for PPE detection. In addition, it goes without saying that the technical idea of the present invention can be applied to other object detection scenarios worn by the user other than PPE detection.
도 10은 본 발명의 다른 실시예에 따른 PPE 착용 감지 시스템의 블럭도이다. 본 발명의 실시예에 따른 PPE 착용 감지 시스템은, 도시된 바와 같이, 입력부(210), 프로세서(220), 출력부(230) 및 저장부(240)를 포함하여 구성된다.10 is a block diagram of a PPE wearing detection system according to another embodiment of the present invention. The PPE wear detection system according to an embodiment of the present invention is configured to include an
입력부(210)는 PPE 착용을 감지할 영상을 입력받아 프로세서(220)로 인가한다. 프로세서(220)는 전술한 모션 모자이크 이미지를 활용한 PPE 착용 감지 방법을 수행한다.The
출력부(230)는 프로세서(220)에 의한 감지 결과를 출력하고, 저장부(240)는 프로세서(220)가 기능하고 동작함에 있어 필요한 저장 공간을 제공한다.The
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
S110 : 움직임 영역 감지
S120 : 모자이크 이미지 생성
S130 : 객체검출
S140 : 객체 재구성S110: Motion area detection
S120: Create Mosaic Image
S130: object detection
S140: object reconstruction
Claims (8)
추출된 이미지를 모자이크 방식으로 결합하여 재구성하는 단계;
모자이크 이미지에서 객체를 검출하는 단계; 및
검출된 객체 정보를 원본 이미지에 적용하는 단계;를 포함하는 것을 특징으로 하는 PPE(Personal Protective Equipment) 착용 감지 방법.
extracting a portion in which motion occurs from an image frame;
Reconstructing by combining the extracted images in a mosaic manner;
detecting an object in the mosaic image; and
Applying the detected object information to the original image; PPE (Personal Protective Equipment) wear detection method comprising the.
추출 단계는,
두 개의 연속적인 이미지 프레임들을 대조하는 단계;
프레임 대조를 통해 얻은 threshold 이미지에서 움직임이 발생한 영역을 확장하여 blob 형태로 구성하는 단계; 및
생성된 blob의 윤곽을 찾아낸 다음, 윤곽에 대한 경계박스를 구하는 단계;를 포함하는 것을 특징으로 하는 PPE 착용 감지 방법.
The method according to claim 1,
The extraction step is
collating two successive image frames;
constructing a blob shape by expanding a region in which motion occurs in a threshold image obtained through frame contrast; and
Finding the contour of the generated blob, and then obtaining a bounding box for the contour; PPE wearing detection method comprising the.
대조 단계는,
두 개의 연속적인 이미지 프레임들을 gray scale로 변환하고, 현재 이미지 프레임과 이전 이미지 프레임 간 픽셀 차이를 계산하여 픽셀 간 변화를 찾아내는 것을 특징으로 하는 PPE 착용 감지 방법.
3. The method according to claim 2,
The contrast step is
A method for detecting PPE wear, comprising converting two successive image frames to gray scale and calculating the pixel difference between the current image frame and the previous image frame to find the pixel-to-pixel change.
구성 단계는,
threshold 이미지에서, erosion을 통해 노이즈를 제거하고, dilation을 적용하여 이미지 픽셀 영역을 키워서 움직임이 발생한 영역을 확장하여 blob 형태로 구성하는 것을 특징으로 하는 PPE 착용 감지 방법.
3. The method according to claim 2,
The configuration steps are:
PPE wear detection method, characterized in that by removing noise through erosion from the threshold image, and applying dilation to enlarge the image pixel area to expand the area where motion occurs, and to configure it in the form of a blob.
재구성 단계는,
추출된 경계 박스들의 면적을 계산하고 순서를 매기는 단계; 및
가장 큰 면적을 가진 박스를 기준으로 다른 움직임 바운딩 박스들을 인접시켜 새로운 이미지를 구성하는 단계;를 포함하는 것을 특징으로 하는 PPE 착용 감지 방법.
3. The method according to claim 2,
The reconstruction step is
calculating and ordering the areas of the extracted bounding boxes; and
Constructing a new image by adjoining other motion bounding boxes based on the box having the largest area; PPE wearing detection method comprising the.
모자이크 이미지는,
가로:세로 비율이 1:1이 되도록 하며, 이미지로 채워지지 않는 영역은 패딩 처리되는 것을 특징으로 하는 PPE 착용 감지 방법.
6. The method of claim 5,
mosaic images,
A PPE wearing detection method, characterized in that the aspect ratio is 1:1, and the area not filled with the image is padded.
객체 검출단계는,
검출하고자 하는 PPE 객체들을 기반으로 학습된 딥러닝 모델을 사용하여, 객체를 검출하는 것을 특징으로 하는 PPE 착용 감지 방법.
The method according to claim 1,
The object detection step is
A PPE wearing detection method, characterized in that the object is detected by using a deep learning model learned based on the PPE objects to be detected.
입력부를 통해 입력되는 영상 프레임에서 모션이 발생하는 부분을 추출하고, 추출된 이미지를 모자이크 방식으로 결합하여 재구성하며, 모자이크 이미지에서 객체를 검출하고, 검출된 객체 정보를 원본 이미지에 적용하는 프로세서;를 포함하는 것을 특징으로 하는 PPE(Personal Protective Equipment) 착용 감지 시스템.
an input unit for receiving an image; and
A processor that extracts a portion in which motion occurs from an image frame input through the input unit, reconstructs the extracted images by combining them in a mosaic method, detects an object in the mosaic image, and applies the detected object information to the original image; PPE (Personal Protective Equipment) wear detection system, characterized in that it comprises.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157347A KR20220070621A (en) | 2020-11-23 | 2020-11-23 | PPE wear detection method and system using motion mosaic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157347A KR20220070621A (en) | 2020-11-23 | 2020-11-23 | PPE wear detection method and system using motion mosaic image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220070621A true KR20220070621A (en) | 2022-05-31 |
Family
ID=81779919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200157347A KR20220070621A (en) | 2020-11-23 | 2020-11-23 | PPE wear detection method and system using motion mosaic image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220070621A (en) |
-
2020
- 2020-11-23 KR KR1020200157347A patent/KR20220070621A/en active Search and Examination
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6738066B1 (en) | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display | |
| US8369574B2 (en) | Person tracking method, person tracking apparatus, and person tracking program storage medium | |
| US8340357B2 (en) | Moving object detection method and moving object detection apparatus | |
| Kumar et al. | Multiple cameras using real time object tracking for surveillance and security system | |
| Zhuge et al. | Deep embedding features for salient object detection | |
| Arbel et al. | Texture-preserving shadow removal in color images containing curved surfaces | |
| CN105894464A (en) | Median filtering image processing method and apparatus | |
| CN111275743B (en) | Target tracking method, device, computer readable storage medium and computer equipment | |
| US20240087161A1 (en) | Method and system for monocular depth estimation of persons | |
| JP2010057105A (en) | Three-dimensional object tracking method and system | |
| KR101412369B1 (en) | Method and apparatus for decting object in image | |
| CN112989958A (en) | Helmet wearing identification method based on YOLOv4 and significance detection | |
| CN114764895A (en) | Abnormal behavior detection device and method | |
| Fang et al. | 1-D barcode localization in complex background | |
| KR20220070621A (en) | PPE wear detection method and system using motion mosaic image | |
| CN111179281A (en) | Human body image extraction method and human body action video extraction method | |
| Koochari et al. | Exemplar-based video inpainting with large patches | |
| CN116862920A (en) | Portrait segmentation method, device, equipment and medium | |
| Malavika et al. | Moving object detection and velocity estimation using MATLAB | |
| CN114550062A (en) | Method and device for determining moving object in image, electronic equipment and storage medium | |
| CN112967288A (en) | Multimedia data processing method, communication equipment and readable storage medium | |
| US9159118B2 (en) | Image processing apparatus, image processing system, and non-transitory computer-readable medium | |
| JP5838112B2 (en) | Method, program and apparatus for separating a plurality of subject areas | |
| Ali et al. | Detection And Count of Human Bodies In a Crowd Scene Based on Enhancement Features By Using The YOLO v5 Algorithm | |
| Mattela et al. | An Efficient Pipeline for Distant Person Detection and Identification in 4K Video using GPUs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |