KR20190063184A - Detection of dangerous things to infants through image analysis and deep learning - Google Patents

Detection of dangerous things to infants through image analysis and deep learning Download PDF

Info

Publication number
KR20190063184A
KR20190063184A KR1020170162081A KR20170162081A KR20190063184A KR 20190063184 A KR20190063184 A KR 20190063184A KR 1020170162081 A KR1020170162081 A KR 1020170162081A KR 20170162081 A KR20170162081 A KR 20170162081A KR 20190063184 A KR20190063184 A KR 20190063184A
Authority
KR
South Korea
Prior art keywords
infants
image
deep learning
present
objects
Prior art date
Application number
KR1020170162081A
Other languages
Korean (ko)
Inventor
김경섭
김휘준
박길섭
서영학
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020170162081A priority Critical patent/KR20190063184A/en
Publication of KR20190063184A publication Critical patent/KR20190063184A/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208Combination with audio or video communication, e.g. combination with "baby phone" function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

According to one embodiment of the present invention, provided is a method for detecting a dangerous object for infants and young children using an image analysis and deep learning, which comprises the steps of: using a deep learning algorithm from an image including a plurality of peripheral objects infants and young children to recognize the plurality of peripheral objects; analyzing coordinate information on the peripheral objects recognized in the image; and predicting a dangerous situation of the infants and the young children based on the analysis.

Description

이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법{DETECTION OF DANGEROUS THINGS TO INFANTS THROUGH IMAGE ANALYSIS AND DEEP LEARNING}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for detecting dangerous substances in infants and young children using image analysis and deep running,

본 발명은 영유아 위험물 탐지 방법에 관한 것으로, 보다 상세하게는 다양한 물체의 인식이 가능한 딥 러닝 알고리즘을 이용하여 영유아에 위험한 물체를 탐지하는 방법에 관한 것이다.More particularly, the present invention relates to a method for detecting a dangerous object in an infant using a deep learning algorithm capable of recognizing various objects.

어린아이들의 특성상 잠시만 한눈을 팔아도 위험한 상황에 노출될 수 있기 때문에 이를 예방하기 위해 다양한 센서 기반의 물체인식과 영상처리 알고리즘을 이용한 물체인식에 관한 연구 사례가 늘어나고 있다.Because of the nature of young children, it is possible to expose them to dangerous situations even if they sell their eyes for a while. In order to prevent this, there are many cases of object recognition using object recognition and image processing algorithms based on various sensors.

그러나, 센서 기반의 경우, 생체 정보와 외부 환경정보를 얻기 위해 센서를 항상 몸에 부착해야 하는 문제가 있으며 신뢰성 있는 데이터 수집을 위해 고비용의 센서 네트워크가 필요하다. 영상처리 알고리즘의 경우, 이미지 보정을 위한 연산단계가 많고 여러 물체에 대하여 하나의 알고리즘을 적용하기 어려워 다양한 물체에 이를 적용하는데 한계가 존재한다.However, in the sensor-based case, there is a problem that the sensor is always attached to the body in order to obtain the biometric information and the external environment information, and a high cost sensor network is required for reliable data collection. In the image processing algorithm, there are many computation steps for image correction and it is difficult to apply one algorithm to many objects, so there is a limitation in applying them to various objects.

관련 선행기술로는 대한민국 등록특허공보 제10-0685134호(발명의 명칭: 카메라 기반의 감시 방법 및 시스템, 공고일자: 2007년 02월 22일)가 있다.A related prior art is Korean Patent Registration No. 10-0685134 entitled " Camera based monitoring method and system, public announcement date: February 22, 2007 ".

본 발명의 일 실시예는 영유아 및 주변 사물이 포함된 이미지로부터 딥 러닝 알고리즘을 이용하여 주변 사물을 인식하고, 이미지 내 주변 사물에 대한 좌표 정보를 분석하여 영유아 주변의 다양한 물체를 탐지하도록 하는 이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법을 제공한다.In one embodiment of the present invention, an image analysis is performed to detect various objects around infants and children by recognizing surrounding objects using a deep learning algorithm from images including infants and surrounding objects, and analyzing coordinate information on surrounding objects in the images. And a method for detecting dangerous infants and young children using deep running.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problem (s), and another problem (s) not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법은 영유아 및 복수의 주변 사물이 포함된 이미지로부터 딥 러닝 알고리즘을 이용하여 상기 복수의 주변 사물을 인식하는 단계, 상기 이미지 내에서 상기 인식된 복수의 주변 사물에 대한 좌표 정보를 분석하는 단계, 및 상기 분석에 기초하여, 상기 영유아의 위험 상황을 예측하는 단계를 포함한다.A method for detecting dangerous infants and infants using image analysis and deep learning according to an embodiment of the present invention includes the steps of recognizing the plurality of surrounding objects from an image including an infant and a plurality of surrounding objects using a deep learning algorithm, Analyzing coordinate information on the perceived plurality of peripheral objects in the at least one child, and predicting the risk situation of the infant and child based on the analysis.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and the accompanying drawings.

본 발명의 일 실시예에 따르면, 영유아 및 주변 사물이 포함된 이미지로부터 딥 러닝 알고리즘을 이용하여 주변 사물을 인식하고, 이미지 내 주변 사물에 대한 좌표 정보를 분석하여 영유아 주변의 다양한 물체를 탐지할 수 있다.According to an embodiment of the present invention, a surrounding object is recognized using a deep learning algorithm from an image including infants and surrounding objects, and coordinate information on objects surrounding the image is analyzed to detect various objects around infants and young children have.

도 1은 본 발명의 일 실시예에 따른 이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법을 설명하기 위해 도시한 도면이다.FIG. 1 is a view for explaining an infant and child dangerous material detection method using image analysis and deep learning according to an embodiment of the present invention.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and / or features of the present invention, and how to accomplish them, will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but is capable of many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법은 영유아 및 복수의 주변 사물이 포함된 이미지로부터 딥 러닝 알고리즘을 이용하여 상기 복수의 주변 사물을 인식하는 단계, 상기 이미지 내에서 상기 인식된 복수의 주변 사물에 대한 좌표 정보를 분석하는 단계, 및 상기 분석에 기초하여, 상기 영유아의 위험 상황을 예측하는 단계를 포함한다.FIG. 1 is a flowchart illustrating a method for detecting dangerous infants and children using image analysis and deep learning according to an exemplary embodiment of the present invention. Referring to FIG. 1, Analyzing coordinate information for the perceived plurality of nearby objects within the image, and predicting the risk situation of the infant based on the analysis.

본 발명의 영유아 위험물 탐지 방법에 대한 특징은 다음과 같다.The characteristics of the method for detecting dangerous infants and toddlers according to the present invention are as follows.

1. DeepLearning Preprocessor1. DeepLearning Preprocessor

- Crowling을 통한 영유아 및 이미지 데이터 수집- Collecting infant and image data through Crowling

- 데이터 셋을 구성하기 위한 이미지 라벨링 전처리 기술- Image labeling preprocessing technology to construct datasets

- 훈련의 반복횟수 감소와 정확도 향상을 위한 초기값 사용- Use initial values to reduce the number of repetitions of training and improve accuracy

2. Neural Network 구성2. Neural Network Configuration

- TensorFlow와 고성능 GPU를 이용한 인공 신경망 구성- Artificial neural network configuration using TensorFlow and high performance GPU

- 실시간 예측 가능 모델일 Faster R-CNN을 통한 훈련- Training through the Faster R-CNN, a real-time predictable model.

- 훈련의 반복횟수 감소와 정확도 향상을 위한 초기값 사용- Use initial values to reduce the number of repetitions of training and improve accuracy

3. 위험상황 예측 모델 구성3. Risk prediction model configuration

- 인식된 사물을 바탕으로 위험단계를 설정해 상황 판단 프로그램 구축- Establishing a situation judgment program by setting the risk level based on recognized objects

- 사물 좌표를 이용한 거리요소를 통해 영유아의 위험 상황 판단- Determination of danger situation of infants through distance factor using object coordinates

- 로그형식의 시각화 모델- Logical visualization model

본 발명의 영유아 위험물 탐지 방법에 대한 구체적인 특징은 다음과 같다.Specific features of the method for detecting dangerous substances for infants and children of the present invention are as follows.

S1-1. 딥 러닝 알고리즘인 Faster R-CNN을 활용해 영유아에 위험한 물체를 인식하는 기술.S1-1. A technology that recognizes dangerous objects to infants using Faster R-CNN, a deep-running algorithm.

S1-2. 인식된 물체를 바탕으로 위험 상황을 예측하는 시스템.S1-2. A system for predicting risk situations based on recognized objects.

S2-1. S1-1에 있어서, 신경망 훈련을 위한 데이터 셋 전처리 기술.S2-1. In S1-1, a data set preprocessing technique for neural network training.

S2-2. S1-1에 있어서, 훈련의 반복 횟수와 정확도를 향상시키기 위한 사전 학습 기술 적용.S2-2. In S1-1, pre-learning techniques are applied to improve the number of repetitions and accuracy of training.

S2-3. S1-2에 있어서, 성인의 유무, 위험물의 종류를 기준으로 위험 상황 예측하는 시스템.S2-3. In S1-2, a system for predicting a risk situation based on the presence or absence of adults and the type of dangerous goods.

S3-1. S2-1에 있어서, 데이터 셋의 이미지에서 내부 물체의 종류, 위치에 대한 좌표들을 JSON 형식의 파일로 학습에 활용 가능하게 생성하는 시스템.S3-1. In S2-1, the coordinates of the type and position of the internal object in the image of the data set are generated as a JSON format file.

S3-2. S2-2에 있어서, 신경망 첫 훈련 시 사전 학습 데이터 셋을 생성하여 초기값으로 사용하는 시스템.S3-2. In S2-2, a system is used to generate a pre-learning dataset and use it as an initial value in the first training of the neural network.

S3-3. S2-3에 있어서, 사물의 종류와 인식된 좌표 정보를 활용하여 영유아와 사물간의 거리를 상대적으로 판단하고 이를 예측에 활용하는 시스템.S3-3. In S2-3, the distance between infants and objects is relatively determined using the kind of object and the recognized coordinate information, and the system is utilized for prediction.

S4-1. S3-1에 있어서, Tensorflow의 tensor 형식으로 라벨링 결과를 데이터 셋으로 만들어 주는 시스템.S4-1. In S3-1, a system that makes the labeling result into a dataset in the tensor form of Tensorflow.

S4-2. S3-3에 있어서, 예측된 정보를 바탕으로 실시간 로그형식의 시각화 프로그램을 구축.S4-2. In S3-3, a real-time log visualization program is built based on the predicted information.

S5-1. S4-1에 있어서, 이미지뿐만 아니라, 카메라, CCTV 등의 입력으로도 활용이 가능한 시스템.S5-1. In S4-1, the system can be used not only as an image but also as an input for a camera, a CCTV, and the like.

전술한 본 발명의 특징에 따라, 위험 상황을 예측하는데 있어서 하나의 이미지 당 약 0.2초의 시간으로 실시간 탐지하는 시스템에 적용할 수 있고, 실생활에서 쉽게 수집할 수 있는 이미지를 바탕으로 시스템을 구축할 수 있으며, 카메라, CCTV 등의 입력으로 활용이 가능할 수 있다.According to the features of the present invention described above, it is possible to apply the present invention to a system for detecting real-time at a time of about 0.2 seconds per image in predicting a dangerous situation, and to build a system based on an image that can be easily collected in real life It can be used as an input of cameras, CCTV, etc.

지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, the spirit of the present invention should be understood only in accordance with the following claims, and all equivalents or equivalent variations thereof are included in the scope of the present invention.

Claims (1)

영유아 및 복수의 주변 사물이 포함된 이미지로부터 딥 러닝 알고리즘을 이용하여 상기 복수의 주변 사물을 인식하는 단계;
상기 이미지 내에서 상기 인식된 복수의 주변 사물에 대한 좌표 정보를 분석하는 단계; 및
상기 분석에 기초하여, 상기 영유아의 위험 상황을 예측하는 단계
를 포함하는 것을 특징으로 하는 이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법.
Recognizing the plurality of surrounding objects from the image including the infant and the plurality of surrounding objects using a deep learning algorithm;
Analyzing coordinate information for the perceived plurality of nearby objects within the image; And
Predicting the risk situation of the infants based on the analysis,
And analyzing the image of the dangerous object of infant and child by using image analysis and deep running.
KR1020170162081A 2017-11-29 2017-11-29 Detection of dangerous things to infants through image analysis and deep learning KR20190063184A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170162081A KR20190063184A (en) 2017-11-29 2017-11-29 Detection of dangerous things to infants through image analysis and deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170162081A KR20190063184A (en) 2017-11-29 2017-11-29 Detection of dangerous things to infants through image analysis and deep learning

Publications (1)

Publication Number Publication Date
KR20190063184A true KR20190063184A (en) 2019-06-07

Family

ID=66849585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170162081A KR20190063184A (en) 2017-11-29 2017-11-29 Detection of dangerous things to infants through image analysis and deep learning

Country Status (1)

Country Link
KR (1) KR20190063184A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075622A1 (en) * 2019-10-18 2021-04-22 건국대학교 산학협력단 Method for monitoring baby and devices for performing same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075622A1 (en) * 2019-10-18 2021-04-22 건국대학교 산학협력단 Method for monitoring baby and devices for performing same

Similar Documents

Publication Publication Date Title
US11282389B2 (en) Pedestrian detection for vehicle driving assistance
US20190294881A1 (en) Behavior recognition
US10572072B2 (en) Depth-based touch detection
US11295139B2 (en) Human presence detection in edge devices
US11216935B2 (en) Vision inspection management method and system inspecting based on process data
KR102111894B1 (en) A behavior pattern abnormality discrimination system and method for providing the same
CN110058699B (en) User behavior identification method based on intelligent mobile device sensor
CN106803083B (en) Pedestrian detection method and device
KR20200023708A (en) Object detection method, learning method for object detection, and devices thereof
Htun et al. Image processing technique and hidden Markov model for an elderly care monitoring system
Manzoor et al. Edge deployment framework of guardbot for optimized face mask recognition with real-time inference using deep learning
US20190370996A1 (en) Image processing apparatus
Raheja et al. Cross border intruder detection in hilly terrain in dark environment
KR20190063184A (en) Detection of dangerous things to infants through image analysis and deep learning
US20160133023A1 (en) Method for image processing, presence detector and illumination system
KR20190065859A (en) Apparatus and method for monitoring a human pose and action
US9483827B2 (en) Method of object orientation detection
Hassan et al. Istaqim: An Assistant Application to Correct Prayer for Arab Muslims
Weiss et al. A robust, real-time ground change detector for a “smart” walker
KR200473405Y1 (en) Intelligent toy system with facial expression recognition technology
Haroon et al. Human hand gesture identification framework using SIFT and knowledge‐level technique
Shimakawa et al. Smartphone Apps for Visually Impaired that Detects Obstacles and Obtains those Distances
Masood et al. Identification of anomaly scenes in videos using graph neural networks
Qian et al. Visual-based fall detection using histogram of oriented gradients of Poisson distance image
KR102159996B1 (en) Event filtering device and motion recognition device thereof