KR20200032879A - Safe system for prevention of left-behind child using face recognition - Google Patents

Safe system for prevention of left-behind child using face recognition Download PDF

Info

Publication number
KR20200032879A
KR20200032879A KR1020180112054A KR20180112054A KR20200032879A KR 20200032879 A KR20200032879 A KR 20200032879A KR 1020180112054 A KR1020180112054 A KR 1020180112054A KR 20180112054 A KR20180112054 A KR 20180112054A KR 20200032879 A KR20200032879 A KR 20200032879A
Authority
KR
South Korea
Prior art keywords
child
face
vehicle
children
image
Prior art date
Application number
KR1020180112054A
Other languages
Korean (ko)
Other versions
KR102157074B1 (en
Inventor
이상수
Original Assignee
이상수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이상수 filed Critical 이상수
Priority to KR1020180112054A priority Critical patent/KR102157074B1/en
Publication of KR20200032879A publication Critical patent/KR20200032879A/en
Application granted granted Critical
Publication of KR102157074B1 publication Critical patent/KR102157074B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a safety system for preventing neglected children in a vehicle using facial recognition technology, and more specifically, to a system for preventing neglected children by installing a vehicle camera, applying facial recognition technology, and performing comparison and confirmation to prevent children from being left alone in the vehicle. According to the present invention, the presence of a child is determined based on facial recognition, and when the child is left, a warning message is transmitted to a set mobile terminal to inform a guardian of the child left in the vehicle, thereby preventing the child from being risky.

Description

안면 인식 기술이 적용된 차량 내 방치어린이 예방 안전시스템{SAFE SYSTEM FOR PREVENTION OF LEFT-BEHIND CHILD USING FACE RECOGNITION}Safety system for prevention of neglected children in vehicles with face recognition technology {SAFE SYSTEM FOR PREVENTION OF LEFT-BEHIND CHILD USING FACE RECOGNITION}

본 발명은 안면인식 기술을 이용하여 차량 내 방치 어린이를 예방하는 안전시스템에 관한 것으로서, 더욱 상세하게는 차량 내에 어린이가 혼자 방치되는 것을 방지하기 위해 차량 카메라를 설치하고 안면 인식 기술을 적용하고 비교 및 확인하여 어린이 방치를 예방하는 시스템에 관한 것이다.The present invention relates to a safety system for preventing children in the vehicle by using facial recognition technology, and more specifically, to install a vehicle camera to prevent children from being left alone in the vehicle, apply and recognize facial recognition technology, and compare and It relates to a system for preventing child neglect by checking.

자동차를 사용하다보면, 불가피하게 어린아이를 차량에 혼자 남겨두고 일을 보아야 하는 상황이 발생하게 된다. 예를 들면, 백화점이나 마트에서 쇼핑을 하여야 하거나, 차량을 도로변에 정차하여 두고 병원이나 약국에 들러 볼일을 보는 경우가 생길 수 있다.When using a car, it is inevitable that a child must be left alone in a vehicle and work. For example, you may have to shop at a department store or a mart, or you may stop at a roadside vehicle and stop by a hospital or pharmacy to see the business.

특히, 어린이가 차량 내에서 자고 있는 경우에는 더욱더 아이를 동반하여 볼일을 보기 힘든 상황이므로 대개의 어른들은 자는 아이를 차량에 홀로 남겨둔 채, 차량의 윈도우를 모두 올려 외부의 먼지가 차량 내부로 유입되지 못하도록 조치를 취한 후, 혹시라도 있을지 모르는 만일의 사태(아이가 깨어 도어를 열고 나오는 상황이 발생할 수 있다)에 대비하여 차량 내부에서 도어를 열지 못하도록 차일드 락 시스템(child lock system)을 작동시킨 후, 차량을 떠나는 경우가 많다.In particular, when a child is sleeping in a vehicle, it is more difficult to see the work with a child, so most adults leave the sleeping child alone in the vehicle and raise all the windows of the vehicle to prevent outside dust from entering the vehicle. After taking measures to prevent them, after activating the child lock system to prevent the door from being opened inside the vehicle in case of any possible emergency (the child may wake up and open the door) They often leave the vehicle.

이때, 외부인이 도어를 열지 못하도록 도어까지 록킹시켜 놓고 차량을 떠나게 되는데, 흔히 어린이가 차량에 혼자 있는 것이 얼마만큼 위험한 것인지를 잘 인식하지 못한 채, 어린이만을 남겨두게 되고, 볼일을 보다보면 어린이를 혼자 차량에 남겨두고 왔다는 사실을 망각하여 오랜 시간이 흐르는 경우가 허다하다.At this time, the door is locked to prevent the outsider from opening the door, and the vehicle is left. Often, the child is left alone without realizing how dangerous it is to be alone in the vehicle. It is often the case that a long time flows by forgetting that it has been left in the vehicle.

이러한 경우, 차량은 태양열에 의하여 차내 온도가 증가하게 되며, 특히 여름철에는 그 온도가 급속도로 상승하여 호흡이 곤란해지지만, 닫힌 윈도우로 인하여 외부공기가 통하지 못하고 어린이는 차실내에서 질식하는 사고에까지 이르게 된다.In this case, the temperature of the vehicle increases due to the heat of the sun, and in summer, the temperature rises rapidly, making breathing difficult, but due to the closed window, outside air does not pass and children reach the suffocation accident in the cabin. do.

지금까지는 어린이가 차량에 혼자 남겨져 질식하기 직전 상황에 놓여있어도 어린이를 차량에 홀로 남겨두고 차량을 떠난 어른이나 차량 주위의 다른 사람들이 이러한 상황을 전혀 알 수 없어 결국, 어린이가 사망에까지 이르는 사고로 이어지는 문제점이 있었으나, 이를 해결할 수 있는 장치가 그동안 제공되지 않았다.Until now, even if a child is left alone in a vehicle and is on the verge of suffocation, an adult or other person around the vehicle who leaves the child alone and leaves the vehicle cannot know at all, leading to an accident leading to death. There was a problem, but a device that can solve this has not been provided.

특히 최근에는 유치원 및 어린이집 차량 내 어린이가 방치되어 사망하는 대형 사고가 빈번하게 일어나고 있으며, 어린이 하차 이후 차량도우미 선생님과 운전기사 그리고 유치원 원장 등 관계자들이 방치된 어린이 및 등원 유무를 파악하고자 하는 노력과 교육을 강조하고 실행하고 있지만, 사람의 행동에만 의존하는 안전예방 시스템은 여전히 그 허점을 크게 드러내고 있다.In particular, in recent years, there have been frequent accidents in which children in the kindergarten and daycare center cars are left unattended, and after the children get off, the car helper, driver, and kindergarten director, etc. Although it emphasizes and implements it, safety prevention systems that rely solely on human behavior still reveal the gap.

종래의 어린이 통학차량용 안전시스템으로, (도 1)과 같이 구성되는, 어린이가 승하차 시 무선통신 칩이 부착된 카드를 카드리더기에 입력한 결과에 따라 경고음을 발생시키거나 또는 인솔 담당자 휴대 단말기로 무선 송신함으로써 잔류 어린이에 대한 안전사고를 방지하는 사물인터넷을 이용한 어린이 통학차량 안전시스템이 있다. 이 때 사용되는 보조장치로는 통학차량에 장착한 RFID 리더기 및 태그 정보를 인식하는 감지부, 어린이가 소유하는 미리 등록된 태그가 있다. 이 방식은 탑승시 태그와 하차시 태그 숫자를 비교하여 맞지 않으면 일정시간 경고음을 발생하며, 탑승시 태그와 하차시 태그가 일치하면 송신부를 통해 무선으로 관리자 단말기로 신호를 송신한다. 또한, 감지부는 관리자가 시작을 알리는 시작 태그를 하고, 어린이가 모두 하차하였다고 판단하였을 시 종료 태그를 터치하여 제어부에서 그 결과를 판정하게 한다.A safety system for a conventional children's school vehicle, which is configured as shown in (Fig. 1), generates a warning sound according to the result of inputting a card with a wireless communication chip into a card reader when a child gets on or off, or wirelessly transmits it to a mobile terminal in charge of the insole. There is a safety system for children traveling to school using the Internet of Things, which prevents safety accidents for residual children by transmitting. The auxiliary devices used at this time include an RFID reader mounted on a school vehicle, a detection unit for recognizing tag information, and a pre-registered tag owned by a child. This method compares the tag number when boarding and the number of tags when getting off, and generates a warning sound for a certain period of time. If the tag matches the tag when boarding, the signal is transmitted to the manager terminal wirelessly through the transmitter. In addition, the detection unit makes the start tag to notify the start, and when it is determined that all the children have gotten off, touch the end tag so that the control unit determines the result.

하지만, 이 방식을 사용하기 위해서는 RFID태그라는 작은 악세서리 및 매개체를 반드시 휴대, 부착, 착용하여야 한다. 당연하다고 생각되는 행위지만, 아이들의 특성을 면밀히 생각해본다면 다양한 상황들로 인해 비휴대, 미부착, 미착용 등 오류 및 실수가 존재할 경우, 인식이 불가능함을 쉽게 이해할 수 있다. 아이들의 생명과 안전은 두 번이라는 기회가 있을 것이라는 생각을 한다면 큰 착오이다. 실수는 자주 있어서 위험하기 보다, 한 번의 실수가 돌이킬 수 없는 아픔을 유발하기에 위험한 것인데, 실수의 가능성이 상당하다면 그 자체로 문제가 있는 시스템이다. RFID태그에는 다양한 정보를 저장할 수 있지만, 과연 그러한 정보가 얼마나 현실에서 필요할까? 사고가 나면 귀책을 면밀히 검토하기 위한 자료로서는 무척이나 충분할 것이다.However, in order to use this method, the RFID tag must carry, attach, and wear small accessories and media. This is considered obvious, but if you carefully consider the characteristics of children, it is easy to understand that if there are errors and mistakes such as non-carrying, non-attaching, or non-wearing due to various situations, it is easy to recognize. It is a big mistake if you think that there will be two opportunities for children's life and safety. Mistakes are often dangerous, rather than dangerous, because a single mistake can cause irreversible pain. If the likelihood of a mistake is significant, it is a problematic system in itself. RFID tags can store a variety of information, but how much is such information needed in reality? In the event of an accident, there will be enough data to carefully review the fault.

그러나, 사고 예방에 주안점을 둔다면 Data정보는 직관적 예방에는 한계성을 가진다. 또한 RFID특성상 굳이 하차가 아니더라도 차량내에서 2회 이상 감지되거 리더기에 읽혀질 수 있다는 상황도 고려해야 한다. RFID의 승하차 안전 시스템은 승차시 태킹과 하차시 태킹의 숫자의 일치성을 그 원리로 활용되고 있기 때문이다.However, if emphasis is placed on accident prevention, data information has limitations on intuitive prevention. Also, due to the nature of RFID, it is necessary to consider the situation that it can be detected more than once in the vehicle or read by the reader even if it is not unloaded. This is because RFID's boarding and discharging safety system utilizes the coincidence of the number of tacking on board and the number of tacking on board.

두 번째로, 슬리핑차일드 방지를 위해 제시되고 있는 NFC과 RFID방식이 있는데, 이 방식은 어린이가 반드시 TAG를 소지하고 있어야 하며, 소지한 TAG도 손상이 없어야 한다는 전제를 바탕으로 하는 방식이므로 근본적으로 실수에 대한 대비책이 부족하다고 할 수 있다. 무엇이든 잘 잃어버리는 어린 아이들의 특성을 고려할 때, 아이의 생명은 단 한 번의 실수로도 돌이킬 수 없는 엄청난 슬픔을 발생시킬 수 있다는 점에 견주어 본다면 기존의 차량 내 방치 어린이 안전시스템들은 안전 수준이 더 개선되어야 한다. 또한, 많은 정보들을 저장하고 확보한다고 하지만 정보란 생활 속에 활용되어야 의미가 있는 것이지, 컴퓨터 속에 엄청나게 많은 양의 정보가 저장된들 일상생활 속에서 확인하고 점검되는 용도로 사용되지 않는다면 그 의미는 전혀 없는 것과 마찬가지이다. 또한, 기존의 방식은 많은 정보를 많은 글로 표현함에 따라 바쁜 일상속에서 일일이 읽어보고 찾아보지 않으면 확인이 제대로 되지 않은 방식으로 구성되어 있다.Secondly, there are NFC and RFID methods that have been proposed to prevent sleeping children. This method is based on the premise that children must have a TAG and that the TAG possessed must be free of damage. It can be said that there is a lack of preparation for Considering the characteristics of young children who lose everything well, given that children's lives can cause immense irreversible irreparability even in a single mistake, existing child safety systems in existing vehicles have a higher level of safety. It should be improved. Also, although it is said to store and secure a lot of information, information is meaningful only when it is used in life, and if a large amount of information is stored in a computer, it is meaningless unless it is used for checking and checking in everyday life. It is the same. In addition, the existing method is composed in such a way that, as many information is expressed in many writings, it is not properly verified unless you read and look through it in a busy daily life.

세 번째로, 기존의 차량내 방치어린이 예방 방식에는 탑승인원수와 하차인원수에 대한 차이를 통하여 확인하는 방식이 있는데, 이러한 방식은 정확히 어떤 사람이 탑승하였고 하차하였는지에 대한 근본적 명확성이 부족하여 내 아이는 아니겠지라는 안전 불감만을 가중시키는 문제점을 내포하고 있다.Third, the existing method of preventing neglected children in a vehicle has a method of checking through the difference between the number of passengers and the number of people getting off, and this method is not my child due to lack of fundamental clarity about exactly who boarded and got off. It implies a problem that only adds to the sense of safety.

본 발명은 '안면(또는 얼굴)인식 기술이 적용된 차량내, 방치어린이 예방 안전시스템'으로서, 형식과 과학적 기술의 어필만 강조하는 것이 아닌 실생활에 꼭 필요한 정보만을 가지고 일상 생활 속에서 지속적으로 활용하며, 차량내 방치어린이의 존재 유무를 직관적으로 파악하고 예방하며, 동시간적으로 차량과 유치원 그리고 부모님이 3중으로 확인할 수 있는 안전시스템으로 구성되어 있다. 또한 머신러닝과 딥러닝 방식의 안면(또는 얼굴)인식 알고리즘이 얼굴검출을 위한 카메라와 접목된 방식으로써 한치도 사람의 실수를 허락하지 않는 최첨단 차량 내 방치어린이 예방 안전시스템이라는 특징이 있다.The present invention is a 'safety system for preventing children in the vehicle and to which the face (or face) recognition technology is applied', and not only emphasizes the appeal of form and scientific technology, but also continuously utilizes it in daily life with only necessary information for real life. , It consists of a safety system that intuitively grasps and prevents the presence or absence of neglected children in the vehicle, and simultaneously identifies the vehicle, kindergarten, and parents in triple. In addition, the machine learning and deep learning method of face (or face) recognition algorithm is combined with a camera for face detection, which is characterized by a safety system that prevents children from being left behind in a state-of-the-art vehicle that does not allow human error.

이 기술은 차량을 이용하는 어린이의 얼굴과 이름 등 정보를 미리 저장해놓고, 승차하는 어린이의 얼굴을 자동으로 인식하고 매칭하여 화면에 탑승한 어린이의 사진과 이름을 나타내주고, 하차하는 어린이의 얼굴을 자동으로 인식하고 매칭하여 하차한 어린이의 사진과 이름이 화면으로부터 자동으로 사라지게 하여 화면만 봐도 차량에 남아있는 어린이가 누구이고, 몇 명인지 직관적으로 바로 확인할 수 있어 원천적으로 사고를 예방할 수 있는 Foolproof 방식의 차량내 방치어린이 확인 안전시스템이며, 유치원 상황실에 있는 모니터 화면에서도 동시에 확인이 되며, 휴대폰 앱을 통해 어린이 부모에게도 승/하차 및 입실 정보 등을 정확하게 동시간적으로 제공할 수 있다. 이와 같은 구성을 통해 바라던 효과를 얻을 수 있음을 확인하여, 본 발명자들은 발명을 완성하였다.This technology stores information such as the face and name of the child using the vehicle in advance, automatically recognizes and matches the face of the riding child, displays the picture and name of the child boarding the screen, and automatically unfolds the child's face. Foolproof vehicle that can recognize and match the children and the number of children remaining in the vehicle by looking at the screen, and automatically recognize and match the children's photos and names that have been dropped off. It is a safety system for checking my neglected children, and it can be checked at the same time on the monitor screen in the kindergarten's situation room. By confirming that the desired effect can be obtained through such a configuration, the present inventors have completed the invention.

본 발명의 목적은, 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 안면인식 기술을 이용하여 차량 내에 어린이가 혼자 방치되는 것을 완벽히 방지하는 차량의 어린이 방치 예방 시스템을 제공하는 것이다.An object of the present invention is to provide a system for preventing children's neglect of a vehicle, which was created to solve the above problems, and completely prevents children from being left alone in a vehicle using facial recognition technology.

상기 목적을 달성하기 위하여, 본 발명은 탑승인원과 하차 인원을 인식하는 카메라부(100); 카메라부(100)에서 수신한 이미지를 바탕으로 사전 등록된 어린이과 일치 여부를 판단하는 연산부(200); 및 차량내에서 탑승한 어린이과 하차한 어린이을 확인할 수 있는 디스플레이(300)를 포함하며, 어린이의 탑승 여부와 하차 여부를 유치원과 어린이 부모에게 전송하여 단말기로 확인할 수 있는 것을 특징으로 하는 차량 내 방치어린이 예방 안전시스템을 제공한다.In order to achieve the above object, the present invention is a camera unit 100 for recognizing the number of people boarding and getting off; An operation unit 200 for determining whether it matches the pre-registered child based on the image received from the camera unit 100; And a display 300 for checking children boarding and children getting off the vehicle, and transmitting children to and from the kindergarten and children's parents to check whether they are boarding and getting off the vehicle. Provide a safety system.

상기 연산부(200)는, 카메라부(100)에서 얻은 이미지를 전처리하여 인공지능을 적용할 수 있도록 하는 이미지 전처리부(210); 사전 등록된 어린이들의 이미지 패턴을 저장하여 관리하는 이미지 패턴 저장부(220); 및 전처리된 이미지와 기존 어린이 이미지의 일치 여부를 결정하는 일치결정부(230)을 포함하는 것을 특징으로 한다.The operation unit 200 includes: an image pre-processing unit 210 to pre-process the image obtained from the camera unit 100 to apply artificial intelligence; An image pattern storage unit 220 that stores and manages image patterns of pre-registered children; And it characterized in that it comprises a match determination unit 230 for determining whether the pre-processed image and the existing child image match.

또한 본 발명은 (1) 어린이 승차 시, 얼굴을 카메라로 인식하는 단계; (2) 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계; (3) 탑승한 어린이 얼굴을 차량 디스플레이에 전시하는 단계; (4) 어린이 하차 시, 얼굴을 카메라로 인식하는 단계; (5) 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계; 및 (6) 탑승한 어린이 얼굴을 차량 디스플레이에서 사라지게 하는 단계;를 포함하는 차량 내 방치어린이 예방 방법을 제공한다.In addition, the present invention (1) when riding a child, recognizing a face with a camera; (2) matching the recognized camera image with stored child face information; (3) displaying the child's face on the vehicle display; (4) when the child is getting off, recognizing a face with a camera; (5) matching the recognized camera image with stored child face information; And (6) making the face of the child on board disappear from the vehicle display.

상기 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계는, (2-1) 카메라 이미지의 얼굴을 위치 교정하고, 투영을 통해 비대면 얼굴의 경우를 보정하는 단계; (2-2) 얼굴의 특징을 패턴으로 인식하는 단계; (2-3) 이미 저장된 태그가 달린 서버의 얼굴과 매칭하는 단계; (2-4) 매칭의 가부를 판단하는 단계; 및 (2-5) 매칭된 얼굴의 이름을 찾는 단계;를 포함하는 것을 특징으로 한다.The step of matching the recognized camera image with the stored child's face information includes: (2-1) correcting the face of the camera image and correcting the case of the non-face to face through projection; (2-2) Recognizing facial features as patterns; (2-3) matching the face of the server with the already stored tag; (2-4) determining whether to match; And (2-5) finding the name of the matched face.

상기와 같은 본 발명에 따르면, 안면인식을 기반으로 어린이의 존재를 판단하고, 어린이가 방치되어 존재하면 설정된 이동 단말기로 경고 메시지를 송신하여, 어린이의 보호자가 어린이가 차량 내에 존재하고 있다는 사실을 알려주도록 함으로써, 어린이의 위험상황을 예방할 수 있는 이점이 있다.According to the present invention as described above, the presence of the child is determined based on facial recognition, and when the child is left unattended, a warning message is sent to the set mobile terminal, so that the child's guardian informs the child that the child is in the vehicle By doing so, there is an advantage that can prevent a child's risk situation.

도 1은 종래 기술 중에서 RFID 태그를 사용하여 차량의 어린이 방치를 예방하는 시스템의 구성도이다.
도 2은 안면 인식 기술이 적용된, 차량 내 방치어린이 예방 안전시스템의 구성을 나타낸 시스템 블록도이다.
도 3은 안면 인식 기술이 적용된 차량 내 방치어린이 예방 안전시스템의 작업 흐름도이다.
도 4은 안면인식 기술이 적용된 '차량 내, 방치어린이 에방 안전시스템'이 등원할때 3중으로 안전점검 하는 흐름도이다.
도 5은 안면인식 기술이 적용된 '차량 내, 방치어린이 에방 안전시스템'이 하원할때 3중으로 안전점검 하는 흐름도이다.1 is a configuration diagram of a system for preventing children's neglect of a vehicle using an RFID tag in the related art.
2 is a system block diagram showing the configuration of a safety system for preventing child neglect in a vehicle to which face recognition technology is applied.
Figure 3 is a flow chart of the face-recognition technology is applied to the child safety prevention system in the vehicle.
FIG. 4 is a flow chart of safety inspection in triplicate when the face recognition technology applied 'in-vehicle, neglected child prevention safety system' is turned on.
Figure 5 is a flow chart that performs a safety check in triplicate when the 'in-vehicle, neglected children's room safety system' to which facial recognition technology has been applied.

이하, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail.

일 관점에서, 본 발명은 탑승인원과 하차 인원을 인식하는 카메라부(100); 카메라부(100)에서 수신한 이미지를 바탕으로 사전 등록된 어린이과 일치 여부를 판단하는 연산부(200); 및 차량내에서 탑승한 어린이와 하차한 어린이를 확인할 수 있는 디스플레이(300)를 포함하며, 어린이의 탑승 여부와 하차 여부를 유치원과 어린이 부모에게 전송하여 단말기로 확인할 수 있는 것을 특징으로 하는 차량 내 방치어린이 예방 안전시스템을 제공한다.In one aspect, the present invention is a camera unit 100 for recognizing the number of people boarding and getting off; An operation unit 200 for determining whether it matches the pre-registered child based on the image received from the camera unit 100; And a display 300 for checking children boarded and children disembarked in the vehicle, and transmitting the children to and from the kindergarten and children's parents to check with a terminal. Provide a child safety system.

상기 연산부(200)는, CPU에서 구현할 수도 있고, 클라우드 서버의 연산처리능력을 이용해서 구현할 수도 있으며 이렇게 클라우드 서버를 사용할 때 네트워크는, WIFI, 3G LTE 통신망, 4G 통신망, 5G 통신망을 이용할 수 있다. 더욱 구체적으로 세부구성을 나누면, 카메라부(100)에서 얻은 이미지를 전처리하여 인공지능을 적용할 수 있도록 하는 이미지 전처리부(210); 사전 등록된 어린이들의 이미지 패턴을 저장하여 관리하는 이미지 패턴 저장부(220); 및 전처리된 이미지와 기존 어린이 이미지의 일치 여부를 결정하는 일치결정부(230)을 포함하는 것을 특징으로 할 수 있다.The computing unit 200 may be implemented in a CPU, or may be implemented using a computing server's computational processing capability. When using the cloud server, the network may use WIFI, 3G LTE communication network, 4G communication network, or 5G communication network. In more detail, if the detailed configuration is divided, an image pre-processing unit 210 to pre-process the image obtained from the camera unit 100 to apply artificial intelligence; An image pattern storage unit 220 that stores and manages image patterns of pre-registered children; And it may be characterized in that it comprises a match determination unit 230 for determining whether the pre-processed image and the existing child image.

또한 본 발명은 (1) 어린이 승차 시, 얼굴을 카메라로 인식하는 단계; (2) 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계; (3) 탑승한 어린이 얼굴을 차량 디스플레이에 전시하는 단계; (4) 어린이 하차 시, 얼굴을 카메라로 인식하는 단계; (5) 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계; 및 (6) 탑승한 어린이 얼굴을 차량 디스플레이에서 사라지게 하는 단계;를 포함하는 차량 내 방치어린이 예방 방법을 제공한다.In addition, the present invention (1) when riding a child, recognizing a face with a camera; (2) matching the recognized camera image with stored child face information; (3) displaying the child's face on the vehicle display; (4) when the child is getting off, recognizing a face with a camera; (5) matching the recognized camera image with stored child face information; And (6) making the face of the child on board disappear from the vehicle display.

상기 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계는, (2-1) 카메라 이미지의 얼굴을 위치 교정하고, 투영을 통해 비대면 얼굴의 경우를 보정하는 단계; (2-2) 얼굴의 특징을 패턴으로 인식하는 단계; (2-3) 이미 저장된 태그가 달린 서버의 얼굴과 매칭하는 단계; (2-4) 매칭의 가부를 판단하는 단계; 및 (2-5) 매칭된 얼굴의 이름을 찾는 단계;를 포함하는 것을 특징으로 할 수 있다.The step of matching the recognized camera image with the stored child's face information includes: (2-1) correcting the face of the camera image and correcting the case of the non-face to face through projection; (2-2) Recognizing facial features as patterns; (2-3) matching the face of the server with the already stored tag; (2-4) determining whether to match; And (2-5) finding the name of the matched face.

어린이의 얼굴이 디스플레이(300)에 표시될 때는, 얼굴과 해당 인물의 이름이 동시에 표시되며, 탑승과 하차시 이름과 현재 탑승상태에 있는 인원 수에 대한 알림을 음성과 함께 동시에 제공한다. 아이를 캐릭터 이미지로 표시하는 경우, 당일에 찍힌 실시간 사진 이미지도 같이 표시한다.When a child's face is displayed on the display 300, the face and the name of the person are displayed at the same time, and when boarding and alighting, the name and the number of people in the current boarding state are simultaneously provided with a voice. When a child is displayed as a character image, a real-time photo image taken on the day is also displayed.

이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 안면 인식 기술이 적용된 차량 내 방치어린이 예방 안전시스템을 자세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the safety system for preventing children left in the vehicle to which the facial recognition technology according to an embodiment of the present invention is applied.

(도 2)는 실시 예에 따른, 안면 인식 기술이 적용된 차량 내 방치어린이 예방 안전시스템의 구성을 나타낸 시스템 블록도이다.(FIG. 2) is a system block diagram showing the configuration of a child safety prevention system in a vehicle to which face recognition technology is applied according to an embodiment.

본 발명은, 차량 내에 설치된 카메라부(100), 탑승인원의 정보를 확인하는 안면(또는 얼굴)인식 알고리즘이 탑재된 연산부(200), 탑승인원 정보를 확인하는 디스플레이(300)로 구성된다. 이 때 연산부(200)와 디스플레이(300)는, 탑승인원의 정보를 확인하는 안면(또는 얼굴)인식 알고리즘 탑재가 되고, 탑승인원 정보를 동시에 확인할 수 있는 디스플레이 기능을 동시에 포함할 수 있는 소형 기구로 구현될 수 있으며, Pad, 휴대용 컴퓨터 또는 휴대폰과 같은 모바일기기가 될 수 있고, 이러한 기기들은 상황정보를 무선으로 전달하는 무선통신센서 및 연산장치로 구성될 수 있다.The present invention includes a camera unit 100 installed in a vehicle, a calculation unit 200 equipped with a face (or face) recognition algorithm for checking information of a passenger, and a display 300 for checking passenger information. At this time, the operation unit 200 and the display 300 are equipped with a face (or face) recognition algorithm that checks the information of the occupants, and are small devices that can simultaneously include a display function that can simultaneously confirm the occupants' information. It may be implemented, and may be a mobile device such as a pad, a portable computer or a mobile phone, and these devices may be composed of a wireless communication sensor and a computing device that wirelessly transmits context information.

카메라를 탑재하는 Pad라면, 해당 탑재 카메라가 카메라부(100) 역할을 하여, 한 대의 Pad로 연산부(200)와 디스플레이(300)까지 포함해 본 발명 시스템의 역할을 할 수도 있다. 이 때는 간편한 일체형 안면인식 시스템이라 부를 수 있다. 거꾸로 실제의 카메라 자체에 안면인식 및 매칭 알고리즘 작동이 가능한 연산부(200)가 내장되어 작동하는 것도 가능하다.If the pad is equipped with a camera, the mounted camera serves as the camera unit 100, and may include the operation unit 200 and the display 300 as a single pad to serve as the system of the present invention. In this case, it can be called a simple integrated face recognition system. Conversely, it is also possible to operate a built-in operation unit 200 capable of operating a face recognition and matching algorithm in the actual camera itself.

차량 내에 장착된 카메라부(100)는 탑승하는 문의 반대 방향에서 어린이의 안면 또는 얼굴을 인식하는 탑승 인원 인식 카메라(110)와 하차하는 어린이의 안면 또는 얼굴을 인식하기 위해 문 또는 내리는 위치에 장착된 하차 인원 인식 카메라(120) 등 총 2대의 카메라로 구성될 수도 있으며, 탑승과 하차를 구분하는 동작인식센서(130)와 카메라의 회전 기능을 동시에 반영하여 적용할 경우 실제로는 2대의 카메라가 아닌 1대의 카메라로도 탑승 어린이과 하차 어린이의 인식을 같이 하도록 할 수 있다. 이를 별도의 구성방식으로 삼는다.The camera unit 100 mounted in the vehicle is mounted at a door or a dismounting position to recognize the face or face of a boarding person recognition camera 110 that recognizes a child's face or face in the opposite direction of the boarding door. It may be composed of a total of two cameras, such as the alighting person recognition camera 120, and when applying the motion recognition sensor 130 that separates boarding and alighting and the rotation function of the camera at the same time, it is not actually two cameras 1 A camera can be used to make the recognition of children on and off boarding the same. Use this as a separate configuration method.

본 발명의 안면 인식 기술이 적용된 차량 내 방치 어린이 예방 안전시스템'은, 차량 내에 장착된 카메라부(100)를 이용하여 탑승하는 어린이의 얼굴을 인식하고, 이미 저장되어 있는 어린이의 이미지와 이름 정보와 카메라로 인식한 탑승 어린이의 얼굴 정보와의 매칭작업을 거치며, 매칭을 통해 찾아낸 탑승 어린이의 얼굴과 이름을 디스플레이 화면에 나타내줌으로써 차량내 탑승한 어린이가 누구인지 시각적으로 그리고 직관적으로 알게 해준다.The system for preventing child neglect in the vehicle to which the face recognition technology of the present invention is applied is recognized by using the camera unit 100 mounted in the vehicle to recognize the face of a child on board, and the image and name information of the child already stored. Through the matching operation with the face information of the boarding child recognized by the camera, the face and name of the boarding child found through matching are displayed on the display screen to visually and intuitively know who the boarding child is.

하차 시에는, 차량 내에 장착된 카메라부(100)를 이용하여 하차하는 어린이의 얼굴을 인식하고, 이미 저장되어 있는 어린이의 이미지와 이름 정보와 카메라로 인식한 하차 어린이의 얼굴 정보와의 매칭작업을 거치며, 매칭을 통해 찾아낸 하차 어린이의 얼굴과 이름을 디스플레이 화면에서 사라지게 해줌으로써 차량내 방치된 어린이가 누구인지 시각적으로 그리고 직관적으로 알게 해준다.When getting off, use the camera unit 100 installed in the vehicle to recognize the face of the child getting off, and match the image and name information of the already stored child with the face information of the getting off child recognized by the camera. Through the matching, the child's face and name found through matching disappear from the display screen to visually and intuitively know who the child in the vehicle is left behind.

이를 통해, 차량도우미 선생님 또는 운전기사는 화면만 보더라도 탑승, 하차, 잔류 및 방치 어린이를 용이하게 파악할 수 있다. 또한, 유치원 및 어린이 집에 설치된 컴퓨터 또는 디스플레이가 가능한 화면을 통해 상황을 동시에 체크가 가능하고, 또한 휴대폰 앱을 통해 어린이의 부모님도 동시에 확인이 가능한 특징을 가진다. 이는 차량내, 유치원, 부모님 등이 동시에 어린이에 대한 단계별 상황을 인식할 수 있게 하여 차량 내에 잔류 또는 방치된 어린이의 정보를 3중으로 점검하고 확인할 수 있는 첨단 어린이 사고예방 안전시스템이다.Through this, the teacher or driver of the vehicle can easily identify children boarding, disembarking, remaining and neglected even by looking at the screen. In addition, it is possible to check the situation at the same time through a computer or a display screen installed in kindergartens and children's homes, and also has a feature that allows parents of children to simultaneously check through a mobile phone app. This is a state-of-the-art child accident prevention safety system that allows children, kindergartens, parents, etc. to simultaneously recognize step-by-step situations about children and triple check and check the information of children left or left in the vehicle.

(도 3)은 안면 인식 기술이 적용된 차량 내 방치어린이 예방 안전시스템의 작업 흐름도를 나누어 표시한 것이다.(FIG. 3) shows the operation flow chart of the child safety prevention system in the vehicle to which face recognition technology is applied.

본 시스템은, (1) 승차 시, 얼굴을 카메라로 인식하는 단계, (2) 인식된 카메라 이미지를 저장된 얼굴 정보와 매칭하는 단계, (3) 탑승한 어린이 얼굴을 차량 화면에 디스플레이하는 단계, (4) 하차 시, 얼굴을 카메라로 인식하는 단계, (5) 인식된 카메라 이미지를 저장된 얼굴 정보와 매칭하는 단계, (6) 탑승한 어린이 얼굴을 차량 화면에서 사라지게 하는 단계로 이루어진다.The system includes: (1) when riding, recognizing a face with a camera, (2) matching a recognized camera image with stored face information, (3) displaying a boarding child's face on a vehicle screen, ( 4) When getting off, it consists of recognizing the face with the camera, (5) matching the recognized camera image with the stored face information, and (6) making the child's face on board disappear from the vehicle screen.

추가로, (7) 차량 디스플레이에 표시된 차량내 탑승 어린이의 승차 및 하차 정보를 무선통신 방식을 통해 유치원과 부모님에게 동시에 전달하는 단계를 더 포함할 수 있다.In addition, (7) it may further include the step of simultaneously transmitting to the kindergarten and parents through the wireless communication method for the riding and disembarking information of children in the vehicle displayed on the vehicle display.

안면 인식 기술은 딥러닝 방식이 적용된 알고리즘을 이용하여 얼굴인식 확률을 크게 높일 수 있고 결과적으로 방치 사고를 예방한다. 딥러닝 방식이 적용된 안면(또는 얼굴)인식 기술은, (2) 인식된 카메라 이미지를 저장된 얼굴 정보와 매칭하는 단계에서 작용하며, (2-1) 카메라 이미지의 얼굴을 위치 교정하고, 투영을 통해 비대면 얼굴의 경우를 보정하는 단계, (2-2) 얼굴의 특징을 패턴으로 인식하는 단계, (2-3) 이미 저장된 태그가 달린 서버의 얼굴과 매칭하는 단계, (2-4) 매칭의 가부를 판단하는 단계, (2-5) 매칭된 얼굴의 이름을 찾는 단계로 이루어진다. 이러한 작업을 위해, 연산부(200)는, 이미지 전처리부(210), 이미지 패턴 저장부(220) 및 일치결정부(230)으로 구성된다.The facial recognition technology can greatly increase the probability of face recognition by using an algorithm applied with deep learning, and as a result, prevents neglect. The face (or face) recognition technology to which the deep learning method is applied works in the step of (2) matching the recognized camera image with the stored face information, and (2-1) correcting the position of the face of the camera image, through projection Correcting the case of non-face-to-face, (2-2) Recognizing the features of the face as a pattern, (2-3) Matching the face of the server with the already stored tag, (2-4) Consisting of determining whether or not, (2-5) finding the name of the matched face. For this task, the operation unit 200 is composed of an image pre-processing unit 210, an image pattern storage unit 220, and a match determination unit 230.

이러한 단계를 거쳐, 전체적 시스템은 Foolproof 방식으로 작동한다. 본 발명 시스템의 안전성을 더욱 강화하는 방법으로, (8) 어린이 통학차량에 탑승한 어린이가 차량에서 하차를 한 다음 유치원 또는 어린이집에 들어서는 과정에서 확인하는 단계;에서도 안면(또는 얼굴)인식 시스템을 적용한다.After this step, the whole system operates in a Foolproof way. As a method of further strengthening the safety of the system of the present invention, (8) the step of checking in the process of entering a kindergarten or daycare center after a child boarding a child's school vehicle gets off the vehicle and applies the facial (or face) recognition system. do.

유치원 및 어린이집 입구까지 적용된 안면(또는 얼굴)인식 어린이 통학 안전시스템은 유치원 또는 어린이집의 등원까지 최종적으로 추적 및 확인을 하는 단계를 포함하므로, 차량내 시스템의 오류나 휴대폰 앱의 오류, 그리고 차량도우미 선생님 및 운전기사의 실수등과 같이 사람으로 인해 발생할 수 있는 어떠한 실수조차 허락하지 않는 Foolproof 방식의 '차량 내 방치어린이 예방 안전시스템'이다.The face (or face) -recognized children's school safety system applied up to the entrance to the kindergarten and daycare center includes the step of finally tracking and checking up to the kindergarten or daycare center, so errors in the in-vehicle system, errors in the mobile phone app, and teacher It is a Foolproof type 'prevention safety system for neglected children in the vehicle' that does not allow any mistakes that can be caused by people, such as driver's mistakes.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to completely inform the person having the scope of the invention, and the present invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

이하, 본 발명에 따른 차량의 어린이 방치 예방 시스템의 실시예를 첨부된 도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, an embodiment of a system for preventing child neglect in a vehicle according to the present invention will be described in detail with reference to the accompanying drawings.

실시예 1. 방치어린이 예방 안전시스템 차량을 통한 유치원 등원Example 1. Prevention of neglect children Safety kindergarten through vehicle

(도 4)는, 안면 인식 기술이 적용된 차량 내 방치어린이 예방 안전시스템의 3중 안전점검 흐름도를 어린이들이 등원할 때에 대해 표시한 것이다.(FIG. 4) is a three-dimensional safety inspection flow chart of the child safety prevention system in the vehicle to which the face recognition technology is applied is displayed when the children come to school.

어린이 탑승/하차/등원 등 단계별에 따라, 알림 및 인식 정보를 디스플레이하는 방식을 달리 하는데, 구체적으로 차량 내 디스플레이 화면에는 해당 차량 정보와 해당차량 운전기사 정보, 차량도우미 선생님 정보를 고정 정보로 표시되며, 탑승한 어린이의 저장된 얼굴과 이름을 탑승순서대로 표시한다. 유치원에 표시되는 디스플레이 화면에는 해당 차량 정보와 해당차량 운전기사 정보, 차량도우미 선생님 정보를 고정 정보로 표시되며, 탑승한 어린이의 저장된 얼굴과 이름, 차량내 잔류 인원수 정보를 표시한다. 또한, 유치원 및 어린이집 입구까지 안면인식 어린이 통학 안전시스템이 적용된 경우, 등원한 어린이의 얼굴과 이름 정보까지 단계별 이동 경로방식으로 표시한다.Depending on the stage of child boarding / disembarkation / lighting, etc., the method of displaying the notification and recognition information is different. Specifically, the vehicle information, the vehicle driver information, and the vehicle help teacher information are displayed as fixed information on the display screen in the vehicle. , Display the stored faces and names of the children on board in the order of boarding. The display screen displayed in the kindergarten displays the relevant vehicle information, the corresponding vehicle driver information, and the vehicle helper teacher information as fixed information, and displays the stored faces and names of the children on board and the number of remaining persons in the vehicle. In addition, when the face recognition child school safety system is applied to the entrance to the kindergarten and daycare center, the face and name information of the registered child is displayed in a step-by-step movement route method.

휴대폰 앱을 통해 부모님에게 전달되는 디스플레이 화면 및 정보에는 해당차량 정보와 해당차량 운전기사 정보, 차량도우미 선생님 정보를 고정 정보로 제공되며, 우리 아이의 단계별 이동 경로를 차량에 탑승한 아이 캐릭터 이미지 또는 당일에 찍힌 실시간 사진, 차량에서 하차하는 아이 캐릭터 이미지 또는 당일에 찍힌 실시간 사진, 실시 등원하여 선생님에게 인사를 하는 아이 캐릭터 이미지 또는 당일에 찍힌 실시간 사진 등과 같이 단계별 캐릭터 이미지 또는 당일에 찍힌 실시간 사진으로 직관적으로 확인할 수 있는 방식으로 표시되며, 안전하게 하차 및 등원 완료 시에는 완료알림(Green Color 신호등과 함께)을 전달하는 기능을 포함한다. 또한, 일정시간(예, 탑승 후 1시간) 동안 하차 또는 등원이 이뤄지지 않았을 때 알림경고(Red Color 신호등과 함께)를 전달하는 기능을 포함한다.On the display screen and information delivered to parents through the mobile phone app, the vehicle information, the vehicle driver information, and the vehicle help teacher information are provided as fixed information. Intuitively with real-time photos taken on the day, real-time photos taken on the day, such as real-time photos taken on the car, child character images getting off the vehicle or real-time photos taken on the day, real-time photos taken on the day, etc. It is displayed in a way that can be confirmed, and includes a function to deliver a completion notification (along with a green color traffic light) when safely disembarking and entering the train. In addition, it includes a function to transmit a warning warning (along with a red color traffic light) when alighting or lighting is not performed for a certain period of time (eg, 1 hour after boarding).

구체적으로, 차량 내에서, (A-1) 승차 시, 얼굴을 카메라로 인식하는 단계, (A-2) 인식된 카메라 이미지를 저장된 얼굴 정보와 매칭하는 단계, (A-3) 탑승한 어린이 얼굴을 차량 화면에 디스플레이하는 단계, (A-4) 하차 시, 얼굴을 카메라로 인식하는 단계, (A-5) 인식된 카메라 이미지를 저장된 얼굴 정보와 매칭하는 단계, (A-6) 탑승한 어린이 얼굴을 차량 화면에서 사라지게 하는 단계를 거친다면, 유치원 내에서는 (B-1) 차량에서 어린이 탑승이 확인되었다는 메시지를 받아서 탑승했다는 표시를 유치원 디스플레이에 전시하는 단계, (B-2) 차량에서 어린이 하차가 확인되었다는 메시지를 받아서 하차했다는 표시를 유치원 디스플레이에 전시하는 단계, (B-3) 유치원 등원을 완료하면 유치원에 등원했다는 표시를 유치원 디스플레이에 전시하는 단계, (B-4) 어린이 이미지 상황판에 정상 완료를 의미하는 Green 신호등을 표시하는 단계를 거친다.Specifically, in a vehicle, (A-1) when riding, recognizing a face with a camera, (A-2) matching the recognized camera image with stored face information, (A-3) face of a child on board Displaying on the vehicle screen, (A-4) when getting off, recognizing the face with the camera, (A-5) matching the recognized camera image with stored face information, (A-6) boarding children If you go through the steps to make the face disappear from the vehicle screen, in the kindergarten (B-1) receive a message indicating that the child is boarded in the vehicle and display the indication that you have boarded on the kindergarten display, (B-2) get off the child in the vehicle (B-3) Displaying a sign that you got off at the kindergarten display after receiving the message that the message has been confirmed, (B-3) Displaying a sign that you are in kindergarten when you complete kindergarten display, (B-4) The unknown situation board goes through the steps of displaying the green traffic light indicating normal completion.

또한, 어린이 부모의 디스플레이는, (C-1) 유치원으로부터 메시지를 받아 차량 탑승을 전시하는 단계, (C-2) 유치원으로부터 메시지를 받아 차량 하차를 전시하는 단계, (C-3) 유치원으로부터 메시지를 받아 등원 완료를 전시하는 단계를 거치게 된다. 만약 등원을 위한 탑승(승차)을 한 후, 정해진 시간(예를 들어 1시간)이 지나도 하차, 등원을 하지 않은 경우 자동으로 알람을 울리게 할 수 있고 유치원에도 알릴 수 있다.In addition, the display of the children's parents, (C-1) receiving a message from the kindergarten and displaying the vehicle boarding, (C-2) receiving a message from the kindergarten and displaying the vehicle drop-off, (C-3) a message from the kindergarten You will go through the stage of exhibiting the completion of the lantern. After boarding (boarding) for the garden, you can get off even after a certain period of time (for example, 1 hour), and if you do not go to the garden, you can automatically make an alarm and notify the kindergarten.

실시예 2. 방치어린이 예방 안전시스템 차량을 통한 유치원 하원Example 2. Kindergarten House via a vehicle for preventing neglected children

(도 5)는, 안면 인식 기술이 적용된 차량 내 방치어린이 예방 안전시스템의 3중 안전점검 흐름도를 어린이들이 하원할 때에 대해 표시한 것이다.(FIG. 5) is a three-dimensional safety inspection flow chart of the child safety prevention system in the vehicle to which the face recognition technology is applied is displayed for when the children are in the House of Representatives.

등원의 반대순서로 어린이 하원/탑승/하차 등 단계별에 따라, 알림 및 인식 정보를 디스플레이하는 방식을 달리 하는데, 구체적으로 차량 내 디스플레이 화면에는 해당 차량 정보와 해당차량 운전기사 정보, 차량도우미 선생님 정보를 고정 정보로 표시되며, 탑승한 어린이의 저장된 얼굴과 이름을 탑승순서대로 표시한다. 유치원에 표시되는 디스플레이 화면에는 해당 차량 정보와 해당차량 운전기사 정보, 차량도우미 선생님 정보를 고정 정보로 표시되며, 탑승한 어린이의 저장된 얼굴과 이름, 차량내 잔류 인원수 정보를 표시한다. 또한, 어린의의 각 가정까지 안면인식 어린이 통학 안전시스템이 적용된 경우, 등원한 어린이의 얼굴과 이름 정보까지 단계별 이동 경로방식으로 표시한다.Different ways of displaying the notification and recognition information according to each step, such as children's house / boarding / getting off, in the reverse order of the garden, specifically, the vehicle's display screen includes the relevant vehicle information, the vehicle driver's information, and the vehicle helper's information. It is displayed as fixed information and displays the stored faces and names of the children on board in the order of boarding. The display screen displayed in the kindergarten displays the relevant vehicle information, the corresponding vehicle driver information, and the vehicle helper teacher information as fixed information, and displays the stored faces and names of the children on board and the number of remaining persons in the vehicle. In addition, when the face recognition child attendance safety system is applied to each child's home, the face and name information of the child who is registered is displayed in a step-by-step movement route method.

휴대폰 앱을 통해 부모님에게 전달되는 디스플레이 화면 및 정보에는 해당차량 정보와 해당차량 운전기사 정보, 차량도우미 선생님 정보를 고정 정보로 제공되며, 우리 아이의 단계별 이동 경로를 차량에 탑승한 아이 캐릭터 이미지 또는 당일에 찍힌 실시간 사진, 차량에서 하차하는 아이 캐릭터 이미지 또는 당일에 찍힌 실시간 사진, 등원하여 선생님에게 인사를 하는 아이 캐릭터 이미지 또는 당일에 찍힌 실시간 사진 등과 같이 단계별 캐릭터 이미지 및 당일에 실제 촬영한 사진 이미지를 전시하여, 직관적으로 확인할 수 있는 방식으로 표시되며, 안전하게 하차 및 등원 완료 시에는 완료알림(Green Color 신호등과 함께)을 전달하는 기능을 포함한다. 또한, 하원 시작부터 일정시간(예, 탑승 후 1시간) 동안 하차가 이뤄지지 않았을 때 알림경고(Red Color 신호등과 함께)를 전달하는 기능을 포함한다.On the display screen and information delivered to parents through the mobile phone app, the vehicle information, the vehicle driver information, and the vehicle help teacher information are provided as fixed information. Displays real-time photos taken on the train, child character images getting off the vehicle or real-time photos taken on the day, child character images greeting the teacher by attending, or real-time photos taken on the day. In this way, it is displayed in an intuitive way to check, and it includes a function to deliver a completion notification (along with a green color traffic light) when safely disembarking and entering the school. In addition, it includes a function to deliver a warning alert (along with a red color traffic light) when a drop-off is not made for a certain period of time (e.g., 1 hour after boarding) from the start of the House of Representatives.

구체적으로, 차량 내에서, (A-1) 승차 시, 얼굴을 카메라로 인식하는 단계, (A-2) 인식된 카메라 이미지를 저장된 얼굴 정보와 매칭하는 단계, (A-3) 탑승한 어린이 얼굴을 차량 화면에 디스플레이하는 단계, (A-4) 하차 시, 얼굴을 카메라로 인식하는 단계, (A-5) 인식된 카메라 이미지를 저장된 얼굴 정보와 매칭하는 단계, (A-6) 탑승한 어린이 얼굴을 차량 화면에서 사라지게 하는 단계를 등원때와 마찬가지로 거친다면, 유치원 내에서는 (B-1) 차량에서 어린이 탑승이 확인되었다는 메시지를 받아서 탑승했다는 표시를 유치원 디스플레이에 전시하는 단계, (B-2) 차량에서 어린이 하차가 확인되었다는 메시지를 받아서 하차했다는 표시를 유치원 디스플레이에 전시하는 단계, (B-3) 어린이 각자의 집으로 도착을 완료했다는 메시지를 부모님 단말기로부터 받으면 어린이 이미지 상황판에 정상 완료를 의미하는 Green 신호등을 표시하는 단계를 거친다.Specifically, in a vehicle, (A-1) when riding, recognizing a face with a camera, (A-2) matching the recognized camera image with stored face information, (A-3) face of a child on board Displaying on the vehicle screen, (A-4) when getting off, recognizing the face with the camera, (A-5) matching the recognized camera image with stored face information, (A-6) boarding children If the steps to make the face disappear from the vehicle screen are rough as in the case of entering the school, in the kindergarten (B-1), receiving a message that the vehicle has been confirmed to board the child, and displaying the indication that they boarded on the kindergarten display, (B-2) Step to display on the kindergarten display that the child is getting off the vehicle and confirm that they are getting off. (B-3) When you receive a message from your parents' terminal that they have arrived at their home Which means the normal completion to the image goes through a dashboard displaying the Green light.

또한, 어린이 부모의 디스플레이는, (C-1) 유치원으로부터 메시지를 받아 차량 탑승을 전시하는 단계, (C-2) 유치원으로부터 메시지를 받아 차량 하차를 전시하는 단계, (C-3) 집에 도착했을 때 유치원으로 확인 메시지를 전송하는 단계를 거치게 된다. 만약 하원을 위한 탑승(승차)을 한 후, 정해진 시간(예를 들어 1시간)이 지나도 하차, 하원을 하여 부모가 인수를 하지 않은 경우 자동으로 알람을 울리게 할 수 있고, 유치원에 알릴 수 있다.In addition, the display of the children's parents, (C-1) receiving a message from the kindergarten and displaying the vehicle boarding, (C-2) receiving a message from the kindergarten and displaying the vehicle drop-off, (C-3) arriving home When it does, it goes through the step of sending a confirmation message to the kindergarten. If the boarding (ride) for the House of Representatives, after a certain amount of time (for example, 1 hour) passes, the House of Representatives can automatically sound an alarm if the parents do not take over and inform the kindergarten.

이상, 본 발명내용의 특정한 부분을 상세히 기술하였는바, 당업계의 통상의 지식을 가진 자에게 있어서, 이러한 구체적인 기술은 단지 바람직한 실시양태일 뿐이며, 이에 의해 본 발명의 범위가 제한되는 것이 아닌 점은 명백할 것이다. 따라서 본 발명의 실질적인 범위는 첨부된 청구항들과 그것들의 등가물에 의해 정의된다고 할 것이다.As described above, specific parts of the present invention have been described in detail. For those skilled in the art, this specific technique is only a preferred embodiment, and it is obvious that the scope of the present invention is not limited thereby. something to do. Therefore, the substantial scope of the present invention will be defined by the appended claims and their equivalents.

100 : 카메라부 110 : 탑승 인원 인식 카메라
120 : 하차 인원 인식 카메라 130 : 동작 인식 센서
200 : 연산부 210 : 이미지 전처리부
220 : 이미지 패턴 저장부 230 : 일치 결정부
300 : 디스플레이100: camera unit 110: boarding personnel recognition camera
120: getting off personnel recognition camera 130: motion recognition sensor
200: operation unit 210: image pre-processing unit
220: image pattern storage unit 230: match determination unit
300: display

Claims (4)

차량 내 방치어린이를 예방하는 안전시스템에 있어서,
탑승인원과 하차 인원을 인식하는 카메라부(100);
카메라부(100)에서 수신한 이미지를 바탕으로 사전 등록된 어린이과 일치 여부를 판단하는 연산부(200); 및
차량내에서 탑승한 어린이과 하차한 어린이를 확인할 수 있는 디스플레이(300)를 포함하며,
어린이의 탑승 여부와 하차 여부를 유치원과 어린이 부모에게 전송하여 단말기로 확인할 수 있는 것을 특징으로 하는 차량 내 방치어린이 예방 안전시스템.In the safety system to prevent children in the vehicle,
Camera unit 100 for recognizing the number of people boarding and getting off;
An operation unit 200 for determining whether it matches the pre-registered child based on the image received from the camera unit 100; And
Includes a display (300) to check the children in the vehicle and the children who get off,
A safety system for preventing neglect of children in vehicles, characterized in that it can be checked with a terminal by sending the child's boarding and disembarking to the kindergarten and children's parents. 제 1항에 있어서,
상기 연산부(200)는,
카메라부(100)에서 얻은 이미지를 전처리하여 인공지능을 적용할 수 있도록 하는 이미지 전처리부(210);
사전 등록된 어린이들의 이미지 패턴을 저장하여 관리하는 이미지 패턴 저장부(220); 및
전처리된 이미지와 기존 어린이 이미지의 일치 여부를 결정하는 일치결정부(230)을 포함하는 것을 특징으로 하는 차량 내 방치어린이 예방 안전시스템.According to claim 1,
The calculation unit 200,
An image pre-processing unit 210 to pre-process the image obtained from the camera unit 100 to apply artificial intelligence;
An image pattern storage unit 220 that stores and manages image patterns of pre-registered children; And
A safety system for preventing neglected children in a vehicle, comprising a matching decision unit (230) for determining whether a pre-processed image matches an existing child image. (1) 어린이 승차 시, 얼굴을 카메라로 인식하는 단계;
(2) 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계;
(3) 탑승한 어린이 얼굴을 차량 디스플레이에 전시하는 단계;
(4) 어린이 하차 시, 얼굴을 카메라로 인식하는 단계;
(5) 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계; 및
(6) 탑승한 어린이 얼굴을 차량 디스플레이에서 사라지게 하는 단계;를 포함하는 차량 내 방치어린이 예방 방법.(1) when riding a child, recognizing a face with a camera;
(2) matching the recognized camera image with stored child face information;
(3) displaying the child's face on the vehicle display;
(4) when the child is getting off, recognizing a face with a camera;
(5) matching the recognized camera image with stored child face information; And
(6) the step of making the face of the child on board disappear from the display of the vehicle; including a method for preventing neglected children in a vehicle. 제 4항에 있어서,
상기 인식된 카메라 이미지를 저장된 어린이 얼굴 정보와 매칭하는 단계는,
(2-1) 카메라 이미지의 얼굴을 위치 교정하고, 투영을 통해 비대면 얼굴의 경우를 보정하는 단계;
(2-2) 얼굴의 특징을 패턴으로 인식하는 단계;
(2-3) 이미 저장된 태그가 달린 서버의 얼굴과 매칭하는 단계;
(2-4) 매칭의 가부를 판단하는 단계; 및
(2-5) 매칭된 얼굴의 이름을 찾는 단계;를 포함하는 것을 특징으로 하는, 차량 내 방치어린이 예방 방법.The method of claim 4,
Matching the recognized camera image with the stored child's face information,
(2-1) correcting the position of the face of the camera image and correcting the case of the non-face to face through projection;
(2-2) Recognizing facial features as patterns;
(2-3) matching the face of the server with the already stored tag;
(2-4) determining whether to match; And
(2-5) Finding the name of the matched face; Characterized in that, including children in the vehicle prevention method.
KR1020180112054A 2018-09-19 2018-09-19 Safe system for prevention of left-behind child using face recognition KR102157074B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180112054A KR102157074B1 (en) 2018-09-19 2018-09-19 Safe system for prevention of left-behind child using face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180112054A KR102157074B1 (en) 2018-09-19 2018-09-19 Safe system for prevention of left-behind child using face recognition

Publications (2)

Publication Number Publication Date
KR20200032879A true KR20200032879A (en) 2020-03-27
KR102157074B1 KR102157074B1 (en) 2020-09-17

Family

ID=69959408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112054A KR102157074B1 (en) 2018-09-19 2018-09-19 Safe system for prevention of left-behind child using face recognition

Country Status (1)

Country Link
KR (1) KR102157074B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122814A (en) * 2021-02-25 2022-09-05 호서대학교 산학협력단 Safety devices and methods for preventing children's accidents

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060267763A1 (en) * 2003-11-26 2006-11-30 International Business Machines Corporation System and method for alarm generation based on the detection of the presence of a person
KR20110080484A (en) * 2010-01-06 2011-07-13 한국산업기술대학교산학협력단 System and method for acquiring information of passenger for the car
KR20150062600A (en) * 2013-11-29 2015-06-08 동서대학교산학협력단 Management method for commuting child student
JP2017218032A (en) * 2016-06-08 2017-12-14 三菱電機株式会社 On-board device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060267763A1 (en) * 2003-11-26 2006-11-30 International Business Machines Corporation System and method for alarm generation based on the detection of the presence of a person
KR20110080484A (en) * 2010-01-06 2011-07-13 한국산업기술대학교산학협력단 System and method for acquiring information of passenger for the car
KR20150062600A (en) * 2013-11-29 2015-06-08 동서대학교산학협력단 Management method for commuting child student
JP2017218032A (en) * 2016-06-08 2017-12-14 三菱電機株式会社 On-board device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122814A (en) * 2021-02-25 2022-09-05 호서대학교 산학협력단 Safety devices and methods for preventing children's accidents

Also Published As

Publication number Publication date
KR102157074B1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
WO2020063783A1 (en) Safety protection system for passengers and drivers of online ride-hailing and taxi services
CN107871351B (en) Apparatus, method, and computer-readable storage medium for controlling vehicle exit
US10628641B2 (en) Communication solutions for self-driving car services
CN107813828A (en) Passenger verification system and method
CN107813829A (en) Passenger's tracing system and method
KR100995885B1 (en) System and Method of notifying in-vehicle emergency based on eye writing recognition
KR101631647B1 (en) Safety management system based on internet of things is installed on transportation vehicles
CN202549003U (en) School bus management system
KR101948249B1 (en) Vehicle alarm system and method to protect children and elderly
JP2017211888A (en) Image information authentification system
KR20200068090A (en) Integrated Safety Management System for Children's School Vehicles Based on IoT
KR20190116778A (en) An system and method for preventing child safety accident using an intelligent boarding and alerting apparatus
KR101482189B1 (en) Safety system for child transport vehicles
KR102549382B1 (en) Safety devices and methods for preventing children's accidents
KR101961761B1 (en) System for providing safety management of school bus and a method thereof
KR20200032879A (en) Safe system for prevention of left-behind child using face recognition
US20220237970A1 (en) Visitor management system and visitor management method
KR20180081883A (en) Vehicle Safety system for children using IoT
KR102017570B1 (en) System for preventing negligent accident of children school bus
CN116402657A (en) Intelligent campus terminal and intelligent campus management system
KR101826639B1 (en) Notice apparatus of departing person after departure of the vehicle and method thereof
RU2703341C1 (en) Method for determining hazardous conditions on public roads based on monitoring the situation in the cabin of a vehicle
KR20230056134A (en) Method and apparatus for double protecting driver in vehicle
KR102001413B1 (en) SOS system and the method to prevent people from leaving the vehicle
Tirasatian et al. School bus platform for integrating in a school van to avoid trapped kindergarten students

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)