KR102550554B1 - Sanitary monitoring system and control method thereof - Google Patents

Sanitary monitoring system and control method thereof Download PDF

Info

Publication number
KR102550554B1
KR102550554B1 KR1020210025541A KR20210025541A KR102550554B1 KR 102550554 B1 KR102550554 B1 KR 102550554B1 KR 1020210025541 A KR1020210025541 A KR 1020210025541A KR 20210025541 A KR20210025541 A KR 20210025541A KR 102550554 B1 KR102550554 B1 KR 102550554B1
Authority
KR
South Korea
Prior art keywords
user
cooking space
camera
wearing
access
Prior art date
Application number
KR1020210025541A
Other languages
Korean (ko)
Other versions
KR20220113634A (en
Inventor
오수현
유호제
김찬희
정아윤
이지웅
조예림
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Publication of KR20220113634A publication Critical patent/KR20220113634A/en
Application granted granted Critical
Publication of KR102550554B1 publication Critical patent/KR102550554B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

위생 모니터링 시스템이 개시된다. 위생 모니터링 시스템은, 조리 공간 내 설치된 제1 카메라, 경광등, 상기 제1 카메라에 의해 획득된 상기 조리 공간을 촬영한 조리 공간 영상을 저장하는 데이터 서버 및, 상기 데이터 서버로부터 수신된 상기 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단하고, 상기 객체가 위생 복장을 착용하지 않은 것으로 판단되면, 상기 경광등이 발광되도록 제어하여 위생 복장 미착용 상태를 경고하는 위생 관리 서버를 포함한다. 또한, 위생 모니터링 시스템은, 상기 조리 공간의 출입구에 설치된 제2 카메라 및, 상기 제2 카메라에 의해 촬영된 사용자 영상에서 사용자의 얼굴이 식별되면, 마스크 착용 유무를 판단하고, 상기 사용자가 마스크를 착용한 것으로 판단되면, 상기 사용자의 얼굴을 인식하여 상기 사용자가 출입 허가된 사용자인지 식별하고, 상기 사용자가 출입 허가된 사용자인 것으로 식별되면, 상기 사용자의 출입을 인가하는 출입 관리 서버를 더 포함할 수 있다. A hygiene monitoring system is disclosed. The hygiene monitoring system includes a first camera installed in a cooking space, a warning light, a data server for storing a cooking space image obtained by capturing the cooking space obtained by the first camera, and a data server for storing the cooking space image received from the data server. and a hygiene management server that determines whether an included object is wearing sanitary clothing and, when it is determined that the object is not wearing sanitary clothing, controls the warning light to emit light to warn the non-wearing state of sanitary clothing. In addition, the hygiene monitoring system determines whether or not a mask is worn when a second camera installed at the entrance of the cooking space and the user's face are identified in the user image captured by the second camera, and the user wears the mask. If it is determined that the user's face is recognized, the user's face is recognized to identify whether the user is an access-authorized user, and if the user is identified as an access-authorized user, the access management server may further include an access management server that authorizes the user's access. there is.

Description

위생 모니터링 시스템 및 그 제어 방법{Sanitary monitoring system and control method thereof}Sanitary monitoring system and control method thereof

본 발명은 위생 모니터링 시스템 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 위생 상태를 관리하는 위생 모니터링 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a sanitation monitoring system and a control method thereof, and more particularly, to a sanitation monitoring system for managing a sanitary state and a control method thereof.

일반적으로 범죄 발생을 사전에 예측하여 실시간으로 범죄를 예방하는 시스템에서는 이벤트 발생 지역의 영상을 분석하고 모션 변화를 양자화하는 처리를 한다. In general, in a system that predicts crime occurrence in advance and prevents crime in real time, an image of an event occurrence area is analyzed and motion change is quantized.

또한, 출입문에 설치된 카메라를 이용하여 사용자를 인식하고 출입문을 개폐하는 경우, 눈썹과 눈을 중심으로 인식하므로 다른 객체(사용자)임에도 같은 객체로 인식하는 오류가 있었다. In addition, when recognizing a user using a camera installed at a door and opening and closing the door, the eyebrows and eyes are recognized as the center, so there is an error in recognizing the same object even though it is a different object (user).

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 조리 공간 내 위생 상태를 실시간으로 점검하여 관리하여 피드백을 제공하는 위생 모니터링 시스템 및 그 제어 방법에 관한 것이다.SUMMARY OF THE INVENTION The present invention has been made in accordance with the above-described needs, and an object of the present invention relates to a sanitation monitoring system and a control method for providing feedback by checking and managing sanitary conditions in a cooking space in real time.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 위생 모니터링 시스템은, 조리 공간 내 설치된 제1 카메라, 경광등, 상기 제1 카메라에 의해 획득된 상기 조리 공간을 촬영한 조리 공간 영상을 저장하는 데이터 서버 및, 상기 데이터 서버로부터 수신된 상기 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단하고, 상기 객체가 위생 복장을 착용하지 않은 것으로 판단되면, 상기 경광등을 발광시켜 위생 복장 미착용 상태에 대한 경고 알림을 제공하는 위생 관리 서버를 포함한다.In order to achieve the above object, the hygiene monitoring system according to an embodiment of the present invention stores a first camera installed in a cooking space, a warning light, and a cooking space image obtained by taking a picture of the cooking space by the first camera. determining whether an object included in the cooking space image received from the data server is wearing sanitary clothing, and if it is determined that the object is not wearing sanitary clothing, the warning light is emitted to indicate a state in which sanitary clothing is not worn It includes a sanitation management server that provides alert notifications for

또한, 상기 관리 서버는, 상기 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단하는 복장 점검 모듈, 상기 제1 카메라에 의해 촬영된 사용자 영상을 인공 지능 모델에 입력하여 기 설정된 손 씻기 단계를 준수하는지 판단하는 손 씻기 점검 모듈 및, 위생 복장 미착용 또는 손 씻기 미준수가 식별되면, 상기 경광등을 발광시켜 경고 알림을 제공하는 경광등 제어 모듈을 포함할 수 있다. In addition, the management server inputs a clothing check module for determining whether an object included in the cooking space image is wearing sanitary clothing, and a user image captured by the first camera to an artificial intelligence model to perform a predetermined hand washing step. It may include a hand washing inspection module that determines compliance, and a warning light control module that emits the warning light to provide a warning notification when non-wearing of sanitary clothing or non-compliance with hand washing is identified.

또한, 상기 제1 카메라는 상기 조리 공간 내 설치된 CCTV(closed circuit television)로 구현되고, 상기 데이터 서버는, 상기 CCTV와 통신 연결되어 상기 CCTV를 통해 촬영된 상기 조리 공간 영상을 수신하는 통신 인터페이스 및 상기 수신된 조리 공간 영상을 저장하는 데이터베이스를 포함할 수 있다. In addition, the first camera is implemented as a CCTV (closed circuit television) installed in the cooking space, and the data server is communicatively connected to the CCTV and receives the cooking space image captured through the CCTV, and the A database for storing the received cooking space image may be included.

또한, 상기 조리 공간의 출입구에 설치된 제2 카메라 및, 상기 제2 카메라에 의해 촬영된 사용자 영상에서 사용자의 얼굴이 식별되면, 마스크 착용 유무를 판단하고, 상기 사용자가 마스크를 착용한 것으로 판단되면, 상기 사용자의 얼굴을 인식하여 상기 사용자가 출입 허가된 사용자인지 식별하고, 상기 사용자가 출입 허가된 사용자인 것으로 식별되면, 상기 사용자의 출입을 인가하는 출입 관리 서버를 더 포함할 수 있다. In addition, if a second camera installed at the entrance of the cooking space and the user's face are identified in the user's image captured by the second camera, it is determined whether or not the user is wearing a mask, and if it is determined that the user is wearing a mask, The user may further include an access control server that recognizes the user's face to identify whether the user is an access-permitted user and, if the user is identified as an access-permitted user, authorizes the user's access.

또한, 상기 출입 관리 서버는, 상기 마스크가 상기 사용자의 코 및 입을 가리도록 착용되었는지 식별하는 마스크 인식 모듈 및, 상기 사용자의 얼굴을 기 저장된 기준 사용자의 얼굴과 비교하여 출입을 관리하는 얼굴 인식 모듈을 포함할 수 있다. In addition, the access management server includes a mask recognition module for identifying whether the mask is worn to cover the user's nose and mouth, and a face recognition module for managing access by comparing the user's face with a pre-stored face of a reference user. can include

한편, 본 발명의 일 실시 예에 따른 위생 모니터링 시스템의 제어 방법은, 조리 공간 내 설치된 제1 카메라를 통해 상기 조리 공간을 촬영한 조리 공간 영상을 획득하는 단계, 상기 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단하는 단계 및, 상기 객체가 위생 복장을 착용하지 않은 것으로 판단되면, 경광등을 발광시켜 위생 복장 미착용 상태에 대한 경고 알림을 제공하는 단계를 포함할 수 있다. Meanwhile, a control method of a hygiene monitoring system according to an embodiment of the present invention includes acquiring a cooking space image obtained by photographing the cooking space through a first camera installed in the cooking space, and determining an object included in the cooking space image. It may include determining whether sanitary clothing is worn or not, and if it is determined that the object is not wearing sanitary clothing, providing a warning notification about the non-wearing sanitary clothing state by emitting a warning light.

또한, 상기 제1 카메라에 의해 촬영된 사용자 영상을 인공 지능 모델에 입력하여 기 설정된 손 씻기 단계를 준수하는지 판단하는 단계 및 사용자가 손 씻기를 미준수한 것으로 판단되면, 상기 경광등을 발광시켜 경고 알림을 제공하는 단계를 포함할 수 있다. In addition, the step of inputting the user image captured by the first camera to the artificial intelligence model to determine whether a predetermined hand washing step is followed, and when it is determined that the user does not comply with the hand washing step, the warning light is emitted to generate a warning notification It may include providing steps.

상술한 다양한 실시 예들에 의하면 기술적 측면에서는 체계적인 주방 위생 관리 방법을 제공할 수 있고, WHO, 식약처 등 공식 기관의 지침을 기반으로 한 주방 시스템을 구축할 수 있다. 또한, AI 기술을 이용하여 인건비 절감과 동시에 정확하고 신속한 모니터링이 가능하게 된다. According to the various embodiments described above, a systematic kitchen hygiene management method can be provided from a technical point of view, and a kitchen system based on guidelines from official organizations such as WHO and the Ministry of Food and Drug Safety can be established. In addition, by using AI technology, labor costs can be reduced while accurate and rapid monitoring becomes possible.

또한, 사회적 측면에서는 위생 관리와 함께 전염성 질병(예를 들어, 코로나 19) 예방이 동시에 가능하며, 요식업 종사자들의 실시간 모니터링으로 위생 수칙 준수 경각심이 재고되고, 위생 수칙 준수 의식이 확대되어 국가 차원에서 위생 관리가 용이하게 된다. In addition, in the social aspect, it is possible to prevent contagious diseases (e.g., COVID-19) at the same time as hygiene management, and real-time monitoring of food service workers raises awareness of compliance with hygiene rules, expands awareness of compliance with hygiene rules, and promotes hygiene at the national level. management becomes easier

도 1은 본 발명의 일 실시 예에 따른 위생 모니터링 시스템의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 데이터 서버의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 위생 관리 서버의 구성을 나타내는 블럭도이다.
도 4는 본 개시의 다른 실시 예에 따른 위생 모니터링 시스템의 구성을 나타내는 도면이다.
도 5는 본 개시의 다른 실시 예에 따른 출입 관리 서버의 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 위생 모니터링 시스템의 제어 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 위생 모니터링 시스템의 제어 방법을 설명하기 위한 흐름도이다.1 is a block diagram showing the configuration of a hygiene monitoring system according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a data server according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a hygiene management server according to an embodiment of the present invention.
4 is a diagram showing the configuration of a hygiene monitoring system according to another embodiment of the present disclosure.
5 is a diagram showing the configuration of an access management server according to another embodiment of the present disclosure.
6 is a flowchart illustrating a control method of a hygiene monitoring system according to an embodiment of the present invention.
7 is a flowchart illustrating a control method of a hygiene monitoring system according to an embodiment of the present invention.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다. Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present disclosure will be described in detail.

본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the embodiments of the present invention have been selected from general terms that are currently widely used as much as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technologies, etc. . In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the disclosure. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, not simply the name of the term.

본 발명에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In the present invention, a "module" or "unit" performs at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software. In addition, a plurality of "modules" or a plurality of "units" are integrated into at least one module and implemented by at least one processor (not shown), except for "modules" or "units" that need to be implemented with specific hardware. It can be.

도 1은 본 발명의 일 실시 예에 따른 위생 모니터링 시스템의 구성을 나타내는 블럭도이다. 1 is a block diagram showing the configuration of a hygiene monitoring system according to an embodiment of the present invention.

도 1에 따르면, 위생 모니터링 시스템은 제1 카메라(10), 경광등(20), 데이터 서버(100) 및 위생 관리 서버(200)를 포함한다. According to FIG. 1 , the hygiene monitoring system includes a first camera 10 , a warning light 20 , a data server 100 and a hygiene management server 200 .

제1 카메라(10)는 조리 공간에 설치될 수 있다. 여기서, 조리 공간은 식당, 주방 등 위생 관리가 필요한 공간이 될 수 있다. 예를 들어 제1 카메라(10)는 주방 내 특정 영역, 예를 들어 천정이나 벽 등에 설치될 수 있다. 예를 들어, 제1 카메라(10)는 IP 카메라, CCTV(closed circuit television)로 구현될 수 있다. The first camera 10 may be installed in the cooking space. Here, the cooking space may be a space requiring hygiene management, such as a restaurant or a kitchen. For example, the first camera 10 may be installed in a specific area in a kitchen, such as a ceiling or a wall. For example, the first camera 10 may be implemented as an IP camera or a closed circuit television (CCTV).

제1 카메라(10)는 조리 공간을 촬영하여 조리 공간 영상을 획득하고 획득된 영상을 데이터 서버(100)로 전송할 수 있다. The first camera 10 may acquire an image of the cooking space by photographing the cooking space and transmit the obtained image to the data server 100 .

경광등(20)은 조리 공간, 예를 들어 주방 내에 설치되거나, 그 외 다른 공간, 예를 들어 관리자가 위치하는 공간 등에 설치 가능하다. 경광등(20)은 경고 알림을 제공하기 위한 발광 등으로 특정 색, 예를 들어 적색을 발광할 수 있다. 다만 경광등(20)의 발광 색상은 이에 한정되지 않음은 물론이다. The warning light 20 may be installed in a cooking space, for example, a kitchen, or may be installed in other spaces, for example, a space where a manager is located. The warning light 20 may emit a specific color, for example red, as a light emission light for providing a warning notification. However, it goes without saying that the light emission color of the warning light 20 is not limited thereto.

데이터 서버(100)는 제1 카메라(10)에 의해 획득된 조리 공간 영상을 수신하여 저장하고 관리하는 데이터베이스 서버로 구현될 수 있다. 예를 들어, 데이터 서버(100)는 NAS(Network-Attached Storage) 서버, 클라우딩 컴퓨팅 환경이 구축된 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다.The data server 100 may be implemented as a database server that receives, stores, and manages the cooking space image acquired by the first camera 10 . For example, the data server 100 may be implemented as a network-attached storage (NAS) server or a server in which a cloud computing environment is built, but is not limited thereto.

데이터 서버(100)는 수신된 영상을 비식별화 처리할 수 있다. 예를 들어, 데이터 서버(100)는 비식별화 처리를 위해 고주파 성분을 필터링하는 저주파 통과 필터를 이용할 수 있다. 예를 들어, 데이터 서버(100)는 가우시안 블러링(또는 가우시안 필터링) 처리를 할 수 있다. 가우시안 블러링은 가우시안 확률 분포에 기초한 가우시안 필터를 이용하여 블러링 처리하는 방법으로, 가우시안 필터를 영상에 적용하게 되면 고주파 성분은 차단되어 블러링 처리가 된다. 또한, 데이터 서버(100)는 OpenCV를 사용하여 영상을 블러링 처리할 수 있다. The data server 100 may de-identify the received image. For example, the data server 100 may use a low-pass filter for filtering high-frequency components for de-identification processing. For example, the data server 100 may perform Gaussian blurring (or Gaussian filtering) processing. Gaussian blurring is a method of blurring processing using a Gaussian filter based on a Gaussian probability distribution. When the Gaussian filter is applied to an image, high-frequency components are blocked to perform blurring processing. In addition, the data server 100 may perform image blurring using OpenCV.

위생 관리 서버(200)는 데이터 서버(100)로부터 수신된 조리 공간 영상에 기초하여 조리 공간 내의 위생 상태를 관리할 수 있다. 예를 들어, 위생 관리 서버(200)는 클라우딩 컴퓨팅 환경이 구축된 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다. The hygiene management server 200 may manage a hygiene condition in the cooking space based on the cooking space image received from the data server 100 . For example, the hygiene management server 200 may be implemented as a server in which a cloud computing environment is built, but is not limited thereto.

구체적으로, 위생 관리 서버(200)는 데이터 서버(100)로부터 수신된 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단하고, 객체가 위생 복장을 착용하지 않은 것으로 판단되면, 경광등(20)이 발광되도록 제어할 수 있다. 즉, 위생 관리 서버(200)는 경광등(20)을 발광시킴으로써 위생 복장 미착용 상태에 대한 경고 알림을 제공할 수 있다. 여기서, 위생 복장은 위생모，위생 마스크，위생 장갑，위생복，장화 등의 다양한 위생 복장을 포함할 수 있다. Specifically, the sanitary management server 200 determines whether or not the object included in the cooking space image received from the data server 100 is wearing sanitary clothes, and if it is determined that the object is not wearing sanitary clothes, the warning light 20 It can be controlled to emit light. That is, the hygiene management server 200 may provide a warning notification about a state in which sanitary clothing is not worn by emitting the warning light 20 . Here, the sanitary clothes may include various sanitary clothes such as sanitary caps, sanitary masks, sanitary gloves, sanitary clothes, and boots.

다만, 이에 한정되는 것은 아니며, 조리 공간 내 구비된 스피커(미도시)를 통해 위생 복장 미착용 상태 또는 미준수 복장의 구체적 정보를 음성으로 출력할 수도 있다. 또는 조리 공간 내 구비된 디스플레이(미도시)를 통해 위생 복장 미착용 상태 또는 미준수 복장의 구체적 정보를 포함하는 UI를 디스플레이할 수도 있다. However, the present invention is not limited thereto, and specific information on a state in which sanitary clothing is not worn or non-compliant clothing may be output through a speaker (not shown) provided in the cooking space. Alternatively, a UI including specific information on a state in which sanitary clothing is not worn or non-compliant clothing may be displayed through a display (not shown) provided in the cooking space.

도 2는 본 발명의 일 실시 예에 따른 데이터 서버의 구성을 나타내는 블럭도이다. 2 is a block diagram showing the configuration of a data server according to an embodiment of the present invention.

도 2에 따르면 데이터 서버(100)는 통신 인터페이스(110) 및 데이터베이스(120)를 포함할 수 있다. According to FIG. 2 , the data server 100 may include a communication interface 110 and a database 120 .

통신 인터페이스(110)는 일 실시 예에 따라 통신 인터페이스(170)는 유선 통신이 가능한 HDMI(High Definition Multimedia Interface), AV, Composite, MHL(Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 옵티컬 포트, 컴포넌트 중 적어도 하나의 인터페이스로 구현될 수 있다.According to an embodiment, the communication interface 110 includes a high definition multimedia interface (HDMI) capable of wired communication, AV, composite, mobile high-definition link (MHL), universal serial bus (USB), and DP. (Display Port), Thunderbolt, VGA (Video Graphics Array) port, RGB port, D-SUB (D-subminiature), DVI (Digital Visual Interface), optical port, component can

다른 실시 예에 따라 통신 인터페이스(170)는 와이파이 모듈, 블루투스 모듈, 중 이더넷 통신 모듈 중 적어도 하나를 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수도 있다. According to another embodiment, the communication interface 170 includes at least one of a Wi-Fi module, a Bluetooth module, and an Ethernet communication module. Here, each communication module may be implemented in the form of at least one hardware chip.

통신 인터페이스(110)는 제1 카메라(10)와 통신 연결되어 제1 카메라(10)를 통해 촬영된 조리 공간 영상을 수신할 수 있다. The communication interface 110 may be communicatively connected to the first camera 10 and receive an image of the cooking space photographed through the first camera 10 .

데이터베이스(120)는 통신 인터페이스(110)를 통해 수신된 조리 공간 영상을 저장할 수 있다. 데이터베이스(120)는 다양한 형태의 메모리, 예를 들어, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. The database 120 may store the cooking space image received through the communication interface 110 . The database 120 includes various types of memory, for example, volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)), non-volatile memory (non-volatile memory) (eg OTPROM (one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, flash memory (eg NAND flash or NOR flash etc.), a hard drive, or a solid state drive (SSD).

도 3은 본 발명의 일 실시 예에 따른 위생 관리 서버의 구성을 나타내는 블럭도이다. 3 is a block diagram showing the configuration of a hygiene management server according to an embodiment of the present invention.

위생 관리 서버(200)는 적어도 하나의 프로세서(미도시)를 포함할 수 있다. 적어도 하나의 프로세서(미도시)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.The hygiene management server 200 may include at least one processor (not shown). At least one processor (not shown) includes a digital signal processor (DSP), a microprocessor, a graphics processing unit (GPU), an artificial intelligence (AI) processor, and a neural processing unit (NPU) for processing digital video signals. Unit), time controller (TCON), but is not limited thereto, and is not limited to, a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller ( controller), an application processor (AP), or a communication processor (CP), or one or more of an ARM processor, or may be defined by the term. In addition, the processor 140 It may be implemented in the form of a system on chip (SoC) with a built-in processing algorithm, large scale integration (LSI), application specific integrated circuit (ASIC), or field programmable gate array (FPGA).

또한, 일 실시 예에 따른 인공 지능 모델을 실행하기 위한 프로세서(미도시)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서과 소프트웨어의 조합을 통해 구현될 수 있다. 프로세서(미도시)는, 메모리(미도시)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(미도시)가 전용 프로세서(또는 인공 지능 전용 프로세서)인 경우, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 지능 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 프로세서(미도시)가 전용 프로세서로 구현되는 경우, 본 개시의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.In addition, a processor (not shown) for executing an artificial intelligence model according to an embodiment may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), a graphics-only processor such as a GPU, a vision processing unit (VPU), or an NPU. It can be implemented through a combination of a dedicated artificial intelligence processor and software. The processor (not shown) may control input data to be processed according to predefined operation rules or artificial intelligence models stored in a memory (not shown). Alternatively, if the processor (not shown) is a dedicated processor (or an artificial intelligence dedicated processor), it may be designed as a hardware structure specialized for processing a specific artificial intelligence model. For example, hardware specialized for the processing of a specific artificial intelligence model may be designed as a hardware chip such as an ASIC or FPGA. When the processor (not shown) is implemented as a dedicated processor, it may be implemented to include a memory for implementing an embodiment of the present disclosure or to include a memory processing function for using an external memory.

일 실시 예에 따라 프로세서(미도시)는 도 3에 도시된 바와 같이 복장 점검 모듈(210), 손 씻기 점검 모듈(220) 및 경광등 제어 모듈(230)을 포함할 수 있다. 여기서, 복장 점검 모듈(210), 손 씻기 점검 모듈(220) 및 경광등 제어 모듈(230)은 적어도 하나의 소프트웨어, 하드웨어 또는 이들의 조합 중 하나로 구현 가능하다. According to an embodiment, a processor (not shown) may include a clothing check module 210, a hand washing check module 220, and a warning light control module 230 as shown in FIG. 3 . Here, the clothing check module 210, the hand washing check module 220, and the warning light control module 230 can be implemented with at least one of software, hardware, or a combination thereof.

복장 검검 모듈(210)은 데이터 서버(100)로부터 수신된 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단할 수 있다. The clothing inspection module 210 may determine whether an object included in the cooking space image received from the data server 100 is wearing sanitary clothing.

복장 점검 모듈(210)은 조리 공간 영상을 분석하여 조리 공간 영상에서 사용자가 식별되면, 사용자가 위생 복장을 착용했는지 여부를 판단할 수 있다. 예를 들어, 기설정된 위생 복장 예를 들어 여기서, 위생 복장은 위생모，위생 마스크，위생 장갑，위생복，장화 등의 형상, 색상 등에 기초하여 사용자가 위생 복장을 착용했는지 여부를 판단할 수 있다. 다만, 경우에 따라 복장 점검 모듈(210)은 조리 공간 영상을 인공 지능 모델에 입력하여 사용자의 위생 복장 착용 유무에 대한 정보를 획득할 수도 있다. The clothing check module 210 analyzes the cooking space image, and when the user is identified in the cooking space image, it may be determined whether the user is wearing sanitary clothing. For example, it may be determined whether the user is wearing the sanitary clothing based on the shape and color of a sanitary cap, sanitary mask, sanitary glove, sanitary clothing, boots, etc. However, in some cases, the clothing check module 210 may obtain information on whether or not the user is wearing sanitary clothing by inputting the cooking space image to the artificial intelligence model.

손 씻기 점검 모듈(220)은 제1 카메라(10)에 의해 촬영된 사용자 영상을 인공 지능 모델에 입력하여 기 설정된 손 씻기 단계를 준수하는지 판단할 수 있다. 여기서, 기설정된 손 씻기 단계는 예를 들어, 질병관리본부에서 지정한 단계 별 손 씻기가 될 수 있으나, 이에 한정되는 것은 아니다. The hand washing check module 220 may input the user image captured by the first camera 10 to the artificial intelligence model to determine whether a predetermined hand washing step is followed. Here, the predetermined hand washing step may be, for example, step-by-step hand washing designated by the Korea Centers for Disease Control and Prevention, but is not limited thereto.

일 실시 예에 따라 손 씻기 점검 모듈(220)은 제1 카메라(10)에 의해 촬영된 사용자 영상을 인공 지능 모델에 입력하여 사용자가 기 설정된 손 씻기 단계를 준수하는지 여부에 대한 정보를 획득할 수 있다. 일 예에 따라 인공 지능 모델은 CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등으로 구현될 수 있으나, 이에 한정되지 않는다. According to an embodiment, the hand washing check module 220 inputs the user image captured by the first camera 10 to the artificial intelligence model to obtain information on whether the user complies with preset hand washing steps. there is. According to an example, the artificial intelligence model is a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or a deep Q-network ( Deep Q-Networks), etc., but is not limited thereto.

일 실시 예에 따르면, 인공 지능 모델은 입력 훈련 데이터 및 출력 훈련 데이터 쌍에 기초하여 학습되거나, 입력 훈련 데이터에 기초하여 학습될 수 있다. 여기서, 인공 지능 모델이 학습된다는 것은, 기본 인공 지능 모델(예를 들어 임의의 랜덤한 파라미터를 포함하는 인공 지능 모델)이 학습 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 위생 관리 서버(200)를 통해 이루어질 수 있으나, 이에 한정되는 것은 아니며 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다. 다만, 이는 지도 학습의 경우를 예를 든 것이며, 출력 데이터로서 추천 행정 정보를 이용하지 않고 입력 데이터 만을 입력하여 인공 지능 모델을 학습시키는 비지도 학습에 기초하여 인공 지능 모델을 학습시킬 수 있음은 물론이다. 일 예에 따라 인공 지능 모델은 사용자의 손 부분을 촬영한 영상이 입력되면, 사용자가 기 설정된 손 씻기 단계를 준수하는지 여부 또는/및 미준수 단계에 대한 정보를 출력하도록 학습될 수 있다.According to an embodiment, an artificial intelligence model may be learned based on a pair of input training data and output training data or based on input training data. Here, the learning of the artificial intelligence model means that the basic artificial intelligence model (eg, an artificial intelligence model including random parameters) is learned using a plurality of training data by a learning algorithm, so that desired characteristics (or, It means that a predefined action rule or an artificial intelligence model set to perform a purpose) is created. Such learning may be performed through the hygiene management server 200, but is not limited thereto and may be performed through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples. However, this is an example of supervised learning, and it is possible to learn an artificial intelligence model based on unsupervised learning in which an artificial intelligence model is trained by inputting only input data without using recommended administrative information as output data. am. According to an example, the artificial intelligence model may learn to output information on whether the user complies with a predetermined hand washing step or/and non-compliance step when an image of a user's hand is input.

경광등 제어 모듈(230)은 위생 복장 미착용 또는 손 씻기 미준수가 식별되면, 경광등(20)을 발광시켜 경고 알림을 제공할 수 있다. The warning light control module 230 may provide a warning notification by emitting the warning light 20 when it is identified that sanitary clothing is not worn or hand washing is not observed.

도 4는 본 개시의 다른 실시 예에 따른 위생 모니터링 시스템의 구성을 나타내는 도면이다. 4 is a diagram showing the configuration of a hygiene monitoring system according to another embodiment of the present disclosure.

도 4에 따르면, 위생 모니터링 시스템은 제1 카메라(10), 경광등(20), 데이터 서버(100), 위생 관리 서버(200), 제2 카메라(30) 및 출입 관리 서버(300)를 포함한다. According to FIG. 4, the hygiene monitoring system includes a first camera 10, a warning light 20, a data server 100, a hygiene management server 200, a second camera 30, and an access management server 300. .

제2 카메라(30)는 조리 공간 출입구의 특정 영역 예를 들어 천정, 벽 등에 설치될 수 있다. 예를 들어, 제2 카메라(30)는 IP 카메라, CCTV(closed circuit television)로 구현될 수 있다. The second camera 30 may be installed in a specific area of the entrance of the cooking space, for example, a ceiling or a wall. For example, the second camera 30 may be implemented as an IP camera or a closed circuit television (CCTV).

제1 카메라(10)는 조리 공간을 촬영하여 조리 공간 영상을 획득하고 획득된 영상을 출입 관리 서버(300)로 전송할 수 있다. 출입 관리 서버(300)는 적어도 하나의 프로세서(미도시)를 포함할 수 있다. The first camera 10 may acquire an image of the cooking space by photographing the cooking space and transmit the obtained image to the access control server 300 . The access management server 300 may include at least one processor (not shown).

출입 관리 서버(300)는 제2 카메라(30)에 의해 획득된 사용자 영상에 기초하여 사용자의 출입을 관려할 수 있다. 예를 들어, 출입 관리 서버(300)는 클라우딩 컴퓨팅 환경이 구축된 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다.The access management server 300 may manage the user's access based on the user image acquired by the second camera 30 . For example, the access control server 300 may be implemented as a server in which a cloud computing environment is built, but is not limited thereto.

출입 관리 서버(300)는 제2 카메라(30)에 의해 촬영된 사용자 영상에서 사용자의 얼굴이 식별되면, 마스크 착용 유무를 판단할 수 있다. 이어서, 출입 관리 서버(300)는 사용자가 마스크를 착용한 것으로 판단되면, 사용자의 얼굴을 인식하여 사용자가 출입 허가된 사용자인지 식별하고, 사용자가 출입 허가된 사용자인 것으로 식별되면, 사용자의 출입을 인가할 수 있다. When the user's face is identified in the user image captured by the second camera 30, the access control server 300 may determine whether or not the mask is worn. Then, when it is determined that the user is wearing a mask, the access management server 300 recognizes the user's face to identify whether the user is an access-authorized user, and if the user is identified as an access-authorized user, the user's access is restricted. can be authorized.

출입 관리 서버(300)는 위생 관리 서버(200)와 마찬가지로 적어도 하나의 프세서를 포함할 수 있다. 일 예에 따르면, 적어도 하나의 프로세서는 도 5에 도시된 바와 같이 마스크 인식 모듈(310) 및 얼굴 인식 모듈(320)을 포함할 수 있다. 여기서, 마스크 인식 모듈(310) 및 얼굴 인식 모듈(320)은 적어도 하나의 소프트웨어, 하드웨어 또는 이들의 조합 중 하나로 구현 가능하다. Like the hygiene management server 200, the access management server 300 may include at least one processor. According to one example, at least one processor may include a mask recognition module 310 and a face recognition module 320 as shown in FIG. 5 . Here, the mask recognition module 310 and the face recognition module 320 can be implemented with at least one of software, hardware, or a combination thereof.

마스크 인식 모듈(310)은 마스크가 상기 사용자의 코 및 입을 가리도록 착용되었는지 식별할 수 있다. The mask recognition module 310 may identify whether a mask is worn to cover the user's nose and mouth.

얼굴 인식 모듈(320)은 사용자의 얼굴을 기 저장된 기준 사용자의 얼굴과 비교하여 출입을 관리할 수 있다. The face recognition module 320 may compare a user's face with a pre-stored reference user's face to manage access.

상술한 실시 예들에서는 데이터 서버(100), 관리 서버(200), 출입 관리 서버(300)가 각각 별개의 서버로 구현되는 것으로 설명하였으나, 실시 예에 따라서는 하나의 통합 서버로 구현되는 것도 가능하다. In the above-described embodiments, the data server 100, the management server 200, and the access management server 300 have been described as being implemented as separate servers, but depending on the embodiment, it is possible to implement them as one integrated server. .

도 6은 본 발명의 일 실시 예에 따른 위생 모니터링 시스템의 제어 방법을 설명하기 위한 흐름도이다. 6 is a flowchart illustrating a control method of a hygiene monitoring system according to an embodiment of the present invention.

도 6에 도시된 제어 방법에 따르면, 우선 조리 공간 내 설치된 제1 카메라를 통해 조리 공간을 촬영한 조리 공간 영상을 획득한다(S610). 여기서, 제1 카메라는 조리 공간 내 설치된 CCTV(closed circuit television)로 구현될 수 있다. According to the control method illustrated in FIG. 6 , first, an image of the cooking space photographed through a first camera installed in the cooking space is acquired (S610). Here, the first camera may be implemented as a closed circuit television (CCTV) installed in the cooking space.

이어서, 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단한다(S620).Next, it is determined whether or not the object included in the cooking space image is wearing sanitary clothing (S620).

이어서, 객체가 위생 복장을 착용하지 않은 것으로 판단되면, 경광등을 발광시켜 위생 복장 미착용 상태에 대한 경고 알림을 제공한다(S630).Then, when it is determined that the object is not wearing sanitary clothes, a warning light is emitted to provide a warning notification about the non-wearing sanitary clothes state (S630).

또한, 제어 방법은, 제1 카메라에 의해 촬영된 사용자 영상을 인공 지능 모델에 입력하여 기 설정된 손 씻기 단계를 준수하는지 판단하는 단계 및 사용자가 손 씻기를 미준수한 것으로 판단되면, 경광등을 발광시켜 경고 알림을 제공하는 단계를 포함할 수 있다. In addition, the control method includes inputting a user image captured by a first camera to an artificial intelligence model to determine whether a predetermined hand washing step is followed, and if it is determined that the user does not comply with hand washing, a warning light is emitted to warn the user. It may include providing a notification.

도 7은 본 발명의 일 실시 예에 따른 위생 모니터링 시스템의 제어 방법을 설명하기 위한 흐름도이다. 7 is a flowchart illustrating a control method of a hygiene monitoring system according to an embodiment of the present invention.

도 7에 도시된 제어 방법에 따르면, 조리 공간의 출입구에 설치된 제2 카메라에 의해 촬영된 사용자 영상에서 사용자의 얼굴이 식별되면, 마스크 착용 유무를 판단한다(S710).According to the control method shown in FIG. 7 , when the user's face is identified in the user image captured by the second camera installed at the entrance of the cooking space, it is determined whether or not the user is wearing a mask (S710).

이어서, 사용자가 마스크를 착용한 것으로 판단되면, 사용자의 얼굴을 인식하여 사용자가 출입 허가된 사용자인지 식별한다(S720).Subsequently, when it is determined that the user is wearing a mask, the user's face is recognized to identify whether the user is authorized to enter (S720).

이후, 사용자가 출입 허가된 사용자인 것으로 식별되면, 사용자의 출입을 인가할 수 있다(S730).Thereafter, if the user is identified as a user with permission for access, the user's access may be authorized (S730).

또한, 마스크 착용 유무를 판단하는 단계에서는, 마스크가 사용자의 코 및 입을 가리도록 착용되었는지 식별할 수 있다. 또한, 사용자가 출입 허가된 사용자인지 식별하는 단계에서는, 사용자의 얼굴을 기 저장된 기준 사용자의 얼굴과 비교하여 사용자가 출입 허가된 사용자인지 식별할 수 있다. In addition, in the step of determining whether or not the mask is worn, it may be identified whether the mask is worn to cover the user's nose and mouth. Also, in the step of identifying whether the user is a user with permission to enter, it is possible to identify whether the user is a user with permission to enter by comparing the face of the user with a face of a pre-stored reference user.

상술한 다양한 실시 예들에 의하면 체계적인 주방 위생 관리 방법을 제공할 수 있고, AI 기술을 이용하여 인건비 절감과 동시에 정확하고 신속한 모니터링이 가능하게 된다. 또한, 위생 관리와 함께 전염성 질병 예방이 동시에 가능하게 된다. According to the various embodiments described above, a systematic kitchen hygiene management method can be provided, and labor cost reduction and accurate and rapid monitoring can be performed using AI technology. In addition, it is possible to prevent infectious diseases together with hygiene management.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 검사 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. Meanwhile, the methods according to various embodiments of the present disclosure described above may be implemented in the form of an application that can be installed in an existing inspection device.

또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 검사 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다. In addition, the above-described methods according to various embodiments of the present invention may be implemented only by upgrading software or hardware of an existing inspection device.

또한, 상술한 본 발명의 다양한 실시 예들은 검사 장치에 구비된 임베디드 서버, 또는 검사 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다. In addition, various embodiments of the present invention described above may be performed through an embedded server included in the testing device or at least one external server of the testing device.

한편, 본 발명의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 검사 장치(예: 검사 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.Meanwhile, according to one embodiment of the present invention, various embodiments described above may be implemented as software including instructions stored in a machine-readable storage medium (eg, a computer). The device is a device capable of calling a command stored in a storage medium and operating according to the called command, and may include a test device (eg, test device A) according to the disclosed embodiments. When executed by a processor, the processor may directly or use other elements under the control of the processor to perform a function corresponding to the instruction, and the instruction may include code generated or executed by a compiler or an interpreter. A device-readable storage medium may be provided in the form of a non-transitory storage medium, where a 'non-transitory storage medium' is a tangible device and a signal (e.g., electromagnetic waves), and this term does not distinguish between cases where data is stored semi-permanently and temporarily stored in storage media. For example, 'non-temporary storage media' refers to data stored temporarily. May contain buffers.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.In addition, each of the components (eg, modules or programs) according to various embodiments described above may be composed of a single object or a plurality of entities, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components may be executed sequentially, in parallel, repetitively, or heuristically, or at least some operations may be executed in a different order, may be omitted, or other operations may be added. can

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and is commonly used in the technical field belonging to the disclosure without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those with knowledge of, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

10: 카메라 120: 경광등
100: 데이터 서버 200: 위생 관리 서버
300: 출입 관리 서버10: camera 120: warning light
100: data server 200: hygiene management server
300: access management server

Claims (7)

조리 공간 내 설치된 제1 카메라;
상기 조리 공간의 출입구에 설치된 제2 카메라;
경광등;
상기 제1 카메라에 의해 획득된 상기 조리 공간을 촬영한 조리 공간 영상을 저장하는 데이터 서버; 및
상기 데이터 서버로부터 수신된 상기 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단하고, 상기 객체가 위생 복장을 착용하지 않은 것으로 판단되면, 상기 경광등을 발광시켜 위생 복장 미착용 상태에 대한 경고 알림을 제공하는 위생 관리 서버; 및
상기 제2 카메라에 의해 촬영된 사용자 영상에서 사용자의 얼굴이 식별되면 마스크 착용 유무를 판단하고, 상기 사용자가 마스크를 착용한 것으로 판단되면 상기 사용자의 얼굴을 인식하여 상기 사용자가 출입 허가된 사용자인지 식별하고, 상기 사용자가 출입 허가된 사용자인 것으로 식별되면, 상기 사용자의 출입을 인가하는 출입 관리 서버; 를 포함하되,
상기 위생 관리 서버는, 상기 제1 카메라에 의해 촬영된 사용자 영상을 인공 지능 모델에 입력하여 기 설정된 손 씻기 단계를 준수하는지 판단하는 손 씻기 점검 모듈을 더 포함하고,
상기 출입 관리 서버는, 상기 마스크가 상기 사용자의 코 및 입을 가리도록 착용되었는지 식별하는 마스크 인식 모듈; 을 더 포함하며,
상기 기 설정된 손 씻기 단계는 질병관리본부에서 지정한 단계 별 손 씻기인 것을 특징으로 하는 위생 모니터링 시스템.a first camera installed in the cooking space;
a second camera installed at the entrance of the cooking space;
warning lights;
a data server that stores an image of the cooking space acquired by the first camera; and
It is determined whether an object included in the cooking space image received from the data server is wearing sanitary clothing, and when it is determined that the object is not wearing sanitary clothing, the warning light is emitted to give a warning notification about the non-wearing sanitary clothing state. a sanitation management server that provides; and
When the user's face is identified in the user image captured by the second camera, it is determined whether or not the user is wearing a mask, and when it is determined that the user is wearing a mask, the user's face is recognized to identify whether the user is an authorized user and an access management server that authorizes access of the user when the user is identified as a user with permission for access; Including,
The hygiene management server further includes a hand washing inspection module that inputs the user image captured by the first camera to an artificial intelligence model and determines whether a predetermined hand washing step is followed,
The access management server may include a mask recognition module that identifies whether the mask is worn to cover the user's nose and mouth; Including more,
The hygiene monitoring system, characterized in that the predetermined hand washing step is step-by-step hand washing designated by the Centers for Disease Control and Prevention. 제1항에 있어서,
상기 위생 관리 서버는,
상기 조리 공간 영상에 포함된 상기 객체의 상기 위생 복장 착용 유무를 판단하는 복장 점검 모듈; 및
위생 복장 미착용 또는 손 씻기 미준수가 식별되면, 상기 경광등을 발광시켜 경고 알림을 제공하는 경광등 제어 모듈; 을 포함하는 위생 모니터링 시스템.According to claim 1,
The hygiene management server,
a clothing check module for determining whether or not the object included in the cooking space image is wearing the sanitary clothing; and
a warning light control module for providing a warning notification by emitting the warning light when not wearing sanitary clothing or not complying with hand washing is identified; Hygiene monitoring system comprising a. 제1항에 있어서,
상기 제1 카메라는 상기 조리 공간 내 설치된 CCTV(closed circuit television)로 구현되고,
상기 데이터 서버는,
상기 CCTV와 통신 연결되어 상기 CCTV를 통해 촬영된 상기 조리 공간 영상을 수신하는 통신 인터페이스; 및
상기 수신된 조리 공간 영상을 저장하는 데이터베이스;를 포함하는 위생 모니터링 시스템. According to claim 1,
The first camera is implemented as a CCTV (closed circuit television) installed in the cooking space,
The data server,
a communication interface that is communicatively connected to the CCTV and receives the cooking space image captured through the CCTV; and
A sanitary monitoring system comprising: a database for storing the received cooking space image. 삭제delete 제1항에 있어서,
상기 출입 관리 서버는,
상기 사용자의 얼굴을 기 저장된 기준 사용자의 얼굴과 비교하여 출입을 관리하는 얼굴 인식 모듈; 을 포함하는 위생 모니터링 시스템. According to claim 1,
The access management server,
a face recognition module that compares the user's face with a pre-stored reference user's face and manages access; Hygiene monitoring system comprising a. 위생 모니터링 시스템의 제어 방법에 있어서,
조리 공간 내 설치된 제1 카메라를 통해 상기 조리 공간을 촬영한 조리 공간 영상을 획득하는 단계;
상기 조리 공간 영상에 포함된 객체의 위생 복장 착용 유무를 판단하는 단계;
상기 객체가 위생 복장을 착용하지 않은 것으로 판단되면, 경광등을 발광시켜 위생 복장 미착용 상태에 대한 경고 알림을 제공하는 단계; 및
상기 조리 공간의 출입구에 설치된 제2 카메라를 통해 촬영된 사용자 영상에서 사용자의 얼굴이 식별되면 마스크 착용 유무를 판단하고, 상기 사용자가 마스크를 착용한 것으로 판단되면 상기 사용자의 얼굴을 인식하여 상기 사용자가 출입 허가된 사용자인지 식별하고, 상기 사용자가 출입 허가된 사용자인 것으로 식별되면, 상기 사용자의 출입을 인가하는 단계; 를 포함하되,
상기 제1 카메라에 의해 촬영된 사용자 영상에 기초하여 기 설정된 손 씻기 단계를 준수하는지 판단하고,
상기 마스크가 상기 사용자의 코 및 입을 가리도록 착용되었는지 식별하며,
상기 기 설정된 손 씻기 단계는 질병관리본부에서 지정한 단계 별 손 씻기인 것을 특징으로 하는 제어 방법. In the control method of the hygiene monitoring system,
acquiring a cooking space image obtained by photographing the cooking space through a first camera installed in the cooking space;
determining whether an object included in the cooking space image is wearing sanitary clothing;
If it is determined that the object is not wearing sanitary clothing, providing a warning notification about the non-wearing sanitary clothing state by emitting a warning light; and
When the user's face is identified in the user's image captured by the second camera installed at the entrance of the cooking space, it is determined whether or not the user is wearing a mask, and when it is determined that the user is wearing a mask, the user's face is recognized and the user is identifying whether the user is authorized for access, and if the user is identified as a user with permission for access, granting access to the user; Including,
Determine whether a preset hand washing step is followed based on a user image captured by the first camera;
identify whether the mask is worn to cover the user's nose and mouth;
The control method, characterized in that the preset hand washing step is step-by-step hand washing designated by the Centers for Disease Control and Prevention. 제6항에 있어서,
상기 제1 카메라에 의해 촬영된 사용자 영상을 인공 지능 모델에 입력하여 상기 기 설정된 손 씻기 단계를 준수하는지 판단하는 단계; 및
사용자가 손 씻기를 미준수한 것으로 판단되면, 상기 경광등을 발광시켜 경고 알림을 제공하는 단계;를 포함하는 제어 방법.
According to claim 6,
inputting the user's image captured by the first camera to an artificial intelligence model and determining whether the predetermined hand washing step is complied with; and
and providing a warning notification by emitting the warning light when it is determined that the user does not comply with hand washing.
KR1020210025541A 2021-02-05 2021-02-25 Sanitary monitoring system and control method thereof KR102550554B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210016921 2021-02-05
KR1020210016921 2021-02-05

Publications (2)

Publication Number Publication Date
KR20220113634A KR20220113634A (en) 2022-08-16
KR102550554B1 true KR102550554B1 (en) 2023-07-04

Family

ID=83064002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025541A KR102550554B1 (en) 2021-02-05 2021-02-25 Sanitary monitoring system and control method thereof

Country Status (1)

Country Link
KR (1) KR102550554B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008083932A (en) * 2006-09-27 2008-04-10 Sogo Keibi Hosho Co Ltd Admittance control apparatus, admittance control method and admittance control program
JP2019109760A (en) 2017-12-19 2019-07-04 セコム株式会社 Image monitoring device
KR102129212B1 (en) * 2019-12-12 2020-07-08 이유엔 주식회사 Method and system for managing hand hygiene

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2735694C (en) * 2008-09-03 2018-05-08 Hyginex Inc. Methods and systems for monitoring hygiene habits
KR20130035300A (en) * 2011-09-30 2013-04-09 김용기 Kitchen monitoring system
KR20160100723A (en) * 2015-02-16 2016-08-24 삼성전자주식회사 Cctv image analysis apparatus and method of driving thereof
KR101754150B1 (en) * 2015-09-01 2017-07-05 주식회사 에스원 Monitering System of Wearing the safety Protector by Using Image Analysis at Hospital and Method thereof
KR101872314B1 (en) * 2016-10-28 2018-06-28 주식회사 서안에스앤씨 System for checking out safety apparatus state of worker in construction filed

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008083932A (en) * 2006-09-27 2008-04-10 Sogo Keibi Hosho Co Ltd Admittance control apparatus, admittance control method and admittance control program
JP2019109760A (en) 2017-12-19 2019-07-04 セコム株式会社 Image monitoring device
KR102129212B1 (en) * 2019-12-12 2020-07-08 이유엔 주식회사 Method and system for managing hand hygiene

Also Published As

Publication number Publication date
KR20220113634A (en) 2022-08-16

Similar Documents

Publication Publication Date Title
CN108353089B (en) Apparatus and method for user configurable interaction zone monitoring
US20210090736A1 (en) Systems and methods for anomaly detection for a medical procedure
EP3333762A1 (en) Crowd analytics via one shot learning
IL261696A (en) System and method for training object classifier by machine learning
US11612314B2 (en) Electronic device and method for determining degree of conjunctival hyperemia by using same
CN109993020B (en) Human face distribution alarm method and device
CN108875468B (en) Living body detection method, living body detection system, and storage medium
WO2021012370A1 (en) Pupil radius detection method and apparatus, computer device and storage medium
US20210124914A1 (en) Training method of network, monitoring method, system, storage medium and computer device
CN107122743A (en) Security-protecting and monitoring method, device and electronic equipment
US20210364356A1 (en) System and method for using artificial intelligence to enable elevated temperature detection of persons using commodity-based thermal cameras
JP5653404B2 (en) Dozing alert device
CN113435362A (en) Abnormal behavior detection method and device, computer equipment and storage medium
WO2020133072A1 (en) Systems and methods for target region evaluation and feature point evaluation
US11361512B2 (en) Systems and methods for detecting intrusion while in artificial reality
US11335128B2 (en) Methods and systems for evaluating a face recognition system using a face mountable device
WO2019102521A1 (en) Monitoring system, monitoring method, and monitoring program
CN115346060A (en) Picture abnormity identification method and device, electronic equipment and storage medium
KR102550554B1 (en) Sanitary monitoring system and control method thereof
CN113392779A (en) Crowd monitoring method, device, equipment and medium based on generation of confrontation network
CN109670438A (en) Abnormal behaviour monitoring method, device, system and storage medium for intelligent desk lamp
TW201510945A (en) A method for identifying personnel and a security booth prevention system thereof
BR112021004647B1 (en) SYSTEMS AND METHODS FOR DETECTING Drowsiness
CN112487980A (en) Micro-expression-based treatment method, device, system and computer-readable storage medium
KR20230051848A (en) System for preventing safety accidents in dangerous areas and operation method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant