KR102417206B1 - 식품제조환경 위생 모니터링 서비스 제공 시스템 - Google Patents

Abstract

식품제조환경 위생 모니터링 서비스 제공 시스템이 제공되며, 식품제조구역을 촬영하는 적어도 하나의 카메라, 식품제조구역 내 적어도 하나의 환경 데이터를 감지하는 적어도 하나의 센서 및 적어도 하나의 카메라로부터 촬영된 영상을 수신하는 수신부, 영상 내 작업자를 추출하고 작업자의 위생복 착용 여부를 확인하는 체크부, 적어도 하나의 센서로부터 수집된 적어도 하나의 환경 데이터를 수집하고, 기 저장된 기준 데이터와 비교하여 위생수칙준수여부를 확인하는 상태관리부를 포함하는 모니터링 서비스 제공 서버를 포함한다.

Description

식품제조환경 위생 모니터링 서비스 제공 시스템{SYSTEM FOR PROVIDING FOOD MANUFACTURING ENVIROMENTAL HYGIENE MONITORING SERVICE}

본 발명은 식품제조환경 위생 모니터링 서비스 제공 시스템에 관한 것으로, 작업자의 위생복 착용 여부를 체크하고 환경 데이터를 수집하여 위생수칙준수를 감시하는 시스템을 제공한다.

식품 산업의 생산액과 매출액은 매년 꾸준히 증가하고 있으며 이 중 HMR(Home Meal Replacement)가 차지하는 규모는 팬데믹으로 인해 가파르게 상승하고 있다. 대기업의 경우 내수시장 뿐 아니라 해외시장으로 진출하여 안정적 원료공급과 수익창출을 도모하고 있지만, 국내 중소기업 브랜드는 HMR 제품을 구매하고자 하는 소비자에게 낮은 인지도나 안전성 우려에 따라 판로 모색에 난항을 겪는 경우가 대부분이다. 식품 산업에서 안전성 확립을 위한 프로그램, 생산공정 및 포장법이 개발되었고, HACCP(Hazard Analysis and Critical Control Point) 및 SVCC(Sousvide Cook-Chill System)을 적용하여 위생적인 음식제품을 생산할 수 있으며, 저온저장과 가열의 과정이 반복되면서 발생할 수 있는 제품의 품질변화 및 변질의 가능성을 최소화했지만, 식품제조시설의 위생상태고발, 작업자의 위생수칙준수위반의 이슈는 계속하여 제기되고 있다.

이때, 식품제조시설이나 작업자를 모니터링하고 실시간으로 링크를 공유하여 각 개인이 스트리밍으로 확인하는 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국등록특허 제10-2189984호(2020년12월14일 공고) 및 한국공개특허 제2013-0035300호(2013년04월09일 공개)에는, 위생점수를 상황보드를 통하여 실시간 모니터링하고, 급식소 방문을 통하여 현장에서 실시간으로 기록된 정보를 업로드받아 위생 체크리스트 및 안전 체크리스트를 확인하는 구성과, 주방에 설치된 카메라에서 영상을 실시간으로 스트리밍하고, 사용자 단말에서 영상을 실시간으로 확인하는 주방 모니터링 구성이 각각 개시되어 있다.

다만, 전자의 경우 정부기관에서 학부모에게 모니터링 권한을 부여하고 학부모가 일시적으로 방문하여 위생상태 및 안전상태를 체크한 결과를 업로드하는 것이기 때문에 작업시간 내내 작업자나 식품제조시설을 관리할 수 있는 구성이 아니다. 후자의 경우에도 카메라의 영상을 실시간으로 송출하는 것일 뿐 작업자의 위생복 착용 여부를 점검하거나 자동으로 확인하는 구성이 아니다. 또 폐암으로 사망한 급식노동자에 대하여 최근 첫 산업재해 인정이 이루어지면서, 작업자가 근무하는 환경 및 상태에 대한 관심이 높아졌지만 이에 대한 인프라는 전무하다. 이에, 식품제조환경을 실시간 모니터링하면서 위생복 착용 여부를 자동으로 체크하고, 환경 데이터를 수집하여 작업자 및 소비자의 안전을 체크하며, 영상 내 얼굴은 비식별화 처리함으로써 사생활 침해를 최소화할 수 있는 플랫폼의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 식품제조구역을 촬영한 후 작업자의 위생복 착용 여부를 자동으로 확인하여 실시간으로 모니터링하고, 작업자의 얼굴영역은 비식별화 처리를 함으로써 사생활 침해를 최소화하며, IoT 기반으로 식품제조구역 내 환경 데이터를 수집하여 가이드라인 데이터와 비교함으로써 위생수칙준수여부를 확인하고, 모니터링 결과 및 위생수칙준수여부를 사용자 단말에서 확인하도록 업로드하는, 식품제조환경 위생 모니터링 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 식품제조구역을 촬영하는 적어도 하나의 카메라, 식품제조구역 내 적어도 하나의 환경 데이터를 감지하는 적어도 하나의 센서 및 적어도 하나의 카메라로부터 촬영된 영상을 수신하는 수신부, 영상 내 작업자를 추출하고 작업자의 위생복 착용 여부를 확인하는 체크부, 적어도 하나의 센서로부터 수집된 적어도 하나의 환경 데이터를 수집하고, 기 저장된 기준 데이터와 비교하여 위생수칙준수여부를 확인하는 상태관리부를 포함하는 모니터링 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 식품제조구역을 촬영한 후 작업자의 위생복 착용 여부를 자동으로 확인하여 실시간으로 모니터링하고, 작업자의 얼굴영역은 비식별화 처리를 함으로써 사생활 침해를 최소화하며, IoT 기반으로 식품제조구역 내 환경 데이터를 수집하여 가이드라인 데이터와 비교함으로써 위생수칙준수여부를 확인하고, 모니터링 결과 및 위생수칙준수여부를 사용자 단말에서 확인하도록 업로드함으로써, 식품 구매에 있어 위생을 최우선으로 고려하는 소비자에게 위생을 보장해주고, 인지도가 낮은 스타트업 기업이나 중소기업의 시장진입가능성을 높여줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 식품제조환경 위생 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 식품제조환경 위생 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 식품제조환경 위생 모니터링 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 식품제조환경 위생 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 식품제조환경 위생 모니터링 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300), 적어도 하나의 카메라(400), 적어도 하나의 센서(500), 디스플레이(600) 및 공기조화기(Heating, Air Ventilation Cooling, 700)을 포함할 수 있다. 다만, 이러한 도 1의 식품제조환경 위생 모니터링 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 카메라(400), 적어도 하나의 센서(500) 및 디스플레이(600)와 연결될 수 있다. 또한, 적어도 하나의 카메라(400)는, 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 센서(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300) 및 적어도 하나의 카메라(400)와 연결될 수 있다. 디스플레이(600)는, 네트워크(200)를 통하여 사용자 단말(100), 카메라(400), 모니터링 서비스 제공 서버(300), 적어도 하나의 센서(500)와 연결될 수 있다. 적어도 하나의 공기조화기(700)는, 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 식품제조환경 위생 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 식품제조환경을 모니터링하는 사용자의 단말일 수 있다. 이때, 사용자는 식품제조시설에서 제조된 식품을 구매하는 고객일 수도 있고, 식품제조시설을 운영하는 운영자나 관리자 등일 수도 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

모니터링 서비스 제공 서버(300)는, 식품제조환경 위생 모니터링 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 식품제조시설 내 카메라(400), 센서(500), 디스플레이(600)를 모듈처럼 각각 또는 조합하여 설치한 후 IoT(Interent of Things) 기반으로 각 노드(Node)를 지정하여 데이터를 수집하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는 적어도 하나의 공기조화기(700)가 존재하는 경우 적어도 하나의 공기조화기(700)와 연결을 세팅하는 서버일 수 있다. 모니터링 서비스 제공 서버(300)는 카메라(400)에서 수집된 영상 내 객체를 식별하고 얼굴영역을 비식별화 처리한 후 마스크, 모자, 장갑 등 위생복을 착용했는지의 여부를 파악하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는 센서(500)를 통하여 수집된, 온도, 습도, 먼지량, Co2, 연기(Cooking Oil Fume) 등을 감시하고 기 설정된 기준 데이터를 초과하는 경우 공기조화기(700)를 구동하여 환기를 시키도록 하는 서버일 수 있다. 또, 모니터링 서비스 제공 서버(300)는 사용자 단말(100)에서 실시간으로 위생복 착용 여부 또는 위생수칙준수 확인 여부 등을 확인하고자 하는 경우 이에 대한 엑세스를 허용하거나 기 저장된 데이터에 엑세스하도록 허용하는 서버일 수 있다.

여기서, 모니터링 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 카메라(400)는, 적어도 하나의 센서(500) 및 적어도 하나의 디스플레이(600)는, IoT 기반으로 노드(Node)로 지정되고, 촬영된 영상 및 감지한 환경 데이터를 모니터링 서비스 제공 서버(300)로 업로드하고, 그 결과를 디스플레이(600)로 출력하거나, 자체 마이크로프로세서를 내장하여 영상 내 위생복 착용 여부를 출력하거나 환경 데이터가 기준 데이터를 만족하는지의 여부를 출력하고, 그 결과만 모니터링 서비스 제공 서버(300)로 리턴하는 장치일 수 있다. 이는 마이크로프로세서의 컴퓨팅 자원이나 통신모듈의 네트워킹 자원에 따라 부여되는 각 기능이나 조합 여부가 달라질 수 있으므로 어느 하나의 실시예로 한정하지 않는다.

공기조화기(700)는, 식품제조환경 위생 모니터링 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 모니터링 서비스 제공 서버(300)와 연동되거나 센서(500)와 연동되고, 기준 데이터를 만족하지 못하는 경우 구동을 시작하고 PID 제어로 루프를 돌며 기준 데이터를 만족하도록 환기를 시키는 장치일 수 있다. 본 발명의 일 실시예에서는 식품제조시설 내 위해요소제거를 위해 환기만을 언급하지만 온도를 맞추기 위하여 에어컨을 구동하거나 히터를 구동하는 것을 배제하지 않는다.

도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 식품제조환경 위생 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 모니터링 서비스 제공 서버(300)는, 수신부(310), 체크부(320), 상태관리부(330), 비식별화부(340), 위생정보구매연결확인부(350)를 포함할 수 있다.

본 발명의 일 실시예에 따른 모니터링 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100)로 식품제조환경 위생 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100)은, 식품제조환경 위생 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 수신부(310)는, 적어도 하나의 카메라(400)로부터 촬영된 영상을 수신할 수 있다. 적어도 하나의 카메라(400)는, 식품제조구역을 촬영할 수 있다. 이때, 식품제조구역 전체를 촬영할 수도 있고, 각 작업자의 신체 일부만 촬영하도록 설치될 수도 있다. 상술한 바와 같이, 카메라(400), 센서(500) 및 디스플레이(700)와 마이크프로세서가 SCAMIPS(Sanitarily Completed Active Monitoring Image Processing System) 노드로 모듈화될 수도 있고, 카메라(400)와 디스플레이(700)의 조합이나, 센서(500) 및 디스플레이(700)의 조합 등 다양한 조합도 가능할 수 있다.

체크부(320)는, 영상 내 작업자를 추출하고 작업자의 위생복 착용 여부를 확인할 수 있다. 디스플레이(600)는, 체크부(320)에서 확인한 위생복 착용 여부를 출력할 수 있다. 체크부(320)는, 작업자의 위생복 착용 여부를 확인할 때, 적어도 하나의 인공지능 알고리즘을 이용하여 실시간으로 확인할 수 있다. 예를 들어, 적어도 하나의 인공지능 알고리즘은 YOLO(You Only Look Once)일 수 있다.

<근거리 위생복 검출>

YOLO(you Only Look Once)는 객체 검출 알고리즘이다. 객체 검출은 영상 내에 존재하는 모든 카테고리에 대해서 지역화와 분류를 수행하는 것이다. 지역화는 객체의 좌표인 경계 박스를 찾는 회귀이고, 분류는 경계 박스 내 물체가 무엇인지 분류하는 문제이다. YOLO는 딥러닝 기반의 객체 검출 중에R-CNN, Fast R-CNN, Faster R-CNN 계열 방법과 비교하여 정확도는 다소 낮으나 검출 속도가 빠른 장점이 있다. YOLO는 네트워크의 수정을 통하여 사용자가 원하는 객체만을 검출할 수 있도록 하는 학습 기능이 있기 때문에, 본 발명의 일 실시예에서는 인간의 각 부위의 신체를 식별하도록 하고, 각 신체부위에 커버링되는 마스크, 위생모자, 장갑 등의 이미지셋(Set)을 라벨로 라벨링 한 후 학습시켜 검출을 수행할 수 있다. 라즈베리파이는 입력된 데이터를 처리하고 동작하며 작업자 정보를 데이터베이스에 전송할 수 있다.

<원거리 위생복 검출>

위생복 검출은 컴퓨터 비전과 AI 기술을 이용하여 현장 작업자의 위생 장비 착용 여부를 확인할 수 있다. 위생장갑, 위생모자, 위생마스크, 앞치마, 장화 등이 이에 해당된다. 현장 작업자는 답답하고 걸리적거리는 위생복을 착용하지 않고 작업하는 경우가 빈번하고, 현장 관리자는 모든 작업자들을 감시하기에는 한계가 있다. 따라서 위생복 검출 기술을 통해 작업자의 위생복 착용여부를 자동으로 확인할 수 있도록 하면 작업자들의 안전을 지킴과 동시에 관리감독의 인적, 시간적 노력을 줄이고 업무효율을 높일 수 있다.

위생복 검출에 적용되는 핵심 기술은 객체검출(Object Detection) 기술이다. 객체검출은 이미지에서 관심 객체를 배경과 구분해 식별하는 자동화 기법으로, 이미지 내에서 관심 객체의 존재 여부와 위치를 경계박스(Bounding Box) 설정을 통해 파악할 수 있게 해준다. 객체검출을 위해 딥러닝(Deep Learning) 알고리즘이 적용될 수 있으며, 예를 들어 YOLO(You Only Look Once) 알고리즘이 사용될 수 있다. YOLO는 다른 딥러닝 기반 객체검출 알고리즘과 비교하여 빠른 처리속도와 상대적으로 높은 검출 정확도를 보인다. 이로 인해 YOLO는 위생복 검출을 포함하여 다양한 실시간 객체 검출 응용분야에 활용되고 있는데, YOLO의 고질적인 문제가 있다. 바로, 작은 객체 검출에 취약한 부분이라는 것인데 본 발명의 일 실시예에서는 검출 성능을 높이기 위해 Bag of Freebies, Bag of Specials 등 다양한 기법이 적용된 YOLOv4를 이용할 수도 있다.

식품제조시설 모니터링 및 위생복 검출을 위해 사용되는 CCTV 카메라는 다양한 현장위치에 설치된다. 제조시설환경에서 넓은 시야각 확보를 위해 원거리에 설치되는 카메라의 영상 출력에서 작업자는 상대적으로 매우 작게 보인다. 이런 위치에 설치된 카메라의 이미지에 대해 YOLOv4 기반 위생복 검출을 수행할 경우, 작게 표출되는 위생복은 검출이 안 되는 경우가 많다. 따라서, 본 발명의 일 실시예에서는 원거리 촬영 동영상에서 위생복 검출 시, 크기가 작은 위생복 객체에 대한 검출 성능을 향상시킬 수 있는 이미지 전처리 기법을 더 이용할 수도 있다. YOLOv4에서 객체검출을 위해 입력되는 이미지의 크기는 학습 시 설정된 입력영상의 크기와 동일하게 조절(Resize)될 수 있다. 따라서 고해상도 영상이 입력으로 제공되어도, 원본 입력 이미지 크기가 축소 조절되는 현상이 발생하며, 이는 객체 검출에 영향을 미치게 된다.

전처리 과정을 통해 원본 영상의 품질을 유지한 입력영상이 제공된다면 검출 성능이 향상될 수 있다. 이에 따라, 영상 프레임에서 객체검출 시 의미 있는 부분만을 추출하여 입력으로 제공한다. 즉, 영상 프레임에서 모션(Motion, 움직임)이 발생하는 부분만을 추출하여 모자이크 방식으로 결합, 재구성하여 YOLOv4 객체검출 모델의 입력으로 제공한다. 관심 영역 또는 의미 있는 부분만을 추출함으로써 입력 영상의 크기를 줄이고 영상에서 검출 대상이 되는 영역의 원래 해상도를 최대한 유지할 수 있다. 이를 통해 작은 객체에 대한 검출 성능을 개선할 수 있다.

상태관리부(330)는, 적어도 하나의 센서(500)로부터 수집된 적어도 하나의 환경 데이터를 수집하고, 기 저장된 기준 데이터와 비교하여 위생수칙준수여부를 확인할 수 있다. 적어도 하나의 센서(500)는, 식품제조구역 내 적어도 하나의 환경 데이터를 감지할 수 있다. 적어도 하나의 센서(500)는 IoT(Interent of Things) 기반의 온도, 습도, 공기오염도 및 세균오염도를 포함하는 적어도 하나의 환경 데이터를 측정하는 센서(500)일 수 있다. 물론, 나열된 종류의 환경 데이터만을 측정하는 것은 아니고 다양한 센서가 더 포함될 수도 있다. 또, 예를 들어, 현재 먼지 농도가 A 인데 기준 데이터가 B이고, A가 B 보다 크다면 위생수칙준수여부 중 먼지 카테고리에 미준수로 체크할 수 있다. 공기조화기(700)는, 적어도 하나의 환경 데이터가 기 저장된 기준 데이터를 만족하지 못하는 경우 구동을 시작할 수 있다.

적어도 하나의 센서(500)는 IoT 기반 적어도 하나의 노드(Node)에 대응하고, 적어도 하나의 센서(500)로부터 수집된 적어도 하나의 환경 데이터는 비동기 메시지 큐(Asynchronous Message Queue)로 전달될 수 있다. 동기와 비동기의 차이는 동기의 경우 루틴을 완전히 끝내고 제어권을 반납하면 동기식이고, 비동기식의 경우 동작이 완료되지 않았더라도 제어권을 반납한 후 루틴을 계속 돌면 비동기식이다. 이때, 비동기식으로 구현한 이유는 이벤트 핸들러(CallBack)에 의해 알림이 오면 처리하는 방식이므로 I/O(Input/Output) 작업 상황이나 결과를 기다리지 않아도 되기 때문이다.

비식별화부(340)는, 작업자를 추출한 후 작업자의 얼굴을 비식별화 처리할 수 있다. 이때, 얼굴 탐지(Face Detection)을 수행한 후 얼굴 랜드마크 추출(Face Landmark Extraction)을 진행할 수 있다. 랜드마크 추출에 사용된 얼굴 윤곽 라인을 따라 ROI(Region of Interest)를 설정한 후 가우시안 필터(Gaussian Filter)를 사용하여 이미지를 블러(Blur)시킨다. 블러처리된 이미지를 원본이미지와 결합하여 비식별화 이미지를 생성한다. 얼굴 검출은 SSD(Single Shot MultiBox Detector) 검출기를 이용하여 수행할 수 있으나 이에 한정되는 것은 아니다. 얼굴 학습에 사용된 학습 데이터셋(DataSet)은 자체 수집한 커스텀 데이터셋과 WiderFace(AI 허브)를 통하여 학습시킬 수 있으나 이 또한 다른 데이터셋을 이용하는 것을 배제하지 않는다. 얼굴 특징점 검출 방법으로는 WiderFace 데이터셋을 사용하여 텐서플로우(Tensor Flow)로 학습시킨 특징점 추출을 사용할 수 있다. 랜드마크 추출을 통해 얼굴의 외곽라인, 즉 윤곽선을 설정하고 마스크를 제외한 그 내부의 비식별화를 수행할 수 있다. 경계박스(Bounding Box)를 통한 비식별화 방법보다 픽셀의 손실이 없이 더 좋은 결과를 도출할 수 있다. 랜드마크의 윤곽선을 ROI로 설정하여 가우시안 필터 적용 후 비식별화를 진행할 수 있다.

<검증 방법>

위생정보구매연결확인부(350)는, 사용자 단말(100)에서 식품제조구역 내 작업자의 위생복 착용 여부 및 환경 데이터를 수신하여 출력한 후, 메인스크린 도달 수, 결제스크린 도달 수, 결제완료 수 및 결제단계 이탈자 수에 기반하여 위생정보 구매연결지수(Index)를 산출할 수 있다. 이를 위하여 위생정보구매연결확인부(350)는, 상술한 앱 로그(Log)를 기록할 수 있다. 이때, 사용자 단말(100)은, 식품제조구역 내 작업자의 위생복 착용 여부 및 환경 데이터를 수신하여 출력할 수 있다. 즉, 마스크와 같은 위생복 착용 여부나 실제 식품이 제조되는 환경, 예를 들어, 먼지농도, CO2 농도 그 밖의 위해물질농도를 보고 구매자인 사용자가 얼마나 구매를 결정했는지를 확인하는 것이다. 식품제조환경이나 위생상태를 보여주지 않았을 때와 보여주었을 때의 구매율을 확인함으로써 본 발명의 플랫폼의 효과를 정량적으로 분석할 수 있다. 우선 결제단계 이탈자 수는 이하 수학식 1과 같이 도출할 수 있다.

이때, 전체 구매자 수는 수학식 2와 같고, 위생정보 확인 후 구매자 비율은 수학식 3과 같다. 수학식 1 내지 3을 통하여 도출된 값을 이용하여 수학식 4와 같이 위생정보 구매연결지수를 산출할 수 있다.

또, 소비자인 사용자가 얼마나 위생정보를 중요하게 여기고 이를 탐색, 즉 정보를 보는지, 즉 관심에 대한 지수도 이하 수학식 5와 같이 산출할 수 있다.

덧붙여서, 카메라(400)와 디스플레이(600)가 일체로 구현되고, 환경 데이터를 수집하는 센서(500)는 카메라(400)나 디스플레이(600)와 별도로 저전력 무선통신 환경에서 IoT 노드로 배치하고, 자체적인 상황판단이 필요한 경우 경량 AI 블록을 설계하여 SoC(System on a Chip) 형태로 구현하고 그 결과값을 이용하여 공기조화기(700)를 구동하도록 할 수 있다.

센서(500)에서 수집된 데이터는 센서(500)의 물리적 상태 변화나 화학적 반응을 통하여 측정하며 측정된 신호들은 복잡성과 비선형성의 특성을 나타낸다. 이러한 문제점을 해결하기 위해서 다수의 센서(500)를 복수의 어레이(Array) 구조로 배치하고 시간적 또는 공간적 상관관계를 이용한 신호처리를 통해 센서의 노후화나 오류로 발생되는 데이터를 보정하여 신뢰성을 확보하도록 구현이 가능하다. 다만, 저전력 무선통신을 요구하는 IoT 센서에서는 다중 센서의 신호처리과정에 연산량과 소비전력에 대한 부담으로 적용에 무리가 있다. 또, 측정결과에 포함되어 있는 오프셋(Offset) 분석 및 노이즈 제거, 센서 자체적인 상황판단을 위한 특징 추출 등에 이용하기에는 저전력의 SoC는 어려울 수 있다.

이에, 본 발명의 일 실시예에서는, 이종의 센싱 디바이스인 센서(500)가 외부 버스를 통해 연결되어 있을 때 센싱된 값의 보정(Calibration)과 특징 추출 등을 수행할 수 있는 경량 AI 가속 엔진을 더 부가할 수 있다. 지능형 데이터 처리 엔진은, 센서 허브 모듈, 수집된 센서 데이터의 보정을 위한 센서 보정 모듈(Sensor Calibration Module), 센서 데이터로부터 특징 추출을 위한 특징 추출 모듈(Feature Extraction Module), 지능형 센서 처리를 위한 경량 AI(Lightweight AI) 엔진과 같은 4 개의 블록으로 구성될 수 있다.

각 서브 블록은 AHB(Advanced High-performance Bus) 인터페이스를 가지고 레지스터 맵(Register Map)에 의해서 레지스터 제어가 가능하다. 레지스터에 설정된 값에 의해서 각 서브 시스템이 독립적으로 동작하며, 데이터 입력이 완료되면 수신 데이터(Received Data)와 인터럽트(Interrupt) 신호를 생성할 수 있다. 5종의 인터페이스(I2C, I2S, SPI, UART, GPIO)를 사용하여 외부 센서에서 데이터를 입력받으며, 필요에 따라 로우 데이터(Raw Data)를 센서 보정 모듈로 전달하여 보정된 데이터를 생성할 수 있다. 센서(500)의 로우 데이터 또는 보정 데이터는 특징 생성기(Feature Generator)와 경량 AI의 입력으로 사용될 수 있다.

센서 보정 모듈은 SPI(4 채널), I2C (2 채널), I2S, UART, GPIO 인터페이스를 통해 입력된 센서 신호들의 캘리브레이션을 수행하는 블록으로, S/W를 통해 계산된 3차 다항식 계수(3rd order Polynomial Coefficient)를 레지스터에 저장하여 입력된 데이터의 다항식 계산에 사용된다. 내부의 다항식 출력 블록에서 데이터를 저장하고 N 개가 쌓이게 되면 출력 신호와 함께 데이터와 채널 정보를 출력하게 된다. 특징 추출 모듈은 각 채널로부터 수신한 데이터의 간단한 특징을 계산한다. SPI, I2C, I2S, UART, GPIO에서 입력 받은 센서 데이터를 단위 시간 동안 저장하여 최대값, 최소값, 평균을 출력으로 내보낼 수 있다. 경량 AI는 센서 데이터 혹은 AMBA(Advanced Microcontroller Bus Architecture) 버스 데이터를 입력으로 받아, 경량 인공지능 알고리즘을 수행, 즉 학습하고 판단하는 모듈로 캘리브레이션 된 출력 결과를 입력 받아 학습된 결과를 출력할 수 있다.

이하, 상술한 도 2의 모니터링 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, (a) 본 발명의 시스템을 설치하기를 원하는 식품제조공장 등에 카메라(400), 센서(500), 디스플레이(600)를 설치하고 추가적으로 공기조화기(700)도 모니터링 서비스 제공 서버(300)와 연동시켜 시스템을 구축 및 설치한다. 그리고, (b) 모니터링 서비스 제공 서버(300)는, 얼굴 모자이크 후 위생복 착용 여부를 확인하거나, 그 반대의 순서로 진행하여 어떤 직원이 제대로 착용을 하고 하지 않았는지를 관리자는 알 수 있으나 소비자인 사용자는 알 수 없도록 할 수도 있다. 그리고, (c) 모니터링 서비스 제공 서버(300)는, 환경 데이터를 센서(500)로부터 체크하여 공기조화기(700)를 구동시킬 수도 있고, (d) 위생복 착용 여부나 환경 데이터 등을 고객인 사용자에게 공유하여 신뢰도를 높일 수도 있다.

본 발명의 시스템(가칭, 쿠메푸드(KOMEFOOD))은 도 4a와 같이 구성될 수 있고, 사용자 단말(100)에서는 도 4b나 도 4c와 같이 출력될 수 있다. 도 4d는 본 발명의 일 실시예에 따라 실제 마스크와 장갑을 YOLO로 검출한 화면이고, 도 4e와 같은 비지니스 모델을 구성할 수도 있다. 실제 프로토타입은 도 4f와 같이 구성되었으나 실시예에 따라 각 모듈은 변경될 수도 있다.

이와 같은 도 2 내지 도 4의 식품제조환경 위생 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 식품제조환경 위생 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 식품제조환경 위생 모니터링 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, 모니터링 서비스 제공 서버는, 적어도 하나의 카메라로부터 촬영된 영상을 수신한다(S5100).

그리고, 모니터링 서비스 제공 서버는, 영상 내 작업자를 추출하고 작업자의 위생복 착용 여부를 확인하고(S5200), 적어도 하나의 센서로부터 수집된 적어도 하나의 환경 데이터를 수집하고, 기 저장된 기준 데이터와 비교하여 위생수칙준수여부를 확인한다(S5300).

상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 식품제조환경 위생 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 식품제조환경 위생 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 식품제조환경 위생 모니터링 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 식품제조환경 위생 모니터링 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 식품제조환경 위생 모니터링 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 식품제조구역을 촬영하는 적어도 하나의 카메라;
   상기 식품제조구역 내 적어도 하나의 환경 데이터를 감지하는 적어도 하나의 센서;
   상기 적어도 하나의 카메라로부터 촬영된 영상을 수신하는 수신부, 상기 영상 내 작업자를 추출하고 상기 작업자의 위생복 착용 여부를 확인하는 체크부, 상기 적어도 하나의 센서로부터 수집된 적어도 하나의 환경 데이터를 수집하고, 기 저장된 기준 데이터와 비교하여 위생수칙준수여부를 확인하는 상태관리부를 포함하는 모니터링 서비스 제공 서버; 및
   상기 식품제조구역 내 작업자의 위생복 착용 여부 및 환경 데이터를 수신하여 출력하는 사용자 단말을 포함하며,
   상기 모니터링 서비스 제공 서버는,
   상기 사용자 단말에서 상기 식품제조구역 내 작업자의 위생복 착용 여부 및 환경 데이터를 수신하여 출력한 후, 메인스크린 도달 수, 결제스크린 도달 수, 결제완료 수 및 결제단계 이탈자 수에 기반하여 위생정보 구매연결지수(Index)를 산출하는 위생정보구매연결확인부를 더 포함하는 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
2. 제 1 항에 있어서,
   상기 모니터링 서비스 제공 서버는,
   상기 작업자를 추출한 후 상기 작업자의 얼굴을 비식별화 처리하는 비식별화부;
   를 더 포함하는 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
3. 제 1 항에 있어서,
   상기 적어도 하나의 센서는 IoT(Interent of Things) 기반의 온도, 습도, 공기오염도 및 세균오염도를 포함하는 적어도 하나의 환경 데이터를 측정하는 센서인 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
4. 제 1 항에 있어서,
   상기 체크부는,
   상기 작업자의 위생복 착용 여부를 확인할 때, 적어도 하나의 인공지능 알고리즘을 이용하여 실시간으로 확인하는 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
5. 제 4 항에 있어서,
   상기 적어도 하나의 인공지능 알고리즘은 YOLO(You Only Look Once)인 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
6. 제 1 항에 있어서,
   상기 적어도 하나의 센서는 IoT 기반 적어도 하나의 노드(Node)에 대응하고,
   상기 적어도 하나의 센서로부터 수집된 적어도 하나의 환경 데이터는 비동기 메시지 큐(Asynchronous Message Queue)로 전달되는 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
7. 제 1 항에 있어서,
   상기 식품제조환경 위생 모니터링 서비스 제공 시스템은,
   상기 적어도 하나의 환경 데이터가 상기 기 저장된 기준 데이터를 만족하지 못하는 경우 구동을 시작하는 공기조화기;
   를 더 포함하는 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
8. 제 1 항에 있어서,
   상기 식품제조환경 위생 모니터링 서비스 제공 시스템은,
   상기 체크부에서 확인한 위생복 착용 여부를 출력하는 디스플레이;
   를 더 포함하는 것을 특징으로 하는 식품제조환경 위생 모니터링 서비스 제공 시스템.
   
9. 삭제
10. 삭제

Images