KR102611452B1 - Artificial Intelligence (AI)-based untact QSC inspection solution system - Google Patents
Artificial Intelligence (AI)-based untact QSC inspection solution system Download PDFInfo
- Publication number
- KR102611452B1 KR102611452B1 KR1020200117635A KR20200117635A KR102611452B1 KR 102611452 B1 KR102611452 B1 KR 102611452B1 KR 1020200117635 A KR1020200117635 A KR 1020200117635A KR 20200117635 A KR20200117635 A KR 20200117635A KR 102611452 B1 KR102611452 B1 KR 102611452B1
- Authority
- KR
- South Korea
- Prior art keywords
- cooking
- cooking pattern
- unit
- food
- cook
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 238000007689 inspection Methods 0.000 title claims abstract description 18
- 238000010411 cooking Methods 0.000 claims abstract description 259
- 235000013305 food Nutrition 0.000 claims abstract description 76
- 238000001931 thermography Methods 0.000 claims abstract description 51
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000013480 data collection Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 21
- 230000036541 health Effects 0.000 claims description 10
- 230000036760 body temperature Effects 0.000 claims description 9
- 208000025721 COVID-19 Diseases 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 208000035473 Communicable disease Diseases 0.000 claims description 2
- 241000467686 Eschscholzia lobbii Species 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims description 2
- 235000012041 food component Nutrition 0.000 claims description 2
- 239000005417 food ingredient Substances 0.000 claims description 2
- 238000012358 sourcing Methods 0.000 claims 1
- 239000004615 ingredient Substances 0.000 abstract description 14
- 238000000034 method Methods 0.000 abstract description 10
- 230000008859 change Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003749 cleanliness Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Abstract
본 발명은 주방에서 조리에 이용되는 각종 조리도구에 대하여 열화상 카메라를 통해 화구의 불 사용 방식, 화구 위의 팬, 웍의 온도감지, 재료투입 후의 온도변화, 조리사의 움직임 및 재료의 적합성 등의 데이터를 회득하고, 분석하여 이를 통해 정형화된 레시피가 존재하는 프랜차이즈 매장에서 레시피에 맞는 조리패턴으로 조리를 할 수 있도록 하여 최적화된 레시피의 음식을 제공할 수 있는 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템에 관한 것으로, 음식을 조리하는데 필요한 화력을 제공하는 화구와 조리기구를 포함하는 주방조리기(200); 열화상 카메라를 포함하며, 상기 주방조리기(200)에서 조리되는 음식에 대하여 조리음식과 조리음식의 인분이 선택되어 조리가 시작되면 해당 음식의 조리온도와 조리시간을 포함하는 조리패턴에 대한 조리 타이밍을 열화상 카메라로 촬영하고, 시간을 측정하며, 조리패턴 분석서버(400)로 보고하는 하는 조리패턴 측정장치(300); 및 상기 조리패턴 측정장치(300)에서 측정된 조리패턴 데이터를 전송받아 상기 측정된 조리패턴 데이터에 해당하는 조리음식에 대하여 미리 저장된 음식별 매장 레시피에 해당되는 음식별 조리패턴 데이터와 비교하고, 상기 측정된 조리패턴 데이터와 상기 음식별 조리패턴 데이터의 비교결과에 따른 조리패턴 솔루션을 상기 조리패턴 측정장치(300)와 상기 조리패턴 측정장치(300)가 측정한 주방조리기(200)를 이용한 조리사의 스마트폰으로 전송하는 조리패턴 분석서버(400);를 포함하여 구성됨을 특징으로 한다.The present invention provides information on various cooking utensils used for cooking in the kitchen, such as the method of using the fire in the cooking utensil, the temperature detection of the pan and wok on the cooking utensil, the temperature change after adding ingredients, the movement of the cook, and the suitability of the ingredients, etc., through a thermal imaging camera. Non-face-to-face QSC inspection based on artificial intelligence (AI) that collects and analyzes data to enable franchise stores with standardized recipes to cook with cooking patterns that fit the recipe, providing food with an optimized recipe. It relates to a solution system, which includes a kitchen cooker (200) including a cooking utensil and cooking utensils that provide the heat necessary to cook food; It includes a thermal imaging camera, and when the cooked food and portions of the cooked food are selected for the food cooked in the kitchen cooker 200 and cooking begins, the cooking timing for the cooking pattern including the cooking temperature and cooking time of the food. A cooking pattern measuring device (300) that captures food with a thermal imaging camera, measures time, and reports to the cooking pattern analysis server (400); And receiving the cooking pattern data measured by the cooking pattern measuring device 300 and comparing the cooked food corresponding to the measured cooking pattern data with the cooking pattern data for each food corresponding to a store recipe for each food stored in advance, The cooking pattern measurement device 300 and the cook using the kitchen cooker 200 measured by the cooking pattern measurement device 300 provide a cooking pattern solution according to the comparison result between the measured cooking pattern data and the cooking pattern data for each food. It is characterized by comprising a cooking pattern analysis server 400 transmitted to a smartphone.
Description
본 발명은 인공지능 기반 비대면 QSC(Quality, Service, Cleanliness) 점검 솔루션에 관한 것으로, 더욱 상세하게는 주방에서 조리에 이용되는 각종 조리도구에 대하여 열화상 카메라를 통해 화구의 불 사용 방식, 화구 위의 팬, 웍의 온도감지, 재료투입 후의 온도변화, 조리사의 움직임 및 재료의 적합성 등의 데이터를 회득하고, 분석하여 이를 통해 정형화된 레시피가 존재하는 프랜차이즈 매장에서 레시피에 맞는 조리패턴으로 조리를 할 수 있도록 하여 최적화된 레시피의 음식을 제공할 수 있는 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템을 제공하도록 한다.The present invention relates to an artificial intelligence-based non-face-to-face QSC (Quality, Service, Cleanliness) inspection solution. More specifically, the method of using fire on the cooker and the top of the cooker are examined through a thermal imaging camera for various cooking utensils used in cooking in the kitchen. By collecting and analyzing data such as temperature detection of pans and woks, temperature changes after inserting ingredients, movement of the cook, and suitability of ingredients, it is possible to cook with a cooking pattern that matches the recipe at franchise stores with standardized recipes. We provide an artificial intelligence (AI)-based non-face-to-face QSC inspection solution system that can provide food with an optimized recipe.
인간이 생을 영유하기 위한 가장 기초적인 것이 먹는 것이고, 인간의 욕망 중 가장 원초적인 것이 식욕이다.The most basic thing for humans to survive is eating, and the most basic of human desires is appetite.
인간의 생을 영유하기 위한 먹거리는 단순히 불에 데워먹는데에서 다양한 요리 방법으로 진화하였다.Food to sustain human life has evolved from simply heating it over a fire to various cooking methods.
이와 같은 요리 방법은 요리의 맛과 모양을 결정하기 위한 최선의 방법이며, 최근 독특하고 특이한 요리 레시피가 개발되고 있다.This cooking method is the best way to determine the taste and appearance of a dish, and unique and unusual cooking recipes have been developed recently.
한국 공개특허공보 제2016-0107719호(특허문헌 1)에는 실시간 송신하는 근거리 통신 모듈을 포함하는 조리 기구(cooking utensils); 상기 조리 기구로부터 온도, 수분, 염도, 중량, 늘러붙음, 산성도를 실시간 수신하고, 실시간 수신된 온도, 수분, 염도, 중량, 늘러붙음, 산성도를 참조하여 상기 음식물의 레시피(recipe)를 단계별로 스피커(speaker) 및 디스플레이(display)에 출력하는 스마트 단말을 포함하고, 상기 스마트 단말은, 상기 음식 물의 레시피의 각 단계에서 늘러붙지 않고 상기 온도, 수분, 염도, 중량, 산성도가 소정 시간 내에서 기준량 범위 내에 부합되는지 판단하고, 상기 판단 결과 상기 스마트 단말이 상기 단계에서 요구되는 온도, 수분, 염도, 중량, 산성도가 상기 레시피에 따른 시간 및 기준량 범위 내에서 유지되도록 안내하는 음성을 스피커를 통해 출력하고, 상기 판단 결과 해당 단계에서 요구되는 온도, 수분, 염도, 중량, 산성도가 소정 시간 내에서 기준량범위에 부합되면 다음 단계의 레시피를 상기 스피커를 통해 음성 출력하도록 구성되는 것을 특징으로 하는 요리 데이터에 기반한 레시피 제공 시스템이 개시되어 있다.Korean Patent Publication No. 2016-0107719 (Patent Document 1) discloses cooking utensils including a short-range communication module that transmits in real time; The temperature, moisture, salinity, weight, sticking, and acidity are received in real time from the cooking utensil, and the recipe of the food is step-by-step through the speaker, referring to the real-time received temperature, moisture, salinity, weight, sticking, and acidity. It includes a smart terminal that outputs output to a speaker and a display, wherein the smart terminal does not stick at each stage of the food recipe and keeps the temperature, moisture, salinity, weight, and acidity within a standard amount within a predetermined time. determines whether the temperature, moisture, salinity, weight, and acidity required in the step are maintained within the time and standard amount range according to the recipe, and as a result of the determination, outputs a voice through the speaker to guide the smart terminal to maintain the temperature, moisture, salinity, weight, and acidity required in the above step, As a result of the determination, if the temperature, moisture, salinity, weight, and acidity required for the step meet the standard amount range within a predetermined time, the recipe for the next step is configured to output a voice through the speaker. A provision system is disclosed.
그러므로, 특허문헌 1은 요리 과정별 데이터를 통해 레시피의 이행이 제대로 되고 있는지 스마트 단말을 통해 사용자에게 피드백하도록 구성됨으로써, 레시피의 이행이 정확하게 이행될 수 있는 장점이 있다.Therefore, Patent Document 1 has the advantage of being able to accurately implement the recipe by providing feedback to the user through a smart terminal to determine whether the recipe is being implemented properly through data for each cooking process.
한국 공개특허공보 제2016-0116449호(특허문헌 2)는 서비스 서버로부터 수신한 보유 재료 리스트를 표시하는 단계; 변동된 보유 재료를 입력하여 상기 보유 재료 리스트를 업데이트 하는 단계; 및 사용자로부터 입력된 검색어에 기초하여 서비스 서버에서 검색된 추천 레시피를 수신하여 표시하는 단계를 포함하고, 상기 추천 레시피는 상기 추천 레시피의 필수 식재료 대비 상기 보유 재료의 매칭율에 기초하여 계산된 최종 매칭율에 따르는 사용자 단말기의 애플리케이션 구동 방법이 개시되어, 현재 보유 중인 재료 내에서 조리가능한 최적의 요리 레시피를 제공함으로써, 추가 재료 구매를 최소화하면서 사용자가 원하는 퀄리티의 맛을 보장하고, 사용자가 선택된 요리 레시피를 평가하고 변형 요리 레시피를 추가함으로써 레시피의 종류를 다양화하는 잇점이 있다.Korean Patent Publication No. 2016-0116449 (Patent Document 2) includes the steps of displaying a list of retained materials received from a service server; Updating the list of materials on hand by inputting changed materials on hand; And a step of receiving and displaying a recommended recipe retrieved from a service server based on a search term input from the user, wherein the recommended recipe has a final matching rate calculated based on the matching rate of the stock ingredients compared to the essential ingredients of the recommended recipe. A method of running an application on a user terminal according to the following is disclosed, providing an optimal cooking recipe that can be cooked within the ingredients currently in possession, thereby ensuring a taste of the quality desired by the user while minimizing the purchase of additional ingredients, and allowing the user to use the selected cooking recipe. There is an advantage in diversifying the types of recipes by evaluating and adding modified cooking recipes.
또한 최근에는 정형화된 레시피가 존재하는 매장이 체인점(프랜차이즈) 형태로 많이 생겨나고 있다.Also, recently, many stores with standardized recipes are opening in the form of chain stores (franchises).
예를 들어, 맥도날드, 버거킹, 홍콩반점, 교동짬뽕, 전주콩나물 국밥 등이 있다.For example, there are McDonald's, Burger King, Hong Kong Restaurant, Gyodong Jjamppong, Jeonju Bean Sprout Gukbap, etc.
그러나 햄버거의 경우에는 비교적 단순한 재료에 완제품에 가까운 수준의 식재료 공급으로 아르바이트생들도 단시간 교육에 의해 일정한 맛을 낼 수 있으나, 중국음식점의 경우에는 화구온도, 웍이나 프라이팬 온도, 재료투입 시간 등에 따라 체인점이라 하여도 그 맛이 체인점마다 많은 차이가 발생할 수 있는 문제가 있었다. 이는 재료를 넣은 순서와 불조절 타이밍이 가장 크게 작용하기 때문인데, 이러한 타이밍을 바쁜 시간대에도 준수하는지 본사의 입장에서는 정확히 알 수 없다는 문제가 있어 고객들의 불만이 발생할 수 있었다.However, in the case of hamburgers, even part-time workers can create a certain taste through short-term training by supplying relatively simple ingredients and ingredients close to the finished product, but in the case of Chinese restaurants, the food quality varies depending on the cooking surface temperature, wok or frying pan temperature, and ingredient insertion time. Even though it is a chain restaurant, there is a problem that the taste can vary greatly from chain store to chain store. This is because the order in which ingredients are added and the timing of non-adjustment play a major role, but there was a problem with the head office not knowing exactly whether these timings were followed even during busy times, which could lead to customer complaints.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 주방에서 조리에 이용되는 각종 조리도구에 대하여 열화상 카메라를 통해 화구의 불 사용 방식, 화구 위의 팬, 웍의 온도감지, 재료투입 후의 온도변화, 조리사의 움직임 및 재료의 적합성 등의 데이터를 회득하고, 분석하여 이를 통해 정형화된 레시피가 존재하는 프랜차이즈 매장에서 레시피에 맞는 조리패턴으로 조리를 할 수 있도록 하여 최적화된 레시피의 음식을 제공할 수 있는 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템을 제공하는데 목적이 있다.Therefore, the present invention is intended to solve all the shortcomings and problems of the prior art as described above. The method of using fire in the cooker, the pan on the cooker, and the wok are investigated through a thermal imaging camera for various cooking utensils used for cooking in the kitchen. By obtaining and analyzing data such as temperature detection, temperature change after inserting ingredients, movement of the cook, and suitability of ingredients, this allows franchise stores with standardized recipes to cook with a cooking pattern that suits the recipe, thereby providing optimized food. The purpose is to provide a non-face-to-face QSC inspection solution system based on artificial intelligence (AI) that can provide food according to the recipe.
상기한 목적을 달성하기 위하여 본 발명은 음식을 조리하는데 필요한 화력을 제공하는 화구와 조리기구를 포함하는 주방조리기(200); 열화상 카메라를 포함하며, 상기 주방조리기(200)에서 조리되는 음식에 대하여 조리음식과 조리음식의 인분이 선택되어 조리가 시작되면 해당 음식의 조리온도와 조리시간을 포함하는 조리패턴에 대한 조리 타이밍을 열화상 카메라로 촬영하고, 시간을 측정하며, 조리패턴 분석서버(400)로 보고하는 하는 조리패턴 측정장치(300); 및 상기 조리패턴 측정장치(300)에서 측정된 조리패턴 데이터를 전송받아 상기 측정된 조리패턴 데이터에 해당하는 조리음식에 대하여 미리 저장된 음식별 매장 레시피에 해당되는 음식별 조리패턴 데이터와 비교하고, 상기 측정된 조리패턴 데이터와 상기 음식별 조리패턴 데이터의 비교결과에 따른 조리패턴 솔루션을 상기 조리패턴 측정장치(300)와 상기 조리패턴 측정장치(300)가 측정한 주방조리기(200)를 이용한 조리사의 스마트폰으로 전송하는 조리패턴 분석서버(400);를 포함하여 구성됨을 특징으로 하는 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템을 제공한다.In order to achieve the above object, the present invention provides a kitchen cooker (200) including a cooking utensil and cooking utensils that provide the thermal power necessary to cook food; It includes a thermal imaging camera, and when the cooked food and portions of the cooked food are selected for the food cooked in the kitchen cooker 200 and cooking begins, the cooking timing for the cooking pattern including the cooking temperature and cooking time of the food. A cooking pattern measuring device (300) that captures food with a thermal imaging camera, measures time, and reports to the cooking pattern analysis server (400); And receiving the cooking pattern data measured by the cooking pattern measuring device 300 and comparing the cooked food corresponding to the measured cooking pattern data with the cooking pattern data for each food corresponding to a store recipe for each food stored in advance, The cooking pattern measurement device 300 and the cook using the kitchen cooker 200 measured by the cooking pattern measurement device 300 provide a cooking pattern solution according to the comparison result between the measured cooking pattern data and the cooking pattern data for each food. It provides an artificial intelligence (AI)-based non-face-to-face QSC inspection solution system that includes a cooking pattern analysis server (400) transmitted to a smartphone.
여기서 측정된 조리패턴 데이터와 미리 저장된 음식별 조리패턴 데이터에 대하여 비교는 CNN 알고리즘을 이용하고, 상기 비교결과에 따른 조리패턴 솔루션은 RNN 알고리즘을 이용하는 것을 특징으로 한다.Here, a CNN algorithm is used to compare the measured cooking pattern data with pre-stored cooking pattern data for each food, and the cooking pattern solution according to the comparison result is characterized by using an RNN algorithm.
또한 조리패턴 분석장치(300)는, 화구의 열화상을 촬영하는 열화상 카메라, 조리도구에서의 열화상을 촬영하는 열화상 카메라(310), 상기 조리음식에 대한 선택버튼부(320)와, 상기 열화상 카메라(310)의 열화상 데이터와, 선택버튼부에서의 촬영데이터나 검출 데이터를 수집하는 조리패턴 데이터 수집부(340)와, 조리음식의 레시피 데이터가 저장되고, 상기 조리패턴 데이터 수집부(340)에 수집된 데이터가 저장되는 메모리부(350)와, 상기 조리패턴 데이터 수집부(340)에서 수집된 조리패턴 데이터와 메모리부(350)의 레시피 데이터를 비교하는 조리패턴 비교부(360)와, 상기 조리패턴 데이터 수집부(340)에서 수집된 조리음식에 대한 조리패턴 데이터를 외부의 조리패턴 분석서버(400)로 전송하는 통신부(370) 및 상기 복수의 열화상 카메라(310)와, 선택버튼부(320)와, 조리패턴 데이터 수집부(340), 메모리부(350), 조리패턴 비교부(360) 및 통신부(370)를 제어하는 제어부(380)를 포함하여 구성됨을 특징으로 한다.In addition, the cooking pattern analysis device 300 includes a thermal imaging camera for capturing thermal images of the cooking utensil, a thermal imaging camera 310 for capturing thermal images of the cooking utensils, a selection button for the cooked food 320, and A cooking pattern data collection unit 340 that collects thermal image data from the thermal imaging camera 310, shooting data or detection data from the selection button unit, and recipe data of cooked food are stored, and the cooking pattern data is collected. A memory unit 350 in which the data collected in the unit 340 is stored, and a cooking pattern comparison unit that compares the cooking pattern data collected in the cooking pattern data collection unit 340 with the recipe data of the memory unit 350 ( 360), a communication unit 370 that transmits cooking pattern data for cooked food collected by the cooking pattern data collection unit 340 to an external cooking pattern analysis server 400, and a plurality of thermal imaging cameras 310. and a control unit 380 that controls a selection button unit 320, a cooking pattern data collection unit 340, a memory unit 350, a cooking pattern comparison unit 360, and a communication unit 370. Do it as
한편 조리패턴 분석서버(400)는, 통신망(500)을 통해 상기 조리패턴 분석장치(300)와 통신하는 통신부(410)와, 음식별 조리패턴 정보, 회원사 정보, 회원사 주방 조리기 정보, 회원사 조리패턴 분석장치 정보 및 회원사 조리패턴 데이터 정보가 저장되는 데이터베이스(420)와, 상기 조리패턴 분석장치(300)로부터 조리사의 조리패턴 데이터를 수집하는 조리패턴 데이터 수집부(430)와, 음식별 조리패턴에 대한 구간과 시간을 CNN알고리즘을 통해 분류하는 조리패턴 데이터 분류부(440)와, 상기 조리패턴 데이터 분류부(440)에서의 CNN 알고리즘을 통해 분류된 결과를 데이터베이스(420)의 음식별 조리패턴 정보와 비교하여 RNN 알고리즘을 통해 위험발생을 예측 및 차이 분별을 통해 해결책인 솔루션 데이터를 추출하는 조리패턴 데이터 비교부(450)와, 상기 조리패턴 데이터 비교부(450)에서 추출된 솔루션 데이터를 해당 조리패턴 측정장치(300)와, 해당 조리사의 스마트폰으로도 전송하는 조리패턴 솔루션 제공부(460) 및 상기 통신부(410), 데이터베이스(420), 조리패턴 데이터 수집부(430), 조리패턴 데이터 비교부(440), 조리패턴 데이터 판정부(450), 조리패턴 신경망(CNN) 분석부(460)를 제어하는 제어부(490)를 포함하여 구성됨을 특징으로 한다.Meanwhile, the cooking pattern analysis server 400 includes a communication unit 410 that communicates with the cooking pattern analysis device 300 through the communication network 500, cooking pattern information for each food, member company information, member company kitchen cooker information, and member company cooking pattern information. A database 420 that stores analysis device information and member company cooking pattern data information, a cooking pattern data collection unit 430 that collects the cook's cooking pattern data from the cooking pattern analysis device 300, and a cooking pattern data collection unit 430 that collects cooking pattern data for each food. A cooking pattern data classification unit 440 that classifies the section and time for each food through a CNN algorithm, and the results classified through the CNN algorithm in the cooking pattern data classification unit 440 are stored as cooking pattern information for each food in the database 420. A cooking pattern data comparison unit 450 that extracts solution data as a solution by predicting the occurrence of risk and distinguishing differences through an RNN algorithm, and extracting solution data from the cooking pattern data comparison unit 450 for the corresponding cooking method. The pattern measuring device 300, the cooking pattern solution provider 460 that transmits to the chef's smartphone, the communication unit 410, the database 420, the cooking pattern data collection unit 430, and the cooking pattern data comparison. It is characterized by comprising a control unit 490 that controls the unit 440, a cooking pattern data determination unit 450, and a cooking pattern neural network (CNN) analysis unit 460.
본 발명에 의하면 다음과 같은 효과가 있다.According to the present invention, the following effects are achieved.
첫째, 강한 화력을 이용하여 조리를 하는 음식에 대하여 열화상 카메라를 도입하여 각 조리사의 조리관련 데이터를 획득하고, 이를 미리 정해진 최적화된 조리패턴 데이터와 비교하여 조리사들의 조리패턴을 분석할 수 있다.First, by introducing a thermal imaging camera for food cooked using strong heat power, cooking-related data of each cook can be acquired, and the cooking patterns of the cooks can be analyzed by comparing this with predetermined optimized cooking pattern data.
둘째, 미리 정해진 최적화된 조리패턴과의 비교를 통해 문제가 있는 조리사에 대하여 인공지능에 기반한 CNN(Convolutional Neural Network) 신경망을 활용한 비대면 QSC(Quality, Service, Cleanliness) 점검 솔루션을 제공할 수 있다.Second, through comparison with predetermined optimized cooking patterns, a non-face-to-face QSC (Quality, Service, Cleanliness) inspection solution using an artificial intelligence-based CNN (Convolutional Neural Network) neural network can be provided to problematic cooks. .
셋째, 열화상 카메라를 이용하여 조리사의 온도를 측정하여 최근 유행하는 코로나 19에 대하여 예방이 가능하고, 조리사의 건강이나 휴식 시간을 점검할 수 있다.Third, by measuring the cook's temperature using a thermal imaging camera, it is possible to prevent the recently prevalent COVID-19 and check the cook's health or rest time.
도 1은 열화상 카메라를 통한 객체 인식을 나타낸 사진이다.
도 2 및 도 3은 본 발명 제1실시예에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템을 설명하기 위한 블록 구성도이다.
도 4는 본 발명 제2실시예에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템을 설명하기 위한 블록 구성도이다.
도 5 내지 도 7은 본 발명에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템에서 열화상 카메라를 이용한 조리 타이밍 및 솔루션을 설명하기 위한 도면이다.Figure 1 is a photograph showing object recognition using a thermal imaging camera.
Figures 2 and 3 are block diagrams illustrating an artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the first embodiment of the present invention.
Figure 4 is a block diagram illustrating an artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the second embodiment of the present invention.
Figures 5 to 7 are diagrams for explaining cooking timing and solutions using a thermal imaging camera in the artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the present invention.
본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.A preferred embodiment of the present invention will be described in detail with the accompanying drawings as follows.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. In addition, the terms used in the present invention are general terms that are currently widely used as much as possible, but in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning is described in detail in the description of the relevant invention, so it is a simple term. We would like to make it clear that the present invention should be understood by the meaning of the term, not by its name. In addition, when describing the embodiments, description of technical content that is well known in the technical field to which the present invention belongs and that is not directly related to the present invention will be omitted. This is to convey the gist of the present invention more clearly without obscuring it by omitting unnecessary explanation.
도 1은 열화상 카메라를 통한 객체 인식을 나타낸 사진이고, 도 2 및 도 3은 본 발명 제1실시예에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템을 설명하기 위한 블록 구성도이다.Figure 1 is a photograph showing object recognition through a thermal imaging camera, and Figures 2 and 3 are block diagrams illustrating an artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the first embodiment of the present invention.
본 발명 제1실시예에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템은 도 1에 나타낸 바와 같은 열화상 카메라를 이용한 객체 인식을 이용하는 것으로, 정형화된 레시피가 존재하는 매장(프랜차이즈)에서 조리 시 발생하는 온도를 측정하여 조리사가 정형화된 레시피대로 조리를 하는지를 알 수 있고, 이를 통해 인공지능(AI) 기반 비대면 QSC 점검 솔루션을 제공하기 위한 것이다.The artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the first embodiment of the present invention uses object recognition using a thermal imaging camera as shown in Figure 1, and is used for cooking in stores (franchises) where standardized recipes exist. By measuring the temperature generated during cooking, it is possible to know whether the cook is cooking according to a standardized recipe, and through this, it is intended to provide a non-face-to-face QSC inspection solution based on artificial intelligence (AI).
이를 위한 본 발명 제1실시예에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템은 도 2 및 도 3에 나타낸 바와 같이, POS 단말기(100), 주방 조리기(200) 및 조리패턴 측정장치(300)로 구성된다.For this purpose, the artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the first embodiment of the present invention includes a POS terminal 100, a kitchen cooker 200, and a cooking pattern measuring device ( 300).
여기서 POS 단말기(100)는 음식에 대한 주문을 처리하고, 결제를 수행한다.Here, the POS terminal 100 processes food orders and makes payments.
주방조리기(200)는 음식을 조리하는데 필요한 화력을 제공하는 화구와 조리기구(웍, 프라이팬 등)를 포함한다.The kitchen cooker 200 includes cooking utensils and cooking utensils (woks, frying pans, etc.) that provide the heat necessary to cook food.
조리패턴 측정장치(300)는 열화상 카메라를 포함하며, 주방조리기(200)에서 조리되는 음식에 대하여 조리음식과 조리음식의 인분이 선택되어 조리가 시작되면 해당 음식의 조리온도와 조리시간을 포함하는 조리패턴에 대한 조리 타이밍을 열화상 카메라와 시간을 측정하고, 이를 미리 저장된 레시피의 조리패턴과 비교하여 미리 설정된 값에서 벗어나는 경우 조리사가 이를 알 수 있도록 하고, 본사의 조리패턴 분석서버로 보고한다.The cooking pattern measuring device 300 includes a thermal imaging camera, and when the cooked food and portions of the cooked food are selected and cooking begins for the food cooked in the kitchen cooker 200, it includes the cooking temperature and cooking time of the food. The cooking timing for the cooking pattern is measured with a thermal imaging camera, and compared with the cooking pattern of a pre-stored recipe, so that the cook can know if it deviates from the preset value, and reported to the head office's cooking pattern analysis server. .
이를 위하여 조리패턴 측정장치(300)는 도 3에 나타낸 바와 같이, 복수의 열화상 카메라(310)와, 조리음식 선택버튼과 조리인분 선택버튼을 포함하는 선택버튼부(320)와, 전자저울(330), 조리패턴 데이터 수집부(340), 메모리부(350), 조리패턴 비교부(360), 통신부(370), 제어부(380) 및 영상 카메라(390)를 포함하여 구성된다.To this end, as shown in FIG. 3, the cooking pattern measuring device 300 includes a plurality of thermal imaging cameras 310, a selection button unit 320 including a cooked food selection button and a cooking portion selection button, and an electronic scale ( 330), a cooking pattern data collection unit 340, a memory unit 350, a cooking pattern comparison unit 360, a communication unit 370, a control unit 380, and a video camera 390.
여기서 복수의 열화상 카메라(310)는 화구의 열화상을 촬영하는 열화상 카메라(제1 열화상 카메라), 조리도구 예로써 웍이나 프라이팬 등에서의 열화상을 촬영하는 열화상 카메라(제2 열화상 카메라), 조리사의 얼굴부위의 열화상을 촬영하는 열화상 카메라(제n-1 열화상 카메라), 조리사의 전면 열화상을 촬영하는 열화상 카메라(제n 열화상 카메라)를 포함하여 구성된다. 이때 조리사의 얼굴부위를 촬영하여 조리사가 최근(2020년) 유행하는 코로나 19 또는 독감을 포함하는 신체이상을 검출하여 조리사의 안전과 고객의 안전을 확보할 수 있고, 조리사의 전면 열화상을 촬영하여 조리사의 건강상태에 따라 휴식이 필요한지를 검출할 수 있다.Here, the plurality of thermal imaging cameras 310 include a thermal imaging camera (first thermal imaging camera) that captures thermal images of the cooking utensil, a thermal imaging camera (second thermal imaging camera) that captures thermal images of cooking utensils, such as a wok or frying pan, etc. camera), a thermal imaging camera that takes thermal images of the cook's face (n-1st thermal imaging camera), and a thermal imaging camera that takes thermal images of the front of the cook (nth thermal imaging camera). At this time, by photographing the cook's face, the cook can detect physical abnormalities, including COVID-19 or the flu, which are recently prevalent (in 2020), to ensure the safety of the cook and customers, and by taking a thermal image of the cook's front surface. Depending on the cook's health, it is possible to detect whether a break is needed.
조리음식 선택버튼과 조리인분 선택버튼을 포함하는 선택버튼부(320)는 해당 조리음식 종류를 선택하고, 몇인분인지를 선택하도록 한다.The selection button unit 320, which includes a cooked food selection button and a cooking portion selection button, allows you to select the type of cooked food and the number of servings.
한편 전자저울(330)은 해당 조리음식의 레시피에 따라 미리 설정된 무게의 식재료가 적절히 들어가는지를 검출할 수 있다.Meanwhile, the electronic scale 330 can detect whether a preset weight of food ingredients is appropriately added according to the recipe of the corresponding cooked food.
영상 카메라(390)는 주방조리기(200)의 상부면에 설치되어 조리음식의 조리과정을 촬영한다.The video camera 390 is installed on the upper surface of the kitchen cooker 200 to film the cooking process of the food.
조리패턴 데이터 수집부(340)는 복수의 열화상 카메라(310)의 열화상 데이터와, 조리음식 선택버튼, 조리인분 선택버튼, 전자저울 등에서의 촬영데이터나 검출 데이터를 수집한다.The cooking pattern data collection unit 340 collects thermal image data from a plurality of thermal imaging cameras 310, and shooting data or detection data from a cooked food selection button, a cooking portion selection button, an electronic scale, etc.
메모리부(350)는 조리음식의 레시피 데이터가 저장되고, 조리패턴 데이터 수집부(340)에 수집된 데이터가 저장된다.The memory unit 350 stores recipe data for cooked food, and data collected in the cooking pattern data collection unit 340 is stored.
조리패턴 비교부(360)는 조리패턴 데이터 수집부(340)에서 수집된 조리패턴 데이터(조리음식별 열화상 카메라에 의한 조리온도, 조리시간 등)와 메모리부(350)의 레시피 데이터를 비교한다. 이에 대하여는 도 5 내지 도 7을 참조하여 보다 상세하게 설명하기로 한다,The cooking pattern comparison unit 360 compares the cooking pattern data collected by the cooking pattern data collection unit 340 (cooking temperature, cooking time, etc. by a thermal imaging camera for each cooked food) with the recipe data of the memory unit 350. . This will be explained in more detail with reference to FIGS. 5 to 7.
통신부(370)를 통해 조리패턴 데이터 수집부(340)에서 수집된 조리음식에 대한 조리패턴 데이터를 외부의 조리패턴 분석서버로 전송한다.Cooking pattern data for cooked food collected by the cooking pattern data collection unit 340 is transmitted to an external cooking pattern analysis server through the communication unit 370.
제어부(380)는 복수의 열화상 카메라(310)와, 조리음식 선택버튼과 조리인분 선택버튼을 포함하는 선택버튼부(320)와, 전자저울(330), 영상 카메라(390), 조리패턴 데이터 수집부(340), 메모리부(350), 조리패턴 비교부(360) 및 통신부(370)를 제어하며, 복수의 열화상 카메라(310)의 열화상 촬영시 시간 정보를 제공한다. 물론 시간 정보 제공을 위한 별도의 타이머부를 구성할 수도 있다.The control unit 380 includes a plurality of thermal imaging cameras 310, a selection button unit 320 including a cooked food selection button and a cooking portion selection button, an electronic scale 330, a video camera 390, and cooking pattern data. It controls the collection unit 340, memory unit 350, cooking pattern comparison unit 360, and communication unit 370, and provides time information when capturing thermal images by a plurality of thermal imaging cameras 310. Of course, a separate timer unit can be configured to provide time information.
한편 알람부(391), 조리패턴 디스플레이부(392) 및 조리사 입력부(393)가 더 구성될 수 있다.Meanwhile, an alarm unit 391, a cooking pattern display unit 392, and a cook input unit 393 may be further configured.
알람부(391)는 열화상 카메라(310)를 통해 검출한 조리사의 안면 열화상이나, 전면 열화상에 대하여 코로라 19, 사드 등의 전염병, 독감, 감기 여부 등이 검출되면 조리 중단을 위한 알람을 알리고, 조리패턴 디스플레이부(392)는 조리사가 자신이 조리한 조리패턴과 레시피에 따른 조리패턴을 비교할 수 있도록 한 것이다. 그에 따라 조리사는 자신의 잘못된 조리습관 등을 바꿀 수 있다.The alarm unit 391 sends an alarm to stop cooking when an infectious disease such as Corona 19 or THAAD, flu, or a cold is detected in the thermal image of the cook's face or front thermal image detected through the thermal imaging camera 310. In addition, the cooking pattern display unit 392 allows the cook to compare the cooking pattern he or she has prepared with the cooking pattern according to the recipe. Accordingly, cooks can change their incorrect cooking habits.
조리사 입력부(393)는 조리사가 여러명인 경우 조리사를 구분하기 위한 것이고, 이때 주방 조리기 역시 여러대(복수대)인 경우 해당 조리사의 주방 조리기 역시 식별기호(ID)를 각각 부여하여 조리하도록 할 수 있다.The cook input unit 393 is used to distinguish cooks when there are multiple cooks. In this case, if there are multiple kitchen cookers (multiple kitchen cookers), each cook's kitchen cooker can be assigned an identification symbol (ID) to cook. .
도 4는 본 발명 제2실시예에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템을 설명하기 위한 블록 구성도이다.Figure 4 is a block diagram illustrating an artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the second embodiment of the present invention.
본 발명 제2실시예에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템은 도 4에 나타낸 바와 같이, 조리패턴 분석서버(400)에서 통신망(500)을 통해 조리패턴 측정장치(300)로부터 조리패턴 데이터를 수집하고, 분석하기 위한 것이다.As shown in FIG. 4, the artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the second embodiment of the present invention is a cooking pattern analysis server 400 from the cooking pattern measurement device 300 through the communication network 500. This is to collect and analyze cooking pattern data.
이를 위하여 조리패턴 분석서버(400)는 통신부(410), 데이터베이스(420), 조리패턴 데이터 수집부(430), 조리패턴 데이터 분류부(440), 조리패턴 데이터 비교부(450), 조리패턴 솔루션 제공부(조리패턴 어드바이징 피드백부)(460), 조리사 체온 분석부(470), 조리사 건강 알람부(480) 및 제어부(490)를 포함하여 구성된다.For this purpose, the cooking pattern analysis server 400 includes a communication unit 410, a database 420, a cooking pattern data collection unit 430, a cooking pattern data classification unit 440, a cooking pattern data comparison unit 450, and a cooking pattern solution. It is comprised of a provision unit (cooking pattern advisory feedback unit) 460, a cook body temperature analysis unit 470, a cook health alarm unit 480, and a control unit 490.
통신부(410)는 통신망(500)을 통해 조리패턴 측정장치(300)와 통신한다. The communication unit 410 communicates with the cooking pattern measuring device 300 through the communication network 500.
데이터베이스(420)는 음식별 조리패턴 정보, 회원사 정보(업종, 스마트폰 번호 등), 회원사 주방 조리기 정보, 회원사 조리패턴 측정장치 정보, 회원사 조리패턴 데이터 정보 및 조리사 체온정보(조리전, 조리 중) 등이 저장된다. 또한 The database 420 includes cooking pattern information for each food, member company information (industry, smartphone number, etc.), member company kitchen cooker information, member company cooking pattern measuring device information, member company cooking pattern data information, and cook body temperature information (before cooking, during cooking). etc. are saved. also
조리패턴 데이터 수집부(430)는 조리패턴 측정장치(300)로부터 조리사의 조리패턴 데이터를 수집한다.The cooking pattern data collection unit 430 collects the cook's cooking pattern data from the cooking pattern measuring device 300.
조리패턴 데이터 분류부(440)는 음식별 조리패턴에 대한 구간과 시간을 분류하기 위한 것으로, 예를 들어 화구에 열이 발생하면 촬영을 시작하고, 시간과 온도 변화에 따른 스테이지(S1, S2...Sn)를 기록하고, 분류한다. 이를 위하여 위하여 CNN(Convolution Neural Network) 알고리즘을 이용한다.The cooking pattern data classification unit 440 is for classifying the section and time for the cooking pattern for each food. For example, when heat is generated in the cooking pot, filming starts, and stages (S1, S2) according to time and temperature changes. ..Sn) is recorded and classified. For this purpose, the CNN (Convolution Neural Network) algorithm is used.
조리패턴 데이터 비교부(450)는 조리패턴 데이터 분류부(440)에서의 CNN을 통해 학습된 데이터에 따른 분류결과를 데이터베이스의 음식별 조리패턴 정보와 비교하여 위험발생을 예측 및 차이 분별을 통해 해결책, 즉 솔루션 데이터를 추출한다. 이를 위하여 RNN(Recurrent Neural Network) 알고리즘을 이용한다.The cooking pattern data comparison unit 450 compares the classification results according to the data learned through CNN in the cooking pattern data classification unit 440 with the cooking pattern information for each food in the database to predict the occurrence of risks and distinguish differences to provide solutions. , that is, extract solution data. For this purpose, the RNN (Recurrent Neural Network) algorithm is used.
조리패턴 솔루션 제공부(460)는 조리패턴 데이터 비교부(450)에서 추출된 솔루션 데이터를 해당 조리패턴 측정장치(300)로 전송한다. 이때, 데이터베이스를 참조하여 해당 매장의 관리자 단말기로 솔루션 데이터 전송사실을 문자로도 전송하고, 해당 조리사의 스마트폰으로도 솔루션 데이터를 전송할 수 있다.The cooking pattern solution providing unit 460 transmits the solution data extracted from the cooking pattern data comparison unit 450 to the corresponding cooking pattern measuring device 300. At this time, the fact that the solution data has been transmitted can be sent via text message to the store's manager terminal by referring to the database, and the solution data can also be transmitted to the cook's smartphone.
조리사 체온분석부(470)는 열화상 카메라에서 검출한 조리사의 안면 온도와 전체 온도 등을 분석하여, 설정된 온도이상이면서 지속시간이 초과되면(예로써, 조리 시작 시점의 안면온도가 38도 이상이거나, 전체 체온이 40도 이상인 상태가 30분 이상 지속 시) 조리사 건강 알람부(480)를 통해 조리 중지 알람, 휴식 알람 등을 통보하여 조리음식에 대한 고객 안전, 조리사의 건강 안전 등을 유도할 수 있다.The cook's body temperature analysis unit 470 analyzes the cook's facial temperature and overall temperature detected by the thermal imaging camera, and if the temperature exceeds the set temperature and the duration exceeds the duration (for example, the facial temperature at the start of cooking is 38 degrees or higher, or , when the overall body temperature is 40 degrees or higher for more than 30 minutes), cooking stop alarm, rest alarm, etc. are notified through the cook health alarm unit 480 to promote customer safety regarding cooked food and cook's health safety, etc. there is.
제어부(490)는 통신부(410), 데이터베이스(420), 조리패턴 데이터 수집부(430), 조리패턴 데이터 비교부(440), 조리패턴 데이터 판정부(450) 조리패턴 신경망(CNN) 분석부(460), 조리사 체온 분석부(470) 및 조리사 건강 알람부(480)를 제어한다,The control unit 490 includes a communication unit 410, a database 420, a cooking pattern data collection unit 430, a cooking pattern data comparison unit 440, a cooking pattern data determination unit 450, a cooking pattern neural network (CNN) analysis unit ( 460), controls the cook body temperature analysis unit 470 and the cook health alarm unit 480,
도 5 내지 도 7은 본 발명에 따른 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템에서 열화상 카메라를 이용한 조리 타이밍 및 솔루션을 설명하기 위한 도면이다.Figures 5 to 7 are diagrams for explaining cooking timing and solutions using a thermal imaging camera in the artificial intelligence (AI)-based non-face-to-face QSC inspection solution system according to the present invention.
도 5는 예를 들어 본사에서 정한 짬뽕의 기준 조리 타이밍에 의한 조리패턴이고, 도 6은 조리사가 짬뽕을 조리한 경우에 대한 열화상 카메라와 타이머를 통한 조리패턴이며, 도 7은 조리사에게 제공할 솔루션의 일 예를 보여주는 것으로, 열화상 카메라를 통해 획득된 데이터의 이미지 분류 및 정의를 위하여 인공지능 CNN엔진을 적용하여 조리사의 조리행위 이미지 학습을 통해 데이터를 도출하고, 기준 이미지와의 대조를 통해 분석할 경우 보다 정확한 문제점 파악 및 어드바이징이 가능하다.For example, Figure 5 is a cooking pattern based on the standard cooking timing of Jjamppong determined by the head office, Figure 6 is a cooking pattern using a thermal imaging camera and a timer when a chef cooks Jjamppong, and Figure 7 is a cooking pattern to be provided to the cook. This shows an example of a solution. In order to classify and define images of data acquired through thermal imaging cameras, an artificial intelligence CNN engine is applied to derive data through learning images of the chef's cooking behavior and through comparison with the reference image. Through analysis, more accurate problem identification and advice are possible.
이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다. Although the present invention has been described with the above examples, the present invention is not necessarily limited to these examples, and various modifications may be made without departing from the technical spirit of the present invention. Accordingly, the examples disclosed in the present invention are not intended to limit the technical idea of the present invention but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these examples. The scope of protection of the present invention shall be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope thereof shall be construed as being included in the scope of rights of the present invention.
100 : POS 단말기 200 : 주방 조리기
300 : 조리패턴 측정장치 310 : 열화상 카메라
320 : 선택버튼부 330 : 전자저울
340 : 조리패턴 데이터 수집부 350 : 메모리부
360 : 조리패턴 비교부 370 : 통신부
380 : 제어부 390 : 영상 카메라
391 : 알람부 392 : 조리패턴 디스플레이부
393 : 조리사 입력부
400 : 조리패턴 분석서버 410 : 통신부
420 : 데이터베이스 430 : 조리패턴 데이터 수집부
440 : 조리패턴 데이터 분류부 450 : 조리패턴 데이터 비교부
460 : 조리패턴 솔루션 제공부 470 : 조리사 체온 분석부
480 : 조리사 건강 알람부 490 : 제어부100: POS terminal 200: Kitchen cooker
300: Cooking pattern measuring device 310: Thermal imaging camera
320: selection button unit 330: electronic scale
340: Cooking pattern data collection unit 350: Memory unit
360: Cooking pattern comparison unit 370: Communication unit
380: Control unit 390: Video camera
391: Alarm unit 392: Cooking pattern display unit
393: Cook input unit
400: Cooking pattern analysis server 410: Communication department
420: Database 430: Cooking pattern data collection unit
440: Cooking pattern data classification unit 450: Cooking pattern data comparison unit
460: Cooking pattern solution provision unit 470: Cook body temperature analysis unit
480: Cook health alarm unit 490: Control unit
Claims (4)
열화상 카메라를 포함하며, 상기 주방조리기(200)에서 조리되는 음식에 대하여 조리음식과 조리음식의 인분이 선택되어 조리가 시작되면 해당 음식의 조리온도와 조리시간을 포함하는 조리패턴에 대한 조리 타이밍을 열화상 카메라로 촬영하고, 시간을 측정하며, 미리 저장된 레시피의 조리패턴과 비교하여 미리 설정된 값에서 벗어나는 경우 조리사가 이를 알 수 있도록 하고, 조리패턴 분석서버(400)로 보고하는 조리패턴 측정장치(300); 및
상기 조리패턴 측정장치(300)에서 측정된 조리패턴 데이터를 전송받아 상기 측정된 조리패턴 데이터에 해당하는 조리음식에 대하여 미리 저장된 음식별 매장 레시피에 해당되는 음식별 조리패턴 데이터와 비교하고, 상기 측정된 조리패턴 데이터와 상기 음식별 조리패턴 데이터의 비교결과에 따른 조리패턴 솔루션을 상기 조리패턴 측정장치(300)와 상기 조리패턴 측정장치(300)가 측정한 주방조리기(200)를 이용한 조리사의 스마트폰으로 전송하는 조리패턴 분석서버(400);를 포함하여 구성되되,
상기 조리패턴 측정장치(300)는,
화구의 열화상을 촬영하는 열화상 카메라와, 웍이나 프라이팬을 포함하는 조리도구의 열화상을 촬영하는 열화상 카메라와, 조리사의 얼굴부위의 열화상을 촬영하는 열화상 카메라 및 조리사의 전면 열화상을 촬영하는 열화상 카메라를 포함하여 구성되는 복수의 열화상 카메라(310)와, 상기 조리음식에 대한 선택버튼, 조리인분 선택버튼을 포함하는 선택버튼부(320)와, 상기 조리음식이 레시피에 따라 미리 설정된 무게의 식재료가 적절히 들어가는지를 검출하기 위한 전자저울(330)과, 상기 열화상 카메라(310)의 열화상 데이터의 촬영 데이터와, 상기 선택버튼부(320)에서의 검출 데이터를 수집하는 조리패턴 데이터 수집부(340)와, 조리음식의 레시피 데이터가 저장되고, 상기 조리패턴 데이터 수집부(340)에 수집된 데이터가 저장되는 메모리부(350)와, 상기 조리패턴 데이터 수집부(340)에서 수집된 조리패턴 데이터와 메모리부(350)의 레시피 데이터를 비교하는 조리패턴 비교부(360)와, 상기 조리패턴 데이터 수집부(340)에서 수집된 조리음식에 대한 조리패턴 데이터를 외부의 조리패턴 분석서버(400)로 전송하는 통신부(370)와, 상기 열화상 카메라(310)를 통해 검출한 조리사의 안면 열화상이나, 전면 열화상에 대하여 코로나 19, 사드를 포함하는 전염병, 독감, 감기가 검출되면 조리 중단을 위한 알람을 알리기 위한 알람부(391)와, 조리사가 조리한 조리패턴과 레시피에 따른 조리패턴을 비교하기 위한 조리패턴 디스플레이부(392)와, 조리사가 여러명인 경우 조리사를 구분하기 위한 조리사 입력부(393) 및 상기 열화상 카메라(310), 선택버튼부(320), 전자저울(330), 조리패턴 데이터 수집부(340), 메모리부(350), 조리패턴 비교부(360) 및 통신부(370)를 제어하는 제어부(380);를 포함하여 구성되고,
상기 측정된 조리패턴 데이터와 미리 저장된 음식별 조리패턴 데이터에 대하여 비교는 CNN 알고리즘을 이용하고, 상기 비교결과에 따른 조리패턴 솔루션은 RNN 알고리즘을 이용하며,
상기 조리패턴 분석서버(400)는,
통신망(500)을 통해 상기 조리패턴 측정장치(300)와 통신하는 통신부(410)와, 음식별 조리패턴 정보, 회원사 정보, 회원사 주방 조리기 정보, 회원사 조리패턴 측정장치 정보 및 회원사 조리패턴 데이터 정보가 저장되는 데이터베이스(420)와, 상기 조리패턴 측정장치(300)로부터 조리사의 조리패턴 데이터를 수집하는 조리패턴 데이터 수집부(430)와, 음식별 조리패턴에 대한 구간과 시간을 CNN알고리즘을 통해 분류하되, 시간과 온도 변화에 따른 스테이지(S1, S2...Sn)를 기록하고, 분류하는 조리패턴 데이터 분류부(440)와, 상기 조리패턴 데이터 분류부(440)에서의 CNN 알고리즘을 통해 분류된 결과를 데이터베이스(420)의 음식별 조리패턴 정보와 비교하여 RNN 알고리즘을 통해 위험발생을 예측 및 차이 분별을 통해 해결책인 솔루션 데이터를 추출하는 조리패턴 데이터 비교부(450)와, 상기 조리패턴 데이터 비교부(450)에서 추출된 솔루션 데이터를 해당 조리패턴 측정장치(300)와, 해당 조리사의 스마트폰으로도 전송하는 조리패턴 솔루션 제공부(460)와, 상기 열화상 카메라에서 검출한 조리사의 안면 온도와 전체 온도를 분석하여, 조리 시작 시점의 안면온도가 38도 이상이거나, 전체 체온이 40도 이상인 상태가 30분 이상 지속 시 조리사 건강 알람부(480)를 통해 조리 중지 알람, 휴식 알람을 통보하여 조리음식에 대한 고객 안전, 조리사의 건강 안전을 유도하는 조리사 체온분석부(470) 및 상기 통신부(410), 데이터베이스(420), 조리패턴 데이터 수집부(430), 조리패턴 데이터 비교부(440), 조리패턴 데이터 판정부(450), 조리패턴 솔루션 제공부(460), 조리사 체온분석부(470) 및 조리사 건강 알람부(480)를 제어하는 제어부(490)를 포함하여 구성되되,
상기 열화상 카메라를 통해 획득된 데이터의 이미지 분류 및 정의를 위하여 인공지능 CNN 알고리즘을 이용하여 조리사의 조리행위 이미지 학습을 통해 데이터를 도출하고, 기준 이미지와의 대조를 통해 분석할 경우 문제점 파악 및 어드바이징이 가능한 것을 특징으로 하는 인공지능(AI) 기반 비대면 QSC 점검 솔루션 시스템.Kitchen cookers (200) including cooking utensils and cooking utensils that provide the heat necessary to cook food;
It includes a thermal imaging camera, and when the cooked food and portions of the cooked food are selected for the food cooked in the kitchen cooker 200 and cooking begins, the cooking timing for the cooking pattern including the cooking temperature and cooking time of the food. A cooking pattern measuring device that captures food with a thermal imaging camera, measures the time, compares it with the cooking pattern of a pre-stored recipe, lets the cook know if it deviates from the preset value, and reports it to the cooking pattern analysis server 400. (300); and
The cooking pattern data measured by the cooking pattern measuring device 300 is transmitted, compared with the cooking pattern data for each food corresponding to a store recipe for each food stored in advance for the cooked food corresponding to the measured cooking pattern data, and the measurement is performed. The cooking pattern measuring device 300 and the cooking pattern measuring device 300 measure the cooking pattern solution according to the comparison result between the cooking pattern data and the cooking pattern data for each food. It is composed of a cooking pattern analysis server 400 transmitted to the phone,
The cooking pattern measuring device 300,
A thermal imaging camera that captures thermal images of the cooking utensil, a thermal imaging camera that captures thermal images of cooking utensils including woks and frying pans, a thermal imaging camera that captures thermal images of the cook's face, and a thermal image of the cook's front surface. A plurality of thermal imaging cameras 310 including a thermal imaging camera for photographing, a selection button unit 320 including a selection button for the cooked food and a cooking portion selection button, and the cooked food according to the recipe. Accordingly, an electronic scale 330 for detecting whether a preset weight of food ingredients is properly entered, thermal image capture data from the thermal imaging camera 310, and detection data from the selection button unit 320 are collected. A cooking pattern data collection unit 340, a memory unit 350 in which recipe data for cooked food is stored and the data collected in the cooking pattern data collection unit 340 is stored, and the cooking pattern data collection unit 340 ) and a cooking pattern comparison unit 360 that compares the cooking pattern data collected in the cooking pattern data and the recipe data of the memory unit 350, and the cooking pattern data for the cooked food collected in the cooking pattern data collection unit 340 to an external The communication unit 370 transmits to the cooking pattern analysis server 400, and the thermal image of the cook's face or front thermal image detected through the thermal imaging camera 310 is used to detect infectious diseases, flu, and colds, including COVID-19 and THAAD. An alarm unit 391 to notify an alarm to stop cooking when detected, a cooking pattern display unit 392 to compare the cooking pattern cooked by the cook with the cooking pattern according to the recipe, and a cooking pattern display unit 392 to compare the cooking pattern prepared by the cook with the cooking pattern according to the recipe. A cook input unit 393 for classification and the thermal imaging camera 310, a selection button unit 320, an electronic scale 330, a cooking pattern data collection unit 340, a memory unit 350, a cooking pattern comparison unit ( 360) and a control unit 380 that controls the communication unit 370,
The CNN algorithm is used to compare the measured cooking pattern data with the pre-stored cooking pattern data for each food, and the cooking pattern solution according to the comparison result uses the RNN algorithm,
The cooking pattern analysis server 400,
A communication unit 410 that communicates with the cooking pattern measuring device 300 through the communication network 500, cooking pattern information for each food, member company information, member company kitchen cooker information, member company cooking pattern measuring device information, and member company cooking pattern data information. A cooking pattern data collection unit 430 that collects the cook's cooking pattern data from the stored database 420 and the cooking pattern measuring device 300, and classifies the section and time for the cooking pattern for each food through a CNN algorithm. However, the cooking pattern data classification unit 440 records and classifies stages (S1, S2...Sn) according to time and temperature changes, and the classification is performed through a CNN algorithm in the cooking pattern data classification unit 440. A cooking pattern data comparison unit 450 that compares the results with the cooking pattern information for each food in the database 420 and extracts solution data by predicting risk occurrence and distinguishing differences through an RNN algorithm, and the cooking pattern data A cooking pattern solution provider 460 that transmits the solution data extracted from the comparison unit 450 to the cooking pattern measurement device 300 and the cook's smartphone, and the cook's face detected by the thermal imaging camera. By analyzing the temperature and overall temperature, if the facial temperature at the start of cooking is over 38 degrees or the overall body temperature is over 40 degrees for more than 30 minutes, a cooking stop alarm and a break alarm are notified through the cook health alarm unit 480. The cook's body temperature analysis unit 470 and the communication unit 410, database 420, cooking pattern data collection unit 430, and cooking pattern data comparison unit 440, which induce customer safety and cook's health safety regarding cooked food. ), a control unit 490 that controls the cooking pattern data determination unit 450, the cooking pattern solution providing unit 460, the cook body temperature analysis unit 470, and the cook health alarm unit 480,
In order to classify and define the image of the data acquired through the thermal imaging camera, the data is derived through learning the image of the cook's cooking behavior using an artificial intelligence CNN algorithm, and when analyzed through comparison with the reference image, problem identification and advice are made. An artificial intelligence (AI)-based non-face-to-face QSC inspection solution system that allows for sourcing.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200117635A KR102611452B1 (en) | 2020-09-14 | 2020-09-14 | Artificial Intelligence (AI)-based untact QSC inspection solution system |
| PCT/KR2020/016797 WO2022055030A1 (en) | 2020-09-14 | 2020-11-25 | Artificial intelligence (ai)-based contactless qsc inspection solution system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200117635A KR102611452B1 (en) | 2020-09-14 | 2020-09-14 | Artificial Intelligence (AI)-based untact QSC inspection solution system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220035640A KR20220035640A (en) | 2022-03-22 |
| KR102611452B1 true KR102611452B1 (en) | 2024-01-09 |
Family
ID=80631879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200117635A KR102611452B1 (en) | 2020-09-14 | 2020-09-14 | Artificial Intelligence (AI)-based untact QSC inspection solution system |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102611452B1 (en) |
| WO (1) | WO2022055030A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101978722B1 (en) * | 2017-11-27 | 2019-08-28 | 강삼태 | Cookware control system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120126157A (en) * | 2011-05-11 | 2012-11-21 | 주식회사 로보쓰리 | The method and the system affording food information using augmented reality |
| RU2699690C2 (en) * | 2014-02-20 | 2019-09-09 | Марк ОЛЕЙНИК | Methods and systems for cooking in robotic kitchen |
| KR20160107719A (en) | 2015-03-05 | 2016-09-19 | 허준 | Cooking data based recipe providing system and method |
| KR20160116449A (en) | 2015-03-30 | 2016-10-10 | 이영회 | Application System providing Cuisine Recipes |
| KR20190043830A (en) * | 2017-10-19 | 2019-04-29 | 주식회사 컴투루 | System and method for creating recipe based on cooking machine |
| KR20190105531A (en) * | 2019-08-26 | 2019-09-17 | 엘지전자 주식회사 | Method and apparatus for controlling artificial intelligence device |
-
2020
- 2020-09-14 KR KR1020200117635A patent/KR102611452B1/en not_active Application Discontinuation
- 2020-11-25 WO PCT/KR2020/016797 patent/WO2022055030A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101978722B1 (en) * | 2017-11-27 | 2019-08-28 | 강삼태 | Cookware control system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022055030A1 (en) | 2022-03-17 |
| KR20220035640A (en) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113194792B (en) | System and method for training cooking utensil, positioning food and determining cooking progress | |
| CN111684368B (en) | Food preparation method and system based on ingredient identification | |
| CN105444222B (en) | Cooking control method, system, Cloud Server and the micro-wave oven of micro-wave oven | |
| CN110488696B (en) | Intelligent dry burning prevention method and system | |
| CN108665134A (en) | Device and method for monitoring food preparation | |
| CN111080493B (en) | Dish information identification method and device and dish self-service settlement system | |
| JP6542802B2 (en) | Method and apparatus for controlling the cooking process of food | |
| US20230140684A1 (en) | Edible oil deterioration level determination device, edible oil deterioration level determination system, edible oil deterioration level determination method, edible oil deterioration level determination program, edible oil deterioration level learning device, learned model for use in edible oil deterioration level determination, and edible oil exchange system | |
| CN109812840A (en) | Cooking temp detection method, device and kitchen range | |
| KR102611452B1 (en) | Artificial Intelligence (AI)-based untact QSC inspection solution system | |
| CN107122926A (en) | Method and its system that cooking food remotely places an order | |
| CN111594881A (en) | Intelligent gas stove detection and control system based on big data | |
| EP3882830A1 (en) | System and method for the quality control of cooked dishes | |
| JP7171970B1 (en) | Determination device, learning device, determination system, determination method, learning method, and program | |
| CN112052810A (en) | Vegetable quality detection method and device | |
| JP2023054824A (en) | Food disposal timing management device, food disposal timing management system, and food disposal timing management method | |
| CN110553295A (en) | Range hood gear shifting method and device and range hood | |
| CN112183914B (en) | Evaluation method and device for dish items | |
| CN108885006A (en) | Heating device, the control method of heating device and heating cooking system | |
| CN114903343A (en) | Automatic steaming and baking method and device and steaming and baking box thereof | |
| WO2023054100A1 (en) | Edible oil deterioration degree determination device, edible oil deterioration degree determination system, edible oil deterioration degree determination method, edible oil deterioration degree learning device, and learned model for use in edible oil deterioration degree determination | |
| KR20210049704A (en) | A method, device and program for measuring food | |
| WO2023145686A1 (en) | Food waste amount management control device, food waste amount management system, and food waste amount management method | |
| CN111329324A (en) | Soup cooking control method and device of soup cooker, storage medium and soup cooker | |
| JP6823750B1 (en) | Cooking determination methods, systems, programs, recording media, and cooking equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |