KR102510810B1 - 음식 잔량 비전 이미지에 기초한 고객 관리 시스템 - Google Patents
음식 잔량 비전 이미지에 기초한 고객 관리 시스템 Download PDFInfo
- Publication number
- KR102510810B1 KR102510810B1 KR1020220034334A KR20220034334A KR102510810B1 KR 102510810 B1 KR102510810 B1 KR 102510810B1 KR 1020220034334 A KR1020220034334 A KR 1020220034334A KR 20220034334 A KR20220034334 A KR 20220034334A KR 102510810 B1 KR102510810 B1 KR 102510810B1
- Authority
- KR
- South Korea
- Prior art keywords
- food
- remaining
- menu
- image
- customer
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 238000011161 development Methods 0.000 claims abstract description 10
- 238000010191 image analysis Methods 0.000 claims description 19
- 238000010438 heat treatment Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 239000002184 metal Substances 0.000 claims description 4
- 230000004308 accommodation Effects 0.000 claims description 2
- 230000000149 penetrating effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000015219 food category Nutrition 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 239000005417 food ingredient Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
인공 신경망을 통해 테이블 별 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴를 식별하는 서버 장치;를 포함하는, 고객 관리 시스템을 개시한다.
Description
본 발명은 음식 잔량 비전 이미지에 기초한 고객 관리 시스템에 관한 것으로, 보다 상세하게는 음식 잔량 이미지 분석을 통해 고객 별 메뉴 추천 서비스를 제공하는 고객 관리 시스템에 관한 것이다.
통상, 개인에게 음식점, 카페 또는 술집 등을 추천하는 서비스 및 관련 기술이 다양하게 적용되고 있다.
한편, 이와 관련된 선행기술로서, 한국 공개특허공보 제10-2019-0104487호가 개시되어 있는데, 종래의 인공지능 기반의 사용자 상태에 따른 식품 추천 방법 및 그 장치는, 이동 단말 및 이동 단말과 연결된 외부 단말로부터 적어도 하나의 이용 정보를 획득하는 단계와, 이용 정보를 미리 학습된 제1 ANN 모델에 적용하는 단계와, 제1 ANN 모델의 출력값에 기반하여 사용자의 사용자 상태를 판단하는 단계와, 사용자의 사용자 상태 정보에 기반하 여 사용자의 선호 식품을 판단하는 단계를 포함하되, 사용자 상태는, 감정 상태 또는 건강 상태 중 적어도 하나를 포함하여 사용자의 상태를 판단하고, 그 판단 결과에 따라 음식을 권장하도록 한다.
하지만, 단순 감정 상태 또는 건강 상태 이외에, 사용자의 선호 식자재와 선호하는 음식점과 선호하는 음식 카 테고리와 음식메뉴에 대한 다양한 평점의 데이터를 반영하여 머신러닝을 이용한 인공지능 음식메뉴 추천기술이 개선될 여지가 존재한다.
본 발명의 일측면은 인공지능 신경망을 이용한 음식 잔량 이미지 분석을 통해 고객 별 메뉴 추천 서비스를 제공할 수 있도록 하는 고객 관리 시스템을 개시한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 고객 관리 시스템은 인공 신경망을 통해 테이블 별 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴를 식별하는 서버 장치;를 포함한다.
한편, 매장 내 테이블의 상단에 설치되고, 테이블의 상단을 촬영하여 테이블에 놓인 적어도 하나 이상의 용기에 담긴 음식 잔량 이미지를 획득하고, 상기 음식 잔량 이미지를 상기 서버 장치로 전송하는 촬영 장치;를 더 포함하고,
상기 서버 장치는, 상기 매장 내 포스 장치로부터 소정 테이블의 결제 완료 정보를 수신하는 경우, 결제 완료 정보를 수신한 테이블에 설치된 상기 촬영 장치로 촬영 제어 신호를 전송하여 상기 음식 잔량 이미지를 획득하는 음식 잔량 이미지 수신부; 및 상기 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴를 식별하고, 상기 남긴 메뉴의 섭취량을 산출하는 음식 잔량 이미지 분석부;를 포함하고,
상기 음식 잔량 이미지 분석부가 상기 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴를 식별하는 것은, 매장에서 판매중인 복수의 메뉴 별 음식 이미지를 트레이닝 데이터로 획득하고, 매장에서 판매중인 복수의 메뉴명을 각각의 트레이닝 데이터에 대한 레이블로 획득하고, 상기 트레이닝 데이터로부터 상기 인공 신경망의 입력을 생성하여 음식 이미지에 따른 메뉴의 추론에 해당하는 상기 인공 신경망의 출력을 획득하고, 상기 인공 신경망의 출력과 상기 레이블을 비교하여 비교값을 획득하고, 상기 비교값이 작아지도록 상기 인공 신경망의 노드들의 웨이트를 갱신하는 과정을 반복하여 상기 인공 신경망을 학습시키고, 상기 인공 신경망에 상기 음식 잔량 이미지 획득부에서 획득한 상기 음식 잔량 이미지를 입력하여 상기 음식 잔량 이미지에 해당하는 메뉴를 출력하는 것을 포함하고,
상기 음식 잔량 이미지 분석부가 상기 남긴 메뉴의 섭취량을 산출하는 것은, 매장에서 판매중인 복수의 메뉴 별 완성 음식 이미지를 저장하고, 상기 음식 잔량 이미지로부터 식별된 메뉴에 해당하는 완성 음식 이미지와 상기 음식 잔량 이미지를 픽셀 별로 비교하여 차이가 있는 픽셀로부터 차이값을 산출하고, 상기 차이값을 상기 남긴 메뉴의 섭취량으로 산출하는 것을 포함할 수 있다.
또한, 상기 관리 서버는, 상기 포스 장치로부터 테이블 별 주문한 적어도 하나 이상의 메뉴, 고객 나이, 고객 성별, 계절, 시간 및 날씨를 포함하는 테이블 별 주문 정보를 수신하는 주문 정보 수신부; 및 상기 음식 잔량 이미지 분석부에서 식별하는 테이블 별 남긴 메뉴, 상기 남긴 메뉴의 섭취량 및 상기 테이블 별 주문 정보를 이용하여 고객 관리 정보를 추출하는 고객 관리 정보 추출부;를 포함하고,
상기 고객 관리 정보 추출부가 상기 고객 관리 정보를 추출하는 것은, 상기 음식 잔량 이미지로부터 남긴 메뉴가 식별되지 않는 테이블의 경우, 주문 정보에 포함되는 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목에 대한 추천 메뉴로 주문한 적어도 하나 이상의 메뉴를 매칭하여 저장하고, 상기 음식 잔량 이미지로부터 남긴 메뉴가 식별되고, 상기 남긴 메뉴의 섭취량이 제1 임계치 이하로 산출된 경우, 주문 정보에 포함되는 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목에 대한 추천 메뉴로 주문한 적어도 하나 이상의 메뉴를 매칭하여 저장하되, 남긴 메뉴를 제외하여 저장하고, 상기 음식 잔량 이미지로부터 남긴 메뉴가 식별되고, 상기 남긴 메뉴의 섭취량이 상기 제1 임계치 보다 적은 제2 임계치 이하로 산출된 경우, 상기 남긴 메뉴를 판매 메뉴에서 삭제하는 메뉴 개발 정보로 생성하고, 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목 별 추천 메뉴 정보와 및 메뉴 개발 정보를 상기 포스 장치로 전송하는 것을 포함할 수 있다.
상술한 본 발명에 따르면 음식 잔량 이미지 분석을 통해 관리자가 직접 확인하지 않더라도 고객이 음식을 만족스럽게 섭취하였는지를 확인할 수 있으며, 나아가, 남긴 메뉴 및 그 섭취량 정보를 반영하여 맞춤형 추천 메뉴 정보 및 메뉴 개발 정보를 제공함으로써 고객 만족도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 고객 관리 시스템의 개념도이다.
도 2는 도 1에 도시된 서버 장치의 제어 블록도이다.
도 2는 도 1에 도시된 서버 장치의 제어 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계 및 동작은 하나 이상의 다른 구성요소, 단계 및 동작의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 고객 관리 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 고객 관리 시스템(1)은 촬영 장치(10) 및 서버 장치(20)를 포함할 수 있다.
촬영 장치(10)는 테이블의 상단에 설치될 수 있으며, 테이블의 상단을 촬영하여 테이블에 놓인 적어도 하나 이상의 용기에 담긴 음식 잔량 이미지를 획득할 수 있다.
서버 장치(20)는 유선 또는 무선 네트워크를 통해 다른 장치와 통신할 수 있는 컴퓨팅 장치로, CPU(central processing unit), GPU(graphic processing unit), DSP(digital signal processor) 등 중의 어느 하나를 이용하여 연산 동작을 수행할 수 있는 컴퓨팅 장치일 수 있으나, 이에 한정되는 것은 아니다.
서버 장치(20)는 촬영 장치(10)와 통신하여 테이블 별 음식 잔량 이미지를 획득하고, 매장의 포스 장치와 통신하여 테이블 별 주문 정보를 획득할 수 있다. 이때, 테이블 별 주문 정보에는 테이블 별 주문한 적어도 하나 이상의 메뉴, 고객 나이, 고객 성별, 날짜, 시간, 날씨 등이 포함될 수 있다.
서버 장치(20)는 테이블 별 음식 잔량 이미지를 분석하여 남긴 메뉴 및 섭취량을 식별할 수 있으며, 테이블 별 남긴 메뉴 및 섭취량과, 주문 정보를 분석하여 고객 관리 정보를 추출할 수 있다. 이때, 고객 관리 정보에는 고객 별 추천 메뉴, 계절 별 추천 메뉴, 시간대 별 추천 메뉴, 메뉴 개발 정보 등이 포함될 수 있다.
도 2는 도 1에 도시된 서버 장치의 제어 블록도이다.
도 2를 참조하면, 서버 장치(20)는 음식 잔량 이미지 수신부(21), 음식 잔량 이미지 분석부(22), 주문 정보 수신부(23) 및 고객 관리 정보 추출부(24)를 포함할 수 있다.
음식 잔량 이미지 수신부(21)는 촬영 장치(10)로부터 테이블 별 음식 잔량 이미지를 수신할 수 있다.
예를 들면, 음식 잔량 이미지 수신부(21)는 매장의 포스 장치로부터 특정 테이블의 결제 완료 정보를 수신할 수 있다. 음식 잔량 이미지 수신부(21)는 결제 완료 정보를 수신한 테이블에 설치된 촬영 장치(10)로 촬영 제어 신호를 전송하여 음식 잔량 이미지를 획득할 수 있다.
음식 잔량 이미지 분석부(22)는 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴 및 그 섭취량을 식별할 수 있다.
예를 들면, 음식 잔량 이미지 분석부(22)는 딥러닝 기반의 인공지능 학습 알고리즘을 이용하여 남긴 메뉴를 식별할 수 있다.
구체적으로는, 음식 잔량 이미지 분석부(22)는 트레이닝 데이터(training data) 및 레이블(label)을 획득할 수 있다.
음식 잔량 이미지 분석부(22)는 매장에서 판매중인 복수의 메뉴 별 음식 이미지를 트레이닝 데이터로 획득할 수 있는데, 여기에서, 복수의 메뉴 별 음식 이미지는 매장에서 서빙되는 용기에 담긴 음식 이미지로, 용기에 가득 담긴 상태의 음식 이미지, 소정 양만큼 소비된 상태의 음식 이미지, 완전히 소비된 상태의 음식 이미지 등이 포함될 수 있다.
음식 잔량 이미지 분석부(22)는 메뉴명을 각각의 트레이닝 데이터에 대한 레이블로 획득할 수 있다.
음식 잔량 이미지 분석부(22)는 트레이닝 데이터로부터 인공 신경망의 입력을 생성할 수 있다. 음식 잔량 이미지 분석부(22)는 트레이닝 데이터를 인공 신경망의 입력으로 그대로 사용하거나, 각각의 트레이닝 데이터에서 불필요한 정보를 제거하는 등의 기 알려진 처리를 거친 후, 인공 신경망의 입력을 생성할 수 있다.
음식 잔량 이미지 분석부(22)는 입력을 인공 신경망에 적용할 수 있다. 여기에서, 인공 신경망은 지도 학습에 따라 학습되는 인공 신경망일 수 있다. 인공 신경망은 지도 학습을 통해 학습시키기에 적합한 컨볼루션 신경망(CNN) 또는 리커런트 신경망(RNN) 구조일 수 있다.
음식 잔량 이미지 분석부(22)는 인공 신경망으로부터 출력을 획득할 수 있다. 인공 신경망의 출력은 음식 이미지에 따른 메뉴의 추론일 수 있다.
음식 잔량 이미지 분석부(22)는 인공 신경망의 출력과 레이블을 비교할 수 있다. 추론에 해당하는 인공 신경망의 출력과 정답에 해당하는 레이블을 비교하는 과정은 손실 함수(loss function)를 계산하여 이루어질 수 있다. 손실함수는 기 알려진 평균 제곱 오차(mean squared error, MSE), 교차 엔트로피 오차(cross entropy error, CEE) 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 인공 신경망의 출력과 레이블 간의 편차, 오차 내지는 차이를 측정할 수 있다면, 다양한 인공 신경망 모델들에서 이용되는 손실함수들이 이용될 수 있다.
음식 잔량 이미지 분석부(22)는 비교값을 기초로 인공 신경망을 최적화할 수 있다. 학습 장치 비교값이 점점 작아지도록 인공 신경망의 노드(node)들의 웨이트(weight)를 갱신함으로써, 추론에 해당하는 인공 신경망의 출력과 정답에 해당하는 레이블을 점점 일치시킬 수 있고, 이를 통해 인공 신경망은 정답에 가까운 추론을 출력하도록 최적화될 수 있다. 예컨대, 음식 잔량 이미지 분석부(22)는 비교값에 해당하는 손실함수가 최소값의 추정치에 가까워지도록 인공 신경망의 웨이트(weight)를 재설정하는 과정을 반복함으로써 인공 신경망을 최적화할 수 있다. 인공 신경망의 최적화를 위해 기 알려진 역전파(backpropagation) 알고리즘, 확률론적 경사하강법(stochastic gradient descent) 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 다양한 신경망 모델들에서 이용되는 웨이트의 최적화 알고리즘이 이용될 수 있다.
음식 잔량 이미지 분석부(22)는 이와 같은 과정을 반복함으로써 인공 신경망을 학습시킬 수 있다.
음식 잔량 이미지 분석부(22)는 인공 신경망에 음식 잔량 이미지 획득부(21)에서 획득한 음식 잔량 이미지를 입력하여 음식 잔량 이미지에 해당하는 메뉴를 출력할 수 있다.
음식 잔량 이미지 분석부(22)는 매장에서 판매하는 복수의 메뉴 별 완성 음식 이미지를 저장할 수 있으며, 음식 잔량 이미지로부터 식별된 메뉴에 해당하는 완성 음식 이미지와, 음식 잔량 이미지를 비교하여 그 차이값을 해당 메뉴의 섭취량으로 산출할 수 있다.
예를 들면, 음식 잔량 이미지 분석부(22)는 완성 음식 이미지 데이터와 음식 잔량 이미지를 픽셀 별로 비교하여 차이가 있는 픽셀로부터 차이값을 산출할 수 있다.
주문 정보 수신부(23)는 매장의 포스 장치와 통신하여 테이블 별 주문 정보를 획득할 수 있다. 이때, 테이블 별 주문 정보에는 테이블 별 주문한 적어도 하나 이상의 메뉴, 고객 나이, 고객 성별, 계절, 시간, 날씨 등이 포함될 수 있다.
고객 관리 정보 추출부(24)는 테이블 별 음식 잔량 이미지 분석 결과에 따른 남긴 메뉴 및 그 섭취량과, 테이블 별 주문 정보를 이용하여 고객 관리 정보를 추출할 수 있다.
예를 들면, 고객 관리 정보 추출부(24)는 남긴 메뉴가 식별되지 않는 테이블의 경우, 주문 정보에 포함되는 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목에 대한 추천 메뉴로 주문한 적어도 하나 이상의 메뉴를 매칭하여 저장할 수 있다.
고객 관리 정보 추출부(24)는 남긴 메뉴가 식별되고, 그 섭취량이 제1 임계치 이하로 산출된 경우, 주문 정보에 포함되는 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목에 대한 추천 메뉴로 주문한 적어도 하나 이상의 메뉴를 매칭하여 저장하되, 남긴 메뉴를 제외하여 저장할 수 있다.
고객 관리 정보 추출부(24)는 남긴 메뉴가 식별되고, 그 섭취량이 제2 임계치 이하로 산출된 경우, 남긴 메뉴를 판매 메뉴에서 삭제하는 메뉴 개발 정보를 생성할 수 있다. 이때, 제2 임계치는 제1 임계치 보다 적은 값일 수 있다.
고객 관리 정보 추출부(24)는 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목 별 추천 메뉴 정보와 및 메뉴 개발 정보를 매장의 포스 장치로 전송하여 매장 관리자가 확인할 수 있도록 한다.
이와 같은 본 발명의 일 실시예에 따른 음식 잔량 비전 이미지에 기초한 고객 관리 시스템(1)은 음식 잔량 이미지 분석을 통해 관리자가 직접 확인하지 않더라도 고객이 음식을 만족스럽게 섭취하였는지를 확인할 수 있으며, 나아가, 남긴 메뉴 및 그 섭취량 정보를 반영하여 맞춤형 추천 메뉴 정보 및 메뉴 개발 정보를 제공함으로써 고객 만족도를 높일 수 있다.
도 3은 본 발명의 일 실시예에 따른 스마트 용기의 단면도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 고객 관리 시스템(1)은 도 1에 도시된 촬영 장치(10) 및 서버 장치(20)에 더하여 스마트 용기(30)를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 스마트 용기(30)는 음식이 담기는 수용 공간을 제공하되, 서버 장치(20)로부터 수신하는 제어 신호에 따라 작동하여 표면의 온도를 높이거나 진동을 발생시킬 수 있다.
스마트 용기(30)는 본체 하우징(31), 제어 모듈(32), 발열 플레이트(33), 덮개 하우징(34), 진동 플레이트(34) 및 상판(35)을 포함할 수 있다.
본체 하우징(31)은 내부 공간을 갖는 박스 형태로 형성될 수 있으며, 예를 들면, 원통형의 박스 형상으로 형성될 수 있다.
본체 하우징(31)은 하부 체결공(31a)이 내측 벽면을 따라 복수 개 형성될 수 있으며, 이러한 하부 체결공(31a)에 삽입되는 체결 핀(31b)을 통해 후술하는 덮개 하우징(34)과 체결될 수 있다.
제어 모듈(32)은 본체 하우징(31)에 설치될 수 있으며, 배터리부 및 제어부를 포함할 수 있다.
제어 모듈(32)은 서버 장치(20)로부터 제어 신호를 수신하는 경우, 배터리부의 전원을 발열 플레이트(33) 또는 진동 플레이트(34)로 인가하여 열을 발생시키거나 진동을 발생시킬 수 있다. 예를 들면, 서버 장치(20)는 촬영 장치(10)로 촬영 제어 신호를 송신할 때에 제어 모듈(32)로 제어 신호를 함께 송신할 수 있다. 이는 음식 잔량 이미지 촬영 시 상판(35)에 담긴 음식으로 열이나 진동을 가하여 최초 담긴 상태와 유사하게 연출되도록 하기 위함이다.
제어 모듈(32)은 고정 프레임(32a)을 통해 본체 하우징(31)의 내부 공간 하부에 설치될 수 있다.
발열 플레이트(33)은 제어 모듈(32)의 상면을 덮도록 본체 하우징(31)의 내부 공간에 설치될 수 있다.
여기에서, 발열 플레이트(33)는 고정 프레임(32a)에 직립 설치되는 고정 바아(32b)를 통해 제어 모듈(32)의 상부에 설치될 수 있다.
발열 플레이트(33)는 복수개의 발열체(33a)가 구비된 금속재의 PCB 기판으로 형성될 수 있으며, 제어 모듈(32)로부터 전원을 인가받아 발열체(33a)를 통해 열을 발생시킬 수 있다.
한편, 발열 플레이트(33)는 적어도 하나의 관통 홀을 형성할 수 있으며, 이러한 관통 홀을 통해 고정 바아(32b)의 단부가 돌출될 수 있다. 이때, 고정 바아(32b)의 단부는 반구 형태로 형성될 수 있다.
즉, 고정 바아(32b)는 원기둥 형태로 형성되되, 원기둥의 직경보다 짧은 직경을 갖는 반구 형태의 단부가 형성되어 단턱을 형성할 수 있으며, 발열 플레이트(33)는 관통 홀을 통해 고정 바아(32b)의 단부에 삽입되어 단턱에 안착된 상태로 설치될 것이다.
덮개 하우징(34)은 본체 하우징(31)의 횡단면 형상과 대응하는 링 형상으로 형성되어, 본체 하우징(31)의 상단면에 설치될 수 있다.
덮개 하우징(34)은 상부 체결공(34a)이 내측 벽면을 따라 복수 개 형성될 수 있으며, 이러한 상부 체결공(34a)에 하부 체결공(31a)을 통과한 체결 핀(31b)이 삽입되어 본체 하우징(31)에 설치 고정될 것이다.
진동 플레이트(34)는 덮개 하우징(34)의 내측에 끼워진 형태로 형성될 수 있으며, 하부면이 발열 플레이트(33)를 관통한 고정 바아(32b)의 단부와 맞닿을 수 있도록 형성될 수 있다.
이때, 고정 바아(32b)는 제어 모듈(32)의 제어 신호에 의해 단부에 미세 진동을 발생시킬 수 있도록 형성될 수 있으며, 이러한 미세 진동은 진동 플레이트(34)로 전달될 것이다.
진동 플레이트(34)는 고정 바아(32b)의 단부에서 발생하는 미세 진동에 의해 진동하면서도 발열 플레이트(33)에서 발생하는 열이 전달될 수 있도록 얇은 금속재 판으로 형성될 수 있다.
상판(35)은 덮개 하우징(34)의 내측에 끼워진 형태로 형성될 수 있으며, 하부면이 진동 플레이트(34)와 맞닿을 수 있도록 형성될 수 있다.
상판(35)은 진동 플레이트(34)에서 발생하는 미세 진동에 의해 진동하면서도 발열 플레이트(33)에서 발생하는 열이 전달될 수 있도록 얇은 금속 판으로 형성될 수 있다.
이러한 상판(35)의 상부면에는 음식이 담길 수 있으며, 소정 제어 신호에 따라 진동하거나 열을 발생시켜 담긴 음식이 다양하게 연출될 수 있도록 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 고객 관리 시스템
10: 촬영 장치
20: 서버 장치
10: 촬영 장치
20: 서버 장치
Claims (3)
- 인공 신경망을 통해 테이블 별 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴를 식별하는 서버 장치;를 포함하고,
매장 내 테이블의 상단에 설치되고, 테이블의 상단을 촬영하여 테이블에 놓인 적어도 하나 이상의 용기에 담긴 음식 잔량 이미지를 획득하고, 상기 음식 잔량 이미지를 상기 서버 장치로 전송하는 촬영 장치;를 더 포함하고,
상기 서버 장치는,
상기 매장 내 포스 장치로부터 소정 테이블의 결제 완료 정보를 수신하는 경우, 결제 완료 정보를 수신한 테이블에 설치된 상기 촬영 장치로 촬영 제어 신호를 전송하여 상기 음식 잔량 이미지를 획득하는 음식 잔량 이미지 수신부; 및
상기 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴를 식별하고, 상기 남긴 메뉴의 섭취량을 산출하는 음식 잔량 이미지 분석부;를 포함하고,
상기 음식 잔량 이미지 분석부가 상기 음식 잔량 이미지를 분석하여 테이블 별 남긴 메뉴를 식별하는 것은,
매장에서 판매중인 복수의 메뉴 별 음식 이미지를 트레이닝 데이터로 획득하고, 매장에서 판매중인 복수의 메뉴명을 각각의 트레이닝 데이터에 대한 레이블로 획득하고, 상기 트레이닝 데이터로부터 상기 인공 신경망의 입력을 생성하여 음식 이미지에 따른 메뉴의 추론에 해당하는 상기 인공 신경망의 출력을 획득하고, 상기 인공 신경망의 출력과 상기 레이블을 비교하여 비교값을 획득하고, 상기 비교값이 작아지도록 상기 인공 신경망의 노드들의 웨이트를 갱신하는 과정을 반복하여 상기 인공 신경망을 학습시키고, 상기 인공 신경망에 상기 음식 잔량 이미지 획득부에서 획득한 상기 음식 잔량 이미지를 입력하여 상기 음식 잔량 이미지에 해당하는 메뉴를 출력하는 것을 포함하고,
상기 음식 잔량 이미지 분석부가 상기 남긴 메뉴의 섭취량을 산출하는 것은,
매장에서 판매중인 복수의 메뉴 별 완성 음식 이미지를 저장하고, 상기 음식 잔량 이미지로부터 식별된 메뉴에 해당하는 완성 음식 이미지와 상기 음식 잔량 이미지를 픽셀 별로 비교하여 차이가 있는 픽셀로부터 차이값을 산출하고, 상기 차이값을 상기 남긴 메뉴의 섭취량으로 산출하는 것을 포함하고,
상기 서버 장치는,
상기 포스 장치로부터 테이블 별 주문한 적어도 하나 이상의 메뉴, 고객 나이, 고객 성별, 계절, 시간 및 날씨를 포함하는 테이블 별 주문 정보를 수신하는 주문 정보 수신부; 및
상기 음식 잔량 이미지 분석부에서 식별하는 테이블 별 남긴 메뉴, 상기 남긴 메뉴의 섭취량 및 상기 테이블 별 주문 정보를 이용하여 고객 관리 정보를 추출하는 고객 관리 정보 추출부;를 포함하고,
상기 고객 관리 정보 추출부가 상기 고객 관리 정보를 추출하는 것은,
상기 음식 잔량 이미지로부터 남긴 메뉴가 식별되지 않는 테이블의 경우, 주문 정보에 포함되는 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목에 대한 추천 메뉴로 주문한 적어도 하나 이상의 메뉴를 매칭하여 저장하고, 상기 음식 잔량 이미지로부터 남긴 메뉴가 식별되고, 상기 남긴 메뉴의 섭취량이 제1 임계치 이하로 산출된 경우, 주문 정보에 포함되는 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목에 대한 추천 메뉴로 주문한 적어도 하나 이상의 메뉴를 매칭하여 저장하되, 남긴 메뉴를 제외하여 저장하고, 상기 음식 잔량 이미지로부터 남긴 메뉴가 식별되고, 상기 남긴 메뉴의 섭취량이 상기 제1 임계치 보다 적은 제2 임계치 이하로 산출된 경우, 상기 남긴 메뉴를 판매 메뉴에서 삭제하는 메뉴 개발 정보로 생성하고, 고객 나이, 고객 성별, 계절, 시간대 및 날씨 중 어느 하나의 항목 별 추천 메뉴 정보와 및 메뉴 개발 정보를 상기 포스 장치로 전송하는 것을 포함하고,
음식이 담기는 수용 공간을 제공하고, 상기 서버 장치로부터 제어 신호를 수신하여 작동하는 스마트 용기;를 더 포함하고,
상기 스마트 용기는,
내부 공간을 갖는 박스 형태로 형성되고, 하부 체결공이 내측 벽면을 따라 복수 개 형성되는 본체 하우징;
고정 프레임을 통해 상기 본체 하우징의 내부 공간 하부에 설치되고, 상기 서버 장치로부터 제어 신호를 수신하는 제어 모듈;
상기 고정 프레임에 직립 설치되는 고정 바아를 통해 상기 제어 모듈의 상면을 덮도록 상기 본체 하우징의 내부 공간에 설치되고, 복수 개의 발열체가 구비되며, 상기 제어 모듈로부터 전원을 인가 받아 상기 복수 개의 발열체를 통해 열을 발생시키는 발열 플레이트;
상기 본체 하우징의 횡단면 형상과 대응하는 링 형상으로 형성되어 상기 본체 하우징의 상단면에 설치되는 덮개 하우징;
상기 덮개 하우징의 내측에 끼워진 형태로 설치되고, 하부면이 상기 발열 플레이트를 관통한 고정 바아의 단부와 맞닿을 수 있도록 설치되고, 상기 제어 모듈의 제어 신호에 따라 상기 고정 바아를 통해 미세 진동이 전달되어 진동하는 진동 플레이트; 및
상기 덮개 하우징의 내측에 끼워진 형태로 설치되고, 하부면이 상기 진동 플레이트와 맞닿을 수 있도록 형성되고, 상기 진동 플레이트에서 발생하는 미세 진동에 의해 진동하고, 상기 발열 플레이트에서 발생하는 열이 전달될 수 있도록 금속 판으로 형성되는 상판;을 포함하는,고객 관리 시스템.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220034334A KR102510810B1 (ko) | 2022-03-18 | 2022-03-18 | 음식 잔량 비전 이미지에 기초한 고객 관리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220034334A KR102510810B1 (ko) | 2022-03-18 | 2022-03-18 | 음식 잔량 비전 이미지에 기초한 고객 관리 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102510810B1 true KR102510810B1 (ko) | 2023-03-16 |
Family
ID=85985474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220034334A KR102510810B1 (ko) | 2022-03-18 | 2022-03-18 | 음식 잔량 비전 이미지에 기초한 고객 관리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102510810B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200080801A (ko) * | 2018-12-27 | 2020-07-07 | (주)엔텔스 | 인공지능을 이용한 장병 배식 방법 및 시스템 |
| KR20200126577A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 |
| KR20200126576A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정 방법, 장치, 서버 및 프로그램 |
| KR20210109166A (ko) * | 2020-02-27 | 2021-09-06 | 나병호 | Ai와 빅데이터 기술을 활용하여 외식업체를 방문 및 주문한 고객들의 음식선호도 여론조사 방법과 시스템 |
| KR102376301B1 (ko) * | 2021-08-06 | 2022-03-18 | 티오더 주식회사 | 빅데이터 기반의 음식 추천 및 마케팅 서비스를 제공하는 플랫폼을 위한 시스템 |
-
2022
- 2022-03-18 KR KR1020220034334A patent/KR102510810B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200080801A (ko) * | 2018-12-27 | 2020-07-07 | (주)엔텔스 | 인공지능을 이용한 장병 배식 방법 및 시스템 |
| KR20200126577A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 |
| KR20200126576A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정 방법, 장치, 서버 및 프로그램 |
| KR20210109166A (ko) * | 2020-02-27 | 2021-09-06 | 나병호 | Ai와 빅데이터 기술을 활용하여 외식업체를 방문 및 주문한 고객들의 음식선호도 여론조사 방법과 시스템 |
| KR102376301B1 (ko) * | 2021-08-06 | 2022-03-18 | 티오더 주식회사 | 빅데이터 기반의 음식 추천 및 마케팅 서비스를 제공하는 플랫폼을 위한 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101803081B1 (ko) | 매장 관리 로봇 | |
| US11113615B2 (en) | Real-time event analysis utilizing relevance and sequencing | |
| KR102116264B1 (ko) | 대표이미지 추천 방법 및 장치, 및 시스템 | |
| US11475218B2 (en) | Apparatus and method for providing sentence based on user input | |
| KR101970008B1 (ko) | 딥러닝 신경망회로에 의한 번역알고리즘을 구비한 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램 및 사용자 장치 | |
| WO2019061903A1 (zh) | 信息输出方法和装置 | |
| KR101785427B1 (ko) | 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법 | |
| CN112183408B (zh) | 基于案场图像的客户画像系统及方法 | |
| CN108805644A (zh) | 贩售机的商品售卖方法以及贩售机 | |
| CN110019405A (zh) | 信息系统、电子设备、计算机可读介质及信息处理方法 | |
| US11068745B2 (en) | Disruption of face detection | |
| KR102510810B1 (ko) | 음식 잔량 비전 이미지에 기초한 고객 관리 시스템 | |
| JP6970641B2 (ja) | 感情推測方法、感情推測装置及びプログラム | |
| Edwan et al. | An intelligent and automated approach for smart minimarkets | |
| TWM569893U (zh) | Personalized marketing information generation system | |
| JP2019079127A (ja) | 顧客管理プログラム、容器、特徴抽出プログラム、顧客管理方法、特徴抽出方法および情報処理装置 | |
| CN113422810A (zh) | 向服务提供商发送信息的方法及设备 | |
| CN113837986A (zh) | 用于识别舌象的方法、装置、电子设备和介质 | |
| US20240296385A1 (en) | Detecting key items using large language machine-learned models | |
| EP4310760A1 (en) | Display control program, display control method, and information processing apparatus | |
| JP7237895B2 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
| US20240193657A1 (en) | Generating an order including multiple items from a user intent determined from unstructured data received via a chat interface | |
| US20240346441A1 (en) | Early interception and correction in online conversations using large language machine-learned models | |
| KR102620689B1 (ko) | 도어 영상 분석 기반의 ai 비서 장치 및 시스템 | |
| CN113032617B (zh) | 视讯问答流程的控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |