TW202013301A - 影像辨識的餐飲自動結帳系統 - Google Patents

Abstract

本發明揭示一種影像辨識的餐飲自動結帳系統，包括相機、結帳處理主機以及結帳顯示裝置，其中相機以及結帳顯示裝置是電氣連接至結帳處理主機。本發明利用影像辨識技術而在不需任何其他人力協助下提供自動結帳服務，不僅可節省用於結帳的寶貴人力資源，還能避免人為計算錯誤的疏失，大幅改善服務品質。尤其是，利用行動支付方式完成付款，所以再也不用隨身攜帶任何貨幣。此外，使用者可藉行動裝置連結本發明系統而即刻了解到目前所結帳之菜餚的所有營養成分以及熱量，提供隨時注意飲食健康的功能。

Description

影像辨識的餐飲自動結帳系統

本發明係有關於一種影像辨識的餐飲自動結帳系統，尤其是利用影像辨識技術而可在不需任何其他人力下提供自動結帳服務，讓使用者在整個結帳流程中感受無人化商店管理的時尚感以及便利性，尤其是不使用實體貨幣，而是以行動支付方式完成付款，所以使用者再也不用隨身攜帶任何貨幣。此外，使用者可藉行動裝置連結本發明系統而即刻了解到目前所結帳之菜餚的所有營養成分以及熱量，提供隨時注意飲食健康的功能。

對於分秒必爭的現代人而言，時間是相當寶貴，使得出外購物或用餐時，會特別留意商店的時間掌控效率，避免浪費時間在無謂的排隊、等待上，尤其是點餐、結帳。因此，如何在縮短等待時間下仍能維持或進一步提高服務品質一直是相關業者的努力目標。

以自助式的餐飲業為例，顧客通常需要依序排隊，先拿取餐盤，再取出所需菜餚放置於餐盤中，接著到櫃台，由店家利用記算機或以新算方式計算總價，再以現鈔付款，同時由店家找零、列印、交付收據及明細單給顧客，而完成整個結帳程序。然而，店家常受限於有限的結帳人力，往往只配置一名結帳人員，顯而易見的是，在人潮多的時候，結帳會最耗時，導致大排長龍。對於需要經常在中餐外食的上班族，由於午休時 間很有限，用餐中排隊等待結帳的時間就變得非常浪費。

目前有餐飲業者利用直接稱重的方式計算總價，比如素食自助餐館，可直接顯示總重以及總價，而不管菜餚內容為何，其原理是每個素食菜餚的單位重量的價格很容易控制到一定範圍內，但是對於一般葷素混合搭配菜餚，其單位重量價格之間的差異太大，無法以單一稱重方式達成，如果使用多個電子秤，卻會導致實務操作變得複雜而不實用。

因此，很需要一種開創性的影像辨識的餐飲自動結帳系統，直接利用影像辨識技術而可在不需任何其他人力下藉拍照而提供自動結帳服務，讓使用者在整個結帳流程中感受無人化商店管理的時尚感以及便利性，尤其是不使用實體貨幣，而是以行動支付方式完成付款，所以使用者再也不用隨身攜帶任何貨幣。此外，使用者可藉行動裝置連結本發明系統而即刻了解到目前所結帳之菜餚的所有營養成分以及熱量，提供隨時注意飲食健康的功能，藉以解決上述習用技術的問題。

本發明之主要目的在提供一種影像辨識的餐飲自動結帳系統，主要包括相機、結帳處理主機以及結帳顯示裝置，其中相機以及結帳顯示裝置是電氣連接至結帳處理主機，可藉影像辨識技術而實現餐飲自動結帳功能，不僅可節省用於結帳的寶貴人力資源，還能避免人為計算錯誤的疏失，大幅改善服務品質。

具體而言，相機是架設於結帳桌的上方，並在結帳桌上放置餐盤，其中餐盤盛裝至少一菜餚，並由相機拍攝餐盤的菜餚，產生並傳送餐盤菜餚影像至結帳處理主機。此外，結帳處理主機接收餐盤菜餚影像， 並利用內建的菜餚資料庫對餐盤菜餚影像進行菜餚辨識處理，進而產生並傳送結帳資訊，其中結帳資訊是至少包含結帳支付碼。再者，菜餚資料庫包含對應於每個菜餚的菜餚影像、名稱、營養成分、熱量、單價以及單位體積的重量。

上述的結帳顯示裝置接收並顯示結帳資訊，可供使用者藉行動裝置掃描或拍攝結帳支付碼而進行行動支付處理，藉以完成結帳。

進一步，結帳處理主機以及行動裝置是連結至支付單位伺服器，而且行動支付處理是包含利用行動裝置產生及傳送支付確認訊息至支付單位伺服器，並由支付單位伺服器將總價的金額轉帳到收款單位伺服器。

尤其，菜餚辨識處理包含：先區隔並分割出餐盤菜餚影像中每個菜餚的影像；比對每個菜餚的影像是否符合菜餚資料庫中的任一菜餚影像；將菜餚資料庫中已符合的菜餚影像所對應的名稱加入結帳資訊；辨識每個菜餚的體積，並利用所對應的單位體積的重量以轉換成菜餚的重量，並加入結帳資訊；利用菜餚的重量以計算菜餚的營養成分、熱量、價錢，並加入結帳資訊；以及累計所有菜餚的價錢以得到總價，並加入結帳資訊。

本發明之另一目的在提供一種影像辨識的餐飲自動結帳系統，主要包括多個電子磅秤、相機、結帳處理主機以及結帳顯示裝置，其中相機以及結帳顯示裝置是電氣連接至結帳處理主機，而電子磅秤是位於盛菜桌上，且每個電子磅秤上是放置特定的原始菜餚，並在使用者取用原始菜餚時，由電子磅秤秤重出被取用之原始菜餚的重量，再以有線或無線方式傳送重量。

相機是架設於結帳桌的上方，且結帳桌上放置餐盤，其中餐盤盛裝至少一菜餚，而且菜餚是由使用者取用而放置的原始菜餚。相機拍攝餐盤的菜餚，產生並傳送餐盤菜餚影像。結帳處理主機接收餐盤菜餚影像，並進一步藉有線或無線方式連結至該等電子磅秤以接收每個原始菜餚的重量，且利用內建的菜餚資料庫對餐盤菜餚影像進行菜餚辨識處理，藉以產生並傳送結帳資訊，其中結帳資訊是至少包含結帳支付碼，係對應於所有菜餚的總價。

上述的結帳顯示裝置接收結帳資訊，並顯示結帳資訊以供使用者藉行動裝置掃描或拍攝結帳支付碼，進而實現行動支付處理以完成結帳。

結帳處理主機以及行動裝置是連結至支付單位伺服器，且行動支付處理包含行動裝置產生及傳送支付確認訊息至支付單位伺服器，並由支付單位伺服器將總價的金額轉帳到收款單位伺服器。

上述的菜餚資料庫包含對應於每個菜餚的菜餚影像、名稱、營養成分、熱量以及單價。菜餚辨識處理包含：區隔並分割出餐盤菜餚影像中每個菜餚的影像；比對每個菜餚的影像是否符合菜餚資料庫的菜餚影像；將菜餚資料庫中已符合的菜餚影像所對應的名稱加入結帳資訊；將接收來自該等電子磅秤的原始菜餚的重量以當作菜餚的重量，並加入結帳資訊；利用菜餚的重量以計算菜餚的營養成分、熱量、價錢，並加入結帳資訊；以及累計每個菜餚的價錢以得到總價，並加入結帳資訊。

顯而易見的是，本發明利用影像辨識技術而可在不需任何其他人力下提供自動結帳服務，讓使用者在整個結帳流程中感受無人化商店 管理的時尚感以及便利性，尤其是不使用實體貨幣，而是以行動支付方式完成付款，所以使用者再也不用隨身攜帶任何貨幣。此外，使用者可藉行動裝置連結本發明系統而即刻了解到目前所結帳之菜餚的所有營養成分以及熱量，提供隨時注意飲食健康的功能。

10‧‧‧相機

20‧‧‧結帳處理主機

30‧‧‧結帳顯示裝置

40‧‧‧支付單位伺服器

50‧‧‧收款單位伺服器

60‧‧‧廚房伺服器

70‧‧‧後端伺服器

D‧‧‧菜餚

DA、DB、DC‧‧‧原始菜餚

M‧‧‧行動裝置

P‧‧‧餐盤

T‧‧‧結帳桌

TD‧‧‧盛菜桌

U‧‧‧使用者(顧客)

S‧‧‧電子磅秤

第一圖顯示依據本發明第一實施例影像辨識的餐飲自動結帳系統的系統示意圖。

第二圖顯示依據本發明第二實施例影像辨識的餐飲自動結帳系統的系統示意圖。

以下配合圖示及元件符號對本發明之實施方式做更詳細的說明，俾使熟習該項技藝者在研讀本說明書後能據以實施。

請參閱第一圖，本發明第一實施例影像辨識的餐飲自動結帳系統的系統示意圖。如第一圖所示，本發明第一實施例的影像辨識的餐飲自動結帳系統主要包括相機10、結帳處理主機20以及結帳顯示裝置30，是配置於餐飲業者的商店內，並在使用者(或顧客)U自由選取所需菜餚D而置於餐盤P內時，藉影像辨識技術而實現餐飲自動結帳功能，不僅可節省用於結帳的寶貴人力資源，還能避免人為計算錯誤的疏失，改善服務品質，其中相機10、結帳顯示裝置30是電氣連接至結帳處理主機20，且結帳處理主機20可包含電腦，或者相機10及/或結帳顯示裝置30是與結帳處理主機20整合成一體。

具體而言，相機10是特別架設於結帳桌T的上方，比如正上 方或斜上方，而較佳的為斜上方，其中結帳桌T上是可供使用者U放置已盛裝至少一菜餚D的餐盤P，並由相機10拍攝餐盤P的菜餚D，以產生並傳送餐盤菜餚影像至結帳處理主機20。當然，上述的菜餚D也可包含一般的湯品、甜點、米飯、麵點。

為了引導使用者U將餐盤P放到結帳桌T的適當位置上以供相機10拍照，可在結帳桌T上標示出餐盤放置區(圖中未顯示)，比如用白色線框或白色區塊，當然也可使用其他顏色，或是燈號、圖案標示。此外，相機10可設定成只在餐盤P固定不移動而且超過預設時間後才拍照，比如預設時間為0.5秒，並以燈號或語音提示使用者U可移開餐盤P或不可移開餐盤P。再者，為提高菜餚的辯識率，相機10可配置閃光燈，以提高影像亮度，而且也可使具三維(3D)影像辯識能力的相機10，加強對菜餚體積的判斷準確率。

進一步，結帳處理主機20接收來自相機10的餐盤菜餚影像，並利用內建的菜餚資料庫，對餐盤菜餚影像進行菜餚辨識處理以產生並傳送結帳資訊，其中結帳資訊至少包含結帳支付碼，是對應於所有菜餚D的總價，而且可包括二維條碼，比如QR碼(Quick Response Code)。尤其，上述的菜餚資料庫是包含對應於每個菜餚的菜餚影像、名稱、營養成分、熱量、單價以及單位體積的重量。

此外，結帳顯示裝置30接收並顯示接收來自結帳處理主機20的結帳資訊，可供使用者U藉行動裝置M掃描或拍攝結帳支付碼而實現行動支付處理，藉以完成結帳。進一步而言，結帳處理主機20以及行動裝置M是連結至支付單位伺服器40，且行動支付處理是包含由行動裝置M產生及傳送 支付確認訊息至支付單位伺服器40，並由支付單位伺服器40將對應於所有菜餚D之總價的金額轉帳到收款單位伺服器50。

更加具體而言，上述的菜餚辨識處理是包含以下的步驟。

首先，結帳處理主機20區隔並分割出餐盤菜餚影像中每個菜餚D所對應的個別影像。接著，比對每個菜餚D的影像是否符合菜餚資料庫的任一菜餚影像，並進一步將菜餚資料庫中已符合的菜餚影像所對應的名稱加入結帳資訊。然後，辨識每個菜餚D的體積，並利用所對應的單位體積的重量以轉換成菜餚D的重量，並加入結帳資訊，再利用菜餚D的重量以計算菜餚D的營養成分、熱量、價錢，且加入結帳資訊中。最後，累計所有菜餚D的價錢以得到總價，並加入結帳資訊。

此外，結帳處理主機20可進一步傳送結帳資訊至行動裝置M，並由行動裝置M藉執行特定的應用程式(APP)以讀取並顯示結帳資訊。因此，使用者U在完成支付後，可立即得知此次消費的結帳內容，尤其是營養成分、熱量，可供隨時注意飲食健康。例如，對於正在執行減重計畫的使用者U，如果熱量或油脂高過預設目標時，本發明可適時提醒使用者U在下次飲食時要降低熱量或油脂的攝取量，而如果蛋白質低於預設目標時，則需要適度增加蛋白質(比如魚類或優質肉類菜餚)的攝取量。

另外，結帳處理主機20還可再進一步連結至廚房伺服器60及/或後端伺服器70，並傳送部分或全部的結帳資訊至廚房伺服器60及/或後端伺服器70。進一步，廚房伺服器60是設置於該商店的廚房內，可顯示結帳資訊以而供廚房的廚師了解目前每個菜餚D的使用狀態，比如說，在某一菜餚D消耗到低於安全值時，便需立即準備、補充該菜餚D，以免短缺。後端 伺服器70可設置於遠端，用以分析每個菜餚D的使用狀態以獲得所有使用者U的飲食習慣，同時可有效的實現進貨管理。

再者，第一實施例的影像辨識的餐飲自動結帳系統還可進一步包含計價磅秤(圖中未顯示)，是配置於結帳桌T上，供使用者U放置已盛裝菜餚D的餐盤P，用以量測所有菜餚D以及餐盤P的合計重量，並扣除餐盤P本身的重量後，獲得所有菜餚D的總重量，進而傳送至結帳處理主機20以供確認個別菜餚D的合計重量，避免累計誤差。換言之，當個別菜餚D的合計重量與計價磅秤量測到的所有菜餚D的總重量不相符時，結帳處理主機20，會以所有菜餚D的總重量為準而適當調整總價，比如將二者的重量差額乘上某一預設的平均價格差額而獲得差額，用以扣除或累加到原有的總價，同時，將調整後的總價以結帳資訊的形式傳送至結帳顯示裝置30。

進一步參閱第二圖，本發明第二實施例影像辨識的餐飲自動結帳系統的系統示意圖。如第二圖所示，本發明第二實施例的影像辨識的餐飲自動結帳系統主要包括相機10、結帳處理主機20以及結帳顯示裝置30，是類似於第一圖的第一實施例，而其主要差異在於第二實施例的餐飲自動結帳系統還額外包括多個電子磅秤S，是位於盛菜桌TD上，且每個電子磅秤S上放置相對應的某一原始菜餚DA、DB、DC，並在使用者U取用任一原始菜餚DA、DB、DC時，相對應的電子磅秤S可秤重出被取用之原始菜餚DA、DB、DC的個別重量，並以有線或無線方式傳送至結帳處理主機20，因此，本發明第二實施例的結帳處理主機20的菜餚辨識處理不須藉辨識技術以決定每個菜餚的重量，可加快製作結帳資訊的所需時間，提升整體的服務效率。

同樣的，第二實施例的影像辨識的餐飲自動結帳系統還也可進一步包含計價磅秤(圖中未顯示)，是配置於結帳桌T上，供使用者U放置已盛裝菜餚D的餐盤P，用以量測所有菜餚D以及餐盤P的合計重量，並扣除餐盤P本身的重量後，獲得所有菜餚D的總重量，進而傳送至結帳處理主機20以供確認個別菜餚D的合計重量，並適當調整總價，避免累計誤差。

由於第二實施例的其餘技術特徵已在上述的第一實施例中詳細說明，因而不再贅述。

綜上所述，本發明的特點在於只利用影像辨識技術而可在不需任何其他人力下，提供自動結帳服務，讓使用者在整個結帳流程中感受無人化商店管理的時尚感以及便利性，尤其是不使用實體貨幣，而是以行動支付方式完成付款，所以使用者再也不用隨身攜帶任何貨幣。此外，使用者可藉行動裝置連結本發明系統而即刻了解到目前所結帳之菜餚的所有營養成分以及熱量，提供隨時注意飲食健康的功能。

由於本發明的技術內並未見於已公開的刊物、期刊、雜誌、媒體、展覽場，因而具有新穎性，且能突破目前的技術瓶頸而具體實施，確實具有進步性。此外，本發明能解決習用技術的問題，改善整體使用效率，而能達到具產業利用性的價值。

以上所述者僅為用以解釋本發明之較佳實施例，並非企圖據以對本發明做任何形式上之限制，是以，凡有在相同之發明精神下所作有關本發明之任何修飾或變更，皆仍應包括在本發明意圖保護之範疇。

10‧‧‧相機

20‧‧‧結帳處理主機

30‧‧‧結帳顯示裝置

40‧‧‧支付單位伺服器

50‧‧‧收款單位伺服器

60‧‧‧廚房伺服器

70‧‧‧後端伺服器

D‧‧‧菜餚

M‧‧‧行動裝置

P‧‧‧餐盤

T‧‧‧結帳桌

U‧‧‧使用者(顧客)

Claims (10)

1. 一種影像辨識的餐飲自動結帳系統，包括：一相機，係架設於一結帳桌的一上方，且該結帳桌上係放置一餐盤，該餐盤係盛裝至少一菜餚，該相機係用以拍攝該餐盤的該至少一菜餚，以產生並傳送一餐盤菜餚影像；一結帳處理主機，係電氣連接至該相機，用以接收該餐盤菜餚影像，並利用內建的一菜餚資料庫，對該餐盤菜餚影像進行一菜餚辨識處理以產生並傳送一結帳資訊，且該結帳資訊至少包含一結帳支付碼，是對應於所有該菜餚的一總價；以及一結帳顯示裝置，係電氣連接至該結帳處理主機，用以接收並顯示該結帳資訊，供一行動裝置掃描或拍攝該結帳支付碼而進行一行動支付處理以完成結帳，其中該結帳處理主機以及該行動裝置是連結至一支付單位伺服器，該行動支付處理包含該行動裝置產生及傳送一支付確認訊息至該支付單位伺服器，並由該支付單位伺服器將該總價的一金額轉帳到一收款單位伺服器，該菜餚資料庫包含對應於每個該菜餚的一菜餚影像、一名稱、一營養成分、一熱量、一單價以及一單位體積的重量，該菜餚辨識處理包含：區隔並分割出該餐盤菜餚影像中每個該菜餚的影像；比對每個該菜餚的影像是否符合該菜餚資料庫的菜餚影像；將該菜餚資料庫中已符合的該菜餚影像所對應的名稱加入該結帳資訊；辨識每個該菜餚的一體積，並利用所對應的該單位體積的重量以轉換成該菜餚的重量，並加入該結帳資訊；利用該菜餚的重量以計算該菜餚的營養成分、熱量、價錢，並加入該結帳資訊；以及 累計每個該菜餚的價錢以得到該總價，並加入該結帳資訊。
2. 依據申請專利範圍第1項所述之影像辨識的餐飲自動結帳系統，其中該行動裝置包含一智慧手機或一平板電腦，該結帳處理主機包含一電腦，該結帳支付碼包括一二維條碼，且該二維條碼包含一QR碼(Quick Response Code)。
3. 依據申請專利範圍第1項所述之影像辨識的餐飲自動結帳系統，其中該相機及/或該結帳顯示裝置是與該結帳處理主機整合成一體。
4. 依據申請專利範圍第1項所述之影像辨識的餐飲自動結帳系統，其中該結帳處理主機進一步傳送該結帳資訊至該行動裝置，並由該行動裝置藉執行一應用程式(APP)以讀取並顯示該結帳資訊。
5. 依據申請專利範圍第1項所述之影像辨識的餐飲自動結帳系統，其中該結帳處理主機進一步連結至一廚房伺服器及/或一後端伺服器，並傳送部分或全部的該結帳資訊至該廚房伺服器及/或該後端伺服器，該廚房伺服器係設置於一廚房，用以顯示該結帳資訊而供該廚房的一廚師了解該至少一菜餚的使用狀態，該後端伺服器係設置於一遠端，用以分析該至少一菜餚的使用狀態以獲得該使用者的一飲食習慣。
6. 一種影像辨識的餐飲自動結帳系統，包括：多個電子磅秤，是位於一盛菜桌上，且每個該電子磅秤上是放置一原始菜餚，並在一使用者取用該原始菜餚時，該電子磅秤秤重出被取用之該原始菜餚的一重量，並以一有線或無線方式傳送該重量；一相機，係架設於一結帳桌的一上方，且該結帳桌上係放置一餐盤，該餐盤係盛裝至少一菜餚，而該至少一菜餚是由該使用者取用而放置的該原始菜餚，該相機係用以拍攝該餐盤的該至少一菜餚，以產生並傳送一餐盤菜餚影像；一結帳處理主機，係電氣連接至該相機，用以接收該餐盤菜餚影像，並進一步藉該有線或無線方式連結至該等電子磅秤以接收每個該原始菜餚的重 量，且利用內建的一菜餚資料庫，對該餐盤菜餚影像進行一菜餚辨識處理以產生並傳送一結帳資訊，該結帳資訊至少包含一結帳支付碼，是對應於所有該菜餚的一總價；以及一結帳顯示裝置，係電氣連接至該結帳處理主機，用以接收並顯示該結帳資訊，供一行動裝置掃描或拍攝該結帳支付碼而進行一行動支付處理以完成結帳，其中該結帳處理主機以及該行動裝置是連結至一支付單位伺服器，該行動支付處理包含該行動裝置產生及傳送一支付確認訊息至該支付單位伺服器，並由該支付單位伺服器將該總價的一金額轉帳到一收款單位伺服器，該菜餚資料庫包含對應於每個該菜餚的一菜餚影像、一名稱、一營養成分、一熱量以及一單價，該菜餚辨識處理包含：區隔並分割出該餐盤菜餚影像中每個該菜餚的影像；比對每個該菜餚的影像是否符合該菜餚資料庫的菜餚影像；將該菜餚資料庫中已符合的該菜餚影像所對應的名稱加入該結帳資訊；將接收來自該等電子磅秤的該原始菜餚的重量以當作該菜餚的重量，並加入該結帳資訊；利用該菜餚的重量以計算該菜餚的營養成分、熱量、價錢，並加入該結帳資訊；以及累計每個該菜餚的價錢以得到該總價，並加入該結帳資訊。
7. 依據申請專利範圍第6項所述之影像辨識的餐飲自動結帳系統，其中該行動裝置包含一智慧手機或一平板電腦，該結帳處理主機包含一電腦，該結帳支付碼包括一二維條碼，且該二維條碼包含一QR碼(Quick Response Code)。
8. 依據申請專利範圍第6項所述之影像辨識的餐飲自動結帳系統，其中該相機及/或該結帳顯示裝置是與該結帳處理主機整合成一體。
9. 依據申請專利範圍第6項所述之影像辨識的餐飲自動結帳系統，其中該結帳處理主機進一步傳送該結帳資訊至該行動裝置，並由該行動裝置藉執行一應用程式(APP)以讀取並顯示該結帳資訊。
10. 依據申請專利範圍第6項所述之影像辨識的餐飲自動結帳系統，其中該結帳處理主機進一步連結至一廚房伺服器及/或一後端伺服器，並傳送部分或全部的該結帳資訊至該廚房伺服器及/或該後端伺服器，該廚房伺服器係設置於一廚房，用以顯示該結帳資訊而供該廚房的一廚師了解該至少一菜餚的使用狀態，該後端伺服器係設置於一遠端，用以分析該至少一菜餚的使用狀態以獲得該使用者的一飲食習慣。

Images