TWI748788B - 存取物品的判斷方法及智慧冰箱 - Google Patents

存取物品的判斷方法及智慧冰箱 Download PDF

Info

Publication number
TWI748788B
TWI748788B TW109143270A TW109143270A TWI748788B TW I748788 B TWI748788 B TW I748788B TW 109143270 A TW109143270 A TW 109143270A TW 109143270 A TW109143270 A TW 109143270A TW I748788 B TWI748788 B TW I748788B
Authority
TW
Taiwan
Prior art keywords
refrigerator body
image
processing unit
refrigerator
average value
Prior art date
Application number
TW109143270A
Other languages
English (en)
Other versions
TW202223746A (zh
Inventor
游德榮
侯嘉德
何國維
吳悠嘉
Original Assignee
台灣松下電器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台灣松下電器股份有限公司 filed Critical 台灣松下電器股份有限公司
Priority to TW109143270A priority Critical patent/TWI748788B/zh
Application granted granted Critical
Publication of TWI748788B publication Critical patent/TWI748788B/zh
Publication of TW202223746A publication Critical patent/TW202223746A/zh

Links

Images

Landscapes

  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

一種存取物品的判斷方法適用於一智慧冰箱的一冰箱本體、一影像擷取單元、及一處理單元，並包含：當一使用者手持一物品放入該冰箱本體中或由該冰箱本體中取出時，該影像擷取單元對該冰箱本體的開口連續拍攝以產生多個輸入影像；該處理單元對每一該輸入影像計算對應的一影像標準差，該影像標準差表示對應的該輸入影像的顏色差異程度；該處理單元根據每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體中或是由該冰箱本體中被取出。

Description

存取物品的判斷方法及智慧冰箱
本發明是有關於一種判斷方法及一種冰箱，特別是指一種用於冰箱之物品是被存入或取出的判斷方法，及實施該判斷方法的智慧冰箱。
隨著科技的進步，各種智慧家電的功能也隨著不斷地被發展與應用。其中，冰箱更是每戶家庭所必需要使用的一種家電設備。對於存放在冰箱的物品所採用的管理與判斷方法中，例如已有使用人工智慧的機器學習模型，以事先準備的大量物品的照片資料作訓練，進而判斷冰箱的物品是否有被存入或取出。然而，是否具備其他不需要龐大的圖像資料量即能作有效判斷的方法或系統，便成為一個有待改善的問題。
因此，本發明的目的，即在提供一種不需要龐大的圖像資料量即能有效運作的存取物品的判斷方法及對應的智慧冰箱。
於是，本發明之一觀點，提供一種存取物品的判斷方法，適用於一冰箱本體、一影像擷取單元、及一處理單元，並包含步驟(A)~(C)。
於步驟(A)，當一使用者手持一物品放入該冰箱本體中或由該冰箱本體中取出時，該影像擷取單元對該冰箱本體的開口連續拍攝以產生多個輸入影像。
於步驟(B)，藉由該處理單元對每一該輸入影像計算對應的一影像標準差，該影像標準差表示對應的該輸入影像的顏色差異程度。
於步驟(C)，藉由該處理單元根據每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體中或是由該冰箱本體中被取出。
在一些實施態樣中，其中，在步驟(A)中，該等輸入影像包含對應該使用者的手由該冰箱本體外至該冰箱本體內再回到該冰箱本體外的時間長度。
在一些實施態樣中，其中，在步驟(C)中，該處理單元依照時序變化判斷該等輸入影像的該等影像標準差的一轉折點，再分別計算在該轉折點之前及之後的該等輸入影像的該等影像標準差的一第一平均值及一第二平均值，當該處理單元判斷該第一平均值小於該第二平均值時，判定該物品是由該冰箱本體中被取出，當該處理單元判斷該第一平均值大於該第二平均值時，判定該物品是被放入該冰箱本體中，該轉折點是相鄰兩個該輸入影像的兩個該影像標準差的變化是相對其餘者最大時。
於是，本發明之另一觀點，提供一種智慧冰箱，包含一冰箱本體、一影像擷取單元、及一處理單元，該影像擷取單元電連接該處理單元，並朝該冰箱本體的開口拍攝影像。
當一使用者手持一物品放入該冰箱本體中或由該冰箱本體中取出時，該影像擷取單元對該冰箱本體的開口連續拍攝以產生多個輸入影像。
該處理單元對每一該輸入影像計算對應的一影像標準差，該影像標準差表示對應的該輸入影像的顏色差異程度。
該處理單元根據每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體中或是由該冰箱本體中被取出。
在一些實施態樣中，其中，該等輸入影像包含對應該使用者的手由該冰箱本體外至該冰箱本體內再回到該冰箱本體外的時間長度。
在一些實施態樣中，其中，該處理單元依照時序變化判斷該等輸入影像的該等影像標準差的一轉折點，再分別計算在該轉折點之前及之後的該等輸入影像的該等影像標準差的一第一平均值及一第二平均值。當該處理單元判斷該第一平均值小於該第二平均值時，判定該物品是由該冰箱本體中被取出。當該處理單元判斷該第一平均值大於該第二平均值時，判定該物品是被放入該冰箱本體中。該轉折點是相鄰兩個該輸入影像的兩個該影像標準差的變化是相對其餘者最大時。
本發明的功效在於：藉由每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體中或是由該冰箱本體中被取出，使得該判斷方法及該智慧冰箱相對於採用人工智慧演算法的習知技術，能夠僅根據數量不多的該等輸入影像就可以正確地作出判斷。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1與圖2，本發明存取物品的判斷方法適用於一智慧冰箱100，包含一冰箱本體1、一影像擷取單元3、及一處理單元2。該處理單元2例如是一中央處理器或其他運算晶片，並例如是設置在該冰箱本體1上。該影像擷取單元3例如是一照相模組，並電連接該處理單元2，且朝該冰箱本體1的開口拍攝影像。再參閱圖3，圖3是該冰箱本體的1一立體示意圖，該冰箱本體包括一冷藏室11及一冷凍室12，但不以此為限。在本實施例中，該影像擷取單元3是設置在該冰箱本體1的該冷藏室11的內側的一左壁面111上的一位置P1，或一右壁面112上的另一位置P2。其中，兩個箭頭是代表該影像擷取單元分別設置在該位置P1、P2時的拍攝方向，但也不以此為限。
該存取物品的判斷方法包含步驟S1~S3。
於步驟S1，當一使用者手持一物品放入該冰箱本體1中或由該冰箱本體1中取出時，該影像擷取單元3對該冰箱本體1的開口連續拍攝以產生多個輸入影像。舉例來說，該智慧冰箱100還包含一動態感測器(如紅外線感測器)，當該使用者將該冰箱本體1打開後，且其手部接近該冰箱本體1的開口時，該動態感測器偵測到該使用者的手部，以直接觸發或經由該處理單元2間接觸發該影像擷取單元3拍照。換句話說，該等輸入影像包含對應該使用者的手由該冰箱本體1外至該冰箱本體1內再回到該冰箱本體1外的時間長度。在本實施例中，該等輸入影像的數量是六個。
再參閱圖4，圖4示例性地說明依照時間順序所拍攝的該六個輸入影像中的第一個該輸入影像A1、第三個該輸入影像A3、第四個該輸入影像A4、及第六個該輸入影像A6。
於步驟S2，該處理單元2對每一該輸入影像計算對應的影像標準差，該影像標準差表示對應的該輸入影像的顏色差異程度。更詳細地說，每一該輸入影像包含多個像素點的多個色域數值，例如是HSV色彩空間的H、S、V的個別數值，或RGB色彩空間的R、G、B的個別數值，但不以此為限。該處理單元2針對每一該輸入影像，先計算所有像素點的所有色域數值的一平均值，再計算每一該色域數值與該平均值的一標準差，而以該標準差作為該影像標準差。
再參閱圖4，舉例來說，第一個該輸入影像A1、第二個該輸入影像(圖未示)、第三個該輸入影像A3、第四個該輸入影像A4、第五個該輸入影像(圖未示)、及第六個該輸入影像A6的該影像標準差分別是47.1183、57.4701、58.3269、23.2689、24.7885、及18.2041。
於步驟S3，該處理單元2根據每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體1中或是由該冰箱本體1中被取出。更具體地說，該處理單元2依照時序變化判斷該等輸入影像的該等影像標準差的一轉折點，該轉折點是相鄰兩個該輸入影像的兩個該影像標準差的變化是相對其餘者最大時。承續前例，第三個該輸入影像A3及第四個該輸入影像A4所對應的兩個該影像標準差(即58.3269與23.2689)的變化等於35.0580(即23.2689-58.3269)，也就是相對於其他任兩個相鄰的該輸入影像所對應的兩個該影像標準差的變化還要更大。因此，該轉折點位在該第三個該輸入影像A3及第四個該輸入影像A4之間。
該處理單元2再分別計算在該轉折點之前及之後的該等輸入影像的該等影像標準差的一第一平均值及一第二平均值。當該處理單元2判斷該第一平均值小於該第二平均值時，判定該物品是由該冰箱本體1中被取出。而當該處理單元2判斷該第一平均值大於該第二平均值時，判定該物品是被放入該冰箱本體1中。
承續前例，該第一平均值及一第二平均值分別等於54.3及22.1，即54.3＞22.1，因此，對應圖4的該等輸入影像會被判定為該物品是被放入該冰箱本體1中。另外要特別補充說明的是：在其他的實施例中，該影像擷取單元1也可以設置在該冰箱本體1的其他位置，只要使得所拍攝到該等輸入影像能夠呈現出該轉折點的變化即可。
綜上所述，藉由該處理單元2根據該影像擷取單元3所產生的每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體1中或是由該冰箱本體1中被取出，使得該判斷方法及該智慧冰箱100相對於採用人工智慧演算法的習知技術，能夠僅根據數量不多的該等輸入影像就可以正確地作出判斷，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
100:智慧冰箱 1:冰箱本體 11:冷藏室 111:左壁面 112:右壁面 12:冷凍室 2:處理單元 3:影像擷取單元 S1~S3:步驟 A1、A3、A4、A6:輸入影像 P1、P2:位置
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一方塊圖，說明本發明存取物品的判斷方法所適用的一智慧冰箱； 圖2是一流程圖，說明本發明存取物品的判斷方法的一實施例； 圖3是一立體圖，舉例說明該實施例的一影像擷取單元的位置；及 圖4是一示意圖，舉例說明該實施例的四個輸入影像。
S1~S3:步驟

Claims (5)

  1. 一種存取物品的判斷方法，適用於一冰箱本體、一影像擷取單元、及一處理單元，並包含：(A)當一使用者手持一物品放入該冰箱本體中或由該冰箱本體中取出時，該影像擷取單元對該冰箱本體的開口連續拍攝以產生多個輸入影像；(B)藉由該處理單元對每一該輸入影像計算對應的一影像標準差，該影像標準差表示對應的該輸入影像的顏色差異程度；及(C)藉由該處理單元根據每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體中或是由該冰箱本體中被取出，該處理單元依照時序變化判斷該等輸入影像的該等影像標準差的一轉折點，再分別計算在該轉折點之前及之後的該等輸入影像的該等影像標準差的一第一平均值及一第二平均值，當該處理單元判斷該第一平均值小於該第二平均值時，判定該物品是由該冰箱本體中被取出，當該處理單元判斷該第一平均值大於該第二平均值時，判定該物品是被放入該冰箱本體中，該轉折點是相鄰兩個該輸入影像的兩個該影像標準差的變化是相對其餘者最大時。
  2. 如請求項1所述的存取物品的判斷方法，其中，在步驟(A)中，該等輸入影像包含對應該使用者的手由該冰箱本體外至該冰箱本體內再回到該冰箱本體外的時間長度。
  3. 一種智慧冰箱，包含一冰箱本體、一影像擷取單元、及一 處理單元，該影像擷取單元電連接該處理單元，並朝該冰箱本體的開口拍攝影像，其中，當一使用者手持一物品放入該冰箱本體中或由該冰箱本體中取出時，該影像擷取單元對該冰箱本體的開口連續拍攝以產生多個輸入影像，該處理單元對每一該輸入影像計算對應的一影像標準差，該影像標準差表示對應的該輸入影像的顏色差異程度，該處理單元根據每一該輸入影像的該影像標準差的變化情形，判斷該物品是被存入該冰箱本體中或是由該冰箱本體中被取出，該處理單元依照時序變化判斷該等輸入影像的該等影像標準差的一轉折點，再分別計算在該轉折點之前及之後的該等輸入影像的該等影像標準差的一第一平均值及一第二平均值，當該處理單元判斷該第一平均值小於該第二平均值時，判定該物品是由該冰箱本體中被取出，當該處理單元判斷該第一平均值大於該第二平均值時，判定該物品是被放入該冰箱本體中，該轉折點是相鄰兩個該輸入影像的兩個該影像標準差的變化是相對其餘者最大時。
  4. 如請求項3所述的智慧冰箱，其中，該等輸入影像包含對應該使用者的手由該冰箱本體外至該冰箱本體內再回到該冰箱本體外的時間長度。
  5. 如請求項3所述的智慧冰箱，其中，該影像擷取單元設置於該冰箱本體的一冷藏室的內側的一左壁面上或一右壁 面上。
TW109143270A 2020-12-08 2020-12-08 存取物品的判斷方法及智慧冰箱 TWI748788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109143270A TWI748788B (zh) 2020-12-08 2020-12-08 存取物品的判斷方法及智慧冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109143270A TWI748788B (zh) 2020-12-08 2020-12-08 存取物品的判斷方法及智慧冰箱

Publications (2)

Publication Number Publication Date
TWI748788B true TWI748788B (zh) 2021-12-01
TW202223746A TW202223746A (zh) 2022-06-16

Family

ID=80680974

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143270A TWI748788B (zh) 2020-12-08 2020-12-08 存取物品的判斷方法及智慧冰箱

Country Status (1)

Country Link
TW (1) TWI748788B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM510506U (zh) * 2015-06-16 2015-10-11 Nat Taichung University Science & Technology 即時紀錄冰箱物品的紀錄系統
US20200041200A1 (en) * 2019-01-21 2020-02-06 Lg Electronics Inc. Artificial intelligence refrigerator
CN111950414A (zh) * 2020-07-31 2020-11-17 广州微林软件有限公司 一种箱柜食物识别系统及识别方法
CN112001430A (zh) * 2020-08-07 2020-11-27 海尔优家智能科技（北京）有限公司 冰箱食材检测方法、装置、存储介质及电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM510506U (zh) * 2015-06-16 2015-10-11 Nat Taichung University Science & Technology 即時紀錄冰箱物品的紀錄系統
US20200041200A1 (en) * 2019-01-21 2020-02-06 Lg Electronics Inc. Artificial intelligence refrigerator
CN111950414A (zh) * 2020-07-31 2020-11-17 广州微林软件有限公司 一种箱柜食物识别系统及识别方法
CN112001430A (zh) * 2020-08-07 2020-11-27 海尔优家智能科技（北京）有限公司 冰箱食材检测方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
TW202223746A (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
US11158063B2 (en) Objects and features neural network
US10217221B2 (en) Place recognition algorithm
CN111051799B (zh) 冷藏库
CN110929658A (zh) 图像识别方法、图像识别装置及冰箱
CN108881711A (zh) 通过按需传感器激活来实现多传感器摄像头设备中的功率减小
CN106504265B (zh) 运动估计优化方法、设备和系统
CN105791674A (zh) 电子设备和对焦方法
CN109869966A (zh) 冰箱
WO2023185832A1 (zh) 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质
TWI748788B (zh) 存取物品的判斷方法及智慧冰箱
CN103984931B (zh) 一种信息处理方法及第一电子设备
JP7113281B2 (ja) 冷蔵庫
CN111061911B (zh) 面向多视频监控数据的目标检测与追踪方法、装置及设备
TWI747653B (zh) 存取物品的判斷方法及智慧冰箱
WO2018219304A1 (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
KR20220011450A (ko) 물품을 식별하는 장치, 서버 및 식별하는 방법
Chelani et al. Privacy-preserving representations are not enough: Recovering scene content from camera poses
US9361538B2 (en) Real time photometric edge description
US20230222769A1 (en) Identifying stored products in domestic storage devices
CN115638599A (zh) 制冷设备的食材信息管理方法、制冷设备和可读存储介质
TWM510506U (zh) 即時紀錄冰箱物品的紀錄系統
TW201218121A (en) Image depth information refreshing method and device
CN114383377B (zh) 冰箱置物空间的图像分区方法、冰箱和计算机可读存储介质
Millar Review of Current Methods for Re-Identification in Computer Vision.
CN110210385A (zh) 物品追踪方法、设备、系统及存储介质