TW201510752A - 用以識別在家電裝置使用之物品之資訊處理系統及防犯系統 - Google Patents

Abstract

本揭示內容，是一種資訊處理系統，具備有從物品之資訊所生成的辨識資料庫，且物品與家電裝置有關聯，根據與物品有關聯之家電裝置的物品使用檢測資訊，和辨識資料庫進行匹配處理，來將家電裝置所使用的物品進行特定。藉由上述構成，可以根據從已購入的物品之資訊所生成的辨識的資料庫、以及和購入物品之購入者有關聯的家電裝置之物品使用檢測資訊，來將家電裝置所使用的物品進行識別。

Description

用以識別在家電裝置使用之物品之資訊處理系統及防犯系統 發明領域

本揭示內容是一種有關於用以識別在家電裝置使用之物品之資訊處理系統及防犯系統。

發明背景

洗衣機或冰箱等家電裝置，與洗劑或食品等各種日用品或食品息息相關。例如，洗衣機要洗衣服，需要衣類洗劑或柔軟精，如果是冰箱的話，則會把牛肉或蛋等食品保管於庫內。在家電裝置中，如果可以進行這些物品的識別，即可進行使用了家電裝置的各種服務。例如，可以實現：配合所使用之洗衣洗劑的洗衣行程自動設定、或是確認冰箱內的食品而推薦用餐菜單等。

但是，在現在的家電裝置中，無法識別這些物品、或是利用物品的時點。

為了要自動地識別各種物品，一般多使用照相機的圖像辨識(例如，專利文獻1)。

先前技術文獻

【專利文獻1】日本發明公開公報特開平10- 9753號

發明概要

本揭示內容之一態樣的資訊處理系統，具備有從已購入的物品之資訊所生成的辨識資料庫，且已購入的物品與家電裝置有關聯，根據與已購入的物品有關聯之家電裝置的物品使用檢測資訊，和辨識資料庫進行匹配處理，來將家電裝置所使用的物品進行識別。

藉由這樣的構成，可以根據從已購入的物品之資訊所生成的辨識的資料庫、以及和購入物品之購入者有關聯的家電裝置之物品使用檢測資訊，來將家電裝置所使用的物品進行識別。

另外，這些包括性或具體的態樣，可由系統、方法、積體電路、電腦程式、或者記錄媒體來實現，也可由系統、裝置、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。

【圖1】圖1是顯示本揭示內容之實施形態1中的構成與處理之流程的圖。

【圖2】圖2是顯示以通用的所有食材作為對象，使用了圖像辨識的資料庫之匹配處理的圖。

【圖3】圖3是顯示本揭示內容之實施形態1中的資料庫之匹配處理的圖。

【圖4】圖4是顯示本揭示內容之實施形態2中的 構成與處理之流程的圖。

【圖5】圖5是顯示本揭示內容之實施形態2中的處理之流程的圖。

【圖6A】圖6A是顯示本揭示內容之實施形態2中的資料庫生成之流程的圖。

【圖6B】圖6B是顯示本揭示內容之實施形態2中的圖像辨識處理之流程的圖。

【圖7】圖7是顯示本揭示內容之實施形態3中的構成與處理之流程的圖。

【圖8】圖8是顯示本揭示內容之實施形態3中的辨識處理之流程的圖。

【圖9】圖9是顯示本揭示內容之實施形態3中的辨識資料庫之表格的圖。

【圖10】圖10是顯示本揭示內容之變形例‧應用例中的構成與處理之流程的圖。

【圖11】圖11是顯示本揭示內容之變形例‧應用例中的構成與處理之流程的圖。

【圖12】圖12是顯示本揭示內容之變形例‧應用例中的構成與處理之流程的圖。

【圖13】圖13是顯示本揭示內容之變形例‧應用例中的處理之流程的圖。

用以實施發明之形態

首先，本發明人對於進行本揭示內容之各態樣的 發明，說明所研討的事項。

在以食品等多種多樣的物品作為對象時，圖像辨識的精度會成為課題。該理由有如下幾個。理由之一可舉例如：即使同為物品，也會有像橘子和香橙這樣，外觀長得很像的案例；即使同為西瓜，也會有加工切成1/3份或1/8份等而形狀有變化的情況等。又，也可舉例如：對辨識對象物品進行查詢的辨識資料庫的大小，也就是因為辨識的候補會成為食材全體，所以匹配對象規模會變得很大，結果，會增加錯誤辨識。

又，像洗衣機這樣的機器，和使用者會有想看裡面內容物需求的冰箱不同，只為了將洗劑識別而搭載照相機，以成本面來看，難以實際安裝圖像辨識用的照相機。

(實施形態1)

圖1是顯示本揭示內容之實施形態1的資訊處理系統的構成與處理之流程的圖。假設使用者在如超級市場般的賣店購入了例如「橘子、切1/3份的西瓜、A公司的調味料」這3個東西。此時，使用這個販賣管理裝置(收銀機、POS系統等)的會計資訊，把在賣店之購入物品的資訊，發送至雲端伺服器側。購入物品的資訊會和購入物品的使用者(以下，也記載為購入者)的資訊產生關聯。在雲端伺服器中，會生成只包含使用者之購入物來作為參考資料的圖像辨識資料庫。藉由此圖像辨識資料庫生成處理，會限制應進行辨識的物體。藉此，即使是像香橙或橘子這樣外觀相似的物品，錯誤辨識的機率也會下降。

接著，檢測在家電裝置的物品使用情形。家電裝置會與購入物品之使用者的資訊產生關聯。例如，此圖之例的情況是假設為冰箱，在冰箱的情況下，當把物品放入庫內時，或者是從庫內取出時，會進行物品使用的檢測。物品之使用檢測，是由家電裝置所具備的照相機等拍攝裝置所進行，並把來自於庫內的取出放入物品之圖像作為物品使用檢測資訊而輸出。

使購入物品之資訊與家電裝置間產生關聯的方法，可考慮如下的幾個方法。例如，有透過會員資訊等個人ID來進行的方法。在超級市場或便利商店，常常會派發在物品購入時會賦予點數特典的會員卡等，購入物品之一覽資訊多半會和這些卡片資訊所具有的個人ID產生關聯。事先使此個人ID與家電裝置所具有的機器ID產生關聯，藉此，可實現家電裝置與購入物品間的相互關聯。又，除此之外，也可在購入處理時，發行與購入物品之資訊有關聯的唯一ID。此時，當由販賣管理裝置進行了購入處理的時候，發行並印刷唯一ID於各收據。唯一ID有二維條碼、數字等幾種手段。把此唯一ID之資訊和與之相關聯的購入物品之資訊，事先發送至雲端伺服器側。購入物品的使用者在回到自己家時，以家電裝置的照相機將印刷有該唯一ID的收據進行掃描。另外，也可以不進行掃描，而是以手動來輸入號碼。家電裝置從雲端伺服器取得與所掃描到的唯一ID相對應的購入物品之資訊。

最後，把作為物品使用檢測資訊的來自於庫內的 取出放入物品之圖像，發送至雲端伺服器。然後，在雲端伺服器側進行圖像辨識處理。此時，在僅包含剛剛的購入物的圖像辨識資料庫內的物品中，只將特徵量最接近的東西進行匹配。

關於作為本揭示內容之特徵的圖像辨識資料庫之匹配處理部分，使用圖2與圖3的概念圖來進行說明。在圖2之例中，是把圖像辨識的對象作為通用的食材全部，並且圖像辨識資料庫也配合上述而準備了包含所有食材的大小較大的資料庫。因此，例如即使是西瓜這1個種類，也將切成各種樣子的西瓜登錄為參考資料。此外，在圖像辨識之時，還需要與圖像辨識資料庫上所有的登錄資料進行圖案匹配。換言之，會成為正確解答的候補很多，難以得到正確的辨識結果。又，為了更加得到辨識處理的回應性，必須提升雲端伺服器的性能，成本也會有提高的傾向。

如圖3，本揭示內容的情況，與剛剛的圖2之案例不同，可根據購入資訊而從圖像辨識資料庫來限定會成為參考資料的登錄資料。藉此，外觀相似而難以辨識的東西會變少，可以以較高的精度來進行辨識。另外，像新製品等，還沒有在通用的食材之圖像辨識資料庫中的情況，也可根據來自於店鋪的商品資訊而追加於圖像辨識資料庫。又，一般而言非大量生產的東西，特別像是在店裡調理過的菜餚，或是包裝和內容物完全不同的東西等，也可把實際上店裡所賣的商品本身的圖像、或是經過了同樣的加工或包裝的同一品種的商品，作為代表性的商品而登錄於圖 像辨識資料庫。又，像可以切削的水果等，在從冰箱取出前、和使用之後收納於冰箱的情況下，辨識物體的形狀會有變化，也可在此時，從收納時的圖像，再構成與該物體有關的圖像辨識資料庫。如此，由於可以基於所購入之物品的圖像、或是與購入物品進行同樣的加工或包裝的東西的圖像，來作成圖像辨識資料庫，所以在進行圖像辨識時，可以得到更正確的辨識結果。

另外，被登錄在圖像辨識資料庫的資訊，當該物品已被使用時，會自動地進行刪除。舉一例如：在各物品已經過了各有效期限時，由於該物品已經被使用、或者是無法使用，所以可判斷為不須辨識而從圖像辨識資料庫進行刪除。其他，像是需冷藏的商品，檢測到已將之從冰箱取出，並且經過1天以上都沒有放回冰箱時，也可判斷為物品已經無法使用而進行刪除。又，使用者可以用聲音或機器操作等以手動來將已經使用一事進行輸入，也可以是檢測到冷凍食品等已被電子微波爐所使用而自動地刪除。

(實施形態2)

圖4是顯示本揭示內容之第2實施形態的資訊處理系統的構成與處理之流程的圖。此例顯示了可以用終端來確認冰箱的內容物一覽的資訊處理系統之構成。另外，以下省略與實施形態1同樣的構成部分的說明，僅說明本實施形態特有的部分。

在本揭示內容中，是以從智慧型手機等終端，取得冰箱等家電裝置內的保存物一覽的處理為例，來進行說 明。因此，在雲端伺服器上，辨識從冰箱取出的物品而進行內容物的一覽管理。在有來自於終端的詢問時，送交所管理的冰箱內之內容物一覽表。

圖5是顯示系統之處理流程的圖。最先是在像賣店之收銀機這樣的販賣管理裝置中，進行購入時登錄處理。此購入時登錄處理的對象，可以和一般店鋪的會計資訊為相同的資料。又，也可以是將購入物金額消去的資料，或者是購入物這個東西本身的圖像之資訊，只要是可以將購入物品識別的資訊即可。藉由此購入時登錄處理，把使用者之購入物的資訊發送至雲端伺服器。像新製品或在店鋪進行了加工的菜餚這樣的東西，也可以配合圖像、或者是用來進行圖像辨識的元資料(顏色及/或形狀等)而進行送交。

在雲端伺服器側，根據此一覽資訊來進行圖像辨識資料庫生成(選擇)處理。此圖像辨識資料庫生成(選擇)的處理，是更進一步地由圖6A的處理所構成。一開始，接收購入物的資訊，決定要生成的圖像辨識資料庫中所含的物品。接著，根據既有的一般圖像辨識資料庫，從中只選擇剛剛已取得的購入物品的資訊，生成圖像辨識資料庫。此時，在既存之圖像辨識資料庫中沒有的菜餚這樣的店內加工品，也可重新追加於圖像辨識資料庫(圖3)。最後，進行圖像辨識匹配方法的選擇。例如，在所生成的圖像辨識資料庫，只有像「蘋果」和「橘子」這樣，形狀相同但顏色不同的物體時，僅使用該等的顏色的特徵量來進行圖案匹 配即可。又，在只有像「西瓜」和「酢橘」這樣，形狀相同但大小不同的物體時，僅使用大小的特徵量來進行匹配即可。當然，也需要配合以前放入冰箱的物品的資訊來選擇辨識方法。如以上所述，藉由選擇已生成的圖像辨識資料庫、以及最適化後的圖像辨識匹配方法，可以進行精度高、且處理量較少的圖像辨識。

接著，在家電裝置側進行物品之放入及/或物品之使用的檢測。此時，將辨識對象物品的圖像資訊發送至雲端伺服器。此時，例如冰箱，用拍攝裝置監視冰箱入口，來檢測物品之放入及/或使用。另外，也可為：如果門扉有開閉，則視為有物品放入及/或使用，而生成檢測資訊。又，洗衣機也可以在使用了「洗滌」選單時，來進行物品、也就是洗劑或柔軟精等物品之放入及/或物品之使用的檢測。

在雲端伺服器，根據圖像辨識資料庫以及由家電裝置送來的圖像資訊，進行圖6B的圖像辨識處理。在雲端伺服器側，進行待機，直到有來自家電裝置的輸入。在等待輸入的狀態下，當有來自於家電裝置的輸入時，進行圖像辨識處理。另外，圖像辨識的方法如前所述，可以使用以圖像辨識資料庫生成(選擇)處理所決定者，也可一貫地使用事先所決定者。最後，選擇在辨識結果中特徵量最接近的圖像辨識資料庫內的物體。把藉由以上的處理所得到的家電裝置所使用的物品資料，積存於雲端伺服器。

當從終端側，用智慧型手機應用程式對雲端伺服 器產生了冰箱內容物一覽之詢問資料要求時，在雲端伺服器側，作成內容物一覽列表。這是把物品的一覽作成使用者可以確認的一覽表的處理，例如生成HTML。將此生成的結果發送至終端側，用終端側的瀏覽器應用程式來進行顯示。

(實施形態3)

圖7是顯示本揭示內容之第3實施形態3的資訊處理系統的構成與處理之流程的圖。與圖4所示之第2實施形態的不同點在於：圖像辨識資料庫上之家電屬性的有無，並且使用在複數個家電裝置的放入、取出檢測資訊來進行辨識。

在圖7之例中，使用了2個家電裝置的資料。以下，將這2個家電裝置分別說明為冰箱與電子微波爐。在此圖中，使用者一開始在超級市場購入的物品是「A公司調味料、B公司殺菌包裝食品、C公司甜點」。在此，假設：這些包裝的外觀都很相似，在照相機的拍攝條件中難以進行辨識。在此條件下，若例如只以照相機圖像來進行圖像辨識，則圖像辨識的精度會成為課題。但是，如本實施形態般，藉由組合實際使用的各家電裝置與被賦予給圖像辨識資料庫的家電屬性，則可以提高辨識的精度。

例如，說明如圖8般從冰箱取出B公司殺菌包裝食品，之後馬上用電子微波爐加熱的情況。在本實施形態中，於圖像辨識資料庫的特徵量中包含有家電屬性。舉一例表示如圖9的圖像辨識資料庫表格。在此表格中，在品項 名，有成為辨識結果的物體之名稱，而該等的特徵量資料，則有家電屬性1、家電屬性2、大小等資訊。另外，上述以外的特徵量，也可以有顏色或包裝的印刷文字或條碼等。家電屬性1顯示了有可能使用物品的家電的資訊。例如，在「A公司調味料、B公司殺菌包裝食品、C公司甜點」之中，只有B公司殺菌包裝食品，會有可能被冰箱與電子微波爐兩者所使用。因此，在進行了在冰箱的取出檢測之後，又進行了在電子微波爐的放入檢測時，可以判斷：此物品為B公司殺菌包裝食品的可能性很高。

如以上所述，在家電裝置的放入及/或取出檢測時，也使用家電屬性資訊以及是哪個家電裝置使用了物品的使用資訊，來作為辨識處理的特徵量，藉此，可實現更高的辨識精度。

(變形例、應用例)

在家電裝置沒有辨識機能的情況下，也可將實施形態3的構成，利用為用來將放入物品進行預測的預測機構。圖10是顯示使用沒有圖像辨識機能的電子微波爐時的構成與處理之流程的圖。例如，在圖9之例中，在使用者購入物的「A公司調味料、B公司殺菌包裝食品、C公司甜點」之中，具有電子微波爐之家電屬性的東西只有B公司殺菌包裝食品而已。此時，在將物品放入電子微波爐時，可預測應該是B公司的殺菌包裝食品被放進去。

又，也可以使用在雲端伺服器側處理好的辨識結果，來將控制指令等送至家電裝置。例如圖11般，在家電 裝置1(冰箱)辨識出B公司的殺菌包裝食品之後，馬上於電子微波爐進行了放入、取出檢測時，可進行與B公司殺菌包裝食品之解凍相對應的家電設定等之控制(發送控制指令)。

又，該等各處理可以在家電裝置側、雲端伺服器側中之任一側進行。例如，如圖12、圖13，可以在家電裝置側進行實施圖像辨識以後的所有處理。另外，在上述所有的實施形態例中，是以圖像辨識為例來進行了說明，但辨識並不限於圖像。例如，也可以使用聲音辨識。在聲音辨識的情況下，例如有如下方法等：使用者從冰箱取出物品時，以聲音來輸入「取出橘子」。此時，例如以圖3為例而進行說明，於聲音辨識資料庫只輸入了「橘子、切1/3份的西瓜、A公司調味料」，由於只要把該資料庫的3個詞彙和來自於使用者的「取出橘子」這樣的聲音輸入互相匹配即可，所以可得到較高的聲音辨識精度。

又，已說明了基於大小或顏色等物體之特徵量來進行匹配的圖像辨識方法，但本揭示內容並不限制於這些圖像辨識方法。例如，也可將圖像本身、或圖像內的亮度分布，單純地進行圖案匹配。

另外，本揭示內容在記載於實際形態的用途以外，可以使用於廣泛的用途。例如，也可適用於宅配便的防犯服務。雲端伺服器具有由宅配便業者保持管理，與宅配到顧客家的宅配者有關的資料庫。而且，販賣管理裝置會把宅配站所管理的今天是由哪個宅配者到訪哪個顧客家的宅配行程，輸入至雲端伺服器。然後，家電裝置是設置 於顧客家，當宅配者到訪時，會取得該宅配者的臉的圖像等，向雲端伺服器進行詢問。之後，雲端伺服器會根據所取得的宅配者的臉的圖像、以及宅配站之販賣管理裝置所輸入的宅配行程，來確認是不是正確的宅配者，並以同樣設置在顧客家的終端來顯示結果。另外，在雲端伺服器，眾多的宅配者之中，只有可能會負責當日配送的數名，會被作為辨識對象而列出。藉此，可以提升家電裝置側的辨識精度。藉由使用如以上的機制，如果是假裝成宅配業者的犯罪者，會顯示為不正確，所以具有可防止被捲入犯罪事件的效果。

【產業上之可利用性】

藉由本揭示內容之資訊處理系統，可以將家電裝置所使用的物品進行識別。又，使用圖像辨識技術，可建構出家電裝置之防犯系統。

Claims (11)

1. 一種資訊處理系統，具備有從物品之資訊所生成的辨識資料庫，前述物品與家電裝置有關聯，根據與前述物品有關聯之家電裝置的物品使用檢測資訊，和前述辨識資料庫進行匹配處理，來將前述家電裝置所使用的物品進行識別。
2. 如請求項1之資訊處理系統，其中前述辨識資料庫，是基於前述物品的圖像、或是與前述物品經過同樣的加工或封裝之物品的圖像而生成的。
3. 如請求項1之資訊處理系統，藉由圖像辨識、或聲音辨識，來將前述家電裝置所使用的物品進行識別。
4. 如請求項1之資訊處理系統，配合前述物品之資訊，來選擇前述匹配處理的方法。
5. 如請求項1之資訊處理系統，其中前述物品是已購入的物品，並且，使用購入者之會員資訊等個人ID，來進行與家電裝置產生關聯。
6. 如請求項1之資訊處理系統，藉由以前述家電裝置讀取在購入時由販賣管理裝置所發行的唯一ID，來使前述已購入的物品與家電裝置產生關聯。
7. 如請求項1之資訊處理系統，其中前述辨識資料庫包含有如下之屬性資訊：依每一物品來顯示有使用該物品之可能性的家電裝置的資訊； 使用前述屬性資訊、以及用哪個家電裝置使用了物品的使用資訊，來將前述家電裝置所使用的物品進行識別。
8. 如請求項1之資訊處理系統，更進一步地根據在複數個家電裝置的物品使用檢測資訊，來進行辨識或辨識修正處理。
9. 一種資訊處理系統，具備有從已購入的物品之資訊所生成的預測資料庫，前述已購入的物品與家電裝置有關聯，根據與前述已購入的物品有關聯之家電裝置的物品使用資訊，使用前述預測資料庫，來預測前述家電裝置所使用的物品。
10. 如請求項9之資訊處理系統，將與前述家電裝置所使用的物品有協作關係的家電控制指令，提供給前述家電裝置、或相關連的別的家電裝置。
11. 一種防犯系統，具備有登錄了1人以上之到訪者之候補之資訊的辨識資料庫，對於到訪地點之住宅的家電裝置，預先給予利用前述辨識資料庫的指示，並根據前述家電裝置的人物到訪之檢測資訊，來判定到訪者是不是前述辨識資料庫中的人物。