TWI751977B - 冰箱、具有該冰箱之網路系統、生活狀況之通報方法以及生活狀況之通報程式 - Google Patents

Abstract

由第1使用者所使用的冰箱(1)，其包括：存放食品的貯藏室；執行通訊的通訊部(23)；取得貯藏室內之影像的攝影裝置(27)；從攝影裝置(27)所取得的貯藏室影像擷取出食品影像的影像管理部(101)；食品狀況檢出部(103a)，從某一期間中的食品影像，檢出存放在貯藏室內的食品之狀況的變化；使用狀況取得部(104)，從食品狀況檢出部(103a)所檢出的食品之狀況的變化，取得表示該第1使用者對冰箱(1)的使用狀況之第1資訊；生活管理部(105)，從第1資訊判斷得知第1使用者的生活狀況應該要向與第1使用者不同的第2使用者通報的情況下，透過通訊部(23)，將表示該生活狀況的第2資訊向該第2使用者所使用的終端裝置(70)通報。

Description

冰箱、具有該冰箱之網路系統、生活狀況之通報方法以及生活狀況之通報程式

本發明係關於具有通訊功能的冰箱及包含該冰箱之網路系統、冰箱使用者之生活狀況的通報方法、及使電腦執行通報方法的生活狀況之通報程式。

近年來，在日本國內，全部人口中高齡者(65歲以上者)所占的比例日漸增加中。另外，還有構成1戶的人數減少，1人戶(獨居)增加的傾向。因此，必須要確認獨居的高齡者是否平安，並確認其是否需要看護。不過，人的生活狀況是可以由其本人(使用者)的冰箱的使用狀況來推知的。這是因為，冰箱的使用狀況和冰箱使用者之生活一部分的飲食生活密切相關的緣故。

專利文獻1記載一種技術，其在食品上安裝無線射頻標籤，基於從無線射頻標籤傳送之資訊和從冰箱內的溫度感測器傳送的溫度資訊，依據可保存期間-保存溫度-品質耐性(TTT)理論來推定食品的品質劣化特性。

另外，專利文獻2記載一種冰箱，其作為物品保存庫，將拍攝冰箱內及冰箱外所得到的影像資料，透過伺服器傳送到行動電話機(行動終端)，使得能夠從遠隔地監視冰箱內 及冰箱外。

先行技術文獻

【專利文獻】

專利文獻1：日本專利特開2006-317109號公報(例如，段落0027-0042、第5圖)

專利文獻2：日本專利特開2007-46833號公報(例如，段落0021-0025、第1圖)

但是，專利文獻1所記載的技術有如後的問題：，為了要取得表示冰箱的使用狀況的資訊，並需要有類似如貼附在食品上的無線射頻標籤用的讀取器及寫入器等的專用裝置，而使得系統整體的成本增加。

另外，專利文獻2所記載的冰箱，不需要有讀取器及寫入器等的專用裝置，能夠將冰箱內外的影像資料傳送到使用者的行動終端，將冰箱內外的影像顯示在使用者的行動終端的顯示部。但是有如後的問題：其無法進行基於冰箱使用狀況的判斷(例如，關於使用者生活狀況的判斷)。

再者，專利文獻1及2都沒有記載將冰箱之使用者的生活狀況向其他使用者(使用者以外的人，第三者)所使用的終端裝置(第2使用者終端)通報的技術。

本發明係為了解決上述的課題，其目的在於提供冰箱及包含該冰箱之網路系統、冰箱之使用者的生活狀況之通報方法以及使電腦執行通報方法生活狀況之通報程式，其能夠 將由存放在貯藏室內之食品的影像資訊取得之冰箱的第1使用者的生活狀況，向第2使用者(冰箱的第1使用者以外的人)所使用的終端裝置通報。

本發明一態樣的冰箱其係為包括存放食品的貯藏室、以及執行通訊的通訊部，由第1使用者所使用的冰箱，該冰箱包括：取得該貯藏室內之影像的攝影裝置；從該攝影裝置所取得的該影像擷取出食品影像的影像管理部；食品狀況檢出部，從某一期間中的該食品影像，檢出存放在該貯藏室內的食品之狀況的變化；使用狀況取得部，從該食品狀況檢出部所檢出的該食品之狀況的變化，取得表示該第1使用者對該冰箱的使用狀況之第1資訊；及生活管理部，從該第1資訊判斷得知該第1使用者的生活狀況應該要向與第1使用者不同的第2使用者通報的情況下，透過該通訊部，將表示該生活狀況的第2資訊向該第2使用者所使用的終端裝置通報。

本發明另一態樣的網路系統，其包括：該冰箱；及與該冰箱以可通訊的方式連接，由該第2使用者所使用的該終端裝置。

本發明另一態樣的生活狀況之通報方法，其包括：拍攝由第1使用者所使用的冰箱的貯藏室內，藉以取得該貯藏室內的影像之步驟；從已取得的該影像擷取出食品影像的步驟；從某一期間中的該食品影像，檢出存放在該貯藏室內的食品之狀況的變化的步驟；從已檢出的該食品之狀況的變化，取得表示該第1使用者對該冰箱的使用狀況之第1資訊的步驟； 及從該第1資訊判斷得知該第1使用者的生活狀況應該要向與第1使用者不同的第2使用者通報的情況下，將表示該生活狀況的第2資訊向該第2使用者所使用的終端裝置通報的步驟。

依據本發明，能夠由從食品影像檢出的食品之狀況的變化取得表示第1使用者對冰箱的使用狀況之第1資訊，從第1資訊判斷為第1使用者的生活狀況屬於應該要向第2使用者通報的狀況時，將表示生活狀況的第2資訊向第2使用者所使用的終端裝置(其他使用者終端)通報。因此，收到表示第1使用者的生活狀況之第2資訊的第2使用者，能夠對第1使用者採取適當的處置。

1，2，3，4‧‧‧冰箱

11‧‧‧冷藏室

12‧‧‧製冰室

13‧‧‧切換室

14‧‧‧冷凍室

15‧‧‧蔬果室

16‧‧‧冷藏室層架板

17‧‧‧冷卻室

18‧‧‧冷卻盒

19‧‧‧冷卻風路

20:門片

21，21a:操作面板

22:開閉檢出部

23:通訊部

24:記憶部

25:時刻提供部

27:攝影裝置

62:冰箱內食品一覽顯示畫面

70:第2使用者終端(其他使用者終端，終端裝置)

71:顯示部

91，91a~91e:有預定計畫標記

92(92a~92g):預定計畫內容標記

93:現在時刻

94、94a、94b:平常期間中已預定的外出時間帶

95、95a、95b:平常期間以外的期間中預定的外出時間帶

96:就寢時間帶

100，200，300:控制部

101:影像管理部

102:變化檢出部

103:劣化檢出部

103a:食品狀況檢出部

104:使用狀況取得部

105:生活管理部

106:食品資訊記憶部

107:食品辨識部

108:日程表管理部

109:日程表設定部

110，210，310:控制基板

500:宅內系統

501:系統電源

502:電線

503:電力計測裝置

504:電力計測端子

505:宅內控制器

506:寬頻路由器

515:機器通訊部

600:宅外系統

601:網際網路

602:雲端伺服器

603:個人認證部

第1圖為顯示本發明實施形態1的冰箱之概略構造的正面圖。

第2圖為顯示實施形態1的冰箱之冷藏室的概略構造(用線段II-II切開第1圖的剖面構造)之剖面圖。

第3圖為概略顯示實施形態1的冰箱的控制系統之構成的方塊圖。

第4圖為表示實施形態1的冰箱之動作的流程圖。

第5圖(a)到(d)為顯示實施形態1的冰箱之冷藏室的拍攝影像、從拍攝影像擷取的食品影像、及食品影像的附帶資訊之例的圖。

第6圖(a)及(b)為顯示從實施形態1的冰箱的冷藏室的攝影影像擷取的食品影像在行動終端的顯示畫面之例的圖。

第7圖為顯示從實施形態1的冰箱的冷藏室之攝影影像擷取的食品影像在行動終端之顯示畫面之例的圖。

第8圖(a)及(b)為用以說明實施形態1的冰箱的變化檢出部中的食品影像之時間變化檢出方法的模式圖。

第9圖(a)及(b)為表示實施形態1的冰箱的食品影像在行動終端中的顯示畫面之例的圖。

第10圖為顯示本發明實施形態2的冰箱之冷藏室的概略構造(用線段II-II切開第1圖的剖面構造)之剖面圖。

第11圖為概略顯示實施形態2的冰箱的控制系統之方塊圖。

第12圖為表示實施形態2的冰箱的食品資訊記憶部中所記憶之內容之例的圖。

第13圖為用以說明實施形態2的冰箱之動作的流程圖。

第14圖為顯示本發明實施形態3的冰箱之冷藏室的概略構造(用線段II-II切開第1圖的剖面構造)之剖面圖。

第15圖為概略顯示實施形態3的冰箱的控制系統的構成之方塊圖。

第16圖為顯示實施形態3的冰箱的操作面板(日程表設定部)中的日程表顯示畫面(月單位顯示)之例的圖。

第17圖為顯示實施形態3的冰箱的操作面板(日程表設定部)中的日程表顯示畫面(週單位顯示)之例的圖。

第18圖為顯示實施形態3的冰箱的操作面板(日程表設定部)中的日程表顯示畫面(日單位顯示)之例的圖。

第19圖為顯示本發明實施形態4的具備冰箱的網路系統所適用的宅內系統及宅外系統的整體構成。

《1》實施形態

《1-1》構成

第1圖為顯示本發明實施形態1的冰箱1的概略構造之正面圖。如第1圖所示，實施形態1的冰箱1具有用以存放食品的複數個貯藏室。複數個貯藏室包括例如冷藏室11、製冰室12、切換室13、冷凍室14、及蔬果室15。第1圖所示的例中，從上方起依序配置冷藏室11、製冰室12和切換室13、冷凍室14、及蔬果室15。另外，製冰室12和切換室13係在水平方向左右並排配置。冰箱1具有將貯藏室冷卻的冷卻裝置。冷卻裝置具備冷凍循環迴路，其包括例如壓縮機、凝縮器、膨脹閥、及蒸發器。藉由冷凍循環迴路將複數個貯藏室冷卻。再者，實施形態2(第10圖)、實施形態3(第14圖)中也會參照第1圖。在實施形態2、3、及4中，分別將冰箱1標記為冰箱2、3、及4。

在冷藏室11的門片(冷藏室門片)20的前面(正面)可設置操作面板21，其具有作為顯示裝置的顯示部(顯示畫面)。可以將貯藏室資訊(冰箱內資訊，為該各貯藏室的設定溫度及現在溫度等的冰箱1相關資訊)顯示在操作面板21的顯示畫面上。操作面板21具有例如接收使用者的輸入之觸控面板。操作面板21的設置位置不限於冷藏室11的門片20，亦可設置於其他貯藏室的門片外面或者冰箱1的側面等的其他位置。另外，例如，製冰室12、切換室13、冷凍室14、及蔬果室15構成為，可以連同設置在其前面的門片一起被拉出向冰箱1的近側滑動。第1圖顯示本發明可適用之冰箱的一例，但本發明 可適用的冰箱並不限定於第1圖所示的冰箱。

第2圖為顯示實施形態1的冰箱1之冷藏室11的概略構造(用線段II-II切開第1圖的剖面構造)之剖面圖。如第2圖所示，冰箱1具有門片20，用以開閉冷藏室11前面側(第2圖中的左側)的開口部。冷藏室11，係藉由配置在內部的複數層架板(層架)16，區隔成複數的空間。最下層的層架板16下側的空間為冷卻室17。冷卻室17的內部設置了冷卻盒18，其能夠沿著軌道等的引導元件(未圖示)，向前方(第2圖中的左方向)拉出。另外，冷藏室11的背面側(第2圖中的右側)設有冷卻風路19，其作為將冷凍循環迴路所冷卻的空氣導向貯藏室的通路。

與門片20相接的冰箱1的本體上，設有開閉檢出部22，作為檢出門片20的開閉之開閉檢出裝置。開閉檢出部22為磁鐵方式的裝置，其係為例如由設置於冰箱1之本體的1對磁簧開關(reed switch)檢出埋設於門片20的磁鐵(永久磁石)的靠近。不過，開閉檢出部22亦可為採用機械式的開關或者光學式的開關等的其他檢出方式的檢出裝置。

另外，冰箱1具有控制基板110，其包含用以使冰箱1動作的控制電路(控制部)。控制基板110安裝在例如冰箱1的背面。

在門片20的內側面設置攝影裝置27。在第2圖的例中，攝影裝置27構成為，以冷藏室11的頂面到冷卻室17為止的範圍作為視野範圍，並且能夠從與使用者的視點同側的門片20側拍攝冷藏室11內。另外，攝影裝置27的設置位置並不限定於門片20的內面。攝影裝置27亦可設置於其他位 置，只要能夠廣範圍地拍攝放置在冷藏室11的層架板16上的食品等的存放物即可。另外，考慮到視野會被層架板16遮擋的情況，可以設置複數台攝影裝置27，以使得能夠拍攝到更多的存放物。另外，攝影裝置27也可以設置在拍攝冷藏室11以外的貯藏室的位置。

另外，冰箱1設有控制基板110，其具有用以使冰箱1動作的控制電路。控制基板110安裝在例如冰箱1的背面。

第3圖為概略顯示實施形態1的冰箱1的控制系統之構成的方塊圖。例如，如第3圖所示，冰箱1的控制系統包括：操作面板21、檢出門片20的開狀態及閉狀態的開閉檢出部22、作為能夠以有線或無線的方式與外部裝置的行動終端(終端裝置)進行通訊的通訊裝置之通訊部23、記憶資訊的半導體記憶體等的記憶部24、提供時刻資訊的時刻提供部25、控制冰箱1全體的動作之控制部100。另外，冰箱1的控制系統包括例如：驅動構成冷凍循環迴路的一部份的壓縮機(compressor)32之壓縮機驅動電路31、以及驅動使得空氣向冰箱1的貯藏室內流動的風扇(馬達)34之風扇驅動電路33。作為冰箱1的控制系統之主要部分的電路可以設置在控制基板110上。但是，亦可將第3圖的電路的一部份設置在其他的控制基板(未圖示)上。

通訊部23具備例如Wi-Fi(登錄商標)或Bluetooth(登錄商標)等的通訊模組。冰箱1，使用通訊部23，藉以經由例如路由器(後述的第19圖所示的寬頻(broadband)路由器506)及網際網路(後述的第19圖所示的網際網路601)當中的至少一者，和宅內或宅外的智慧手機、可攜式平板電腦、行動電話、個人電腦等的終端裝置進行通訊。例如，此終端裝置包含：冰箱1的使用者(以下亦稱之為「第1使用者」或「被管理者」)所使用的終端裝置(以下亦稱之為「第1使用者終端」)、以及第1使用者以外的第三者的使用者(以下亦稱之為「第2使用者」或「管理者」)所使用的終端裝置(以下亦稱之為「第2使用者終端」或「其他使用者終端」)70。冰箱1的控制部100能夠傳送用以使得關於冰箱1的各種資訊顯示在第1使用者終端的顯示部和第2使用者裝置70的顯示部71當中的任一方或兩方的資訊。

時刻提供部25所提供的時刻資訊不只是時、分、秒而已，也可以包括日期(月日或年月日)的資訊。時刻提供部25可以為例如時鐘或者接收時刻訊號的提供者傳送的時刻訊號之時刻受信裝置。

控制部100可以由電氣電路構成，或者由作為執行記憶部24所記憶的軟體(程式)的資訊處理裝置的處理器構成。在控制部100由處理器構成的情況下，控制部100的功能係藉由執行記憶部24所記憶之程式而實現。如上述，控制部100的功能可以藉由冰箱1(或2~4)內的處理器所執行的程式(生活狀況之通報方法或通報程式)而實現。另外，控制部100的功能亦可以由可和冰箱1通訊的電腦(亦可為網路上的伺服器)所執行的程式(生活狀況之通報方法或通報程式)而實現。生活狀況的通報程式為第1使用者的生活狀況之通報程式，該第1使用者使用的冰箱1(或2~4)具有存放食品的貯藏室11、執行通訊的通訊部23、以及取得貯藏室11內的影像之攝影裝置27，該程式能夠使電腦(控制部100或外部的電腦或網路上的 伺服器等的資訊處理裝置)執行後述處理：使攝影裝置27拍攝冰箱1(或2~4)的貯藏室11內以取得貯藏室11內的影像之處理；從已取得的影像擷取出食品影像的處理；從某一期間中的食品影像，檢出存放在貯藏室11內的食品之狀況的變化的處理；從已檢出的該食品之狀況的變化，取得表示該第1使用者對冰箱1(或2~4)的使用狀況之第1資訊的處理；從第1資訊判斷得知第1使用者的生活狀況屬於應該要向與第1使用者不同的第2使用者通報的情況時，將表示生活狀況的第2資訊向該第2使用者所使用的終端裝置通報的處理。

如第3圖所示，控制部100包括：影像管理部101、變化檢出部102、劣化檢出部103、使用狀況取得部104、及生活管理部105。另外，控制部100亦可包含對控制部100整體的動作進行控制的主控制部(未圖示)。另外，變化檢出部102和劣化檢出部103構成食品狀況檢出部103a。另外，在第3圖中，將記憶部24表示為和影像管理部101分開的獨立構成，但記憶部24亦可為影像管理部101的一部分(或控制部100的一部分)，亦可為其他構成的一部分。例如，記憶部24亦可為與冰箱1外部連接的記憶裝置或以可經由網路進行通訊的方式連接的裝置(例如，伺服器)之記憶裝置。

影像管理部101和攝影裝置27、變化檢出部102、及通訊部23連接。例如，影像管理部101，在門片20開閉的時候，接收攝影裝置27拍攝冷藏室11內而取得的冷藏室11內的整體影像(影像資料)，並從已接收的整體影像(以下亦稱之為「冰箱內影像」或「貯藏室影像」)擷取食品部分的影像(食品影像)。並且，影像管理部101，將時刻資訊(例如，拍攝時刻資訊)附加在從已取得的整體影像擷取出的食品影像以作為附帶資訊，並將之儲存於影像管理部101內的記憶部(可以是有別於記憶部24的記憶部，或者也可以是記憶部24)。影像管理部101，也可以依據時刻資訊，將食品影像按照時間序列重新排列後再儲存。影像管理部101將食品影像及附帶資訊(可以包含時刻資訊及入出庫辨識資訊)提供給變化檢出部102及通訊部23。

變化檢出部102和影像管理部101、劣化檢出部103、及通訊部23連接。變化檢出部102，從影像管理部101接收食品影像及附帶資訊，檢出食品影像的顏色及大小尺寸(對應於實際的食品的顏色及大小尺寸)的時間變化，並儲存在變化檢出部102內的記憶部(可以是有別於記憶部24的記憶部，或者也可以是記憶部24)。另外，變化檢出部102，將表示已檢出的食品影像的顏色及大小尺寸的時間變化之資訊提供給劣化檢出部103及通訊部23。

劣化檢出部103和變化檢出部102、使用狀況取得部104、及通訊部23連接。劣化檢出部103，從變化檢出部102接收食品影像的顏色及大小尺寸的時間變化，基於該時間變化檢出(推定)食品的劣化狀態，並將劣化狀態的檢出結果提供給使用狀況取得部104及通訊部23。因此，具有變化檢出部102及劣化檢出部103的食品狀況檢出部103a，能夠從擷取自貯藏室影像的食品影像，檢出被存放的食品之保存狀態。

使用狀況取得部104和食品狀況檢出部103a的劣化檢出部103、生活管理部105、及通訊部23連接。使用狀況 取得部104，從劣化檢出部103接收食品影像單位的食品的劣化狀態作為存放在冷藏室11內之食品的保存狀態，並從表示該劣化狀態的資訊檢出(推定)出「現在存放著的食品沒有劣化。」等的短期使用狀況；或者，和月日或年月日等的時刻資訊組合後檢出(推定)出「已劣化的食品放置了幾天。」等的長期使用狀況。如上述，使用狀況取得部104，基於貯藏室內之食品的劣化狀態，檢出第1使用者對冰箱1的使用狀況，並將表示該使用狀況的資訊(以下亦稱之為「第1資訊」)提供給生活管理部105。

生活管理部105和使用狀況取得部104及通訊部23連接。生活管理部105，從使用狀況取得部104，接收表示基於食品的劣化狀態之第1使用者的使用狀況的第1資訊，從該第1資訊取得表示第1使用者的生活狀況之資訊(以下亦稱之為「第2資訊」)。例如，表示第1使用者的生活狀況之第2資訊可以為：第1使用者的自宅中第1使用者在家或不在家的傾向、或第1使用者購物的頻率等。另外，生活管理部105，從表示生活狀況的第2資訊當中，分類出應該要向第2使用者終端70通報的資訊(要通報資訊)，例如，冰箱1之第1使用者安危相關資訊、或者第1使用者住宅的防盜相關資訊等，並將之作為表示應通報之生活狀況的第2資訊傳送至通訊部23。

通訊部23和影像管理部101、變化檢出部102、劣化檢出部103、使用狀況取得部104、及生活管理部105連接，並以無線或有線的方式和第2使用者終端70連接。通訊部23，從影像管理部101接收食品影像及附帶資訊，從變化檢出部102接收表示食品影像的顏色及大小尺寸的時間變化的資 訊，從劣化檢出部103接收表示食品的劣化狀態之資訊，從使用狀況取得部104接收表示第1使用者的使用狀況之第1資訊，從生活管理部105接收生活狀況當中應該向第2使用者通報的資訊(第2資訊)。各項資訊可以利用例如無線通訊的方式，傳送到使用冰箱1的第1使用者以外的第2使用者所使用的第2使用者終端70。另外，作為第2資訊的送信對象的第2使用者終端70可以由例如第1使用者等人，事先登錄在冰箱1內的記憶部、或作為網路上的管理裝置之伺服器中。

第2使用者終端70以可進行無線通訊的方式和通訊部23連接。第2使用者終端70接收從通訊部23傳送來的食品影像及附帶資訊、表示食品影像的顏色及大小尺寸的時間變化的資訊、表示食品的劣化狀態的資訊、表示第1使用者的冰箱1的使用狀況之第1資訊、及表示生活狀況的第2資訊當中的應該向第2使用者通報的資訊，並且能夠將其所接收的內容顯示在第2使用者終端70的顯示部71。

《1-2》動作

繼之，參照第2圖到第4圖，說明實施形態1的冰箱4的動作之一例。第4圖為用以說明每當冰箱1的門片20被開閉時執行之動作的流程圖。

在第4圖所示動作中，從門片20的開閉開始。當開閉檢出部22檢知到門片20的開閉時(步驟S11中[是])，攝影裝置27拍攝冷藏室11內(步驟S12)。例如，攝影裝置27可以在門片20被關閉後，冷藏室11內的照明還亮燈著的期間進行拍攝。這是因為，當檢出門片20的開閉時，冷藏室11內的 食品有可能被拿進拿出。

攝影裝置27，將拍攝所得到的冷藏室11內的貯藏室影像(貯藏室整體的影像為佳)提供給影像管理部101(步驟S13)。因此，影像管理部101，每當門片20被開閉時(亦即，每當冷藏室11內的存放狀態有可能變化時)，就從攝影裝置27接收貯藏室影像。在以下的說明中，將這次(最新)的門片20開閉時稱之為「這次門片開閉時」，將上次(1次前)的門片20開閉時稱之為「上次門片開閉時」。

影像管理部101，事先記憶(例如，在記憶部24中)上次門片開閉時從攝影裝置27接收的貯藏室影像(影像資料)，並重新記憶(例如，在記憶部24中)這次門片開閉時從攝影裝置27接收到的貯藏室影像。繼之，影像管理部101計算上次門片開閉時的貯藏室影像和這次門片開閉時的貯藏室影像的差分，藉此，擷取貯藏室影像的變化部分的影像以作為食品影像(步驟S14)。亦即，所謂的貯藏室影像的變化部分的影像，就是被置入冰箱(入庫)或從冰箱取出(出庫)之食品的影像。

例如，在上次門片開閉時的貯藏室影像中，冷藏室11的層架板16上放了啤酒，在這次門片開閉時的貯藏室內影像中，在同樣位置只有沒有放置啤酒的層架板16的情況下，從2個貯藏室影像的差分，擷取啤酒的食品影像。

影像管理部101，將執行該擷取之時間點的當時時刻(或執行拍攝的時刻)之時刻資訊附加在上述擷取出的食品影像作為其附帶資訊，並基於時刻資訊，將這些食品影像及附帶資訊按照時間序列重新排列後儲存之(步驟S15)。

此時，影像管理部101，進行食品的入庫或出庫的判斷。具體言之，影像管理部101，在擷取食品影像時依據差分分析已變化的部分，例如藉由邊緣處理後所得到的邊緣的變化量、及拍攝時的貯藏室影像、食品影像、和事先記憶的空狀態(冷藏室11內完全沒有存放食品的狀態)的貯藏室影像之比較，判斷食品的入庫或出庫。繼之，影像管理部101，將入庫或出庫的判斷結果(入出庫辨識資訊)附加到食品影像的附帶資訊並儲存之。

另外，影像管理部101，將食品影像及附帶資訊(時刻資訊及入出庫辨識資訊)傳送到變化檢出部102及通訊部23(步驟S16)。

在接下來的步驟S17中，變化檢出部102，從影像管理部101接收食品影像及附帶資訊，檢出並儲存食品影像的顏色及大小尺寸的時間變化，此部分於後文中敘述。步驟S12到步驟S17中，取得冷藏室11的貯藏室影像後，將食品影像及附帶資訊提供給食品狀況檢出部103a為止的一連串動作，係每次於步驟S11中檢知到門片20的開閉時實施。

第5圖(a)到(d)為顯示實施形態1的冰箱1之冷藏室11的拍攝影像81a~81d、從拍攝影像擷取到的食品影像82b、82c、82d1、82d2、及食品影像的附帶資訊83d1、84d1、83d2、84d2之例的圖。從第5圖(a)到(d)顯示，門片20開閉時，由攝影裝置27拍攝取得並傳送至影像管理部101的拍攝資料(貯藏室影像)、從貯藏室影像擷取到的影像資料(食品影像)、及其附帶資訊(時刻資訊及入出庫辨識資訊)。

第5圖(a)顯示，在時刻A時，攝影裝置27拍攝取得並傳送到影像管理部101的貯藏室影像81a。在時刻A，門片20被開閉，但並沒有放入或取出食品。時刻A和其之前的貯藏室影像沒有變化，所以影像管理部101沒有產生差分影像(食品影像)。

第5圖(b)顯示，在時刻A之後的時刻B時，攝影裝置27拍攝取得並傳送至影像管理部101的貯藏室影像81b、從貯藏室影像81b擷取到的食品影像82b、及其附帶資訊83b、84b。在時刻B，從冷藏室11中最上層的冷藏室層架板取出啤酒。影像管理部101，依據時刻A的貯藏室影像與時刻B的貯藏室影像的差分擷取出食品影像(啤酒)82b，另外，基於入庫或出庫的判斷結果，儲存食品影像、時刻資訊(時刻B)83b及「出庫」的入出辨識資訊84b。

第5圖(c)顯示，在時刻B之後的時刻C時，攝影裝置27拍攝取得並傳送至影像管理部101的貯藏室影像81c、從貯藏室影像81c擷取出的食品影像82c、及其附帶資訊83c、84c。在時刻C，從冷藏室11最下層的冷藏室層架板取出容器內的食品(沙拉)。影像管理部101，依據時刻B的貯藏室影像與時刻C的貯藏室影像的差分擷取出食品影像(沙拉)82c，另外，基於入庫或出庫的判斷結果，儲存食品影像、以及作為附帶資訊的時刻資訊「時刻C」83c及「出庫」的入出辨識資訊84c。

第5圖(d)顯示，在時刻C之後的時刻D時，由攝影裝置27拍攝後傳送至影像管理部101的貯藏室影像81d、從貯藏室影像81d擷取的食品影像82d1和82d2、及其附帶資訊 83d1、84d1、83d2、84d2。在時刻D，將紙盒的牛乳放到冷藏室11最上層的冷藏室層架板上，另外，將蛋糕放到最下層的冷藏室層架板上。影像管理部101依據時刻C的貯藏室影像和時刻D的貯藏室影像的差分擷取出食品影像(牛乳及蛋糕)82d1、82d2，另外，基於入庫或出庫的判斷結果(在此，牛乳、蛋糕都是「入庫」)，連同食品影像一起，儲存作為附帶資訊的時刻資訊「時刻D」83d1、83d2及「入庫」的入出庫辨識資訊84d1、84d2。

如上述，影像管理部101將食品影像和時刻資訊及入出庫辨識資訊一起儲存，所以，能夠掌握食品的入庫時刻，並能夠基於入庫時刻檢出劣化狀態。亦即，影像管理部101，以影像來掌握存放在冷藏室11的食品(庫存食品)，並且持有檢出庫存食品的劣化狀態所必須的資訊。

在此，影像管理部101所保存的影像資料可以只有：從和前次的影像資料之差分擷取出的食品影像(貯藏室影像的變化部分)、和作為該差分基準的最新的貯藏室影像(冷藏室11的整體影像)。亦即，影像管理部101，在擷取出食品影像後，可以只保存最新的貯藏室影像，而把其他的貯藏室影像刪除。

如上述，影像管理部101，降低了其所保存之影像資料量，因此能夠降低記憶部的記憶體容量及資料的通訊負荷。另外，攝影裝置27所進行的拍攝、影像管理部101中進行的食品影像的擷取及影像資料的保存，可以限定於只有在門片20被開閉時(有可能放入或取出食品)進行，只儲存管理存放在冷藏室11內之食品所必須的資料。因此，能夠以最少的動 作(拍攝、影像處理及保存)，取得冷藏室11內的食品之存放狀態及劣化狀態。

在此，所謂的食品的存放狀態為，表示在哪個時間點有哪個食品存放在冷藏室11內的資訊。另外，所謂食品的劣化狀態為，表示食品的劣化進行到何種程度(例如，是否需要盡快用掉)的資訊。

影像管理部101，透過通訊部23，將連同儲存著的附帶資訊(時刻資訊及入出庫辨識資訊)一起儲存的食品影像的資料，按照時間序列或區分為入庫或出庫，輸出到使用冰箱1的第1使用者所使用的第1使用者終端，以及第1使用者以外的第2使用者所使用的第2使用者終端70的顯示部71。第2使用者(例如，使用冰箱1的第1使用者的家人或同居人等)觀看第2使用者終端70的顯示部71的顯示畫面，藉此能夠掌握存放在冷藏室11內的食品。

第6圖(a)及(b)為顯示從實施形態1的冰箱1的拍攝影像擷取的食品影像在行動終端的顯示畫面之例的圖。第6圖(a)所示的顯示畫面(時間軸顯示畫面)中，將每當門片20被開閉時從貯藏室影像擷取到的食品影像42、附帶於食品影像42的時刻資訊43及入出庫辨識資訊44依時間序列排列顯示。在此例中，在畫面中央處，將食品影像42從上開始排列(從攝影時刻資訊(時刻資訊)較新的開始)，在各食品影像的左方顯示時刻資訊43、在右方顯示入出庫辨識資訊44。另外，畫面上方則顯示作為對象的貯藏室(在此例中為冷藏室11)及其設定溫度、以及現在時刻。

在第6圖(a)所示的時間軸顯示畫面中，可以從上到下(針對作為對象的食品回溯時間)檢索畫面內容，即可用目視來確認有效期限或賞味期限。所以，可以通報食品的有效期限或賞味期限以作為飲食生活相關資訊，以促其消耗使用，藉此以防止浪費食品

第6圖(b)所示之顯示畫面(入出庫列表顯示畫面)，依入庫和出庫分為左右欄，在各欄中，將食品影像和時刻資訊依時間序列顯示(列表顯示)。亦即，在左欄中，將入出庫辨識資訊54為「入庫」的食品影像及其時刻資訊(亦即，入庫時刻)53，從入庫時刻53較新的開始依序由上到下排列顯示。在右欄中，將入出庫辨識資訊54為「出庫」的食品影像52及其時刻資訊(亦即，出庫時刻)53，從入庫時刻53較新的依序由上到下排列顯示。

在第6圖(b)所示的入出庫列表顯示畫面中，能夠從做為對象的食品的入庫及出庫的歷程取得該食品現在的剩餘量，所以能夠對其他使用者終端70通報食品的剩餘量以作為飲食生活相關資訊，藉此可以遠隔地(例如在購物地點)，家入或照護員確認其他使用者終端70的顯示部71，就能夠防止購入無用食材、買太多食材、及忘記買食材。

第7圖為顯示從實施形態1的冰箱1的拍攝影像擷取的食品影像在行動終端之顯示畫面之另一例的圖。影像管理部101，從其所保存的食品影像(亦即，每當門片20開閉時所擷取的食品影像)、及作為其附帶資訊的時刻資訊及入出庫辨識資訊，判定某時點存放在冷藏室11內(入出庫辨識資訊非 「出庫」)的食品影像。並且，透過通訊部23，將庫存食品影像的一覽顯示如第7圖，以作為冰箱內食品一覽顯示畫面62。再者，在第7圖的例中，與第6圖(a)及(b)不同，係基於時刻資訊，將入庫時刻在先的開始將食品影像由上而下依序排列。

在第7圖所示的在冰箱內食品一覽顯示畫面62中，顯示了某時點時的庫存食品影像的一覽，較第6圖(b)所示的列表顯示更明確地通報食品的剩餘量一覽以作為飲食生活相關資訊。因此，能夠掌握有哪些食品存放在冷藏室11內，可望更能夠防止買太多食材、及忘記買食材。另外，從入庫時刻在先的開始由上而下依序排列食品影像，所以容易發現久放的食品(亦即「必須盡快用掉」的食品)，而能夠減少因為到期而將食品廢棄的情況發生。

另外，在此說明為，在第2使用者終端70的顯示部71顯示第6圖(a)的「入出庫時間軸」、第6圖(b)的「入出庫列表」、及第7圖的「庫存食品一覽」等3個種類的食品影像顯示畫面，可以持續顯示這些畫面當中的任何一者，以可以因應第1使用者的操作(例如，觸摸觸控面板等)而顯示這些畫面。另外，食品影像顯示畫面的切換，可以藉由連結到各顯示畫面的按鈕的操作來切換，也可以藉由水平方向的滑動動作等來切換。

另外，第2使用者終端70的顯示部71的畫面上方顯示作為對象的貯藏室(在此例中為冷藏室11)及其設定溫度、以及現在時刻，不過除了設定溫度之外，也可以顯示貯藏室的測定溫度。

繼之，說明變化檢出部102及劣化檢出部103的 處理。第4圖所示的步驟S17中，變化檢出部102，檢出並儲存(例如，在記憶部24)從影像管理部101接收之食品影像(亦即，每當門片20開閉時從貯藏室影像擷取出的食品影像)的顏色及大小尺寸的時間變化。

存放在冷藏室11的食品會慢慢劣化，尤其是會在食品的顏色或食品的大小尺寸(或形狀)產生變化。例如，肉及魚等的生鮮食品因為氧化(褐化)而使得其顏色變成褐色。蔬菜的話，花椰菜的鮮綠色慢慢褪色使得黃色的部分變多，再進一步劣化的話，就會因為腐敗或發霉而變成灰褐色。波菜等的葉菜類，會因為蒸散而枯萎或乾縮，而使得大小尺寸也發生變化。

因此，變化檢出部102，每當從影像管理部101接收到食品影像時，就檢出並儲存其所接收之食品影像的顏色及大小尺寸的時間變化。劣化檢出部103，基於由變化檢出部102所儲存的食品影像的顏色及大小尺寸的時間變化，進行劣化狀態的檢出(推定)。

例如，使用一般的色指標之L*a*b*顯色系作為用來檢出食品的顏色變化的指標時，數值化為：上述的生鮮食品之氧化為a*值減少(紅色褪色)、花椰菜褪色為L*值或b*值增加(明度增加及黃色增加)、腐敗為L*值減少(明度減少)。因此，變化檢出部102，每當其從影像管理部101接收食品影像時，就檢出並儲存(例如，在記憶部24)a*值、b*值、及L*值。

另外，色指標不限定於L*a*b*顯色系，使用其他的色系也可以將顏色變化(紅色褪色、黃色增加等)及明度的變化加以數值化，例如採用RGB顯色系(原色為R(紅)、G(綠)、 B(藍)的顯色系)、或曼賽爾顯色系等。

變化檢出部102可以將顏色分布的變化儲存在記憶部(例如，記憶部24)中。在此情況下，變化檢出部102事先將大量的色樣儲存在記憶部(例如，記憶部24)中作為資料庫，將從接收自影像管理部101的食品影像檢出的顏色和色樣比較，以計算出類似度。然後，把食品影像整體依最類似的色樣所對應的各顏色分類，並算出每個顏色的面積占有率。

第8圖(a)及(b)為顯示變化檢出部102中的食品影像之時間變化之一例的圖。第8圖(a)中顯示，食品(肉)放入冰箱(入庫)時的食品影像、以及基於該食品影像所檢出的顏色分布。第8圖(b)顯示，經過足以讓食品氧化的時間(T小時)之後的食品影像、以及基於該食品影像所檢出的顏色分布。T為0以上的值。第8圖(a)及(b)中，用柱狀圖表示食品影像中對應於色樣的各顏色(橫軸)的面積占有率(縱軸)。變化檢出部102，每次從影像管理部101接收到食品影像時，就算出並儲存新收到的食品影像的顏色分布的資料。

另外，變化檢出部102儲存例如投影面積、周圍長、及最長軸的長度等，以作為檢出大小尺寸的變化之指標。另外，變化檢出部102也可以從食品的輪廓形狀擷取模式，並儲存該模式。在此，變化檢出部102檢出並儲存食品影像的顏色及大小尺寸的變化，但也可以僅檢出並儲存顏色的變化、或僅檢出並儲存大小尺寸的變化。

如上述，劣化檢出部103，基於變化檢出部102所檢出並儲存的顏色及大小尺寸的時間變化，檢出食品的劣化狀 態。劣化檢出部103所進行的食品劣化狀態的檢出，每隔一定時間執行一次，而非每次門片20開閉時執行為佳。

食品的劣化狀態會因為食品的種類(肉、魚或蔬菜等)而異。因此，劣化檢出部103使用適合食品的種類之判斷基準來判斷食品的劣化狀態為佳。不過，劣化檢出部103也可以不論是何種食品的種類，都使用相同的判斷基準來判斷食品的劣化狀態。因此，劣化檢出部103，採用複數個指標來進行對於1個食品影像的判斷，至少有1個指標超過基準值的時候，就判斷為「必須盡快用掉」。

例如，採用L*a*b*顯色系作為色指標時，劣化檢出部103，當由變化檢出部102儲存的a*值、b*值、及L*值當中至少有1個超過基準值時，就判斷為該食品影像所對應的食品為「必須盡快用掉」。

另外，使用第8圖(a)及(b)所示的顏色分布的情況下，依據變化檢出部102所儲存的顏色分布(對應於色樣的各顏色的面積占有率)的變化，當特定顏色的面積占有率超過基準值時，即判斷為例如對象的食品影像所對應的食品為「必須盡快用掉」。

在第8圖(a)及(b)所示之例中，相較於食品入庫時的第8圖(a)，T小時後的第8圖(b)中，食品(肉)的顏色因為氧化而變濃(實際上是變褐色)，另外，濃顏色的面積占有率變大。褐色是因為氧化(亦即，褐化)而產生的變性肌紅素(Mctmyoglobin)所呈現的顏色。

因此，基於例如，「褐化進行時會使得10號的色 樣對應的顏色增加」、「腐敗進行時會使得20號的色樣對應的顏色增加」等的知識(資訊)，事先將反映出劣化的各顏色的基準值登錄在劣化檢出部103。

然後，劣化檢出部103，當事先登錄的複數的顏色(例如，10號、20號等的複數色樣所對應的顏色)當中至少有一個顏色的面積占有率超過基準值時，即判斷食品影像所對應的食品為「食品劣化可能正在進行中」。

另外，食品會因為劣化而呈現枯萎或乾縮，所以，能夠基於食品影像中的食品的大小尺寸的變化，判斷劣化狀態。在此情況下，劣化檢出部103，基於變化檢出部102檢出並儲存的食品之大小尺寸(例如，投影面積、周圍長、或最長軸的長度等)的變化，當食品的大小尺寸相對於入庫時的減少率超過基準值時，可以判斷該食品為「必須盡快用掉」。

或者，劣化檢出部103，基於變化檢出部102檢出並儲存的食品的輪廓形狀的模式，進行入庫時的食品的輪廓形狀之模式和檢出時的食品的輪廓形狀之模式的模式比對，若其誤差超過基準時，則可以判斷該食品為「必須盡快用掉」。

另外，在參照第8圖(a)及(b)說明的基於顏色分布的判斷中，也可以不求出色樣所對應的各顏色的面積占有率，而是求出絕對面積值，如此一來，其判斷可以反映出顏色變化以及大小尺寸的變化。

劣化檢出部103，針對變化檢出部102所儲存的各食品影像，分別進行其劣化狀態的判斷。第2使用者終端70的顯示部71，顯示由影像管理部101儲存的食品影像、以及劣 化檢出部103得到的劣化狀態的檢出結果。

第9圖(a)及(b)為顯示在行動終端之食品的劣化狀態的顯示例之圖。在第9圖(a)所示的顯示例中，第7圖中說明的冰箱內食品一覽顯示畫面62中顯示的食品影像當中，在劣化檢出部103判斷為「必須盡快用掉」的食品影像上，重疊顯示警報提醒(在此為驚嘆號)。藉此，不只是第1使用者所使用的終端裝置，看到第2使用者終端70的顯示部71的第2使用者，也能夠得知顯示了警報提醒的食品影像的食品是應該要盡快用掉的食品。亦即，一看即知存放在冷藏室11內的複數食品當中，有哪些個食品是應該要盡快用掉的。其結果為，能夠抑制食品因為超過有效期限或賞味期限而被丟棄的情況發生。

因此，例如，在冷藏室11內存放了已超過有效期限或賞味期限的食品的情況下，當第1使用者、或第2使用者(例如，第1使用者的照護員或第1使用者的家人等)在買東西的地方很猶豫要不要買這個食品時，不但可以確認冷藏室11內的存放狀況，還可以確認該食品的有效期限或賞味期限。因此，可以防止忘了購買[雖然冰箱1裡有但是已經超過有效期限而無法使用]的食品。

第9圖(a)所示的顯示例中，係將警報提醒重疊顯示在食品影像上，但並不以此例為限，亦可為其他的顯示方式，只要是能夠基於劣化檢出部103的檢出結果，通知第1使用者或第2使用者有哪些食品是必須盡快用掉的即可。

另外，如第9圖(b)的示意圖所示，在第2使用者終端70的顯示部71上，亦可顯示表示變化檢出部102所檢出 的食品影像的顏色或大小尺寸的變化之食品影像。在此情況下，例如，在如第7圖所示的冰箱內食品一覽顯示畫面63上選擇1個食品影像(例如，用指接觸畫面來選擇)時，即顯示用以表示該食品影像於各時間的顏色或大小尺寸的變化之食品變化顯示畫面64(第9圖(b)中，係假設食品為生肉，所以是以冷卻室作為顯示例)。藉此，第1使用者及第2使用者能夠藉由影像來掌握食品的劣化狀態。

另外，設想門片20在長期間中都沒有被開閉的情況。因此，例如，在門片20開閉的最新的時間點，就算只有些微的食品劣化的徵兆(例如，朝向褐色的變化)，食品的劣化也會隨著時間而進行。所以，劣化檢出部103，每隔一定時間，就依據變化檢出部102所儲存的各食品影像的顏色及大小尺寸的變化，檢出食品的劣化狀態，並基於該檢出結果，預測應該催促第1使用者或第2使用者把食品用掉的時刻(向第1使用者或第2使用者的通報時刻)，在到達預測時刻食，將警報提醒顯示在行動終端的顯示部。

繼之，說明使用狀況取得部104及生活管理部105的處理。

使用狀況取得部104，從劣化檢出部103傳來的食品影像單位的劣化狀態之資訊，檢出(取得)存放在冷藏室11內的食品之保存狀態，亦即，存放該食品的第1使用者的使用狀況。具體言之，若現在存放著的食品看起來完全沒有劣化，則檢出[有經常替換並且適當存放食品]的使用狀況；若整體而言是有移動食品，但是有特定食品劣化的話，則檢出[已經忘了食品 的存在]的使用狀況；另外，若有蠻多的食品在已經劣化的狀態下被放置了幾天，則檢出[沒有在使用冷藏室11]的使用狀況。

繼之，生活管理部105中，接收表示使用狀況取得部104所檢出的第1使用者的使用狀況之第1資訊，基於上述表示使用狀況的第1資訊檢出生活狀況。例如，若經常替換食品，則檢出[第1使用者頻繁地購物，並且常在家吃飯]的生活狀況；若是忘了貯藏室內特定的食品的存在，則可能檢出[單純是忘了其存在]、或者[不使用該食品的生活(亦即，食生活有所偏頗)的生活狀況。另外，若檢出的使用狀況為[沒有在使用冷藏室11]的狀況，則可以設想為第1使用者長期間外出、或者是有發生任何安危上的問題。

另外，生活管理部105中，從已檢出的表示第1使用者的生活狀況的第2資訊當中，分類出被判斷為應該向第2使用者通報的資訊。在上述的例子中，貯藏室內的食品有經常替換、或第1使用者有適當進行購物及飲食的生活狀況是完全沒有問題的。但是，若判斷[食生活可有能有所偏頗]的飲食生活相關資訊、或者尤其是[沒有在使用冷藏室11]的使用狀況，是和第1使用者的健康上的問題或犯罪有所關聯的狀況，則透過通訊部23，將其作為安危相關資訊，向有別於使用冰箱1的第1使用者的第2使用者所持有的第2使用者終端70通報。

在此，在生活管理部105中，事先設定在表示已檢出的第1使用者的生活狀況之第2資訊當中，判斷為應該向第2使用者通報的條件。事先設定上述的[完全沒有使用冷藏室11]的狀況持續了幾小時以上，就要向第2使用者通報的閾值，在 因為旅行等原因而不在家的情況下，若將該閾值解除，就可以防止無謂的通報，並能夠在適當的時間點向第2使用者通報安危相關資訊，讓第2使用者可以對第1使用者進行適當的處理。

另外，生活管理部105中取得的向第2使用者通報之表示生活狀況的第2資訊，並不限定是安危相關資訊。例如，被通報的第2資訊為，在旅行中或要上班或上學的平日白天等(在家裡應該沒有人的時間帶)期間，有人替換了貯藏室內的食品的時候，有可能是第1使用者以外的預想之外的人的使用行為，所以可以向第2使用者通報防盜相關資訊。在此情況下，第2使用者可以迅速向警察或保全公司通報，而能夠防止犯罪於未然。再者，對於貯藏室內放置著已經劣化的食品的狀況，有可能是第1使用者沒注意到的狀況，可以將使用的提醒作為飲食生活相關資訊向第2使用者通報。像這樣的通報，對於從遠隔地管理獨居兒女或單獨赴任的丈夫的健康狀態的父母親或妻子是有用的資訊。

另外，持有第2使用者終端70的第2使用者可以為事先認證過的第2使用者。上述飲食生活相關資訊雖然是個人資訊，不過，就算是向不特定的第三人揭露也不會造成安全上的大問題。不過，安危相關資訊或防盜相關資訊，因為包含了第1使用者的健康資訊或第1使用者的在家或不在家的資訊，所以最好是事先設定為家人或近親、或者第1使用者是高齡者的話還有包含照護員等的，能夠接收表示第1使用者的生活狀況的第2資訊的第2使用者終端70。另外，持有第2使用者終端70的第2使用者的認證方法，於實施形態4中說明。

《1-3》效果

如上述說明，藉由實施形態1的冰箱1，從攝影裝置27拍攝的冷藏室11內的影像擷取食品影像並管理之，將食品影像和關於食品劣化的資訊(例如，表示劣化狀態的資訊)一起顯示在第2使用者終端70的顯示部71。因此，第1使用者和第2使用者，即使是在遠隔地(例如，買東西的地方)也能掌握存放在冷藏室11中的食品，並能夠掌握其中特別要盡快用掉的食品。

其結果為，催促第2使用者在有效期限之前用掉食品，能夠抑制食品被白白丟棄。另外，還能減少食品長期間放置在冷藏室11內所造成的空間及能源的浪費。另外，在門片20關閉的狀態下，也能夠用行動終端確認食品的庫存狀況或劣化狀態，能夠抑制門片20開閉而造成的冷藏室11內的溫度上昇，而能夠減少電力消費量。

另外，在行動終端顯示食品影像以及入出庫辨識資訊及時刻資訊，藉此，第1使用者及第2使用者可以容易地掌握某個食品在冷藏室11內已經放置了多長的期間，尤其是在買東西的地方進行確認的話，能夠在考慮了庫存食品的有效期限或賞味期限之後，再判斷食品的購入。

另外，將食品影像連同入出庫辨識資訊及時刻資訊一起儲存，基於這些資訊來檢出食品的劣化狀態，因此，能夠將食品影像的變化及入庫後所經過的時間等納入考慮，以高精度檢出食品的劣化狀態。

另外，每當門片20被開閉的時候，攝影裝置27就拍攝貯藏室影像，影像管理部101從貯藏室影像擷取食品影 像，所以，每當冷藏室11內的食品有可能變化的時候就會更新資訊。因此，第1使用者及第2使用者能夠更正確地了解庫存食品及其劣化狀態。

另外，劣化檢出部103，係基於食品影像的顏色或大小尺寸(或上述兩者)的變化來檢出食品的劣化狀態，所以能夠提高氧化(褐化)及腐敗等的劣化之檢出精度。

再者，能夠從冷藏室11內的食品的庫存狀況或劣化狀態，檢出表示擁有冰箱1的第1使用者的生活狀況之第2資訊，因此可以將第1使用者的安危相關資訊、防盜相關資訊、或飲食生活相關資訊等作為其生活狀況，向限定的第2使用者通報。因此，能夠從遠隔地確認高齡父母的安危狀況、不在家時家裡的防犯狀況、或者未同住的家人的健康狀況等，並且能夠分別採取適當的處理方法。

《1-4》變形例

在上述說明中，影像管理部101辨識了食品的入庫或出庫，但也可以除了食品的入庫及出庫之外，也辨識冷藏室11內的食品的移動。

食品的移動可用例如後述方法來辨識。亦即，影像管理部101，如上述那樣，取得上次及這次的門片開閉時之貯藏室影像的差分影像。再者，藉由比對處理，判斷上上次及上次的門片開閉時的貯藏室影像的差分影像當中，是否有和上次及這次的門片開閉時的貯藏室影像的差分影像一致的東西。比對處理的結果為，上上次及上次的門片開閉時的貯藏室影像之差分影像當中，有和上次及這次的門片開閉時之貯藏室影像的 差分影像一致的東西時，判斷為食品已在冷藏室11內移動。

劣化檢出部103在計算食品的入庫後所經過的時間(亦即庫存期間)時，也將食品在冷藏室11內移動前的庫存期間計算在內，所以，能夠提高食品的劣化狀態之檢出及向第2使用者通報的精度。

另外，在上述說明中，係說明透過通訊部23，將各種資訊(冷藏室11的影像或擷取出的食品影像、食品影像的顏色及大小尺寸的時間變化、食品的劣化狀態、表示第1使用者的使用狀況的第1資訊)傳送至第2使用者終端70的情況，但也可以僅有在生活管理部105判斷為表示已檢出的第1使用者的生活狀況的第2資訊中，其生活狀況屬於應該向第2使用者通報的狀況時，才把上述各種資訊傳送到第2使用者終端70。藉此，能夠防止白白傳送訊息，並且能夠減少對於第2使用者的負擔。

上述說明中，係說明將攝影裝置27設置在冷藏室11的情況，不過，亦可將其設置在冷藏室11以外的貯藏室，另外，也可以同時設置在複數個貯藏室。例如，若在存放購入周期較短且較容易劣化的蔬菜的蔬果室15中設置攝影裝置27，則能夠掌握更短期間內的劣化發生或生活狀況中的購物頻率，另外，若在冷凍室14中也設置攝影裝置27的話，也可以檢出冷凍的肉或飯、及冷凍食品的使用狀況以作為飲食生活相關資訊。

《2》實施形態2

《2-1》構成

第10圖為顯示本發明實施形態2的冰箱2的冷藏室11的概略構造(用線段II-II切開第1圖的剖面構造)之剖面圖。在第 10圖中，對於與第2圖所示構成要素相同或對應的構成要素，係標示以與第2圖所示符號相同的符號。第11圖為概略顯示實施形態2的冰箱2的控制系統的構成之方塊圖。在第11圖中，對於與第3圖所示構成要素相同或對應的構成要素，係標示以與第3圖所示符號相同的符號。

如第10圖及第11圖所示，實施形態2的冰箱2和實施形態1的冰箱1的相異之處在於，控制部200具有食品資訊記憶部106及食品辨識部107。控制部200可以設置在例如控制基板210上。食品資訊記憶部106和記憶部24可以為個別的記憶裝置，亦可為同一個記憶裝置中的不同記憶區域。另外，食品資訊記憶部106亦可以為可經由網路進行通訊的外部裝置(例如，伺服器)的資訊記憶部中的記憶區域。

如第11圖所示，食品辨識部107和影像管理部101、變化檢出部102、及食品資訊記憶部106連接。食品辨識部107，接收在影像管理部101中擷取的食品影像，辨識存放在貯藏室(在此為冷藏室11)內的食品(例如，食品的種類及份量)。食品辨識部107參照食品資訊記憶部106所記憶之資訊，以辨識食品的種類等。食品辨識部107，在從影像管理部101接收的各食品影像的附帶資訊(時刻資訊及入出庫辨識資訊)上附加表示辨識結果的辨識資訊(關於食品的種類及份量的資訊)，並將食品影像、以及附加了辨識資訊的附帶資訊提供給變化檢出部102。

食品資訊記憶部106與食品辨識部107連接。食品資訊記憶部106，針對各食品種類，記憶能夠將該食品種類與其 他食品種類區別的特徵屬性(例如食品形狀、大小、顏色及外包裝標籤當中至少一者)，作為對應於各食品種類的參照資訊。

第12圖為顯示記憶在食品資訊記憶部106中的具體資訊之一例(食品影像資料庫)的圖。在此，食品資訊記憶部106將屬於該食品種類的食品本身的特徵量或盛裝該食品的容器的特徵量對應於該食品種類記憶之。具體言之，食品資訊記憶部106針對各食品種類，記憶其形狀(輪廓)、長軸的大小尺寸、代表色(紅綠藍(RGB)值)、及標籤(文字)等的資訊以作為特徵量。

再者，食品資訊記憶部106中記憶的各食品種類的形狀，也可以不採用輪廓，而是與該食品外形最接近的幾何形狀(例如圓柱、梯形等)。在此情況下，食品辨識部107係藉由例如樣式比對等的方法，將其所取得的食品影像的食品形狀、和記憶在食品資訊記憶部106中的食品形狀進行比對。另外，關於食品影像的顏色，食品辨識部107，除了代表色的RGB值之外，還可以使用例如明度、彩度等的其他的指標值。

另外，控制部200可以由電氣電路構成，亦可以由處理器(作為執行記憶部24所記憶的軟體(程式)的資訊處理裝置)構成。控制部200由處理器構成時，控制部200的功能係藉由執行記憶部24所記憶之程式而實現。

《2-2》動作

繼之，參照第10圖到第13圖，說明實施形態2的冰箱2的動作之一例。第13圖為用以說明每當冰箱2的門片20被開閉時執行之動作的流程圖。在第13圖中，對於與第4圖(實施形態1)所示步驟相同或對應的步驟，係標示以與第4圖所示步 驟號碼相同的步驟號碼。

在第13圖所示動作中，從門片20的開閉開始，影像管理部101計算上次和這次門片20開閉時之貯藏室影像的差分，藉此擷取貯藏室影像的變化部分的影像作為食品影像，判斷進行該擷取的時刻資訊，及從該食品影像判斷食品的入庫或出庫，將入出庫辨識資訊作為附帶資訊，和食品影像一起儲存在影像管理部101(步驟S15)，上述動作與第4圖所示實施形態1的動作相同。在實施形態1中，影像管理部101，將擷取到的食品影像及附帶資訊傳送至變化檢出部102，但在實施形態2中，影像管理部101將擷取的食品影像和附帶資訊傳送到食品辨識部107(步驟S21)。

食品辨識部107，參照記憶在食品資訊記憶部106中的資訊(例如，第12圖所示的資訊)，基於從影像管理部101接收的食品影像，辨識存放在貯藏室(在此為冷藏室11)內的食品的種類及份量(步驟S22)。在此辨識當中，食品辨識部107，針對影像管理部101所擷取的各個食品影像，在食品資訊記憶部106所記憶的食品種類當中比對以決定其與哪個食品種類的特徵量一致。

繼之，在食品資訊記憶部106中存有和已擷取的食品影像一致的特徵量(食品資訊記憶部106中記憶的食品種類的特徵量)時，食品辨識部107判斷影像管理部101所擷取的影像的食品種類為該一致的特徵量所對應的種類。另外，食品資訊記憶部106中，沒有和已擷取的食品影像一致的特徵量(食品資訊記憶部106中所記憶的食品種類的特徵量)時，食品 辨識部107可以用最相近的食品種類代替影像管理部101所擷取的影像之食品種類，或者將該影像的食品視為種類不明的存放物僅辨識其大小尺寸。

食品辨識部107，將如上述方法所辨識的表示食品種類及份量資訊作為附帶資訊，附加在從影像管理部101接收的食品影像、及關於各食品影像的附帶資訊(時刻資訊及入出庫辨識資訊)(步驟S23)，並和實施形態1一樣，將食品影像及附帶資訊提供給變化檢出部102(步驟S24)。

在接下來的步驟S24中，和實施形態1一樣，變化檢出部102，依據從食品辨識部107接收的食品影像及附帶資訊(時刻資訊、表示食品的種類及份量的資訊及入出庫辨識資訊)，檢出並儲存食品影像的顏色及大小尺寸的時間變化。

在此，於實施形態1中，劣化檢出部103，不論食品的種類為何，都採用相同的判斷基準，基於變化檢出部102所檢出的顏色及大小尺寸的時間變化，檢出食品的劣化狀態。亦即，劣化檢出部103，採用複數個指標來進行對於1個食品影像的判斷，至少有1個指標超過預定的基準值的時候，就判斷為「必須盡快用掉」。

但是，食品的劣化狀態會隨著食品種類(肉、魚或蔬菜等)而有不同。例如，就同樣屬於生鮮食品的肉和魚而言，即使是同樣地因為氧化(褐化)而使其顏色從紅色變成褐色，對於用於生魚片的生吃的魚來說是很嚴重的劣化，但對於平常要加熱調理的肉來說是完全沒有問題的劣化程度；另外就蔬菜或水果來說，花椰菜會從鮮綠色褪色變成黃色，但是橘子從綠色 變成黃色是表示熟了可以吃了。再者，就大小尺寸而言，葉菜類會因為蒸散而枯萎或乾縮使其變小，但牛乳或醬料等裝在容器中的東西，不管劣化得多嚴重，其大小尺寸也不會有改變。

因此，在實施形態2中，劣化檢出部103檢出食品的劣化狀態時，反映食品辨識部107所辨識的表示食品的種類及份量之資訊，改變判斷劣化的基準值。藉此，能夠提高食品的劣化狀態的檢出精度。

例如，使用的8圖(a)及(b)所示的顏色分布的情況下，基於「褐化進行時會使得10號的色樣對應的顏色增加」、「腐敗進行時會使得20號的色樣對應的顏色增加」等的知識，事先登錄判斷劣化的基準值，但會依據食品的種類分別改變各基準值，對於褐化或腐敗時顏色會有同樣的變化的魚(例如，鮪魚)，將顏色變化的基準值設定得大一些。

另外，同樣的食品，例如，能夠拍攝到幾乎整體的肉片、以及只能夠拍攝到表面的肉塊，即使褐化或腐敗而導致顏色變化的面積占有率一樣，肉塊在其內部可能正在劣化當中，所以，反映表示其份量的資訊，而將基準值設定得小一些，能夠在事前檢出劣化。

另外，就大小尺寸的時間的變化而言，反映表示食品種類的資訊，從劣化的判斷基準中排除裝在容器中的食品，藉此提高食品的劣化狀態的檢出精度。

《2-3》效果

如上述之說明，依據實施形態2的冰箱2，藉由反映表示食品的種類及份量的資訊，提高劣化檢出部103中的食品的劣 化狀態之檢出精度。因此，基於食品的劣化狀態，能夠使得表示使用狀況取得部104所檢出的冷藏室11的使用狀況之第1資訊及表示生活管理部105所檢出的第1使用者的生活狀況之第2資訊的精度也有所提升。

例如，在檢出已劣化的食品被置之不顧的狀況時，若該食品是像牛乳或蛋那樣日常在使用的食品種類，則生活管理部105判斷第1使用者發生了健康上或安危上的問題，透過通訊部23，向第2使用者所使用的第2使用者終端70通報安危相關資訊。另一方面，若已劣化的食品是只有特定料理才會使用的調味料或嗜好品等的話，則很有可能單純是第1使用者忘了使用而已，故降低其緊急度，而能夠抑制無謂的通報。

《3》實施形態3

《3-1》構成

第14圖為顯示本發明實施形態3的冰箱3的冷藏室11的概略構造(用線段II-II切開第1圖的剖面構造)之剖面圖。在第14圖中，對於與第2圖及第10圖所示構成要素相同或對應的構成要素，係標示以與第2圖及第10圖所示符號相同的符號。第15圖為概略顯示實施形態3的冰箱3的控制系統的構成之方塊圖。在第15圖中，對於與第3圖及第11圖所示構成要素相同或對應的構成要素，係標示以與第3圖及第11圖所示符號相同的符號。

如第14圖及第15圖所示，實施形態3的冰箱3和實施形態2的冰箱2的相異之處在於，其具有日程表管理部108及日程表設定部109。更具體地說，實施形態3的冰箱3和實施 形態2的冰箱2的相異處在於：內建日程表設定部109，其將第1使用者(亦即實際使用冰箱3的使用者)的日程表(即，行動計畫)輸入及顯示於操作面板21a(設置在冷藏室11的門片20的操作部或操作顯示部；在控制基板310(安裝在冰箱3背面的控制裝置)安裝了日程表管理部108，以管理由日程表設定部109輸入的日程表。操作面板21a為：例如，具有影像顯示功能和資訊輸入功能的觸控面板。日程表設定部109具有，例如，顯示於操作面板21a的日程表輸入按鈕。日程表設定部109的日程表輸入按鈕可以為，可和冰箱3進行通訊的第1使用者的行動終端的顯示部(觸控面板)。日程表管理部108，使用已輸入的日程表，使操作面板21a顯示可用於第1使用者的日程表管理的資訊。

冰箱3的第1使用者，從操作面板21a輸入日程表資訊，類似如：設置了冰箱3的住宅的居住者(亦即，冰箱3的第1使用者)於該住宅的在家或不在家的預定(在否預定)、第1使用者的生活模式(例如，起床時刻、就寢時刻、出勤時刻、回家時刻、用餐時刻等的模式)、第1使用者的購物模式(例如，1週當中的購物周期的模式、補充到冰箱中的食品的種類及份量的模式)。日程表資訊如後述的第16圖到第18圖所示般，顯示於操作面板21a。另外，實施形態3的冰箱3中，是在冰箱3中管理冰箱3的第1使用者的日程表資訊。不過，也可以將冰箱3的控制部300之功能的一部份，交給網路上的伺服器(後述的第19圖中的雲端伺服器602)執行。

日程表管理部108和操作面板21a內的日程表設定部109及生活管理部105連接，接收由操作面板21a輸入日 程表設定部109的冰箱3的第1使用者的日程表資訊，使日程表設定部109依特定形式(後述的第16圖到第18圖所示)顯示該日程表資訊，並將之提供給生活管理部105。

第16圖到第18圖為顯示表示實施形態3的冰箱3的日程表設定部109所設定之日程表資訊的日程表顯示畫面之例的圖。第16圖到第18圖顯示，由日程表管理部108管理已輸入的第1使用者的日程表資訊，再由操作面板21a將之顯示的畫面之例。第16圖顯示一個月期間的日程表顯示之例，第17圖顯示一週期間的日程表顯示之例，第18圖顯示一天的日程表顯示之例。

在實施形態3中，冰箱3的第1使用者為一家四口，亦即，父親「太郎」(TARO)、母親「花子」(HANAKO)、長女「和美」(TOMOMI)、還有長男「一夫」(KAZUO)。第16圖的一個月期間的日程表顯示中，顯示了有預定計畫標記91(91a~91e)。有預定計畫標記91a“全”(ALL)表示家裡每個人都有預定計畫，有預定計畫標記91b“太”(TA)表示「太郎」有預定計畫，有預定計畫標記91c“花”(HANA)表示「花子」有預定計畫，有預定計畫標記91d“和”(TOMO)表示「和美」有預定計畫，有預定計畫標記91e“一”(KAZU)表示「一夫」有預定計畫。

另外，第17圖的一個星期的日程表顯示中，顯示預定計畫內容標記92(92a~92g)。舉例來說，預定計畫內容標記92a表示有旅行的預定計畫，預定計畫內容標記92b表示有出差的預定計畫，預定計畫內容標記92c表示有打高爾夫球的預定計畫，預定計畫內容標記92d表示有外食的預定計畫，預 定計畫內容標記92e表示有游泳(課程)的預定計畫，預定計畫內容標記92f表示有鋼琴(課程)的預定計畫，預定計畫內容標記92g表示有足球(課程)的預定計畫。

另外，第18圖的一天的日程表顯示(橫軸為1天當中的時刻)中，顯示了現在時刻93；平常期間(亦即，呈現規則的重複行動模式的期間)中已預定的外出期間(時間帶)94a、94b；平常期間以外的期間(亦即，沒有呈現規則的重複行動模式的期間)中已預定的外出期間95a、95b；以及就寢期間96。舉例來說，在平常期間以外的期間中已預定的外出期間95a表示將有(已有)出差的預定計畫，平常期間以外的期間中已預定的外出期間95b表示將有(已有)外食的預定計畫。另外，在平常期間中已預定的外出期間94a表示將有(已有)工作的預定計畫，在平常期間中已預定的外出期間94b表示將有(已有)學校的預定計畫。

《3-2》動作

繼之，參照第14圖及第16圖，說明實施形態3的冰箱3的動作之一例。再者，以下係以與實施形態1及2的相異處為中心進行說明。

如實施形態1及2的說明所述，生活管理部105，基於從貯藏室內的食品存放狀況或劣化狀態取得的冷藏室11的使用狀況，檢出(取得)表示使用冰箱3的第1使用者的生活狀況的第2資訊。但是，僅從冰箱的貯藏室內的食品的狀況，無法得知冰箱3的第1使用者的習慣或預定計畫的突然變更等，生活管理部105在判斷表示第1使用者的生活狀況的第2資訊是否屬於應該向第2使用者通報的資訊時可能會有錯誤 (亦即，無法適當判斷)。

例如，像牛乳或蛋那樣日常在使用的食品，在已劣化的狀態下被放在貯藏室內置之不顧的情況，如果是第1使用者有長期旅行的預定計畫的話，就不需要向有別於使用冰箱3的第1使用者之第2使用者通報安危相關資訊。另外，檢出蛋糕之類的嗜好品的有效期限接近的時候，若在判斷時有考慮到食品的種類，則會因為是嗜好品而無緊急性，所以判斷為沒有必要向第2使用者通報。

因此，在實施形態3中，如第14圖所示，日程表管理部108管理由操作面板21a(亦即，操作面板21a的日程表設定部109)輸入的第1使用者的日程表資訊，由日程表設定部109將日程表顯示在操作面板21a上，並將表示該日程表的日程表資訊提供給生活管理部105。因此，實施形態3中的生活管理部105，除了實施形態1及2中說明的由使用狀況取得部104依據食品的劣化狀態檢出的表示使用狀況的第1資訊之外，還能夠反映第1使用者的日程表資訊檢出並管理表示第1使用者的生活狀況之第2資訊。

具體的日程表資訊的反映方法為，對於第16圖到第18圖所示的第1使用者的日程表，首先以後述狀況做為數日單位的控制例：從第16圖的一個月期間的日程表顯示和第17圖的一週期間的日程表顯示可知，從12月19日到12月21日的期間，全部的第1使用者(全家人)都因為旅行而不在家，貯藏室內的存放食品就算是劣化了也是被放著不管。因此，即使是使用狀況取得部104從食品的劣化狀態檢出[完全沒有在 使用冷藏室11]的狀況，生活管理部105反映[去旅行而不在家]的日程表資訊，所以不會向住在遠方的家人等的第2使用者通報不必要的安危相關資訊。

另外，反映1日單位的日程表資訊的例子如後：第18圖的1日的日程表顯示中所示的12月25日那天，除了平常期間中已預定的外出時間帶94a、94b之外，還有平常期間以外的期間中預定的外出期間95a、95b，呈現第1使用者全員幾乎一整天都不在家的狀態。再者，依據出差95a及外食95b的預定計畫，可以推測沒有人在家裡吃晚飯。在此狀況下，若使用狀況取得部104檢出有效期限迫近的食品(例如，生魚片或蛋糕等)尚未被使用的狀況，則生活管理部105，反映今晚第1使用者全員(全家人)都外食的日程表資訊，向住在附近的家人等的第2使用者通報[冰箱3內有快要過期的食品]，使得第2使用者能把這些食品用掉。如上述，能夠防止食品白白被丟棄。

《3-3》效果

如以上說明，依據實施形態3的冰箱3，生活管理部105使用第1使用者的日程表資訊，判斷表示第1使用者的生活狀況的第2資訊是否屬於應該向第2使用者通報的資訊，所以，能夠防止因為將屬於不需要向第2使用者通報之資訊的第2資訊進行通報(亦即，第2資訊的過度通報)造成的通訊浪費、及漏未將必須向第2使用者通報的第2資訊進行通報(亦即，通報不足)造成的食品浪費。

另外，依據食品的劣化狀態和第1使用者的日程表資訊檢出第1使用者的生活狀況時，也可以推測出貯藏室中食品的持續存放模式、或第1使用者的購物模式等。例如，越靠近週末時食品劣化狀態越嚴重，平日白天的日程表幾乎被第18圖所示的平常期間已預定的外出期間94a、94b填滿的情況下，可以推測為，第1使用者為夫妻都上班的家庭，且為具有週末時一次買足食品的購物模式的家庭。此時，尤其是，若在平常期間以外的期間並沒有輸入預定的日程表資訊但是劣化狀態有發生變化，則除了食品本身的劣化以外，還可以推測出冰箱3有可能故障。因此，生活管理部105，可以向有別於使用冰箱3的第1使用者之第2使用者(例如，光顧多年的電器行、或該電器行的客服人員)通報表示冰箱3的第1使用者的生活狀況的第2資訊。

第15圖中顯示，為了使得在檢出生活狀況時，反映於操作面板21a的日程表設定部109輸入、並於日程表管理部108整理的第1使用者的日程表資訊，而將其傳送至生活管理部105的形態。但是，日程表資訊的傳送對象，也可以是配置在較生活管理部105更前面階段的劣化檢出部103或使用狀況取得部104。不論是哪種情況，都可以在檢出第1使用者的生活狀況時反映出日程表資訊，尤其是將日程表資訊傳送至劣化檢出部103時，可以先判斷已發生的食品的劣化狀態是偶發的還是因為第1使用者的日程表改變而必然會發生等。因此，能夠透過通訊部23，將表示第1使用者的生活狀況之第2資訊適當地向第2使用者通報。

《4》實施形態4

在本發明的實施形態4中，說明包含實施形態1到3的冰箱當中的任一者的網路系統。第19圖為顯示實施形態4的網路 系統的概略構成之圖。在第19圖中，對於和實施形態1到3中已說明的構成要素相同的構成要素，係標示以實施形態1到3中所使用的符號相同的符號。如第19圖所示，實施形態4的網路系統包括宅內系統500，以及可以藉由網際網路而和宅內系統500進行通訊的宅外系統600。宅內系統500包括冰箱4。冰箱4為實施形態1、2、及3的冰箱1、2、及3當中的任何一者。

如第19圖所示，宅內系統500包括如冰箱4、室內空調、熱水器、IH(Induction Heating)調理爐、微波爐等的家電機器。這些家電機器及電力計測裝置503藉由電線502和系統電源501連接，由系統電源501供給電力。宅內系統500包括：用以計測從系統電源501透過電線502供給至各家電機器的電力之電力計測裝置503及電力計測端子504、宅內控制器505、寬頻路由器506、以及作為通訊裝置的機器通訊部515。

電力計測裝置503，計測供給至各家電機器的電力(亦即，各家電機器的消耗電力)、以及從系統電源501供給至家電機器整體及電力計測裝置503的全電力，並且能夠儲存其計測的結果(履歷)。電力計測裝置503藉由例如CT(Current Transformer)等的電力計測端子504來測定供給電力。

家電機器及電力計測裝置503分別具備機器通訊部515，用以透過通訊網路和宅內控制器505通訊。通訊網路為例如有線或無線的LAN(區域網路)。如冰箱4等的家電機器及電力計測裝置503，透過其各自具備的機器通訊部515，可以用有線或無線的方式和宅內控制器505進行雙向通訊。再者，與冰箱4連接的機器通訊部515，其功能和實施形態1到3所說明的作為通訊裝置的通訊部23相同。因此，冰箱4的通訊部23可以用有線或無線的方式和宅內控制器505直接進行通訊的情況下，冰箱4無須再設置機器通訊部515。

機器通訊部515具備有線通訊功能的情況下，機器通訊部515具有序列埠或驅動器等的有線通訊模組。機器通訊部515具備無線通訊功能的情況下，機器通訊部515具有Wi-Fi(登錄商標)或Bluetooth(登錄商標)等的無線通訊模組。另外，機器通訊部515可以分別內建於家電機器及電力計測裝置503中，也可以設置在家電機器及電力計測裝置503的外部。

宅內控制器505，可以透過通訊網路，從電力計測裝置503取得電力計測裝置503所計測到的家電機器的消耗電力及系統電源501的供給電力的資訊。另外，宅內控制器505可以透過通訊網路取得家電機器的運轉狀態的資訊。而且，宅內控制器505，管理其所取得的消耗電力及供給電力還有運轉狀態的資訊，並且可以在必要時，透過通訊網路對家電機器傳送控制變更指示(例如，運轉狀態的變更指示)。

另外，宅內控制器505經由寬頻路由器506與宅外系統600的網際網路601連接。

網際網路601與儲存各種電力資訊及天氣預報等的環境資訊之雲端伺服器602連接。另外，網際網路601也和第2使用者終端70連接。第2使用者終端70，如同實施形態1中所說明，為有別於冰箱4的第1使用者之第2使用者所使用的裝置。例如，第2使用者終端70為，第2使用者(如家人、親戚、朋友、熟人、保全公司、公共機關、或看護公司等的管 理者)賦予使用權限的智慧手機、平板電腦、行動電話、個人電腦等的具有通訊功能的裝置。

雲端伺服器602為，透過網際網路601而以可進行通訊的方式連接於冰箱4及第2使用者終端70的外部伺服器。雲端伺服器602最好具有個人認證部603，以認證第2使用者終端70是否有與冰箱4連接的權限。

例如，雲端伺服器602，在內建的或外部連接的記憶部中，針對冰箱4的ID(辨識子)，事先記憶具有和冰箱4連接的權限之第2使用者終端70的行動終端ID。在此，冰箱4的ID為，能夠唯一辨識可以和網際網路601連接的複數冰箱當中的每一台冰箱的資訊。另外，行動終端ID為，能夠唯一辨識可以和網際網路601連接的複數行動終端當中的每一台行動終端的資訊。

繼之，個人認證部603，確認第2使用者終端70的行動終端ID是否被記憶為對冰箱4具有和冰箱4連接的權限(是否為已登錄的第2使用者的終端)，藉此，認證第2使用者終端70是否有和冰箱4連接的權限。

作為外部伺服器的雲端伺服器602，許可經過個人認證部603認證為具有和冰箱4連接的權限之第2使用者終端70透過網際網路601和冰箱4連接(通訊)。亦即，雲端伺服器602，禁止未經過個人認證部603認證為具有和冰箱4連接的權限之行動終端透過網際網路601和冰箱4連接。

宅內控制器505，在宅內系統500中從電力計測裝置503取得家電機器的消耗電力或系統電源501的供給電力， 另外，從家電機器取得運轉狀態或周圍環境的資訊。再者，宅內控制器505，能夠經由寬頻路由器506和網際網路601連接，並從雲端伺服器602取得各種電力資訊或各種環境資訊。

例如，宅內系統500的宅內控制器505，能夠從宅外系統600的雲端伺服器602取得關於宅內系統500所在區域之電力的供需狀況，作為電力資訊。並且，當區域的消耗電力逼近供給電力的上限值時，宅內控制器505能夠向消耗電力特別大的家電機器傳送節電指示。另外，在此情況下，若由貯藏室的設定溫度和實際的溫度履歷，判斷冰箱4為過度冷卻時，可以由宅內控制器505指示將設定溫度提高。

另外，第2使用者終端70，也能夠經由網際網路601，透過宅內控制器505而直接或間接地和冰箱4連接。此時，只有經過雲端伺服器602的個人認證部603認證為具有和冰箱4連接的權限的第2使用者終端70，被許可和冰箱4連接。

因此，例如，當家人或照顧者為管理者的情況下，若事先登錄了第2使用者終端70的行動終端ID，則可以在維持安全性的前提下，共有表示冰箱4的第1使用者的生活狀況的第2資訊。另外，不只是第1使用者，第2使用者也可以在超市等的購物處，確認冰箱4的貯藏室內的食品的庫存狀態，所以能夠防止重複購買了相同食品、或忘了買必要食品的情況。

在實施形態4中，亦可將食品辨識部(第11圖中的元件107)所參照的參照資訊的全部或一部分儲存在作為外部伺服器的雲端伺服器602中。藉由將食品資訊記憶部(第11圖中的構成106)的參照資訊儲存在雲端伺服器602，可以讓例如第1使 用者及第2使用者以外的使用者共有關於食品種類的大量資料。

再者，以上說明的個人認證裝置603係為使用ID來認證連接權限的裝置，但認證方法則不以此為限。個人認證部603，可以用後述方法取代或結合使用ID的認證方法來認證連接權限：例如，指紋、靜脈、眼睛虹膜等的生物認證、或者用密碼認證、或將這些認證方法組合使用。

如以上說明，依據實施形態4的網路系統，除了實施形態1到3的冰箱1到3所能獲致的效果之外，還能夠嚴格認證第2使用者所使用的第2終端裝置70是否為具有和冰箱通訊之權限者的行動終端。因此，能夠確實防止第1使用者的個人資訊之冰箱的使用狀況及第1使用者的生活狀況被洩漏給沒有權限的人。

Claims (19)

1. 一種冰箱，其係為包括存放食品的貯藏室、以及執行通訊的通訊部，由第1使用者所使用的冰箱，該冰箱包括：取得該貯藏室內之影像的攝影裝置；影像管理部，從該攝影裝置所取得的該影像擷取出食品影像，從該影像檢出該食品置入該貯藏室以及該食品在該貯藏室中的移動；食品狀況檢出部，從某一期間中的該食品影像，檢出存放在該貯藏室內的食品之狀況的變化；使用狀況取得部，從該食品狀況檢出部所檢出的該食品之狀況的變化，取得表示該第1使用者對該冰箱的使用狀況之第1資訊；及生活管理部，從該第1資訊判斷得知該第1使用者的生活狀況應該要向與第1使用者不同的第2使用者通報的情況下，透過該通訊部，將表示該生活狀況的第2資訊向該第2使用者所使用的終端裝置通報；該食品狀況檢出部，該影像管理部基於該影像檢出該食品已置入該貯藏室之事時，執行基於該食品影像之從該食品置入時起直到該食品之狀況判斷時為止的該食品狀態的變化之檢出；該影像管理部基於該影像檢出該食品在該貯藏室中已被移動之事時，亦執行基於該食品影像之從該食品置入時起直到該食品之狀況判斷時為止的該食品狀態的變化之檢出；該影像管理部取得不同時間點的該貯藏室內之多個影像之 間的差分影像，藉由比對各差分影像的內容，以判斷該食品在該貯藏室中是否已被移動。
2. 如申請專利範圍第1項記載的冰箱，更包括：記憶資訊的記憶部；及提供時刻資訊的時刻提供部；其中：該影像管理部，從該時刻提供部取得時刻資訊，將該食品影像和該時刻資訊關聯對應地記憶於該記憶部。
3. 如申請專利範圍第2項記載的冰箱，該影像管理部，將該食品被置入該貯藏室的時刻，與該食品關聯對應地記憶於該記憶部；該食品在該貯藏室中已被移動時，不改變其被置入該貯藏室的時刻。
4. 如申請專利範圍第1項記載的冰箱，其中：該食品狀況檢出部包括：變化檢出部，檢出該食品影像的時間變化；及劣化檢出部，從該變化檢出部所檢出的該食品影像的時間變化，檢出食品的劣化狀態。
5. 如申請專利範圍第4項記載的冰箱，其中該變化檢出部，檢出該食品影像的顏色及大小尺寸的時間變化。
6. 如申請專利範圍第1~5項中任一項記載的冰箱，更包括：食品辨識部，辨識該食品影像所對應之食品的種類及份量；該使用狀況取得部，基於該食品辨識部所辨識的該食品的 種類及份量，檢出該第1使用者的使用狀況。
7. 如申請專利範圍第6項記載的冰箱，更包括：食品資訊記憶部，事先將該食品的形狀、大小尺寸、顏色、及外包裝標籤當中的至少一者對應於食品的種類記憶，該食品辨識部，參照該食品資訊記憶部所記憶的資訊，辨識該食品影像所對應之食品的種類及份量。
8. 如申請專利範圍第1~5項中任一項記載的冰箱，該食品狀況檢出部，包含事先記憶基於食品的顏色分布之色樣的色樣記憶部；從該食品影像檢出對應於該色樣之該食品的各顏色的面積占有率之變化，基於該面積占有率的變化進行該食品之狀況的判定。
9. 如申請專利範圍第1~5項中任一項記載的冰箱，更包括：食品辨識部，辨識該食品影像所對應之食品的種類及份量；該食品狀況檢出部，基於該食品辨識部所識別之食品的種類及份量，改變該食品狀況檢出部進行的該食品之狀況的判定基準。
10. 如申請專利範圍第1~5項中任一項記載的冰箱，更包括：日程表管理部，管理該第1使用者的日程表；該生活管理部，依據從該使用狀況取得部取得的該第1資訊以及從該日程表管理部接收的該第1使用者的日程表資訊，判斷該第1使用者的生活狀況是否屬於應該向該第2使用者通報的狀況。
11. 如申請專利範圍第1~5項中任一項記載的冰箱，其中該生 活管理部，當辨識出判斷為該食品的保存狀態或該第1使用者的使用狀況沒有變化的情況持續超過預定的期間的時候，透過該通訊部向該終端裝置通報安危相關資訊。
12. 如申請專利範圍第10項記載的冰箱，其中：該生活管理部，當辨識出儘管該第1使用者不在家，但還是估計為該食品的保存狀態或該第1使用者的使用狀況有變化的情況已發生至少一次的時候，透過該通訊部向該終端裝置通報防盜相關資訊。
13. 如申請專利範圍第1~5項中任一項記載的冰箱，其中該生活管理部，辨識出在該食品的保存狀態或該第1使用者的使用狀況中有特定的特徵，以作為該第1使用者的生活狀況時，透過該通訊部向該終端裝置通報飲食生活相關資訊。
14. 一種網路系統，其包括：如申請專利範圍第1~13項中任一項記載的冰箱；及與該冰箱以可通訊的方式連接，由該第2使用者所使用的該終端裝置。
15. 如申請專利範圍第14項記載的網路系統，更包括：伺服器，其透過網際網路，以可通訊的方式與該冰箱及該終端裝置連接，該伺服器包含個人認證部，其用以認證該終端裝置為被許可與該冰箱進行通訊的終端。
16. 如申請專利範圍第15項記載的網路系統，其中該伺服器事先將該食品的形狀、大小尺寸、顏色、及外包裝標籤當中的至少一者對應於食品的種類記憶， 基於該貯藏室內的食品的種類及份量，取得表示該第1使用者的使用狀況之該第1資訊。
17. 如申請專利範圍第15或16項記載的網路系統，其中該伺服器：管理該第1使用者的日程表；依據表示該第1使用者對該冰箱的使用狀況的第1資訊以及該第1使用者的日程表資訊，判斷該第1使用者的生活狀況是否屬於應該向該第2使用者通報的狀況。
18. 一種生活狀況之通報方法，其係為使用冰箱的第1使用者的生活狀況之通報方法，其包括：拍攝該冰箱的貯藏室內，藉以取得該貯藏室內的影像之步驟；從已取得的該影像擷取出食品影像，從該影像檢出該食品置入該貯藏室以及該食品在該貯藏室中的移動的步驟；從某一期間中的該食品影像，檢出存放在該貯藏室內的食品之狀況的變化的步驟；從已檢出的該食品之狀況的變化，取得表示該第1使用者對該冰箱的使用狀況之第1資訊的步驟；及從該第1資訊判斷得知該第1使用者的生活狀況應該要向與第1使用者不同的第2使用者通報的情況下，將表示該生活狀況的第2資訊向該第2使用者所使用的終端裝置通報的步驟；在檢出該食品之狀況的變化的上述步驟中，基於該影像檢出該食品已置入該貯藏室之事時，執行基於 該食品影像之從該食品置入時起直到該食品之狀況判斷時為止的該食品狀態的變化之檢出；基於該影像檢出該食品在該貯藏室中已被移動之事時，亦執行基於該食品影像之從該食品置入時起直到該食品之狀況判斷時為止的該食品狀態的變化之檢出；取得不同時間點的該貯藏室內之多個影像之間的差分影像，藉由比對各差分影像的內容，以判斷該食品在該貯藏室中是否已被移動。
19. 一種生活狀況之通報程式，其係為第1使用者的生活狀況之通報程式，該第1使用者使用的冰箱具有存放食品的貯藏室、執行通訊的通訊部、以及取得該貯藏室內的影像之攝影裝置，該生活狀況之通報程式使電腦執行後述處理：使該攝影裝置拍攝該冰箱的貯藏室內，藉以取得該貯藏室內的影像之處理；從已取得的該影像擷取出食品影像，從該影像檢出該食品置入該貯藏室以及該食品在該貯藏室中的移動的處理，基於該影像檢出該食品已置入該貯藏室之事時，執行基於該食品影像之從該食品置入時起直到該食品之狀況判斷時為止的該食品狀態的變化之檢出，基於該影像檢出該食品在該貯藏室中已被移動之事時，亦執行基於該食品影像之從該食品置入時起直到該食品之狀況判斷時為止的該食品狀態的變化之檢出；取得不同時間點的該貯藏室內之多個影像之間的差分影像，藉由比對各差分影像的內容，以判斷該食品在該貯藏 室中是否已被移動；從某一期間中的該食品影像，檢出存放在該貯藏室內的食品之狀況的變化的處理；從已檢出的該食品之狀況的變化，取得表示該第1使用者對該冰箱的使用狀況之第1資訊的處理；及從該第1資訊判斷得知該第1使用者的生活狀況應該要向與該第1使用者不同的第2使用者通報的情況下，將表示該生活狀況的第2資訊向該第2使用者所使用的終端裝置通報的處理。

Images