TWI666594B - 房間物件管理系統與房間物件管理方法 - Google Patents

Abstract

一種房間物件管理系統與方法。房間物件管理系統包括電子裝置與物件辨識系統，其中物件辨識系統包括深度學習模組。電子裝置取得房間內部的第一影像，物件辨識系統從電子裝置取得第一影像，輸入第一影像至深度學習模組，以辨識第一影像中的第一物件，並根據辨識出的第一影像中的第一物件產生第一物件辨識結果。電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊。

Description

房間物件管理系統與房間物件管理方法

本發明是有關於一種物件管理系統，且特別是有關於一種使用深度學習模組進行物件辨識的房間物件管理系統與方法。

物件辨識是影像處理的一種應用，習知的物件辨識系統會透過特徵擷取和特徵分類來進行物件辨識。隨著影像監控、物聯網、與智慧家庭的發展，物件辨識技術已漸漸進入市場，提高生活的便利性。

在日常生活中，人們常常會忘了將物品放在哪裡。當想要用到某物品時，就必須用肉眼一個個翻箱倒櫃地找到想要的物品。此外，常常還可能會因為忘記已有該物品，而發生重覆購買的現象。在這種情況下，使用者若能像電腦一樣使用關鍵字搜尋物品則能避免這些麻煩。

然而，除非是倉儲管理員，一般使用者多半不會為房間內的所有物品進行建檔，即使建檔完成，如何輕易地以圖像方式表達物品置於房間何處也是一個問題。

本發明提供一種使用深度學習模組進行物件辨識的房間物件管理系統與方法，其對房間內部影像進行物件辨識，將物件辨識的結果透過電子裝置顯示於房間內部影像上，方便使用者進行房間內部物件的搜尋與編輯。

本發明提供一種房間物件管理系統，包括：電子裝置與物件辨識系統，其中物件辨識系統包括深度學習模組。電子裝置取得房間內部的第一影像，物件辨識系統取得第一影像，輸入第一影像至深度學習模組以辨識第一影像中的第一物件，並根據所辨識出的第一影像中的第一物件產生第一物件辨識結果。以及電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊。

在本發明的一實施例中，其中電子裝置取得用以搜尋第一物件中的第二物件的搜尋資訊，以及電子裝置根據搜尋資訊以及第一物件辨識結果輸出搜尋結果，其中搜尋結果用於指出第二物件位在房間內部的第一位置。

在本發明的一實施例中，其中在電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊的運作之後，電子裝置接收用於選擇第一物件中的容器的第一選擇操作。電子裝置取得容器的內部的第二影像。物件辨識系統取得第二影像，輸入第二影像至深度學習模組以辨識第二影像中的第三物件，並根據所辨識出的第二影像中的 第三物件產生第二物件辨識結果，以及電子裝置取得第二物件辨識結果並顯示對應第三物件的第二物件資訊。

在本發明的一實施例中，其中第一物件以及第三物件以樹狀結構儲存於電子裝置，且第一物件中的容器在樹狀結構中位於第三物件的上層。

在本發明的一實施例中，電子裝置取得房間內部的第三影像，物件辨識系統取得第三影像，輸入第三影像至深度學習模組以辨識第三影像中的物件，並根據所辨識出的第三影像中的物件產生第三物件辨識結果，以及電子裝置取得第三物件辨識結果並根據第三物件辨識結果儲存第三影像中的物件於樹狀結構以對樹狀結構進行擴展。

在本發明的一實施例中，其中在電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊的運作之後，電子裝置取得用於選擇第一影像中的第四物件的第二選擇操作。電子裝置取得對應於第四物件的回饋資訊。以及物件辨識系統取得回饋資訊，根據第四物件以及回饋資訊重新訓練深度學習模組。

在本發明的一實施例中，其中在電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊的運作之後，電子裝置取得用於選擇第一影像中的第五物件的第三選擇操作。以及電子裝置取得對應於第五物件的相關資訊，其中相關資訊至少包括第五物件的屬性、物件種 類以及保存期限的至少其中之一。

在本發明的一實施例中，其中當第五物件的保存期限即將到期時，電子裝置輸出提示資訊以提示第五物件的保存期限即將到期。

在本發明的一實施例中，電子裝置根據第五物件的屬性、物件種類以及保存期限的至少其中之一，輸出廣告資訊以推薦與第五物件相關的產品給使用者。

在本發明的一實施例中，物件辨識系統根據第一物件辨識結果判斷第一物件中的第六物件是否為消耗品，當判斷第一物件中的第六物件為消耗品時，物件辨識系統記錄目前時間，並根據目前時間計算到期日，以及電子裝置在距離到期日為一預設時間時輸出廣告資訊以推薦與第六物件相關的產品。

在本發明的一實施例中，物件辨識系統根據所辨識出的第一影像中的第一物件執行大數據分析操作以取得至少一推薦商品資訊，以及電子裝置取得並顯示推薦商品資訊。

在本發明的一實施例中，其中在執行大數據分析操作的運作中，物件辨識系統將所辨識出的第一影像中的第一物件轉換為向量，並根據向量與一群體資料進行分類以取得推薦商品資訊。

在本發明的一實施例中，其中在電子裝置取得房間內部的第一影像的運作之前，電子裝置顯示一立方體。電子裝置接收用於選擇立方體中的第一平面的第四選擇操作。其中在電子裝置取得第一物件辨識結果並根據該第一物件辨識結果在第一影像中 顯示對應第一物件的第一物件資訊的運作中，電子裝置在立方體的第一平面中顯示第一影像以及對應第一物件的第一物件資訊。

在本發明的一實施例中，其中第一影像為房間內部的全景圖。

在本發明的一實施例中，其中電子裝置根據第一影像以虛擬實境的方式顯示房間內部。

在本發明的一實施例中，其中深度學習模組包括卷積層類神經網路(Convolution Neural Network，CNN)。

本發明提供一種房間物件管理方法，用於房間物件管理系統，房間物件管理系統包括電子裝置與物件辨識系統，物件辨識系統包括深度學習模組，此方法包括：藉由電子裝置取得房間內部的第一影像；藉由物件辨識系統取得第一影像，輸入第一影像至深度學習模組以辨識第一影像中的第一物件，並根據所辨識出的第一影像中的第一物件產生第一物件辨識結果；以及藉由電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊。

在本發明的一實施例中，其方法更包括：藉由電子裝置取得用以搜尋第一物件中的第二物件的一搜尋資訊；以及藉由電子裝置根據搜尋資訊以及第一物件辨識結果輸出搜尋結果，其中搜尋結果用於指出第二物件位在房間內部的第一位置。

在本發明的一實施例中，其中在取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一 物件資訊的步驟之後，其方法更包括：藉由電子裝置接收用於選擇第一物件中的容器的第一選擇操作；藉由電子裝置取得容器的內部的第二影像；藉由物件辨識系統取得第二影像，輸入第二影像至深度學習模組以辨識第二影像中的第三物件，並根據所辨識出的第二影像中的第三物件產生第二物件辨識結果；以及藉由電子裝置取得第二物件辨識結果並顯示對應第三物件的第二物件資訊。

在本發明的一實施例中，其中第一物件以及第三物件以樹狀結構儲存於電子裝置，且第一物件中的容器在樹狀結構中位於第三物件的上層。

在本發明的一實施例中，所述方法更包括：藉由電子裝置取得房間內部的第三影像；藉由物件辨識系統取得第三影像，輸入第三影像至深度學習模組以辨識第三影像中的物件，並根據所辨識出的第三影像中的物件產生第三物件辨識結果；以及藉由電子裝置取得第三物件辨識結果並根據第三物件辨識結果儲存第三影像中的物件於樹狀結構以對樹狀結構進行擴展。

在本發明的一實施例中，其中在取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊的步驟之後，其方法更包括：藉由電子裝置取得用於選擇第一影像中的第四物件的第二選擇操作；藉由電子裝置取得對應於第四物件的回饋資訊；以及藉由物件辨識系統取得回饋資訊，根據第四物件以及回饋資訊重新訓練深度學習模組。

在本發明的一實施例中，其中在取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊的步驟之後，其方法更包括：藉由電子裝置取得用於選擇第一影像中的第五物件的第三選擇操作；以及藉由電子裝置取得對應於第五物件的相關資訊，其中相關資訊至少包括第五物件的屬性、物件種類以及保存期限的至少其中之一。

在本發明的一實施例中，其方法更包括：當第五物件的保存期限即將到期時，藉由電子裝置輸出提示資訊以提示第五物件的保存期限即將到期。

在本發明的一實施例中，所述方法更包括：藉由電子裝置根據第五物件的屬性、物件種類以及保存期限的至少其中之一，輸出廣告資訊以推薦與第五物件相關的產品給使用者。

在本發明的一實施例中，所述方法更包括：藉由物件辨識系統根據第一物件辨識結果判斷第一物件中的第六物件是否為消耗品；當判斷第一物件中的第六物件為消耗品時，藉由物件辨識系統記錄目前時間，並根據目前時間計算到期日；以及藉由電子裝置在距離到期日為一預設時間時輸出廣告資訊以推薦與第六物件相關的產品。

在本發明的一實施例中，所述方法更包括：藉由物件辨識系統根據所辨識出的第一影像中的第一物件執行大數據分析操作以取得推薦商品資訊；以及藉由電子裝置取得並顯示推薦商品資訊。

在本發明的一實施例中，其中執行大數據分析操作的步驟包括：藉由物件辨識系統將所辨識出的第一影像中的第一物件轉換為向量，並根據此向量與群體資料進行分類以取得推薦商品資訊。

在本發明的一實施例中，其中在取得房間內部的第一影像的步驟之前，其方法更包括：藉由電子裝置顯示一立方體；藉由電子裝置接收用於選擇立方體中的第一平面的第四選擇操作；其中在取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊的步驟中，藉由電子裝置在立方體的第一平面中顯示第一影像以及對應第一物件的第一物件資訊。

在本發明的一實施例中，其中第一影像為房間內部的全景圖。

在本發明的一實施例中，其方法更包括：藉由電子裝置根據第一影像以虛擬實境的方式顯示房間內部。

在本發明的一實施例中，其中該深度學習模組包括一卷積層類神經網路(Convolution Neural Network，CNN)。

基於上述，本發明的房間物件管理系統與方法可以藉由深度學習模組提高辨識房間物件的準確度，亦可以應用在個人行動裝置，配合雲端運算技術以提供更良好的使用者體驗。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧房間物件管理系統

110‧‧‧電子裝置

111‧‧‧輸入裝置

112‧‧‧輸出裝置

113‧‧‧處理器

114‧‧‧儲存裝置

120‧‧‧物件辨識系統

121‧‧‧深度學習模組

200‧‧‧卷積層類神經網路

210‧‧‧卷積層

220‧‧‧池化層

230‧‧‧全連接層

240‧‧‧影像

300‧‧‧待訓練影像

310‧‧‧深度學習模組

320‧‧‧輸出

330‧‧‧解答

410‧‧‧影像

430‧‧‧深度學習模組

450‧‧‧物件資訊

470‧‧‧已辨識影像

步驟S510‧‧‧取得影像的步驟

步驟S520‧‧‧將影像輸入電子裝置之深度學習模組進行本地運算以獲得物件辨識結果的步驟

步驟S525‧‧‧將影像上傳伺服器之深度學習模組進行雲端運算，並且回傳物件辨識結果的步驟

步驟S530‧‧‧標示物件辨識結果於電子裝置的步驟

步驟S540‧‧‧輸入字串搜尋物品的步驟

步驟S610‧‧‧選取容器並進入編輯功能的步驟

步驟S620‧‧‧取得容器內影像的步驟

步驟S630‧‧‧將容器內影像輸入到深度學習模組進行運算以獲得物件辨識結果的步驟

步驟S640‧‧‧顯示容器內的物件資訊的步驟

步驟S710‧‧‧選取容器並進入編輯功能的步驟

步驟S720‧‧‧取得容器內影像的步驟

步驟S730‧‧‧將容器內影像輸入到深度學習模組進行運算以獲得物件辨識結果的步驟

步驟S740‧‧‧顯示容器內的物件資訊的步驟

步驟S750‧‧‧取得容器內的容器的內部影像，並將容器內的容器的內部影像輸入到深度學習模組進行運算以獲得物件辨識結果的步驟

步驟S760‧‧‧顯示容器內的容器內物件辨識結果的步驟

500、510‧‧‧廣告資訊

810‧‧‧房間

821‧‧‧除濕劑

822‧‧‧衣櫃

823‧‧‧紙箱

831‧‧‧外套

832‧‧‧除濕劑

833‧‧‧置物箱

841‧‧‧牛仔褲

842‧‧‧T-Shirt

910‧‧‧欲編輯物件

920‧‧‧欲編輯物件的物件框

步驟S1210‧‧‧決定以立方體圖編輯房間的步驟

步驟S1220‧‧‧點選欲編輯牆面的步驟

步驟S1230‧‧‧取得欲編輯牆面的影像的步驟

步驟S1240‧‧‧將欲編輯牆面影像輸入到深度學習模組進行運算以獲得物件辨識結果的步驟

步驟S1250‧‧‧顯示欲編輯牆面的物件辨識結果的步驟

步驟S1310‧‧‧進入牆面編輯介面的步驟

步驟S1320‧‧‧新增或編輯牆面物件的步驟

步驟S1330‧‧‧輸出修改資料給訓練資料庫的步驟

步驟S1340‧‧‧點選牆面中欲編輯容器，取得容器內影像，並將容器內影像輸入到深度學習模組進行運算以獲得物件辨識結果的步驟

步驟S1350‧‧‧顯示牆面中欲編輯容器內的物件辨識結果的步驟

步驟S1360‧‧‧搜尋牆面內物件的步驟

步驟S1410‧‧‧藉由電子裝置取得房間內部的第一影像的步驟

步驟S1420‧‧‧藉由物件辨識系統取得第一影像，輸入第一影像至深度學習模組以辨識第一影像中的第一物件，並根據所辨識出的第一影像中的第一物件產生第一物件辨識結果的步驟

步驟S1430‧‧‧藉由電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊的步驟

步驟S1500‧‧‧使用者端的步驟

步驟S1510‧‧‧伺服器端的步驟

步驟S1520‧‧‧進入首頁的步驟

步驟S1530‧‧‧進行編輯房間的步驟

步驟S1531‧‧‧進行新增房間的步驟

步驟S1532‧‧‧進行刪除房間的步驟

步驟S1333‧‧‧於首頁模式進行搜尋物件的步驟

步驟S1541‧‧‧於編輯房間模式進行搜尋物件的步驟

步驟S1542‧‧‧進行編輯牆面的步驟

步驟S1343‧‧‧使用VR模式瀏覽房間的步驟

步驟S1550‧‧‧進行相機拍照並送雲端進行物件辨識的步驟

步驟S1561‧‧‧進行編輯容器的步驟

步驟S1562‧‧‧於物件辨識完成後進行搜尋物件的步驟

步驟S1363‧‧‧進行更正誤辨物件的步驟

步驟S1570‧‧‧將更正結果輸入訓練資料庫以重新訓練雲端物件辨識模組以及將更正結果輸入電子裝置並顯示於編輯房間模式的步驟

步驟S1580‧‧‧進行雲端物件辨識的步驟

圖1是依據本發明一實施例所繪示的房間物件管理系統的示意圖。

圖2是依據本發明一實施例所繪示的卷積層類神經網路的示意圖。

圖3是依據本發明一實施例所繪示的訓練卷積層類神經網路的示意圖。

圖4是依據本發明一實施例所繪示的部屬階段的示意圖。

圖5是依據本發明一實施例所繪示的核心功能的示意圖。

圖6是依據本發明一實施例所繪示的容器功能的示意圖。

圖7是依據本發明一實施例所繪示的容器內的容器功能的示意圖。

圖8是依據本發明一實施例所繪示的樹狀結構的示意圖。

圖9為依據本發明一實施例所繪示的物件框編輯功能的示意圖

圖10A至圖10C為依據本發明一實施例所繪示的物件內容編輯功能的示意圖。

圖11是依據本發明一實施例所繪示的首頁使用流程圖。

圖12為依據本發明一實施例所繪示的以立方體圖編輯房間使用流程圖。

圖13為依據本發明一實施例所繪示的編輯牆面使用流程圖。

圖14是依據本發明一實施例所繪示的房間物件管理方法的流程圖。

圖15為依據本發明一實施例所繪示的全流程圖。

圖1是依據本發明一實施例所繪示的房間物件管理系統的示意圖。請參照圖1，房間物件管理系統100可以包括電子裝置110以及物件辨識系統120。電子裝置110包括輸入裝置111、輸出裝置112、處理器113以及儲存裝置114。物件辨識系統120包括深度學習模組121。

輸入裝置111例如是採用電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或深度攝影機(Depth Camera、Time-Of-Flight Camera)、立體攝影機(Stereo Camera)、觸控螢幕(Touch Panel)、藍芽鍵盤(Bluetooth Keyboard)。

輸出裝置112例如是液晶顯示器(liquid crystal display,LCD)、發光二極體(light-emitting diode,LED)、場發射顯示器(field emission display,FED)等提供顯示功能的顯示裝置。

處理器113以及可以是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理 器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。

儲存裝置114可以是任何型態的固定或可移動隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。

在本範例實施例中，輸入裝置111、輸出裝置112以及儲存裝置114可以分別地透過有線或無線的方式與處理器113連結。在本範例實施例中，電子裝置110例如是手持式電子裝置，物件辨識系統120例如是一伺服器或是儲存於儲存裝置114的程式碼，所述程式碼可以被執行以實現物件辨識系統120的功能。特別是，當物件辨識系統120是一伺服器時，電子裝置110可以透過有線或無線的方式與物件辨識系統120互相連結，並且電子裝置110可以將部分或全部的運算交由物件辨識系統120的處理器(未繪示)來執行，以達成雲端運算功能。須注意的是，本發明並不用於限定房間物件管理系統100的實際配置架構。例如，在一實施例中，儲存裝置114也可以獨立於電子裝置110之外。

在本範例實施例中，電子裝置110的儲存裝置24中會儲存有多個程式碼片段，在上述程式碼片段被安裝後，會由處理器113來執行。例如，儲存裝置114中包括多個模組，藉由這些模組來分別執行電子裝置110應用於房間物件管理系統100中的各個 運作，其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此，電子裝置110的各個運作也可以是使用其他硬體形式的方式來實現。此外，當物件辨識系統120是以程式碼的形式儲存在電子裝置110的儲存裝置114中時，物件辨識系統120的功能也可以由電子裝置110的處理器113來執行。

在此須說明的是，本發明是使用深度學習(Deep Learning)模型來辨識影像中的物件。所述影像例如是二維影像。

在本範例實施例中，深度學習模組是由卷積層類神經網路(Convolution Neural Network,CNN)實作。圖2是依據本發明一實施例所繪示的卷積層類神經網路的示意圖。請參照圖2，在本範例實施例中，卷積層類神經網路200是由至少一個的卷積層(Convolution Layer)210、至少一個的池化層(Pooling Layer)220以及至少一個的全連接層(Fully connected layer)230所構成。其中，在卷積層類神經網路200的前段通常由卷積層210與池化層220串連組成，通常用來作為影像的特徵擷取來取得所輸入影像240的特徵值。此特徵值可以是多維陣列，一般被視為輸入的影像240的特徵向量。然而須注意的是，在另一實施例中，卷積層210與池化層220也可以使用串聯結合並聯的方式進行組合，本發明並不用於限定卷積層210與池化層220的組合或排列方式。

而在卷積層類神經網路200的後段包括全連接層230，全連接層230會根據經由卷積層210與池化層220所產生的特徵值來將影像240中的物件進行分類。並且可以取得對應於所辨識出 物件的物件資訊。

在本範例實施例中，物件資訊例如可以包括用於圈選所辨識出的物件的邊界框(Bonding Box)，且物件資訊還包括所辨識出的物件在影像240的中心點、邊界框的長度與寬度。在另一範例實施例中，物件資訊還包括邊界框在影像240中的多個頂點的座標。在另一範例實施例中，物件資訊還包括所辨識出的物件的種類、名稱等資訊。特別是，全連接層230的分類功能亦可由傳統的機器學習演算法來取代。然而，若欲得出上述的物件資訊，仍需靠全連接層230的類神經網路，例如是全連接的類神經網路或傳統分類器(如：SVM)。因為卷積層210通常只考慮局域的特徵，而全連接層230可以將所有局域的特徵綜合考量，並加以分類、預測用於圈選出物件的邊界框。此外，上述的傳統機器學習方法例如是支撐向量機(Support Vector Machine，SVM)、聯合貝葉斯氏(Joint Bayesian)、回歸分析(Regression Analysis)等等。在此須說明的是，在上述的傳統的演算法中，傳統的演算法通常比全連接層230更能有效分類物件。所以若要求結果更精準，可以先用全連接層230求出物件座標、大小，再將全連接層230的輸入再輸入傳統演算法做分類。

圖3是依據本發明一實施例所繪示的訓練卷積層類神經網路的示意圖。請參照圖3，在規劃好深度學習模組的卷積層類神經網路200後，還必須輸入大量的待訓練影像300並同時標記好每個待訓練影像300的解答330至深度學習模組310。深度學習模 組310包括前述的卷積層類神經網路200以及緊接在其後的懲罰層(未繪示)。也就是說，在本範例實施例中，深度學習模組310在訓練階段還會包括懲罰層。懲罰層中定義了計算誤差的方法。深度學習模組310可依照此誤差，來調整各層網路的權重。開發人員可依需求來定義計算誤差的方法。例如：若成功預測物件種類較為重要，則可設計出一個函數，當深度學習模組在預測物件種類錯誤時，會產生較大的誤差(例如：預測結果與解答差值的四次方)。若成功預測物件的寬、高較為次要，則可用一般計算誤差的方式(例如：預測結果與解答差值的平方)。

在本範例實施例中，懲罰層會比較卷積層類神經網路200的輸出320以及待訓練影像300的解答330，以計算出誤差。隨後深度學習模組310根據該誤差來調整其網路內部中每一層所具有的權重以訓練深度學習模組。當調整上述權重達一定程度後，卷積層類神經網路200的輸出320會非常接近所輸入的待訓練影像300的解答330，此時稱為學習完成，或稱為網路已收斂。

也就是說，在本範例實施例中，深度學習模組310在訓練階段會在卷積層類神經網路200的尾端加上懲罰層(Loss layer，又稱損失層)。懲罰層會比較卷積層類神經網路200根據待訓練影像300所產生的輸出320與待訓練影像300的解答330並計算出誤差。隨後卷積層類神經網路藉由此誤差，以倒傳遞的方式，逐一地由後往前，來調整網路中每一個層的權重。其誤差計算的方式(即：懲罰函數)例如是：平方差、Softmax...等。在本範例實施 例中，懲罰層只在訓練階段使用。當訓練階段完成後懲罰層會被拿掉。

當學習完成後，可以進入部屬(Deploy)階段。圖4是依據本發明一實施例所繪示的部屬階段的示意圖。請參照圖4，只要輸入影像410，深度學習模組430(相同於圖3的深度學習模組310)即可取得其所偵測到的物件的物件資訊450。在本範例實施例中，影像410為一具有抽屜、資料袋、背包與櫃子的房間內部影像，而物件資訊450可以包括影像410中抽屜、資料袋、背包與櫃子等物件的分類。物件資訊450還可以邊界框在影像410中的中心點座標(即，X值與Y值)，以及用於圈選出抽屜、資料袋、背包、櫃子的邊界框的長度、寬度。

在此須說明的是，上述關於深度學習模組的訓練與部屬皆可透過圖1的房間物件管理系統100的處理器113來執行，或當物件辨識系統120為一伺服器時以其處理器(未繪示)來執行。

圖5是依據本發明一實施例所繪示的房間物件管理系統之核心功能示意圖。請參照圖5，搭配圖1的房間物件管理系統100中的電子裝置110(例如，手持式電子裝置)來進行說明。在步驟S510中，電子裝置110例如可以透過輸入裝置111拍攝並取得內容為「房間」的影像(亦稱為，第一影像)。接著，在步驟S520中，電子裝置110的處理器113將內容為「房間」的影像輸入至深度學習模組，運用本地運算以計算該影像內物件(亦稱為，第一物件)之物件辨識結果(亦稱為，第一物件辨識結果)；或者經由步 驟S525，電子裝置110的處理器113例如可以將內容為「房間」的影像上傳至一伺服器，該伺服器的處理器(未繪示)輸入該影像至深度學習模組，運用雲端運算計算該影像內物件(亦稱為，第一物件)之物件辨識結果(亦稱為，第一物件辨識結果)以降低電子裝置110的計算量，並將物件辨識結果回傳至電子裝置110。之後，在步驟S530中，電子裝置110的處理器113獲得「房間」影像中多個物件的分類，例如為「抽屜、資料夾、背包、櫃子」，以及用於圈選出此物件的邊界框的中心點座標(X,Y)、長度、與寬度，並且電子裝置110的處理器113可依據上述物件辨識結果，在該「房間」影像中圈選出對應的物件，並以文字框標示該物件的辨識結果，例如是「抽屜、資料夾、背包、櫃子」，並且藉由輸出裝置112在該「房間」影像中輸出(或顯示)圈選和標示該已辨識物件之資訊(亦稱為，第一物件資訊)。之後在步驟S540中，使用者可利用電子裝置110的輸入裝置111，例如是觸控螢幕或藍芽鍵盤，輸入欲搜尋物品(亦稱為，第二物件)之搜尋資訊(例如，名稱字串)，電子裝置110的處理器113依據所輸入的字串比對該影像所辨識之物件標示找到對應物件，並且根據該對應物件之邊界框的中心點座標(X,Y)、長度、以及寬度圈選對應物件於該「房間」影像中的所在位置(亦稱為，第一位置)，以供使用者於房間影像中快速找到所欲搜尋的物件。

圖6是依據本發明一實施例所繪示的容器功能示意圖。房間中可能包含容器(例如：櫃子、抽屜、衣櫥、背包......等)，其 中容器為可包含其他物品之物件。本發明可讓使用者點選容器，並進入到編輯容器的頁面，此時使用者可對該容器拍照，並重複上述物件辨識過程，將容器內的物件建檔。參照圖6，在步驟S610，使用者在電子裝置110之輸入裝置111(例如是觸控螢幕)點選(亦稱為，第一選擇操作)一容器(例如是“衣櫃”)，並且點選編輯功能。接著，在步驟S620~S630中，使用者看到編輯容器頁面，並以與圖5相同之流程取得容器內影像(亦稱為，第二影像)，並將容器內影像輸入到物件辨識系統中的深度學習模組進行辨識以獲得該容器內影像中物件(亦稱為，第三物件)之物件辨識結果(亦稱為，第二物件辨識結果)。於步驟S640中，根據物件辨識結果，於電子裝置110之輸出裝置112(例如是螢幕)顯示在該容器內所辨識的物件資訊(亦稱為，第二物件資訊)，此物件資訊例如是所辨識出的物件的名稱、類別或用於圈選物件的框等。

此外，本發明中，容器內亦可再包含其他容器，本發明允許使用者對容器內的容器的內部影像進行物件辨識以利使用者管理。圖7為依據本發明一實施例所繪示的容器內的容器功能示意圖，在步驟S710，使用者在電子裝置110之輸入裝置111(例如是觸控螢幕)點選一容器(例如是“衣櫃”)，並且點選編輯功能。接著，在步驟S720~S730中，使用者看到編輯容器頁面，並以與圖5相同之流程取得容器內影像、並將容器內影像輸入到物件辨識系統中的深度學習模組進行運算以獲得物件辨識結果。於步驟S740中，根據物件辨識結果於電子裝置110之輸出裝置112(例如 是螢幕)顯示該容器內所辨識的物件資訊，並且使用者選取一容器內的容器(例如是衣櫃中的置物箱)。接著，於步驟S750中，使用者看到編輯容器頁面，並以與圖5相同之流程取得容器內的容器的內部影像、並將容器內的容器的內部影像輸入到物件辨識系統中的深度學習模組進行運算以獲得物件辨識結果。步驟S760，根據物件辨識結果，於電子裝置110之輸出裝置112(例如是螢幕)顯示在該容器內的容器內部所辨識的物件資訊。

本發明之容器功能概念可用樹狀結構說明，如圖8所示，房間810、衣櫃822、紙箱823與置物箱833代表容器，除濕劑821、外套831、除濕劑832、牛仔褲841與T-Shirt842代表一般物件。也就是說，房間包含了三樣物品：除濕劑、衣櫃、紙箱。而衣櫃又包含了其他物品(外套、除濕劑、置物箱)，置物箱內再包含了兩個物品(牛仔褲、T-Shirt)。也就是說，在本範例實施例中，物件與物件之間的關係可以用樹狀結構的方式儲存於電子裝置110，而當一物件是容器且該容器包括其他物件時，則該容器在樹狀結構中是位於該容器的物件的上層。

當房間之物件辨識完成後(即將所有房間內物品建檔完成後)，使用者即可透過電子裝置110之輸入裝置111輸入欲搜尋物品之字串。電子裝置110的處理器113依據所輸入字串比對該房間所辨識之物件以找尋對應物件，並且根據該對應物件之邊界框的中心點座標(X,Y)、長度、與寬度圈選該物件於該「房間」影像所在位置，以供使用者於房間影像中快速找到所欲搜尋的物件。 並且，當多筆物件皆具有該輸入之關鍵字時，本發明支援輸出多筆搜尋結果，如圖5左下角圖所示，使用者可利用上一筆、下一筆切換搜尋結果。

在此須說明的是，圖8中的樹狀結構可以重複地被擴展(或擴充)。具體來說，在產生圖8的樹狀結構後，電子裝置110還可以再取得房間內部的另一影像(亦稱為，第三影像)。之後，物件辨識系統120可以從電子裝置110取得此第三影像，並輸入此第三影像至深度學習模組121以辨識第三影像中的物件。之後，物件辨識系統120會根據所辨識出的第三影像中的物件產生物件辨識結果(亦稱為，第三物件辨識結果)。最後，電子裝置110會取得第三物件辨識結果並根據第三物件辨識結果儲存第三影像中已辨識出的物件的資訊於圖8的樹狀結構以對該樹狀結構進行擴展。

此外，當物件辨識結果不正確或不符合使用者期待時(舉例來說，檯燈未被辨識出，或者檯燈被辨識成椅子時)，則使用者可利用本發明之編輯功能修改該錯誤。圖9為依據本發明一實施例所繪示的物件框編輯功能的示意圖，使用者可利用電子裝置110之輸入裝置(例如是觸控螢幕、滑鼠)，圈選(亦稱為，第二選擇操作)欲修改的物件910(亦稱為，第四物件)，並編輯該欲修改物件的物件框910以使得電子裝置110取得物件910的一回饋資訊。所述回饋資訊例如是物件910的名稱、新增的物件框或者修改舊有物件框以變更物件範圍(包括修改物件框的中心點與長寬)等資料。而物件辨識系統120可以取得上述的回饋資訊，並根據物件 910以及上述的回饋資訊重新訓練深度學習模組121。

圖10A至圖10C為依據本發明一實施例所繪示的物件內容編輯功能的示意圖。當使用者需要新增物件或者需要修改物件內容時，使用者可利用電子裝置110之輸入裝置(例如是觸控螢幕、滑鼠)，圈選(亦稱為，第三選擇操作)該物件(亦稱為，第五物件)以編輯該物件的內容；或者，當物件辨識錯誤時，使用者也可用此方法來修正錯誤。如圖10A所示，使用者可編輯物件的屬性、物件的種類以及保存期限等。其中，物件的屬性例如是表示該物品屬於一般物品或者容器；物件的種類則為物品之分類名稱，例如是夜燈、櫃子、資料袋等等。此外，當物件屬性或物件種類修改完成後，程式會將此資料輸出給本地或伺服器的訓練資料庫(未繪示)，以提高將來重新訓練物件辨識模組時之辨識精確率；保存期限為當時間接近(例如，即將到期)或超過設定之保存期限時，系統可以輸出提示資訊提醒使用者關於物件即將到期或請使用者進行處理、更換物品等，使用者可為物品設定保存期限以使系統於指定時間發出自動警告。

如圖10A所示，使用者也可在備註欄填上其他關鍵字，以提高搜索成功率。本發明之演算法在進行搜尋時，除了物件種類外，亦可對備註欄內之關鍵字進行物件搜索。

特別是，如圖10B所示，在一實施例中，電子裝置110可以根據圖10A中所輸入的物件的屬性、物件種類以及保存期限的至少其中之一，輸出一廣告資訊500以推薦與圖10A中的物件 相關的產品給使用者。例如，當物件的屬性或種類為「乳液」時，電子裝置110可以輸出與「乳液」相關的廣告資訊。或者，當一物件的屬性或種類為「乳液」且該物件的保存期限將到期時(例如，前一天)，電子裝置110可以輸出與「乳液」相關的廣告資訊並提醒使用者。

或者，在一實施例中，物件辨識系統120可以根據前述的第一物件辨識結果判斷所辨識出的第一物件中某一物件(亦稱為，第六物件)是否為消耗品。例如，物件辨識系統120可以預先設定多個為消耗品的類別，並且設定此些類別的保存期限。當物件辨識系統120判斷第一物件中的第六物件(例如，乳液)為消耗品時，則物件辨識系統120會記錄目前時間，並根據目前時間與對應第六物件的消耗品的保存期限計算一到期日。之後，如圖10C所示，電子裝置110在距離該到期日為一預設時間(例如，前一天)時，藉由輸出裝置112輸出一廣告資訊510以推薦與上述第六物件相關的產品。藉由此方式，當使用者沒有輸入保存期限時，電子裝置110也可以自動地在接近於保存期限時提供廣告資訊以及相關的提示資訊。

或者，在一實施例中，物件辨識系統120還可以根據上述所辨識出的第一影像中的第一物件執行一大數據分析操作以取得至少一推薦商品資訊。之後，電子裝置110可以取得並顯示所述推薦商品資訊。具體來說，物件辨識系統120可以將所辨識出的第一影像中的第一物件轉換為向量，並根據此向量與至少一群 體資料進行分類(或分群)以取得推薦商品資訊。其中，群體資料例如是蒐集其他使用者所擁有的物件的資訊並將其轉換為向量並分群後取得。而推薦商品資訊例如是使用者潛在可能需要的商品的資訊。

圖11是依據本發明一實施例所繪示的首頁使用流程圖。參照圖11與圖1，電子裝置110利用輸出裝置112輸出(或顯示)房間物件管理系統之首頁。首頁具新增房間、列出編輯好的房間(例如是房間一與房間二)以及搜尋物品等功能。

參照圖11，使用者可利用全景圖(例如是房間二)或立方體圖(例如是房間一)來建置房間資料。其中，全景圖為由使用者錄下(或拍下)房間360度之廣角影像建置而成；立方體圖則請參考圖12。

圖12為依據本發明一實施例所繪示的以立方體圖編輯房間使用流程圖，在步驟S1210中，使用者可透過電子裝置110之輸入裝置111決定以立方體圖模式編輯房間。電子裝置110之輸出裝置112可以顯示一空白的立方體以代表使用者所欲編輯之房間。接著，在步驟S1220中，使用者可以點選(亦稱為，第四選擇操作)該房間立方體所欲編輯的牆面(亦稱為，第一平面)，並在步驟S1230與S1240中進行如圖5流程，使用者透過電子裝置110之輸入裝置111拍下該牆面對應之影像，並由電子裝置110輸入物件辨識系統120，物件辨識系統120內的深度學習模組121經本地運算或雲端運算後，於步驟S1250電子裝置110之輸出裝置112 將該房間的該牆面的物件辨識結果以及該房間的影像輸出(或顯示)於房間立方體圖中的對應牆面(例如，所選擇的牆面)上。

如圖12所示，使用者還可以使用虛擬實境(VR)模式瀏覽房間並對此房間執行搜尋物品、編輯物件內容等正常模式之功能。

圖13為依據本發明一實施例所繪示的編輯牆面使用流程圖。參照圖12，在使用全景圖或立方體圖編輯房間後，使用者可進一步選擇房間內的牆面，進入如圖13步驟S1310之牆面編輯介面以進行編輯。在牆面編輯流程中，使用者可進行下列操作：(1)重新設定牆面、(2)新增或編輯物件、(3)編輯容器、(4)搜尋物件。(1)重新設定牆面：參照圖12步驟S1250，當使用者第一次使用或想重新設定牆面時，可啟用「全部清除」功能以將原先資料清除，並按照圖12步驟重新設定牆面。(2)新增或編輯物件：參照圖13步驟S1320、S1330，當物件辨識結果不理想，使用者可自行新增物件、修改物件框或修正物件種類，並且在修改完成後，系統會將此修改資料輸出給本地或伺服器的訓練資料庫，以提高將來重新訓練物件辨識模組時之辨識精確率。(3)編輯容器：參照圖13步驟S1340、S1350，使用者可點選牆面中的容器，並依照圖6、圖7步驟以拍照、物件辨識等方式編輯容器，於此不再贅述。(4)搜尋物件：參照圖13步驟S1360，使用者可在此牆面中搜尋物件。

圖14是依據本發明一實施例所繪示的房間物件管理方法的流程圖。請參照圖14，在步驟S1410中，可以藉由電子裝置取得房間內部的第一影像。在步驟S1420中，藉由物件辨識系統取 得第一影像，輸入第一影像至深度學習模組以辨識第一影像中的第一物件，並根據所辨識出的第一影像中的第一物件產生第一物件辨識結果。其中，物件辨識系統可以是伺服器或是儲存於儲存裝置114的程式碼。在步驟S1430中，藉由電子裝置取得第一物件辨識結果並根據第一物件辨識結果在第一影像中顯示對應第一物件的第一物件資訊。

上述房間物件管理方法可整合為一全流程圖，請參照圖15。步驟S1500與步驟S1510分別為房間物件管理方法的使用者部分與伺服器部分，其中，伺服器部分可替換為電子裝置及其內附之物件辨識系統，亦即雲端運算可替換為本地運算，本敘述以雲端運算為主，不再贅述。步驟S1520為使用者進入系統首頁，使用者運用例如是電子裝置110的輸出裝置112顯示房間物件管理APP的首頁。首頁包含編輯房間S1530、新增房間S1531、刪除房間S1532與搜尋物件S1533等功能，其中，新增房間S1531後可續行步驟S1530以編輯房間。編輯房間S1530又包含搜尋物件S1541、編輯牆面S1542、VR瀏覽S1543等功能，其中編輯牆面S1542需經如圖5之流程，即相機拍照/雲端物件辨識S1550，將拍攝之影像輸入至伺服器S1510之雲端物件辨識模組S1580，經運算辨識後將物件辨識結果輸出回使用者端之電子裝置110，透過輸出裝置112顯示該物件辨識資訊。使用者即可利用此物件辨識資訊進行編輯容器S1561、搜尋物件S1562、使用者更正誤辨物件S1563等功能。其中，編輯容器S1561如圖6、圖7所示流程 圖，其需對容器進行如圖5之流程，即相機拍照/雲端物件辨識S1550。使用者更正誤辨物件S1563則如圖9、圖10所示物件框與物件內容編輯功能示意圖，可修改物件框、屬性、物件種類與保存期限，並將更正結果輸出至伺服器S1510的訓練資料庫S1570，訓練資料庫S1570再對雲端物件辨識模組S1580進行重新訓練，以提高辨識精準度；同時，訓練資料庫S1570將該更正結果送回至使用者的電子裝置110，以便進行編輯房間S1530時，藉由輸出裝置112顯示該更正結果。

綜上所述，本發明提出一種利用深度學習模組進行物件辨識的房間物件管理系統與方法，使用者可對房間影像進行物件辨識並自動建檔，輸入關鍵字以在房間影像中搜尋物件。可運用全景圖、立方體圖模式進行房間編輯，以虛擬實境模式瀏覽房間與搜尋物件。本發明可透過本地運算或雲端運算對物件辨識系統重新訓練以提高辨識率，亦可應用在個人行動裝置，配合雲端運算以提供更良好的使用者體驗。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims (30)

1. 一種房間物件管理系統，包括：一電子裝置；以及一物件辨識系統，包括一深度學習模組，其中該電子裝置取得一房間內部的一第一影像，該物件辨識系統取得該第一影像，輸入該第一影像至該深度學習模組以辨識該第一影像中的一第一物件，並根據所辨識出的該第一影像中的該第一物件產生一第一物件辨識結果，該電子裝置取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的一第一物件資訊，該物件辨識系統根據該第一物件辨識結果判斷該第一物件中的一第六物件是否為消耗品，當判斷該第一物件中的該第六物件為消耗品時，該物件辨識系統記錄一目前時間，並根據該目前時間計算一到期日，以及該電子裝置在距離該到期日為一預設時間時輸出一廣告資訊以推薦與該第六物件相關的產品。
2. 如申請專利範圍第1項所述的房間物件管理系統，其中該電子裝置取得用以搜尋該第一物件中的一第二物件的一搜尋資訊，以及該電子裝置根據該搜尋資訊以及該第一物件辨識結果輸出一搜尋結果，其中該搜尋結果用於指出該第二物件位在該房間內部的一第一位置。
3. 如申請專利範圍第1項所述的房間物件管理系統，其中在該電子裝置取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的運作之後，該電子裝置接收用於選擇該第一物件中的一容器的一第一選擇操作，該電子裝置取得該容器的內部的一第二影像，該物件辨識系統取得該第二影像，輸入該第二影像至該深度學習模組以辨識該第二影像中的一第三物件，並根據所辨識出的該第二影像中的該第三物件產生一第二物件辨識結果，以及該電子裝置取得該第二物件辨識結果並顯示對應該第三物件的一第二物件資訊。
4. 如申請專利範圍第3項所述的房間物件管理系統，其中該第一物件以及該第三物件以一樹狀結構儲存於該電子裝置，且該第一物件中的該容器在該樹狀結構中位於該第三物件的上層。
5. 如申請專利範圍第4項所述的房間物件管理系統，其中該電子裝置取得該房間內部的一第三影像，該物件辨識系統取得該第三影像，輸入該第三影像至該深度學習模組以辨識該第三影像中的物件，並根據所辨識出的該第三影像中的物件產生一第三物件辨識結果，以及該電子裝置取得該第三物件辨識結果並根據該第三物件辨識結果儲存該第三影像中的物件於該樹狀結構以對該樹狀結構進行擴展。
6. 如申請專利範圍第1項所述的房間物件管理系統，其中在該電子裝置取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的運作之後，該電子裝置取得用於選擇該第一影像中的一第四物件的一第二選擇操作，該電子裝置取得對應於該第四物件的一回饋資訊，以及該物件辨識系統取得該回饋資訊，根據該第四物件以及該回饋資訊重新訓練該深度學習模組。
7. 如申請專利範圍第1項所述的房間物件管理系統，其中在該電子裝置取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的運作之後，該電子裝置取得用於選擇該第一影像中的一第五物件的一第三選擇操作，以及該電子裝置取得對應於該第五物件的一相關資訊，其中該相關資訊至少包括該第五物件的一屬性、一物件種類以及一保存期限的至少其中之一。
8. 如申請專利範圍第7項所述的房間物件管理系統，其中當該第五物件的該保存期限即將到期時，該電子裝置輸出一提示資訊以提示該第五物件的該保存期限即將到期。
9. 如申請專利範圍第7項所述的房間物件管理系統，其中該電子裝置根據該第五物件的該屬性、該物件種類以及該保存期限的至少其中之一，輸出一廣告資訊以推薦與該第五物件相關的產品給使用者。
10. 如申請專利範圍第1項所述的房間物件管理系統，其中該物件辨識系統根據所辨識出的該第一影像中的該第一物件執行一大數據分析操作以取得至少一推薦商品資訊，以及該電子裝置取得並顯示該至少一推薦商品資訊。
11. 如申請專利範圍第10項所述的房間物件管理系統，其中在執行該大數據分析操作的運作中，該物件辨識系統將所辨識出的該第一影像中的該第一物件轉換為向量，並根據該向量與一群體資料進行分類以取得該至少一推薦商品資訊。
12. 如申請專利範圍第1項所述的房間物件管理系統，其中在該電子裝置取得該房間內部的該第一影像的運作之前，該電子裝置顯示一立方體，該電子裝置接收用於選擇該立方體中的一第一平面的一第四選擇操作，其中在該電子裝置取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的運作中，該電子裝置在該立方體的該第一平面中顯示該第一影像以及對應該第一物件的該第一物件資訊。
13. 如申請專利範圍第1項所述的房間物件管理系統，其中該第一影像為該房間內部的一全景圖。
14. 如申請專利範圍第1項所述的房間物件管理系統，其中該電子裝置根據該第一影像以虛擬實境的方式顯示該房間內部。
15. 如申請專利範圍第1項所述的房間物件管理系統，其中該深度學習模組包括一卷積層類神經網路(Convolution Neural Network，CNN)。
16. 一種房間物件管理方法，用於一房間物件管理系統，該房間物件管理系統包括一電子裝置與一物件辨識系統，該物件辨識系統包括一深度學習模組，所述方法包括：藉由該電子裝置取得一房間內部的一第一影像；藉由該物件辨識系統取得該第一影像，輸入該第一影像至該深度學習模組以辨識該第一影像中的一第一物件，並根據所辨識出的該第一影像中的該第一物件產生一第一物件辨識結果；藉由該電子裝置取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的一第一物件資訊；藉由該物件辨識系統根據該第一物件辨識結果判斷該第一物件中的一第六物件是否為消耗品；當判斷該第一物件中的該第六物件為消耗品時，藉由該物件辨識系統記錄一目前時間，並根據該目前時間計算一到期日；以及藉由該電子裝置在距離該到期日為一預設時間時輸出一廣告資訊以推薦與該第六物件相關的產品。
17. 如申請專利範圍第16項所述的房間物件管理方法，所述方法更包括：藉由該電子裝置取得用以搜尋該第一物件中的一第二物件的一搜尋資訊；以及藉由該電子裝置根據該搜尋資訊以及該第一物件辨識結果輸出一搜尋結果，其中該搜尋結果用於指出該第二物件位在該房間內部的一第一位置。
18. 如申請專利範圍第16項所述的房間物件管理方法，其中在取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的步驟之後，所述方法更包括：藉由該電子裝置接收用於選擇該第一物件中的一容器的一第一選擇操作；藉由該電子裝置取得該容器的內部的一第二影像；藉由該物件辨識系統取得該第二影像，輸入該第二影像至該深度學習模組以辨識該第二影像中的一第三物件，並根據所辨識出的該第二影像中的該第三物件產生一第二物件辨識結果；以及藉由該電子裝置取得該第二物件辨識結果並顯示對應該第三物件的一第二物件資訊。
19. 如申請專利範圍第18項所述的房間物件管理方法，其中該第一物件以及該第三物件以一樹狀結構儲存於該電子裝置，且該第一物件中的該容器在該樹狀結構中位於該第三物件的上層。
20. 如申請專利範圍第19項所述的房間物件管理方法，更包括：藉由該電子裝置取得該房間內部的一第三影像；藉由該物件辨識系統取得該第三影像，輸入該第三影像至該深度學習模組以辨識該第三影像中的物件，並根據所辨識出的該第三影像中的物件產生一第三物件辨識結果；以及藉由該電子裝置取得該第三物件辨識結果並根據該第三物件辨識結果儲存該第三影像中的物件於該樹狀結構以對該樹狀結構進行擴展。
21. 如申請專利範圍第16項所述的房間物件管理方法，其中在取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的步驟之後，所述方法更包括：藉由該電子裝置取得用於選擇該第一影像中的一第四物件的一第二選擇操作；藉由該電子裝置取得對應於該第四物件的一回饋資訊；以及藉由該物件辨識系統取得該回饋資訊，根據該第四物件以及該回饋資訊重新訓練該深度學習模組。
22. 如申請專利範圍第16項所述的房間物件管理方法，其中在取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的步驟之後，所述方法更包括：藉由該電子裝置取得用於選擇該第一影像中的一第五物件的一第三選擇操作；以及藉由該電子裝置取得對應於該第五物件的一相關資訊，其中該相關資訊至少包括該第五物件的一屬性、一物件種類以及一保存期限的至少其中之一。
23. 如申請專利範圍第22項所述的房間物件管理方法，所述方法更包括：當該第五物件的該保存期限即將到期時，藉由該電子裝置輸出一提示資訊以提示該第五物件的該保存期限即將到期。
24. 如申請專利範圍第22項所述的房間物件管理方法，更包括：藉由該電子裝置根據該第五物件的該屬性、該物件種類以及該保存期限的至少其中之一，輸出一廣告資訊以推薦與該第五物件相關的產品給使用者。
25. 如申請專利範圍第16項所述的房間物件管理方法，更包括：藉由該物件辨識系統根據所辨識出的該第一影像中的該第一物件執行一大數據分析操作以取得至少一推薦商品資訊；以及藉由該電子裝置取得並顯示該至少一推薦商品資訊。
26. 如申請專利範圍第25項所述的房間物件管理方法，其中執行該大數據分析操作的步驟包括：藉由該物件辨識系統將所辨識出的該第一影像中的該第一物件轉換為向量，並根據該向量與一群體資料進行分類以取得該至少一推薦商品資訊。
27. 如申請專利範圍第16項所述的房間物件管理方法，其中在取得該房間內部的該第一影像的步驟之前，所述方法更包括：藉由該電子裝置顯示一立方體；藉由該電子裝置接收用於選擇該立方體中的一第一平面的一第四選擇操作；其中在取得該第一物件辨識結果並根據該第一物件辨識結果在該第一影像中顯示對應該第一物件的該第一物件資訊的步驟中，藉由該電子裝置在該立方體的該第一平面中顯示該第一影像以及對應該第一物件的該第一物件資訊。
28. 如申請專利範圍第16項所述的房間物件管理方法，其中該第一影像為該房間內部的一全景圖。
29. 如申請專利範圍第16項所述的房間物件管理方法，所述方法更包括：藉由該電子裝置根據該第一影像以虛擬實境的方式顯示該房間內部。
30. 如申請專利範圍第16項所述的房間物件管理方法，其中該深度學習模組包括一卷積層類神經網路(Convolution Neural Network，CNN)。