200848229 九、發明說明： 【發明所屬之技術領域】 本發明揭示一種使用自主移動裝置尋找物件的方法，及 種用於哥找物件的自主移動裝置。 【先前技術】 許多人日常經歷之問題係尋找某些重要事項（通常係在 短時間内）。許多人遺忘其鑰匙或眼鏡之置放位置，且即
使其係為了及時工作而急於離開房子以便例如趕火車時亦 必須迅速地找到。 已徒出一些對於追蹤遺忘置放位置之物件的此問題之解 決方案。自然可藉由將物件或項目配備RFID(射頻識別符） 標籤來可靠地偵測及辨識。此等方法係日漸應用於商業目 的之物件追蹤，例如在商店、倉庫及工廠内，或在其=物 件已編目錄之其他環境中，如美術館或博物館中。然而，
此對於例如眼鏡、鑰匙或拖鞋之日常家用物件並非實際的 解決方案。由於美學或實用原因’將RFI 物件係不符合需要。在使用影像分析之方法 第US 6,377,296 m號建議-種在—房子周圍置放數個相機 及感測器的系統。相機（定位在某些重要位置處）產生被處 理之影像以決定-先前登錄物件是否可見。回應於一使用 者查詢（例如"我的眼鏡在何處？”），系統會搜尋其資料庫以 尋找其中已知物件（在此情況下係眼鏡）曾被,,見到”的影 像。接著呈現給使用纟該物件之影像及虛擬地目。明顯 地’此方法之缺點係必須安褒許多相機以儘可能覆蓋使用 129102.doc 200848229 者家中之許多區域。此等方法亦必須依某 腦及必須獲得供應電源。另外，當急於 / 電 沒有時間透過虛擬地圖導航以尋找其眼鏡/可能將 因此，本發明的一目的係提 覺式方法。 種寸找物件之直接及直 【發明内容】 =發明描述-種使用—自主移動裝置尋找物件的方法， ㈣主移動裝置實行維持用於—些視覺追㈣件之物件名 稱及關連物件模型的資料庫，及 之物件模型的協助之視覺追縱物❹於—具有該物件 祝見追舨物件的位置記錄之步驟。— 藉由使用者發出之物件位置查詢被解譯以識別_視覺追縱 物件的名稱且榻取一與該追縱物件關連之位置記錄。，亥位 置記錄被分析以獲得經查詢物件的目前位置，且 有經查珣物件的目前位置。 /、 用於消費者家用品之對話系統領域中的發展將會導致此 Γ錢不，久將來在家中之廣泛使用。一家用對話系統可 貝見為#機為A，可能甚至具有人類或動物外觀或特 性，且可依使其可針對使用者施行任務之此一方式設計及 構造。此等任務可為實用性質（例如清潔地板或加又以收 拾），及可用以協助使用者處理曰常狀況。為了增加一家 用對話系統之實際可用性’此一裝置將能在其環:中自主 地移動。為了簡單緣故’下文中亦可將自主移動裝置簡單 稱作自主。配有相機及麥克風，該自主裝置可收集 影像及音訊資料，以致其可在其周圍”看見"物件，及可 129102.doc 200848229 ”聽見"談說。如其名稱建議一對W許使用 與該裝置之對話，以 用者進入 .. 自主衣置可回應於由使用者發屮 之0^或請求實行任務，且可提供回應或提示以回覆。例 裝置間之對㈣有關使用者請求 ^查％子郵件’及由自主裝置將任何電子郵件钱 使用者。熟習此項技術人士將瞭解此等對話系統之^ 礎技術’且因此無須在此進一步詳細解釋。，、、^ 物件名稱可為一如I’餘匙,，、"眼鏡”、”書 述符，籤。此等可為使用者經常遺忘所置位曰置的物件田 或曰¥所需物件。自主篇勒狀 自主移動裊置在-記憶體中儲存一些適 •格式之名稱應瞭解”物件模型”係如特徵之集合 :動裝置由其協助可辨識一物件’且以下將更詳細解釋。 -物件名稱係依一些方法與一物件模型連結， 物件名稱”鑰匙，，係與用於制者之較的物件模型關連。 在根據本發明之方法中’藉由當其移動時持續地產生豆周 圍㈣像’且分析此等影像以識別任何已知物件，自主移 動裝置視覺地追縱在其環境中可,,看見，，之物件。在一已知 物件(即一自主移動裝置具有—物件模型之物件且因此可 辨識該物件)之情況下’其註記其中已”見到”該物件之處。 由註記該物件的位置’自主移動褒置維持—用於該物件的 位置記錄’即一其中已”見到”或視覺追縱到該物件之處的 a己錄。以下將更詳細描述位置記錄。 -，，物件位置查詢"可為一由使用者說出之表達方式，例 如問題”我的鑰匙在何處？ ”。自主移動裝置可使用（例如）已 129102.doc 200848229 知語音辨識技術以決定使用者說什麼來解譯該查詢 主移動裝置在一問題背景中辨識一已知物件的名稱，其可 T取用於此物件之位置記錄及例如藉由語音回應以將^中 屬於物件之經推測目前所在迅速地供應給使用者 置杳詢亦可依視營方物件位 一』刀J依視見方式同等用於自主移動 用眼鏡及說出”我無法發現具有藍框之我的眼= 持追_=身之方:=::“_者無須關， 所在迅速地通知使用去。f叮士 1 奶彳千之 因為無須在立即要二Π 更輕鬆之生活環境， 隸丛Γ 班前搜尋例如汽車鑰匙之重
使用者之觀點的另-優㈣無_繞㈣H 大批相機，因為自主務 衣 用此—： 有其本身之相機且可使 用此專相機以產生其所至之處使 用尋找物件之一適合自主移動 於捕獲物件之影像；及一影像分析單_3域，其係用 捕养n… “象刀析早凡，其係用於分析經 :厂像。该自主移動裝置進-步包含用於一此 錄«單元: 件^之資料庫；及一位置記 奸、二 用於針對一視覺追蹤物件維持-位置-己 錄，该視覺追縱物件係具有該… 夕/4* I 析早凡及用於該物件 之物件杈型的協助而辨識。該自主移動褒^ 者介面，其係用於提出或發出—物件位 *用 置；及-查詢解譯單元，其係 -:;至：自主裝 物件位置查詢，以識別一視覺追縱=-使用者發出之 視見相物件關連的位置記錄。該“之-位置記錄; 129102.doc -10- 200848229 析早元係用於分杯_玲7 析該位置纪錄，以獲得該查詢物件之目前 =置，且—輸出模態以該查詢物件之目前位置提供給使用 例求項及其後說明揭示本發明之特別有利具體實施 意欲用於_家庭環境之自主裝置 機，以致該自主’又將配有-或多個相 、置了在其路徑中或其周圍 件。在根據本發明之方法中， 物 猎由自主裳置基於由自主裝置捕獲之物件的 ： 析，及基於用於該物件之物件模型來辨識。因此’，、 明之一較佳具體實施例中，用於一 ^ 於分析該物件之至+之-物件模型係基 何且有-為了 / 物件之影像可使用任 如，可將該物件之一相、。技術分析。例 牛之相關點或邊緣識別為用 或輪靡的特徵。可實行更先進之影像分：： 徵，例如描述該物件之紋理的特徵。自影像分:;得= :物件之特徵係接著儲存為物件模型且連結至：物件名 當该自主裝置係在-房子或住所四處移動 何角度，件。另外，當使用者將—物件置於 :例如當在桌上丢下其鑰匙時)’由物件取得 其二 :摘。因此，為了自任何角度可靠地辨識—物件二： 要一合理強健之物件模型。因此，在本發明之—厂 具體實施例中，用於—物件之物件 車:佳 ^ 仞始訓練步 129102.doc -11 - 200848229 ^產生’其中係使自主裝置自不同角度及在不同照明停 件下產生該物件的影像。使用多個影像，可獲得—更強健 物件模型’且該自主裝置辨識該物件之可能性可明顯地辦 加。此外，-物件模型可與多於一名稱關連。例如，使用日 者可將其拖鞋稱作"我的拖鞋"、"我的房内鞋子"等等，甚 至當在各情況下指相同項目。兩個名稱拖鞋”及”房内鞋 子”）將會在初始訓練程序甲關連（或連結）對應物件模型。土 同樣地’-單—名稱可與不同物件模型關連。可預 數個使用者可能徒用自φ #私爿士 j ““吏用自主移動瓜置，以致兩個或以上不同 一)可能各訓練該自主裝… 何二。1Ce及Bob兩人將很有可能僅詢問”我的餘匙在 处.，因為此係提出問題之自然方式，而非”我是 A—’我的料在何處？”。因此，該自主移 亦有助於說者辨識能力，、R係 处迷地硪別該說者，且 出相同地，對自主裝置提 苹此i詢者可被基於影像分析識別，例如藉由識別 二等1:測特徵。使用說者辨識、電腦視覺、生物量測 士將係已知用者識別的技術及演算法對於熟習此項技術人 對：一具有一物件模型之物件，其可針 看見之處進:此可— 的項目… 一在用於一物件之位置記錄中 一此更特如房間（”廚房”)之位置資訊，且可能另外 “之位置資訊(”在桌上”)。該自主裝置可依一此 129102.doc 200848229 適合方式儲存此資訊，（例如;)在文丰π # + …些其他適合格式。接予 鑰匙在何處？ ”時1自主者其μ問我的 廚房中桌子上"。°裝置可輸出資訊”最後見到其在 自然地’自主褒置亦 μ德“， 田其看見-物件時加以記錄，因 為取後見到一物件之時間 .^社日 〗J此重要。因此，在本發明的 另一較佳具體實施例中， gi ,p ... '物件之位置記錄係亦用一 充，即物件由自主裝置”見到，’的時間。因此自 衣 M共使用者一更精確的輸出。例如，自主裝置對 於使用者關於JL於是^之杏、 、 旬的回應可因此係：最後見到 /、係昨晚下午10點位於廚房中 ..^ ^ 、 τ方γ杲千上。獲得一時間戳記 並非重要’因為在此一自主裝 王衣置之處理為上執行之軟體將 :有可…利用時脈資訊’如熟習此項技術人士將會已 如已指示’該自主移動裝置可持續地在家中移動，實行 某些任務或帶給使用者訊息。依其方式，肖自主移動褒置 持績產生及分析其周圍的影像。只要影像分析辨識已知物 件之-，該物件之位置及其被見到的時間會記錄在用於該 物件之位置記錄中。依此方法，自自主裝置視覺追縱之物 件的位置記錄基本上係持續地更新。 、當-物件係依此方法隨時追縱時，可做成關於其中物件 被見到之位置的某些假設。例如，使用者可傾向於將其拖 鞋遺留在起居室内的咖啡桌下。然而，自主移動裝置可能 在過去一些時機甲已在床下”發現，，使用者的拖鞋。根據2 129102.doc 13 200848229 可從一位置記錄中導 π、, $珥一]丑直歷史， 物件之可能位置可基於針對該物件定詢 (例喻用者尋問”我的拖鞋在何處?”，且：不 =著 下時」，自主移動裝置可諮詢用於”拖鞋”物件之位 :、 且建議使用者在床下尋找。 在本發明之另一具體實施例中’自主裝置亦可藉由導弓丨 用者至-物件之已知或可能位置來協助使用者。 於一其係殘障或身體不好的使时，此可為-需要特徵。 若自主裝置係配有詩運輸物件之必要構件時，亦可預相 到該自主裝置可為使用者提取一經查詢物件。 μ 本發明之其他目的及特徵將可從結合附圖考慮之以 述瞭解。⑽，應理解，圖式隸用於描述目的且不作為 本發明之限制的定義來設計。 【實施方式】 請示根據本發明之一可能具體實施例的自主移動裝 置!之前方態樣’其係依一具有類人外觀之，，機器人”形式 實現及意欲用於一家庭環境中。為了 ”看見，，其前進之處， 自主裝置1係配有相機10，Λ在此情況下係實現成看似穿 置丨之”頭部”中的”眼睛”。其亦藉由置於頭部任一側上及二 有"耳朵”外觀之麥克⑽”聽到”。“裝L可使用相機 ，，看見"其周圍，及可使用麥克風"聽到”談話。藉由自主農 置1收集之資料係在一適合處理單元16中處理，其在此2 體實施例中係併入自主裝置1之本體中。自主裝置丨之此具 體實施例亦具有四處移動的一些構件15，及一些可用以抓 129102.doc -14- 200848229 住物m執行指向㈣之雛型”手” 14。處理單元i6可能足 >執仃用於自主裝置！以實行其任務之所有需要影像及音 孔處理然、而，自主裝置！亦可依無線方式與具有更多處 理能^的外部電腦（圖中未顯示）通訊，以致（例如）影像處 理及分析可藉由外部來源實行且結果回覆至自主裝置卜 立在圖2a中’係顯不—典型狀況，其中使用者：係嘗試記 憶其最後留下鑰匙之處。由於急著離開，其尋問自主裝置 Γ’我的鑰匙在何處？，，。自主裝置1，，聽到，，該查詢及且處理 其，以決定正被尋找的物件。自主裝置丨可決定其是否已 見到鑰延及在何處’因為其持續地產生其周圍之影像及將 其分析以決定已知物件是否係在其視野中。接著自主裝置 通知使用者該物件之目前或推測位置，如圖2b中顯示。在 此自主I置1係通知使用者最後在餐具櫃上看見其鑰 匙。使用者2可接著提取其鑰匙且離開。 圖3示意性顯示根據本發明之自主裝置丨及在其周圍的一 二物件3 4 5、6、45、46。自主裝置1將已被訓練以辨 識某些物件（例如傢倶45、46)及圍繞此等物件導航。其亦 已被訓練辨識使用者傾向於遺忘置放位置之某些項目，如 其鑰匙3、其眼鏡4、其拖鞋5及其書6。為了清楚起見，此 等物件3、4、5、6係皆一起顯示在一房間中，但明顯地係 其可分布在房子中任何地方。隨著自主裝置丨移動通過房 子，其不斷地產生其周圍的影像。在其視野中之任何項目 或物件（如虛線指示）將出現在影像中。自主裝置註記一經 辨識已知物件的位置，及看見其的時間。可在較晚時間擷 129102.doc -15- 200848229 取此資訊 的查詢時 若使用者對自主裝置發出— 關於一物件之所在 此係在圖4之方塊圖中說明，圖中顯 ^ ^ 貝不一自主移動裝置1 之主要組塊及單元，其係有關物件 , 萌别及用於物件位置 資訊的擷取。 一介面7包括允許在使用者及自主裝 衣直間通訊之組件， 如一用於们則由使用者提出之查詢的麥克風u輸出模 請在此情況下之揚聲器13)，其係用於輸出語音：息至 使用者；及一相機10，其係用於產生影像。介面7的一杳 詢解譯單元29包括一語音辨識模組27及一語言理解模組 28，如先前技術語音辨識系統中所廣泛使用之模組。」在 使用者及自主裝置i間之對話係使用一對話控制單元“管 理，其視需要解譯該查詢解譯單元29之輸出及產生—提示 42或其他回應42。 在自主移動裝置1的資料庫22中，物件模型 Μ2、…、Mn係針對自主裝置被訓練以辨識之物件儲存，且 各物件模型Μ!、Μ:、···、Mn係依某種適當方法與藉由物 件模型Μ〗、Μ:、…、Mn描述之物件的名稱Νι、％、 Ν’2、…、Nn連結。如已描述，一物件模型可與多於一名稱 關連。在圖中，物件模型Ms(其係使用者之拖鞋的模型）係 顯不與兩名稱N2、Ν'關連，其對應於當使用者尋找其時 可能使用之可能字詞’’拖鞋，，及，，房内鞋子”。 在資料庫22中，各物件模型μ】、M2、…、Mn亦連結至 用於有關物件的位置記錄L!、L2、…、Ln。當自主移動裝 129102.doc -16- 200848229 在其環境四處移動時，位置記錄^42、.〜係藉由 主移動裝置1持續地更新，使用相機10產生其周圍之影 像此,等影像係在一影像分析單元24中分析。在一影像中 見到的物件係與資料庫22中之物件模型Ml、％、…、 牝比較’以決定該影像中之-物件是否對應於物件模型 Μ1、Μ〗、 、λ/Γ 々 型 :.·二-。若此係該情況’用於適當物件模 .··、Mn之位置記錄h、L2、...、Ln可被更新， 以包括該物件夕θ 1 / 牛之目則位置及其已被發現的時間。為此目 的’一位置記錄維罐i 、4早兀30經由一介面信號12擷取適當位 置圮錄L】、l)、 、τ 間戳記23,且使用自二=一自一二脈來源31獲得之時 坐祆來源32獲得之位置資訊33來更 新位置s己錄L丨、l ：>、 τ . ···、n。在此具體實施例巾，時脈來 尸來1 元之系統時脈’其提供時間及日期資訊。座 才不來源3 2可為自主轉私壯 主移動壯署彳玉—動衣置1之一追蹤模組Μ ,使用其自 衣，、定其在任何時間之所在 描述(例如)”在廚房中 。⑴為 拽皆1桌上或床下，因為此類型的描 述貝甙對於使用者係可立 τ τ ，鮮接者所更新之位置記錄 1 2、···、Ln該在資料庫22中再次儲存。 ’：：：者'出一例如”我的鑰匙在何處?，’之查詢時，查 決定尋找中的物件名稱。查詢解譯單元29; 出一命令40至資料座， ^ 針對此名稱之一物件回；：詢解譯單元29請求資料庫22 係欲基於由使用者=:;:r。如果使用者 元24的輸出。在資料庫t勢來解譯’則考慮影像分析單 貝枓庫22中，與物件模型Μ,、m2、...、 129102.doc -17- 200848229
Mn關連之名稱％、仏、n，、 XT 'dr ^ ^ A 22 9 ^ p '.t .，·、 ^皮私—，以查看資料 厍22疋否已被训練來辨識該名稱的物件
配’資勸以-含有用於在查詢中命名之物件= 己 錄Li L2、...、Ln之信號41供應一位置記錄分析單元26。 位置記錄分析單元26決^最後在何處看見該物件，及將一 適：訊息42輸出至語音合成模組25。在此範例中，若使用 者m忘置放位置之鑰匙係由自主移動裝置〖在昨天晚上最 :在廚房桌上看見’及之後未見到，自主移動裝請語 音I合成模組25可發出語音f訊”你的鑰匙昨晚係、在廚房桌 上”。若該物件不在由自主裝置1最後看見之處，則藉由檢 查用口於該物件的位置歷史及決定—可能之處，位置記錄分 析單元26亦可建議一物件的可能位置。在以上所提範例 中’使用者通常可將其拖鞋留在咖啡桌了，但偶爾可能將 其留在床下。此等位置係在用於π拖鞋"的該物件模型之— 位置§己錄中儲存成為—位置較，且位置記錄分析單元％ 可解譯該位置歷史以做適當建議。 自然地，視需要，自主裝置i亦能指示使用者其無法辨 識使用者已遺忘置放位置的物件。依此方法，若使用者說 得不夠清楚，或若自主裝置不具有—藉由使用者命名之項 目的物件模型，其可輸出一適合回應。 雖然本發明已依較佳具體實施例及其變化之形式揭示， 但應將理解可在不脫離本發明之範圍下進行各種額外修改 及變化。例如，自主移動裝置能在不同位置與一或多個其 他自主裝置通訊，例如在一家庭環境中之自主裝置可能與 129102.doc -18- 200848229 在一辦公室環境中之另一自 主凌置通汛。右使用者嘗試尋 找一已运忘置放位置之物件時，自主裝置可,,比較註記％ 查看其是否可尋找該物件的所在。 本發明之ϋ料為進行互動賴。例如，使用者及 自主移動裝置可從事”熱/冷”遊戲之-版本，其中一參與者 必須發現一第二參盘者已知 /、 “ H同時提供關於其離該 /移動裝置或使用者決定-物件將被，，發現，，時，且另一 爹與者必須嘗試識別該物件 地選擇房子中的一物件。 自：移動…隨機 吗守/、知悉使用者在房間中 之位置及能計算使用者及已 使用者發現該物件，自幸孩^ 間的 為了協助 亥物件自主移動裝置提供其暗示，如，，”、 ”暖"、"熱”等等。該等角色可及魅 /7 予月巳了反轉，因此自主 須搜尋使用者已在房子中g 、.、 及”…-日， 的—物件。使用者供應”熱” :::不，且自主移動裝置可因此調適其執 已熾別該已選定物件。 旦 【圖式簡單說明】 圖1示意性顯示根據本發明之一 裝置之前方態樣； -體貝施例的自主移動 —物件位置查詢至根 自主移動裝置將物件 圖2a不意性顯示一其中使用者發出 據本發明之自主移動裝置的狀態； 圖2b不意性顯示圖2a之狀態，其中 位置資訊提供給使用者，· 主移動裝置及在其周圍 图3示忍性顯示根據本發明之 129102.doc -19- 200848229 之一些物件； 圖4顯示一顯示根據本發明之一具體實施例的自主移動 裝置之相關組件的方塊圖。 在圖式中，相似數字遍及本文指相似物件。圖中之物件 無須依比例繪製。 【主要元件符號說明】 1 自主移動裝置 2 使用者 3 物件/餘匙 4 物件/眼鏡 5 物件/拖鞋 6 物件/書 7 介面 10 相機 11 麥克風 12 介面信號 13 輸出模態/揚聲器 14 手 15 構件 16 處理單元 20 物件位置查詢 22 貧料庫 23 時間戳記 24 影像分析早元 129102.doc -20- 200848229
25 語音合成模組 26 位置記錄分析單元 27 語音辨識模組 28 語言理解模組 29 查詢解譯單元 30 位置記錄維護單元 31 時脈來源 32 座標來源/追蹤模組 33 位置資訊 34 對話控制單元 40 命令 41 信號 42 提示/回應/訊息 45 物件/傢倶 46 物件/傢倶 1^至1^ 位置記錄 MjMn 物件模型 NjNn 物件名稱 129102.doc -21 -