TWI650571B - 語音提示系統及方法 - Google Patents

Abstract

一種語音提示系統及方法，係應用於穿戴裝置或行動裝置上，包括令影像擷取辨識模組擷取初始物體之初始影像以辨識出初始物體之影像特徵，接著令搜尋模組從資料庫搜尋出對應該初始物體之影像特徵之初始位置，令語音模組接收目的物之語音輸入，接著再令搜尋模組從資料庫搜尋出對應該目的物之語音輸入之目的物之影像特徵及目的物位置，令導航模組根據該初始位置與該目的物位置計算出導航路徑以供語音模組語音輸出，爾後令比對模組比對即時物體之影像特徵與該目的物之影像特徵，進而判斷是否接近目的物。

Description

語音提示系統及方法

本案係關於一種語音提示技術，特別關於一種應用於穿戴裝置或行動裝置上之提供語音提示的系統及方法。

目前，想要在陌生環境中迅速移動至目的地，往往會用到手機中的導航程式。然而，受限於氣候或空氣電磁波之干擾、建築物遮蔽、或定位精準度等問題，手機導航較難適用於室內空間。

此外，手機導航的語音提示功能雖然可以輔助視障者行進至目的地，惟當路況自平面轉為立體型態(如樓梯)、或遇到非暫態障礙物(如路燈或變電箱)時，手機導航並無法對此提供額外功能，導致視障朋友行動不便。

另外，除了智慧型手機外，近年來亦興起穿戴式裝置，例如眼鏡、手錶或頭戴式等各種裝置，可作為智慧型手機的延伸而與其連結以共同執行導航。

鑒於上述欲解決之議題及其他議題，本案提供一種語音提示系統，係包括：影像擷取辨識模組，擷取初始物體之初始影像以辨識出初始物體之影像特徵、擷取即時物體 之即時影像以辨識出即時物體之影像特徵；語音模組，接收目的物之語音輸入；搜尋模組，根據該初始物體之影像特徵從資料庫搜尋出對應該初始物體之影像特徵之初始位置、根據該目的物之語音輸入從該資料庫搜尋出對應該目的物之語音輸入之目的物之影像特徵及目的物位置；導航模組，根據該初始位置與該目的物位置計算出一導航路徑，以供該語音模組語音輸出該導航路徑；以及比對模組，比對該即時物體之影像特徵與該目的物之影像特徵。

於一實施例中，於該比對模組比對該即時物體之影像特徵符合該目的物之影像特徵時，令該影像擷取辨識模組擷取當前物體之當前影像以辨識出當前物體之影像特徵，再由該搜尋模組根據該當前物體之影像特徵從該資料庫中搜尋出對應該當前物體之影像特徵之當前位置後，令該導航模組根據該當前位置與該目的物位置計算導航距離，以供該語音模組語音輸出該導航距離。

於一實施例中，本案之語音提示系統更包括空間掃描辨識模組及紀錄模組，該空間掃描辨識模組預先掃描立體空間以產生多個立體空間物體之影像特徵及多個立體空間物體之位置，該紀錄模組將該多個立體空間物體之影像特徵和該多個立體空間物體之位置紀錄至該資料庫中，以供該搜尋模組搜尋。

於一實施例中，該空間掃描辨識模組更包括影像擷取單元及鏡頭位置計算單元，該影像擷取單元預先擷取空間影像以產生該立體空間物體之影像特徵，該鏡頭位置計算 單元根據該空間影像計算出目前鏡頭位置和該立體空間物體之位置。

於一實施例中，於該搜尋模組根據該初始物體之影像特徵無法從該資料庫搜尋出對應該初始物體之影像特徵之初始位置時，該紀錄模組將該初始物體之影像特徵紀錄至該資料庫中，以供後續搜尋。

於一實施例中，該影像擷取辨識模組、該語音模組、該搜尋模組、該導航模組及該比對模組係設置於穿戴裝置或行動裝置，而該資料庫設置於雲端伺服器。

鑒於上述欲解決之議題及其他議題，本案亦提供一種語音提示方法，係包括：擷取初始物體之初始影像以辨識出初始物體之影像特徵；根據該初始物體之影像特徵從資料庫搜尋出對應該初始物體之影像特徵之初始位置；接收目的物之語音輸入，以根據該目的物之語音輸入從該資料庫搜尋出對應該目的物之語音輸入之目的物之影像特徵及目的物位置；根據該初始位置與該目的物位置計算出導航路徑；語音輸出該導航路徑；於導航期間持續擷取即時物體之即時影像以辨識出即時物體之影像特徵；以及比對該即時物體之影像特徵與該目的物之影像特徵。

於一實施例中，本案之語音提示方法更包括：於比對該即時物體之影像特徵符合該目的物之影像特徵時，擷取當前物體之當前影像以辨識出當前物體之影像特徵；根據該當前物體之影像特徵從該資料庫中搜尋出對應該當前物體之影像特徵之當前位置；根據該當前位置與該目的物位 置計算一導航距離；及語音輸出該導航距離。

於一實施例中，本案之語音提示方法更包括：預先掃描立體空間以產生多個立體空間物體之影像特徵及多個立體空間物體之位置；及將該多個立體空間物體之影像特徵和該多個立體空間物體之位置紀錄至該資料庫中，以供搜尋。

於一實施例中，本案之語音提示方法更包括：於根據該初始物體之影像特徵無法從該資料庫搜尋出對應該初始物體之影像特徵之初始位置時，將該初始物體之影像特徵紀錄至該資料庫中，以供後續搜尋。

因此，本案可讓使用者透過穿戴裝置隨時記錄物體影像的特徵及物體的空間位置，並且需要語音提示時，可以方便的立即指引到物體目的地位置，更可讓視障者藉此導引至物體的目的地位置。另一方面，本案可讓使用者藉由他人所記錄之物體影像特徵，搜尋是否為自己的目標物體，並前往該物體所在位置。據此，透過本案之語音提示系統和方法，讓使用者戴上穿戴裝置後加上聯網技術、影像處理技術及語音處理技術等環環相扣，並利用影像儲存及辨識的方式來解決，未來也可應用在擴增實境相關的系統上。

1‧‧‧語音提示系統

11‧‧‧影像擷取辨識模組

12‧‧‧語音模組

13‧‧‧搜尋模組

14‧‧‧導航模組

15‧‧‧比對模組

16‧‧‧空間掃描辨識模組

161‧‧‧影像擷取單元

162‧‧‧鏡頭位置計算單元

17‧‧‧紀錄模組

18‧‧‧資料庫

S201~S211‧‧‧步驟

第1圖為本案之語音提示系統之一實施例的方塊圖；及第2圖為本案之語音提示方法之一實施例的流程圖。

以下藉由特定的實施例說明本案之實施方式，熟習此項技藝之人士可由本文所揭示之內容輕易地瞭解本案之其他優點及功效。本說明書所附圖式所繪示之結構、比例、大小等均僅用於配合說明書所揭示之內容，以供熟悉此技藝之人士之瞭解與閱讀，非用於限定本案可實施之限定條件，故任何修飾、改變或調整，在不影響本案所能產生之功效及所能達成之目的下，均應仍落在本案所揭示之技術內容得能涵蓋之範圍內。

參閱第1圖，本案之語音提示系統1包括影像擷取辨識模組11、語音模組12、搜尋模組13、導航模組14、比對模組15、空間掃描辨識模組16、紀錄模組17、資料庫18。

影像擷取辨識模組11用於擷取影像並自所擷取的影像辨識出物體影像特徵(如物體顏色、形狀、大小等各種物體影像特徵)。於一實施例中，影像擷取辨識模組11擷取一初始影像以辨識出一初始物體影像特徵、擷取一即時影像以辨識出一即時物體影像特徵、擷取一當前影像以辨識出一當前物體影像特徵。在此實施例中，影像擷取辨識模組11可設置於行動裝置(例如手機)或穿戴式裝置(例如眼鏡)上。

語音模組12用於接收語音輸入和提供語音輸出。於一實施例中，語音模組12接收來自使用者之一目的物語音輸入、根據導航模組14的指示而語音輸出一導航路徑或導 航距離。語音模組12可將所接收到的語音資料上傳至語音辨識伺服器，語音辨識伺服器將該語音資料再轉換成字詞，以供搜尋模組13根據該字詞至資料庫18搜尋，或者將來自導航模組14的導航路徑和導航距離轉換成語音提供給語音模組12。在此實施例中，語音模組12可設置於行動裝置(例如手機)或穿戴式裝置(例如眼鏡)上。

搜尋模組13根據影像擷取辨識模組11所辨識出之物體影像特徵自資料庫18搜尋出對應該影像之物體位置(如經緯度、方向、相對距離等絕對或相對位置資料)。於一實施例中，搜尋模組13根據影像擷取辨識模組11所辨識出之初始物體影像特徵自資料庫18搜尋出對應該初始物體影像特徵之一初始位置、根據語音模組12所接收之目的物語音輸入自資料庫18搜尋出對應該目的物語音輸入之一目的物影像特徵及一目的物位置、根據影像擷取辨識模組11所辨識出之當前物體影像特徵自資料庫18搜尋出對應該當前物體影像特徵之一當前位置。在此實施例中，搜尋模組13可設置於行動裝置(例如手機)或穿戴式裝置(例如眼鏡)上，而資料庫18可設置於雲端伺服器。

導航模組14根據搜尋模組13所搜尋出之初始位置與目的物位置計算出一導航路徑，以供語音模組12語音輸出該導航路徑。在此實施例中，導航模組14可設置於行動裝置(例如手機)、穿戴式裝置(例如眼鏡)上或雲端伺服器。

比對模組15用於在導航期間，比對影像擷取辨識模組11所辨識出之即時物體影像特徵與搜尋模組13根據該 目的物語音輸入所搜尋出之目的物影像特徵是否相符。在此實施例中，比對模組15可設置於行動裝置(例如手機)、穿戴式裝置(例如眼鏡)上或雲端伺服器。

於比對模組15比對影像擷取辨識模組11所辨識出之即時物體影像特徵符合搜尋模組13根據該目的物語音輸入所搜尋出之目的物影像特徵時，影像擷取辨識模組11擷取一當前影像以辨識出一當前物體影像特徵，接著搜尋模組13根據影像擷取辨識模組11所辨識出之當前物體影像特徵自資料庫18中搜尋出對應該當前物體影像特徵之一當前位置，爾後導航模組14根據搜尋模組13所搜尋出之當前位置與目的物位置計算導航距離，以供語音模組12語音輸出該導航距離。

空間掃描辨識模組16預先掃描立體空間以產生多個立體空間物體影像特徵及多個立體空間物體位置。空間掃描辨識模組16包括影像擷取單元161(例如鏡頭)和鏡頭位置計算單元162，影像擷取單元161預先擷取空間影像以產生立體空間物體影像特徵，鏡頭位置計算單元162根據該空間影像計算出目前鏡頭位置和該立體空間物體位置。換言之，空間掃描辨識模組16能透過鏡頭擷取影像及計算出鏡頭的位置，接著利用演算法(例如Oriented Fast and Rotated BRIEF)取得影像中特徵點，配合鏡頭位置，構成一空間座標系統。另外，在一實施例中，可使用演算法(例如Simultaneous Localization and Mapping)建立物體空間位置的特徵資料，並可採用輔助輸入(如手動自行輸入或語 音輸入)建立物體影像的標籤(Tag)資料。

紀錄模組17將該多個立體空間物體影像特徵和該多個立體空間物體位置紀錄至資料庫18中，以供搜尋模組13進行搜尋。於一實施例中，於搜尋模組13根據影像擷取辨識模組11所辨識出之初始物體影像特徵無法自資料庫18搜尋出對應該初始物體影像特徵之初始位置時，紀錄模組17將該初始物體影像特徵紀錄至資料庫18中。

須說明的是，關於影像擷取辨識模組11和空間掃描辨識模組16，前者執行導航中的影像擷取，後者執行作為資料庫內立體空間建置的影像預擷取，實際上可為相同裝置在不同時間的執行，或者影像擷取辨識模組11為載有影像特徵辨識程式之具有鏡頭的手機，而空間掃描辨識模組16為載有影像特徵辨識程式、鏡頭位置計算程式之具有鏡頭的眼鏡，但本案不以此為限。

據此，本案可運用穿戴裝置與物體影像空間處理技術而提供語音提示。首先透過穿戴裝置的鏡頭，使用影像空間處理技術，計算目前鏡頭的位置，並且將記錄的物體空間位置及物體影像資訊存放到雲端伺服器中。當使用者需要語音提示時，將目前影像的位置與要導引的目的位置，做計算比對。透過語音的輸入及輸出，告知前往物體所在目的地位置的引導資訊。

參閱第2圖，本案之語音提示方法可包括步驟S201至S211。

於步驟S201中，擷取初始影像以辨識出初始物體影 像特徵。

於步驟S202中，搜尋對應該初始物體影像特徵之初始位置，以作為使用者所在處之初始位置，接著進至步驟S205。

此外，於步驟S203中，接收(由使用者所提供之)目的物語音輸入。

於步驟S204中，搜尋對應該目的物語音輸入之目的物影像特徵及目的物位置，接著進至步驟S205。

須說明的是，步驟S201至S202與步驟S203至S204原則上沒有先後順序。但實際應用時，往往先執行步驟S201至S202，再執行步驟S203至S204。另外，於步驟S201之前，預先於資料庫中紀錄由多個立體空間物體影像特徵及多個立體空間物體位置等資料以供搜尋，此可由穿上穿戴裝置之操作者或安裝有鏡頭和處理程式之機器人，預先至該立體空間掃描之以獲得該立體空間中的物體的特徵及位置。此外，假若於步驟S202中無法搜尋到對應的資料時，將自所擷取之影像辨識出來的物體影像特徵紀錄至資料庫，以供日後其他使用者使用該資料庫時的參考。

於步驟S205中，根據初始位置與目的物位置計算出導航路徑。

於步驟S206中，語音輸出導航路徑，以導航使用者至目的地，例如向右走30公尺或向左走20公尺。

於步驟S207中，於導航期間(通常為使用者行進期間)，擷取即時影像以辨識出即時物體影像特徵。

於步驟S208中，比對即時物體影像特徵是否與目的物影像特徵相符，若是，進至步驟S209；若否，返回步驟S207重複步驟S207和208，於導航期間，繼續擷取即時影像，直到所擷取之即時影像的即時物體影像特徵符合使用者要的目的物影像特徵，表示系統已找到目的物並已導航至目的物了。在一實施例中，即時物體影像特徵要與目的物影像特徵完全相符，或是兩者存在一定的相似程度(如90%等)，才算符合。

接著於步驟S209中，搜尋出對應該當前物體影像特徵之當前位置。

於步驟S210中，根據當前位置與目的物位置計算導航距離。

於步驟S211中，語音輸出導航距離。

以下以舉例方式說明本案的主要內容。一個剛到國外機場的使用者因為看不太懂英文指示的方向，想要先去ATM提款，好準備有現金可以搭乘計程車到旅館，這時他戴上穿戴裝置(如：頭戴式智慧型眼鏡)，其上安裝有影像擷取辨識模組、語音模組、搜尋模組、導航模組和比對模組。

一資料庫中紀錄有該國外機場的機場立體空間及特徵資料，其已透過空間掃描辨識模組建立完成，本立體空間建立的方法，是透過具有鏡頭偵測距離的功能，像是透過紅外線或是雷射距離偵測等硬體及空間掃描建置模組硬體裝置來完成，因鏡頭可以偵測距離，故可知道物體目前位置(Tracking and Mapping)，並將影像特徵資料上傳至雲 端，簡單來說就是透過鏡頭偵測計算出穿戴裝置現在的位置與各物體距離，得到機場的立體空間資訊及影像辨識資料，建立並上傳至資料庫。

接著，使用者透過穿戴裝置的語音輸入：我要去ATM GO，此時語音模組將使用者的聲音透過語音辨識後，將ATM的語音轉換為文字ATM字詞，並將文字ATM字詞上傳到搜尋模組，透過搜尋模組找到離使用者最近距離的ATM提款機(如上述提到以空間掃描方式建立或得到ATM位置，或有其他的穿戴裝置拍攝到ATM，並將該穿戴裝置拍攝之當下的拍攝位置點、拍攝方位、拍攝ATM之距離等資料拿去運算求得ATM之一地理位置，並已先存入資料庫，所以我們可以從那些ATM位置資料去算出離使用者最近的ATM提款機)，另外將此ATM提款機進行比對到目前使用者在哪一個位置，可雲端連線一地圖服務(如該國外機場的地圖位置圖)，並取得一路徑(起點為使用者目前位置、終點為該ATM所在處)，透過穿戴裝置的語音輸出，可告知使用者接下來的行進方向是朝東南西北的方向。例如，使用者要先右轉走十步後，影像擷取辨識模組、比對模組、搜尋模組，得知當前位置後，穿戴裝置再告知目前需要直走50步，然後再重複透過擷取辨識模組、比對模組、搜尋模組，得知當前位置，再透過穿戴裝置的語音告知方向，直到使用者抵達ATM所在位置。接著，當比對模組比對當前影像的物體特徵符合目的物體(ATM)的特徵後(透過穿戴裝置之攝像頭)(還未抵達ATM所在位置前， 攝取的影像中可能沒有該ATM)，會判斷當下位置與目標物距離，以及用語音提示予使用者，同時會持續語音導引，若導引至5公尺前就完成導引，則會語音提示使用者該ATM已在前方5公尺處，在本例子是ATM，當導引至ATM時整個流程就會結束。

此外，例如一視障者利用本案所揭示之語音提示系統及方法，在電梯口附近，想要導引該視障者至洗手間，此時可以透過穿戴裝置的語音輸入方法，口說至洗手間，然後將口說的資訊辨識並且上傳至搜尋模組後，利用已建立之地圖位置圖，得知目前位置及目的地位置，語音輸出進行語音導引至洗手間位置。

綜上所述，本案是運用穿戴裝置與物體影像空間處理技術，而提供語音提示的系統與方法。主要是先透過穿戴裝置的鏡頭，使用影像擷取及影像空間處理技術，計算目前鏡頭的位置，並且將記錄的物體空間位置及物體影像資訊資料存放到雲端伺服器中；當使用者需要語音提示時，利用地圖位置圖或資料庫，將目前影像的位置，與要導引的目的位置，做計算比對；透過語音的輸入及輸出，告知前往物體所在目的地位置的引導資訊。

上述實施例僅例示性說明本案之功效，而非用於限制本案，任何熟習此項技藝之人士均可在不違背本案之精神及範疇下對上述該些實施態樣進行修飾與改變。因此本案之權利保護範圍，應如後述之申請專利範圍所列。

Claims (10)

1. 一種語音提示系統，係包括：影像擷取辨識模組，擷取初始物體之初始影像以辨識出初始物體之影像特徵以及擷取即時物體之即時影像以辨識出即時物體之影像特徵；語音模組，接收目的物之語音輸入；搜尋模組，根據該初始物體之影像特徵從資料庫搜尋出對應該初始物體之影像特徵之初始位置，以及根據該目的物之語音輸入從該資料庫搜尋出對應該目的物之語音輸入之目的物之影像特徵及目的物位置；導航模組，根據該初始位置與該目的物位置計算出一導航路徑，以供該語音模組語音輸出該導航路徑；以及比對模組，比對該即時物體之影像特徵與該目的物之影像特徵。
2. 如申請專利範圍第1項所述之語音提示系統，其中，於該比對模組比對該即時物體之影像特徵符合該目的物之影像特徵時，令該影像擷取辨識模組擷取當前物體之當前影像以辨識出當前物體之影像特徵，再由該搜尋模組根據該當前物體之影像特徵從該資料庫中搜尋出對應該當前物體之影像特徵之當前位置後，令該導航模組根據該當前位置與該目的物位置計算導航距離，以供該語音模組語音輸出該導航距離。
3. 如申請專利範圍第1項所述之語音提示系統，更包括空間掃描辨識模組及紀錄模組，該空間掃描辨識模組預先掃描立體空間以產生多個立體空間物體之影像特徵及多個立體空間物體之位置，且該紀錄模組係用以將該多個立體空間物體之影像特徵和該多個立體空間物體之位置紀錄至該資料庫中，以供該搜尋模組搜尋。
4. 如申請專利範圍第3項所述之語音提示系統，其中，該空間掃描辨識模組更包括影像擷取單元及鏡頭位置計算單元，該影像擷取單元係預先擷取空間影像以產生該立體空間物體之影像特徵，且該鏡頭位置計算單元係根據該空間影像計算出目前鏡頭位置和該立體空間物體之位置。
5. 如申請專利範圍第3項所述之語音提示系統，其中，於該搜尋模組根據該初始物體之影像特徵無法從該資料庫搜尋出對應該初始物體之影像特徵之初始位置時，該紀錄模組將該初始物體之影像特徵紀錄至該資料庫中。
6. 如申請專利範圍第1項所述之語音提示系統，其中，該影像擷取辨識模組、該語音模組、該搜尋模組、該導航模組及該比對模組係設置於穿戴裝置或行動裝置，而該資料庫設置於雲端伺服器。
7. 一種語音提示方法，係包括：擷取初始物體之初始影像，以辨識出初始物體之影像特徵；根據該初始物體之影像特徵從資料庫搜尋出對應 該初始物體之影像特徵之初始位置；接收目的物之語音輸入，以根據該目的物之語音輸入從該資料庫搜尋出對應該目的物之語音輸入之目的物之影像特徵及目的物位置；根據該初始位置與該目的物位置計算出導航路徑；語音輸出該導航路徑；於導航期間持續擷取即時物體之即時影像以辨識出即時物體之影像特徵；以及比對該即時物體之影像特徵與該目的物之影像特徵。
8. 如申請專利範圍第7項所述之語音提示方法，更包括：於比對該即時物體之影像特徵符合該目的物之影像特徵時，擷取當前物體之當前影像以辨識出當前物體之影像特徵；根據該當前物體之影像特徵從該資料庫中搜尋出對應該當前物體之影像特徵之當前位置；根據該當前位置與該目的物位置計算一導航距離；及語音輸出該導航距離。
9. 如申請專利範圍第7項所述之語音提示方法，更包括：預先掃描立體空間以產生多個立體空間物體之影像特徵及多個立體空間物體之位置；及將該多個立體空間物體之影像特徵和該多個立體 空間物體之位置紀錄至該資料庫中，以供搜尋。
10. 如申請專利範圍第7項所述之語音提示方法，更包括：於根據該初始物體之影像特徵無法從該資料庫搜尋出對應該初始物體之影像特徵之初始位置時，將該初始物體之影像特徵紀錄至該資料庫中。