TWI474173B - 行走輔助系統及行走輔助方法 - Google Patents

Description

行走輔助系統及行走輔助方法

本發明涉及一種行走輔助系統及行走輔助方法，尤其涉及一種使用者行走輔助系統及行走輔助方法。

視障者由於失去視覺之感受能力，在日常生活中無法藉由視覺來察覺周圍環境的情況，而僅能夠依靠觸覺、聽覺來確定周圍環境之狀態。但是對於懸掛式或不規則的障礙物，視障者一般無法藉由觸覺及聽覺來確定，從而容易造成視障者發生碰撞意外。特別是當視障者藉由觸覺去觸摸周圍環境的物體時，容易被周圍環境的物體燙傷或割傷等。

鑒於以上內容，有必要提供一種行走輔助系統及行走輔助方法，可輔助使用者行走。

一種行走輔助系統，該行走輔助系統用於輔助一使用者的行走，該系統包括：一影像獲取模組，該影像獲取模組用於獲取一攝像裝置攝取的場景圖像，該場景圖像中包括物品各點與攝像裝置之間的距離資訊；一影像分析模組，該影像分析模組用於偵測該場景圖像中是否存在物體；一模型建立模組，該模型建立模組用於當該影像分析模組偵測該場景圖像中存在物體時，根據該獲取的場景圖像及該物品各點到攝像裝置之間的距離建立該場景的三維 模型；一偵測模組，該偵測模組用於藉由偵測該場景的三維模型來確定該物體為特定物體還是障礙物；一執行模組，該執行模組用於藉由一聲音輸出裝置提示使用者前方的特定物體或障礙物與使用者之間的距離。

一種行走輔助方法，該行走輔助方法用於輔助一使用者的行走，該行走輔助方法包括：獲取一攝像裝置攝取的場景圖像，該場景圖像中包括物品各點與攝像裝置之間的距離資訊；偵測該場景圖像中是否存在物體；當偵測該場景圖像中存在物體時，根據該獲取的場景圖像及該物品各點到攝像裝置之間的距離建立該場景的三維模型；藉由偵測該場景的三維模型來確定該物體為特定物體還是障礙物；藉由一聲音輸出裝置提示使用者前方的特定物體和障礙物與該使用者之間的距離。

本發明藉由在場景圖像中存在物體時建立場景的三維模型，並偵測場景的三維模型來確定該物體為特定物體還是障礙物，並藉由一聲音輸出裝置提示使用者，從而輔助使用者行走。

1‧‧‧行走輔助裝置

10‧‧‧行走輔助系統

11‧‧‧範本建立模組

12‧‧‧影像獲取模組

13‧‧‧影像分析模組

14‧‧‧模型建立模組

15‧‧‧偵測模組

16‧‧‧執行模組

20‧‧‧中央處理器

30‧‧‧記憶體

2‧‧‧攝像裝置

3‧‧‧聲音輸出裝置

圖1為本發明一實施方式的一行走輔助系統的方框示意圖。

圖2為本發明一實施方式的一行走輔助裝置的示意圖。

圖3為本發明一實施方式的的行走輔助方法的流程圖。

如圖1所示，是本發明一實施方式的行走輔助系統10的方框示意圖。該行走輔助系統10應用於一行走輔助裝置1上，該行走輔助裝置1與一攝像裝置2以及聲音輸出裝置3連接，根據該攝像裝置2 攝取的前方場景圖像判斷前方場景中是否存在物體以及物體的距離，並在前方場景中存在物體時，藉由該聲音輸出裝置3提示使用者前方場景中有物體以及物體的距離。其中，該物體包括特定物體，如桌子，椅子等，及障礙物。該行走輔助裝置1還包括一中央處理器20及一記憶體30。

請同時參閱圖2，在本實施方式中，該行走輔助裝置1為一眼鏡形狀，該聲音輸出裝置3為一耳機。該行走輔助裝置1包括一音頻介面及一視頻界面。該行走輔助裝置1可藉由該視頻界面與該攝像裝置2連接，從而可從該攝像裝置2中獲取圖像，同時該行走輔助裝置1可藉由該音頻介面與該聲音輸出裝置3連接，從而輸出音頻至使用者的耳朵，使用者可藉由佩戴該行走輔助裝置1，並藉由該聲音輸出裝置3得知前方場景中的物體的具體位置。

該攝像裝置2用於攝取前方場景，並生成場景影像。在本實施例中，所述攝像裝置2為一種深度攝影機(Depth-sensing Camera)，如時間飛行(Time of Flight，TOF)攝影機，用於攝取場景影像，該場景影像中包括被攝物體的景深資訊。所述被攝物體的景深資訊是指被攝物體各點與攝像裝置的距離資訊。由於攝像裝置2在拍攝目標物時，將發射一定波長的信號，當信號遇到目標物時即會反射至攝像裝置2，根據信號發射與接收之間的時間差即可計算出目標物上各點與攝像裝置2之間的距離資訊，因此所述攝像裝置2可得到場景影像中被攝物體各點與攝像裝置2之間的距離資訊，即景深資訊，以下稱為場景影像中被攝物體各點與攝像裝置2之間的距離資訊。該攝像裝置2設置於該行走輔助裝置1上，並在該行走輔助裝置1被一使用者佩戴時，可攝取該使用者 前方的環境。

該行走輔助系統10包括一範本建立模組11、一影像獲取模組12、一影像分析模組13、一模型建立模組14、一偵測模組15及一執行模組16。本發明所稱的模組是指一種能夠被行走輔助裝置1的中央處理器20所執行並能夠完成特定功能的一系列電腦程式塊，其存儲於行走輔助裝置1的記憶體30中。在本實施方式中，該行走輔助裝置1還用於確定物體的名稱、物體的尺寸(例如物體的長、寬、高)，並藉由聲音輸出裝置3告知使用者。

其中，該記憶體30中還存儲有多個不同的特定物體的名稱、對應的三維範本、及多個音頻檔。該多個不同的特定物體的三維範本為該攝像裝置2預先攝取的。使用者可藉由確定該些特定物體而去做相應的事情，如放置物品在桌子上、或者在前方確定的椅子休息、或者進入一計程車輛去到達某個目的地，或者防止碰到該些特定物體而發生意外事故。具體，該範本建立模組11用於分別獲取該攝像裝置2攝取的該些特定物體的影像，根據該些特定物體的影像及特定物體的影像中的各個點到攝像裝置2的距離來建立該些特定物體的三維範本。

該多個音頻檔包括第一音頻檔、若干第二音頻檔及若干第三音頻檔。該第一音頻檔為包括有該特定物體與該使用者之間的距離以及特定物體形狀的不包括具體數位的描述性語句的音頻檔，例如，該描述性語句為“前方(空格)米處有一為(空格)米，寬為(空格)米，高為(空格)米的(空格)”。該若干第二音頻檔分別對應為所有特定物體的名稱以及障礙物的音頻檔，如“桌子”等。該若干第三音頻檔分別為數值音頻檔，如“1.1”、“9” 等。

該影像獲取模組12用於獲取該攝像裝置2攝取的使用者前方場景圖像。

該影像分析模組13用於偵測該獲取的場景圖像中是否存在物體。具體為：該影像分析模組13判斷該獲取的場景圖像的任意相鄰點到攝像裝置2之間的距離，並判斷是否有超過預定數量的相鄰點到攝像裝置2之間的距離的差值超過一預定值。當有超過預定數量的相鄰點到攝像裝置2之間的距離的差值超過預定值時，該影像分析模組13確定該建立的環境三維模型中存在物體。當沒有超過預定數量的相鄰點到攝像裝置2之間的距離的差值超過預定值時，該影像分析模組13確定該建立的環境三維模型中不存在物體。

該模型建立模組14用於根據該獲取的場景影像及該場景影像中各個點到攝像裝置2的距離來建立該場景的三維模型。

該偵測模組15還用於偵測該建立的環境三維模型中是否存在特定物體。具體為：該偵測模組15將建立的環境三維模型與存儲於記憶體30中的多個不同的三維範本進行比較，來判斷該前方場景中是否存在特定物體。如果該建立的環境三維模型中至少存在與該多個不同的三維範本中的一個相同的部分，則該偵測模組15認為該被攝取的前方場景中存在特定物體。如果該建立的場景三維模型中不存在與任意一個三維範本相同的部分，則該偵測模組15認為該被攝取的前方場景中不存在特定物體，而存在障礙物。當該建立的場景三維模型中存在特定物體時，該偵測模組15還用於確定該特定物體的名稱。

該執行模組16用於在該偵測模組15偵測到特定物體時，計算該特定物體的長、寬和高，從該記憶體30中讀取第一音頻檔、該若干第二音頻檔中對應於特定物體的名稱的第二音頻檔、及該若干第三音頻檔中對應於特定物體的長、寬和高的數值的第三音頻檔，並將該讀取的第一音頻檔、第二音頻檔及第三音頻檔進行合成一特定物體音頻檔，並藉由該聲音輸出裝置3輸出該合成的特定物體音頻檔。如：當前方6米處測得有一長為1.6米，寬為1.1米，高為0.5米的長椅時，該執行模組16藉由該聲音輸出裝置3輸出“前方6米處有一為1.6米，寬為1.1米，高為0.5米的長椅”，從而提示使用者前往該特定物體去做相應的事情或者防止碰到特定物體而發生意外事故。其中，該特定物體與該使用者的最小距離可為認為該特定物體到該使用者的距離。

當該環境三維模型中存在障礙物時，該執行模組16用於計算該障礙物的長、寬和高的數值，從該記憶體30中讀取第一音頻檔、該若干個第二音頻檔中對應於該障礙物的第二音頻檔、及該若干個第三音頻檔中對應於該確定的長、寬和高的數值的第三音頻檔，並將該讀取的第一音頻檔、第二音頻檔及第三音頻檔進行合成一障礙物音頻檔，並藉由該聲音輸出裝置3輸出該合成的障礙物音頻檔，如：當前方6米處測得有一長為1.7米，寬為0.8米、高為3.2米的障礙物時，該執行模組16藉由該聲音輸出裝置3輸出“前方6米處有一長為1.7米，寬為0.8米、高為3.2米的障礙物”，從而提示使用者避開該障礙物，防止碰到特定物體而發生意外事故。其中，該障礙物與該使用者的最小距離可為認為該障礙物到該使用者的距離。

請參閱圖3，為本發明一行走輔助方法的流程圖。該行走輔助方法應用於如圖1所示的行走輔助裝置1上。

在步驟S301中，該影像獲取模組12獲取該攝像裝置2攝取的使用者前方場景圖像。

在步驟S302中，該影像分析模組13判斷該獲取的場景圖像中是否存在物體。當該獲取的場景圖像中不存在物體時，執行步驟S301。當該獲取的場景圖像中存在物體時，執行步驟S303。其中，該影像分析模組13的具體操作為：該影像分析模組13比較任意相鄰點到攝像裝置2之間的距離，並判斷是否有超過預定數量的相鄰點到攝像裝置2的距離的差值超過預定值。當有超過預定數量的相鄰點到攝像裝置2的距離的差值超過預定值時，該影像分析模組13確定該獲取的場景圖像中存在物體。當沒有超過預定數量的相鄰點到攝像裝置2的距離的差值超過預定值時，該影像分析模組13確定該獲取的場景圖像中不存在物體。

在步驟S303中，該模型建立模組14根據該獲取的場景圖像及該場景圖像中各個點到攝像裝置2的距離來建立該場景的三維模型。

在步驟S304中，該偵測模組15偵測該建立的場景三維模型中是否存在特定物體。當該建立的場景三維模型中存在特定物體時，執行步驟S305。當該建立的場景三維模型中不存在特定物體時，執行步驟S307。

在步驟S305中，該偵測模組15確定該特定物體的名稱。

在步驟S306中，該執行模組16計算該特定物體的長、寬和高，從該記憶體30中讀取第一音頻檔、若干個第二音頻檔中對應於該確 定的特定物體的名稱的第二音頻檔、及若干個第三音頻檔中對應於該確定的特定物體的長、寬和高數值的第三音頻檔，並將該讀取的第一音頻檔、第二音頻檔及第三音頻檔進行合成一特定物體音頻檔，並藉由該聲音輸出裝置3輸出該合成的特定物體音頻檔。從而提示使用者前往該特定物體去做相應的事情，或者避開該障礙物而防止碰到特定物體而發生意外事故。

在步驟S307中，該執行模組16計算該障礙物的長、寬和高，從該記憶體30中讀取第一音頻檔、若干個第二音頻檔中對應於障礙物的第二音頻檔、及若干個第三音頻檔中對應於長、寬和高數值的第三音頻檔，並將該讀取的第一音頻檔、第二音頻檔及第三音頻檔進行合成一障礙物音頻檔，並藉由該聲音輸出裝置3輸出該合成的障礙物音頻檔，從而提示使用者避開該障礙物，防止碰到障礙物而發生意外事故。

最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

1‧‧‧行走輔助裝置

10‧‧‧行走輔助系統

11‧‧‧範本建立模組

12‧‧‧影像獲取模組

13‧‧‧影像分析模組

14‧‧‧模型建立模組

15‧‧‧偵測模組

16‧‧‧執行模組

20‧‧‧中央處理器

30‧‧‧記憶體

2‧‧‧攝像裝置

3‧‧‧聲音輸出裝置

Claims (12)

1. 一種行走輔助系統，該行走輔助系統用於輔助一使用者的行走，其改良在於，該系統包括：一影像獲取模組，該影像獲取模組用於獲取一攝像裝置攝取的場景圖像，該場景圖像中包括物品各點與攝像裝置之間的距離資訊；一影像分析模組，該影像分析模組用於偵測該場景圖像中是否存在物體；一模型建立模組，該模型建立模組用於當該影像分析模組偵測該場景圖像中存在物體時，根據該獲取的場景圖像及該物品各點到攝像裝置之間的距離建立該場景的三維模型；一偵測模組，該偵測模組用於藉由偵測該場景的三維模型來確定該些物體中是否有特定物體，並在該些物體中無特定物體時，確定該些物體為障礙物；一執行模組，該執行模組用於藉由一聲音輸出裝置提示使用者前方的特定物體或障礙物與使用者之間的距離。
2. 如申請專利範圍第1項所述之行走輔助系統，其中，該偵測模組用於在偵測到該場景的三維模型中存在特定物體時，確定該特定物體的名稱，該執行模組用於藉由一聲音輸出裝置輸出該特定物體的名稱及該特定物體與該使用者之間的距離。
3. 如申請專利範圍第2項所述之行走輔助系統，其中，該偵測模組將該建立的場景的三維模型與存儲的多個特定物體的三維範本進行比對，判斷該場景的三維模型中是否至少存在與該特定物體的三維範本中的一個相同的部分，當該場景三維模型中至少存在與該特定物體的三維範本中的一 個相同的部分時，該偵測模組確定該場景的三維模型中存在特定物體，當該場景三維模型中不存在任意一個與該特定物體的三維範本相同的部分時，該偵測模組確定該場景的三維模型中不存在特定物體。
4. 如申請專利範圍第3項所述之行走輔助系統，其中，該系統還包括一範本建立模組，該範本建立模組獲取該攝像裝置攝取的一些特定物體的影像，該特定物體的影像中包括物體各點到攝像裝置之間的距離資訊，該範本建立模組還根據該些特定物體的影像和該些特定物體的影像中的物體各點到攝像裝置之間的距離建立該些特定物體的三維範本。
5. 如申請專利範圍第1項所述之行走輔助系統，其中，該影像分析模組比較任意相鄰點到攝像裝置的距離，並判斷是否有超過一預定數量的相鄰點到攝像裝置的距離的差值超過一預定值，當有超過一預定數量的相鄰點到攝像裝置的距離的差值超過一預定值時，該影像分析模組確定該獲取的場景圖像中存在物體，當沒有超過一預定數量的相鄰點到攝像裝置的距離的差值超過一預定值時，該影像分析模組確定該獲取的場景圖像中不存在物體。
6. 如申請專利範圍第1項所述之行走輔助系統，其中，該執行模組還計算該物體的長、寬及高，並藉由該聲音輸出裝置輸出該物體的長、寬及高。
7. 一種行走輔助方法，該行走輔助方法用於輔助一使用者的行走，其改良在於，該行走輔助方法包括：獲取一攝像裝置攝取的場景圖像，該場景圖像中包括物品各點與攝像裝置之間的距離資訊；偵測該場景圖像中是否存在物體；當偵測該場景圖像中存在物體時，根據該獲取的場景圖像及該物品各點到攝像裝置之間的距離建立該場景的三維模型；藉由偵測該場景的三維模型來確定該些物體中是否有特定物體，並在該 些物體中無特定物體時，確定該些物體為障礙物；藉由一聲音輸出裝置提示使用者前方的特定物體和障礙物與該使用者之間的距離。
8. 如申請專利範圍第7項所述之行走輔助方法，其中，該行走輔助方法還包括：在偵測到該場景的三維模型中存在特定物體時，確定該特定物體的名稱；藉由一聲音輸出裝置輸出該特定物體的名稱及該特定物體與該使用者之間的距離。
9. 如申請專利範圍第8項所述之行走輔助方法，其中，該行走輔助方法還包括：將該建立的場景的三維模型與存儲的多個特定物體的三維範本進行比對，判斷該場景的三維模型中是否至少存在與該特定物體的三維範本中的一個相同的部分；當該場景三維模型中至少存在與該特定物體的三維範本中的一個相同的部分時，確定該場景的三維模型中存在特定物體；當該場景三維模型中不存在任意一個與該特定物體的三維範本相同的部分時，確定該場景的三維模型中不存在特定物體。
10. 如申請專利範圍第9項所述之行走輔助方法，其中，該行走輔助方法還包括：獲取該攝像裝置攝取的一些特定物體的影像，該特定物體的影像中包括物體各點到攝像裝置之間的距離資訊；根據該些特定物體的影像和該些特定物體的影像中的物體各點到攝像裝置之間的距離建立該些特定物體的三維範本。
11. 如申請專利範圍第7項所述之行走輔助方法，其中，該行走輔助方法還包 括：比較任意相鄰點到攝像裝置之間的距離，並判斷是否有超過一預定數量的相鄰點到攝像裝置之間的距離的差值超過一預定值；當有超過一預定數量的相鄰點到攝像裝置之間的距離的差值超過一預定值時，確定該獲取的場景圖像中存在物體；當沒有超過一預定數量的相鄰點到攝像裝置之間的距離的差值超過一預定值時，確定該獲取的場景圖像中不存在物體。
12. 如申請專利範圍第7項所述之行走輔助方法，其中，該行走輔助方法還包括：計算該物體的長、寬及高，並藉由該聲音輸出裝置輸出該物體的長、寬及高。