TWI842504B - 混合實境深度感知系統、混合實境環境感知方法及混合實境虛擬繪圖方法 - Google Patents

混合實境深度感知系統、混合實境環境感知方法及混合實境虛擬繪圖方法 Download PDF

Info

Publication number
TWI842504B
TWI842504B TW112116036A TW112116036A TWI842504B TW I842504 B TWI842504 B TW I842504B TW 112116036 A TW112116036 A TW 112116036A TW 112116036 A TW112116036 A TW 112116036A TW I842504 B TWI842504 B TW I842504B
Authority
TW
Taiwan
Prior art keywords
depth
module
data
glove
environment
Prior art date
Application number
TW112116036A
Other languages
English (en)
Inventor
鍾明桉
許嘉醇
謝明鈞
林家葳
黃上睿
陳楷翔
翟崧雲
Original Assignee
國立臺北科技大學
Filing date
Publication date
Application filed by 國立臺北科技大學 filed Critical 國立臺北科技大學
Application granted granted Critical
Publication of TWI842504B publication Critical patent/TWI842504B/zh

Links

Images

Abstract

本發明提供一種混合實境深度感知系統、混合實境環境感知方法及混合實境虛擬繪圖方法。混合實境深度感知系統包括深度偵測眼鏡及深度感知手套,深度偵測眼鏡及深度感知手套以AoA/AoD方法進行定位。深度偵測眼鏡用於偵測使用者前方環境的狀況,並將環境狀況的相關資料傳輸至深度感知手套,深度感知手套依據前述資料及定位狀況發出震動,輔助視覺障礙人士以觸覺感知震動感知周遭環境,並且可以進一步進行虛擬繪圖。本發明可以解決現行缺乏小體積且可協助視覺障礙人士感知身旁環境的輔助工具的問題。

Description

混合實境深度感知系統、混合實境環境感知方法及混合實境虛擬繪圖方法
本發明關於一種感知系統領域,特別關於一種結合混合實境並能進行深度感知的系統。
由於視覺障礙人士的視覺感官能力較弱或失去視覺感官能力,因此在日常生活中,於移動時一般需要使用導盲手杖等輔助工具協助探測及辨識地面狀況,如是否有地面高度變化或障礙物等,藉以得知周遭環境的狀況,但傳統導盲手杖的體積大,並且需要透過不斷橫向揮動導盲手杖,使導盲手杖敲擊及探測前方的路面狀況,以及辨識是否有障礙物存在,往往會導致行動緩慢或是影響到其他路人用路。
此外當視覺障礙人士位於室內環境或狹窄的空間(如巷子)時,由於導盲手杖的長度為100公分或100公分以上,因此不適合於室內環境或狹窄的空間中使用,尤其對於失去視覺感官能力的視覺障礙人士而言,也無法使用如放大鏡等輔助工具協助辨識身旁的景物,因此於陌生環境中將難以得知周遭的環境狀況,造成難以判斷與周遭物件的距離,因此以手部觸摸以辨識周遭環境狀況時容易因碰撞造成受傷。因此現行缺乏小體積且可協助視覺障礙人士感知身旁環境的輔助工具是一項有待解決的問題。
本發明的一目的在於解決現行缺乏小體積且可協助視覺障礙人士感知身旁環境的輔助工具的問題。
基於本發明的一目的,本發明提供一種混合實境深度感知系統,包括深度偵測眼鏡及深度感知手套;其中深度感知手套包括手套本體,而手套本體上設置有第一控制模組、第一供電模組、第一藍芽模組、複數環境感知元件及運動感測模組;其中手套本體用於套設於使用者的手部;其中第一控制模組電性連接第一藍芽模組、第一供電模組、複數環境感知元件及運動感測模組,以調配輸入及輸出的訊號或資料;其中第一供電模組電性連接第一控制模組、第一藍芽模組、複數環境感知元件及運動感測模組以進行供電;其中第一藍芽模組用於協助定位深度感知手套和深度偵測眼鏡之間的相對位置,以及用於與深度偵測眼鏡或行動裝置進行通訊,進行訊號或資料的傳輸;其中複數環境感知元件平均分布於手套本體上,各個環境感知元件用於接收第一控制模組傳輸的震動訊號後,依據震動訊號產生對應的震動;其中運動感測模組用於偵測手套本體的姿態變化及運動狀態,而產生運動資料;其中深度偵測眼鏡包括眼鏡本體,而眼鏡本體上設置有第二控制模組、第二供電模組、影像拍攝模組、深度偵測模組、第二藍芽模組、顯示模組及虛擬繪圖模組;其中眼鏡本體用於供使用者配戴於頭部;其中第二控制模組電性連接第二供電模組、影像拍攝模組、深度偵測模組、第二藍芽模組、顯示模組及虛擬繪圖模組,以調配輸入及輸出的訊號或資料;其中第二供電模組電性連接第二控制模組、影像拍攝模組、深度偵測模組、第二藍芽模組、顯示模組及虛擬繪圖模組以進行供電;其中影像拍攝模組用於拍攝使用者前方的環境影像,而產生影像資料,並將影像資料傳輸至第二控制模組;其中深度偵測模組用於偵測使用者前方環境中的各個物件和使用者之間的距離,而產生深度資料,並將深度資料傳輸至第二控制模組;其中第二控制模組用於接收及分析影像資料及深度資料,而產生立體環境資料;其中顯示模組用於接收並顯示第二控制模組傳輸的各項資料;其中第二藍芽模組用於協助定位深度偵測眼鏡和深度感知手套之間的相對位置,以及用於與深度感知手套或行動裝置進行通訊;其中虛擬繪圖模組包括虛擬圖案資料庫及虛擬圖案繪製工具資料庫,虛擬圖案資料庫中儲存有至少一個預設虛擬圖案資料,虛擬圖案繪製工具資料庫中儲存有至少一個預設虛擬圖案繪製工具資料,虛擬繪圖模組用於供第二控制模組提取預設虛擬圖案資料及預設虛擬圖案繪製工具資料。
於本發明的一實施例中,第一藍芽模組為藍芽天線陣列,且其中第二藍芽模組為單一藍芽天線。
於本發明的一實施例中,各個環境感知元件為低週波電擊片、壓電式震動馬達或其組合。
於本發明的一實施例中,深度感知手套進一步包括第一無線通訊模組,第一無線通訊模組電性連接第一控制模組及第一供電模組,第一無線通訊模組用於與深度偵測眼鏡通訊。
於本發明的一實施例中,深度偵測眼鏡進一步包括第二無線通訊模組,第二無線通訊模組電性連接第二控制模組及第二供電模組,第二無線通訊模組用於與深度感知手套通訊。
於本發明的一實施例中,深度感知手套同時包括第一無線通訊模組,且深度偵測眼鏡進一步包括第二無線通訊模組,其中第一無線通訊模組電性連接第一控制模組及第一供電模組,其中第二無線通訊模組電性連接第二控制模組及第二供電模組,第一無線通訊模組用於與深度偵測眼鏡通訊,而第二無線通訊模組用於與深度感知手套通訊。
於本發明的一實施例中,深度偵測眼鏡進一步包括提示模組,提示模組用於向使用者發出提示,以提醒使用者與環境中的物件距離過近,或是通知使用者有新的訊息。
於本發明的一實施例中,行動裝置包括應用程式及第三無線通訊模組,應用程式經由第三無線通訊模組與深度感知手套或深度偵測眼鏡通訊。
基於本發明的一目的,本發明提供一種混合實境環境感知方法,步驟包括步驟S10、步驟S11、步驟S12、步驟S13、步驟S14、步驟S15及步驟S16;其中步驟S10為提供前所述的混合實境深度感知系統;其中步驟S11為深度偵測眼鏡拍攝使用者前方的環境影像,而產生影像資料,以及深度偵測眼鏡偵測使用者前方環境中的各物件和使用者之間的距離,而產生深度資料;其中步驟S12為深度偵測眼鏡分析影像資料及深度資料,計算獲得使用者前方環境的三維訊息,藉以得知使用者前方環境中的各物件於立體空間中的分布位置,而產生立體環境資料;其中步驟S13為深度感知手套發射第一定位訊號至深度偵測眼鏡,深度偵測眼鏡分析所接收到的第一定位訊號的相位差,計算獲得深度感知手套所在的相對位置,而產生手套位置資料;其中步驟S14為深度偵測眼鏡比對手套位置資料與立體環境資料,計算獲得深度感知手套與使用者前方環境中的各物件之間的距離,而產生環境感知資料;其中步驟S15為深度偵測眼鏡將環境感知資料傳輸至深度感知手套;其中步驟S16為深度感知手套分析環境感知資料,計算獲得使用者前方環境中離深度感知手套最接近的物件與深度感知手套之間的距離,並根據離深度感知手套最接近的物件與深度感知手套之間的距離大小而產生對應的震動訊號,並根據震動訊號發出震動。
基於本發明的一目的,本發明一種混合實境虛擬繪圖方法,步驟包括步驟S20、步驟S21、步驟S22、步驟S23、步驟S24、步驟S25、步驟S26、步驟S27、步驟S28及步驟S29;其中步驟S20為提供如前所述的混合實境深度感知系統;其中步驟S21為深度偵測眼鏡拍攝使用者前方的環境影像,而產生影像資料,以及深度偵測眼鏡偵測使用者前方環境中的各個物件和使用者之間的距離,而產生深度資料;其中步驟S22為深度偵測眼鏡分析影像資料及深度資料,計算獲得使用者前方環境的三維訊息,藉以得知使用者前方環境中的各個物件於立體空間中的分布位置,而產生立體環境資料;其中步驟S23為深度偵測眼鏡發射第二定位訊號至深度感知手套,深度感知手套分析所接收到的第二定位訊號的相位差獲得深度偵測眼鏡所在的相對位置,而產生眼鏡位置資料;其中步驟S24為深度感知手套偵測使用者移動深度感知手套時所發生的姿態變化及運動狀態,而產生運動資料;其中步驟S25為深度感知手套分析眼鏡位置資料及運動資料,計算深度感知手套相對於深度偵測眼鏡的運動軌跡,而產生運動軌跡資料,並根據運動軌跡資料產生震動,以提示使用者深度感知手套相對於深度偵測眼鏡的距離變化;其中步驟S26為深度感知手套將運動軌跡資料傳輸至深度偵測眼鏡;其中步驟S27為深度偵測眼鏡提取預設虛擬圖案資料及預設虛擬圖案繪製工具資料;其中步驟S28為深度偵測眼鏡分析運動軌跡資料、立體環境資料、預設虛擬圖案資料及預設虛擬圖案繪製工具資料,計算獲得深度感知手套於立體空間中的姿態變化及位置變化,以辨識出深度感知手套於立體空間中所勾勒出的軌跡,並根據預設虛擬圖案資料及預設虛擬圖案繪製工具資料於前述的軌跡上產生虛擬圖案,接續使虛擬圖案和立體環境資料共同形成影像,而產生混合實境影像資料,並於深度偵測眼鏡顯示混合實境影像資料;其中步驟S29為深度偵測眼鏡將混合實境影像資料傳輸至行動裝置。
請參閱圖1,本發明提供一種混合實境深度感知系統1,包括深度感知手套2及深度偵測眼鏡3。
請參閱圖1及圖2,深度感知手套2,包括手套本體20、第一控制模組200、第一供電模組202、第一藍芽模組204、複數環境感知元件206及運動感測模組208。第一控制模組200、第一供電模組202、第一藍芽模組204、複數環境感知元件206、運動感測模組208皆設置於手套本體20上。手套本體20用於套設於使用者的手部。第一控制模組200電性連接第一供電模組202、第一藍芽模組204、複數環境感知元件206及運動感測模組208,以調配輸入及輸出的訊號或資料。第一供電模組202電性連接第一控制模組200、第一藍芽模組204、複數環境感知元件206及運動感測模組208以進行供電。第一藍芽模組204用於發射第一定位訊號至深度偵測眼鏡3,以協助定位深度感知手套2和深度偵測眼鏡3之間的相對位置,以及用於與深度偵測眼鏡3或行動裝置4進行通訊,進行訊號或資料的傳輸。複數環境感知元件206平均分布於手套本體20上,各個環境感知元件206用於接收第一控制模組200傳輸的震動訊號後,依據震動訊號產生對應的震動。運動感測模組208用於偵測手套本體20的姿態變化及運動狀態,而產生運動資料。
請參閱圖1及圖2,於本發明的另一實施例中,深度感知手套2進一步包括第一無線通訊模組210,第一無線通訊模組210設置於手套本體20上,第一無線通訊模組210用於與深度偵測眼鏡3或行動裝置4進行通訊,進行訊號或資料的傳輸,因此第一無線通訊模組210可替代第一藍芽模組204的部分功能,讓第一藍芽模組204可以專注於協助定位與深度偵測眼鏡3之間的相對位置。第一無線通訊模組210電性連接第一控制模組200及第一供電模組202,因此第一控制模組200也可以調配輸入及輸出的訊號或資料,而第一供電模組202也可以供電至第一無線通訊模組210。但實際實施時不限於此,第一藍芽模組204和第一無線通訊模組210也可以分別獨立與深度偵測眼鏡3或行動裝置4進行通訊。
請參閱圖1及圖4,深度偵測眼鏡3,包括眼鏡本體30、第二控制模組300、第二供電模組302、影像拍攝模組304、深度偵測模組306、第二藍芽模組308、顯示模組310及虛擬繪圖模組312。第二控制模組300、第二供電模組302、影像拍攝模組304、深度偵測模組306、第二藍芽模組308、顯示模組310及虛擬繪圖模組312皆設置於眼鏡本體30上。眼鏡本體30用於供使用者配戴於頭部。第二控制模組300電性連接第二供電模組302、影像拍攝模組304、深度偵測模組306、第二藍芽模組308、顯示模組310及虛擬繪圖模組312,以調配輸入及輸出的訊號或資料。第二供電模組302電性連接第二控制模組300、影像拍攝模組304、深度偵測模組306、第二藍芽模組308、顯示模組310及虛擬繪圖模組312以進行供電。影像拍攝模組304用於拍攝使用者前方的環境影像,而產生影像資料,並將影像資料傳輸至第二控制模組300。深度偵測模組306用於偵測使用者前方環境中的各個物件和使用者之間的距離,而產生深度資料,並將深度資料傳輸至第二控制模組300。第二控制模組300接收影像資料及深度資料,接著分析影像資料及深度資料,計算獲得使用者前方環境的三維訊息,藉以得知使用者前方環境中的各個物件於立體空間中的分布位置,而產生立體環境資料。顯示模組310用於接收第二控制模組300傳輸的各項資料,並顯示所接收到的各項資料。第二藍芽模組308用於發射第二定位訊號至深度感知手套2,以協助定位深度偵測眼鏡3和深度感知手套2之間的相對位置,以及用於與深度感知手套2或行動裝置4進行通訊。虛擬繪圖模組312包括虛擬圖案資料庫3120及虛擬圖案繪製工具資料庫3122,虛擬圖案資料庫3120中儲存有至少一個預設虛擬圖案資料,虛擬圖案繪製工具資料庫3122中儲存有至少一個預設虛擬圖案繪製工具資料,虛擬繪圖模組312用於供第二控制模組300提取預設虛擬圖案資料及預設虛擬圖案繪製工具資料。
請參閱圖1及圖4,於本發明的另一實施例中,深度偵測眼鏡3進一步包括第二無線通訊模組314,第二無線通訊模組314設置於眼鏡本體30上,第二無線通訊模組314用於與深度感知手套2或行動裝置4進行通訊,進行訊號或資料的傳輸,因此第二無線通訊模組314可替代第二藍芽模組308的部分功能,讓第二藍芽模組308可以專注於協助定位與深度感知手套2之間的相對位置。第二無線通訊模組314電性連接第二控制模組300及第二供電模組302,因此第二控制模組300也可以調配輸入及輸出的訊號或資料,而第二供電模組302也可以供電至第二無線通訊模組314。但實際實施時不限於此,第二藍芽模組308和第二無線通訊模也可以分別獨立與深度感知手套2或行動裝置4進行通訊。
請參閱圖1及圖4,於本發明的另一實施例中,深度偵測眼鏡3進一步包括提示模組316,提示模組316電性連接第二控制模組300及第二供電模組302。提示模組316用於向使用者發出提示,以提醒使用者與環境中的物件距離過近,或是通知使用者有新的訊息,其中所述的提示為震動提示,但實際實施時不限於此,所述的提示也可以為聲音提示。
請參閱圖1及圖7,行動裝置4包括有第三無線通訊模組42及應用程式40,應用程式40經由第三無線通訊模組42與深度偵測眼鏡3或深度感知手套2通訊,進行訊號或資料的傳輸,也可用於控制深度偵測眼鏡3或深度感知手套2執行動作,或是調整深度偵測眼鏡3或深度感知手套2的參數設定,舉例如以行動裝置4接收深度偵測眼鏡3傳輸的混合實境影像資料,調整深度感知手套2的震動力度大小或震動頻率等參數。
請參閱圖1至圖8,本發明提供一種混合實境環境感知方法,包括步驟S10、步驟S11、步驟S12、步驟S13、步驟S14、步驟S15及步驟S16。步驟S10為提供如前所述的混合實境深度感知系統1;步驟S11為深度偵測眼鏡3拍攝使用者前方的環境影像,而產生影像資料,以及深度偵測眼鏡3偵測使用者前方環境中的各個物件和使用者之間的距離,而產生深度資料;步驟S12為深度偵測眼鏡3分析影像資料及深度資料,計算獲得使用者前方環境的三維訊息,藉以得知使用者前方環境中的各個物件於立體空間中的分布位置,而產生立體環境資料;步驟S13為深度感知手套2發射第一定位訊號至深度偵測眼鏡3,深度偵測眼鏡3分析所接收到的第一定位訊號的相位差,計算獲得深度感知手套2所在的相對位置,而產生手套位置資料;步驟S14為深度偵測眼鏡3比對手套位置資料與立體環境資料,計算獲得深度感知手套2與使用者前方環境中的各個物件之間的距離,而產生環境感知資料;步驟S15為深度偵測眼鏡3將環境感知資料傳輸至深度感知手套2;步驟S16為深度感知手套2分析環境感知資料,計算獲得使用者前方環境中離深度感知手套2最接近的物件與深度感知手套2之間的距離,並根據離深度感知手套2最接近的物件與深度感知手套2之間的距離大小而產生對應的震動訊號,並根據震動訊號發出震動。
請參閱圖1至圖7及圖9,本發明提供一種混合實境虛擬繪圖方法,包括步驟S20、步驟S21、步驟S22、步驟S23、步驟S24、步驟S25、步驟S26、步驟S27、步驟S28及步驟S29。步驟S20為提供如前所述的混合實境深度感知系統1;步驟S21為深度偵測眼鏡3拍攝使用者前方的環境影像,而產生影像資料,以及深度偵測眼鏡3偵測使用者前方環境中的各個物件和使用者之間的距離,而產生深度資料;步驟S22為深度偵測眼鏡3分析影像資料及深度資料,計算獲得使用者前方環境的三維訊息,藉以得知使用者前方環境中的各個物件於立體空間中的分布位置,而產生立體環境資料;步驟S23為深度偵測眼鏡3發射第二定位訊號至深度感知手套2,深度感知手套2分析所接收到的第二定位訊號的相位差獲得深度偵測眼鏡3所在的相對位置,而產生眼鏡位置資料;步驟S24為深度感知手套2偵測使用者移動深度感知手套2時所發生的姿態變化及運動狀態,而產生運動資料;步驟S25為深度感知手套2分析眼鏡位置資料及運動資料,計算深度感知手套2相對於深度偵測眼鏡3的運動軌跡,而產生運動軌跡資料,並根據運動軌跡資料產生震動,以提示使用者深度感知手套2相對於深度偵測眼鏡3的距離變化;步驟S26為深度感知手套2將運動軌跡資料傳輸至深度偵測眼鏡3;步驟S27為深度偵測眼鏡3提取預設虛擬圖案資料及預設虛擬圖案繪製工具資料;步驟S28為深度偵測眼鏡3分析運動軌跡資料、立體環境資料、預設虛擬圖案資料及預設虛擬圖案繪製工具資料,計算獲得深度感知手套2於立體空間中的姿態變化及位置變化,以辨識出深度感知手套2於立體空間中所勾勒出的軌跡,並根據預設虛擬圖案資料及預設虛擬圖案繪製工具資料於前述的軌跡上產生虛擬圖案,接續使虛擬圖案和立體環境資料共同形成影像,而產生混合實境影像資料,並於深度偵測眼鏡3顯示混合實境影像資料;步驟S29為深度偵測眼鏡3將混合實境影像資料傳輸至行動裝置4。
以下提出各個實施例並搭配圖式說明本發明的混合實境深度感知系統1的具體構成。
請參閱圖1及圖2,於本發明的一實施例中,手套本體20為分指手套,但實際實施時不限於此,手套本體20也可為連指手套等手套態樣。於本發明的一實施例中,手套本體20包括與外界接觸的外層,以及與使用者的手部接觸的內層,而手套本體20的外層及內層之間夾有一個夾層空間,而第一控制模組200、第一藍芽模組204及運動感測模組208皆設置於第一主機板M1上,而第一主機板M1設置於手套本體20的夾層空間。
請參閱圖1、圖2及圖3,於本發明的一實施例中,第一控制模組200設置於第一主機板M1上,第一控制模組200包括第一處理器2000及第一儲存模組2002,第一處理器2000電性連接第一儲存模組2002。第一處理器2000可為微處理器或微控制器等用於對外部資料執行操作的電子電路。第一儲存模組2002可為RAM、SD卡或其組合。第一處理器2000用於接收運動感測模組208傳輸的運動資料。第一處理器2000經由第一藍芽模組204或第一無線通訊模組210接收深度偵測眼鏡3或行動裝置4傳輸的訊號或資料,以及傳輸訊號或資料至深度偵測眼鏡3或行動裝置4。第一處理器2000也可以經由第一藍芽模組204或第一無線通訊模組210與深度偵測眼鏡3或行動裝置4通訊,舉例如接收深度偵測眼鏡3傳輸的環境感知資料。第一處理器2000也用於分析環境感知資料,計算獲得深度感知手套2與使用者前方環境中的各個物件之間的距離,而產生對應的震動訊號,並將震動訊號傳輸至複數環境感知元件206,複數環境感知元件206根據震動訊號產生對應的震動,藉以提示使用者當前與環境周遭物件距離的遠近。第一處理器2000也用於分析第一藍芽模組204接收到的第二定位訊號而產生眼鏡位置資料。此外第一處理器2000也用於控制第一藍芽模組204發射第一定位訊號至深度偵測眼鏡3。第一儲存模組2002用於儲存第一處理器2000接收的如前所述的各項資料,並供第一處理器2000調配儲存於第一儲存模組2002的各項資料。
請參閱圖1及圖2,於本發明的一實施例中,第一供電模組202設置於手套本體20的夾層空間,第一供電模組202可為一次電池或二次電池,其中一次電池可為碳鋅電池、鹼性電池、汞電池或鋰電池等不可充電電池,其中二次電池可為鎳氫電池、鎳鎘電池或鋰電池等可充電電池。
請參閱圖1及圖2,於本發明的一實施例中,第一藍芽模組204設置於第一主機板M1上,其中第一藍芽模組204為藍芽天線陣列。
請參閱圖1及圖2,於本發明的一實施例中,複數環境感知元件206平均分布於手套本體20的夾層空間,且複數環境感知元件206皆為壓電式震動馬達,接收到震動訊號後會根據震動訊號產生對應的震動,但實際實施時不限於此,複數環境感知元件206也可為低週波電擊片,或壓電式震動馬達及低週波電擊片的組合。
請參閱圖1、圖2及圖3,運動感測模組208設置於第一主機板M1上,運動感測模組208用於偵測手套本體20的姿態變化及運動狀態,而產生運動資料。於本發明的一實施例中,運動感測模組208包括陀螺儀及加速度計,陀螺儀用於計算深度感知手套2傾斜的角度,加速度計用於偵測深度感知手套2的加速度,即偵測深度感知手套2的速度變化,藉以獲得使用者移動深度感知手套2的姿態變化及運動狀態,而產生運動資料,並將運動資料傳輸至第一處理器2000。前述僅為運動感測模組208的示範例,但實際實施時不限於此,運動感測模組208可以進一步包括磁力計或氣壓計等感測元件,藉由磁力計提供磁場大小或氣壓計提供的氣壓大小輔助校正陀螺儀,藉以使運動感測模組208可以更精確地計算獲知深度感知手套2的姿態變化及運動狀態。
請參閱圖1及圖2,於本發明的一實施例中,第一無線通訊模組210設置於第一主機板M1上,第一無線通訊模組210為WiFi模組,但實際實施時不限於此,也可為如ZigBee模組等其他無線通訊技術模組。
請參閱圖1、圖4、圖5及圖6,於本發明的一實施例中,眼鏡本體30包括鼻橋30A、第一鏡圈30B、第二鏡圈30C、第一鏡腿30D及第二鏡腿30E,第一鏡圈30B的一側和第二鏡圈30C的一側之間以鼻橋30A連接,第一鏡圈30B的另一側和第一鏡腿30D的一端以鉸鏈連接,第二鏡圈30C的另一側和第二鏡腿30E的一端以另一鉸鏈連接。於本發明的一實施例中,眼鏡本體30的第一鏡腿30D的內部及第二鏡腿30E的內部分別包括有一個夾層空間,而第二控制模組300、第二藍芽模組308及虛擬繪圖模組312皆設置於第二主機板M2上,而第二主機板M2設置於第一鏡腿30D的夾層空間。
請參閱圖1、圖4、圖5及圖6,於本發明的一實施例中,第二控制模組300設置於第二主機板M2上,第二控制模組300包括第二處理器3000及第二儲存模組3002,第二處理器3000電性連接第二儲存模組3002。第二處理器3000可為微處理器或微控制器等用於對外部資料執行操作的電子電路。第二儲存模組3002可為RAM、SD卡或其組合。第二處理器3000用於接收影像拍攝模組304傳輸的影像資料、深度偵測模組306傳輸的深度資料等資料,以及由虛擬繪圖模組312提取預設虛擬圖案資料及預設虛擬圖案繪製工具資料等資料。第二處理器3000經由第二藍芽模組308或第二無線通訊模組314接收深度感知手套2或行動裝置4通訊,舉例如接收深度感知手套2傳輸的運動軌跡資料。第二處理器3000也用於分析影像資料及深度資料為立體環境資料,用於分析運動軌跡資料、立體環境資料、預設虛擬圖案資料及預設虛擬圖案繪製工具資料為混合實境影像資料,以及用於分析環境感知資料,計算獲得深度感知手套2與使用者前方環境中的各個物件之間的距離,而產生對應的震動訊號,並將震動訊號傳輸至複數環境感知元件206,複數環境感知元件206根據震動訊號產生對應的震動,藉以提示使用者當前與環境周遭物件距離的遠近。第二處理器3000也用於分析第二藍芽模組308接收到的第一定位訊號的相位差,而產生手套位置資料。此外第二處理器3000也用於控制第二藍芽模組308發射第二定位訊號至深度感知手套2。第二儲存模組3002用於儲存第二處理器3000接收的如前所述的各項資料,並供第二處理器3000調配儲存於第二儲存模組3002的各項資料。
請參閱圖1及圖4,於本發明的一實施例中,第二供電模組302設置於第二鏡腿30E的內部的夾層空間,第二供電模組302可為一次電池或二次電池,其中一次電池可為碳鋅電池、鹼性電池、汞電池或鋰電池等不可充電電池,其中二次電池可為鎳氫電池、鎳鎘電池或鋰電池等可充電電池。
請參閱圖1及圖4,於本發明的一實施例中,影像拍攝模組304為攝影機,且設置於鼻橋30A上。影像拍攝模組304用於拍攝使用者前方的環境影像,而產生影像資料,並將影像資料傳輸至控制模組。
請參閱圖1及圖4,於本發明的一實施例中,深度偵測模組306包括第一深度偵測模組306A及第二深度偵測模組306B,第一深度偵測模組306A及第二深度偵測模組306B皆為光學雷達3060及紅外線測距儀3062的組合。第一深度偵測模組306A設置於第一鏡圈30B的另一側,第二深度偵測模組306B設置於第二鏡圈30C的另一側,第一深度偵測模組306A及第二深度偵測模組306B共同偵測使用者前方環境中的各個物件和深度偵測眼鏡3之間的距離,以代表使用者與前方環境中的各個物件之間的距離,而產生深度資料,並將深度資料傳輸至第二控制模組300。第一深度模組及第二深度偵測模組306B皆為藉由光學雷達3060發射光脈衝及紅外線測距儀3062發射紅外線至使用者前方的環境,並計算光脈衝及紅外線由發射到被環境中物件反射回來的飛行時間(time of flight, ToF),藉以獲得使用者與使用者前方環境中的各個物件之間的距離,因此深度偵測模組306可以獲得與使用者前方環境中的物件之間的距離,而產生深度資料。前述僅為深度偵測模組306的示範例,但實際實施時不限於此,第一深度偵測模組306A及第二深度偵測模組306B也可為光學雷達3060或紅外線測距儀3062的其中一者。
請參閱圖1及圖4,於本發明的一實施例中,第二藍芽模組308設置於第二主機板M2上,其中第二藍芽模組308為單一藍芽天線。
請參閱圖1及圖4,於本發明的一實施例中,顯示模組310包括第一顯示鏡片310A及第二顯示鏡片310B,第一顯示鏡片310A嵌設於第一鏡圈30B中,第二顯示鏡片310B嵌設於第二鏡圈30C中,其中第一顯示鏡片310A及第二顯示鏡片310B皆為透明顯示器。第一顯示模組310及第二顯示模組310接收第二控制模組300傳輸的訊號或資料並進行顯示,例如接收第二控制模組300傳輸的混合實境影像資料並進行顯示。
請參閱圖1、圖4及圖6,於本發明的一實施例中,虛擬繪圖模組312設置於第二主機板M2上,其中虛擬繪圖模組312為儲存有虛擬圖案資料庫3120及虛擬圖案繪製工具資料庫3122的儲存模組,但實際實施時不限於此,虛擬繪圖模組312也可為儲存於第二儲存模組3002中包括有虛擬圖案資料庫3120及虛擬圖案繪製工具資料庫3122的資料庫,虛擬圖案資料庫3120中儲存有至少一個預設虛擬圖案資料,虛擬圖案繪製工具資料庫3122中儲存有至少一個預設虛擬圖案繪製工具資料,虛擬繪圖模組312用於供第二控制模組300提取預設虛擬圖案資料及預設虛擬圖案繪製工具資料,其中預設虛擬圖案資料可為線條圖案資料、平面圖案資料或立體圖案資料等虛擬圖案資料,且預設虛擬圖案資料中所述圖案不限於靜態圖案,也可為動態圖案,其中預設虛擬圖案繪製工具可為筆刷工具資料及橡皮擦工具等虛擬繪圖工具。
請參閱圖1及圖4,於本發明的一實施例中,第二無線通訊模組314設置於第二主機板M2上,第二無線通訊模組314為WiFi模組,但實際實施時不限於此,也可為如ZigBee模組等其他無線通訊技術模組。
請參閱圖1及圖4,於本發明的一實施例中,提示模組316包括第一提示模組316A及第二提示模組316B,第一提示模組316A設置於第一鏡腿30D內側且對應使用者太陽穴的位置,第二提示模組316B設置於第二鏡腿30E內側且對應使用者太陽穴的位置,其中第一提示模組316A及第二提示模組316B皆為線性諧振致動器(Linear Resonant Actuators, LRA),第一提示模組316A及第二提示模組316B皆電性連接第二控制模組300及第二供電模組302,當有行動裝置4接收到新的訊息,或是深度偵測眼鏡3偵測到使用者與前方環境中的物件距離過近,會傳輸提示訊號至第一提示模組316A及第二提示模組316B,指示第一提示模組316A及第二提示模組316B發出提示,例如當行動裝置4接收到新訊息時,行動裝置4的應用程式40會經由第三無線通訊模組42傳輸提示訊號至深度偵測眼鏡3,深度偵測眼鏡3的第二控制模組300經由第二藍芽模組308或第二無線通訊模組314接收提示訊號後,第二控制模組300再將提示訊號傳輸至第一提示模組316A及第二提示模組316B,指示第一提示模組316A及第二提示模組316B產生震動提示,其中震動提示舉例如單次震動,以提示使用者有新的訊息;或者,例如使用者眼前環境中和深度感知手套2最接近的物件和深度感知手套2之間的距離僅有30公分,則第二控制模組300會傳輸提示訊息至第一提示模組316A及第二提示模組316B產生震動提示,以提示使用者與物件距離過近,因此舉例使用者眼前環境中和深度感知手套2最接近的物件為一個水杯,且水杯與深度感知手套2之間的距離僅有30公分時,第二控制模組300發送提示訊號指示第一提示模組316A及第二提示模組316B每0.5秒發出一次震動且持續發出震動,並且若深度感知手套2和環境中的物件距離縮短,震動力度也會隨之加強,藉以提示使用者深度感知手套2與使用者前方環境中的物件距離過近有碰撞的危險。
請參閱圖1及圖7,於本發明的一實施例中,行動裝置4可為盲用手機,也可為安裝有輔助視覺障礙人士的應用程式的電子裝置,其中電子裝置舉例如智慧型手機或平板電腦等,其中輔助視覺障礙的應用程式舉例如協助將文字轉為語音朗讀的語音助理程式,或是可協助放大文字或影像以輔助閱讀的程式,行動裝置4中包括有應用程式40及第三無線通訊模組42,應用程式40經由第三無線通訊模組42與深度偵測眼鏡3或深度感知手套2通訊。其中第三無線通訊模組42可為藍芽模組、WiFi模組、ZigBee模組等其他無線通訊技術模組。
以下請參閱圖1至圖8,於本發明的一實施例中,本發明提供一種混合實境環境感知方法,包括步驟S10、步驟S11、步驟S12、步驟S13、步驟S14、步驟S15及步驟S16,以下針對各步驟進行分段說明。
於步驟S10為提供如前所述的混合實境深度感知系統1。
於步驟S11為深度偵測眼鏡3上的影像拍攝模組304拍攝使用者前方的環境影像,而產生影像資料,並將影像資料傳輸至第二控制模組300,以及深度偵測眼鏡3上的深度偵測模組306偵測使用者前方環境中的各個物件和使用者之間的距離,而產生深度資料,並將深度資料傳輸至第二控制模組300。
於步驟S12為深度偵測眼鏡3分析影像資料及深度資料,深度偵測眼鏡3中的第二控制模組300的第二處理器3000藉由結合影像資料提供的環境二維平面訊息及深度資料提供的環境深度訊息,計算獲得使用者前方環境的三維訊息,即獲得使用者前方環境的立體空間資料,因此可以深度偵測眼鏡3所在位置為原點,定義出環境中的各個物件於立體空間中的三維座標,進而計算得知環境中的各個物件與深度偵測眼鏡3之間的距離,而產生立體環境資料。
於步驟S13為深度感知手套2經由第一藍芽模組204發射第一定位訊號至深度偵測眼鏡3的第二藍芽模組308,由於第一藍芽模組204為藍芽天線陣列,第二藍芽模組308為單一藍芽天線,因此第一藍芽模組204所發射的第一定位訊號為由藍芽天線陣列所發出,即第一定位訊號實際為由第一藍芽模組204上的複數藍芽天線各自發出的定位訊號所組成,因此第二處理器3000藉由分析第二藍芽模組308所接收到第二藍芽模組308上各個藍芽天線發出的定位訊號之間的相位差,計算獲得第二藍芽模組308接收到第一藍芽模組204的各個藍芽天線發射的定位訊號的發射角(angle of departure, AoD),並依此以三角測量法計算獲得第一藍芽模組204相對於第二藍芽模組308的位置,藉以代表深度感知手套2相對於深度偵測眼鏡3的位置,而產生手套位置資料。
於步驟S14為深度偵測眼鏡3的第二控制模組300的第二處理器3000比對手套位置資料與立體環境資料,定義深度感知手套2於立體空間中的三維座標,因此在得知環境中的各個物件的三維座標和深度感知手套2的三維座標的情況下,即可計算獲得深度感知手套2的三座標與使用者前方環境中的各個物件之間的距離,而產生環境感知資料;
步驟S15為深度偵測眼鏡3的第二控制模組300的第二處理器3000經由第二藍芽模組308或第二無線通訊模組314將環境感知資料傳輸至深度感知手套2,深度感知手套2的第一處理器2000經由第一藍芽模組204或第一無線通訊模組210接收環境感知資料。
步驟S16為第一處理器2000分析環境感知資料,計算獲得深度感知手套2與使用者前方環境中的各個物件之間的距離,並確認環境中的各個物件中與深度感知手套2距離最接近的物件,並根據與深度感知手套2距離最接近的物件與深度感知手套2之間的距離大小,而產生對應的震動訊號,並將震動訊號傳輸至複數環境感知元件206,複數環境感知元件206根據震動訊號產生對應的震動提示,其中所述對應的震動訊號為根據深度感知手套2距離與環境中最接近的物件的距離大小,而指事複數環境感知元件206發出特定震動力度或震動頻率的訊號,舉例如距離為30公分時每0.5秒發出一次震動,若距離僅為15公分則每0.25秒發出一次震動。
以下請參閱圖1至圖7及圖9,於本發明的一實施例中,本發明提供一種混合實境虛擬繪圖方法,包括步驟S20、步驟S21、步驟S22、步驟S23、步驟S24、步驟S25、步驟S26、步驟S27、步驟S28及步驟S29,以下針對各步驟進行分段說明
於步驟S20為提供如前所述的混合實境深度感知系統1。
於步驟S21為深度偵測眼鏡3上的影像拍攝模組304拍攝使用者前方的環境影像,而產生影像資料,並將影像資料傳輸至第二控制模組300,以及深度偵測眼鏡3上的深度偵測模組306偵測使用者前方環境中的各個物件和使用者之間的距離,而產生深度資料,並將深度資料傳輸至第二控制模組300。
於步驟S22為深度偵測眼鏡3分析影像資料及深度資料,深度偵測眼鏡3中的第二控制模組300的第二處理器3000藉由結合影像資料提供的環境二維平面訊息及深度資料提供的環境深度訊息,計算獲得使用者前方環境的三維訊息,即獲得使用者前方環境的立體空間資料,因此可以深度偵測眼鏡3所在位置為原點,定義出環境中的各個物件於立體空間中的三維座標,進而計算得知環境中的各個物件與深度偵測眼鏡3之間的距離,而產生立體環境資料。
於步驟S23為深度偵測眼鏡3以第二藍芽模組308發射第二定位訊號至深度感知手套2的第一藍芽模組204,由於第一藍芽模組204為藍芽天線陣列,第二藍芽模組308為單一藍芽天線,因此第二藍芽模組308所發射的第二定位訊號會被第一藍芽模組204上的複數藍芽天線所接收,因此第一處理器2000藉由分析第一藍芽模組204上的各個藍芽天線所接收到的第二定位訊號的相位差,計算獲得第二藍芽模組308上的各個藍芽天線接受到的第二定位訊號的到達角(angle of arrival, AoA),並依此以三角測量法計算獲得第二藍芽模組308相對於第一藍芽模組204的位置,並依此以三角測量法計算獲得第二藍芽模組308相對於第一藍芽模組204的位置,藉以代表深度偵測眼鏡3相對於深度感知手套2的位置,而產生眼鏡位置資料。
於步驟S24為深度感知手套2上的運動感測模組208偵測中的陀螺儀及加速度計偵測使用者移動深度感知手套2時所發生的姿態變化及運動狀態,包括深度感知手套2的傾斜角度及加速度,進而產生運動資料,並將運動資料傳輸至第一控制模組200。
於步驟S25為深度感知手套2的第一控制模組200的第一處理器2000分析眼鏡位置資料及運動資料,藉由眼鏡位置資料提供深度偵測眼鏡3相對於深度感知手套2的位置,因此可以得知深度感知手套2和深度偵測眼鏡3之間的距離變化,再合併運動資料提供深度感知手套2的傾斜角度及加速度,藉此可經由獲知深度感知手套2相對於深度偵測眼鏡3的方位、距離變化以及於空間中的姿態及速度變化,因此可以計算獲得深度感知手套2的移動路徑,以及深度感知手套2於移動過程中抵達的位置,以及移動過程中的姿態及速度變化,而產生運動軌跡資料,而第一處理器再根據深度感知手套2相對於深度偵測眼鏡3的距離大小,而產生對應的震動訊號,並將震動訊號傳輸至複數環境感知元件206,複數環境感知元件206根據震動訊號產生對應的震動提示,其中所述對應的震動訊號為根據深度感知手套2相對於深度偵測眼鏡3的距離大小,而指事複數環境感知元件206發出特定震動力度或震動頻率的訊號,舉例如距離為15公分時每0.5秒發出一次震動,若距離為30公分則每0.25秒發出一次震動,藉由不同的震動狀態提示使用者深度感知手套2相對於深度偵測眼鏡3的距離變化,因此當使用者可以藉由感受震動的變化得知當前深度感知手套2相對於深度偵測眼鏡3的位置,而得以在藉由觸覺感知震動的方式感知手部的所在位置。
於步驟S26為深度感知手套2的第一控制模組200的第一處理器2000經由第一藍芽模組204或第一無線通訊模組210將環境感知資料傳輸至深度偵測眼鏡3將運動軌跡資料傳輸至深度偵測眼鏡3。深度偵測眼鏡3的第二處理器3000經由第二藍芽模組308或第二無線通訊模組314接收環境感知資料。
於步驟S27為深度偵測眼鏡3的第二控制模組300的第二處理器3000由虛擬繪圖模組312的虛擬圖案資料庫3120提取預設虛擬圖案資料,以及於虛擬圖案繪製工具資料庫3122提取預設虛擬圖案繪製工具資料,其中預設虛擬圖案資料可為線條圖案資料、平面圖案資料或立體圖案資料等虛擬圖案資料,且預設虛擬圖案資料中所述圖案不限於靜態圖案,也可為動態圖案,其中預設虛擬圖案繪製工具可為筆刷工具資料及橡皮擦工具等虛擬繪圖工具。
於步驟S28為深度偵測眼鏡3的第二控制模組300的第二處理器3000分析運動軌跡資料、立體環境資料、預設虛擬圖案資料及預設虛擬圖案繪製工具資料,計算獲得深度感知手套2於立體空間中的姿態變化及位置變化,以辨識出深度感知手套2於立體空間中所勾勒出的軌跡,並根據預設虛擬圖案資料及預設虛擬圖案繪製工具資料於前述的軌跡上產生虛擬圖案,其中所述前述的軌跡即深度感知手套2於立體空間中所勾勒出的軌跡,接續使虛擬圖案和立體環境資料提供的環境影像共同形成為混合實境影像,而產生混合實境影像資料,舉例如選取線條圖案資料及筆刷工具資料,且前述的軌跡為圓圈軌跡,則會於前述的軌跡上形成對應的線條圖案,而繪製出圓圈的圖案,另外舉例如選取立體圖案資料及筆刷工具資料,而立體圖案為正方體方塊,且前述的軌跡為長方形軌跡,則會形成由複數正方體方塊堆疊形成的長方形相框狀立體圖案,而若要清除所繪製的虛擬圖案則可以選擇橡皮擦工具消除繪製出的虛擬圖案,於繪製完成後,第二處理器3000會將繪製出的虛擬圖案和立體環境資料所提供的環境影像共同形成影像,而產生混合實境影像資料,而第二處理器3000再將混合實境影像資料傳輸至顯示模組310進行顯示,如此可以輔助仍具有部份視力的視覺障礙人士進行如以繪製箭頭符號指向特定目標,或是繪製方框框選特定目標,以及繪製文字以傳達訊息等,舉例如使用者可以繪製長方形相框狀立體圖案的框住使用者前方環境中的物件(例如:水杯等),或是繪製出箭頭圖案指向前方的地點。
於步驟S29為深度偵測眼鏡3的第二處理器3000經由第二藍芽模組308或第二無線通訊模組314將混合實境影像資料傳輸至行動裝置4,行動裝置4經由第三無線通訊模組42接收混合實境影像資料,藉此使用者可以將混合實境影像資料儲存於行動裝置4,或是進一步經由行動裝置4將混合實境影像資料傳輸至其他裝置,例如傳輸至照顧者、醫護人員或其他關係人的手機,協助照顧者、醫護人員或其他關係人確認使用者當前的位置或環境狀況等。
綜上所述,本發明可以解決缺乏小體積且可協助視覺障礙人士感知身旁環境的輔助工具的問題。本發明藉由深度感知手套2及深度偵測眼鏡3以AoA/AoD定位方法計算獲得彼此的相對位置,以用於代表深度感知手套2及深度偵測眼鏡3彼此的相對位置,並且經由深度偵測眼鏡3獲取使用者前方環境中的各個物件與深度感知手套2之間的距離,於深度感知手套2上產生相應的震動,藉此方式使具有視覺障礙的使用者可以藉由觸覺感知震動的方式感知周遭的環境,以及可以利用虛擬繪圖協助傳達訊息給照顧者、醫護人員或其他關係人。
1:混合實境深度感知系統 2:深度感知手套 3:深度偵測眼鏡 4:行動裝置 20:手套本體 30:眼鏡本體 40:應用程式 42:第三無線通訊模組 200:第一控制模組 202:第一供電模組 204:第一藍芽模組 206:環境感知元件 208:運動感測模組 210:第一無線通訊模組 300:第二控制模組 302:第二供電模組 304:影像拍攝模組 306:深度偵測模組 308:第二藍芽模組 310:顯示模組 312:虛擬繪圖模組 314:第二無線通訊模組 316:提示模組 2000:第一處理器 2002:第一儲存模組 3000:第二處理器 3002:第二儲存模組 3120:虛擬圖案資料庫 3122:虛擬圖案繪製工具資料庫 3060A、3060B:光學雷達 3062A、3062B:紅外線測距儀 306A:第一深度偵測模組 306B:第二深度偵測模組 30A:鼻橋 30B:第一鏡圈 30C:第二鏡圈 30D:第一鏡腿 30E:第二鏡腿 310A:第一顯示鏡片 310B:第二顯示鏡片 316A:第一提示模組 316B:第二提示模組 M1:第一主機板 M2:第二主機板 S10-S16:步驟 S20-S29:步驟
圖1為於一實施例中混合實境深度感知系統的示意圖。
圖2為於一實施例中設置於手套本體上的第一控制模組、第一供電模組、第一藍芽模組、環境感知元件、運動感測模組及第一無線通訊模組的架構示意圖。
圖3為於一實施例中第一控制模組的架構示意圖。
圖4為於一實施例中設置於眼鏡本體上的第二控制模組、第二供電模組、影像拍攝模組、深度偵測模組、第二藍芽模組、顯示模組、虛擬繪圖模組、第二無線通訊模組及提示模組的架構示意圖。
圖5為於一實施例中第二控制模組的架構示意圖。
圖6為於一實施例中虛擬繪圖模組的架構示意圖。
圖7為於一實施例中行動裝置的架構示意圖。
圖8為於一實施例中混合實境環境感知方法的步驟流程圖。
圖9為於一實施例中混合實境虛擬繪圖方法的步驟流程圖
1:混合實境深度感知系統
2:深度感知手套
3:深度偵測眼鏡
4:行動裝置
20:手套本體
30:眼鏡本體
202:第一供電模組
206:環境感知元件
302:第二供電模組
304:影像拍攝模組
3060A、3060B:光學雷達
3062A、3062B:紅外線測距儀
306A:第一深度偵測模組
306B:第二深度偵測模組
30A:鼻橋
30B:第一鏡圈
30C:第二鏡圈
30D:第一鏡腿
30E:第二鏡腿
310A:第一顯示鏡片
310B:第二顯示鏡片
316A:第一提示模組
316B:第二提示模組
M1:第一主機板
M2:第二主機板

Claims (10)

  1. 一種混合實境深度感知系統,包括一深度偵測眼鏡及一深度感知手套;其中該深度感知手套包括一手套本體,而該手套本體上設置有一第一控制模組、一第一供電模組、一第一藍芽模組、複數環境感知元件及一運動感測模組;其中該手套本體用於套設於一使用者的一手部;其中該第一控制模組電性連接該第一藍芽模組、該第一供電模組、該複數環境感知元件及該運動感測模組,以調配輸入及輸出的訊號或資料;其中該第一供電模組電性連接該第一控制模組、該第一藍芽模組、該複數環境感知元件及該運動感測模組以進行供電;其中該第一藍芽模組用於協助定位該深度感知手套和該深度偵測眼鏡之間的相對位置,以及用於與該深度偵測眼鏡或一行動裝置進行通訊;其中該複數環境感知元件平均分布於該手套本體上,各該環境感知元件用於接收該第一控制模組傳輸的一震動訊號後,依據該震動訊號產生對應的震動;其中該運動感測模組用於偵測該手套本體的姿態變化及運動狀態,而產生一運動資料;其中該深度偵測眼鏡包括一眼鏡本體,而該眼鏡本體上設置有一第二控制模組、一第二供電模組、一影像拍攝模組、一深度偵測模組、一第二藍芽模組、一顯示模組及一虛擬繪圖模組;其中該眼鏡本體用於供該使用者配戴於頭部;其中該第二控制模組電性連接該第二供電模組、該影像拍攝模組、該深度偵測模組、該第二藍芽模組、該顯示模組及該虛擬繪圖模組,以調配輸入及輸出的訊號或資料;其中該第二供電模組電性連接該第二控制模組、該影像拍攝模組、該深度偵測模組、該第二藍芽模組、該顯示模組及該虛擬繪圖模組以進行供電;其中該影像拍攝模組用於拍攝該使用者前方的環境影像,而產生一影像資料,並將該影像資料傳輸至該第二控制模組;其中該深度偵測模組用於偵測該使用者前方環境中的各個物件和該使用者 之間的距離,而產生一深度資料,並將該深度資料傳輸至該第二控制模組;其中該第二控制模組用於接收及分析該影像資料及該深度資料,而產生一立體環境資料;其中該顯示模組用於接收並顯示該第二控制模組傳輸的各項資料;其中該第二藍芽模組用於協助定位該深度偵測眼鏡和該深度感知手套之間的相對位置,以及用於與該深度感知手套或該行動裝置進行通訊;其中該虛擬繪圖模組包括一虛擬圖案資料庫及一虛擬圖案繪製工具資料庫,該虛擬圖案資料庫中儲存有至少一預設虛擬圖案資料,該虛擬圖案繪製工具資料庫中儲存有至少一預設虛擬圖案繪製工具資料,該虛擬繪圖模組用於供該第二控制模組提取該預設虛擬圖案資料及該預設虛擬圖案繪製工具資料;其中該深度感知手套的該第一藍芽模組及該深度偵測眼鏡的該第二藍芽模組以到達角/發射角定位方法計算獲得彼此的相對位置,以用於代表該深度感知手套及該深度偵測眼鏡彼此的相對位置。
  2. 如請求項1所述的混合實境深度感知系統,其中該第一藍芽模組為藍芽天線陣列,且其中該第二藍芽模組為單一藍芽天線。
  3. 如請求項1所述的混合實境深度感知系統,其中各該環境感知元件為低週波電擊片、壓電式震動馬達或其組合。
  4. 如請求項1所述的混合實境深度感知系統,其中該深度感知手套進一步包括一第一無線通訊模組,該第一無線通訊模組電性連接該第一控制模組及該第一供電模組,該第一無線通訊模組用於與該深度偵測眼鏡通訊。
  5. 如請求項1所述的混合實境深度感知系統,其中該深度偵測眼鏡進一步包括一第二無線通訊模組,該第二無線通訊模組電性連接該第二控制模組及該第二供電模組,該第二無線通訊模組用於與該深度感知手套通訊。
  6. 如請求項1所述的混合實境深度感知系統,其中該深度感知手套進一步包括一第一無線通訊模組,且該深度偵測眼鏡進一步包括一第二無線通訊模組,其中該第一無線通訊模組電性連接該第一控制模組及該第一供電模組,其中該第二無線通訊模組電性連接該第二控制模組及該第二供電模組,該第一無線通訊模組用於與該深度偵測眼鏡通訊,而該第二無線通訊模組用於與該深度感知手套通訊。
  7. 如請求項1所述的混合實境深度感知系統,其中該深度偵測眼鏡進一步包括一提示模組,該提示模組用於向該使用者發出一提示,以提醒該使用者與環境中的該物件距離過近,或是通知該使用者有新的訊息。
  8. 如請求項1所述的混合實境深度感知系統,其中該行動裝置包括一應用程式及一第三無線通訊模組,該應用程式經由該第三無線通訊模組與該深度感知手套或該深度偵測眼鏡通訊。
  9. 一種混合實境環境感知方法,步驟包括:步驟S10:提供如請求項1所述的該混合實境深度感知系統;步驟S11:該深度偵測眼鏡拍攝該使用者前方的環境影像,而產生該影像資料,以及該深度偵測眼鏡偵測該使用者前方環境中的各該物件和該使用者之間的距離,而產生該深度資料;步驟S12:該深度偵測眼鏡分析該影像資料及該深度資料,計算獲得該使用者前方環境的三維訊息,藉以得知該使用者前方環境中的各該物件於立體空間中的分布位置,而產生該立體環境資料; 步驟S13:該深度感知手套發射一第一定位訊號至該深度偵測眼鏡,該深度偵測眼鏡分析所接收到的該第一定位訊號的相位差,計算獲得該深度感知手套所在的相對位置,而產生一手套位置資料;步驟S14:該深度偵測眼鏡比對該手套位置資料與該立體環境資料,計算獲得該深度感知手套與該使用者前方環境中的各該物件之間的距離,而產生一環境感知資料;步驟S15:該深度偵測眼鏡將該環境感知資料傳輸至該深度感知手套;步驟S16:該深度感知手套分析該環境感知資料,計算獲得該使用者前方環境中離該深度感知手套最接近的該物件與該深度感知手套之間的距離,並根據離該深度感知手套最接近的該物件與該深度感知手套之間的距離大小而產生對應的該震動訊號,並根據該震動訊號發出震動。
  10. 一種混合實境虛擬繪圖方法,步驟包括:步驟S20:提供如請求項1所述的該混合實境深度感知系統;步驟S21:該深度偵測眼鏡拍攝該使用者前方的環境影像,而產生該影像資料,以及該深度偵測眼鏡偵測該使用者前方環境中的各該物件和該使用者之間的距離,而產生該深度資料;步驟S22:該深度偵測眼鏡分析該影像資料及該深度資料,計算獲得該使用者前方環境的三維訊息,藉以得知該使用者前方環境中的各該物件於立體空間中的分布位置,而產生該立體環境資料;步驟S23:該深度偵測眼鏡發射一第二定位訊號至該深度感知手套,該深度感知手套分析所接收到的該第二定位訊號的相位差獲得該深度偵測眼鏡所在的相對位置,而產生一眼鏡位置資料; 步驟S24:該深度感知手套偵測該使用者移動該深度感知手套時所發生的姿態變化及運動狀態,而產生該運動資料;步驟S25:該深度感知手套分析該眼鏡位置資料及該運動資料,計算該深度感知手套相對於該深度偵測眼鏡的運動軌跡,而產生一運動軌跡資料,並根據該運動軌跡資料產生震動,以提示該使用者該深度感知手套相對於該深度偵測眼鏡的距離變化;步驟S26:該深度感知手套將該運動軌跡資料傳輸至該深度偵測眼鏡;步驟S27:該深度偵測眼鏡提取該預設虛擬圖案資料及該預設虛擬圖案繪製工具資料;步驟S28:該深度偵測眼鏡分析該運動軌跡資料、該立體環境資料、該預設虛擬圖案資料及該預設虛擬圖案繪製工具資料,計算獲得該深度感知手套於姿態變化及位置變化,以辨識出該深度感知手套於立體空間中所勾勒出的一軌跡,並根據該預設虛擬圖案資料及該預設虛擬圖案繪製工具資料於該軌跡上產生一虛擬圖案,接續使該虛擬圖案和該立體環境資料共同形成影像,而產生一混合實境影像資料,並於該深度偵測眼鏡顯示該混合實境影像資料;步驟S29:該深度偵測眼鏡將該混合實境影像資料傳輸至該行動裝置。
TW112116036A 2023-04-28 混合實境深度感知系統、混合實境環境感知方法及混合實境虛擬繪圖方法 TWI842504B (zh)

Publications (1)

Publication Number Publication Date
TWI842504B true TWI842504B (zh) 2024-05-11

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210318428A1 (en) 2018-04-26 2021-10-14 SCRRD, Inc. Augmented reality platform and method for use of same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210318428A1 (en) 2018-04-26 2021-10-14 SCRRD, Inc. Augmented reality platform and method for use of same

Similar Documents

Publication Publication Date Title
JP7297028B2 (ja) 拡張現実のためのシステムおよび方法
KR102331164B1 (ko) 증강 현실을 위한 시스템들 및 방법들
US10395116B2 (en) Dynamically created and updated indoor positioning map
US9395543B2 (en) Wearable behavior-based vision system
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
US20140152558A1 (en) Direct hologram manipulation using imu
CN103646587A (zh) 一种智能眼镜及其控制方法
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
CN115768537A (zh) 使用定位追踪的交互式增强现实体验
US11086392B1 (en) Devices, systems, and methods for virtual representation of user interface devices
US10782780B2 (en) Remote perception of depth and shape of objects and surfaces
Mattoccia et al. 3D glasses as mobility aid for visually impaired people
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
CN109669530A (zh) 用于触觉设备的振动触觉驱动器电路
JP2019109850A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
Sharma et al. International journal of engineering sciences & research technology a review on obstacle detection and vision
KR20200082109A (ko) 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20210068970A (ko) 시각장애인을 위한 길안내 서비스 시스템
CN113590070A (zh) 导航界面的显示方法、装置、终端及存储介质
JPH10198506A (ja) 座標検出システム
TWI842504B (zh) 混合實境深度感知系統、混合實境環境感知方法及混合實境虛擬繪圖方法
CN112269472A (zh) 构建虚拟边界对象的方法和系统及其vr眼镜
Botezatu et al. Development of a versatile assistive system for the visually impaired based on sensor fusion
US20130155211A1 (en) Interactive system and interactive device thereof