TWI668492B - 透明顯示裝置及使用其之控制方法 - Google Patents

透明顯示裝置及使用其之控制方法 Download PDF

Info

Publication number
TWI668492B
TWI668492B TW106143783A TW106143783A TWI668492B TW I668492 B TWI668492 B TW I668492B TW 106143783 A TW106143783 A TW 106143783A TW 106143783 A TW106143783 A TW 106143783A TW I668492 B TWI668492 B TW I668492B
Authority
TW
Taiwan
Prior art keywords
user
transparent display
recognition
sensor
target
Prior art date
Application number
TW106143783A
Other languages
English (en)
Other versions
TW201910877A (zh
Inventor
劉得鋕
張志嘉
林郁欣
呂藝全
Original Assignee
財團法人工業技術研究院
創智智權管理顧問股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, 創智智權管理顧問股份有限公司 filed Critical 財團法人工業技術研究院
Priority to CN201810392216.5A priority Critical patent/CN109388233B/zh
Priority to US15/997,712 priority patent/US10928930B2/en
Publication of TW201910877A publication Critical patent/TW201910877A/zh
Application granted granted Critical
Publication of TWI668492B publication Critical patent/TWI668492B/zh

Links

Abstract

一種透明顯示裝置及使用其之控制方法。透明顯示裝置包括透明顯示器、多個識別感測器、景物感測器以及控制器。識別感測器用以感測位於透明顯示器第一面的使用者而產生多個識別資料。景物感測器用以感測位於透明顯示器第二面的景物資訊。控制器獲得使用者與透明顯示裝置之間的使用者距離,依據所述使用者距離來選擇識別感測器中的至少之一或多個所產生的對應識別資料,依據被選擇的對應識別資料來判斷所述使用者的位置、注視方向以及所述景物資訊中的目標物,並在透明顯示器中呈現目標物所對應的目標物資訊。

Description

透明顯示裝置及使用其之控制方法
本揭露是有關於一種透明顯示裝置及使用其之控制方法。
經營觀景地點的廠商或承辦單位通常會製作信息看板、語音導覽...等信息來源以供遊客觀賞,使其能更為深入了解這些景觀物(如,著名大樓、景點、海洋生物或是文物)。然而,這些信息看板無法與使用者進行互動,且無法立即性地呈現在使用者視線中的景觀物件的相關信息。
雖然現有許多顯示器播放技術以及人員偵測技術,但這些技術各自有其侷限性。例如,市售的人眼追蹤技術若與被偵測者相距過近的話將無法正常運作,且無法同時偵測多人;觸控技術則需使用者觸控或接近觸控面板才能發生效用;利用攝影機擷取影像來識別人員動作的空間性肢體辨識技術需要在一定距離以外才較為準確...等技術上的缺陷。
因此,如何將擴增實境(Augmented Reality;AR)功能的顯示技術導入到景觀物件的導覽與解說應用上,並且對於使用者的 偵測與動作能夠更為準確,仍有許多問題需要解決。
本揭露實施例提供一種透明顯示裝置及使用其之控制方法,其混合地使用多種識別感測技術(如,人眼視線追蹤、觸控、影像識別...等)來偵測與判斷使用者實際欲觀看的景觀物,從而提高透明顯示裝置對於使用者的識別正確性。
本揭露實施例提出一種透明顯示裝置,其包括透明顯示器、多個識別感測器、景物感測器以及控制器。透明顯示器包括第一面與相對於第一面的第二面。透明顯示器的顯示屏幕在視覺上是可穿透的。所述識別感測器用以感測位於所述第一面的至少一使用者而分別產生多個識別資料。所述識別感測器分別具備不同的辨識距離。景物感測器用以感測位於所述第二面的景物資訊。控制器,耦接所述識別感測器、所述景物感測器以及所述透明顯示器。所述控制器控制所述識別感測器中的其中之一以獲得所述使用者與所述透明顯示裝置之間的使用者距離,依據所述使用者距離來選擇所述識別感測器中的至少之一或多個所產生的對應識別資料,依據被選擇的所述對應識別資料來判斷所述使用者的位置、注視方向以及所述景物資訊中的目標物,並在所述透明顯示器中呈現所述目標物所對應的目標物資訊。
本揭露實施例提出一種透明顯示裝置的控制方法。所述透明顯示裝置包括透明顯示器、多個識別感測器以及景物感測器。所 述控制方法包括下列步驟。藉由所述識別感測器中的其中之一以獲得所述使用者與所述透明顯示裝置之間的使用者距離。依據所述使用者距離來選擇所述識別感測器中的至少之一或多個所產生的對應識別資料。依據被選擇的所述對應識別資料來判斷所述使用者的位置、注視方向以及從所述景物識別器所感測的景物資訊中的目標物。以及,在所述透明顯示器中呈現所述目標物所對應的目標物資訊。
為讓本揭露能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100、800‧‧‧透明顯示裝置
110‧‧‧透明顯示器
120‧‧‧使用者感測器組
122‧‧‧第一識別感測器
124‧‧‧第二識別感測器
126‧‧‧第三識別感測器
130‧‧‧景物感測器
140‧‧‧控制器
150‧‧‧使用者
160‧‧‧景物資訊
210‧‧‧第一注視點/觸控點/點
220‧‧‧目標物
310‧‧‧切換模組
320‧‧‧座標轉換模組
330‧‧‧視線分析演算模組
340‧‧‧景物擷取模組
350‧‧‧資訊及實景融合模組
360‧‧‧機器學習模組
370‧‧‧即時影像辨識模組
380‧‧‧精度選擇器
S410~S440‧‧‧透明顯示裝置的控制方法的步驟
810‧‧‧辨識資料庫
820‧‧‧全球定位系統裝置(GPS)
830‧‧‧地理資訊資料庫
D1‧‧‧使用者與透明顯示器之間的距離
D2‧‧‧透明顯示器與目標物之間的距離
V1‧‧‧注視方向
θ1、θ2、θ‧‧‧角度
S1‧‧‧透明顯示器的第一面
S2‧‧‧透明顯示器的第二面
IS1、IS2、IS3‧‧‧識別資料
ISE‧‧‧外部景物資訊
B1~B16‧‧‧顯示屏幕上的區塊
S01~S16‧‧‧景物資訊的對應區塊
(Xt,Yt)‧‧‧第一注視點的座標
(Xu,Yu)‧‧‧使用者的座標
(X1,Y1)、(X1,Yn)、(Xn,Y1)、(Xn,Yn)‧‧‧景物資訊四個角落的座標
(Xv,Yv)‧‧‧目標物的座標
圖1是依照本揭露實施例的一種透明顯示裝置的功能方塊圖。
圖2是依照本揭露實施例的一種透明顯示裝置的示意圖。
圖3是符合本揭露實施例的控制器的功能模組的示意圖。
圖4是依照本揭露實施例的一種透明顯示裝置的控制方法的流程圖。
圖5用以說明表1中感測模式A與感測模式B所採用的演算法的示意圖。
圖6及圖7用以說明表1中感測模式C與感測模式D所採用的演算法的示意圖。
圖8是依照本揭露另一實施例的一種透明顯示裝置的功能方塊圖。
圖1是依照本揭露實施例的一種透明顯示裝置100的功能方塊圖。圖2是依照本揭露實施例的一種透明顯示裝置100的示意圖。透明顯示裝置100包括透明顯示器110、多個識別感測器(如,圖1中的第一識別感測器122、第二識別感測器124以及第三識別感測器126)、景物感測器130以及控制器140。為了方便描述,本實施例將第一識別感測器122、第二識別感測器124以及第三識別感測器126稱為是使用者感測器組120。第一識別感測器122、第二識別感測器124以及第三識別感測器126分別產生對應的識別資料IS1、IS2以及IS3。
透明顯示器110是指其顯示屏幕本身具有一定程度的光線穿透性,能夠呈現出面板後方的背景。也就是說,透明顯示器110的顯示屏幕在視覺上是可穿透的。本實施例的透明顯示器110可適用於建築物(如,觀景臺、水族館、博物館)中的窗戶、展覽櫥窗、車輛或纜車的玻璃兼顯示器...等多種應用。本實施例的透明顯示器110具備朝向使用者150的第一面S1以及朝向景物資訊160的第二面S2。也就是說,透明顯示器110的第一面S1與第二面S2互為相對。
本實施例圖2中的使用者感測器組120設置於透明顯示器110本體外側、朝向使用者的第一面S1、位於透明顯示器110的中間線位置且位於透明顯示器110本體的上方處。景物感測器130則設置於透明顯示器110本體外側、朝向外部景物的第二面S2、位於 透明顯示器110的中間線位置且位於透明顯示器110本體的上方處。應用本實施例者還可將使用者感測器組120及景物感測器130設計在透明顯示器110本體當中、將使用者感測器組120及景物感測器130設置在靠近透明顯示器110左方或靠近透明顯示器110右方的非中間線位置、或是將使用者感測器組120及景物感測器130設計在遠離透明顯示器110本體的其他位置,例如依據常用使用者的身高來降低使用者感測器組120的設置高度。也就是說,本揭露不限制使用者感測器組120及景物感測器130的設置位置,只要使用者感測器組120能夠感測到位於透明顯示器110第一面S1的使用者150且景物感測器130能夠感測位於透明顯示器110第二面的景物資訊160即可。
使用者感測器組120中具備多個識別感測器,例如第一識別感測器122、第二識別感測器124及第三識別感測器126。識別感測器122、124及126可以分別設置於透明顯示器110的不同位置,且識別感測器122、124及126分別具備不同的最佳辨識距離。例如,本實施例的第一識別感測器122可以是深度感測器,其可取得使用者150的肢體動作以作為使用者150的特徵,深度感測器對於使用者的最佳辨識距離約略在50公分到100公分之間;第二識別感測器124可以是臉部感測器,其可取得使用者150的人臉、眼球、手指或肢體等處的細微動作以作為使用者150的特徵,臉部感測器對於使用者的最佳辨識距離約略在40公分到60公分之間。因此,第一識別感測器122與第二識別感測器124可被設置於位於透明顯示器110 第一面S1的中間線位置。本實施例的第三識別感測器126可以是指向型感測器(又稱為,觸控感測器),其感測設備佈置於透明顯示器110第一面S1上。換句話說,第一及第二識別感測器122與124的設置位置與第三識別感測器126的設置位置不同。深度感測器(第一識別感測器122)的辨識距離大於臉部感測器(第二識別感測器124)的辨識距離,且臉部感測器(第二識別感測器124)的辨識距離大於觸控感測器(第三識別感測器126)的辨識距離。
本實施例的第一識別感測器122可透過人體骨架分析技術、姿勢偵測技術、立體攝影機識別技術及相應的硬體來實現;本實施例的第二識別感測器124可以透過眼球追蹤技術、立體視覺感測技術、立體攝影機識別技術及相應的硬體來實現;本實施例的第三識別感測器126可以透過電容性或電阻性觸控技術及相應的硬體來實現。
為了方便說明,在此將使用者的座標以(Xu,Yu)來表示;將使用者150的注視方向標記為V1;將注視方向V1延伸到透明顯示器110的第一注視點210的座標以位於透明顯示器110第一面S1的(Xt,Yt)來表示;將景物資訊160中的目標物220的座標以(Xv,Yv)來表示。使用者150與透明顯示器110之間的距離以D1表示;透明顯示器110與目標物220之間的距離以D2表示。一般來說,距離D1約在0公分至100公分之間,距離D2約在65公分至無限遠之間。
景物感測器130用於感測外部景物資訊ISE,所述外部景物 資訊ISE包括使用者透過透明顯示器110所觀看到的、位於透明顯示器110第二面S2的景物資訊160。景物感測器130可使用多個影像擷取設備來獲得景物資訊160以及位於景物資訊160中的至少一個目標物(如,目標物220)的深度資訊(如,距離D2)。
控制器140耦接透明顯示器110、多個識別感測器(如,第一至第三識別感測器122、124、126)以及景物感測器130。本實施例的控制器140可以是由系統晶片(SOC)、場可編程閘陣列(field programmable gate array;FPGA)晶片、複雜可編程邏輯元件(complex programmable logic device;CPLD)、微處理器...等硬體元件來實現。本實施例的控制器140還可包括多個功能模組,如圖3所示。
圖3是符合本揭露實施例的控制器140的功能模組的示意圖。圖4是依照本揭露實施例的一種透明顯示裝置的控制方法的流程圖。在此將圖3中的各個功能模組與圖4對應的步驟流程相互對應進行說明。控制器140可包括多個功能模組。這些功能模組可以由軟體配合控制器140來實現,也可直接由與這些功能模組具備相同功能的硬體電路以形成控制器140來實現。
在圖3中,控制器140主要包括切換模組310、座標轉換模組320、視線分析演算模組330、景物擷取模組340以及資訊及實景融合模組350。控制器140還額外包括機器學習模組360以及即時影像辨識模組370。請同時參照圖3及圖4,於步驟S410中,控制器的切換模組310藉由多個識別感測器中的其中之一(如,第一識別感測器122)以獲得使用者150與透明顯示器110之間的使用者距離 (如,圖2所述的距離D1)。從另一角度來說,透明顯示裝置100中的切換模組310為了得知使用者150的數量及位置,便藉由這些識別感測器中具備最大辨識距離的特定識別感測器(如,第一識別感測器122)以判斷使用者150的數量。然後,由於第一識別感測器122可由深度感測器實現,因此切換模組310還可獲得使用者150與透明顯示器110之間且對應各個使用者150的使用者距離。若第一識別感測器122沒有偵測到使用者,則會持續進行偵測。若第一識別感測器122偵測到多數個使用者,則會對於每個使用者偵測相對應的使用者距離D1。
於步驟S420中,切換模組310依據使用者距離D1來選擇多個識別感測器中的至少之一或多個所產生的對應識別資料。詳細來說,切換模組310是依據使用者距離D1選擇多個感測模式的其中之一,每個感測模式對應識別感測器中的至少之一或兩個。並且,切換模組310依據經選擇感測模式而控制所對應的識別感測器中的至少之一或多個以獲得被選擇的對應識別資料。本實施例以表1作為舉例以說明感測模式、第一至第三識別感應器122、124、126以及使用者距離D1之間的關係。表1中的距離D2是透明顯示裝置100與目標物220之間的距離。
表1中的感測模式A與感測模式B皆沒有從第三識別感測器126所產生的辨識資料IS3中偵測到觸控感應,因此當使用者距離D1大於預設距離D2時,由於第一識別感測器(深度感測器)的最佳辨識距離遠於第二識別感測器(臉部感測器)的最佳辨識距離,因此切換模組310便選擇感測模式A,並依據經選擇感測模式A而控制對應的第一識別感測器122以獲得被選擇的所述對應識別資料IS1。另一方面,當使用者距離D1小於預設距離D2時,切換模組310便選擇感測模式B,並依據經選擇感測模式B而控制對應的第二識別感測器124以獲得被選擇的所述對應識別資料IS2。
表1中的感測模式C與感測模式D則是已從第三識別感測器126所產生的辨識資料IS3中偵測到觸控感應,因此當使用者距離D1大於預設距離D2時,切換模組310便選擇感測模式C,並依據經選擇感測模式C而控制對應的第一識別感測器122與第三識別感測器126以獲得被選擇的所述對應識別資料IS1與IS3。另一方面,當使用者距離D1小於預設距離D2時,切換模組310便選擇感測模式D,並依據經選擇感測模式D而控制對應的第二識別感測器124與第三識別感測器126以獲得被選擇的所述對應識別資料IS2與IS3。
於步驟S430中,控制器140依據在步驟S420中被選擇的對應識別資料來判斷使用者150的位置、注視方向以及從景物識別器130所感測的景物資訊中的目標物。詳細來說,座標轉換模組320可透過被選擇的對應識別資料以將圖2所示的觸控點210座標(Xt,Yt)進行轉換,以使此座標位於以透明顯示裝置100為主的全局座標系中,並供其他模組使用。本實施例還可利用機器學習模組360以及其中的機器學習資料庫來學習座標的轉換,從而增加座標轉換的速度。景物擷取模組340從外部景物資訊ISE中獲得景物資訊160。
本實施例的感測模式A至感測模式D分別對應不同的演算法,這些演算法用來藉由控制器140執行以計算使用者150的位置、注視方向以及景物資訊中的目標物。視線分析演算模組330依據上述演算法以及座標轉換模組320所提供的座標資訊計算與判斷使用 者150的位置、注視方向V1以及從景物識別器130所感測的景物資訊160中的目標物220。
於本揭露的部分實施例中,還可透過圖3的控制器140中的精度選擇器380來判斷感測模式A至感測模式D中所對應的演算法(可稱為是,使用者視線分析演算法)所產生的結果較佳。請參考圖2的示意圖,詳細來說,控制器140中的精度選擇器380將會針對每個感測模式(如,感測模式A至感測模式D)所對應的識別感測器中的至少之一或多個所產生的識別資料(如,識別資料IS1、IS2、IS3)來計算注視方向V1在透明顯示器110上形成的第一注視點(如,圖2的點210)與目標物220之間的連線的第一角度θ1。並且,控制器140中的精度選擇器380亦計算使用者150的注視方向V1的第二角度θ2。
第一角度θ1可由第二角度θ2、距離D1以及距離D2計算而得,如方程式(1)所示:
控制器140中的精度選擇器380還計算第一角度θ1與第二角度θ2之間的差值。然後,控制器140中的精度選擇器380可依據每個感測模式所對應的差值來選擇這些感測模式的其中之一。例如,若是這兩個角度之間差值十分接近於零,表示此感測模式所對應的演算法將獲得最佳的使用者150的位置、注視方向V1以及景物資訊160中的目標物220,因此控制器140中的精度選擇器380將會控制切換模組310以選擇並採用接近於零的此差值所對應的感測模式。 本揭露的控制器140可選擇性地採用精度選擇器380來強化對於感測模式的選擇。也就是說,本揭露實施例中的控制器140可以採用精度選擇器380,也可以不採用精度選擇器380。
回到圖4,於步驟S440中,控制器140中的資訊及實景融合模組350依據目標物220檢索對應的辨識資料庫以尋找目標物220所對應的目標物資訊,並依據控制器140中的視線分析演算模組330所計算而得的使用者座標、第一注視點210的座標以及目標物220所對應的目標物資訊來產生顯示資訊。即時影像辨識模組370當中具備影像資料庫,可協助資訊及實景融合模組350來識別景物資訊160中的各個目標物以及計算各個目標物的座標以對目標物進行定位。於步驟S450中,透明顯示器110依據此顯示資訊來呈現目標物220所對應的目標物資訊。
本實施例的視線分析演算模組330可採用至少兩種演算法來計算使用者150的位置、注視方向V1以及目標物220,並利用圖5至圖7來說明之。應用本實施例亦可採用其他演算法來配合對應的感測模式與識別感測器,藉以獲得更佳的影像效果。圖5用以說明表1中感測模式A與感測模式B所採用的演算法的示意圖。在圖5所示的演算法中,控制器之視線分析演算模組會將景物資訊160以及透明顯示器110的顯示屏幕區分為多個區塊(例如,景物資訊160中的區塊S01~S16與顯示屏幕中的區塊B1~B16)。位在顯示屏幕上的這些區塊B1~B16可分別投影到景物資訊160的對應區塊S01~S16上。景物資訊160的對應區塊S01~S16也可透過預先定義好的座標 來設定各個區塊,這些座標例如是圖5中標記在景物資訊160四個角落的座標(X1,Y1)、(X1,Yn)、(Xn,Y1)以及(Xn,Yn)。視線分析演算模組330在利用被選擇的識別資料以計算得到使用者150的座標(Xu,Yu)、距離D1、注視方向V1以及注視方向V1對應的向量角度θ(例如是,(θx,θy))之後,便可利用上述區塊的投影關係作為使用者位置以及觸控點(或是第一注視點210)之間的座標轉換矩陣,從而藉由此座標轉換矩陣獲得對應的目標物的座標。若可從第三識別感測器126(觸控感測器)獲得識別資料IS3的話,便可利用使用者150所產生的觸控點代替第一注視點210,並利用上述觸控點來計算更為準確的注視方向V1及其向量角度θ(例如是,(θx,θy))。
圖6及圖7用以說明表1中感測模式C與感測模式D所採用的演算法的示意圖。圖6是從使用者150的側面看去的示意圖,圖7則是從使用者150的頭頂向下看去的示意圖。此演算法係以有觸控感應所獲得的觸控點210為基礎,進行簡易地計算目標物220的座標以及注視方向V1的角度。首先,計算出距離D2與距離D1的比率為N:1。然後,目標物220的座標(Xv,Yv)則可由第一注視點210(或稱為,觸控點)的座標(Xt,Yt)以及距離D2與距離D1的比率計算而得,如方程式(2)所示:(Xv,Yv)=(N+1)(Xt,Yt)=(N+1)(Xu+D1×tan θx,Yu+D1×tan θy).....................(2)
角度θ為注視方向V1與透明顯示裝置100中的透明顯示屏 幕之間的夾角。
角度θ(θx,θy)亦可由使用者150的座標、第一注視點210的座標以及距離D1獲得,如方程式(3)所示:
圖8是依照本揭露另一實施例的一種透明顯示裝置800的功能方塊圖。透明顯示裝置800除了圖1中的元件以外,還包括辨識資料庫810、全球定位系統裝置(GPS)820以及地理資訊資料庫830。辨識資料庫可耦接圖1的控制器140。本實施例的辨識資料庫810的內容將會針對景物資訊的不同而有所調整,從而使用不同領域的資料庫來呈現目標物資訊。例如,當景物資訊中大多是建築物時,便會將辨識資料庫810的內容放入建築物的相關資訊;當景物資訊中大多數是海洋生物時,便會將辨識資料810庫的內容放入海洋生物、洋流等相關資訊;當景物資訊中大多數是文物時,便會將辨識資料庫810的內容放入文物名稱、來歷、相關歷史等相關資訊;當透明顯示裝置800為固定在某處,且透明顯示裝置800偵測到的外部景物資訊不會任意變動時,便會將透明顯示裝置800四周的景物資訊作為固定場域的資訊,並將此固定場域的資訊放入辨識資料庫810的內容中。
全球定位系統裝置(GPS)820以及地理資訊資料庫830皆耦接至控制器140。控制器140依據全球定位系統裝置820來定位使用者以及目標物。此外,控制器140還可依據使用者以及目標物的定位結果來搜尋地理資訊資料庫830,以獲得目標物所對應的目標物 資訊。例如,當透明顯示裝置800裝設在遊覽車、纜車、船隻等交通工具上時,全球定位系統裝置820可即時性地與動態性地定位使用者的位置,從而讓透明顯示裝置得知四周的景物與相關資訊。
綜上所述,本揭露實施例所述的透明顯示裝置可利用偵測得到的使用者距離來選擇性且可混合地使用多種識別感測技術(如,人眼視線追蹤、觸控、影像識別...等)來偵測與判斷使用者實際欲觀看的景觀物,並針對不同的識別感測技術的組合(如,感測模式)採用對應的使用者視線分析演算法來分析使用者的視線與注視的目標物,從而提高透明顯示裝置對於使用者的識別正確性。此外,本揭露可使用不同領域的資料庫及/或全球定位技術來讓透明顯示裝置的即時影像辨識以及視線與觸控座標點轉換更為準確。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims (12)

  1. 一種透明顯示裝置,包括:透明顯示器,包括第一面與相對於所述第一面的第二面,所述透明顯示器的顯示屏幕在視覺上是可穿透的;多個識別感測器,用以感測位於所述第一面的至少一使用者而分別產生多個識別資料,其中所述識別感測器分別具備不同的辨識距離;景物感測器,用以感測位於所述第二面的景物資訊;以及控制器,耦接所述識別感測器、所述景物感測器以及所述透明顯示器,所述控制器控制所述識別感測器中的其中之一以獲得所述使用者與所述透明顯示器之間的使用者距離,依據所述使用者距離來選擇多個感測模式的其中之一,其中每個感測模式對應所述識別感測器中的至少之一或多個,依據經選擇感測模式而控制所對應的所述識別感測器中的至少之一或多個以獲得被選擇的對應識別資料,依據被選擇的所述對應識別資料來判斷所述使用者的位置、注視方向以及所述景物資訊中的目標物,並在所述透明顯示器中呈現所述目標物所對應的目標物資訊,其中所述控制器控制所述識別感測器中具備最大辨識距離的特定識別感測器以判斷所述使用者的數量,且獲得所述使用者與所述透明顯示器之間且對應所述使用者的所述使用者距離。
  2. 如申請專利範圍第1項所述的透明顯示裝置,其中所述識別感測器至少包括深度感測器、臉部感測器以及觸控感測器,其中所述深度感測器的辨識距離大於所述臉部感測器的辨識距離,且所述臉部感測器的辨識距離大於所述觸控感測器的辨識距離。
  3. 如申請專利範圍第1項所述的透明顯示裝置,其中所述控制器針對每個感測模式所對應的所述識別感測器中的至少之一或多個所產生的所述識別資料來計算所述注視方向在所述透明顯示器上形成的第一注視點與所述目標物之間的連線的第一角度,並計算所述第一角度與所述使用者的所述注視方向的第二角度之間的差值,所述控制器依據每個感測模式所對應的所述差值來選擇所述感測模式的其中之一,其中,當所述差值接近於零時,所述控制器選擇並採用接近於零的所述差值所對應的所述感測模式。
  4. 如申請專利範圍第3項所述的透明顯示裝置,其中每個感測模式分別對應不同的演算法,所述演算法用來藉由所述控制器執行以計算所述使用者的所述位置、所述注視方向以及所述景物資訊中的所述目標物。
  5. 如申請專利範圍第1項所述的透明顯示裝置,更包括:辨識資料庫,耦接所述控制器,所述控制器依據所述辨識資料庫來尋找所述目標物所對應的所述目標物資訊。
  6. 如申請專利範圍第1項所述的透明顯示裝置,更包括:全球定位系統裝置,耦接所述控制器,所述控制器依據所述全球定位系統裝置來定位所述使用者以及所述目標物;以及地理資訊資料庫,耦接所述控制器,所述控制器依據所述使用者以及所述目標物的定位結果來搜尋所述地理資訊資料庫,以獲得所述目標物所對應的所述目標物資訊。
  7. 一種透明顯示裝置的控制方法,所述透明顯示裝置包括透明顯示器、多個識別感測器以及景物感測器,所述控制方法包括:藉由所述識別感測器中的其中之一以獲得所述使用者與所述透明顯示器之間的使用者距離,包括:藉由所述識別感測器中具備最大辨識距離的特定識別感測器以判斷所述使用者的數量;以及獲得所述使用者與所述透明顯示器之間且對應所述使用者的所述使用者距離;依據所述使用者距離來選擇多個感測模式的其中之一,其中每個感測模式對應所述識別感測器中的至少之一或多個;依據經選擇感測模式而控制所對應的所述識別感測器中的至少之一或多個以獲得被選擇的對應識別資料;依據被選擇的所述對應識別資料來判斷所述使用者的位置、注視方向以及從所述景物識別器所感測的景物資訊中的目標物;以及在所述透明顯示器中呈現所述目標物所對應的目標物資訊。
  8. 如申請專利範圍第7項所述的控制方法,其中所述識別感測器至少包括深度感測器、臉部感測器以及觸控感測器,其中所述深度感測器的辨識距離大於所述臉部感測器的辨識距離,且所述臉部感測器的辨識距離大於所述觸控感測器的辨識距離。
  9. 如申請專利範圍第7項所述的控制方法,依據所述使用者距離來選擇所述識別感測器中的至少之一或多個所產生的對應識別資料還包括:針對每個感測模式所對應的所述識別感測器中的至少之一或多個所產生的所述識別資料來計算所述注視方向在所述透明顯示器上形成的第一注視點與所述目標物之間的連線的第一角度,並計算所述第一角度與所述使用者的所述注視方向的第二角度之間的差值;以及依據每個感測模式所對應的所述差值來選擇所述感測模式的其中之一,其中,當所述差值接近於零時,選擇並採用接近於零的所述差值所對應的所述感測模式。
  10. 如申請專利範圍第9項所述的控制方法,其中每個感測模式分別對應不同的演算法,所述演算法用來藉由所述控制器執行以計算所述使用者的所述位置、所述注視方向以及所述景物資訊中的所述目標物。
  11. 如申請專利範圍第7項所述的控制方法,還包括:依據辨識資料庫來尋找所述目標物所對應的所述目標物資訊。
  12. 如申請專利範圍第7項所述的控制方法,還包括:依據全球定位系統裝置來定位所述使用者以及所述目標物,且依據所述使用者以及所述目標物的定位結果來搜尋地理資訊資料庫,以獲得所述目標物所對應的所述目標物資訊。
TW106143783A 2017-08-14 2017-12-13 透明顯示裝置及使用其之控制方法 TWI668492B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810392216.5A CN109388233B (zh) 2017-08-14 2018-04-27 透明显示装置及其控制方法
US15/997,712 US10928930B2 (en) 2017-08-14 2018-06-05 Transparent display device and control method using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762544923P 2017-08-14 2017-08-14
US62/544,923 2017-08-14

Publications (2)

Publication Number Publication Date
TW201910877A TW201910877A (zh) 2019-03-16
TWI668492B true TWI668492B (zh) 2019-08-11

Family

ID=66590123

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106143783A TWI668492B (zh) 2017-08-14 2017-12-13 透明顯示裝置及使用其之控制方法

Country Status (1)

Country Link
TW (1) TWI668492B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815679B2 (en) 2021-04-16 2023-11-14 Industrial Technology Research Institute Method, processing device, and display system for information display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201748927U (zh) * 2010-06-28 2011-02-16 彩虹集团公司 一种应用透明oled屏幕做车窗的汽车导航装置
TW201400865A (zh) * 2012-06-25 2014-01-01 Hon Hai Prec Ind Co Ltd 透過透明顯示幕進行監控的監控系統及方法
CN104627078A (zh) * 2015-02-04 2015-05-20 刘波 基于柔性透明oled的汽车驾驶虚拟系统及其控制方法
CN104704444A (zh) * 2012-10-09 2015-06-10 微软公司 透明显示设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201748927U (zh) * 2010-06-28 2011-02-16 彩虹集团公司 一种应用透明oled屏幕做车窗的汽车导航装置
TW201400865A (zh) * 2012-06-25 2014-01-01 Hon Hai Prec Ind Co Ltd 透過透明顯示幕進行監控的監控系統及方法
CN104704444A (zh) * 2012-10-09 2015-06-10 微软公司 透明显示设备
CN104627078A (zh) * 2015-02-04 2015-05-20 刘波 基于柔性透明oled的汽车驾驶虚拟系统及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815679B2 (en) 2021-04-16 2023-11-14 Industrial Technology Research Institute Method, processing device, and display system for information display

Also Published As

Publication number Publication date
TW201910877A (zh) 2019-03-16

Similar Documents

Publication Publication Date Title
CN109388233B (zh) 透明显示装置及其控制方法
CN108227914B (zh) 透明显示装置、使用其的控制方法及其控制器
US10181222B2 (en) Method and device for augmented reality display of real physical model
TWI574223B (zh) 運用擴增實境技術之導航系統
Fiannaca et al. Headlock: a wearable navigation aid that helps blind cane users traverse large open spaces
US6600475B2 (en) Single camera system for gesture-based input and target indication
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
US11024069B2 (en) Optically challenging surface detection for augmented reality
Maeda et al. Tracking of user position and orientation by stereo measurement of infrared markers and orientation sensing
WO2016095057A1 (en) Peripheral tracking for an augmented reality head mounted device
CN103246350A (zh) 基于感兴趣区实现辅助信息提示的人机接口设备及方法
Liu et al. 3D gaze estimation for head-mounted eye tracking system with auto-calibration method
CN110895676B (zh) 动态对象跟踪
WO2023051305A1 (zh) 一种智能设备控制方法、系统、电子设备及存储介质
Selvam et al. Augmented reality for information retrieval aimed at museum exhibitions using smartphones
TWI668492B (zh) 透明顯示裝置及使用其之控制方法
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
TWI792106B (zh) 資訊顯示方法及其處理裝置與顯示系統
Kaur et al. Computer vision and sensor fusion for efficient hybrid tracking in augmented reality systems
McMurrough et al. Low-cost head position tracking for gaze point estimation
US10614308B2 (en) Augmentations based on positioning accuracy or confidence
CN203276167U (zh) 一套基于感兴趣区实现辅助信息提示的人机接口设备
WO2024095744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Li et al. Handheld pose tracking using vision-inertial sensors with occlusion handling