TWI718410B

TWI718410B - 目標物資訊的預載顯示方法及裝置

Info

Publication number: TWI718410B
Application number: TW107132541A
Authority: TW
Inventors: 張志嘉; 林郁欣; 陳健龍; 王必先
Original assignee: 財團法人工業技術研究院; 創智智權管理顧問股份有限公司
Priority date: 2018-09-14
Filing date: 2018-09-14
Publication date: 2021-02-11
Also published as: CN110908500A; US20200089955A1; TW202011154A; US10977492B2; CN110908500B

Abstract

一種目標物資訊的預載顯示方法及裝置。所述方法包括下列步驟：利用第一資訊擷取裝置擷取透明顯示器相對於使用者另一側的外部目標物資訊；預辨識外部目標物資訊中的至少一個目標物，並根據辨識結果追蹤目標物；利用第二資訊擷取裝置擷取所述使用者資訊，辨識並追蹤所述使用者的指向範圍，並判斷所追蹤的目標物是否出現在此指向範圍內；以及在透明顯示器上預載顯示出現在指向範圍內的目標物的物件資訊。

Description

目標物資訊的預載顯示方法及裝置

本發明是有關於一種資訊顯示方法及裝置，且特別是有關於一種目標物資訊的預載顯示方法及裝置。

透明顯示器依其技術原理，可分為穿透式透明顯示器與投影式透明顯示器。其中，穿透式透明顯示器是將顯示面板製作成透明可透視，投影式透明顯示器則運用投影方式，將影像投射到可反光且兼具透明特性的基材上，達到透明顯示之效果。

透明顯示器具有透明、輕薄等特性，可將顯示器上顯示的虛擬影像與現實世界的場景結合，賦予觀看者一種直觀且直覺的互動體驗。觀看者不僅可透過透明顯示器觀看到實物，也可在透明顯示器上看到疊合在實物上或顯示在其周圍的資訊，甚至透過觸控技術與透明顯示器上的顯示資訊互動。

透明顯示器目前已廣泛地導入車用抬頭顯示器、自動販賣機、商品櫥窗、博物館展品導覽、觀光車輛導覽等應用中。然而，由於辨識目標物需要耗費較多的運算量及運算時間，對於移動較快的目標物而言，若在捕捉到人眼注視的當下才對目標物進行辨識，在辨識完成時目標物有可能已離開原來的位置，使得目標物資訊的顯示位置與目標物所在位置有一定的落差。

舉例來說，圖1A與圖1B是習知顯示目標物資訊的示意圖。請參照圖1A，當影像中的目標物10處於靜止狀態時，即便對該目標物10進行辨識需耗費一定時間（例如約250毫秒），由於目標物10並未移動，經由辨識而產生的目標物資訊10a（例如圖中所示的「袋鼠」）可顯示在目標物的物體框10f周圍的適當位置。然而，當影像中的目標物10處於移動狀態（例如以時速60公里向左移動）時，則在辨識時間過後，目標物10已向前移動若干距離（如物體框10f’相較於原始顯示的物體框10f已向左移動約半個框的寬度），此將使得經由辨識而產生並顯示的目標物資訊明顯落後於目標物10，這將對使用者造成不佳的使用經驗。

本發明一實施例提供一種目標物資訊的預載顯示方法。所述方法包括下列步驟：利用第一資訊擷取裝置擷取透明顯示器相對於使用者另一側的外部目標物資訊；預辨識外部目標物資訊中的至少一個目標物，並根據辨識結果追蹤目標物；利用第二資訊擷取裝置擷取所述使用者的資訊，以偵測使用者對於透明顯示器之指向範圍，並判斷所追蹤的目標物是否出現在此指向範圍內；以及在透明顯示器上預載顯示出現在指向範圍內的目標物的物件資訊。

本發明一實施例提供一種目標物資訊的預載顯示裝置，其包括透明顯示器、第一資訊擷取裝置、第二資訊擷取裝置及處理器。其中，第一資訊擷取裝置用以擷取透明顯示器相對於觀看透明顯示器的使用者另一側的外部目標物資訊。第二資訊擷取裝置用以擷取所述使用者的資訊。處理器耦接透明顯示器、第一資訊擷取裝置及第二資訊擷取裝置，用以載入並執行多個程式指令以：預辨識外部目標物資訊中的至少一個目標物，並根據辨識結果追蹤目標物；利用所擷取的使用者資訊偵測使用者對於透明顯示器之指向範圍，並判斷所追蹤的目標物是否出現在此指向範圍內；以及在透明顯示器上預載顯示出現在指向範圍內的目標物的物件資訊。

為讓本發明能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明一實施例藉由對出現在透明顯示器顯示範圍內的目標物進行預辨識，並將辨識所得的物件資訊暫存在儲存裝置中，待使用者對該目標物有指向行為時，可直接從儲存裝置中取得物件資訊並回饋至透明顯示器上顯示，藉此可縮短反應時間提高顯示效率。

圖2是依照本發明一實施例所繪示之目標物資訊的預載顯示裝置的方塊圖。請參照圖2，本實施例的目標物資訊的預載顯示裝置20例如是具備透明顯示功能的電子裝置，其中包括第二資訊擷取裝置21、第一資訊擷取裝置22、透明顯示器23、儲存裝置24及處理器25，其中的第二資訊擷取裝置21（或內部指向裝置）是用於使用者指向方向擷取，此指向方向也可以是由影像感測器偵測視線方向、遙控器指向方向、觸控和眼球投影方向等指向行為獲得，不限於由相機捕捉之使用者影像的指向行為。第一資訊擷取裝置22（或外部物件辨識裝置，或外部物件定位裝置）是用於外部物件辨識定位，也可以是用於物件的網路通訊設備定位，例如藍芽發射和接收器等物件的辨識和定位，不限於由相機捕捉之物件影像的辨識。

在一實施例中，第二資訊擷取裝置21及第一資訊擷取裝置22分別包括鏡頭及影像感測器，其中鏡頭可由數個凹凸透鏡組合而成，且由步進馬達或音圈馬達等致動器驅動以改變透鏡之間的相對位置，從而改變鏡頭的焦距，使得被攝物體可成像在影像感測器上。影像感測器中配置有電荷耦合元件（Charge coupled device，CCD）、互補性氧化金屬半導體（Complementary metal-oxide semiconductor，CMOS）元件或其他種類的感光元件，而可感測進入鏡頭的光線強度，從而擷取影像訊號以產生並輸出影像。在本實施例中，第二資訊擷取裝置21是用以擷取包括觀看透明顯示器23的使用者的內部影像，第一資訊擷取裝置22則是用以擷取透明顯示器23相對於使用者另一側的外部目標物資訊。在另一實施例中，第二資訊擷取裝置21以及第一資訊擷取裝置22也可包含完成辨識目標物功能之可程式化處理單元、微處理器（micro-processor）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似電路元件，本發明並不限於此。

透明顯示器23是指顯示器可具有一定程度的光線穿透性，使用者觀看時能夠呈現出顯示器相對於使用者另一側的背景，例如是薄膜電晶體液晶顯示器（Thin film transistor liquid crystal display，TFT-LCD）、場色序（Field sequential color）顯示器、主動式有機發光顯示器（Active matrix organic light emitting display，AMOLED）、電濕潤顯示器（Electrowetting display）等穿透式透明顯示器，或者是投影式透明顯示器。透明顯示器23除了具備可透視且可顯示資訊的透明顯示面板外，亦可與可偵測使用者觸碰操作的觸控面板整合，而可提供使用者與顯示資訊進行互動。

儲存裝置24可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。在本實施例中，儲存裝置24用以儲存由第二資訊擷取裝置21及第一資訊擷取裝置22擷取的影像資料，並儲存由處理器25辨識影像中目標物所得的辨識資料，且記錄可供處理器25存取並執行的電腦程式或指令。

處理器25例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。處理器25耦接第二資訊擷取裝置21、第一資訊擷取裝置22、透明顯示器23及儲存裝置24，其例如可從儲存裝置24載入程式指令，並據以執行本發明一實施例的目標物資訊的預載顯示方法。在其他實施例中，目標物資訊的預載顯示裝置20還可包括用以與外部裝置進行通訊的通訊模組、用以追蹤觀看透明顯示器23之使用者眼球的眼球追蹤（eye tracing）裝置等元件，本實施例不限制元件種類。以下即舉實施例說明本發明一實施例的多重目標物資訊顯示方法的詳細步驟。

圖3是依照本發明一實施例所繪示之目標物資訊的預載顯示方法的流程圖。請同時參照圖2及圖3，本實施例的方法可適用於圖2的預載顯示裝置20，以下即搭配預載顯示裝置20中的各項元件說明本發明一實施例之目標物資訊的預載顯示方法的詳細步驟。

首先，由處理器25利用第一資訊擷取裝置22擷取透明顯示器23相對於使用者另一側的外部目標物資訊（步驟S302），此外部目標物資訊可匹配於透明顯示器23的顯示範圍，並可藉由對外部目標物資訊中的目標物進行辨識以取得目標物位置及其相關的物件資訊，從而將該物件資訊於透明顯示器23上與影像中目標物位置相對應的位置上顯示。

接著，由處理器25預辨識外部目標物資訊中的至少一個目標物，並根據辨識結果追蹤目標物（步驟S304）。其中，處理器25例如是藉由關於分類區域差異的哈爾特徵（Haar-like features）、關於紋理分類的區域二元樣式（Local Binary Patterns，LBP）等演算法，對影像中的特徵點、特徵區塊、樣板、顏色、紋理、形狀、動態等進行辨識，從而辨識出有特徵的物件。

此外，在辨識出目標物之後，處理器25例如會對各目標物進行即時追蹤，以實時取得各目標物的像素座標、移動距離、特徵點變化、面積變化等資訊，並利用所辨識目標物的距離及/或角度之功能轉換，獲得目標物在真實空間的位置，並可獲得速度、加速度、移動向量等資訊。其中，處理器25例如是採用光流法、判別相關濾波器（Discriminative Correlation Filter，DCF）、結合卷積特徵的DeepSRDCF等演算法，藉由物體移動有連續軌跡的特性，在影像的下一幀（frame）中找尋前一幀中有出現物體的畫素的鄰近畫素來追蹤部分特徵、顏色、面積、連續向量、速度梯度等，從而實現目標物追蹤。本實施例不限定目標物的辨識及追蹤方法。

在一實施例中，處理器25例如會將上述的辨識結果以及根據辨識結果所取得的目標物的物件資訊記錄於儲存裝置24中的資料庫，以便在後續偵測到使用者注視目標物而需要顯示目標物資訊時，可藉由存取儲存裝置24而快速載入並顯示目標物的物件資訊。

在追蹤目標物的過程中，利用第二資訊擷取裝置擷取使用者資訊，以偵測使用者對於透明顯示器23之指向範圍（步驟S306），並判斷所追蹤的目標物是否出現在指向範圍內（步驟S308）。

在一實施例中，上述的指向範圍例如是使用者觀看透明顯示器23之視線範圍。詳言之，處理器25例如是依據第二資訊擷取裝置21所擷取包括使用者的內部影像，判定使用者觀看透明顯示器23之視線範圍。在一實施例中，處理器25例如是依據使用者在內部影像中所佔面積，估測使用者與透明顯示器23之間距離，並依據使用者臉部、眼部等部位在內部影像中的位置及大小，估測使用者的視線方向，並據此判定使用者觀看透明顯示器23之視線範圍。在其他實施例中，處理器25亦可利用額外配置的眼球追蹤裝置偵測使用者眼球的角度而判定使用者觀看透明顯示器23之視線範圍。本實施例不限定視線範圍的判定方式。

在一實施例中，上述的指向範圍例如是由視線範圍與使用者在透明顯示器23上的觸碰範圍形成的指向向量所指向的範圍。詳言之，處理器25例如會將由第二資訊擷取裝置21或眼球追蹤裝置偵測到使用者的眼球位置與觸控面板偵測到使用者的觸碰位置結合以產生指向向量，並預設該視線與觸碰指向眼睛注視的目標物位置可能具有一誤差，因此將位於該指向向量所指向位置周圍一誤差內的範圍作為指向範圍。

在步驟S308中，若判斷所追蹤的目標物出現在指向範圍內，處理器25將會在透明顯示器23上預載顯示出現在指向範圍內的目標物的物件資訊（步驟S310）。反之，處理器25將不會顯示物件資訊（步驟S312）。詳言之，處理器25例如會偵測使用者與透明顯示器23的相對位置，並根據此相對位置以及所追蹤各目標物的移動速度，預估適於使用者觀看移動中各個目標物的物件資訊的資訊顯示區，從而在透明顯示器23上所預估的資訊顯示區中預載顯示出現在指向範圍內的目標物的物件資訊。

在一實施例中，若使用者相對於透明顯示器23並未移動，則處理器25可預估從偵測到使用者對透明顯示器23的指向操作（例如注視透明顯示器23或手指觸碰透明顯示器23）開始，經過偵測指向範圍、判斷出現在指向範圍內的目標物、取得該目標物的物件資訊，直到在透明顯示器23上顯示物件資訊所需的時間，將此時間乘上目標物的移動速度，可獲得該目標物在此時間內於透明顯示器23上的移動距離，從而預估適於在移動後目標物周圍顯示其物件資訊的優化資訊顯示區，並在該優化資訊顯示區中顯示該目標物的物件資訊。

在一實施例中，若使用者相對於透明顯示器23有移動，處理器25除了需要考量目標物移動所造成的優化資訊顯示區的變動外，也需要考慮使用者的移動對於優化資訊顯示區位置的影響。其中，處理器25例如會偵測使用者與透明顯示器23的相對位置的變化以預估使用者的移動速度。然後，類似於上述針對目標物移動速度的處理方式，處理器25可將取得並顯示目標物的物件資訊所需的時間乘上使用者的移動速度，以獲得目標物相對於使用者在此時間內於透明顯示器23上的移動距離，從而預估適於在移動後目標物周圍顯示其物件資訊的優化資訊顯示區，並在該優化資訊顯示區中顯示該目標物的物件資訊。

在一實施例中，上述對於目標物的追蹤例如會持續到目標物離開透明顯示器23的顯示範圍，或是目標物的速度減慢至預設速度以下停止追蹤。另一方面，本發明一實施例的預載顯示裝置在追蹤當前目標物時，亦可持續判斷是否有新的目標物出現，並在判斷有新的目標物進入透明顯示器23顯示範圍的邊緣或是出現在顯示範圍中時，即執行上述的目標物辨識及追蹤，並記錄辨識結果及相關物件資訊，以備後續預載顯示之用。

在一實施例中，處理器25例如可應用多個執行緒（thread）對上述目標物的預辨識及追蹤、指向範圍的判斷以及目標物資訊的預載顯示等程序進行平行處理，藉此提升系統效能。舉例來說，處理器25可應用第一執行緒對複數目標物與使用者進行辨識；應用第二執行緒對複數目標物與使用者視線進行追蹤，並對目標物和使用者視線進行映射（Mapping）及/或匹配（Matching）；以及利用第三執行緒對複數目標物與使用者資訊進行儲存裝置24的預載及顯示。藉此，本實施例的預載顯示裝置20將可支援複數目標物及複數使用者等需大量運算之情境。

藉由上述目標物的預辨識及追蹤，並結合物件資訊的預載顯示，可縮小因辨識所造成的螢幕顯示差距，所述螢幕顯示差距係指根據各個目標物的移動速度及辨識各目標物所需的辨識時間，預估各目標物在此辨識時間內的移動距離。而提高顯示效率。此外，在一實施例中，出現在透明顯示器23中的目標物皆經過預辨識，即便這些目標物在移動後彼此重疊，預載顯示裝置20仍可分別顯示其物件資訊，可不受到重疊的影響。

本發明的一實施例考慮到對目標物進行預辨識及追蹤需要耗費運算成本，針對上述預辨識的步驟可額外制定一個動態判斷關係式，藉由判斷因系統處理時間所造成的螢幕顯示差距對於物件資訊顯示範圍的影響程度，決定是否針對目標物進行預辨識及追蹤。藉此，可確保在不過於影響使用經驗的同時，減少運算資源的耗費。

圖4是依照本發明一實施例所繪示之預載顯示的動態判斷方法的流程圖。請同時參照圖2、圖3及圖4，本實施例的方法可適用於圖3的步驟S304之前，用以決定是否執行步驟S304之後的預辨識及追蹤流程。以下即搭配目標物資訊的預載顯示裝置20中的各項元件說明本發明一實施例之預載顯示的動態判斷方法的詳細步驟。

首先，由處理器25偵測第一資訊擷取裝置22所擷取的外部目標物資訊中各目標物的輪廓及移動速度，產生可涵蓋各個目標物的輪廓的物體框（步驟S402）。在一實施例中，處理器25例如可執行輪廓辨識演算法偵測出現在影像中的各個目標物的輪廓，並藉由找出可涵蓋目標物輪廓的最小矩形作為該目標物的物體框。在其他實施例中，物體框也可視需要使用其他形狀或大小的區域來定義，在此不設限。此外，處理器25例如可利用第一資訊擷取裝置22擷取多張外部目標物資訊，根據目標物在這些影像中的移動距離算出移動速度，或是利用其他感測器感測目標物的移動速度，在此亦不設限。

然後，處理器25可根據各個目標物的移動速度及辨識各目標物所需的辨識時間，預估各目標物在此辨識時間內的移動距離以作為螢幕顯示差距（步驟S404）。其中，處理器25例如會計算目標物在影像中的移動速度（即在第一資訊擷取裝置22的感光元件中的移動速度），並將該移動速度乘上目標物的辨識時間，以獲得目標物在辨識期間的移動距離。處理器25再將此移動距離乘上透明顯示器23的螢幕尺寸與第一資訊擷取裝置22的感光元件尺寸的比值，以獲得執行辨識所造成的螢幕顯示差距。

最後，處理器25會根據出現在使用者視線範圍內的各個目標物的螢幕顯示差距與其物體框的尺寸之間的關係，決定是否對該目標物進行預辨識及追蹤（步驟S406）。在一實施例中，當所預估目標物的螢幕顯示差距大於該目標物的物體框在目標物的移動方向上寬度的倍數時，處理器25會決定對此目標物進行預辨識及追蹤。反之，處理器25將不會對該目標物進行預辨識及追蹤。上述的倍數例如為大於1的任意數。

舉例來說，圖5A至圖5C是依照本發明一實施例所繪示之預載顯示的動態判斷方法的範例。本實施例係假設出現在透明顯示器上的目標物50是以時速60公里向左移動，其物體框50f的寬度W為50公分，而辨識目標物50約需花費265毫秒。本實施例是以目標物50的物體框50f在目標物50的移動方向上的寬度的1倍（即W）為例，作為決定是否對目標物50進行預辨識及追蹤的閥值。即，當所計算的螢幕顯示差距大於此閥值時，才會對目標物50進行預辨識及追蹤。

其中，按照目標物50的移動速度，若預估螢幕顯示差距在0~W/2之間（如圖5A中的物件資訊顯示框52的位置（以中心點為準）），可判定所顯示的物件資訊落在較佳的顯示範圍內，因此無需對該目標物50進行預辨識；若預估螢幕顯示差距在W/2~W之間（如圖5B中的物件資訊顯示框54的位置），可判定所顯示的物件資訊落在普通但可接受的顯示範圍內，因此也無需對該目標物50進行預辨識；若預估螢幕顯示差距超過W（如圖5C中的物件資訊顯示框52的位置），可判定所顯示的物件資訊落在不良的顯示範圍內，因此需要對該目標物50進行預辨識，以解決處理時間所造成的顯示差距過大的問題。

另一方面，上述用以決定是否針對目標物進行預辨識及追蹤的動態判斷關係式亦可依目標物的移動速度與人眼視力解析度的關係來定義。詳言之，本發明一實施例的預載顯示裝置20例如可偵測目標物相對於使用者的移動角速度r_ob ，並根據辨識各目標物所需的辨識時間T與移動角速度r_ob 的乘積是否大於等於使用者的視力解析度θ_eye ，決定是否對目標物進行預辨識及追蹤。其中，當判斷上述辨識時間T與移動角速度r_ob 的乘積大於等於使用者的視力解析度θ_eye （即

）時，即可決定對該目標物50進行預辨識及追蹤。反之，則不進行預辨識及追蹤。

本發明的一實施例在判斷有目標物出現於使用者的指向範圍內，而準備預載顯示目標物的物件資訊之前，執行類似於上述實施例的動態判斷關係式的判斷。其中，本發明一實施例的預載顯示裝置20是在預估目標物的優化資訊顯示區之後，額外預估該目標物的螢幕顯示差距，並判斷所預估的螢幕顯示差距與目標物的物體框尺寸之間的關係，以決定是否在該優化資訊顯示區上顯示目標物的物件資訊。例如，在螢幕顯示差距小於物體框在目標物移動方向上的1倍寬度時，可決定在優化資訊顯示區上顯示目標物的物件資訊。所述的螢幕顯示差距例如是優化資訊顯示區與移動後目標物的物體框之間的差距，在此不設限。

本發明的一實施例是在對目標物進行辨識的過程中，即根據辨識結果，判斷各目標物的移動速度，並據以決定是否對該目標物進行追蹤。詳言之，在目標物的移動速度較慢（例如不超過預設速度）的情況下，可預知即便對目標物進行辨識需要花費時間，但因辨識所造成的螢幕顯示差距不大，此時可決定不對該目標物進行追蹤以節省運算資源。而在目標物的移動速度較快（例如超過預設速度）的情況下，因辨識造成的螢幕顯示差距會使所顯示的物件資訊落在不良的顯示範圍內，此時可決定對該目標物進行追蹤，以避免發生顯示差距過大的情況。

本發明的一實施例可在辨識目標物時，也取得目標物的顯示資訊、像素座標、背景灰度或背景色彩度或上述資訊的組合，並記錄在儲存裝置24的資料庫中，待後續需要顯示目標物資訊時，即可參考這些資訊，決定較佳的方式（字體大小、顏色、亮度等）來顯示目標物資訊。

圖6是依照本發明一實施例所繪示之目標物資訊的預載顯示方法的流程圖。請同時參照圖2及圖6，本實施例的方法可適用於圖2的目標物資訊的預載顯示裝置20，以下即搭配目標物資訊的預載顯示裝置20中的各項元件說明本發明實施例之目標物資訊的預載顯示方法的詳細步驟。

首先，由處理器25利用第一資訊擷取裝置22擷取透明顯示器23相對於使用者另一側的外部目標物資訊（步驟S602），並預辨識外部目標物資訊中的至少一個目標物（步驟S604）。上述步驟S602~S604與前述實施例的步驟S302~S304相同或相似，故其詳細內容在此不再贅述。

在本實施例中，處理器25在辨識目標物的過程中，除了可根據辨識結果取得目標物的物件資訊，還可從辨識結果中取得目標物的像素座標、背景灰度或背景色彩度等顯示資訊，從而將物件資訊及這些顯示資訊儲存於資料庫（步驟S606）。

接著，處理器25會根據辨識結果追蹤目標物（步驟S608），且第二資訊擷取裝置擷取使用者資訊，以偵測使用者對於透明顯示器23之指向範圍（步驟S610），並判斷所追蹤的目標物是否出現在指向範圍內（步驟S612）。上述步驟S608~S612與前述實施例的步驟S304~S308相同或相似，故其詳細內容在此不再贅述。

其中，若判斷所追蹤的目標物出現在指向範圍內，處理器25將在透明顯示器23上預載顯示出現在指向範圍內的目標物的物件資訊。其中，處理器25例如會先預估適於在移動此移動距離後的目標物周圍顯示其物件資訊的優化資訊顯示區（步驟S614），並根據先前記錄的目標物的像素座標、背景灰度或背景色彩度等顯示資訊，決定目標物的物件資訊的顯示方式（步驟S616），最後才在優化資訊顯示區中以所決定的顯示方式顯示目標物的物件資訊（步驟S618）。另一方面，若判斷所追蹤的目標物未出現在指向範圍內，處理器25將不會顯示物件資訊（步驟S620）。

藉由上述方法，除了可在優化的資訊顯示區顯示物件資訊，也可以較佳的顯示方式顯示物件資訊，而實現物件資訊的優化顯示。

本發明的一實施例是以使用者對於目標物的專注度來決定追蹤該目標物的追蹤頻率，當預載顯示裝置20測得使用者的視線穩定追隨於一目標物附近時，預載顯示裝置20可加快取像幀率（Frame per second，FPS），以獲得充分的目標物動態位置和資訊，反之則減少取像幀率，減少系統資源負擔。

詳言之，人眼專注凝視約需100-350毫秒以獲取足夠的畫面訊息，若只是掃視而不專注，則由於視覺暫留，人眼不會明顯感受到畫面不連續的最低閃爍頻率為16fps，若閃爍頻率是位於較高的50Hz至90Hz時，使用者都會認為是穩定的。在本實施例中，相機取像是為了提供座標，並非是要直接顯示給使用者看，可在有需要時，才增加取像幀率以提供人眼更即時的資訊。

圖7是依照本發明一實施例所繪示之目標物資訊的預載顯示方法的流程圖。請同時參照圖2及圖7，本實施例的方法可適用於圖2的目標物資訊的預載顯示裝置20，以下即搭配目標物資訊的預載顯示裝置20中的各項元件說明本發明實施例之目標物資訊的預載顯示方法的詳細步驟。

首先，由處理器25利用第一資訊擷取裝置22擷取透明顯示器23相對於使用者另一側的外部目標物資訊（步驟S702），並預辨識外部目標物資訊中的至少一個目標物（步驟S704）。上述步驟S702~S704與前述實施例的步驟S302~S304相同或相似，故其詳細內容在此不再贅述。

在本實施例中，處理器25在辨識目標物時，可判斷外部目標物資訊中是否存在目標物（步驟S706）。若判斷存在目標物，處理器25可偵測使用者觀看透明顯示器23之視線，累計視線停留在透明顯示器23上的時間（步驟S708），並判斷累計時間是否超過預設時間（步驟S710）。

當判斷累計時間超過預設時間時，處理器25可增加第一資訊擷取裝置22擷取外部目標物資訊的幀率（步驟S712），並回到步驟S702，由處理器25控制物件辨識定位裝置22以增加後的幀率擷取外部目標物資訊。其中，處理器25例如是將第一資訊擷取裝置22擷取外部目標物資訊的幀率由16fps增加至30fps，但不限於此。

另一方面，若在步驟S706中處理器25判斷外部目標物資訊不存在目標物，或是在步驟S710中處理器25判斷累計時間未超過預設時間，則回到步驟S702，由處理器25控制第一資訊擷取裝置22以原本的幀率擷取外部目標物資訊。

在一實施例中，處理器在增加第一資訊擷取裝置22擷取外部目標物資訊的幀率之後，例如可持續判斷目標物是否離開（即外部目標物資訊中不存在目標物）及/或使用者的視線是否離開（即累計視線停留時間不超過預設時間），並累計上述情況發生的次數或時間，以在所累計的次數或時間超過預設閥值時，適時將所增加的幀率調整回原本的幀率，以減少運算資源的負擔。

[其他實施例]

在一實施例中，預載顯示裝置20在辨識影像中的目標物之後，例如可根據各目標物與透明顯示器23之間的相對位置，判斷位於透明顯示器23前方的使用者可看到該目標物的位置範圍，從而在判斷有使用者進入該位置範圍時，即針對該目標物進行追蹤以支援預載顯示。相對地，預載顯示裝置20也可在判斷有使用者觀看透明顯示器23（例如出現在第二資訊擷取裝置21所擷取的影像中）時，根據該使用者與透明顯示器23之間的相對位置，判斷使用者可看到的位於透明顯示器23相對於使用者另一側的位置範圍，從而在判斷有目標物進入該位置範圍時，即針對該目標物進行追蹤以支援預載顯示。

在一實施例中，預載顯示裝置20可配置兩個以上的第二資訊擷取裝置21（例如在透明顯示器兩側配置相機），以追蹤使用者的指向範圍，並可配置兩個以上的第一資訊擷取裝置22，以取得大於使用者視野的影像，並可由至少兩個角度的影像，建立目標物的三維空間座標及旋轉角度，以輔助後續對於目標物的追蹤及其物件資訊的預載顯示。舉例來說，根據已知的相機視角、物體的原始特徵點尺寸，可藉由抓取影像中一物件的兩組不同位置特徵點的尺寸，根據不同位置的尺寸比例，計算旋轉角度，回推正向尺寸因距離產生的縮小，計算出物體距離。

在一實施例中，預載顯示裝置20例如會針對移動較快的目標物辨識其尺寸，並在目標物尺寸大於預設尺寸時，藉由追蹤其移動路徑，從而在其移動路徑上的固定位置預載顯示物件資訊，藉此可避免因顯示資訊隨目標物快速移動，而造成使用者眼睛的不適感。

本發明一實施例的目標物資訊的預載顯示方法及裝置，藉由對位於透明顯示器相對於使用者另一側的目標物進行預辨識及追蹤，並將辨識資訊暫存於儲存裝置，當有使用者對該目標物觸發指向行為時，預載顯示裝置即可從儲存裝置中預載並顯示物件資訊，從而減少因辨識目標物所造成的顯示差距。藉此，可縮短透明顯示器的反應時間並提高顯示效率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。

10、50:目標物10a、52、54、56:物件資訊10f、10f’、50f:物體框20:目標物資訊的預載顯示裝置21:第二資訊擷取裝置22:第一資訊擷取裝置23:透明顯示器24:儲存裝置25:處理器W:物體框寬度S302~S312、S402~S406、S602~S620、S702~S712:步驟

圖1A與圖1B是習知顯示目標物資訊的示意圖。圖2是依照本發明一實施例所繪示之目標物資訊的預載顯示裝置的方塊圖。圖3是依照本發明一實施例所繪示之目標物資訊的預載顯示方法的流程圖。圖4是依照本發明一實施例所繪示之預載顯示的動態判斷方法的流程圖。圖5A至圖5C是依照本發明一實施例所繪示之預載顯示的動態判斷方法的範例。圖6是依照本發明一實施例所繪示之目標物資訊的預載顯示方法的流程圖。圖7是依照本發明一實施例所繪示之目標物資訊的預載顯示方法的流程圖。

S302~S312:步驟

Claims

一種目標物資訊的預載顯示方法，包括下列步驟：利用第一資訊擷取裝置擷取透明顯示器相對於使用者所在一側的另一側的外部目標物資訊，其中所述外部目標物資訊包括至少一目標物的影像資訊或定位資訊；預辨識所述外部目標物資訊中的所述至少一目標物，並根據辨識結果追蹤所述目標物；利用第二資訊擷取裝置擷取所述使用者的資訊，以偵測使用者對於所述透明顯示器之指向範圍，並判斷所追蹤的所述目標物是否出現在所述指向範圍內，其中所述使用者的資訊包括所述使用者的影像或眼球角度，且所述指向範圍包括所述使用者觀看所述透明顯示器的視線範圍或所述使用者的眼球位置與所述使用者在所述透明顯示器上的觸碰位置形成的指向向量所指向的範圍；以及預載顯示出現在所述指向範圍內的所述目標物的物件資訊於所述透明顯示器。
如申請專利範圍第1項所述的方法，其中所述指向範圍包括由影像感測器偵測視線方向、遙控器指向方向、觸控和眼球投影方向其中之一的指向行為獲得。
如申請專利範圍第1項所述的方法，其中預載顯示出現在所述指向範圍內的所述目標物的物件資訊於所述透明顯示器的步驟包括：偵測所述使用者與所述透明顯示器的相對位置；根據所述相對位置以及所追蹤的各所述目標物的移動速度，預估適於所述使用者觀看移動中的各所述目標物的所述物件資訊的資訊顯示區；以及預載顯示出現在所述指向範圍內的所述目標物的所述物件資訊於所預估的所述資訊顯示區。
如申請專利範圍第3項所述的方法，其中預載顯示出現在所述指向範圍內的所述目標物的所述物件資訊於所預估的所述資訊顯示區的步驟包括：偵測所述外部目標物資訊中各所述目標物的輪廓及移動速度，並產生可涵蓋各所述目標物輪廓的物體框；根據各所述目標物的所述移動速度及辨識各所述目標物所需的辨識時間，預估各所述目標物在所述辨識時間內的移動距離以作為螢幕顯示差距；以及根據出現在所述視線範圍內的各所述目標物的所述螢幕顯示差距與所述物體框的尺寸之間的關係，決定是否顯示該目標物的所述物件資訊。
如申請專利範圍第1項所述的方法，其中在所述預辨識所述外部目標物資訊中的所述目標物，並根據辨識結果追蹤所述目標物的步驟之前，所述方法更包括：偵測所述外部目標物資訊中各所述目標物的輪廓及移動速度，並產生可涵蓋各所述目標物輪廓的物體框；根據各所述目標物的所述移動速度及辨識各所述目標物所需的辨識時間，預估各所述目標物在所述辨識時間內的移動距離以作為螢幕顯示差距；以及根據各所述目標物的所述螢幕顯示差距與所述物體框的尺寸之間的關係，決定是否對該目標物進行預辨識及追蹤。
如申請專利範圍第5項所述的方法，其中在根據各所述目標物的所述螢幕顯示差距與所述物體框的尺寸之間的關係，決定是否對該目標物進行辨識及追蹤的步驟包括：當該目標物的所述螢幕顯示差距大於所述物體框在該目標物的移動方向上寬度的倍數時，決定對該目標物進行預辨識及追蹤，所述倍數為大於1的任意數。
如申請專利範圍第1項所述的方法，其中在所述預辨識所述外部目標物資訊中的所述目標物，並根據辨識結果追蹤所述目標物的步驟之前，所述方法更包括：偵測所述目標物相對於所述使用者的移動角速度；以及根據辨識各所述目標物所需的辨識時間與所述移動角速度的乘積是否大於等於所述使用者的視力解析度，決定是否對該目標物進行預辨識及追蹤。
如申請專利範圍第1項所述的方法，其中在所述預辨識所述外部目標物資訊中的所述目標物的步驟之後，更包括：根據所述辨識結果取得所述目標物的所述物件資訊及顯示資訊，並記錄所述物件資訊及所述顯示資訊於資料庫，其中所述預載顯示出現在所述指向範圍內的所述目標物的所述物件資訊於所述透明顯示器的步驟包括：讀取記錄於所述資料庫中的所述顯示資訊及所述物件資訊，根據所讀取的所述顯示資訊決定所述物件資訊的顯示方式，並用以顯示所讀取的所述物件資訊。
如申請專利範圍第1項所述的方法，其中根據所述辨識結果追蹤所述目標物的步驟包括：根據所述辨識結果，判斷各所述目標物的移動速度是否超過預設速度；若該目標物的所述移動速度超過所述預設速度，對該目標物進行追蹤；以及若該目標物的所述移動速度不超過所述預設速度，不對該目標物進行追蹤。
如申請專利範圍第1項所述的方法，其中預辨識所述外部目標物資訊中的至少一目標物，並根據辨識結果追蹤所述目標物的步驟更包括：判斷所述外部目標物資訊中是否存在所述目標物；若存在所述目標物，偵測所述使用者觀看所述透明顯示器之視線，累計所述視線停留在所述透明顯示器上的時間，並判斷所述時間是否超過預設時間；以及當所述時間超過所述預設時間時，增加所述第一資訊擷取裝置擷取所述外部目標物資訊的幀率(Frame per second，FPS)。
一種目標物資訊的預載顯示裝置，包括：透明顯示器；觸控面板，偵測使用者在所述透明顯示器上的觸碰；第一資訊擷取裝置，擷取所述透明顯示器相對於觀看所述透明顯示器的所述使用者所在一側的另一側的外部目標物資訊，其中所述外部目標物資訊包括至少一目標物的影像資訊或定位資訊；第二資訊擷取裝置，擷取所述使用者的資訊；以及處理器，耦接所述透明顯示器、所述第一資訊擷取裝置及所述第二資訊擷取裝置，載入並執行多個程式指令以：預辨識所述外部目標物資訊中的所述至少一目標物，並根據辨識結果追蹤所述目標物；利用所述使用者資訊偵測所述使用者對於所述透明顯示器之指向範圍，並判斷所追蹤的所述目標物是否出現在所述指向範圍內，其中所述使用者的資訊包括所述使用者的影像或眼球角度，且所述指向範圍包括所述使用者觀看所述透明顯示器的視線範圍或所述使用者的眼球位置與所述使用者在所述透明顯示器上的觸碰位置形成的指向向量所指向的範圍；以及預載顯示出現在所述指向範圍內的所述目標物的物件資訊於所述透明顯示器。
如申請專利範圍第11項所述的預載顯示裝置，其中所述處理器更偵測所述使用者與所述透明顯示器的相對位置，並根據所述相對位置以及所追蹤的各所述目標物的移動速度，預估適於所述使用者觀看移動中的各所述目標物的所述物件資訊的資訊顯示區，以及預載顯示出現在所述指向範圍內的所述目標物的所述物件資訊於所預估的所述資訊顯示區。
如申請專利範圍第12項所述的預載顯示裝置，其中所述處理器更包括：偵測所述外部目標物資訊中各所述目標物的輪廓及移動速度，並產生可涵蓋各所述目標物輪廓的物體框；根據各所述目標物的所述移動速度及辨識各所述目標物所需的辨識時間，預估各所述目標物在所述辨識時間內的移動距離以作為螢幕顯示差距；以及根據出現在所述視線範圍內的各所述目標物的所述螢幕顯示差距與所述物體框的尺寸之間的關係，決定是否顯示該目標物的所述物件資訊。
如申請專利範圍第11項所述的預載顯示裝置，其中所述處理器更包括：偵測所述外部目標物資訊中各所述目標物的輪廓及移動速度，並產生可涵蓋各所述目標物輪廓的物體框；根據各所述目標物的所述移動速度及辨識各所述目標物所需的辨識時間，預估各所述目標物在所述辨識時間內的移動距離以作為螢幕顯示差距；以及根據各所述目標物的所述螢幕顯示差距與所述物體框的尺寸之間的關係，決定是否對該目標物進行預辨識及追蹤。
如申請專利範圍第14項所述的預載顯示裝置，其中所述處理器包括在該目標物的所述螢幕顯示差距大於所述物體框在該目標物的移動方向上寬度的倍數時，決定對該目標物進行預辨識及追蹤，所述倍數為大於1的任意數。
如申請專利範圍第11項所述的預載顯示裝置，其中所述處理器更包括：偵測所述目標物相對於所述使用者的移動角速度；以及根據辨識各所述目標物所需的辨識時間與所述移動角速度的乘積是否大於等於所述使用者的視力解析度，決定是否對該目標物進行預辨識及追蹤。
如申請專利範圍第11項所述的預載顯示裝置，其中所述處理器更包括：根據所述辨識結果取得所述目標物的所述物件資訊及顯示資訊，並記錄所述物件資訊及所述顯示資訊於資料庫，其中所述預載顯示出現在所述指向範圍內的所述目標物的所述物件資訊於所述透明顯示器的步驟包括：讀取記錄於所述資料庫中的所述顯示資訊及所述物件資訊根據所讀取的所述顯示資訊決定所述物件資訊的顯示方式，並用以顯示所讀取的所述物件資訊。
如申請專利範圍第11項所述的預載顯示裝置，其中所述處理器包括：根據所述辨識結果，判斷各所述目標物的移動速度是否超過預設速度；若該目標物的所述移動速度超過所述預設速度，對該目標物進行追蹤；以及若該目標物的所述移動速度不超過所述預設速度，不對該目標物進行追蹤。
如申請專利範圍第11項所述的預載顯示裝置，其中所述處理器更包括：判斷所述外部目標物資訊中是否存在所述目標物；若存在所述目標物，偵測所述使用者觀看所述透明顯示器之視線，累計所述視線停留在所述透明顯示器上的時間，並判斷所述時間是否超過預設時間；以及當所述時間超過所述預設時間時，增加所述第一資訊擷取裝置擷取所述外部目標物資訊的幀率。