TWI832657B

TWI832657B - 資訊顯示方法及其處理裝置與資訊顯示系統

Info

Publication number: TWI832657B
Application number: TW112100414A
Authority: TW
Inventors: 蘇育萱; 陳信宏; 鄭莛薰; 趙玉如; 鍾啓文; 杜佳勳
Original assignee: 財團法人工業技術研究院
Filing date: 2023-01-05
Publication date: 2024-02-11

Abstract

一種資訊顯示方法及其處理裝置與資訊顯示系統。此資訊顯示系統安裝於移動載具上，並包括可透光顯示器、影像擷取裝置、定位裝置以及處理裝置。影像擷取裝置用以擷取一目標物的目標物影像。定位裝置用以產生移動載具的位置資訊。處理裝置經配置以執行下列操作。根據移動載具的位置資訊計算目標物的第一參考位置資訊。對目標物影像進行物件辨識處理。根據物件辨識處理的辨識結果，使用物件辨識處理的辨識結果或第一參考位置資訊來決定目標物的虛擬資訊的顯示位置。透過可透光顯示器根據虛擬資訊的顯示位置顯示虛擬資訊。

Description

資訊顯示方法及其處理裝置與資訊顯示系統

本發明是有關於一種資訊顯示技術。

隨著影像處理技術與空間定位技術的發展，透明顯示器的擴增實境應用已逐漸受到重視。此類的技術可讓透明顯示器搭配實體物件，再輔以顯示虛擬資訊，並且依照使用者的需求來產生互動式的體驗，可使資訊以更為直觀的方式呈現。進一步來說，關聯於實體物件的虛擬資訊可顯示於透明顯示器的特定位置上，讓使用者可透過透明顯示器同時觀看到實體物件與疊加於實體物件上或一側的虛擬資訊。

於一種擴增實境結合移動載具的應用情境中，透明顯示器可作為移動載具上的窗屏，移動載具的搭乘者可同時觀看外部景觀以及透明顯示器提供的景觀資訊。可知的，搭乘者會隨著移動載具而有所移動，因此實體物件相對於搭乘者的相對位置與搭乘者的觀看視野也會隨之變動。若要將虛擬資訊顯示於理想位置上而讓搭乘者可直觀地對照實體物件觀看虛擬資訊，精準地估測出實體物件相對於移動載具或/與使用者的相對位置關係是一個重要關鍵。以單一定位技術（例如GPS定位技術或影像定位技術）來獲取實體物件相對於移動載具或使用者的相對位置關係，可能存在影像辨識錯誤、定位精度不理想或樣本數不足等等問題，而可能產生疊合誤差的情況，導致閱讀虛擬資訊的困難度與不適。

本揭露提供一種資訊顯示方法及其處理裝置與資訊顯示系統。

在本揭露的一範例實施例中，上述的資訊顯示系統安裝於一移動載具上，並包括可透光顯示器、影像擷取裝置、定位裝置以及處理裝置。處理裝置可連接於可透光顯示器、影像擷取裝置以及定位裝置。影像擷取裝置用以擷取目標物的目標物影像。定位裝置用以產生移動載具的位置資訊。處理裝置經配置以執行下列操作：根據移動載具的位置資訊計算目標物的第一參考位置資訊。對目標物影像進行物件辨識處理。根據物件辨識處理的辨識結果，使用物件辨識處理的辨識結果或第一參考位置資訊來決定目標物的虛擬資訊的顯示位置。透過可透光顯示器根據虛擬資訊的顯示位置顯示虛擬資訊。

在本揭露的一範例實施例中，上述的資訊顯示方法適用於具有可透光顯示器、影像擷取裝置、定位裝置以及處理裝置的資訊顯示系統。資訊顯示系統安裝於移動載具，並且資訊顯示方法包括下列步驟：利用影像擷取裝置擷取目標物的目標物影像。利用定位裝置產生移動載具的位置資訊。根據移動載具的位置資訊計算目標物的第一參考位置資訊。對目標物影像進行物件辨識處理。根據物件辨識處理的辨識結果，使用物件辨識處理的辨識結果或第一參考位置資訊來決定目標物的虛擬資訊的顯示位置。透過可透光顯示器根據虛擬資訊的顯示位置顯示虛擬資訊。

在本揭露的一範例實施例中，上述的處理裝置安裝於移動載具上，並連接於可透光顯示器、影像擷取裝置以及定位裝置。影像擷取裝置用以擷取目標物的目標物影像，定位裝置用以產生移動載具的位置資訊。處理裝置包括記憶體與連接記憶體的處理器。記憶體用以儲存資料，而處理器經配置以執行下列步驟：根據移動載具的位置資訊計算目標物的第一參考位置資訊。對目標物影像進行物件辨識處理。根據物件辨識處理的辨識結果，使用物件辨識處理的辨識結果或第一參考位置資訊來決定目標物的虛擬資訊的顯示位置。透過可透光顯示器根據虛擬資訊的顯示位置顯示虛擬資訊。

為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本揭露的部份範例實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些範例實施例僅為本揭露的專利申請範圍中的方法、裝置以及系統的範例。

圖1A是根據本揭露一範例實施例所繪示的資訊顯示系統的方塊圖。首先，圖1A先介紹系統中的各個構件以及配置關係，詳細功能將配合後續範例實施例的流程圖一併揭露。

請參照圖1A，本範例實施例中的資訊顯示系統100可安裝於移動載具上。此移動載具可以是交通工具或娛樂機台等等，例如纜車、汽車、遊覽車、船隻或飛機等等。資訊顯示系統100可包括可透光顯示器110、影像擷取裝置120、定位裝置130以及處理裝置150。在一實施例中，資訊顯示系統100可更包括資訊擷取裝置140。處理裝置150可以是以無線、有線或電性連接於可透光顯示器110、影像擷取裝置120、定位裝置130以及資訊擷取裝置140。

可透光顯示器110可用以顯示資訊，其包括例如是液晶顯示器（Liquid crystal display，LCD）、場色序（Field sequential color）液晶顯示器、發光二極體（Light emitting diode，LED）顯示器、電濕潤顯示器等穿透式可透光顯示器，或者是投影式可透光顯示器。可透光顯示器110可以實作為移動載具的窗屏。移動載具內的使用者可透過可透光顯示器110觀看移動載具的外部場景，而使用者所觀看到的內容可為包括疊加虛擬資訊的外部場景。

影像擷取裝置120用以擷取位於移動載具外部目標物的目標物影像。換言之，影像擷取裝置120可拍攝移動載具外的實體場景中的目標物而獲取目標物影像。影像擷取裝置120可以例如是至少一個影像感測器或者是至少一個影像感測器搭配至少一個深度感測器來對目標物進行影像辨識定位，其中影像感測器可包括可見光感測器或非可見光感測器如紅外線感測器等。

定位裝置130用以產生移動載具的位置資訊。定位裝置130可以例如是GPS定位器、電羅經（Gyro compass）、磁羅經（Magnetic compass）、電子羅盤、高度感測計或是慣性感測器等等。慣性感測器例如是加速度感測器或陀螺儀等等。只要是可以提供出移動載具的空間位置資訊與移動方向資訊的裝置或其組合，皆屬於定位裝置130的範疇。像是，定位裝置130可用以提供移動載具的GPS資訊、方位資訊及/或傾斜資訊等等給處理裝置150。

資訊擷取裝置140用以擷取使用者的空間位置資訊。資訊擷取裝置140可以例如是至少一個影像感測器或者是至少一個影像感測器搭配至少一個深度感測器來對使用者進行影像辨識定位，其中影像感測器可包括可見光感測器或非可見光感測器如紅外線感測器等。此外，資訊擷取裝置140更可以例如是光學定位器來對使用者進行光學空間定位。只要是可以定位出使用者所在位置資訊的裝置或其組合，皆屬於資訊擷取裝置140的範疇。

於本揭露實施例中，上述的影像感測器可用以擷取影像，並且包括具有透鏡以及感光元件的攝像鏡頭。上述的深度感測器可用以偵測深度資訊，其可以利用主動式深度感測技術以及被動式深度感測技術來實現。主動式深度感測技術可藉由主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術來計算深度資訊。被動式深度感測技術可以藉由兩個影像感測器以不同視角擷取其前方的兩張影像，並利用兩張影像的視差來計算深度資訊。

處理裝置150用以控制資訊顯示系統100的作動，其可包括記憶體151以及處理器152。於一些實施例中，處理裝置150可以是一或多台計算機裝置的組合，本揭露對此不限制。當處理裝置150實施為多台計算機裝置，這些計算機裝置可以彼此連接與通訊。

記憶體151可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。處理器152可以例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。

圖1B是根據本揭露一範例實施例所繪示的資訊顯示系統的示意圖。請參照圖1B，可透光顯示器110例如可實作為移動載具（例如船隻）的窗屏，且可透光顯示器110可由一或多個可透光顯示裝置組成。為了方便且清楚說明，圖1B以2個可透光顯示裝置為範例進行說明，但本揭露不限制於此。

移動載具內的使用者U1與移動載具外的目標物Obj1分別位於可透光顯示器110的不同側。使用者U1可透過可透光顯示器110觀看疊加有目標物Obj1的虛擬資訊Vf1的實體場景。目標物Obj1例如是建築物、地景或動植物等等。虛擬資訊Vf1可視為基於目標物Obj1而擴增的擴增實境內容。影像擷取裝置120可朝目標物Obj1擷取目標物影像。資訊擷取裝置140可朝使用者U1擷取使用者影像，以進一步獲取使用者U1的空間位置資訊。處理裝置150可根據影像擷取裝置120、定位裝置130以及資訊擷取裝置140分別提供的資訊來決定虛擬資訊Vf1於顯示器110上的顯示位置。以下範例實施例中將搭配顯示系統100的各元件來說明處理裝置150執行資訊顯示方法流程的細節。

圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖，請同時參照圖1A、圖1B以及圖2，而圖2的方法流程可由圖1A與圖1B的資訊顯示系統100來實現。在此，移動載具內的使用者U1可透過資訊顯示系統100的可透光顯示器110來觀看移動載具的外部實體場景及其相關的虛擬資訊。

於步驟S202，處理裝置150利用定位裝置130產生移動載具的位置資訊。具體而言，定位裝置130可產生移動載具的絕對位置資訊，例如GPS位置或高度資訊等等。此外，定位裝置130也可產生移動載具之移動方向的絕對方位資訊，例如相對於世界座標系中的北方的絕對方位角度或絕對方位。定位裝置130也可產生移動載具的三軸運動角，其可包括俯仰角（pitch）、偏航角（yaw），以及滾轉角（roll）。

於步驟S204，處理裝置150根據移動載具的位置資訊計算目標物Obj1的第一參考位置資訊。第一參考位置資訊為與目標物Obj1與移動載具之間的相對位置關係有關的資訊，其可用以決定與目標物Obj1的虛擬資訊Vf1可透光顯示器110上的顯示位置。於一些實施例中，第一參考位置資訊包括可透光顯示器110上的第一顯示位置座標。亦即，第一參考位置資訊可以是基於目標物Obj1與移動載具之間的相對位置關係而計算出來的可透光顯示器110上的顯示位置座標。或者，於一些實施例中，第一參考位置資訊即為目標物Obj1與移動載具之間的相對位置關係。例如，第一參考位置資訊可以是移動載具的移動方向與目標物Obj1相對於移動載具的方向之間的相對夾角。

於一些實施例中，處理裝置150可根據移動載具的位置資訊與移動方向、絕對方位（例如世界座標系的北方）與目標物Obj1的絕對位置資訊，獲取目標物Obj1相對於移動載具的相對夾角。其中，目標物的絕對位置資訊可記錄於物件資訊資料庫。此物件資訊資料庫記錄例如多個預設目標物的絕對位置資訊（例如GPS位置）、多個預設目標物各自對應的物件識別碼以及多個預設目標物自對應的相關資訊等等。物件資訊資料庫可以是儲存於記憶體151或者是透過通訊介面（未繪示）自雲端伺服器取得。並且，處理裝置150可根據移動載具的位置資訊與目標物的絕對位置資訊計算移動載具與目標物Obj1之間的距離。之後，處理裝置150可根據相對夾角與距離計算目標物Obj1的第一參考位置資訊，而此第一參考位置資訊可以是可透光顯示器110上的顯示位置座標。

具體來說，圖3A與圖3B是根據本揭露一範例實施例所繪示的計算第一參考位置資訊的示意圖。於本實施例，移動載具V1以船隻為範例進行說明。可透光顯示器110可實做為船隻兩側的觀景窗。於此假設可透光顯示器110的顯示平面的法線方向大致上垂直於移動載具V1的移動方向VM1。

於圖3A中，定位裝置130可產生移動載具V1的GPS位置T ₀以及移動載具V1的移動方向VM1（亦即航向）。基於物件資料庫記錄包括多個預設目標物的絕對位置資訊，處理裝置150可根據GPS位置T ₀以及移動方向VM1自物件資料庫識別出使用者U1可透過可透光顯示器110看到的目標物Obj1。於此，處理裝置150可透過查詢物件資料庫而獲取目標物Obj1的絕對位置資訊，目標物Obj1的絕對位置資訊可以是GPS位置T _B。移動載具V1的GPS位置T ₀與目標物Obj1的GPS位置TB之間的距離可參考地球曲率半徑而計算出來。

具體而言，移動載具V1與目標物Obj1之間的距離可基於下列公式(1)而獲取。公式(1) 其中，d代表移動載具V1與目標物Obj1之間的距離；r代表地球曲率半徑；是GPS位置T ₀的緯度；是GPS位置T _B的緯度；是GPS位置T ₀的經度；是GPS位置T _B的經度。公式(1)可轉換為下列公式(2)。公式(2)

此外，於圖3A中，處理裝置150可根據移動載具V1的GPS位置T ₀與移動方向VM1、世界座標系的北方與目標物Obj1的GPS位置T _B，獲取目標物Obj1相對於移動載具V1的相對夾角。於本實施例中，相對夾角為目標物Obj1相對於移動載具V1的相對方向與垂直於移動方向VM1的參考方向之間的夾角。更詳細來說，定位裝置130可產生移動載具V1的移動方向VM1與正北方之間的夾角。夾角可透過下列公式(3)獲取。公式(3) 其中，代表GPS位置T ₀與GPS位置T _B之間的向量。代表指向正北方的單位向量。

之後，處理裝置150可根據下列公式(4)獲取目標物Obj1相對於移動載具V1的相對夾角。公式(4) 因此，基於相對夾角與移動載具V1的GPS位置T ₀與目標物Obj1的GPS位置T _B之間的距離是已知的，處理裝置150可根據下列公式(5)與公式(6)獲取距離W與距離D。公式(5) 公式(6) 其中，d代表GPS位置T ₀與GPS位置T _B之間的距離。

請參照圖3B，處理裝置150可利用資訊擷取裝置140獲取使用者與可透光顯示器110之間的距離d1，並根據距離d1與距離D獲取距離d2。距離D可根據上述公式(6)產生，其為投影於可透光顯示器110的法線方向的投影向量的長度。距離d2為距離D減去距離d1。於是，基於相似三角形原理，X方向上的位置座標與第一顯示位置座標之間的距離可根據距離d1、距離d2以及距離W獲取。具體而言，X方向上的距離可根據下列公式(7)獲取。公式(7) 基此，第一顯示位置座標可根據下列公式(8)獲取。公式(8) 其中，位置座標為可透光顯示器110於X方向的中心。由此可見，處理裝置150可透過定位裝置130提供的資訊來計算出目標物Obj1的第一參考位置資訊，即第一顯示位置座標。

於一些實施例中，虛擬資訊Vf1顯示位置的X座標可根據第一顯示位置座標來決定，例如是第一顯示位置座標加上或減去一預設數值來獲取虛擬資訊Vf1顯示位置的X座標。另外，虛擬資訊Vf1顯示位置的Y座標可以是預設值或根據目標物Obj1的種類而決定。亦即，處理裝置150可根據目標物Obj1的物件種類、物件名稱或物件識別碼來查表而獲取虛擬資訊Vf1顯示位置的Y座標。

另一方面，請同時參考圖2，於步驟S206，處理裝置150利用影像擷取裝置120擷取目標物Obj1的目標物影像。接著，於步驟S208，處理裝置150對目標物影像進行物件辨識處理。詳細來說，處理裝置150可利用深度學習演算法中的卷積神經網路（Convolution Neural Network，CNN）模型來對目標物影像進行物件辨識處理，上述卷積神經網路模型例如是用以進行物件偵測的R-CNN、Fast R-CNN、Faster R-CNN、YOLO或SSD等等，但本揭露對此不限制。

須說明的是，當處理裝置150根據目標物影像偵測到目標物Obj1的存在，物件辨識處理的辨識結果是具有目標物Obj1的辨識資訊。反之，當處理裝置150沒有由目標物影像偵測到目標物Obj1的存在，物件辨識處理的辨識結果是不具有目標物Obj1的辨識資訊。當物件辨識處理的辨識結果為具有目標物Obj1的辨識資訊，辨識資訊可包括目標物Obj1的物件辨識框（Bonding box）的位置與尺寸以及目標物Obj1的分類結果（例如是物件識別碼）。於一實施例中，處理裝置150可根據目標物Obj1的分類結果而從物件資訊資料庫挑選對應的虛擬資訊Vf1進行顯示。

於步驟S210，處理裝置150根據物件辨識處理的辨識結果，使用物件辨識處理的辨識結果或第一參考位置資訊來決定目標物Obj1的虛擬資訊Vf1的顯示位置。具體來說，於一些實施例中，處理裝置150可評斷物件辨識處理的辨識結果的可信度。當處理裝置150判定物件辨識處理的辨識結果是可信賴的，處理裝置150可使用物件辨識處理的辨識結果來決定目標物Obj1的虛擬資訊Vf1的顯示位置。當處理裝置150判定物件辨識處理的辨識結果是不可信賴的，處理裝置150可使用透過定位裝置130所獲取第一參考位置資訊來決定目標物Obj1的虛擬資訊Vf1的顯示位置。處理裝置150可判斷物件辨識處理的辨識結果是否符合特定條件用以評斷物件辨識處理的辨識結果的可信度。換言之，根據物件辨識處理的辨識結果是否符合特定條件，處理裝置150可來選擇物件辨識處理的辨識結果與第一參考位置資訊兩者其中之一來決定目標物Obj1的虛擬資訊Vf1的顯示位置。

具體而言，圖4是根據本揭露一範例實施例所繪示的決定虛擬資訊的顯示位置的流程圖。請參照圖4，於步驟S2101，處理裝置150判斷物件辨識處理的辨識結果是否符合特定條件。關於特定條件的設置將於後續範例實施例中分敘說明。

若步驟S2101判斷為是，於步驟S2102，反應於物件辨識處理的辨識結果符合特定條件，處理裝置150根據物件辨識處理的辨識結果計算目標物Obj1的第二參考位置資訊。於步驟S2103，處理裝置150根據第二參考位置資訊決定目標物Obj1的虛擬資訊Vf1的顯示位置。

於一些實施例中，上述的第二參考位置資訊包括可透光顯示器110上的第二顯示位置座標。詳細來說，處理裝置150可對目標物Obj1的物件辨識框於目標物影像中的影像座標位置進行座標轉換，以推算出目標物Obj1於三維座標系下的三維座標位置。並且，處理裝置150可透過資訊擷取裝置140提供的資訊進行座標轉換而獲取使用者U1於相同的三維座標系下的三維座標位置。於是，處理裝置150可利用目標物Obj1的三維座標位置與使用者U1的三維座標位置來決定目標物Obj1的第二參考位置資訊。舉例而言，目標物Obj1的第二參考位置資訊（即可透光顯示器110上的第二顯示位置座標）可為目標物Obj1的三維座標位置與使用者U1的三維座標位置之間的連線相交於可透光顯示器110的顯示平面的交點位置。之後，處理裝置150可根據此交點位置來決定虛擬資訊Vf1於可透光顯示器110上的顯示位置。

另一方面，若步驟S2101判斷為否，於步驟S2104，反應於物件辨識處理的辨識結果未符合特定條件，處理裝置150根據第一參考位置資訊決定目標物的虛擬資訊的顯示位置。由此可知，於一些實施例中，處理裝置150可分別利用定位裝置130提供的資訊與目標物影像計算出第一參考位置資訊與第二參考位置資訊。於是，處理裝置150可根據影像辨識結果來決定要使用第一參考位置資訊或第二參考位置資訊計算出虛擬資訊Vf1於可透光顯示器110上的顯示位置。

於一些實施例中，第一參考位置資訊與第二參考位置資訊可分別實施為可透光顯示器110的顯示平面上的一個參考點。藉此，處理裝置150可利用目標物Obj1的第一參考位置資訊或第二參考位置資訊為參考基準來決定虛擬資訊Vf1的顯示位置。更具體而言，基於各式需求或不同應用，處理裝置150可根據第一參考位置資訊或第二參考位置資訊決定虛擬資訊Vf1的實際顯示位置，以讓使用者U1可透過可透光顯示器110看到位於目標物Obj1附近的虛擬資訊Vf1或看到疊加於目標物Obj1上的虛擬資訊Vf1。

回到圖2，於步驟S212，處理裝置150透過可透光顯示器110根據虛擬資訊Vf1的顯示位置顯示虛擬資訊Vf1。在此的虛擬資訊Vf1可以是外部場景的導覽訊息、虛擬互動物件等，本揭露不以此為限。須說明的是，於移動載具的移動過程中，圖2所示各步驟將可重複地執行。基於影像辨識處理的辨識結果是否符合特定條件的判斷結果，處理裝置150可於不同時間點分別採用第一參考位置資訊與基於影像辨識結果而產生的第二參考位置資訊來決定虛擬資訊Vf1於不同時間點的顯示位置。處理裝置150可於第一時間點使用第一參考位置資訊來決定虛擬資訊Vf1的顯示位置。並且，處理裝置150可於第二時間點使用基於影像辨識結果而產生的第二參考位置資訊來決定虛擬資訊Vf1的顯示位置。

於一些實施例中，上述特定條件可包括物件辨識框於目標物影像中所佔據的佔據比例大於預設臨界值。亦即，處理裝置150將判斷物件辨識框於目標物影像中所佔據的佔據比例是否大於預設臨界值。也就是說，處理裝置150將判斷目標物Obj1於目標物影像中的成像大小是否足夠。若目標物Obj1的物件辨識框於目標物影像中所佔據的佔據比例不大於預設臨界值，代表辨識結果是不可信賴的。

於一些實施例中，上述特定條件可包括根據物件辨識處理的辨識結果判定偵測到目標物Obj。亦即，處理裝置150將判斷物件辨識處理的辨識結果是否具有目標物Obj的辨識資訊。也就是說，處理裝置150將判斷物件辨識模型是否輸出偵測到目標物的辨識結果。若物件辨識處理的辨識結果不具有目標物Obj的辨識資訊，處理裝置1510無法根據目標物影像來計算出虛擬資訊Vf1的顯示位置。

舉例而言，於一些應用情境中，當目標物Obj1與移動載具之間距離相當遠時，基於目標物影像的物件辨識處理可能辨識錯誤或無法辨識出目標物，處理裝置150可使用定位裝置130提供的地理定位資訊來決定虛擬資訊Vf1的顯示位置。反之，當目標物Obj1與移動載具之間距離適當時，處理裝置150可使用影像定位技術來決定虛擬資訊Vf1的顯示位置。

於一些實施例中，上述特定條件可包括物件辨識處理的辨識結果通過一正確性驗證。亦即，處理裝置150將判斷物件辨識處理的辨識結果是否通過一正確性驗證。舉例而言，處理裝置150可根據定位裝置130提供的資訊得知目標物Obj將出現於使用者U1的視野範圍內，並獲取目標物Obj的第一物件識別碼。接著，處理裝置150可比較目標物Obj的第一物件識別碼與物件辨識處理所輸出的第二物件識別碼是否相同。若第一物件識別碼相異於第二物件識別碼，代表物件辨識處理的辨識結果可能是錯誤的。

基於上述，圖5是根據本揭露一範例實施例所繪示的判斷辨識結果是否符合特定條件的流程圖。請參照圖5，於步驟S502，處理裝置150根據物件辨識處理的辨識結果判斷是否偵測到目標物Obj。若步驟S502判斷為是，代表處理裝置150可自目標物影像偵測到目標物Obj的存在，且處理裝置150後續可根據其他判斷基準來驗證目標物Obj的辨識資訊是否值得信賴。因此，於步驟S504，處理裝置150判斷目標物Obj的物件辨識框於目標物影像中所佔據的佔據比例大於預設臨界值。

舉例而言，圖6是根據本揭露一範例實施例所繪示的目標物影像與物件辨識框的示意圖。處理裝置150可透過對目標物影像Img1進行物件辨識處理，而獲取目標物Obj1的物件辨識框B1。處理裝置150可計算出物件辨識框B1的高與寬分為a1個像素與b1個像素。假設目標物影像Img1的解析度為M個像素*N個像素，則佔據比例為(a1*b1)/ (M*N)。此外，用以與佔據比例進行比較的預設臨界值可根據實際需求而設置，本揭露對此不限制。

若步驟S504判斷為是，於步驟S506，處理裝置150判斷物件辨識處理的辨識結果是否通過正確性驗證。若步驟S506判斷為是，於步驟S508，處理裝置150判定物件辨識處理的辨識結果符合特定條件。若步驟S502、步驟S504或步驟S506任一判斷為否，於步驟S510，處理裝置150判定物件辨識處理的辨識結果未符合特定條件。然而，於其他實施例中，步驟S504與步驟S506的執行是選擇性地，例如處理裝置150可執行步驟S504與步驟S506其中之任一。此外，於其他實施例中，步驟S504與步驟S506的執行順序是可以更換地。

此外，須特別說明的是，當物件辨識處理的辨識結果未符合特定條件（例如物件辨識框B1的佔據比例小於臨界值），處理裝置150可控制影像擷取裝置110執行放大（Zoom-in）操作來擷取放大影像，並根據此放大影像再一次進行物件辨識處理。以下將列舉實施例來說明。

圖7A與圖7B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。請同時參照圖1A、圖1B、圖7A與圖7B，而圖7A與圖7B的方法流程可由圖1A與圖1B的資訊顯示系統100來實現。在此，移動載具內的使用者U1可透過資訊顯示系統100的可透光顯示器110來觀看移動載具的外部實體場景及其相關的虛擬資訊。

於步驟S702，處理裝置150利用定位裝置130產生移動載具的位置資訊。於步驟S704，處理裝置150根據移動載具的位置資訊計算目標物Obj1的第一參考位置資訊。於步驟S706，處理裝置150利用影像擷取裝置120擷取目標物的目標物影像。於步驟S708，處理裝置150對目標物影像進行物件辨識處理。於步驟S710，處理裝置150判斷物件辨識處理的辨識結果是否符合特定條件。若步驟S710判斷為是，於步驟S712，處理裝置150根據物件辨識處理的辨識結果計算目標物的第二參考位置資訊。於步驟S714，處理裝置150根據第二參考位置資訊決定目標物Obj1的虛擬資訊的顯示位置。步驟S702至步驟S714的細節可參照前敘實施例中的類似相關說明，於此不再贅述。

於此，若步驟S710判斷為否，於步驟S716，反應於所述物件辨識處理的辨識結果未符合所述特定條件，處理裝置150控制影像擷取裝置120執行放大操作來擷取放大影像。可知的，放大影像中目標物Obj1的成像尺寸會增加。舉例而言，處理裝置150控制影像擷取裝置120切換鏡頭或進行變焦處理。上述變焦處理可以是光學變焦或數位變焦，本揭露對此不限制。

於步驟S718，處理裝置150對放大影像進行另一物件辨識處理。於步驟S720，處理裝置150判斷另一物件辨識處理的辨識結果是否符合特定條件。亦即，處理裝置150將判斷基於放大影像的辨識結果是否為可信賴的。於此，處理裝置150將執行與步驟S710相似的操作來判斷另一物件辨識處理的辨識結果是否符合特定條件，而判斷影像辨識結果是否符合特定條件的詳細說明可參照前文實施例。

若步驟S720判斷為是，於步驟S722，反應於另一物件辨識處理的辨識結果符合特定條件，處理裝置150根據另一物件辨識處理的辨識結果計算目標物Obj1的第二參考位置資訊。於步驟S724，處理裝置150根據第二參考位置資訊決定目標物的虛擬資訊的顯示位置。若步驟S720判斷為否，於步驟S726，反應於另一物件辨識處理的辨識結果未符合特定條件，處理裝置150根據第一參考位置資訊決定目標物Obj1的虛擬資訊Vf1的顯示位置。

此外，於一些實施例中，在決定虛擬資訊Vf1的顯示位置之後，根據組成可透光顯示器110的多個可透光顯示裝置的顯示範圍以及虛擬資訊Vf1的顯示位置，處理裝置150還可判斷虛擬資訊Vf1該顯示於那一台可透光顯示裝置上或分別由兩台可透光顯示裝置來同時分別顯示部份的虛擬資訊Vf1，以進一步調整虛擬資訊Vf1的顯示位置。

最後，於步驟S728，處理裝置150透過可透光顯示器110根據虛擬資訊Vf1的顯示位置顯示虛擬資訊Vf1。虛擬資訊Vf1例如是目標物Obj1的名稱或簡介等等。

本揭露的範例實施例所提出的資訊顯示方法及其處理裝置與資訊顯示系統，可使用不同的定位技術來決定目標物之虛擬資訊於可透光顯示器上的顯示位置。藉此，不僅可避免不同定位技術所具有的缺陷，還可提高目標物與虛擬資訊的疊合精準度，大幅提升使用者的觀看體驗。

雖然本揭露已以範例實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。

100:資訊顯示系統

110:可透光顯示器

120:影像擷取裝置

130:定位裝置

140:資訊擷取裝置

150:處理裝置

151:記憶體

152:處理器

Vf1:虛擬資訊

Obj1:目標物

U1:使用者

VM1:移動方向

V1:移動載具

O1:絕對方位

Img1:目標物影像

B1:物件辨識框

S202～S212,S2021～S2024、S502～S512、S702～S728:步驟

圖1A是根據本揭露一範例實施例所繪示的資訊顯示系統的方塊圖。圖1B是根據本揭露一範例實施例所繪示的資訊顯示系統的示意圖。圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖3A與圖3B是根據本揭露一範例實施例所繪示的計算第一參考位置資訊的示意圖。圖4是根據本揭露一範例實施例所繪示的決定虛擬資訊的顯示位置的流程圖。圖5是根據本揭露一範例實施例所繪示的判斷辨識結果是否符合特定條件的流程圖。圖6是根據本揭露一範例實施例所繪示的目標物影像與物件辨識框的示意圖。圖7A與圖7B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。

S202~S212:步驟

Claims

一種資訊顯示系統，安裝於一移動載具上，包括：可透光顯示器；影像擷取裝置，用以擷取一目標物的目標物影像；定位裝置，用以產生所述移動載具的位置資訊；處理裝置，可通信地連接所述顯示器、所述影像擷取裝置以及所述定位裝置，經配置以：根據所述移動載具的位置資訊計算所述目標物的一第一參考位置資訊；對所述目標物影像進行一物件辨識處理；根據所述物件辨識處理的辨識結果是否符合特定條件，選擇使用所述物件辨識處理的辨識結果與所述第一參考位置資訊其中之一來決定所述目標物的虛擬資訊的顯示位置：以及透過所述可透光顯示器根據所述虛擬資訊的顯示位置顯示所述虛擬資訊。
如請求項1所述的資訊顯示系統，其中所述處理裝置經配置以：反應於所述物件辨識處理的辨識結果符合所述特定條件，根據所述物件辨識處理的辨識結果計算所述目標物的一第二參考位置資訊，並根據所述第二參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置。
如請求項2所述的資訊顯示系統，其中所述第一參考位置資訊包括所述可透光顯示器上的一第一顯示位置座標，所述第二參考位置資訊包括所述可透光顯示器上的一第二顯示位置座標。
如請求項2所述的資訊顯示系統，其中所述處理裝置經配置以：反應於所述物件辨識處理的辨識結果未符合所述特定條件，根據所述第一參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置。
如請求項2所述的資訊顯示系統，其中所述物件辨識處理的辨識結果包括對應於所述目標物的一物件辨識框，所述特定條件包括所述物件辨識框於所述目標物影像中所佔據的一佔據比例大於一預設臨界值。
如請求項2所述的資訊顯示系統，其中所述特定條件包括根據所述物件辨識處理的辨識結果判定偵測到所述目標物。
如請求項2所述的資訊顯示系統，其中所述特定條件包括所述物件辨識處理的辨識結果通過一正確性驗證。
如請求項2所述的資訊顯示系統，其中所述處理裝置經配置以：反應於所述物件辨識處理的辨識結果未符合所述特定條件，控制所述影像擷取裝置執行一放大(Zoom-in)操作來擷取一放大影像；對所述放大影像進行另一物件辨識處理；反應於所述另一物件辨識處理的辨識結果符合所述特定條件，根據所述另一物件辨識處理的辨識結果計算所述目標物的所述第二參考位置資訊，並根據所述第二參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置；以及反應於所述另一物件辨識處理的辨識結果未符合所述特定條件，根據所述第一參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置。
如請求項1所述的資訊顯示系統，其中所述處理裝置經配置以：根據所述移動載具的位置資訊與移動方向、一絕對方位與所述目標物的絕對位置資訊，獲取所述目標物相對於所述移動載具的一相對夾角；根據所述移動載具的位置資訊與所述目標物的絕對位置資訊計算所述移動載具與所述目標物之間的一距離；以及根據所述相對夾角與所述距離計算所述目標物的所述第一參考位置資訊。
如請求項8所述的資訊顯示系統，其中所述目標物的絕對位置資訊記錄於一物件資訊資料庫。
一種資訊顯示方法，適用於具有可透光顯示器、影像擷取裝置、定位裝置以及處理裝置的資訊顯示系統，其中所述資訊顯示系統安裝於移動載具，而所述方法包括：利用所述影像擷取裝置擷取一目標物的目標物影像；利用所述定位裝置產生所述移動載具的位置資訊；根據所述移動載具的位置資訊計算所述目標物的一第一參考位置資訊；對所述目標物影像進行一物件辨識處理；根據所述物件辨識處理的辨識結果是否符合特定條件，選擇使用所述物件辨識處理的辨識結果與所述第一參考位置資訊其中之一來決定所述目標物的虛擬資訊的顯示位置：以及透過所述可透光顯示器根據所述虛擬資訊的顯示位置顯示所述虛擬資訊。
如請求項11所述的資訊顯示方法，其中根據所述物件辨識處理的辨識結果，使用所述物件辨識處理的辨識結果或所述第一參考位置資訊來決定所述目標物的所述虛擬資訊的所述顯示位置的步驟包括：反應於所述物件辨識處理的辨識結果符合所述特定條件，根據所述物件辨識處理的辨識結果計算所述目標物的一第二參考位置資訊，並根據所述第二參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置。
如請求項12所述的資訊顯示方法，其中所述第一參考位置資訊包括所述可透光顯示器上的一第一顯示位置座標，所述第二參考位置資訊包括所述可透光顯示器上的一第二顯示位置座標。
如請求項12所述的資訊顯示方法，其中根據所述物件辨識處理的辨識結果，使用所述物件辨識處理的辨識結果或所述第一參考位置資訊來決定所述目標物的所述虛擬資訊的所述顯示位置的步驟還包括：反應於所述物件辨識處理的辨識結果未符合所述特定條件，根據所述第一參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置。
如請求項12所述的資訊顯示方法，其中所述物件辨識處理的辨識結果包括對應於所述目標物的一物件辨識框，所述特定條件包括所述物件辨識框於所述目標物影像中所佔據的一佔據比例大於一預設臨界值。
如請求項12所述的資訊顯示方法，其中所述特定條件包括根據所述物件辨識處理的辨識結果判定偵測到所述目標物。
如請求項12所述的資訊顯示方法，其中所述特定條件包括所述物件辨識處理的辨識結果通過一正確性驗證。
如請求項12所述的資訊顯示方法，其中根據所述物件辨識處理的辨識結果，使用所述物件辨識處理的辨識結果或所述第一參考位置資訊來決定所述目標物的所述虛擬資訊的所述顯示位置的還步驟包括：反應於所述物件辨識處理的辨識結果未符合所述特定條件，控制所述影像擷取裝置執行一放大(Zoom-in)操作來擷取一放大影像；對所述放大影像進行另一物件辨識處理；反應於所述另一物件辨識處理的辨識結果符合所述特定條件，根據所述另一物件辨識處理的辨識結果計算所述目標物的所述第二參考位置資訊，並根據所述第二參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置；以及反應於所述另一物件辨識處理的辨識結果未符合所述特定條件，根據所述第一參考位置資訊決定所述目標物的所述虛擬資訊的顯示位置。
如請求項12所述的資訊顯示方法，其中根據所述移動載具的位置資訊計算所述目標物的所述第一參考位置資訊的步驟包括：根據所述移動載具的位置資訊與移動方向、一絕對方位與所述目標物的絕對位置資訊，獲取所述目標物相對於所述移動載具的一相對夾角；根據所述移動載具的位置資訊與所述目標物的絕對位置資訊計算所述移動載具與所述目標物之間的一距離；以及根據所述相對夾角與所述距離計算所述目標物的所述第一參考位置資訊。
一種處理裝置，安裝於移動載具上，並連接於可透光顯示器、影像擷取裝置以及定位裝置，其中所述影像擷取裝置用以擷取一目標物的目標物影像，所述定位裝置用以產生所述移動載具的位置資訊，所述處理裝置包括：記憶體，用以儲存資料；以及處理器，連接所述記憶體並經配置：根據所述移動載具的位置資訊計算所述目標物的一第一參考位置資訊；對所述目標物影像進行一物件辨識處理；根據所述物件辨識處理的辨識結果是否符合特定條件，選擇使用所述物件辨識處理的辨識結果或所述第一參考位置資訊其中之一來決定所述目標物的虛擬資訊的顯示位置：以及透過所述可透光顯示器根據所述虛擬資訊的顯示位置顯示所述虛擬資訊。