TWI786627B

TWI786627B - 顯示影像調整方法及擴增實境顯示裝置

Info

Publication number: TWI786627B
Application number: TW110116853A
Authority: TW
Inventors: 吳世民; 王義發; 馬秉辰
Original assignee: 中強光電股份有限公司
Priority date: 2021-05-11
Filing date: 2021-05-11
Publication date: 2022-12-11
Also published as: TW202245470A

Abstract

本發明提出一種顯示影像調整方法及擴增實境顯示裝置。所述顯示影像調整方法包括下述步驟。將所接收的影像數據轉換至擴增實境顯示裝置的座標系統，而獲得初始座標資訊。基於初始座標資訊，提供初始影像至擴增實境顯示裝置的有效顯示區域。在接收到調整指令時，在虛擬調整座標區域內調整初始座標資訊而獲得調整後座標資訊。基於調整後座標資訊，提供調整後影像至擴增實境顯示裝置的有效顯示區域。本發明提出的顯示影像調整方法及擴增實境顯示裝置可配合使用者需求來調整AR顯示裝置的顯示內容。

Description

顯示影像調整方法及擴增實境顯示裝置

本發明是有關於一種顯示影像的調整機制，且特別是有關於一種顯示影像調整方法及擴增實境顯示裝置。

隨著科技的進步，發展出結合虛擬世界與現實世界場景的擴增實境（Augmented Reality，AR）技術。AR技術是高度視覺化的互動方式，可在實體環境中展現相關的數位資訊。在硬體方面，結合處理器、顯示器、傳感器以及輸入裝置的載具方能成為AR裝置。目前，可在光學投影系統、監視器、行動裝置、頭戴式顯示器、抬頭顯示器、電腦等來實現AR技術。

在AR眼鏡等無法設置大尺寸的顯示螢幕的載具中，使用者可透過放大螢幕畫面來改善畫面內容過小或字幕過小問題，藉此看清楚畫面內容。然而在顯示區域中進行放大操作之後，顯示區域僅能顯示部分區域的畫面內容，無法再進一步調整顯示內容。基此，透過小尺寸的顯示螢幕來觀看內容，在顯示畫面的調整上並不方便。

“先前技術”段落只是用來幫助了解本發明內容，因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容，不代表該內容或者本發明一個或多個實施例所要解決的問題，在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。

本發明提供一種顯示影像調整方法及擴增實境（Augmented Reality，AR）顯示裝置，可配合使用者需求來調整擴增實境顯示裝置的顯示內容。

本發明的顯示影像調整方法，適用於擴增實境顯示裝置，包括：將所接收的影像數據轉換至擴增實境顯示裝置的座標系統，而獲得初始座標資訊；基於初始座標資訊，提供初始影像至擴增實境顯示裝置的有效顯示區域；在接收到調整指令時，在虛擬調整座標區域內調整初始座標資訊而獲得調整後座標資訊，其中有效座標區域對應於有效顯示區域，有效座標區域位於虛擬調整座標區域內；以及基於調整後座標資訊，提供調整後影像至擴增實境顯示裝置的有效顯示區域。

在本發明的一實施例中，上述調整指令為縮放指令，調整初始座標資訊而獲得調整後座標資訊的步驟包括：對影像數據執行解析度轉換，以將第一尺寸的初始座標資訊轉換為第二尺寸的調整後座標資訊。

在本發明的一實施例中，上述在調整初始座標資訊而獲得調整後座標資訊之後，更包括：倘若調整後影像的尺寸小於有效顯示區域的尺寸，將有效顯示區域中未顯示有調整後影像的區塊設定為透視狀態。

在本發明的一實施例中，上述虛擬調整座標區域的面積為有效座標區域的面積的N倍，1＜N≦9。

在本發明的一實施例中，上述調整指令為位移指令，調整初始座標資訊而獲得調整後座標資訊的步驟更包括：將初始座標資訊往移動方向進行位移而獲得調整後座標資訊。

在本發明的一實施例中，上述第一尺寸的中心點與第二尺寸的中心點位置重疊。

在本發明的一實施例中，上述在獲得初始座標資訊的步驟更包括：接收開機指令，基於擴增實境顯示裝置前一次關機所儲存的顯示設定，而獲得初始座標資訊。

本發明的擴增實境顯示裝置，包括：影像處理器，經配置以自訊號源接收影像數據；操作單元，用以輸入調整指令；控制器，耦接至操作單元以及影像處理器，控制器經配置以判斷操作單元是否輸入調整指令，並傳送調整指令至影像處理器，其中，影像處理器經配置以：將所接收的影像數據轉換至擴增實境顯示裝置的座標系統，而獲得初始座標資訊；基於初始座標資訊，提供初始影像至擴增實境顯示裝置的有效顯示區域；在接收到調整指令時，在虛擬調整座標區域內調整初始座標資訊而獲得調整後座標資訊，其中有效座標區域對應於有效顯示區域，虛擬調整座標區域的面積大於有效座標區域的面積；以及基於調整後座標資訊，提供調整後影像至擴增實境顯示裝置的有效顯示區域。

在本發明的一實施例中，上述擴增實境顯示裝置更包括投影裝置，耦接至控制器，用以投影初始影像以及調整後影像。

在本發明的一實施例中，上述擴增實境顯示裝置更包括儲存裝置，其中影像處理器經配置以：接收開機指令，基於儲存於儲存裝置的該擴增實境顯示裝置前一次關機的顯示設定，而獲得初始座標資訊。

基於上述，本揭示可配合使用者需求來調整擴增實境顯示裝置的顯示區域的內容，可將顯示影像進行任意位置的移動，以讓使用者進一步地看清楚內容，或者避免顯示影像擋住使用者的視野。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。

圖1是依照本發明一實施例的擴增實境（Augmented Reality，AR）顯示裝置的方塊圖。請參照圖1，擴增實境顯示裝置100（以下簡稱AR顯示裝置）包括影像處理器110、控制器120以及操作單元130，並可選擇性地包括儲存裝置140以及投影裝置150。影像處理器110耦接至控制器120、儲存裝置140以及投影裝置150。控制器120耦接至操作單元130。

影像處理器110可以是具備運算處理能力的硬體（例如晶片組、處理器等）、軟體元件（例如作業系統、應用程式等），或硬體及軟體元件的組合。影像處理器110例如是中央處理單元（Central Processing Unit，CPU）、圖形處理單元（Graphics Processing Unit，GPU），或是其他可程式化之微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置。影像處理器110適於自訊號源（圖未示）接收影像數據，並將影像數據進行座標化標示及轉換影像數據，例如影像處理器110可將影像數據調整為符合有效座標區域的影像大小（例如調整影像大小及比例，或維持影像比例及調整影像大小），並將其座標化標示（例如標示影像數據的起始點座標及影像數據的尺寸）。其中有效座標區域位於虛擬調整座標區域中，有效座標區域對應於AR顯示裝置100的有效顯示區域，即AR顯示裝置100可讓使用者觀看到影像的區域。

控制器120例如為晶片組，用以判斷操作單元130是否有輸入調整指令，以在接收來自操作單元130的調整指令之後，將調整指令傳送至影像處理器110。

操作單元130包括至少一個按鈕，用以輸入調整指令。例如，按鈕可包括用以縮放影像的縮放調整鈕（放大、縮）以及用以調整影像位置的移動調整鈕（上、下、左、右以及位置回復）等。

儲存裝置140例如是任意型式的固定式或可移動式隨機存取記憶體、唯讀記憶體、快閃記憶體、安全數位卡、硬碟或其他類似裝置或這些裝置的組合。儲存裝置140中儲存有多個程式碼片段，而上述程式碼片段在被安裝後，由影像處理器110來執行，藉此來執行顯示影像調整方法。

投影裝置150耦接至控制器120與影像處理器110，投影裝置150用以投影初始影像以及調整後影像。

投影裝置150包含投影元件151、調制元件153以及光源155。調制元件153耦接至投影元件151及光源155。影像處理器110耦接至調制元件153。控制器120耦接至光源155。投影元件151例如為波導元件（waveguide），調制元件153例如為微型反射鏡元件（Digital Micromirror Device，DMD）。在一實施例中，AR顯示裝置100例如為智慧眼鏡，藉由投影模式進行顯示，透過投影裝置150將光投影至使用者的眼睛以呈現影像。

控制器120根據操作單元130的操作（縮放調整、移動調整）傳送調整指令給影像處理器110。影像處理器110根據調整指令來調整初始座標資訊，以產生調整後影像數據，並將調整後影像數據傳送給投影裝置150的調制元件153。調制元件153基於調整後影像數據來調制光源155所發出的光從而生成影像光束（即調整後影像），之後透過投影元件151將影像光束投影至使用者的眼睛。

圖2是依照本發明一實施例的顯示影像調整方法的流程圖。請同時參照圖1及圖2，本發明的顯示影像調整方法適用於AR顯示裝置100。在步驟S205中，影像處理器110將所接收的影像數據轉換至AR顯示裝置100的座標系統，而獲得初始座標資訊。具體而言，初始座標資訊用以標示影像數據的座標位置（例如影像數據的起始點座標為(0, 0)，且影像數據的大小為100×100）。接著，在步驟S210中，影像處理器110基於初始座標資訊，提供初始影像至AR顯示裝置100的有效顯示區域。具體而言，影像處理器110基於初始座標資訊及所接收的影像數據產生初始影像數據，並將初始影像數據傳送給投影裝置150的調制元件153，以使初始影像呈現於AR顯示裝置100的有效顯示區域。特別說明的是，有效顯示區域為AR顯示裝置100可讓使用者觀看到影像的區域。

在步驟S215中，影像處理器110在接收到調整指令時，在虛擬調整座標區域內調整初始座標資訊而獲得調整後座標資訊。在此，有效座標區域對應於AR顯示裝置100有效顯示區域，有效座標區域位於虛擬調整座標區域內。即，有效座標區域的面積小於虛擬調整座標區域。例如，虛擬調整座標區域的面積為有效座標區域的面積的N倍，其中1＜N≦9。

舉例而言，在一實施例中，調整指令為位移指令。影像處理器110在接收到位移指令時，在虛擬調整座標區域內將初始影像往位移指定指示的移動方向進行位移而獲得調整後座標資訊（例如位移指令為向右位移n個單位，即將起始點座標由(0, 0)移至(n, 0)的位置）。

在一實施例中，調整指令為縮放指令。在此，顯示影像的放大與縮小功能主要是利用調整解析度的方式。即，影像處理器110在接收到縮放指令時，對影像數據執行解析度轉換，以將第一尺寸（M1×N1）的初始座標資訊轉換為第二尺寸（M2×N2）的調整後座標資訊。第一尺寸（M1×N1）的初始座標資訊的中心點與第二尺寸的調整後座標資訊的中心點位置重疊。例如，影像處理器110在接收到放大指令時，將影像數據的解析度下降，以放大呈現的影像。

在一實施例中，調整指令還可同時包括位移指令及縮放指令。

之後，在步驟S220中，影像處理器110基於調整後座標資訊，提供調整後影像至AR顯示裝置100的有效顯示區域。具體而言，影像處理器110基於調整後座標資訊及所接收的影像數據產生調整後影像數據，並將調整後影像數據傳送給投影裝置150的調制元件153，以使調整後影像呈現於AR顯示裝置100的有效顯示區域。特別說明的是，倘若調整後影像的尺寸小於有效顯示區域的尺寸，將有效顯示區域中未顯示有調整後影像的區塊設定為透視狀態。倘若調整後部分影像數據的座標位置超出有效座標區域，則僅以位於有效座標區域內的影像數據產生調整後影像數據，但本發明不限於此。在其他實施例中，可用調整後的所有影像數據產生調整後影像數據，而調制元件153僅接收對應於有效顯示區域的影像數據或調制元件153僅依對應於有效顯示區域的影像數據而調制光源155所發出的光以生成影像光束。

圖3是依照本發明一實施例的影像處理器的顯示影像調整方法的流程圖。圖4A是依照本發明一實施例的AR顯示裝置的示意圖。圖4B是依照本發明一實施例的有效座標區域與虛擬調整座標區域的示意圖。在圖4A及圖4B所示的示例中，AR顯示裝置100為AR眼鏡，其包括左右兩個鏡片410、420，在鏡片410、420分別具有有效顯示區域411、421。以鏡片410而言，其具有如圖4B所示的對應於有效顯示區域411的有效座標區域412以及用於調整顯示影像的虛擬調整座標區域VD。在本實施例中，虛擬調整座標區域VD為有效座標區域412的9倍。鏡片420亦如同鏡片410的設定。特別說明的是，在圖4B中，白色區域為無圖像區，灰色區域（如圖4B所示的“A”）為圖像區，與一般圖像的標示相同，而在圖4A中，AR顯示裝置100的AR眼鏡的有效顯示區域411、421中，灰色區域為無圖像區（即未有影像光束提供），白色區域為圖像區（即有影像光束提供），如此可將AR顯示裝置100的AR眼鏡的有效顯示區域411、421的灰色區域視為透視區域。

請同時參照圖1、圖3、圖4A及圖4B，啟動AR顯示裝置後，在步驟S305中，顯示畫面。詳細來說，影像處理器110在接收到開機指令時，自儲存裝置140中讀取AR顯示裝置100前一次關機所儲存的顯示設定，並基於所述顯示設定來轉換影像數據至AR顯示裝置100的座標系統，而獲得初始座標資訊，並依此顯示畫面，即提供畫面至AR顯示裝置100的有效顯示區域411、421。

接著，在步驟S310中，影像處理器110偵測是否接收到關機指令。倘若接收到關機指令，則關閉AR顯示裝置100。在未接收到關機指令的情況下，執行步驟S315～步驟S325。在此，並不限制步驟S315與步驟S352的先後順序。

在步驟S315中，影像處理器110判斷是否自控制器120接收到縮放指令。在接收到縮放指令之後，在步驟S325中，調整畫面。即，影像處理器110對影像數據執行解析度轉換，以將第一尺寸（M1×N1）的初始座標資訊轉換為第二尺寸（M2×N2）的調整後座標資訊。並且，根據調整後座標資訊，提供調整後影像至AR顯示裝置100的有效顯示區域。之後，返回步驟S310。

若未接收到縮放指令，在步驟S320中，影像處理器110判斷是否自控制器120接收到位移指令。在接收到位移指令之後，在步驟S325中，調整畫面。即，影像處理器110將初始座標資訊往位移指定指示的移動方向進行位移而獲得調整後座標資訊。並且，根據調整後座標資訊，提供調整後影像至AR顯示裝置100的有效顯示區域。之後，返回步驟S310。若未接收到位移指令，返回步驟S310，持續偵測是否接收到關機指令。

圖5A～圖5C是依照本發明一實施例的調整影像的示意圖。圖6A～圖6C是依照本發明一實施例之在AR顯示裝置的有效顯示區域調整影像的示意圖。在本實施例中，僅以圖5A～圖5C示例出圖6A～圖6C的有效顯示區域411對應的有效座標區域412以及虛擬調整座標區域VD，有效顯示區域421與有效顯示區域411具有相同的設定，在此不再贅述。

在圖5A～圖5C及圖6A～圖6C所示的實施例中，AR顯示裝置100開機後，如圖6A所示，有效顯示區域411、421分別顯示影像數據（字母“A”）字母“A”，有效顯示區域411、421中，黑色區域中除了字母“A”，其他部分皆為可透視（see-through）區域。

接著，當使用者按下放大調整鈕對影像數據執行放大操作時，有效座標區域412中的字母“A”（如圖5A所示）將以有效座標區域412的中心為基準進行放大（如圖5B所示），並提供調整後影像至AR顯示裝置100的有效顯示區域411（如圖6B所示）。此時，當字母“A”一直放大而超出有效座標區域412，使用者可透過按壓移動調整鈕對放大後的影像數據執行向上及向右的移動操作（如圖5C所示），並提供調整後影像至AR顯示裝置100的有效顯示區域411（如圖6C所示）。如此，使用者便可任意地移動顯示內容並且可進一步地觀看顯示內容的細節。

圖7A～圖7C是依照本發明一實施例的調整影像的示意圖。圖8A～圖8C是依照本發明一實施例之在AR顯示裝置的有效顯示區域調整影像的示意圖。在本實施例中，僅以圖7A～圖7C示例出圖8A～圖8C的有效顯示區域411對應的有效座標區域412以及虛擬調整座標區域VD，有效顯示區域421與有效顯示區域411具有相同的設定，在此不再贅述。

在圖7A～圖7C及圖8A～圖8C所示的實施例中，AR顯示裝置100開機後，如圖8A所示，有效顯示區域411、顯示影像數據（字母“A”）字母“A”，有效顯示區域411中，黑色區域中除了字母“A”，其他部分皆為可透視區域。

倘若影像遮住了使用者的觀看視野，使用者可按下縮小調整鈕對影像數據執行縮小操作（如圖7B所示），有效座標區域412中的字母“A”將以有效座標區域412的中心為基準進行縮小（如圖7B所示），並提供調整後影像至AR顯示裝置100的有效顯示區域411（如圖8B所示），。並且，使用者可透過按壓移動調整鈕對縮小後的影像數據執行移動操作（如圖7C所示），並提供調整後影像至AR顯示裝置100的有效顯示區域411（如圖8C所示），將字母“A”移動至有效顯示區域411的右下角。

綜上所述，本揭示的AR顯示裝置可對顯示影像進行放大或縮小以及移動影像位置，可配合使用者需求來調整AR顯示裝置的有效顯示區域的內容，可將影像進行任意位置的移動，以讓使用者進一步地看清楚內容，或者避免顯示影像擋住使用者的視野。據此，本揭示不會受到機構件的限制，而能夠在虛擬調整座標區域內來調整顯示影像。

另外，還可將AR顯示裝置進一步應用在醫療系統中。當醫生穿戴AR顯示裝置（例如AR眼鏡）開刀時，因為需要將視線集中在手術對象上，因此需要將AR眼鏡的鏡片的中心區域維持在可透視狀態。對此，透過上述AR顯示裝置100的顯示影像調整方式，使用者輕鬆地來調整影像的大小及其所在位置，進而決定有效顯示區域的可透視狀況。並且，透過本揭示，可將影像數據更換為病患的心跳圖、血壓等可協助醫生完成開刀的資訊而顯示在有效顯示區域上。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。此外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件（element）的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。

100:AR顯示裝置 110:影像處理器 120:控制器 130:操作單元 140:儲存裝置 150:投影裝置 151:投影元件 153:調制元件 155:光源 410、420:鏡片 411、421:有效顯示區域 412:有效座標區域 VD:虛擬調整座標區域 S205～S220、S305～S325:步驟

圖1是依照本發明一實施例的擴增實境顯示裝置的方塊圖。圖2是依照本發明一實施例的顯示影像調整方法的流程圖。圖3是依照本發明一實施例的影像處理器的顯示影像調整方法的流程圖。圖4A是依照本發明一實施例的擴增實境顯示裝置的示意圖。圖4B是依照本發明一實施例的有效顯示區域與虛擬調整座標區域的示意圖。圖5A～圖5C是依照本發明一實施例的調整影像的示意圖。圖6A～圖6C是依照本發明一實施例之在擴增實境顯示裝置的有效顯示區域調整影像的示意圖。圖7A～圖7C是依照本發明一實施例的調整影像的示意圖。圖8A～圖8C是依照本發明一實施例之在擴增實境顯示裝置的有效顯示區域調整影像的示意圖。

S205～S220:步驟

Claims

一種顯示影像調整方法，適用於一擴增實境顯示裝置，包括：將所接收的一影像數據轉換至該擴增實境顯示裝置的一座標系統，而獲得一初始座標資訊；基於該初始座標資訊，提供一初始影像至該擴增實境顯示裝置的一有效顯示區域；在接收到一調整指令時，在一虛擬調整座標區域內調整該初始座標資訊而獲得一調整後座標資訊，其中一有效座標區域對應於該有效顯示區域，且該有效座標區域位於該虛擬調整座標區域內；以及基於該調整後座標資訊，提供一調整後影像至該擴增實境顯示裝置的該有效顯示區域，其中，當部分的該調整後影像位於該有效顯示區域之外，則在接收到一移動操作指示時，將位於該有效顯示區域之外的該部分的該調整後影像移動至該有效顯示區域中顯示。
如請求項1所述的顯示影像調整方法，其中該調整指令為一縮放指令，調整該初始座標資訊而獲得該調整後座標資訊的步驟包括：對該影像數據執行一解析度轉換，以將一第一尺寸的該初始座標資訊轉換為一第二尺寸的該調整後座標資訊。
如請求項1所述的顯示影像調整方法，其中在調整該初始座標資訊而獲得該調整後座標資訊的步驟之後，更包括：倘若該調整後影像的尺寸小於該有效顯示區域的尺寸，將該有效顯示區域中未顯示有該調整後影像的區塊設定為一透視狀態。
如請求項1所述的顯示影像調整方法，其中該虛擬調整座標區域的面積為該有效座標區域的面積的N倍，1<N≦9。
如請求項1所述的顯示影像調整方法，其中該調整指令為一位移指令，調整該初始座標資訊而獲得該調整後座標資訊的步驟更包括：將該初始座標資訊往一移動方向進行位移而獲得該調整後座標資訊。
如請求項2所述的顯示影像調整方法，其中該第一尺寸的中心點與該第二尺寸的中心點位置重疊。
如請求項1所述的顯示影像調整方法，其中在獲得該初始座標資訊的步驟，更包括：接收一開機指令，基於該擴增實境顯示裝置前一次關機所儲存的一顯示設定，而獲得該初始座標資訊。
一種擴增實境顯示裝置，包括：一影像處理器，經配置以自一訊號源接收一影像數據；一操作單元，用以輸入一調整指令；一控制器，耦接至該操作單元以及該影像處理器，該控制器經配置以判斷該操作單元是否輸入該調整指令，並傳送該調整指令至該影像處理器，其中，該影像處理器經配置以：將所接收的該影像數據轉換至該擴增實境顯示裝置的一座標系統，而獲得一初始座標資訊；基於該初始座標資訊，提供一初始影像至該擴增實境顯示裝置的一有效顯示區域；在接收到該調整指令時，在一虛擬調整座標區域內調整該初始座標資訊而獲得一調整後座標資訊，其中一有效座標區域對應於該有效顯示區域，該虛擬調整座標區域的面積大於該有效座標區域的面積；以及基於該調整後座標資訊，提供一調整後影像至該擴增實境顯示裝置的該有效顯示區域，其中，當部分的該調整後影像位於該有效顯示區域之外，則在接收一移動操作指示時，將位於該有效顯示區域之外的該部分的該調整後影像移動至該有效顯示區域中顯示。
如請求項8所述的擴增實境顯示裝置，更包括一投影裝置，耦接至該控制器，用以投影該初始影像以及該調整後影像。
如請求項8所述的擴增實境顯示裝置，更包括一儲存裝置，其中該影像處理器經配置以：接收一開機指令，基於儲存於該儲存裝置的該擴增實境顯示裝置前一次關機的一顯示設定，而獲得該初始座標資訊。