TWI693533B - 影像處理方法及頭戴式影像系統 - Google Patents

Abstract

一種影像處理方法包含下列操作：產生顯示影像；透過攝影裝置，獲得眼球焦點位置；感應頭部轉動角度以產生頭部動作資訊；感測身體動作以產生一身體動作資訊；根據眼球焦點位置產生顯示影像中的焦點目標，且根據焦點目標產生基準軸，並根據基準軸、頭部動作資訊及身體動作資訊以產生顯示影像。

Description

影像處理方法及頭戴式影像系統

本揭示文件係關於一種影像處理方法及頭戴式影像系統，特別是一種根據人體視覺成像原理的影像處理方法及頭戴式影像系統。

虛擬影像的主要刺激源自視覺訊息，傳統的虛擬影像藉由轉動頭部來追逐移動目標，為了適應頭部及身體的姿勢改變，需要讓眼睛重新尋找目標，不符合人體對視覺的生理運作，容易讓使用者感到不適，例如頭暈或疲勞。因此需要結合人體視覺對於觀看物體的生理現象、頭部動作資訊及身體動作資訊來改進虛擬影像的產生方式。

本揭示內容的一實施例中，一種影像處理方法包含下列操作：產生顯示影像；透過攝影裝置，獲得眼球焦點位置；感應頭部轉動角度以產生頭部動作資訊；感測身體動作以產生一身體動作資訊；根據眼球焦點位置產生顯示影像中的焦點目標，且根據焦點目標產生基準軸，並根據基準 軸、頭部動作資訊及身體動作資訊以產生顯示影像。

本揭示內容的另一實施例中，一種頭戴式影像系統包含顯示裝置、攝影裝置、感測裝置、監測裝置以及處理裝置。顯示裝置用以產生顯示影像。攝影裝置用以獲得眼球焦點位置以產生顯示影像中的焦點目標。感測裝置用以感應頭部轉動角度以產生頭部動作資訊。監測裝置用以監測身體動作以產生身體動作資訊。處理裝置用以根據眼球焦點位置產生顯示影像中的焦點目標，且根據焦點目標產生基準軸，並根據基準軸、頭部動作資訊及身體動作資訊以產生顯示影像。

綜上所述，本揭示文件分析人體眼球觀看物體時會發生的生理現象，根據眼球焦點位置與目標焦點的軸向為中心產生顯示影像，根據頭部動作資訊變化顯示影像，使顯示影像更接近現實世界，降低使用者因為觀看顯示影像所發生的不適感並增加觀看顯示影像的臨場感。

100‧‧‧頭戴式影像系統

110‧‧‧顯示裝置

120‧‧‧攝影裝置

130‧‧‧感測裝置

140‧‧‧監測裝置

150‧‧‧處理裝置

310、320‧‧‧物品

S210、S220、S230、S240、S250‧‧‧步驟

H1~H3‧‧‧高度

V1~V5‧‧‧視線

a、b、C、D‧‧‧點

LE‧‧‧左眼

RE‧‧‧右眼

fa1、fa2、fb1、fb2‧‧‧眼球焦點目標

G1‧‧‧立足平面

W1‧‧‧窗戶

B1‧‧‧公車

L1~L3‧‧‧路燈

S1‧‧‧號誌

f1、f2‧‧‧焦點區域

第1圖繪示根據本揭示文件之一實施例的頭戴式影像系統的功能方塊圖。

第2圖繪示根據本揭示文件之一實施例的影像處理方法的流程圖。

第3圖繪示根據本揭示文件之一實施例的基準軸變化及頭足距離示意圖。

第4圖繪示根據本揭示文件之一實施例的眼球焦點位置及焦點目標示意圖。

第5圖繪示根據本揭示文件之一實施例的根據焦點目標產生顯示影像示意圖。

第6圖繪示對應第5圖的不同焦點目標變化顯示影像的示意圖。

第7圖繪示根據本揭示文件之一實施例的頭足距離示意圖。

第8圖繪示對應第7圖的頭足距離變化示意圖。

第9圖繪示根據本揭示文件之一實施例的基準軸變化示意圖。

第10圖繪示根據本揭示文件之一實施例的焦點目標變化示意圖。

第11圖繪示接續第10圖的焦點目標變化示意圖。

第12圖繪示根據本揭示文件之一實施例的焦點區域示意圖。

第13圖繪示接續第12圖的基準軸及焦點區域變化示意圖。

在本文中所使用的用詞『包含』、『具有』等等，均為開放性的用語，即意指『包含但不限於』。此外，本文中所使用之『及/或』，包含相關列舉項目中一或多個項目的任意一個以及其所有組合。

於本文中，當一元件被稱為『連結』或『耦接』時，可指『電性連接』或『電性耦接』。『連結』或『耦接』亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用『第一』、『第二』、...等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本揭示文件。

請參考第1圖，第1圖繪示根據本揭示文件之一實施例的頭戴式影像系統的功能方塊圖。頭戴式影像系統100包含顯示裝置110、攝影裝置120、感測裝置130、監測裝置140及處理裝置150。於一實施例中，頭戴式影像系統100可以是用以顯示虛擬實境(Virtual Reality,VR)的頭盔，顯示裝置110可以是用以顯示虛擬實境影像的顯示螢幕，攝影裝置120可以是用以獲得眼球位置的高速攝影機，感測裝置130可以是安裝於頭戴式影像系統100中的感測器。監測裝置140可以是安裝於牆上的監測器、位於四肢或軀幹的裝置或配件，例如手套、把手、腳套、踏板、方向盤、電玩槍枝等等，用以產生身體動作資訊。處理裝置150可以是中央處理器、微處理器等或其他具有資料處理功能的裝置。

請同時參考第1圖及第2圖，第2圖繪示根據本揭示文件之一實施例的影像處理方法的流程圖。以上述實施例作為例子說明，在步驟S210中，使用者戴上頭戴式影像系統100後，顯示裝置110會產生虛擬實境影像提供使用者觀看。

在步驟S220中，透過頭戴式影像系統100中的攝影裝置120獲得使用者的眼球焦點位置。此實施例中的攝影裝置120可以是高速攝影機，精準地獲得使用者眼球焦點位置的細微變化。例如高速攝影機可以以每秒拍攝1200幀的速度獲得眼球焦點位置。在步驟S230中，頭戴式影像系統100中的感測裝置130能夠感應使用者頭部轉動的角度，並產生頭部動作資訊，例如抬頭、低頭、向左轉或向右轉等頭部動作。

在步驟S240中，監測裝置140以安裝於牆上的監測器為例子說明，監測裝置140用以產生身體動作資訊，包含身體姿勢、動作、位置、速度、臉部表情、說話動作或頭足距離等等，根據使用不同配件，更包含配件位置資訊或功能啟用資訊等等。

在步驟S250中，頭戴式影像系統100中的處理裝置150藉由攝影裝置120的眼球焦點位置產生顯示影像中的焦點目標，焦點目標為使用者於虛擬實境中所觀看的地方例如物體、人物或場景。處理裝置150根據焦點目標產生基準軸。基準軸包含眼球焦點位置與焦點目標之間的連線，也就表示使用者的觀看視線之中心線，處理裝置150以基準軸為中心產生顯示影像，頭部動作資訊，以焦點目標為支點變換顯示影像中的影像內容。

請參考第3圖，第3圖繪示根據本揭示文件之一實施例的基準軸變化及頭足距離示意圖。第3圖中，當使用者觀看物品310時，焦點在物品310上，視線V1為基準軸， 第1圖中的處理裝置150以視線V1為中心產生顯示影像。當使用者看向物品320時，焦點變為在物品320上，此時視線V2為基準軸，第1圖中的處理裝置150以視線V2為中心產生顯示影像。如第3圖所示，當使用者在原地不動，視線從V1變為視線V2時，以眼球焦點位置為支點轉動基準軸(視線V1轉動為視線V2)。

請同時參考第4圖~第6圖，第4圖繪示根據本揭示文件之一實施例的眼球焦點位置及焦點目標示意圖，第5圖繪示根據本揭示文件之一實施例的根據焦點目標產生顯示影像示意圖，第6圖繪示對應第5圖的不同焦點目標變化顯示影像的示意圖。第4圖中，當使用者觀看a點時，會產生左眼LE的眼球焦點位置fa1及右眼RE的眼球焦點位置fa2，此時a點為焦點目標產生基準軸，以基準軸產生顯示影像，如第5圖所示。當使用者觀看b點時，會產生左眼LE的眼球焦點位置fb1及右眼RE的眼球焦點位置fb2，此時b點為焦點目標產生基準軸，以基準軸產生顯示影像，如第6圖所示。換句話說，顯示影像的產生是根據焦點目標及基準軸為中心，因此不同位置的焦點目標所產生的顯示影像將會有所不同，如同真實世界中觀看不同事物時因為焦點不同而看見不同的景物。

請同時參考第7圖及的8圖，第7圖繪示根據本揭示文件之一實施例的頭足距離示意圖，第8圖繪示對應第7圖的頭足距離變化示意圖。第7圖及第8圖中，虛線為虛擬成像的景物，實線為真實世界環境。在此實施例中，監測裝 置140為安裝於牆上的監測器，用以監測使用者動作。在第7圖中，使用者站立觀看C點時，監測裝置140監測到使用者目前為站立狀態，而獲得高度H2的頭足距離，立足平面G1根據高度H2而建立。

第8圖中，當使用者觀看C點且彎下腰拿物品時，監測裝置140監測到使用者目前為彎腰狀態，而獲得高度H3的頭足距離。第7圖及第8圖中都以C點為焦點，但由於姿勢、頭部位置及高度H2及高度H3的差異，導致視野界線與基準軸之間的夾角也不同，如第7圖及第8圖中所標示之變化，因此成像也會不同。

請參考第9圖，第9圖繪示根據本揭示文件之另一實施例的基準軸變化示意圖。於日常生活中，當人邊移動邊看時，眼球會有前庭動眼反射(Vestibulo-Ocular Reflex,VOR)及跳視(Saccade)的生理現象，前庭動眼反射使得人來邊移動邊看東西時不會因為身體晃動而讓視野產生搖晃，而跳視則是快速變換焦點。在第9圖中，在第一時間某人的視線V3觀看路邊窗戶W1，在第二時間往前移動繼續觀看窗戶，視線變為V4，此時前庭動眼反射使得人能夠清楚觀看窗戶W1而不會因為移動及變換視線(視線V3持續變換到視線V4)讓窗戶W1的景象變為模糊，某人繼續往前走在第三時間視線跳到公車B1，此時視線變為V5，焦點也從窗戶W1變為公車B1。當顯示影像中的場景、頭部或人在移動且焦點目標不動時以焦點目標為支點轉動基準軸。於此實施例中，視線由V3變為V4時，是以焦點目標的窗戶 W1為支點，轉動視線V3為V4。

請同時參考第10圖及第11圖，第10圖繪示根據本揭示文件之一實施例的焦點目標變化示意圖，第11圖繪示接續第10的焦點目標變化示意圖。開車時，例如先注意到遠方的D點，繼續開車往前移動，路燈L1離開視野範圍，接著注意到標誌S1而焦點目標變為標誌S1。

在日常生活中人眼觀看物體時，所觀看的焦點處以及焦點周圍最清楚，而焦點以外的地方相對模糊。以人眼來說，焦點周圍20°~30°之間最為清楚，焦點周圍以外的地方漸進式地模糊。請參考第12圖及第13圖，第12圖繪示根據本揭示文件之一實施例的焦點區域示意圖，第13圖繪示接續第12圖的基準軸及焦點區域變化示意圖。開車時，通常會注意到前方的馬路，於此實施例中，焦點區域f1最清楚。請參考第13圖，當視野看向後照鏡時，變為焦點區域f2最清楚。於一實施例中，處理裝置150將顯示影像中焦點目標周圍的焦點區域的影像進行清晰處理，處理裝置150將焦點區域以外的顯示影像進行模糊處理，焦點區域的大小可以根據實際應用及不同的顯示影像而有所調整。

於一實施例中，當顯示影像的顯示亮度高於參考顯示亮度時，處理裝置150將顯示影像中焦點目標周圍的焦點區域的影像進行清晰處理。當顯示影像的亮度較高時，例如白天有陽光時，焦點的清晰度會比焦點以外的部分更為明顯。而晚上沒有陽光時或無燈光的暗處時，焦點的清晰度與焦點以外的其他部分區別較不明顯。設定參考顯示亮度的 方式可以是計算像素的RGB平均值或其他計算方式。

於一實施例中，處理裝置150預先將顯示影像中複數個目標設定為焦點目標，目標包含顯示影像中亮度高於參考顯示亮度的人物、物品或圖形。人眼較容易注意到亮度較高的物體，因此顯示影像中亮度較高的部分可能會是使用者注意的部分。

人類的視覺傾向於利用穩定的目標來創造空間感，對於高速變化的連續畫面利用視動反射(Optokinetic Reflex,OKR)與連續眼震(Nystagmus)來模糊處理或忽略高速移動或變化的物體。於一實施例中，當顯示影像內容中焦點目標以外的物體之移動頻率高於參考移動頻率，處理裝置150將物體進行模糊處理。在此說明物體之移動頻率，由於人眼所觀看到區域為一扇型，物體之移動頻率為角頻率或稱為角速率(1赫茲=360°/秒)，參考移動頻率的設定方式可以是以物體的移動角度變化率設定。

於一實施例中，當焦點目標處於移動狀態時，也就是追視(pursuit)發生時，處理裝置150將焦點目標周圍的焦點區域的影像進行清晰處理。處理裝置150將顯示影像中該點區域以外的顯示影像進行模糊處理。對於移動中的目標進入視野，眼球追視發生時，會先做跳視，讓焦點放在新目標上，身體運動及眼球運動都會自然跟上，其目的與作用在於，讓焦點目標持續正對著瞳孔，最清晰也移動最少。由焦點目標向外擴散的環境影像，逐漸模糊，高速物體模糊更多。場景中各個物體影像與立體感呈現，也是隨著移動的焦 點目標與眼球焦點位置的基準軸而有所改變。追視動作的結束，常見的方式例如注視移動的焦點持續至接近視野邊界，再跳視到視野內的下一個焦點目標，或者是注視著移動的焦點目標一段時間沿著焦點物體運動軌跡，跳視至該物體的預測落點附近做為新的焦點區。

於一實施例中，當基準軸的長度(眼球焦點位置與焦點目標的距離)大於參考長度時，也就是看向遠方或眺望發生時，焦點目標在遠處，人眼較不會注意靠近自己的影像，因此處理裝置150將焦點區近景進行模糊處理。反之亦然，當基準軸的長度小於參考長度也就是看向近處時，人眼較不會注意遠離自己的影像，處理裝置150將焦點區遠景進行模糊處理，對應於上述高於參考移動頻率時的處理方式。

本揭示文件所提及的清晰處理的影像處理方法可以是銳化邊緣、增加色彩亮度、增加色彩飽和度或其他可以將影像變為更清晰的影像處理方法。模糊處理的影像處理方法可以是高斯模糊或其他將影像變為更模糊的影像處理方法。

綜上所述，影像處理方法分析人體視覺觀看物體時會發生的生理現象，根據眼球焦點位置與目標焦點的基準軸為中心產生顯示影像，根據頭部動作資訊及身體動作資訊變化顯示影像，使顯示影像更接近現實世界，降低使用者因為觀看顯示影像所發生的不適感並增加觀看顯示影像的真實性。

S210、S220、S230、S240、S250‧‧‧步驟

Claims (18)

1. 一種影像處理方法，包含：產生一顯示影像；透過一攝影裝置，獲得一眼球焦點位置；感應頭部轉動角度以產生一頭部動作資訊；感測身體動作以產生一身體動作資訊；以及根據該眼球焦點位置產生該顯示影像中的一焦點目標，且根據該焦點目標產生一基準軸，並根據該基準軸、該頭部動作資訊及該身體動作資訊以產生該顯示影像，其中該顯示影像根據該基準軸為中心顯示該顯示影像的一影像內容，且該顯示影像以該焦點目標為支點變換該顯示影像的該影像內容。
2. 如請求項1所述之影像處理方法，更包含：當該顯示影像中的場景移動且該焦點目標不動時，以該焦點目標為支點轉動該基準軸；以及當該顯示影像中的該焦點目標更換時，根據更換的該焦點目標更換該基準軸。
3. 如請求項1所述之影像處理方法，更包含：將該顯示影像中該焦點目標周圍一焦點區域的影像進行清晰處理；以及將該焦點區域以外的影像進行模糊處理。
4. 如請求項3所述之影像處理方法，更包含：當該顯示影像的顯示亮度高於一參考顯示亮度時，將該顯示影像中該焦點目標周圍的該焦點區域的影像進行清晰處理。
5. 如請求項4所述之影像處理方法，更包含：預先將該顯示影像中複數個目標設定為該焦點目標，該些目標包含該顯示影像中亮度高於該參考顯示亮度的人物、物品或圖形。
6. 如請求項1所述之影像處理方法，更包含：當該顯示影像內容中該焦點目標以外的一物體之移動頻率高於一參考移動頻率，將該物體進行模糊處理。
7. 如請求項1所述之影像處理方法，更包含：當該焦點目標處於移動狀態時，將該焦點目標周圍一焦點區域的影像進行清晰處理；以及將該顯示影像中該焦點區域以外的該顯示影像進行模糊處理。
8. 如請求項1所述之影像處理方法，更包含：當該基準軸的長度大於一參考長度，將一焦點區近景進行模糊處理；以及當該基準軸的長度小於該參考長度，將一焦點區遠景 進行模糊處理。
9. 如請求項1所述之影像處理方法，該身體動作資訊包含一頭足距離，根據該頭足距離產生該顯示影像中的一立足平面。
10. 一種頭戴式影像系統，包含：一顯示裝置，用以產生一顯示影像；一攝影裝置，用以獲得一眼球焦點位置；一感測裝置，用以感應頭部轉動角度以產生一頭部動作資訊；一監測裝置，用以監測身體動作以產生一身體動作資訊；以及一處理裝置，用以根據該眼球焦點位置產生該顯示影像中的一焦點目標，且根據該焦點目標產生一基準軸，並根據該基準軸、該頭部動作資訊及該身體動作資訊以產生該顯示影像，其中該顯示裝置根據該基準軸為中心顯示該顯示影像的一影像內容，且該顯示裝置以該焦點目標為支點變換該顯示影像的該影像內容。
11. 如請求項10所述之頭戴式影像系統，其中當該顯示影像中的場景移動且該焦點目標不動時，該處理裝置以該焦點目標為支點轉動該基準軸；以及當該顯示影像中的該焦點目標更換時，該處理裝置根 據更換的該焦點目標更換該基準軸。
12. 如請求項10所述之頭戴式影像系統，其中處理該顯示影像包含該處理裝置將該顯示影像中該焦點目標周圍一焦點區域的影像進行清晰處理；以及該處理裝置將該焦點區域以外的該顯示影像進行模糊處理。
13. 如請求項12所述之頭戴式影像系統，其中當該顯示影像的顯示亮度高於一參考顯示亮度時，該處理裝置將該顯示影像中該焦點目標周圍的該焦點區域的影像進行清晰處理。
14. 如請求項13所述之頭戴式影像系統，其中處理該顯示影像包含該處理裝置預先將該顯示影像中複數個目標設定為該焦點目標，該些目標包含該顯示影像中亮度高於該參考顯示亮度的人物、物品或圖形。
15. 如請求項10所述之頭戴式影像系統，其中當該顯示影像內容中該焦點目標以外的一物體之移動頻率高於一參考移動頻率，該處理裝置將該物體進行模糊處理。
16. 如請求項10所述之頭戴式影像系統，其 中當該焦點目標處於移動狀態時，該處理裝置將該焦點目標周圍一焦點區域的影像進行清晰處理；以及該處理裝置將該顯示影像中該焦點區域以外的該顯示影像進行模糊處理。
17. 如請求項10所述之頭戴式影像系統，其中當該基準軸的長度大於一參考長度時，該處理裝置將一焦點區近景進行模糊處理。
18. 如請求項10所述之頭戴式影像系統，其中該身體動作資訊包含一頭足距離或一配件資訊，該處理裝置根據該頭足距離或該配件資訊產生該顯示影像中的一立足平面。

Images