TW202205851A - 可透光顯示系統及其圖像輸出方法與處理裝置 - Google Patents

可透光顯示系統及其圖像輸出方法與處理裝置 Download PDF

Info

Publication number
TW202205851A
TW202205851A TW109124730A TW109124730A TW202205851A TW 202205851 A TW202205851 A TW 202205851A TW 109124730 A TW109124730 A TW 109124730A TW 109124730 A TW109124730 A TW 109124730A TW 202205851 A TW202205851 A TW 202205851A
Authority
TW
Taiwan
Prior art keywords
user
viewpoint
display device
image
eye viewpoint
Prior art date
Application number
TW109124730A
Other languages
English (en)
Other versions
TWI766316B (zh
Inventor
蔡宜修
郭信宏
陳冠廷
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109124730A priority Critical patent/TWI766316B/zh
Priority to CN202010847487.2A priority patent/CN113973199B/zh
Priority to US17/197,412 priority patent/US11394953B2/en
Publication of TW202205851A publication Critical patent/TW202205851A/zh
Application granted granted Critical
Publication of TWI766316B publication Critical patent/TWI766316B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種可透光顯示系統及其圖像輸出方法與處理裝置。可透光顯示裝置位於背景物與使用者之間。圖像輸出方法包括以下步驟。偵測使用者、可透光顯示裝置及背景物之位置。建立使用者、可透光顯示裝置與背景物之座標轉換關係。偵測使用者之雙眼中點及雙眼偏心距。依據座標轉換關係、雙眼中點及與雙眼偏心距，計算使用者於可透光顯示裝置之左眼視點與右眼視點。隨著頭戴式裝置的切換，交替顯示圖像於左眼視點與右眼視點。

Description

可透光顯示系統及其圖像輸出方法與處理裝置
本揭露是有關於一種可透光顯示系統及其圖像輸出方法與處理裝置。
隨著顯示科技的發展，各式顯示裝置不斷推陳出新。請參照第1圖，其繪示可透光顯示裝置910之示意圖。可透光顯示裝置910可以設置於使用者970與背景物960之間。可透光顯示裝置910可以呈現圖像P70。當使用者970站在可透光顯示裝置910前，圖像P70即可疊合於背景物960之圖像P80。
然而，人的雙眼存在視差。請參照第2～3圖，第2圖繪示某一使用者970以右眼所觀看到的疊合情況（左眼閉合），第3圖繪示使用者970以左眼所觀看到的疊合情況（右眼閉合）。在相同位置下，使用者970之右眼所觀看到的圖像P70可能剛好對準於圖像P80之中心，但使用者970之左眼所觀看到的圖像P70卻會偏向圖像P80之右邊，此種情況即稱為視差現象。
倘若採用第2圖來對準圖像P70，對左眼會形成負擔。倘若為了降低左眼的負擔而將圖像P70略微左移，則又對右眼產生負擔。因此，研究人員正積極研發可透光顯示系統之圖像輸出方法，以使使用者970的左眼與右眼沒有視差的負擔。
本揭露係有關於一種可透光顯示系統及其圖像輸出方法與處理裝置。
根據本揭露之一實施例，提出一種可透光顯示系統之圖像輸出方法。可透光顯示裝置位於背景物與使用者之間。該圖像輸出方法包括以下步驟。偵測使用者、可透光顯示裝置及背景物之位置。建立使用者、可透光顯示裝置與背景物之座標轉換關係。偵測使用者之雙眼中點及雙眼偏心距。依據座標轉換關係、雙眼中點及與雙眼偏心距，計算使用者於可透光顯示裝置之左眼視點與右眼視點。隨著頭戴式裝置的切換，交替顯示圖像於左眼視點與右眼視點。
根據本揭露之另一實施例，提出一種可透光顯示系統。可透光顯示系統包括可透光顯示裝置、影像偵測裝置、頭戴式裝置及處理裝置。可透光顯示裝置位於背景物與使用者之間。影像偵測裝置用以偵測使用者之位置、可透光顯示裝置之位置、背景物之位置、使用者之雙眼中點及雙眼偏心距。處理裝置包括座標轉換關係建立單元、視點計算單元及圖像控制單元。座標轉換關係建立單元用以建立使用者、可透光顯示裝置與背景物之座標轉換關係。視點計算單元用以依據座標轉換關係、雙眼中點與雙眼偏心距，計算使用者於可透光顯示裝置之左眼視點與右眼視點。圖像控制單元用以隨著頭戴式裝置的切換，控制可透光顯示裝置交替顯示圖像於左眼視點與右眼視點。
根據本揭露之再一實施例，提出一種處理裝置。處理裝置用以控制可透光顯示系統。可透光顯示系統包括可透光顯示裝置、影像偵測裝置及頭戴式裝置。可透光顯示裝置位於背景物與使用者之間。影像偵測裝置用以偵測使用者之位置、可透光顯示裝置之位置、背景物之位置、使用者之雙眼中點及雙眼偏心距。處理裝置包括座標轉換關係建立單元、視點計算單元及圖像控制單元。座標轉換關係建立單元用以建立使用者、可透光顯示裝置與背景物之座標轉換關係。視點計算單元用以依據座標轉換關係、雙眼中點與雙眼偏心距，計算使用者於可透光顯示裝置之左眼視點與右眼視點。圖像控制單元用以隨著頭戴式裝置的切換，控制可透光顯示裝置交替顯示圖像於左眼視點與右眼視點。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
請參照第4A～4B圖，其繪示根據一實施例之可透光顯示系統1000之示意圖。可透光顯示系統1000包括可透光顯示裝置100、影像偵測裝置200、頭戴式裝置300及處理裝置400。可透光顯示裝置100設置於一背景物600與一使用者700之間。可透光顯示系統1000例如可以應用於教學場域。背景物600例如為人體圖像。可透光顯示裝置100例如包括可透光液晶顯示器（light transmitting LCD）、可透光有機發光二極體顯示器（light transmitting OLED display）或貼附反射膜之可透光玻璃。影像偵測裝置200可用以偵測影像。影像偵測裝置200例如是影像偵測裝置、攝影機或紅外線感測儀。頭戴式裝置300可具備快門用以輪流遮蔽左眼與右眼，以使左眼與右眼交替觀看。處理裝置400可用以執行各種分析程序、運算程序或控制程序等。處理裝置400例如是電腦、伺服器、雲端運算中心或行動電話等。在一實施例中，可透光顯示系統1000可更包括儲存裝置500，儲存裝置500可用以儲存資料。儲存裝置500例如是硬碟、記憶體、光碟或雲端儲存中心等。
處理裝置400包括座標轉換關係建立單元410、視點計算單元420及圖像控制單元430。座標轉換關係建立單元410用以建立座標轉換關係CT。視點計算單元420用以利用座標轉換關係CT計算點座標。圖像控制單元430用以執行可透光顯示裝置100之控制程序，以呈現所需要的圖像。座標轉換關係建立單元410、視點計算單元420及圖像控制單元430例如是電路、晶片、電路板或儲存程式碼之記憶裝置等。
如第4A圖所示，頭戴式裝置300可以讓左眼視窗310呈現可透光，並讓右眼視窗320呈現不可透光，使用者700以左眼EL觀看可透光顯示裝置100及圖像P11。此時可以針對左眼EL的視線，將圖像P11顯示於特定的左眼視點PL，使用者700之左眼EL所觀看到的圖像P11可對準於背景物600。
如第4B圖所示，頭戴式裝置300可以讓左眼視窗310呈現不可透光，並讓右眼視窗320呈現可透光，使用者700以右眼ER觀看可透光顯示裝置100及圖像P11。此時可以針對右眼ER的視線，將圖像P11顯示於特定的右眼視點PR，使得使用者700之右眼ER所觀看到的圖像P11可對準於背景物600。
隨著頭戴式裝置300的切換，處理裝置400可以控制可透光顯示裝置100交替顯示圖像P11於左眼視點PL與右眼視點PR。如此一來，在觀看可透光顯示裝置100時，使用者700的左眼EL與右眼ER沒有視差的負擔。以下更搭配流程圖詳細說明上述各項元件之運作。
請參照第5圖，其繪示根據一實施例之可透光顯示系統1000之圖像輸出方法的流程圖。在步驟S110中，影像偵測裝置200偵測使用者700、可透光顯示裝置100及背景物600之位置。在背景物600有多個時，影像偵測裝置200可以利用使用者700所注視之方向偵測出使用者700所注視之背景物600的位置。
接著，在步驟S120中，處理裝置400之座標轉換關係建立單元410建立使用者700、可透光顯示裝置100與背景物600之座標轉換關係CT。請參照第6圖，其示例說明座標轉換關係CT。在此步驟中，透過座標轉換關係CT可以將世界三維座標系統的雙眼中點E沿著方向D76投影至可透光顯示裝置100之顯示平面二維座標系統的投影視點P。世界三維座標系統例如是真實世界的立體空間座標系統，世界三維座標系統之單位例如是公尺，世界三維座標系統具有預定之原點
Figure 02_image001
與三個座標軸
Figure 02_image003
、
Figure 02_image005
、
Figure 02_image007
。顯示平面二維座標系統例如是由可透光顯示裝置100之各畫素所組成的二維座標系統，顯示平面二維座標系統之單位為畫素，顯示平面二維座標系統具有位於左上角之原點
Figure 02_image009
與兩個座標軸U、V。透過座標轉換關係CT可以將雙眼中點E投影至投影視點P。在座標轉換關係CT之下，若再搭配偏移校正技術，則可將投影視點P偏移為左眼視點PL與右眼視點PR。以下先說明座標轉換關係CT的內容，偏移校正之技術則說明於步驟S140中。
座標轉換關係CT例如是以下關係式（1）：
Figure 02_image011
……………….（1）
其中，在世界三維座標系統中，雙眼中點E具有座標
Figure 02_image013
，在顯示平面二維座標系統中，投影視點P具有座標
Figure 02_image015
，使用者700與背景物600之間存在距離
Figure 02_image017
，可透光顯示裝置100之畫素具有寬度
Figure 02_image019
，可透光顯示裝置100之畫素具有高度
Figure 02_image021
。在顯示平面二維座標系統中，可透光顯示裝置100之中心點具有座標
Figure 02_image023
，可透光顯示裝置100與背景物600之間存在距離f，旋轉矩陣R與偏移向量T繪示於第8B圖。
以下進一步搭配詳細流程圖來說明座標轉換關係CT的運算。請參照第7圖及第8A～8E圖，第7圖繪示步驟S120之細部流程圖，第8A～8E圖示例說明第7圖之各步驟。請參照第8A圖及表一，其說明各個座標系統之原點與座標軸。
  原點 座標軸 單位
世界三維座標系統
Figure 02_image025
（為預定之點）
Figure 02_image027
、
Figure 02_image029
、
Figure 02_image031
 公尺
影像偵測裝置三維座標系統
Figure 02_image033
（為背景物600）
Figure 02_image035
、
Figure 02_image037
、
Figure 02_image039
 公尺
像平面二維座標系統
Figure 02_image041
（為可透光顯示裝置100之中心點）		 X、Y 公厘
顯示平面二維座標系統
Figure 02_image043
（為可透光顯示裝置100之左上角）		 U、V 畫素
表一
請參照第8B圖，在步驟S121中，將使用者700之雙眼中點E由世界三維座標系統轉換為影像偵測裝置三維座標系統。影像偵測裝置三維座標系統之原點
Figure 02_image045
係為背景物600。從世界三維座標系統之座標
Figure 02_image013
轉換到影像偵測裝置三維座標系統之座標
Figure 02_image047
時，需要利用旋轉矩陣R與偏移向量T進行旋轉與平移，其屬於剛體轉換，物體不會發生形變。
請參照第8C圖，某一座標系統繞座標軸C旋轉
Figure 02_image049
度時，座標
Figure 02_image051
係透過下式（2）轉換至座標
Figure 02_image053
。
Figure 02_image055
……………………………………….....（2）
上式（2）可以改為下式（3）。
Figure 02_image057
…………………………（3）
同理，某一座標系統繞座標軸A旋轉
Figure 02_image059
度時，座標
Figure 02_image051
係透過下式（4）轉換至座標
Figure 02_image061
。
Figure 02_image063
…………………………（4）
同理，某一座標系統繞座標軸B旋轉
Figure 02_image065
度時，座標
Figure 02_image051
係透過下式（5）轉換至座標
Figure 02_image061
。
Figure 02_image067
…………………………（5）
所以若某一座標系統同時繞座標軸C旋轉
Figure 02_image049
度、繞座標軸旋轉
Figure 02_image059
度、繞座標軸B旋轉
Figure 02_image065
度，則，座標
Figure 02_image051
係透過下式（6）轉換至座標
Figure 02_image061
。
Figure 02_image069
...…………………………………..（6）
世界三維座標系統轉換至影像偵測裝置三維座標系統時，不僅可進行三個座標軸的旋轉，更可沿座標軸
Figure 02_image007
平移
Figure 02_image071
、沿座標軸
Figure 02_image003
平移
Figure 02_image073
、沿座標軸
Figure 02_image005
平移
Figure 02_image075
，故世界三維座標系統的座標
Figure 02_image013
可透過下式（7）轉換至影像偵測裝置三維座標系統的座標
Figure 02_image047
。
Figure 02_image077
..………….………………..（7）
上式（7）可以進一步改寫成下式（8）。
Figure 02_image079
…………………………………………….（8）
其中，旋轉矩陣R是一個3
Figure 02_image081
3矩陣，偏移向量T是一個3
Figure 02_image081
1矩陣，
Figure 02_image083
是一個4
Figure 02_image081
4矩陣。世界三維座標系統之座標
Figure 02_image013
即可透過上式（8）轉換至影像偵測裝置三維座標系統之座標
Figure 02_image047
。
接著，請參照第8D圖，在步驟S122中，將雙眼中點E由影像偵測裝置三維座標系統投影至可透光顯示裝置100之像平面二維座標系統，以取得投影視點P。雙眼中點E目前已轉換為影像偵測裝置三維座標系統。在影像偵測裝置三維座標系統中，投影視點P具有座標
Figure 02_image047
。如第8D圖所示，影像偵測裝置三維座標系統具有原點
Figure 02_image045
，沿著雙眼中點E與原點
Figure 02_image045
的連線可以在可透光顯示裝置100取得投影視點P。像平面二維座標系統具有原點
Figure 02_image085
，原點
Figure 02_image085
係為可透光顯示裝置100之中心點。第8D圖上的原點
Figure 02_image045
、原點
Figure 02_image085
、投影視點P、點L、點M、點N滿足下式（9）之幾何關係。
Figure 02_image087
………………………………………….（9）
上式（9）可以換算出下式（10）的邊長關係。
Figure 02_image089
…………………………….（10）
上式（10）可以換算出下式（11）。
Figure 02_image091
……………………………………………………（11）
原點
Figure 02_image045
與原點
Figure 02_image085
之間存在距離f，即為可透光顯示裝置100與背景物600之距離f。
上式（11）可以進一步改寫成下式（12）。
Figure 02_image093
…………………………………..（12）
影像偵測裝置三維座標系統之座標
Figure 02_image047
可利用上式（12）投影為像平面二維座標系統之座標
Figure 02_image095
，即投影視點P。
然後，請參照第8E圖，在步驟S123中，將投影視點P由像平面二維座標系統轉換至顯示平面二維座標系統。像平面二維座標系統之原點
Figure 02_image085
為可透光顯示裝置100之中心點，顯示平面二維座標系統之原點
Figure 02_image009
為可透光顯示裝置100之左上角。在顯示平面二維座標系統中，可透光顯示裝置100之中心點具有座標
Figure 02_image097
，每個畫素具有寬度
Figure 02_image099
，每個畫素具有高度
Figure 02_image101
。投影視點P在像平面二維座標系統之座標
Figure 02_image095
與在顯示平面二維座標系統之座標
Figure 02_image015
具有下式（13）之關係。
Figure 02_image103
………………………………………………….（13）
上式（13）可以進一步轉換為下式（14）。
Figure 02_image105
……………………………………….（14）
步驟S121～S123之式（8）、式（12）、式（14）可以整合為下式（15），式（15）即為式（1）的座標轉換關係CT。
Figure 02_image011
…………….（15）
獲得上述座標轉換關係CT之後，進入第5圖之步驟S130。
在步驟S130中，影像偵測裝置200偵測使用者700之雙眼中點E及雙眼偏心距D。不同的使用者700的雙眼中點E及雙眼偏心距D會有所不同，故需要在運作過程中進行偵測。請參照第9圖，其示例說明步驟S130、S140。如第9圖所示，雙眼偏心距D係為雙眼間距的一半，即雙眼中點E至左眼EL或右眼ER之距離。
在步驟S140中，處理裝置400之視點計算單元420依據座標轉換關係CT、雙眼中點E及與雙眼偏心距D，計算使用者700於可透光顯示裝置100之左眼視點PL與右眼視點PR。若將雙眼中點E代入座標轉換關係CT，可以獲得的是投影視點P。配合使用者700之左眼EL的視線，讓投影視點P偏移至左眼視點PL。配合使用者700之右眼ER的視線，讓投影視點P偏移至右眼視點PR。在此步驟中，可以讓可透光顯示裝置100之中心點向右以偏移量D(t)偏移，即可讓計算出來的投影視點P偏移至左眼視點PL；讓可透光顯示裝置100之中心點向左以偏移量D(t)偏移量，即可讓計算出來的投影視點P偏移至右眼視點PR。偏移量D(t)例如是下式（16）。
Figure 02_image107
…………………………………（16）
其中，h為可透光顯示裝置100之顯示頻率，t為時間。偏移量D(t)為隨時間變化的函數。
也就是說，上式（15）可以加入偏移校正後改寫為下式（17）。
Figure 02_image109
…….（17）
透過上式（17）即可計算出隨時間切換之左眼視點PL與右眼視點PR。
然後，在步驟S150中，處理裝置400之圖像控制單元430隨著頭戴式裝置300的切換，交替顯示圖像P11於左眼視點PL與右眼視點PR。在此步驟中，左眼視點PL與右眼視點PR之交替頻率可相同於頭戴式裝置300之切換頻率。如此一來，在觀看可透光顯示裝置100時，使用者700的左眼EL與右眼ER可沒有視差的負擔。在一實施例中，交替顯示圖像P11於左眼視點PL與右眼視點PR的步驟中，左眼視點PL與右眼視點PR之交替頻率相關於可透光顯示裝置100之顯示頻率。
請參照第10圖，其繪示根據另一實施例之使用者700之左眼EL與右眼ER之示意圖。在第10圖之實施例中，使用者700之一雙眼連線L7可能具有傾斜角度
Figure 02_image111
。此時，上述的式（17）可以修正為式（18），以使左眼視點PL與右眼視點PR的計算更為準確。
Figure 02_image113
…（18）
請參照第11圖及第12圖，第11圖繪示根據另一實施例之圖像輸出方法的流程圖，第12圖示例說明第11圖之圖像P11’。在此實施例中，圖像輸出方法更包括步驟S210。在步驟S210中，圖像控制單元430可以依據左眼視點PL或右眼視點PR，將圖像P11’進行不同的立體化形變，可使圖像P11’具有立體感。在立體化形變中，根據人眼與背景物連線和可透光顯示裝置100的夾角決定圖像P11’的顯示角度，讓使用者感覺圖像P11’會隨著背景物位置的不同改變其角度，具有立體化之效用。
請參照第13圖及第14圖，第13圖繪示根據另一實施例之圖像輸出方法的流程圖，第14圖示例說明第13圖之圖像P11”。在此實施例中，圖像輸出方法更包括步驟S310。在步驟S310中，圖像控制單元430可以依據左眼視點或右眼視點，將圖像P11”之物件P11a與物件P11b之遮蔽情況進行不同的變化，可使圖像P11”產生立體視覺。舉例來說，左眼與右眼因角度不同，有可能右眼同時看到前後兩個物體，但左眼因觀看角度不同可能只看到前方的物體，後方的物體則被前方物體所遮蔽，故對左眼與右眼進行遮蔽變化的調整，可使圖像P11”產生立體視覺。
根據上述實施例，針對左眼EL的視線，圖像P11、P11’、P11”可以顯示於特定左眼視點PL，使得使用者700之左眼EL所觀看到的圖像P11、P11’、P11”可對準於背景物600。針對右眼ER的視線，圖像P11、P11’、P11”可以顯示於特定右眼視點PR，使得使用者700之右眼ER所觀看到的圖像P11、P11’、P11”可對準於背景物600。隨著頭戴式裝置300的切換，處理裝置400可以控制可透光顯示裝置100交替顯示圖像P11、P11’、P11”於左眼視點PL與右眼視點PR。如此一來，在觀看可透光顯示裝置100時，使用者700的左眼EL與右眼ER可沒有視差的負擔。
綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍及其均等範圍所界定者為準。
100,910:可透光顯示裝置 200:影像偵測裝置 300:頭戴式裝置 310:左眼視窗 320:右眼視窗 400:處理裝置 410:座標轉換關係建立單元 420:視點計算單元 430:圖像控制單元 500:儲存裝置 600,960:背景物 700,970:使用者 1000:可透光顯示系統 CT:座標轉換關係 D:雙眼偏心距 D76:方向 D(t):偏移量
Figure 02_image099
:寬度
Figure 02_image101
:高度 E:雙眼中點 EL:左眼 ER:右眼 f,
Figure 02_image115
:距離 L,M,N:點 L7:雙眼連線
Figure 02_image033
,
Figure 02_image043
,
Figure 02_image041
,
Figure 02_image025
:原點 P:投影視點 P70,P80,P11,P11’,P11”:圖像 P11a,P11b:物件 PL:左眼視點 PR:右眼視點 R:旋轉矩陣 S110,S120,S121,S122,S123,S130,S140,S150,S210,S310:步驟 T:偏移向量
Figure 02_image111
:傾斜角度
Figure 02_image117
:角度
Figure 02_image003
,
Figure 02_image005
,
Figure 02_image007
,
Figure 02_image035
,
Figure 02_image037
,
Figure 02_image039
, A,A’,B,B’,C,C’,U,V,X,Y:座標軸
Figure 02_image047
,
Figure 02_image013
,
Figure 02_image095
,
Figure 02_image015
,
Figure 02_image097
,
Figure 02_image061
,
Figure 02_image051
:座標
第1圖繪示可透光顯示裝置之示意圖； 第2圖繪示某一使用者以右眼所觀看到的疊合情況（左眼閉合）； 第3圖繪示使用者以左眼所觀看到的疊合情況（右眼閉合）； 第4A～4B圖繪示根據一實施例之可透光顯示系統之示意圖； 第5圖繪示根據一實施例之可透光顯示系統之圖像輸出方法的流程圖； 第6圖示例說明座標轉換關係； 第7圖繪示步驟S120之細部流程圖； 第8A～8E圖示例說明第7圖之各步驟； 第9圖示例說明步驟S130、S140； 第10圖繪示根據另一實施例之使用者之左眼與右眼之示意圖； 第11圖繪示根據另一實施例之圖像輸出方法的流程圖； 第12圖示例說明第11圖之圖像； 第13圖繪示根據另一實施例之圖像輸出方法的流程圖；以及 第14圖示例說明第13圖之圖像。
100:可透光顯示裝置
200:影像偵測裝置
300:頭戴式裝置
310:左眼視窗
320:右眼視窗
400:處理裝置
410:座標轉換關係建立單元
420:視點計算單元
430:圖像控制單元
500:儲存裝置
600:背景物
700:使用者
1000:可透光顯示系統
CT:座標轉換關係
E:雙眼中點
EL:左眼
P11:圖像
PL:左眼視點

Claims (20)

  1. 一種可透光顯示系統之圖像輸出方法，一可透光顯示裝置位於一背景物與一使用者之間，該圖像輸出方法包括： 偵測該使用者、該可透光顯示裝置及該背景物之位置； 建立該使用者、該可透光顯示裝置與該背景物之一座標轉換關係； 偵測該使用者之一雙眼中點及一雙眼偏心距； 依據該座標轉換關係、該雙眼中點及與該雙眼偏心距，計算該使用者於該可透光顯示裝置之一左眼視點與一右眼視點；以及 隨著一頭戴式裝置的切換，交替顯示一圖像於該左眼視點與該右眼視點。
  2. 如請求項1所述之可透光顯示系統之圖像輸出方法，其中在偵測該使用者、該可透光顯示裝置及該背景物之位置之步驟中，係利用該使用者所注視之方向偵測該背景物之位置。
  3. 如請求項1所述之可透光顯示系統之圖像輸出方法，其中建立該使用者、該可透光顯示裝置與該背景物之該座標轉換關係之步驟包括： 將該使用者之一雙眼中點由一世界三維座標系統轉換為一影像偵測裝置三維座標系統，該影像偵測裝置三維座標系統之原點係為該背景物； 將該雙眼中點由該影像偵測裝置座標系統投影至該可透光顯示裝置之一像平面二維座標系統，以取得一投影視點；以及 將該投影視點由該像平面二維座標系統轉換至一顯示平面二維座標系統。
  4. 如請求項1所述之可透光顯示系統之圖像輸出方法，其中在依據該座標轉換關係與該雙眼偏心距，計算該使用者於該可透光顯示裝置之該左眼視點與該右眼視點之步驟中，更依據該使用者之一雙眼連線傾斜角度計算該使用者於該可透光顯示裝置之該左眼視點與該右眼視點。
  5. 如請求項1所述之可透光顯示系統之圖像輸出方法，其中在交替顯示該圖像於該左眼視點與該右眼視點之步驟中，該左眼視點與該右眼視點之一交替頻率相同於該頭戴式裝置之一切換頻率。
  6. 如請求項1所述之可透光顯示系統之圖像輸出方法，其中在交替顯示該圖像於該左眼視點與該右眼視點之步驟中，該左眼視點與該右眼視點之一交替頻率相關於可透光顯示裝置之一顯示頻率。
  7. 如請求項1所述之可透光顯示系統之圖像輸出方法，其中在建立該使用者、該可透光顯示裝置與該背景物之該座標轉換關係之步驟中，該座標轉換關係相關於該可透光顯示裝置與該背景物之一距離或相關於該使用者與該背景物之一距離。
  8. 一種可透光顯示系統，包括： 一可透光顯示裝置，位於一背景物與一使用者之間； 一影像偵測裝置，用以偵測該使用者之位置、該可透光顯示裝置之位置、該背景物之位置、該使用者之一雙眼中點及該使用者之一雙眼偏心距； 一頭戴式裝置；以及 一處理裝置，包括： 一座標轉換關係建立單元，用以建立該使用者、該可透光顯示裝置與該背景物之一座標轉換關係； 一視點計算單元，用以依據該座標轉換關係、該雙眼中點與該雙眼偏心距，計算該使用者於該可透光顯示裝置之一左眼視點與一右眼視點；及 一圖像控制單元，用以隨著該頭戴式裝置的切換，控制該可透光顯示裝置交替顯示一圖像於該左眼視點與該右眼視點。
  9. 如請求項8所述之可透光顯示系統，其中該影像偵測裝置係利用該使用者所注視之方向偵測該背景物之位置。
  10. 如請求項8所述之可透光顯示系統，其中該視點計算單元該座標轉換關係建立單元係將該使用者之一雙眼中點由一世界三維座標系統轉換為一影像偵測裝置三維座標系統，該影像偵測裝置三維座標系統之原點係為該背景物；該座標轉換關係建立單元並將該雙眼中點由該影像偵測裝置座標系統投影至該可透光顯示裝置之一像平面二維座標系統，以取得一投影視點；該座標轉換關係建立單元更將該投影視點由該像平面二維座標系統轉換至一顯示平面二維座標系統。
  11. 如請求項8所述之可透光顯示系統，其中該視點計算單元更依據該使用者之一雙眼連線傾斜角度計算該使用者於該可透光顯示裝置之該左眼視點與該右眼視點。
  12. 如請求項8所述之可透光顯示系統，其中該左眼視點與該右眼視點之一交替頻率相同於該頭戴式裝置之一切換頻率或可透光該左眼視點與該右眼視點之一交替頻率相關於可透光顯示裝置之一顯示頻率。
  13. 如請求項12所述之可透光顯示系統，其中該座標轉換關係相關於該可透光顯示裝置與該背景物之一距離，或相關於該使用者與該背景物之一距離。
  14. 一種處理裝置，用以控制一可透光顯示系統，該可透光顯示系統包括一可透光顯示裝置、一影像偵測裝置及一頭戴式裝置，該可透光顯示裝置位於一背景物與一使用者之間，該影像偵測裝置用以偵測該使用者之位置、該可透光顯示裝置之位置、該背景物之位置、該使用者之一雙眼中點及該使用者之一雙眼偏心距，該處理裝置包括： 一座標轉換關係建立單元，用以建立該使用者、該可透光顯示裝置與該背景物之一座標轉換關係； 一視點計算單元，用以依據該座標轉換關係、該雙眼中點與該雙眼偏心距，計算該使用者於該可透光顯示裝置之一左眼視點與一右眼視點；以及 一圖像控制單元，用以隨著該頭戴式裝置的切換，控制該可透光顯示裝置交替顯示一圖像於該左眼視點與該右眼視點。
  15. 如請求項14所述之處理裝置，其中該影像偵測裝置係利用該使用者所注視之方向偵測該背景物之位置。
  16. 如請求項14所述之處理裝置，其中該視點計算單元該座標轉換關係建立單元係將該使用者之一雙眼中點由一世界三維座標系統轉換為一影像偵測裝置三維座標系統，該影像偵測裝置三維座標系統之原點係為該背景物；該座標轉換關係建立單元並將該雙眼中點由該影像偵測裝置座標系統投影至該可透光顯示裝置之一像平面二維座標系統，以取得一投影視點；該座標轉換關係建立單元更將該投影視點由該像平面二維座標系統轉換至一顯示平面二維座標系統。
  17. 如請求項14所述之處理裝置，其中該視點計算單元更依據該使用者之一雙眼連線傾斜角度計算該使用者於該可透光顯示裝置之該左眼視點與該右眼視點。
  18. 如請求項14所述之處理裝置，其中該左眼視點與該右眼視點之一交替頻率相同於該頭戴式裝置之一切換頻率。
  19. 如請求項14所述之處理裝置，其中該左眼視點與該右眼視點之一交替頻率相關於可透光顯示裝置之一顯示頻率。
  20. 如請求項14所述之處理裝置，其中該座標轉換關係相關於該可透光顯示裝置與該背景物之一距離，或相關於該使用者與該背景物之一距離。
TW109124730A 2020-07-22 2020-07-22 可透光顯示系統及其圖像輸出方法與處理裝置 TWI766316B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109124730A TWI766316B (zh) 2020-07-22 2020-07-22 可透光顯示系統及其圖像輸出方法與處理裝置
CN202010847487.2A CN113973199B (zh) 2020-07-22 2020-08-21 可透光显示系统及其图像输出方法与处理装置
US17/197,412 US11394953B2 (en) 2020-07-22 2021-03-10 Light transmitting display system, image output method thereof and processing device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109124730A TWI766316B (zh) 2020-07-22 2020-07-22 可透光顯示系統及其圖像輸出方法與處理裝置

Publications (2)

Publication Number Publication Date
TW202205851A true TW202205851A (zh) 2022-02-01
TWI766316B TWI766316B (zh) 2022-06-01

Family

ID=79585025

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109124730A TWI766316B (zh) 2020-07-22 2020-07-22 可透光顯示系統及其圖像輸出方法與處理裝置

Country Status (3)

Country Link
US (1) US11394953B2 (zh)
CN (1) CN113973199B (zh)
TW (1) TWI766316B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766316B (zh) * 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置
US12073530B1 (en) * 2022-09-23 2024-08-27 Apple Inc. 3D representation adjustments for communication sessions

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271534A (ja) * 1997-03-26 1998-10-09 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置
US6843563B2 (en) 2002-07-31 2005-01-18 Bausch And Lomb, Inc. Smoothly blended optical surfaces
JP2011165068A (ja) * 2010-02-12 2011-08-25 Nec System Technologies Ltd 画像生成装置、画像表示システム、画像生成方法、及びプログラム
JP5627930B2 (ja) * 2010-05-31 2014-11-19 オリンパスメモリーワークス株式会社 ３次元画像データ生成方法
JPWO2012147363A1 (ja) * 2011-04-28 2014-07-28 パナソニック株式会社 画像生成装置
TWI429275B (zh) 2011-05-12 2014-03-01 Himax Tech Ltd 產生立體視覺效果之方法與應用此方法之立體眼鏡和系統
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
TWI458530B (zh) * 2012-08-20 2014-11-01 Au Optronics Corp 娛樂顯示系統及其互動式立體顯示方法
TWI509289B (zh) 2012-08-27 2015-11-21 Innocom Tech Shenzhen Co Ltd 立體顯示裝置及其影像顯示方法
JP2016014747A (ja) * 2014-07-01 2016-01-28 Ｎｌｔテクノロジー株式会社 立体画像表示装置
CN104883556B (zh) 2015-05-25 2017-08-29 深圳市虚拟现实科技有限公司 基于增强现实的三维显示方法和增强现实眼镜
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
CN105719586A (zh) * 2016-03-18 2016-06-29 京东方科技集团股份有限公司 透明显示方法和透明显示装置
US10721456B2 (en) * 2016-06-08 2020-07-21 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
US10607417B2 (en) * 2016-06-08 2020-03-31 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
TW201842782A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
JP7087481B2 (ja) * 2018-03-13 2022-06-21 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
TWI766316B (zh) * 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置

Also Published As

Publication number Publication date
US20220030216A1 (en) 2022-01-27
US11394953B2 (en) 2022-07-19
CN113973199A (zh) 2022-01-25
CN113973199B (zh) 2024-03-26
TWI766316B (zh) 2022-06-01

Similar Documents

Publication Publication Date Title
US9881421B2 (en) Image processing
US10192361B2 (en) Head-mounted display device and computer program
US5446834A (en) Method and apparatus for high resolution virtual reality systems using head tracked display
EP0607000B1 (en) Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
WO2015068656A1 (ja) 画像生成装置および画像生成方法
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
US11663689B2 (en) Foveated rendering using eye motion
US9430878B2 (en) Head mounted display and control method thereof
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
US11720996B2 (en) Camera-based transparent display
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
US20230156176A1 (en) Head mounted display apparatus
CN107368192A (zh) Vr眼镜的实景观测方法及vr眼镜
US11449004B2 (en) System and method for holographic image display
TWI766316B (zh) 可透光顯示系統及其圖像輸出方法與處理裝置
WO2023056840A1 (zh) 三维物体的显示方法、装置、设备及介质
WO2022267694A1 (zh) 一种显示调节方法、装置、设备及介质
US10296098B2 (en) Input/output device, input/output program, and input/output method
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
JP2012244466A (ja) 立体画像処理装置
TWM630947U (zh) 立體影像播放裝置
JP6378794B1 (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
TW202225783A (zh) 裸視立體顯示器及其控制方法
US20170302904A1 (en) Input/output device, input/output program, and input/output method
US20240223740A1 (en) Method and device for adjusting depth of stereoscopic image