TW202332263A - 立體影像播放裝置及其立體影像產生方法 - Google Patents

立體影像播放裝置及其立體影像產生方法 Download PDF

Info

Publication number
TW202332263A
TW202332263A TW111103102A TW111103102A TW202332263A TW 202332263 A TW202332263 A TW 202332263A TW 111103102 A TW111103102 A TW 111103102A TW 111103102 A TW111103102 A TW 111103102A TW 202332263 A TW202332263 A TW 202332263A
Authority
TW
Taiwan
Prior art keywords
image
graphics processing
depth
stereoscopic
output
Prior art date
Application number
TW111103102A
Other languages
English (en)
Other versions
TWI817335B (zh
Inventor
佑 和
徐文正
林士豪
譚馳澔
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW111103102A priority Critical patent/TWI817335B/zh
Priority to US18/054,250 priority patent/US20230239458A1/en
Priority to EP22208181.2A priority patent/EP4216544A1/en
Publication of TW202332263A publication Critical patent/TW202332263A/zh
Application granted granted Critical
Publication of TWI817335B publication Critical patent/TWI817335B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種立體影像播放裝置，包括：處理器以及圖形處理單元，用以創建立體網格及其材質以得到立體場景，並擷取立體場景的平面影像。當平面影像並非併排影像，處理器對平面影像進行影像前處理以得到第一影像。圖形處理單元之圖形處理管線對第一影像進行深度估計以得到深度影像，並依據深度影像之深度設定以更新立體網格，並依據眼球追蹤結果以將立體網格映射至座標系統，將第一影像投射至映射後的立體網格以得到輸出立體網格，以從輸出立體網格擷取輸出併排影像。該圖形處理管線將輸出併排影像之左眼影像及右眼影像編織為輸出影像，並在立體影像顯示裝置播放輸出影像。

Description

立體影像播放裝置及其立體影像產生方法
本發明是關於立體影像顯示技術，特別是關於一種立體影像播放裝置及其立體影像產生方法。
隨著科技進步，虛擬實境(virtual reality)裝置亦變得愈來愈普及。因為虛擬實境場景需要極大的運算量，當使用者在虛擬實境場景中之位置改變或視線方位改變時，傳統的立體影像產生裝置往往僅能使用處理器(軟體)以重新計算更新後的虛擬實境場景，並從更新後的虛擬實境場景取得使用者所觀賞的左眼影像及右眼影像。上述運算方式往往會造成立體影像播放裝置中之處理器的極大負擔。
因此，需要一種立體影像播放裝置及其立體影像產生方法以解決上述問題。
本發明係提供一種立體影像播放裝置，包括：一處理器；以及一圖形處理單元，用以創建一立體網格及其材質以得到一立體場景，並擷取該立體場景的平面影像；其中，因應於該平面影像並非併排影像，該處理器對該平面影像進行影像前處理以得到一第一影像；其中，該圖形處理單元之一圖形處理管線對該第一影像進行深度估計以得到一深度影像，並依據該深度影像之深度設定以更新該立體網格，並依據該立體影像播放裝置之使用者的眼球追蹤結果以將該立體網格映射至對應的座標系統；其中，該圖形處理管線並將該第一影像投射至映射後的該立體網格以得到輸出立體網格，並將從輸出立體網格擷取輸出併排影像，其中該輸出併排影像包括一左眼影像及一右眼影像；其中，該圖形處理管線將該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
在一些實施例中，因應於該平面影像為該併排影像，該圖形處理管線直接將該併排影像中的該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
在一些實施例中，該圖形處理管線之頂點著色器係將該第一影像投射至映射後的該立體網格以得到該輸出立體網格。
在一些實施例中，該影像前處理係調整該平面影像之尺寸及格式以符合該圖形處理管線中之人工智慧模型的需求，且該人工智慧模型係對該第一影像進行深度估計以得到該深度影像。
在一些實施例中，該處理器係將該深度影像中最大深度減去最小深度以得到該深度設定。
在一些實施例中，該圖形處理管線係將該深度影像做為該立體網格之材質以更新該立體網格。
本發明更提供一種立體影像產生方法，用於一立體影像播放裝置，其中該立體影像播放裝置包括一處理器及一圖形處理單元，該方法包括：利用該圖形處理單元創建一立體網格及其材質以得到一立體場景，並擷取該立體場景的平面影像；因應於該平面影像並非併排影像，利用該處理器對該平面影像進行影像前處理以得到一第一影像；利用該圖形處理單元之一圖形處理管線對該第一影像進行深度估計以得到一深度影像，依據該深度影像之深度設定以更新該立體網格，並依據該立體影像播放裝置之使用者的眼球追蹤結果以將該立體網格映射至對應的座標系統；利用該圖形處理管線並將該第一影像投射至映射後的該立體網格以得到輸出立體網格，並將從輸出立體網格擷取輸出併排影像，其中該輸出併排影像包括一左眼影像及一右眼影像；以及利用該圖形處理管線將該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
在一些實施例中，該方法更包括：因應於該平面影像為該併排影像，利用該圖形處理管線直接將該併排影像中的該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
在一些實施例中，該方法更包括：利用該圖形處理管線之頂點著色器係將該第一影像投射至映射後的該立體網格以得到該輸出立體網格。
在一些實施例中，該影像前處理係調整該平面影像之尺寸及格式以符合該圖形處理管線中之人工智慧模型的需求，且該人工智慧模型係對該第一影像進行深度估計以得到該深度影像。
在一些實施例中，該方法更包括：將該深度影像中最大深度減去最小深度以得到該深度設定。
在一些實施例中，該立體影像播放裝置更包括一相機，用以擷取該使用者之臉部影像，且該方法更包括：利用該處理器從該臉部影像偵測該使用者之雙眼的視線方位以做為該眼球追蹤結果。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的"包含"、"包括"等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於申請專利範圍中使用如"第一"、"第二"、"第三"等詞係用來修飾申請專利範圍中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
第1圖為依據本發明一實施例中之立體影像播放裝置的方塊圖。
立體影像播放裝置10例如可為一個人電腦、伺服器、可攜式電子裝置或其他具有類似運算能力之電子裝置。如第1圖所示，立體影像播放裝置10包括主機100及立體影像顯示裝置180。主機100係連接至立體影像顯示裝置180，且主機100例如可產生一影像信號，並將該影像信號傳送至立體影像顯示裝置180進行播放。立體影像顯示裝置180可依據來自主機100之影像信號之格式以立體影像播放模式或平面影像播放模式以播放來自立體影像播放裝置100之影像信號。
主機100包括：處理器110、圖形處理單元120、記憶體單元130、儲存裝置140、相機160及傳輸介面180，其中在立體影像播放裝置100中的上述各元件係透過系統匯流排111而互相耦接。
處理器110例如為中央處理器(CPU)、一般用途處理器(general-purpose processor)等等，但本發明並不限於此。圖形處理單元120例如可為一顯示卡上的圖形處理單元或是整合至處理器110中之圖形處理單元，但本發明並不限於此。
記憶體單元130為一隨機存取記憶體，例如是動態隨機存取記憶體(DRAM)或靜態隨機存取記憶體(SRAM)，但本發明並不限於此。記憶體單元130亦可稱為系統記憶體，除了可供可供處理器110暫存資料之外，亦可做為一影像緩衝器(image buffer)。
儲存裝置140為一非揮發性記憶體(non-volatile memory)，例如可為一硬碟機(hard disk drive)、一固態硬碟(solid-state disk)、一快閃記憶體(flash memory)、或一唯讀記憶體(read-only memory)，但本發明並不限於此。舉例來說，儲存裝置140可儲存作業系統141(例如可為Windows、Linux、MacOS等等)、圖形驅動程式142及立體影像播放程式143。處理單元110例如可將作業系統141、圖形驅動程式142及立體影像播放程式143讀取至記憶體單元130並執行。圖形處理單元120例如可進行處理單元110所執行之立體影像播放程式143的繪圖處理以產生包括一或多張影像的一影像信號，並透過傳輸介面170將影像信號傳送至立體影像顯示裝置180。
傳輸介面170可為有線傳輸介面及/或無線傳輸介面，其中有線傳輸介面可包括：高解析度多媒體介面(High Definition Multimedia Interface，HDMI)、顯示埠(DisplayPort，DP)介面、嵌入式顯示埠(embedded DisplayPort，eDP)、低電壓差動訊號傳輸(low voltage differential signaling，LVDS)介面、通用序列匯流排(Universal Serial Bus，USB)介面、USB Type-C介面、雷靂(Thunderbolt)介面、數位視訊介面(DVI)、視訊圖形陣列(VGA)介面、一般用途輸入輸出(GPIO)介面、通用非同步收發傳輸器(UART)介面、序列周邊介面(SPI)介面、積體電路匯流排(I2C)介面、或其組合，且無線傳輸介面可包括：藍芽(Bluetooth)、Wi-Fi、近場通訊(NFC)介面等等，但本發明並不限於此。
相機160例如可設置在立體影像播放裝置100(或是立體影像顯示裝置180)上，用以擷取立體影像播放裝置100前方之使用者的臉部影像。此外，處理器110例如可執行一眼球追蹤程式(未繪示)，用以從該臉部影像偵測使用者之雙眼的視線方位(orientation)以做為眼球追蹤結果，其可用於立體影像播放程式143中之併排影像產生階段，其細節將詳述於後。
立體影像顯示裝置180例如可為頭戴式顯示器(head mounted display，HMD)或是裸視立體(autostereoscopic)顯示裝置，用以播放虛擬實境(virtual reality)影像或立體影像(stereoscopic image)。立體影像顯示裝置180可用本發明領域中之不同立體顯示技術所實現。舉例來説，裸視立體顯示技術可包括：視差屏障(parallax barriers)技術、柱狀透鏡式(lenticular lenses)、指向光源式(directional backlight)等等，其可輪流播放或同時播放立體影像中之左眼影像及右眼影像。頭戴式顯示器例如可包括左眼顯示面板及右眼顯示面板，用以分別播放立體影像中之左眼影像及右眼影像，並且經過相應的左眼透鏡及右眼透鏡以在使用者之左眼及右眼進行成像，進而產生立體視覺。本發明領域中具有通常知識者當可了解頭戴式顯示器及裸視立體顯示裝置之相關播放機制，故其細節於此不再贅述。
立體影像播放程式143包括併排影像偵測模組144、影像前處理模組145、併排影像產生模組146及影像編織模組147。併排影像偵測模組144係用以偵測所接收的平面影像是否為併排影像(side-by-side image)，其中併排影像為左眼影像及右眼影像併排的影像。影像前處理模組145係用以調整所接收的平面影像之尺寸及/或格式轉換，且處理後之平面影像之尺寸及/或格式係符合立體影像播放程式143及圖形處理單元120所執行之人工智慧模型(AI model)進行深度估計之需求。
併排影像產生模組146係利用圖形處理單元120依據深度設定(depth setting)而更新的立體網格並依據眼球追蹤結果進行座標映射以產生併排影像，其細節將詳述於後。
第2圖為依據本發明一實施例中之平面影像、立體網格及平面網格的示意圖。
第2圖包含區域210、220及230，其中區域210為二維網格(two-dimensional mesh)的示意圖，區域220為三維網格(three-dimensional mesh)的示意圖，區域230則為三維場景的示意圖。舉例來説，在區域210的二維網格包括在X-Y平面上依序排列的複數個三角形，且各個三角形均具有一組頂點(vertices)。圖形處理單元120中之圖形處理管線121會先產生三維場景相應的二維網格，並給予二維網格中之各三角形的頂點一特定高度(height)(即Z軸方向)即可得到區域220所示的三維網格，其中Z軸方向即表示場景深度。最後，圖形處理管線121再將各個三角形相應的材質貼上即可得到區域230所示的三維場景。
第3圖為依據本發明一實施例中之使用圖形處理管線的立體影像產生方法之流程的示意圖。請同時參考第1圖及第3圖。
流程300開始於初始化階段310，其中初始化階段310包括方塊312、314及316。方塊312：創建立體網格。舉例來説，圖形處理單元120之圖形處理管線121在進行繪圖處理時，會先創建三維場景相應的立體網格(3D mesh)，如第2圖之區域220所示。
方塊314：創建材質。舉例來説，立體網格包括複數個三角形，且各個三角形均有相應的材質(texture)。圖形處理管線121會一併創建各三角形相應的材質，且圖形處理管線121的頂點著色器(vertex shader)在進行繪圖處理時再將各三角形的材質貼上即可得到三維場景。
方塊316：開始影像擷取。舉例來説，儘管圖形處理單元120已產生三維場景，但主機100仍然要產生相應的立體影像才能在立體影像顯示裝置180上進行播放。此時，處理器110可從對三維場景進行影像擷取以得到該三維場景的平面影像。
方塊318：判斷影像是否已到達。舉例來説，在第3圖之流程中，最後在方塊340可成功產生立體影像，則方塊318會判斷影像已到達。若在方塊340未成功產生立體影像，則方塊318會判斷影像未到達，故會執行方塊320以停止影像擷取。
方塊322：併排影像偵測。方塊324:判斷是否為併排影像。舉例來説，併排影像偵測模組144係用以偵測圖形處理單元120所產生的平面影像是否為併排影像(side-by-side image)，其中併排影像為左眼影像及右眼影像併排的影像。若在方塊324偵測到平面影像為併排影像，則進入方塊340。若在方塊324偵測到平面影像並非併排影像，則進入方塊326。
方塊326:影像前處理。舉例來説，影像前處理模組145係用以調整圖形處理單元120所產生的平面影像之尺寸及格式轉換，且處理後之平面影像之尺寸及/或格式係符合立體影像播放程式143及圖形處理單元120所執行之人工智慧模型(AI model)進行深度估計之需求。需注意的是，上述人工智慧模型對其輸入影像進行深度估計時，輸入影像之格式及/或尺寸(解析度)需符合上述人工智慧模型的要求。
方塊328:深度估計。舉例來説，圖形處理單元120所執行之人工智慧模型已事先訓練完成，其取得單一張輸入影像(即平面影像)即可判斷在該輸入影像中之物件相應的深度(depth)。因此，圖形處理單元120可取得平面影像之深度設定，其中上述深度設定例如可為深度效應強度參數(depth effect strength parameter)，其可為該平面影像在Z軸方向的最大深度減去最小深度。於一實施例中，本發明之深度估計可為每幀(Frame)皆進行估計，也就是針對輸入的每幀影像皆產生對應其之深度圖(depth map)。
併排影像產生階段330包括方塊332、334、336及338。方塊332:更新立體網格。舉例來説，圖形處理單元120之圖形處理管線121可依據平面影像之深度設定以更新立體網格，其中圖形處理管線121之頂點著色器可將在方塊328所得到的深度圖(depth map)或深度影像(depth image)做為在立體網格中之相應的三角形之材質。於一實施例中，使用者可動態調整深度設定值，例如是顯示平面深度為0，向螢幕方向的深度值最大為-10，則使用者可依據自身需求將深度設定為0至-6，則最大深度值將為-6; 於另一實施例中，使用者可將深度值的區間設定為-3至-9; 依此，圖形處理管線121可依據平面影像之深度設定以更新立體網格。
方塊334：座標系統映射。舉例來説，圖形處理單元120依據眼球追蹤結果以對立體網格進行座標映射。當使用者配戴頭戴式顯示器或觀看裸視立體顯示裝置時，使用者可能會調整身體或頭部的位置、或是調整眼球的視線方向，這些動作都會影響到主機100在計算使用者觀看之虛擬實境場景(即三維場景)的立體影像。舉例來説，當使用者有上述動作時，可視為在虛擬實境場景中的左相機及右相機(對應於使用者之左眼及右眼)的位置亦隨著改變，故圖形處理單元120需要重新計算左相機及右相機在改變後之位置所拍攝到的虛擬實境場景的左側影像及右側影像以分別做為使用者觀賞的左眼影像及右眼影像。
方塊336：將影像投射至立體網格。舉例來説，經過方塊332及334，可確定使用者的雙眼在更新及映射後所得到的立體網格的相對位置及距離(或深度)，故此時圖形處理管線121可將平面影像投射至立體網格上以得到更新後的虛擬實境場景。
方塊338：產生併排影像。因為在方塊336已得到更新後的虛擬實境場景，故此時處理器110(或圖形處理單元120)可利用更新後的虛擬實境場景中的左相機及右相機進行拍攝以得到左眼影像及右眼影像，並將左眼影像及右眼影像進行併排以得到併排影像。
方塊340：影像編織(weaving)處理。舉例來説，對於某些立體影像顯示裝置(例如裸視立體顯示裝置)來説，需要同時播放左眼影像及右眼影像，以讓使用者感受到立體視覺。此類的立體影像顯示裝置之輸入影像格式需為編織影像(weaved image)，例如奇數線為左眼影像且偶數線為右眼影像、或是奇數線為右眼影像且偶數線為左眼影像。
在本發明中，因為圖形處理單元120之圖形處理管線121是專用的硬體電路，且當使用者在虛擬實境場景中的位置或視線改變時，圖形處理管線121可快速地更新立體網格及計算映射後的座標系統，並且可在映射後的立體網格貼上平面影像以得到更新後的立體場景。因此，本發明可利用圖形處理單元120之圖形處理管線121快速地計算出左相機及右相機在改變後之位置所拍攝到的虛擬實境場景的左側影像及右側影像，並且產生相應的併排影像及編織影像以供立體影像顯示裝置180進行播放。於一實施例中，圖形處理單元120之圖形處理管線121同時儲存每幀影像皆產生對應其之深度圖(depth map)，如此一來，藉由於同一圖形處理管線121同時處理深度圖(depth map)及所擷取之每幀影像，處理速度將會非常快。
第4圖為依據本發明一實施例中之立體影像產生方法的流程圖。請同時參考第1、3、4圖。
在步驟S410，利用圖形處理單元120創建立體網格及其材質。舉例來説，立體網格包括複數個三角形，且各個三角形均有相應的材質(texture)。圖形處理管線121會一併創建各三角形相應的材質，且圖形處理管線121的頂點著色器(vertex shader)在進行繪圖處理時再將各三角形的材質貼上即可得到三維場景。
在步驟S420，擷取該立體網格的平面影像。舉例來説，儘管圖形處理單元120已產生三維場景，但主機100仍然要產生相應的立體影像才能在立體影像顯示裝置180上進行播放。此時，處理器110可從對三維場景進行影像擷取以得到該三維場景的平面影像。
在步驟S430，因應於該平面影像並非併排影像，對該平面影像進行影像前處理以得到一第一影像。舉例來説，影像前處理模組145係用以調整圖形處理單元120所產生的平面影像之尺寸及/或格式轉換，且處理後之平面影像之尺寸及/或格式以符合立體影像播放程式143及圖形處理單元120所執行之人工智慧模型(AI model)進行深度估計之需求。需注意的是，上述人工智慧模型對其輸入影像進行深度估計時，輸入影像之格式及/或尺寸(解析度)需符合上述人工智慧模型的需求。
在步驟S440，利用該圖形處理單元之圖形處理管線對該第一影像進行深度估計以得到一深度影像。舉例來説，圖形處理單元120所執行之人工智慧模型已事先訓練完成，且可取得單一張輸入影像(即平面影像)即可判斷在該輸入影像中之物件相應的深度(depth)。因此，圖形處理單元120可取得平面影像之深度設定，其中上述深度設定例如可為深度效應強度參數(depth effect strength parameter)，其可為該平面影像在Z軸方向的最大深度減去最小深度。此外，圖形處理單元120會對每張輸入影像判斷其相應的深度圖。
在步驟S450，利用該深度影像以更新該立體網格，並依據使用者之眼球追蹤結果以將該立體網格映射至對應的座標系統。舉例來説，圖形處理單元120依據眼球追蹤結果以對立體網格進行座標映射。當使用者配戴頭戴式顯示器或觀看裸視立體顯示裝置時，使用者可能會調整身體或頭部的位置、或是調整眼球的視線方向，這些動作都會影響到主機100在計算使用者觀看之虛擬實境場景(即三維場景)的立體影像。舉例來説，當使用者有上述動作時，可視為在虛擬實境場景中的左相機及右相機(對應於使用者之左眼及右眼)的位置亦隨著改變，故圖形處理單元120需要重新計算左相機及右相機在改變後之位置所拍攝到的虛擬實境場景的左側影像及右側影像以分別做為使用者觀賞的左眼影像及右眼影像。
在步驟S460，將該第一影像投射至映射後的該立體網格以得到輸出立體網格。舉例來説，經過步驟S440及S450，可確定使用者的雙眼在更新及映射後所得到的立體網格的相對位置及距離(或深度)，故此時圖形處理管線121中之頂點著色器可將平面影像投射至立體網格上以得到更新後的虛擬實境場景(即三維場景)。
在步驟S470，從輸出立體網格擷取輸出併排影像，其中該輸出併排影像包括一左眼影像及一右眼影像。因為在步驟S460已得到更新後的虛擬實境場景，故此時處理器110(或圖形處理單元120)可利用更新後的虛擬實境場景中的左相機及右相機進行拍攝以得到左眼影像及右眼影像，並將左眼影像及右眼影像進行併排以得到併排影像。
在步驟S480，將該左眼影像及該右眼影像編織為一輸出影像，並在立體顯示裝置播放該輸出影像。舉例來説，對於某些立體影像顯示裝置(例如裸視立體顯示裝置)來説，需要同時播放左眼影像及右眼影像，以讓使用者感受到立體視覺。此類的立體影像顯示裝置之輸入影像格式需為編織影像(weaved image)，例如奇數線為左眼影像且偶數線為右眼影像、或是奇數線為右眼影像且偶數線為左眼影像。
綜上所述，本發明係提供一種立體影像播放裝置及立體影像產生方法，其可利用圖形處理單元之圖形處理管線的人工智慧模型以快速地判斷出平面影像中之各物件的深度，且圖形處理管線可快速地更新立體網格及計算映射後的座標系統，並且可在映射後的立體網格貼上平面影像以得到更新後的立體場景。因此，當使用者在立體場景中之位置有變化或是視線改變時，本發明可利用圖形處理單元之圖形處理管線快速地計算出左相機及右相機在改變後之位置所拍攝到的虛擬實境場景的左側影像及右側影像，並且產生相應的併排影像及編織影像以供立體影像顯示裝置進行播放，進而提高輸出的立體影像之影像品質並增加播放立體影像時的運算速度。相比於傳統藉由像素偏移方法將原始影像依據深度圖資訊來進行像素偏移以得到另一眼影像，本發明藉由立體網格可依據使用者需求及位置移動而快速計算得另一眼影像而不需額外的計算。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10:立體影像播放裝置 100:主機 110:處理器 111:系統匯流排 120:圖形處理單元 121:圖形處理管線 130:記憶體單元 140:儲存裝置 141:作業系統 142:圖形驅動程式 143:立體影像播放程式 144:併排影像偵測模組 145:影像前處理模組 146:併排影像產生模組 147:影像編織模組 160:相機 170:傳輸介面 180:立體影像顯示裝置 210、220、230:區域 310:初始化階段 312-328:方塊 330:併排影像產生階段 332-340:方塊 S410-S480:步驟
第1圖為依據本發明一實施例中之立體影像播放裝置的方塊圖。 第2圖為依據本發明一實施例中之平面影像、立體網格及平面網格的示意圖。 第3圖為依據本發明一實施例中之使用圖形處理管線的立體影像產生方法之流程的示意圖。 第4圖為依據本發明一實施例中之立體影像產生方法的流程圖。
10:立體影像播放裝置
100:主機
110:處理器
111:系統匯流排
120:圖形處理單元
121:圖形處理管線
130:記憶體單元
140:儲存裝置
141:作業系統
142:圖形驅動程式
143:立體影像播放程式
144:併排影像偵測模組
145:影像前處理模組
146:併排影像產生模組
147:影像編織模組
160:相機
170:傳輸介面
180:立體影像顯示裝置

Claims (14)

  1. 一種立體影像播放裝置，包括： 一處理器；以及 一圖形處理單元，用以創建一立體網格及其材質以得到一立體場景，並擷取該立體場景的平面影像； 其中，因應於該平面影像並非併排影像，該處理器對該平面影像進行影像前處理以得到一第一影像； 其中，該圖形處理單元之一圖形處理管線對該第一影像進行深度估計以得到一深度影像，並依據該深度影像之深度設定以更新該立體網格，並依據該立體影像播放裝置之使用者的眼球追蹤結果以將該立體網格映射至對應的座標系統； 其中，該圖形處理管線並將該第一影像投射至映射後的該立體網格以得到輸出立體網格，並將從該輸出立體網格擷取輸出併排影像，其中該輸出併排影像包括一左眼影像及一右眼影像； 其中，該圖形處理管線將該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
  2. 如請求項1之立體影像播放裝置，其中因應於該平面影像為該併排影像，該圖形處理管線直接將該併排影像中的該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
  3. 如請求項1之立體影像播放裝置，其中該圖形處理管線之頂點著色器係將該第一影像投射至映射後的該立體網格以得到該輸出立體網格。
  4. 如請求項1之立體影像播放裝置，其中該影像前處理係調整該平面影像之尺寸及格式以符合該圖形處理管線中之人工智慧模型的需求，且該人工智慧模型係對該第一影像進行深度估計以得到該深度影像。
  5. 如請求項1之立體影像播放裝置，其中該處理器係將該深度影像中最大深度減去最小深度以得到該深度設定。
  6. 如請求項1之立體影像播放裝置，更包括：一相機，用以擷取該使用者之臉部影像，且該處理器係從該臉部影像偵測該使用者之雙眼的視線方位以做為該眼球追蹤結果。
  7. 如請求項1之立體影像播放裝置，其中該圖形處理管線係將該深度影像做為該立體網格之材質以更新該立體網格。
  8. 一種立體影像產生方法，用於一立體影像播放裝置，其中該立體影像播放裝置包括一處理器及一圖形處理單元，該方法包括： 利用該圖形處理單元創建一立體網格及其材質以得到一立體場景，並擷取該立體場景的平面影像； 因應於該平面影像並非併排影像，利用該處理器對該平面影像進行影像前處理以得到一第一影像； 利用該圖形處理單元之一圖形處理管線對該第一影像進行深度估計以得到一深度影像，依據該深度影像之深度設定以更新該立體網格，並依據該立體影像播放裝置之使用者的眼球追蹤結果以將該立體網格映射至對應的座標系統； 利用該圖形處理管線並將該第一影像投射至映射後的該立體網格以得到輸出立體網格，並將從該輸出立體網格擷取輸出併排影像，其中該輸出併排影像包括一左眼影像及一右眼影像；以及 利用該圖形處理管線將該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
  9. 如請求項8之立體影像產生方法，更包括：因應於該平面影像為該併排影像，利用該圖形處理管線直接將該併排影像中的該左眼影像及該右眼影像編織為一輸出影像，並在一立體影像顯示裝置播放該輸出影像。
  10. 如請求項8之立體影像產生方法，更包括：利用該圖形處理管線之頂點著色器係將該第一影像投射至映射後的該立體網格以得到該輸出立體網格。
  11. 如請求項8之立體影像產生方法，其中該影像前處理係調整該平面影像之尺寸及格式以符合該圖形處理管線中之人工智慧模型的需求，且該人工智慧模型係對該第一影像進行深度估計以得到該深度影像。
  12. 如請求項8之立體影像產生方法，更包括：將該深度影像中最大深度減去最小深度以得到該深度設定。
  13. 如請求項8之立體影像產生方法，其中該立體影像播放裝置更包括一相機，用以擷取該使用者之臉部影像，且該方法更包括：利用該處理器從該臉部影像偵測該使用者之雙眼的視線方位以做為該眼球追蹤結果。
  14. 如請求項8之立體影像產生方法，更包括：利用該圖形處理管線係將該深度影像做為該立體網格之材質以更新該立體網格。
TW111103102A 2022-01-25 2022-01-25 立體影像播放裝置及其立體影像產生方法 TWI817335B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111103102A TWI817335B (zh) 2022-01-25 2022-01-25 立體影像播放裝置及其立體影像產生方法
US18/054,250 US20230239458A1 (en) 2022-01-25 2022-11-10 Stereoscopic-image playback device and method for generating stereoscopic images
EP22208181.2A EP4216544A1 (en) 2022-01-25 2022-11-17 Stereoscopic-image playback device and method for generating stereoscopic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111103102A TWI817335B (zh) 2022-01-25 2022-01-25 立體影像播放裝置及其立體影像產生方法

Publications (2)

Publication Number Publication Date
TW202332263A true TW202332263A (zh) 2023-08-01
TWI817335B TWI817335B (zh) 2023-10-01

Family

ID=84358717

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111103102A TWI817335B (zh) 2022-01-25 2022-01-25 立體影像播放裝置及其立體影像產生方法

Country Status (3)

Country Link
US (1) US20230239458A1 (zh)
EP (1) EP4216544A1 (zh)
TW (1) TWI817335B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
CN113358045A (zh) * 2015-11-04 2021-09-07 奇跃公司 光场显示度量
JP7187446B2 (ja) * 2016-05-27 2022-12-12 ホロビルダー インコーポレイテッド 拡張された仮想現実
CN113096234B (zh) * 2019-12-23 2022-09-06 复旦大学 利用多张彩色图片生成三维网格模型的方法及装置
TWM630947U (zh) * 2022-01-25 2022-08-21 宏碁股份有限公司 立體影像播放裝置

Also Published As

Publication number Publication date
EP4216544A1 (en) 2023-07-26
US20230239458A1 (en) 2023-07-27
TWI817335B (zh) 2023-10-01

Similar Documents

Publication Publication Date Title
US20210075963A1 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
US8750599B2 (en) Stereoscopic image processing method and apparatus
US20110306413A1 (en) Entertainment device and entertainment methods
WO2019159617A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
JP2016522485A (ja) 再構成からの隠消現実感効果および媒介現実感効果
WO2014105646A1 (en) Low-latency fusing of color image data in a color sequential display system
JP2012058968A (ja) プログラム、情報記憶媒体及び画像生成システム
US11539935B2 (en) Videotelephony with parallax effect
CN114631127A (zh) 说话头的小样本合成
US20190180504A1 (en) Stereoscopic Rendering of Virtual 3D Objects
US9225968B2 (en) Image producing apparatus, system and method for producing planar and stereoscopic images
KR102459850B1 (ko) 3d 이미지 처리 방법 및 장치, 및 그래픽 처리 장치
TWM630947U (zh) 立體影像播放裝置
US11128836B2 (en) Multi-camera display
US10796485B2 (en) Rendering objects in virtual views
US11748918B1 (en) Synthesized camera arrays for rendering novel viewpoints
TWI817335B (zh) 立體影像播放裝置及其立體影像產生方法
US20240137483A1 (en) Image processing method and virtual reality display system
EP4358509A1 (en) Image processing method and virtual reality display system
CN116708737A (zh) 立体影像播放装置及其立体影像产生方法
US20240029363A1 (en) Late stage occlusion based rendering for extended reality (xr)
US20240078743A1 (en) Stereo Depth Markers