TW202127870A - 多視點3d顯示屏、多視點3d顯示設備 - Google Patents

多視點3d顯示屏、多視點3d顯示設備 Download PDF

Info

Publication number
TW202127870A
TW202127870A TW109142885A TW109142885A TW202127870A TW 202127870 A TW202127870 A TW 202127870A TW 109142885 A TW109142885 A TW 109142885A TW 109142885 A TW109142885 A TW 109142885A TW 202127870 A TW202127870 A TW 202127870A
Authority
TW
Taiwan
Prior art keywords
sub
pixels
composite
viewpoint
view
Prior art date
Application number
TW109142885A
Other languages
English (en)
Other versions
TWI772997B (zh
Inventor
刁鴻浩
玲溪 黃
Original Assignee
新加坡商視覺技術創投私人有限公司
大陸商北京芯海視界三維科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商視覺技術創投私人有限公司, 大陸商北京芯海視界三維科技有限公司 filed Critical 新加坡商視覺技術創投私人有限公司
Publication of TW202127870A publication Critical patent/TW202127870A/zh
Application granted granted Critical
Publication of TWI772997B publication Critical patent/TWI772997B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明涉及3D顯示技術領域,公開一種多視點3D顯示屏,包括:顯示面板,具有多個複合像素,多個複合像素中的每個複合像素包括多個複合子像素,多個複合子像素中的每個複合子像素包括呈陣列的多個子像素;和多個球面光柵,覆蓋多個複合子像素。該多視點3D顯示屏能夠向具有不同觀看距離的用戶播放3D效果,實現高質量的3D顯示。本發明還公開一種多視點3D顯示設備。

Description

多視點3D顯示屏、多視點3D顯示設備
本發明涉及3D顯示技術領域,例如涉及多視點3D顯示屏、多視點3D顯示設備。
目前,3D顯示設備通過柱鏡光柵折射像素發出的光以實現3D顯示效果。
在實現本發明實施例的過程中,發現相關技術中至少存在如下問題:固定光學性質的柱鏡光柵配合像素能形成沿顯示設備橫向排列的多個視點,對於具有不同觀看距離的多個用戶來說,部分用戶看到的3D效果可能不佳,或者看不到3D效果。
為了對披露的實施例的一些方面有基本的理解,下面給出了簡單的概括。該概括不是泛泛評述,也不是要確定關鍵/重要組成元素或描繪這些實施例的保護範圍,而是作為後面的詳細說明的序言。
本發明實施例提供了一種多視點3D顯示屏、多視點3D顯示設備,以解決具有不同觀看距離的用戶無法同時觀看3D效果的問題。
在本發明的一些實施例中,提供了一種多視點3D顯示屏,包括:顯示面板,具有多個複合像素,多個複合像素中的每個複合像素包括多個複合子像素,多個複合子像素中的每個複合子像素包括呈陣列的多個子像素;和多個球面光柵,覆蓋多個複合子像素。
在一些實施例中,每個複合子像素呈正方形。
在一些實施例中,多個子像素中的每個子像素呈正方形。
在一些實施例中,多個子像素呈i×j陣列,其中,j≥2,i≥2。
在一些實施例中,多個子像素中的每個子像素的縱橫比為i/j。
在一些實施例中,i≥3,j≥3。
在一些實施例中,多個複合子像素具有不同顏色,具有不同顏色的多個複合子像素交替排列。
在一些實施例中,具有不同顏色的多個複合子像素呈三角形排列。
在一些實施例中,多個球面光柵中的至少一個球面光柵為圓球面光柵或橢圓球面光柵。
在一些實施例中,多個球面光柵中的至少一個球面光柵還包括至少一個側面。
在本發明的一些實施例中,提供了一種多視點3D顯示設備,包括:如上所述的多視點3D顯示屏;和3D處理裝置,被配置為渲染多視點3D顯示屏中的多個複合子像素中的子像素。
在一些實施例中,每個複合子像素包括呈i×j陣列的多個子像素;其中,i×j陣列的多個子像素對應於多視點3D顯示設備的i個第一方向視點和j個第二方向視點。
在一些實施例中,多視點3D顯示設備還包括:眼部定位資料獲取裝置,被配置為獲取眼部定位資料。
在一些實施例中,眼部定位資料獲取裝置被配置為獲取用戶的眼部的橫向位置以確定用戶眼部所處的第一方向視點。
在一些實施例中,3D處理裝置被配置為基於用戶眼部所處的第一方向視點渲染呈陣列的多個子像素中對應第一方向視點的子像素。
在一些實施例中,眼部定位資料獲取裝置被配置為獲取用戶眼部的深度位置和高度位置中至少之一以確定用戶眼部所處的第二方向視點。
在一些實施例中,3D處理裝置被配置為基於用戶眼部所處的第二方向視點渲染呈陣列的多個子像素中對應第二方向視點的子像素。
本發明實施例提供的多視點3D顯示屏、多視點3D顯示設備,可以實現以下技術效果:
被球面光柵覆蓋的像素向與多視點3D顯示屏距離不同的多個視點所對應的空間位置分別播放3D圖像,滿足具有不同觀看距離的用戶各自的3D觀看需求,實現高質量的3D顯示。
以上的總體描述和下文中的描述僅是示例性和解釋性的,不用於限制本發明。
為了能夠更加詳盡地瞭解本發明實施例的特點與技術內容,下面結合圖式對本發明實施例的實現進行詳細闡述,所附圖式僅供參考說明之用,並非用來限定本發明實施例。
根據本發明的實施例提供了一種多視點3D顯示屏(例如:多視點裸眼3D顯示屏),可以應用於多視點3D顯示設備。多視點3D顯示屏包括顯示面板和多個球面光柵。顯示面板具有多個複合像素,每個複合像素包括多個複合子像素,每個複合子像素由i×j陣列子像素構成,其中i≥2,j≥2。多個球面光柵覆蓋多個複合子像素。i×j陣列子像素中,i對應於多視點3D顯示設備的第一方向視點(例如行視點,又稱為橫向視點),j對應於多視點3D顯示設備的第二方向視點(例如列視點,又稱為高度或深度視點)。在一些實施例中,每個複合子像素的i×j陣列子像素為i×j陣列同色子像素。
在一些實施例中,多視點3D顯示屏中的球面光柵與複合子像素是一一對應的關係。
在一些實施例中,i≥3,j≥3。
圖1至圖3示出了根據本發明實施例的多視點3D顯示屏110。多視點3D顯示屏110包括顯示面板111和覆蓋顯示面板111的多個球面光柵190。顯示面板111具有多個複合像素400,每個複合像素400包括多個複合子像素。在所示出的實施例中,每個複合像素400包括三個不同顏色的複合子像素,分別為紅色複合子像素410、綠色複合子像素420和藍色複合子像素430。紅色複合子像素410由i列j行(i×j陣列)紅色子像素R構成,綠色複合子像素420由i列j行(i×j陣列)綠色子像素G構成,藍色複合子像素430由i列j行(i×j陣列)藍色子像素B構成。圖1示出了由i×j陣列紅色子像素R構成的紅色複合子像素410作為示例。
在一些實施例中,每個複合子像素呈正方形。在每個複合子像素的i×j陣列同色子像素中,每個子像素的縱橫比等於i/j。在一些實施例中,每個複合子像素中的每個子像素為正方形。
如圖1和圖2所示,紅色複合子像素410的i×j陣列紅色子像素R中,i=6,j=3。綠色複合子像素420的i×j陣列綠色子像素G中,i=6,j=3。藍色複合子像素420的i×j陣列綠色子像素G中,i=6,j=3。每個顏色的複合子像素中的6×3陣列同色子像素對應於多視點3D顯示設備的6個行視點和3個列視點。
可以想到在其他實施例中,複合子像素和子像素可以有其他的構型。例如,i×j陣列同色子像素中的每個子像素呈正方形,每個子像素的縱橫比i/j=1。
在一些實施例中,不同顏色的複合子像素在所述顯示面板中交替排列,每個複合像素的所述多個複合子像素呈三角形排列。
如圖2所示,複合像素400中的紅色複合子像素410、綠色複合子像素420和藍色複合子像素430呈三角形排列。在顯示面板111的橫向上,紅色複合子像素410、綠色複合子像素420和藍色複合子像素430交替排列。複合像素400之間交錯排列。
在一些實施例中,多視點3D顯示屏110的顯示面板111可包括m列n行個(即m×n陣列)複合像素並因此限定出m×n的顯示解析度。在一些實施例中,m×n的顯示解析度可以為全高清(FHD)以上的解析度,包括但不限於:1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。
在本發明的實施例中,每個複合子像素具有對應於視點的相應子像素。每個複合子像素的多個子像素在多視點3D顯示屏上呈陣列佈置,且呈陣列形式的多個子像素的顏色相同。由於3D顯示設備的多個視點是大致沿多視點3D顯示屏的橫向和縱向排布的,這樣,在用戶前後和左右移動導致眼部處於不同方位的視點時,需要相應動態渲染每個複合子像素中對應於相應視點的不同子像素。由於每個複合子像素中的同色子像素呈陣列佈置,所以能夠避免由於視覺暫留帶來的串色問題。此外,由於光柵的折射,有可能會在相鄰的視點位置看見當前顯示子像素的一部分,而通過同色、同行排列,即使當前顯示子像素的一部分被看見,也不會出現混色的問題。
在一些實施例中,多個球面光柵在顯示面板的表面排列且各自覆蓋一個複合子像素。多個球面光柵中的每個球面光柵例如可以包括圓球面從而構成圓球面光柵。在另一些實施例中,多個球面光柵中的每個球面光柵包括橢圓球面從而構成橢圓球面光柵。在另一些實施例中,球面光柵包括圓球面和側截面。在另一些實施例中,球面光柵包括橢圓球面和側截面。
圖3示出了球面光柵的一個示例。如圖所示,一個球面光柵190對應於一個複合子像素,例如紅色複合子像素410。球面光柵190包括例如呈正方形的底平面193和與底平面193對置的圓球面192,以及連接在圓球面192與底平面193之間的側截面191。
圖4示出了球面光柵的另一個示例。如圖所示,一個球面光柵190對應於一個複合子像素,例如綠色複合子像素420。球面光柵190包括例如呈圓形的底平面193和連接底平面193的圓球面192。
在其他實施例中,球面光柵的底平面可以有其他形狀,例如六邊形、三角形等。
在一些實施例中,球面光柵的球面側設有與球面光柵的折射率不同的另一折射層,這另一折射層的朝向球面光柵的表面為凹面並與球面光柵的球面以凹凸配合的方式貼合,背向球面光柵的表面為平面,例如為平行於球面光柵的底平面的平面。
根據本發明實施例的多視點3D顯示屏110可以應用在多視點3D顯示設備中。根據本發明的實施例,多視點3D顯示設備包括多視點3D顯示屏、視頻信號介面和3D處理裝置。視頻信號介面配置為接收3D視頻信號的視頻幀。3D處理裝置配置為依據所接收的3D視頻信號的視頻幀渲染每個複合子像素中的相關子像素。
圖5A示出了根據本發明實施例的多視點3D顯示設備100。如圖5A所示,多視點3D顯示設備100包括多視點3D顯示屏110、3D處理裝置130和配置為接收3D內容如3D視頻信號的3D信號介面(如視頻信號介面140)。
在一些實施例中,3D視頻信號包括視頻幀。
在一些實施例中,3D處理裝置為FPGA或ASIC晶片或FPGA或ASIC晶片組。在一些實施例中,多視點3D顯示設備100也可設置有一個以上3D處理裝置130,它們並行、串行或串並行結合地處理對多視點3D顯示屏110的各複合像素的各複合子像素的子像素的渲染。本領域技術人員將明白,一個以上3D處理裝置可以有其他的方式分配且並行處理多視點3D顯示屏110的多行多列複合像素或複合子像素,這落入本發明實施例的範圍內。在一些實施例中,3D處理裝置130還可以選擇性地包括緩存器131,以便緩存所接收到的視頻幀。
在一些實施例中,3D處理裝置與多視點3D顯示屏通信連接。在一些實施例中,3D處理裝置與多視點3D顯示屏的驅動裝置通信連接。
參見圖5A,多視點3D顯示設備100還可包括通過視頻信號介面140通信連接至3D處理裝置130的處理器120。在一些實施例中,處理器被包括在計算機或智能終端中,這樣的智能終端例如為移動終端。或者,處理器可以作為計算機或智能終端的處理器單元。但是可以想到,在一些實施例中,處理器120可以設置在多視點3D顯示設備100的外部,例如多視點3D顯示設備100可以為帶有3D處理裝置的多視點3D顯示器,例如非智能的3D電視。
在一些實施例中,多視點3D顯示設備內部包括處理器。基於此,3D信號介面140為連接處理器120與3D處理裝置130的內部介面。這樣的3D顯示設備100例如可以是移動終端,3D信號介面140可以為MIPI、mini-MIPI介面、LVDS介面、min-LVDS介面或Display Port介面。
在一些實施例中,如圖5A所示,多視點3D顯示設備100的處理器120還可包括暫存器121。暫存器121可配置為暫存指令、資料和地址。在一些實施例中,暫存器121可被配置為接收有關多視點3D顯示屏110的顯示要求的資訊。在一些實施例中,多視點3D顯示設備100還可以包括編解碼器,配置為對壓縮的3D視頻信號解壓縮和編解碼並將解壓縮的3D視頻信號經3D信號介面140發送至3D處理裝置130。
在一些實施例中,多視點3D顯示屏110的每個複合子像素的i×j陣列同色子像素對應於多視點3D顯示設備的i個第一方向視點和j個第二方向視點。第一方向視點可以是行視點,或者稱為橫向視點,對應於用戶在多視點3D顯示屏橫向(X軸方向)上的視點位置。第二方向視點可以是列視點,或者稱為深度或高度視點,對應於用戶在多視點3D顯示屏豎向(Y軸方向)和/或深度方向(Z軸方向)的視點位置。在本發明實施例中,深度由用戶相對於多視點3D顯示屏的距離來限定。
如圖6所示,示出了由i×j陣列紅色子像素R構成的紅色複合子像素410與多視點3D顯示設備的i個第一方向視點和j個第二方向視點的對應關係。為清楚起見,以每個視點對應的子像素的坐標來標識每個視點。每個紅色子像素R的坐標以該子像素在紅色複合子像素的i×j紅色子像素陣列中的位置Rii jj 為准進行標識。如圖所示,i×j紅色子像素陣列中,第一行左起第一個紅色子像素R的坐標為Ri1 j1 ,第一行左起第二個紅色子像素的坐標為Ri2 j1 ,以此類推,第三行左起第六個紅色子像素R的坐標為Ri6 j3 。相應地,與i×j紅色子像素陣列中第一行左起第一個紅色子像素Ri1 j1 對應的視點為Vi1 j1 ,與第一行左起第二個紅色子像素Ri2 j1 對應的視點為Vi2 j1 ,以此類推,與第三行左起第六個紅色子像素Ri6 j3 對應的視點為Vi6 j3 。其它顏色複合子像素與視點的對應關係可以參照上述紅色複合子像素與視點的對應關係而類推。
下面參見圖7A至圖7E來描述根據本發明的實施例的多視點3D顯示設備內的3D視頻信號的傳輸和顯示。在所示出的實施例中,多視點3D顯示設備可限定出多個視點,例如i個第一方向視點和j個第二方向視點。用戶的眼部在每個視點(空間位置)可看到顯示面板中每個複合像素的複合子像素中相應的子像素的顯示。用戶的兩隻眼部在不同的視點看到的兩個不同畫面形成視差,在大腦中合成3D的畫面。
在本發明的一些實施例中,3D處理裝置130通過例如作為內部介面的視頻信號介面140從處理器120接收例如為解壓縮的3D視頻信號的視頻幀。每個視頻幀可包含兩幅圖像或者包含複合圖像,或者由其構成。
在一些實施例中,兩幅圖像或複合圖像可以包括不同類型的圖像以及可以呈各種排布形式。
在圖7A所示的實施例中,3D視頻信號的視頻幀包含並列格式的兩幅圖像601、602或由其構成。在一些實施例中,兩幅圖像可以分別為左眼視差圖像和右眼視差圖像。在一些實施例中,兩幅圖像可以分別為渲染色彩圖像和景深圖像。
在圖7B所示的實施例中,3D視頻信號的視頻幀包含上下格式的兩幅圖像601、602或由其構成。在一些實施例中,兩幅圖像可以分別為左眼視差圖像和右眼視差圖像。在一些實施例中,兩幅圖像可以分別為渲染色彩圖像和景深圖像。
在圖7C所示的實施例中,3D視頻信號的視頻幀包含左右交織格式的複合圖像603。在一些實施例中,複合圖像可以為左右交織的左眼和右眼視差複合圖像。在一些實施例中,複合圖像可以為左右交織的渲染色彩圖像和景深圖像。
在圖7D所示的實施例中,3D視頻信號的視頻幀包含上下交織格式的複合圖像603。在一些實施例中,複合圖像可以為上下交織的左眼和右眼視差複合圖像。在一些實施例中,複合圖像可以為上下交織的渲染色彩圖像和景深圖像。
在圖7E所示的實施例中,3D視頻信號的視頻幀包含以棋盤形式交織的複合圖像603。在一些實施例中,複合圖像可以為以棋盤形式交織的左眼和右眼視差複合圖像。在一些實施例中,複合圖像可以為以棋盤形式交織的渲染色彩圖像和景深圖像。
本領域技術人員將明白,圖式所示的實施例僅是示意性的,3D視頻信號的視頻幀所包含的兩幅圖像或複合圖像可以包括其他類型的圖像以及可以呈其他排布形式,這落入本發明實施例的範圍內。
在一些實施例中,至少一個3D處理裝置130在接收到包括兩幅圖像601、602的視頻幀後,基於兩幅圖像之一渲染每個複合子像素中至少一個子像素並基於兩幅圖像中的另一幅渲染每個複合子像素中至少另一個子像素。
在一些實施例中,至少一個3D處理裝置130在接收到包括複合圖像的視頻幀後,基於複合圖像渲染每個複合子像素中至少兩個子像素。例如,根據複合圖像中的第一圖像(部分)渲染至少一個子像素,根據第二圖像(部分)渲染至少另一個子像素。
在一些實施例中,這例如是基於實時眼部定位資料來進行的動態渲染。
在一些實施例中,多視點3D顯示設備還包括配置為獲取眼部定位資料的眼部定位資料獲取裝置,例如眼部定位裝置或眼部定位資料介面。在一些實施例中,眼部定位資料包括用戶的眼部的空間位置資訊,例如用戶的眼部或臉部相對於多視點3D顯示屏或眼部定位裝置的間距(也就是用戶的眼部/臉部的深度)、用戶的眼部或臉部在多視點3D顯示屏豎向上的位置、用戶的眼部或臉部在多視點3D顯示屏橫向上的位置、用戶的眼部所在的視點位置、用戶視角等。
在圖5B所示的實施例中,多視點3D顯示設備100包括通信連接至3D處理裝置130的眼部定位裝置150,由此3D處理裝置130可以直接接收眼部定位資料。
在一些實施例中,眼部定位裝置包括配置為拍攝用戶圖像(例如用戶臉部圖像)的眼部定位單元、配置為基於所拍攝的用戶圖像確定眼部空間位置的眼部定位圖像信號處理器和配置為傳輸眼部空間位置的眼部空間位置資訊的眼部定位資料介面。
在一些實施例中,眼部定位單元包括配置為拍攝第一圖像的第一攝像頭和配置為拍攝第二圖像的第二攝像頭,而眼部定位圖像信號處理器配置為基於第一圖像和第二圖像中的至少一副圖像識別眼部的存在且基於第一圖像和第二圖像中存在的眼部所在的空間位置確定眼部視點位置。
在一些實施例中,眼部定位單元包括配置為拍攝至少一幅圖像的至少一個攝像頭和配置為至少獲取用戶眼部的深度資訊的至少一個深度獲取裝置,而眼部定位圖像信號處理器配置為基於所拍攝的至少一幅圖像識別眼部的存在,並基於該至少一幅圖像中存在的眼部所在的位置和用戶眼部的深度資訊確定眼部的視點位置。
在圖5C所示的實施例中,眼部定位裝置(未示出)例如可以直接連接處理器120,而3D處理裝置130經由眼部定位資料介面160從處理器120獲得眼部定位資料。在另一些實施例中,眼部定位裝置可同時連接處理器和3D處理裝置,使得一方面3D處理裝置130可以直接從眼部定位裝置獲取眼部定位資料,另一方面可以眼部定位裝置獲取的其他資訊可以被處理器處理。
在一些實施例中,眼部定位裝置實時獲取用戶眼部的橫向位置以確定所述用戶眼部所處的第一方向視點。3D處理裝置基於用戶眼部所處的第一方向視點渲染每個複合子像素的i×j陣列同色子像素中對應第一方向視點的子像素。
在一些實施例中,眼部定位裝置實時獲取用戶眼部的深度位置以確定用戶眼部所處的第二方向視點。或者,眼部定位裝置實時獲取用戶眼部的高度位置以確定用戶眼部所處的第二方向視點。或者,眼部定位裝置實時獲取用戶眼部的高度位置和深度位置以確定用戶眼部所處的第二方向視點。3D處理裝置基於用戶眼部所處的第二方向視點渲染每個複合子像素的i×j陣列同色子像素中對應第二方向視點的子像素。
參見圖6,示出了在多視點3D顯示設備中基於實時眼部定位資料來動態渲染複合子像素中相應子像素的一個示例。圖中示出了由i×j陣列紅色子像素R構成的紅色複合子像素410,其中i=6,對應於多視點3D顯示設備的6個行方向視點,而j=3,對應於多視點3D顯示設備的3個列方向視點。實時眼部定位資料例如可以由眼部定位裝置實時獲取。當眼部定位裝置獲取一個用戶雙眼處於視點Vi1 j1 、Vi2 j1 時,基於3D視頻信號的視頻幀生成用戶雙眼所處的視點的圖像,並渲染紅色複合子像素410的i×j陣列紅色子像素R中對應於視點Vi1 j1 、Vi2 j1 的兩個紅色子像素Ri1 j1 、Ri2 j1 。當眼部定位裝置獲取另一個用戶雙眼處於視點Vi3 j2 、Vi4 j2 時,基於3D視頻信號的視頻幀生成用戶雙眼所處的視點的圖像,並渲染紅色複合子像素410的i×j陣列紅色子像素R中對應於視點Vi3 j2 、Vi4 j2 的兩個紅色子像素Ri3 j2 、Ri4 j2 。當眼部定位裝置獲取又一個用戶雙眼處於視點Vi5 j3 、Vi6 j3 時,基於3D視頻信號的視頻幀生成用戶雙眼所處的視點的圖像,並渲染紅色複合子像素410的i×j陣列紅色子像素R中對應於視點Vi5 j3 、Vi6 j3 的兩個紅色子像素Ri5 j3 、Ri6 j3 。由此,處於顯示面板前不同行位置(橫向位置)、列位置(包括深度位置、高度位置)的用戶都可以看到合適的3D圖像。
根據本發明實施例的多視點3D顯示設備可以應用在視頻播放設備中,例如可以呈現為移動終端(如手機或平板電腦)、電視、移動電視、電腦、電影院觀影系統或家庭觀影系統。
以上描述和圖式充分地示出了本發明的實施例,以使本領域技術人員能夠實踐它們。其他實施例可以包括結構的、邏輯的、電氣的、過程的以及其他的改變。除非明確要求,否則單獨的部件和功能是可選的,並且操作的順序可以變化。一些實施例的部分和特徵可以被包括在或替換其他實施例的部分和特徵。本發明實施例的範圍包括申請專利範圍的整個範圍,以及申請專利範圍的所有可獲得的等同物。本發明中使用的用詞僅用於描述實施例並且不用於限制申請專利範圍。當用於本發明中時,術語“包括”等指陳述的特徵中至少一項的存在,但不排除其它特徵的存在。
本領域技術人員可以意識到,結合本文中所記載的實施例描述的每個示例的單元及算法步驟,能夠以電子硬件、或者計算機軟件和電子硬件的結合來實現。本領域技術人員可以對每個特定的應用來使用不同方法以實現所描述的功能,但是這種實現不應認為超出本發明實施例的範圍。
本文所披露的實施例中,所揭露的方法、產品(包括但不限於裝置、設備等),可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,單元的劃分,可以僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另外,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面,裝置或單元的間接耦合或通信連接,可以是電性、機械或其它的形式。作為分離部件說明的單元可以是或不是物理上分開的,作為單元顯示的部件可以是不是物理單元。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例。另外,在本發明實施例中的每個功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。
圖式中的流程圖和框圖顯示了根據本發明實施例的系統、方法和計算機程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模組、程式段或代碼的一部分,上述模組、程式段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方框中所標注的功能也可以以不同於圖式中所標注的順序發生。例如,兩個連續的方框實際上可以基本並行地執行,它們有時也可以按相反的順序執行,這可以依所涉及的功能而定。在圖式中的流程圖和框圖所對應的描述中,不同的方框所對應的操作或步驟也可以以不同於描述中所披露的順序發生,有時不同的操作或步驟之間不存在特定的順序。例如,兩個連續的操作或步驟實際上可以基本並行地執行,它們有時也可以按相反的順序執行,這可以依所涉及的功能而定。框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執行規定的功能或動作的專用的基於硬件的系統來實現,或者可以用專用硬件與計算機指令的組合來實現。
100:多視點3D顯示設備 110:多視點3D顯示屏 111:顯示面板 120:處理器 121:暫存器 130:3D處理裝置 131:緩存器 140:視頻信號介面 150:眼部定位裝置 160:眼部定位資料介面 190:球面光柵 191:側截面 192:圓球面 193:底平面 400:複合像素 410:紅色複合子像素 420:綠色複合子像素 430:藍色複合子像素 601:3D視頻信號的視頻幀包含的兩幅圖像之一 602:3D視頻信號的視頻幀包含的兩幅圖像之一 603:複合圖像
一個或多個實施例通過與之對應的圖式進行示例性說明,這些示例性說明和圖式並不構成對實施例的限定,圖式中具有相同參考數字標號的元件示為類似的元件,圖式不構成比例限制,並且其中: 圖1是根據本發明實施例的多視點3D顯示屏的示意圖; 圖2是根據本發明實施例的複合像素的排布示意圖; 圖3是根據本發明一個實施例的球面光柵與相對應的複合子像素; 圖4是根據本發明另一個實施例的球面光柵與相對應的複合子像素; 圖5A至圖5C是根據本發明實施例的多視點3D顯示設備的結構示意圖; 圖6是根據本發明實施例的動態渲染的示意圖; 圖7A至圖7E是根據本發明實施例的3D視頻信號的視頻幀包含的圖像的格式。
110:多視點3D顯示屏
111:顯示面板
410:紅色複合子像素

Claims (17)

  1. 一種多視點3D顯示屏,包括: 顯示面板,具有多個複合像素,所述多個複合像素中的每個複合像素包括多個複合子像素,所述多個複合子像素中的每個複合子像素包括呈陣列的多個子像素;和 多個球面光柵,覆蓋所述多個複合子像素。
  2. 如請求項1所述之多視點3D顯示屏,其中,所述每個複合子像素呈正方形。
  3. 如請求項2所述之多視點3D顯示屏,其中,所述多個子像素中的每個子像素呈正方形。
  4. 如請求項2所述之多視點3D顯示屏,其中,所述多個子像素呈i×j陣列,其中,j≥2,i≥2。
  5. 如請求項4所述之多視點3D顯示屏,其中,所述多個子像素中的每個子像素的縱橫比為i/j。
  6. 如請求項4所述之多視點3D顯示屏,其中,i≥3,j≥3。
  7. 如請求項1所述之多視點3D顯示屏,其中,所述多個複合子像素具有不同顏色,具有不同顏色的所述多個複合子像素交替排列。
  8. 如請求項7所述之多視點3D顯示屏,其中,具有不同顏色的所述多個複合子像素呈三角形排列。
  9. 如請求項1至8中任一項所述之多視點3D顯示屏,其中,所述多個球面光柵中的至少一個球面光柵為圓球面光柵或橢圓球面光柵。
  10. 如請求項9所述之多視點3D顯示屏,其中,所述多個球面光柵中的至少一個球面光柵還包括至少一個側面。
  11. 一種多視點3D顯示設備,包括: 如請求項1至10中任一項所述的多視點3D顯示屏;和 3D處理裝置,被配置為渲染所述多視點3D顯示屏中的多個複合子像素中的子像素。
  12. 如請求項11所述之多視點3D顯示設備,其中,所述每個複合子像素包括呈i×j陣列的多個子像素; 其中,所述i×j陣列的多個子像素對應於所述多視點3D顯示設備的i個第一方向視點和j個第二方向視點。
  13. 如請求項11所述之多視點3D顯示設備,還包括:眼部定位資料獲取裝置,被配置為獲取眼部定位資料。
  14. 如請求項13所述之多視點3D顯示設備,其中,所述眼部定位資料獲取裝置被配置為獲取用戶的眼部的橫向位置以確定所述用戶眼部所處的第一方向視點。
  15. 如請求項14所述之多視點3D顯示設備,其中,所述3D處理裝置被配置為基於所述用戶眼部所處的第一方向視點渲染呈陣列的所述多個子像素中對應所述第一方向視點的子像素。
  16. 如請求項14或15所述之多視點3D顯示設備,其中,所述眼部定位資料獲取裝置被配置為獲取所述用戶眼部的深度位置和高度位置中至少之一以確定所述用戶眼部所處的第二方向視點。
  17. 如請求項16所述之多視點3D顯示設備,其中,所述3D處理裝置被配置為基於所述用戶眼部所處的第二方向視點渲染呈陣列的所述多個子像素中對應所述第二方向視點的子像素。
TW109142885A 2019-12-05 2020-12-04 多視點3d顯示屏、多視點3d顯示設備 TWI772997B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911231386.6 2019-12-05
CN201911231386.6A CN112929644A (zh) 2019-12-05 2019-12-05 多视点裸眼3d显示屏、多视点裸眼3d显示设备

Publications (2)

Publication Number Publication Date
TW202127870A true TW202127870A (zh) 2021-07-16
TWI772997B TWI772997B (zh) 2022-08-01

Family

ID=76160840

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142885A TWI772997B (zh) 2019-12-05 2020-12-04 多視點3d顯示屏、多視點3d顯示設備

Country Status (5)

Country Link
US (1) US20230008318A1 (zh)
EP (1) EP4068771A4 (zh)
CN (1) CN112929644A (zh)
TW (1) TWI772997B (zh)
WO (1) WO2021110036A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047645B (zh) * 2022-05-20 2024-04-19 北京芯海视界三维科技有限公司 显示屏及显示装置
CN115047646A (zh) * 2022-05-20 2022-09-13 北京芯海视界三维科技有限公司 显示屏及显示装置
CN116996661B (zh) * 2023-09-27 2024-01-05 中国科学技术大学 三维视频展示方法、装置、设备及介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961045B2 (en) * 2001-06-16 2005-11-01 Che-Chih Tsao Pattern projection techniques for volumetric 3D displays and 2D displays
US7215479B1 (en) * 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
JP6443654B2 (ja) * 2013-09-26 2018-12-26 Tianma Japan株式会社 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
CN103995374B (zh) * 2014-05-22 2016-08-24 深圳市华星光电技术有限公司 一种显示面板及显示装置
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
CN207320118U (zh) * 2017-08-31 2018-05-04 昆山国显光电有限公司 像素结构、掩膜版及显示装置
JP7079146B2 (ja) * 2018-05-18 2022-06-01 シャープ株式会社 立体表示装置
CN211128025U (zh) * 2019-12-05 2020-07-28 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、多视点裸眼3d显示设备

Also Published As

Publication number Publication date
EP4068771A4 (en) 2023-12-13
CN112929644A (zh) 2021-06-08
WO2021110036A1 (zh) 2021-06-10
US20230008318A1 (en) 2023-01-12
TWI772997B (zh) 2022-08-01
EP4068771A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
WO2021110036A1 (zh) 多视点3d显示屏、多视点3d显示设备
WO2020199887A1 (zh) 多视点裸眼立体显示器、显示系统及像素组排布方法
EA010474B1 (ru) Устройство и способ линзового автостереоскопического дисплея и соответствующий способ синтеза автостереоскопического изображения
CN1985524A (zh) 三维图像数据的结构,其记录方法及其显示再现方法
TWI452345B (zh) 立體顯示器及其顯示方法
CN103533336B (zh) 高分辨率自由立体显示器
US8723920B1 (en) Encoding process for multidimensional display
JP2012501031A (ja) 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、符号化された三次元ビデオ信号、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器。
CN211128025U (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示设备
CN102752620A (zh) 3d视频的电视播放方法
WO2012007867A1 (en) Signaling for multiview 3d video
CN102630027B (zh) 裸眼3d显示方法和装置
WO2007085194A1 (fr) Dispositif d'affichage d'image stéréo faisant appel à un obturateur à cristaux liquides et procédé d'affichage de ce dernier
US20050012814A1 (en) Method for displaying multiple-view stereoscopic images
CN1972460A (zh) 拼接型光栅式三维自由立体显示屏
CN102447936B (zh) Led大屏幕立体影像文件生成方法
KR100662429B1 (ko) 입체 영상 표시 장치
CN101442683B (zh) 立体图像显示装置及其显示方法
US20130088485A1 (en) Method of storing or transmitting auto-stereoscopic images
WO2012101395A1 (en) Dual channel stereoscopic video streaming systems
KR102515026B1 (ko) 무안경 입체 영상 표시장치
CA2795955A1 (en) Simultaneous reproduction of a plurality of images by means of a two-dimensional imaging matrix
US9165490B2 (en) 3D/2D multi-primary color image device and method for controlling the same
JP5928280B2 (ja) 多視点画像生成装置及び方法
TW202122990A (zh) 實現懸浮觸控的方法、3d顯示設備和3d終端