TWI592919B - 使用串列面板的超高解析度顯示 - Google Patents

使用串列面板的超高解析度顯示 Download PDF

Info

Publication number
TWI592919B
TWI592919B TW104108600A TW104108600A TWI592919B TW I592919 B TWI592919 B TW I592919B TW 104108600 A TW104108600 A TW 104108600A TW 104108600 A TW104108600 A TW 104108600A TW I592919 B TWI592919 B TW I592919B
Authority
TW
Taiwan
Prior art keywords
display
frame
layer
display layer
frames
Prior art date
Application number
TW104108600A
Other languages
English (en)
Other versions
TW201602985A (zh
Inventor
菲立克斯 海德
道格拉斯 朗門
奈吉拉 迪克 波 瑞迪
真 寇茲
凱立 普利
大衛 盧博克
Original Assignee
輝達公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 輝達公司 filed Critical 輝達公司
Publication of TW201602985A publication Critical patent/TW201602985A/zh
Application granted granted Critical
Publication of TWI592919B publication Critical patent/TWI592919B/zh

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G09G3/2025—Display of intermediate tones by time modulation using two or more time intervals using sub-frames the sub-frames having all the same time duration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Liquid Crystal Display Device Control (AREA)

Description

使用串列面板的超高解析度顯示 【相關專利參照】
本申請案主張標題為「串列顯示器：使用偏移畫素層之時空超高解析度(CASCADED DISPLAYS：SPATIOTEMPORAL SUPERRESOLUTION USING OFFSET PIXEL LAYERS)」之2014年3月18日申請之美國專利臨時申請案61/955,057的優先權，其內容係併入本文做為參考。
本發明一般關於數位影像處理及顯示的領域，特別是關於超高解析度顯示的領域。
較高解析度顯示器的發展對顯示器產業而言相當重要。領導的行動顯示器近來從每公分少於50畫素(ppcm)的畫素密度轉變到現在已接近150ppcm。類似地，消費性電子產業開始提供「4K超高畫質(ultra-high definition，UHD)」顯示器，其具有接近4,000畫素的水平解析度，為高畫質電視(HDTV)的後繼。此外，已存在針對增強數位影院的8K UHD標準。目前要達成此高解析度顯示係取決於使空間光線調節器能夠具有更多畫素數量的進展。
除了這些較大的市場發展趨勢，一些新興的顯示技術甚至 需要比4K/8K UHD標準所提供還要更高解析度。舉例來說，寬視場頭戴型顯示器(head-mounted display，HMD)(例如Oculus Rift)包含高畫素密度行動顯示器。當在手機或平板電腦的距離下觀看時，這些顯示器接近或超過人眼的解析度。然而，當經由放大HMD光學件觀看時將出現畫素化，其顯著地擴大了視場。類似地，裸眼3D顯示器(包含視差屏障和堆疊立體法)需要比今日顯示器高一個數量級的解析度。目前，HMD及裸眼3D顯示器仍是利基技術，且不太可能推動比現有應用具有更高解析度之顯示器的發展，阻礙其進步及商業採用。
以下將簡要地回顧有關高解析度顯示技術的最先進技術。
超高解析度成像演算法已用於從具有不同視角之低解析度影像(或視訊)復原高解析度影像(或視訊)。超高解析度成像需要解決非良置的逆問題：高解析度來源為未知。方法將基於有關成像程序所做的事先假設而有不同。舉例來說，在一方法中，相機動作的不確定性藉由使用壓電制動器控制感測器位移而消除。
在已發展之超高解析度顯示系統的其中一者中，「wobulation」方法用以加倍併入單一高速數位微鏡裝置(digital micro-mirror device，DMD)之前投影顯示器的定址解析度。壓電制動的反射鏡將投影的影像水平地及垂直地位移半個畫素。由於DMD可比臨界閃光融合閾值更快定址，兩個偏移的影像可快速投影，使觀看者可感受到其加成性的疊加。如同抖動的相機，超高解析度因子將隨著畫素孔徑比的降低而增加。效能更受限於光學掃描程序過程中所引入的運動模糊。最近，wobulation已經擴展到平板顯示器，其使用應用在LCD的偏軸轉動慣量(eccentric rotating mass，ERM)振動馬達。
類似的超高解析度顯示概念已發展用於數位投影器。並非呈現偏移、低解析度影像的時間多工序列，投影器陣列可用以同時地顯示位移影像組。這類「疊加投影」系統已由多個研究小組提出。如同所有投 影陣列，疊加投影需要準確的輻射度及幾何校正以及時間同步。這些問題可使用由投影器光學件內的透鏡陣列產生多個偏移影像之單一投影器超高解析度方法來減緩。不同於疊加投影器，這些影像必須相同，使影像品質受到限制。
當使用Wobulation及其他時間多工方法以超解析視頻時，將因為未知的凝視動作而引入假影。當投影在視網膜上，眼球運動改變了後續訊框之間的期望定向。如果凝視可被估計，則可沿眼球運動軌跡達成超高解析度，如報導所示。
因此，所有所討論的超高解析度顯示實現相同的核心概念：偏移之低解析度影像的加成式(時間)疊加。如同影像超高解析度，這類設計受益於低畫素孔徑比，其偏離了增加孔徑比的商業趨勢。
所謂「光學畫素共享(optical pixel sharing，OPS)」方法為第一個報導之利用雙調節投影器於超高解析度的方法，其藉由使用兩訊框分解而描繪一邊緣增強影像：第一訊框呈現(present)一高解析度、稀疏邊緣影像，而第二訊框呈現一低解析度非邊緣影像。OPS需要一元件設置於顯示層之間(例如透鏡陣列或隨機折射表面)；因此，現有OPS實施並不允許薄形因子。OPS再現的影像具有降低亮度及降低的峰值信號雜訊比(peak signal-to-noise ratio，PSNR)。
雙調節顯示通常用來實現高動態範圍(high dynamic range，HDR)顯示。HDR投影器係藉由使用大平板液晶顯示器(liquid crystal display，LCD)調節數位投影器的輸出而實施。據報導已發展高動態範圍及高解析度投影器系統，其中三晶片矽基液晶(liquid crystal on silicon，LCoS)投影器發射低解析度色度影像，其接著投影至另一較高解析度LCoS晶片以達成亮度調節。
具有二或更多空間光調節器(Spatial Light Modulator，SLM)的顯示器已併入裸眼3D顯示器供多視角成像。報導顯示可使用內容適應性 視差屏障與雙層LCD，以產生更亮、更高解析度的3D顯示。
因此，提供一種給予超過當代顯示面板之原生解析度(native resolution)及/或訊框再新率(frame refresh rate)的高空間及/或時間顯示解析度的顯示機制是有利的。
本文提供了具有改良空間解析度之用於影像及視訊顯示的方法及系統，其使用當代光衰減空間光調節器(SLM)，包含液晶顯示器(LCD)、數位微鏡裝置(DMD)、及矽基液晶(LCoS)顯示器。使用串接顯示器並結合相關資料處理程序來達成此目的，而不增加可尋址的畫素量。
更特別地，在某些具體實施例中，二或更多SLM設置於彼此的頂部(或以串列的方式)，其沿每一軸有半個畫素或更少的橫向偏移。橫向偏移使在一層上的每個畫素調節在其他層上的多個畫素。在此方式中，可控制每一子畫素片段(由在一顯示層上之一畫素與在另一層上之一畫素的幾何交集所定義)的強度，藉此增加有效顯示解析度。高解析度目標影像分解為多層衰減圖案，其顯示串列顯示器可操作為利用比顯示影像所見更少獨立可尋址畫素的「壓縮顯示器(compressive display)」。
類似的方法可用以增加以交錯間隔(staggered interval)再新之二或更多SLM堆疊的時間解析度。然而，在某些具體實施例中，可不包含分解成像的時間多工。因此，可呈現視訊，而無現有方法所出現的假影特性(artifacts characteristic)或對高再新率顯示器的要求。
與現有技術所採用之加成式方法相較，本發明的串列顯示藉由具有大孔徑比之偏移光衰減顯示器的(同時)干涉以合成較高空間頻率而產生乘法疊加。
相對於習知的超高解析度顯示器，串列顯示器提供數個不同的優點：達成薄形因子、不需活動零件、以及使用計算效率高的分解程 序致能互動內容。
根據本發明之一具體實施例，一種用以顯示影像的方法包含：存取代表一影像的原始影像資料；將原始影像資料分解(factorizing)為第一影像資料及第二影像資料；以及以一有效顯示解析度(effective display resolution)將影像的一表示(representation)顯示於一顯示裝置上。顯示裝置包含具有第一原生解析度(native resolution)的第一顯示層以及具有第二原生解析度的第二顯示層。第一顯示層覆蓋第二顯示層。第一影像資料係顯現(render)供第一顯示層上的顯示，且第二影像資料係顯現供第二顯示層上的顯示。有效顯示解析度大於第一原生解析度及第二原生解析度。
在一具體實施例中，顯示裝置包含L個顯示層，其中一個別顯示層在兩正交方向中相對一緊鄰的顯示層橫向地偏移1/L畫素。在個別顯示層中的一畫素係使用在L個顯示層中之一下方顯示層的多個畫素來調節。第一及第二影像資料每一者係對應影像的一個別單一訊框(frame)。
原始影像資料可表示影像之畫素的一單一訊框，其中第一影像資料表示影像的複數個第一訊框，且第二影像資料表示影像的複數個第二訊框。複數個第一訊框係連續地顯現於第一顯示層上，且複數個第二訊框係連續地顯現於第二顯示層上。複數個第一訊框與複數個第二訊框可同步或非同步的顯現。
根據本發明另一具體實施例，一種用以顯示影像的方法包含：(1)存取代表一影像之一訊框在第一空間解析度(spatial resolution)的第一訊框；(2)存取代表該影像之該一訊框在第二空間解析度的第二訊框；(3)依序地顯現第一訊框供在顯示裝置之第一顯示層上的顯示；(4)依序地顯現第二訊框供在顯示裝置之第二顯示層上的顯示。第一顯示層覆蓋第二顯示層，並在兩垂直方向中橫向偏移了第一顯示層之一畫素的一部分。依序顯現的步驟所產生之一有效顯示解析度大於第一空間解析度及第二空間解析度。
根據本發明另一具體實施例，一種顯示系統包含：一處理器；記憶體；及複數個顯示層，其耦合至處理器及記憶體，並以一串列方式設置且包含第一顯示層及第二顯示層。第一顯示層在兩個正交的側向方向中相對第二顯示層偏移一畫素的一部分。記憶體儲存執行一方法的指令，方法包含：(1)存取代表影像的第一影像資料以及代表影像的第二影像資料；(2)顯現第一影像資料供在第一顯示層上以一第一空間解析度的顯示；以及(3)顯現第二影像資料供在第二顯示層上以一第二空間解析度的顯示。影像之表示的一有效顯示解析度大第一原生空間解析度及第二原生空間解析度。
以上為總結，因此必然包含簡化、概括以及細節的省略；因此，熟此技藝者將了解到總結僅為說明性，並不意欲以任何方式限制。本發明僅由申請專利範圍所定義，且其他態樣、發明特徵及優點在下文所提出之非限制性的詳細描述中將更加明顯。
110‧‧‧顯示層
120‧‧‧顯示層
510‧‧‧目標影像
511‧‧‧訊框
512‧‧‧訊框
513‧‧‧訊框
531‧‧‧訊框
532‧‧‧訊框
533‧‧‧訊框
540‧‧‧影像
550‧‧‧影像
610‧‧‧訊框再新週期
620‧‧‧訊框再新週期
630‧‧‧訊框再新週期
640‧‧‧訊框再新週期
710‧‧‧訊框再新週期
720‧‧‧訊框再新週期
810‧‧‧訊框
82O‧‧‧訊框
821‧‧‧訊框
822‧‧‧訊框
830‧‧‧訊框
900‧‧‧顯示系統
910‧‧‧處理器
920‧‧‧匯流排
930‧‧‧記憶體
931‧‧‧串列顯示程式
932‧‧‧時間分解計算模組
933‧‧‧空間分解計算模組
934‧‧‧原始圖形資料
935‧‧‧分解圖形資料
940‧‧‧訊框緩衝器
950‧‧‧顯示控制器
960‧‧‧顯示組裝件
961-963‧‧‧顯示面板
1010‧‧‧影像
1020‧‧‧影像
1030‧‧‧影像
1040‧‧‧影像
1110‧‧‧圖表
1120‧‧‧圖表
1510‧‧‧圖表
1520‧‧‧圖表
1530‧‧‧圖表
1531-1537‧‧‧行
1701‧‧‧影像
1702‧‧‧影像
1703‧‧‧影像
1704‧‧‧影像
1705‧‧‧影像
1706‧‧‧影像
1707‧‧‧影像
2210‧‧‧顯示
2220‧‧‧顯示
2230‧‧‧顯示
2311‧‧‧曲線
2222‧‧‧曲線
本發明的具體實施例將由閱讀以下的詳細描述連同附隨圖式而有較佳的理解，其中類似的元件符號指示類似的元件，且其中：圖1A-1C描述根據本發明一具體實施例之在範例串列顯示裝置中的兩顯示層之間的相對橫向位置；圖2為一流程圖，其繪示根據本發明一具體實施例之在具有超高解析度之串列顯示裝置上顯示一影像的範例程序；圖3描述根據本發明一具體實施例之用於串列顯示之具有時間多工的一範例分解程序；圖4描述根據本發明一具體實施例之針對空間超高解析度所組態之範例啟發式分解程序中所得到的影像訊框；圖5顯示根據本發明一具體實施例之由根據表格1所示之 WRRI程序之針對空間超高解析度之空間最佳化分解所產生的影像訊框；圖6A為時間圖表，其描述根據本發明一具體實施例之同步訊框再新週期(frame refresh cycle)且針對在組態以達成空間超高解析度之範例串列顯示裝置中所包含的兩個顯示層；圖6B為時間圖表，其描述根據本發明一具體實施例之非同步訊框再新週期且針對在組態以達成空間超高解析度之範例串列顯示裝置中所包含的兩個顯示層；圖7為時間圖表，其描述根據本發明一具體實施例之訊框再新週期且針對在組態以達成時間超高解析度之範例串列顯示裝置中所包含的兩個顯示層；圖8顯示根據本發明一具體實施例之使用串列雙層顯示器的時間超高解析度結果；圖9描述根據本發明一具體實施例之使用串列顯示層以達成空間/時間超高解析度的範例顯示系統；圖10A顯示根據本發明一具體實施例之由使用即時等級-1分解之範例HMD之放大光學件所捕捉的樣品影像；圖10B顯示根據本發明一具體實施例之在範例串列LCoS投影器上顯示之影像訊框之捕捉的樣品照片；圖11為根據本發明一具體實施例之數據圖，其比較範例WNMF方法與用於串列顯示器中之超高解析度之雙倍準確度分解的效能；圖12為根據本發明一具體實施例之數據圖，其比較範例WNMF方法與用於串列顯示器中之超高解析度之單準確度分解的效能；圖13顯示根據本發明一具體實施例之在使用兩訊框分解之串列四層顯示裝置上所顯示的捕捉影像；圖14顯示針對圖13中之範例串列四層顯示之個別層的分解訊框； 圖15描述由雙層串列顯示器以青-黃-洋紅色彩濾波器陣列(CFAs)產生子畫素片段的範例方法；圖16顯示在各種參數下作為調光因子β之函數的峰值信號雜訊比(PSNR)的數據圖(對目標影像組取平均)；圖17顯示超高解析度顯示的視覺比較，其係經由以三個不同超高解析度顯示模擬所再生之影像補綴；圖18A顯示針對根據習知技術之顯示替代方法及根據本發明之串列顯示的MTF的模擬比較；圖18B顯示範例串列LCD顯示裝置的量測調節轉移函數；圖19為一圖表，其比較根據習知技術之各種超高解析度技術及根據本發明之串列顯示所獲得之一組自然影像的峰值信號雜訊比(PSNR)，其單位為dB；圖20為一圖表，其顯示結構相似性指標(structural similarity index，SSIM)為以根據習知技術之各種超高解析度技術及根據本發明之串列顯示所獲得之一組自然影像之所有顏色通道的總和；圖21A顯示目標影像、傳統顯示、2及4個訊框的加法顯示、OPS、及串列顯示(等級-2)的斜邊；圖21B顯示針對圖21A中不同方法的斜邊MTF量測；圖22顯示根據本發明一具體實施例之使用一對範例8-位元串列顯示之線性斜面的外形以展示串列顯示之HDR應用；圖23A顯示針對在一自然電影上之PSNR比較時間超高解析度與較低訊框率(frame rate)之品質的數據圖；以及圖23B顯示針對SSIM比較時間超高解析度與較低訊框率之品質的數據圖。
接著將詳細參考本發明的較佳具體實施例，其範例以附圖解說。儘管本發明將結合較佳具體實施例加以說明，但應明白，這些具體實施例並非用來限制本發明於其中。相反地，本發明旨在涵蓋替代方案、修改、及等效物，這些均包括在如隨附申請專利範圍所界定的本發明精神及範疇中。再者，在以下本發明具體實施例的詳細說明中，提出許多特定細節以徹底瞭解本發明。然而，一般技術者應明白，在沒有這些特定細節的情況下，亦可實施本發明。在其他實例中，為避免不必要地模糊本發明具體實施例的各方面，未詳細描述已知的方法、過程、組件、及電路。雖然為了清楚說明而以一序列的編號步驟來描述方法，但編號並不一定表示步驟的順序。應理解到，某些步驟可被省略、可並行地執行、或執行時不需維持嚴格的序列順序。顯示本發明具體實施例的圖式係為示意性的且未按比例繪製，及尤其某些尺寸為了描繪清楚而在圖式中誇大顯示。同樣地，雖然圖中視圖為了容易說明一般顯示相似定向，但圖中之此定向描繪大部分係為任意定向。本發明一般可在任何定向中操作。
[標記與命名]
應明白，所有這些術語及相似術語係為了和相應物理量相關聯，且只是應用於這些物理量的便利標記。除非另外明確說明為明顯不同於以下論述，應明白，在本發明所有方面，利用諸如「處理」、「存取」、「執行」、「儲存」或「顯現(rendering)」等術語的論述，是指電腦系統或類似電子計算裝置的動作與程序，電腦系統或類似電子計算裝置操控電腦系統暫存器與記憶體及其他電腦可讀媒體中表示為物理(電子)量的資料，及將其變換為電腦系統記憶體或暫存器或其他此類資訊儲存器、傳送或顯示裝置中同樣表示為物理量的其他資料。當一個組件在數個具體實施例中出現時，使用相同參考數字代表組件是原始具體實施例中圖解的相同組件。
[使用串列面板的超高解析度顯示]
如本文所使用，「超高解析度(supcrresolution，SR)」一詞係指信號處理技術，其設計用以增強影像或成像系統之有效空間解析度以優於對應原始影像或影像感測器之畫素尺寸的解析度。
整體而言，本發明的具體實施例藉由以具大孔徑比之偏移光衰減顯示的同時干涉合成較高空間及/或時間頻率而產生乘法疊加。二或更多乘法顯示層(或空間光調節器(SLM)層)的堆疊係整合於一顯示裝置中以合成空間超高解析度影像。基於具有目標空間/時間解析度的原始影像或一組視訊訊框，執行一分解程序以推導出個別影像資料供顯示於每一顯示層上。
在一態樣中，堆疊中的顯示層彼此橫向偏移，產生超過顯示層原生顯示解析度的有效空間解析度。高保真度對高解析度原始影像可在有或無時間多工衰減圖案下有利地達成，雖然後者在降低假影的出現上提供較佳的效能。即時、圖形處理單元(GPU)加速串列顯示演算法被提出以消除時間多工的需求，同時保持超高解析度影像保真度。
在另一態樣中，二或更多顯示層(或SLMs)以交錯間隔再新，以合成有效再新率超過每一個別顯示層(例如超過等於層數目的一因數)的一視訊。進一步的光學平均鄰近畫素可最小化假影。
本文也提供了基於非負矩陣及張量分解的全面優化架構。特別地，加權等級-1殘值迭代法可優於先前的乘法更新規則。
模擬串列雙層顯示
一般而言，串列顯示裝置的架構可利用空間或時間多工來增加可尋址畫素的有效數目。因此，在受到物理限制下(例如有限的動態範圍、受限的色域、及負發射率的禁止)，需解決分解問題以判定顯示組件的最佳控制，以最大化感知的解析度。
在一具體實施例中，雙層顯示器包含設置於均勻背光前並直接接觸的一對空間光調節器(SLM)，且包含在一固定再新率具有個別可尋址透射率之畫素的均勻陣列。層係設置為彼此有一橫向偏移。舉例來說，層可在兩正交方向中彼此偏移一畫素的一部份。然而，本發明並不受限於橫向偏移的量、尺寸或方向。
圖1A-1C描述根據本發明一具體實施例之在範例串列顯示裝置中的兩顯示層110及120之間相對橫向位置。圖1A顯示底層110的樣本畫素a 1 -a 6 ；圖1B顯示覆蓋底層110之頂層120的樣本畫素b 1 -b 6 ；以及圖1C顯示兩層之串列及偏移配置產生的子畫素片段(S 1,1 -S 6,6 )。頂層120上的每一畫素相對底層110水平地且垂直地橫向偏移半個畫素。因此，頂層120畫素中心與底層110的畫素角落重合。
因此，此組態產生了由底層上畫素與頂層上畫素重疊所定義之子畫素片段的均勻陣列。舉例來說，子畫素片段S 2,1 由底層110的畫素a 2 與頂層的畫素b 1 所定義。因此，子畫素片段比個別層中畫素多四倍，建立四倍空間解析度的能力。
假設底層110具有N個畫素且頂層120具有M個畫素。在顯示裝置的操作期間，K個時間多工訊框以高於臨界閃光融合閥值的速率呈現給觀看者，使其感知到時間平均。使用時間多工可有利地增加可用的自由度以降低影像假影。
在下文中，針對訊框k，底層110中之畫素i的發射率係標示為a i (k) ，其中0 a i (k) i 1。類似地，針對訊框k，頂層的畫素j的透射率係標示為b j (k) ，其中0 b (k) 1。每一子畫素片段的發射率係標示為si,j，其可表示為 其中w i,j 為表示畫素i與畫素j重疊的因子。
此表示式(1)意味著雙層影像形成可簡明地使用矩陣乘法表 示：S=W。(AB T ), (2)其中。表示Hadamard(逐元素)矩陣乘積；A為N×K矩陣，其行包含訊框k期間的底層畫素發射率；B為M×K矩陣，其行包含訊框k期間的頂層畫素透射率；W為N×M疏加權矩陣，包含逐對重疊；以及S為疏N×M矩陣，包含子畫素片段發射率。S可只在畫素i及畫素j重疊處為非零。
方程式(1)及(2)所給予的成像模型可應用至各種類型的空間光調節器，包含具有不同畫素間距的面板。此外，兩層的相對橫向位移及面內旋轉可適當選擇權矩陣W而編碼。
此模型可實際應用在現有的平板顯示(例如包含色彩濾波器及有限畫素孔徑比的LCD面板)及數位投影器(如包含LCD、LCoS或DMD空間光調節器的數位投影器)等等。
空間超高解析度
根據本發明的串列顯示可藉由分層的空間偏移、時間平均顯示面板而提供增強的空間解析度。
圖2為一流程圖，其繪示根據本發明一具體實施例之在具有超高解析度之串列顯示裝置上顯示一影像的範例程序200。假設顯示裝置包含L個顯示層，其中L為大於2的整數。在201，存取具有原始空間解析度(或目標解析度)的原始影像訊框。原始影像訊框可為靜態影像或視訊的一訊框。原始空間解析度可大於顯示裝置中L個顯示層之任一者的原生空間解析度。
在某些具體實施例中，假設所有層具有相同的方形畫素，每一層相對於前層偏移了1/L畫素。所產生的串列顯示則具有L 2 倍，與一個別層中子畫素片段一樣多。
在202，原始影像訊框經由分解程序分解為多個訊框組，每 一訊框組針對一個別的顯示層。分解程序可以各種適當的方法執行，包含下文中將詳細描述的範例計算程序。每一個別訊框組可包含在與對應顯示層相容之空間解析度中的一或多個訊框(本文中亦稱作「圖案(pattern)」。
在203，從202所得到的訊框組係顯現於個別顯示層上供顯示。更特別地，關於每一顯示層，對應的訊框組係依序顯現供顯示。整體的結果為使用者可感知到超過每一個別層之原生解析度的顯示裝置有效空間解析度。因此，空間超高解析度將有利地實現。
在某些具體實施例中，為分解目標高解析度影像，可取樣影像並重新配置為疏矩陣W。T，其包含類似S的子畫素片段值。因此，影像由一連串的時間多工衰減圖案對所表示(例如跨越兩層顯示之A及B的行)。
舉例來說，為了以超高解析度在串列雙層顯示器上顯示或重建一影像，原始影像資料可分解為兩個單一圖案，一層一個。在某些其他具體實施例中，時間多工可併入分解程序以獲得用以在使用者雙眼的整合期間顯示的多個訊框。因此，每一訊框組中的多個訊框係連續地顯現供顯示於對應層上。
圖3描述根據本發明一具體實施例之用於串列顯示之具有時間多工的一範例分解程序。圖中顯示了一特定層的每一訊框資料係由一向量表示。更特別地，a t1 、a t2 及a t3 分別表示在訊框再新時間(frame refresh time)t 1 、t 2 及t 3 要被顯示於第一層(層A)上的訊框，且b t1 、b t2 及b t3 分別表示在訊框再新時間t 1 、t 2 及t 3 要被顯示於第二層(層B)上的訊框。以簡潔的形式來表示，每一層的時間多工訊框係由一矩陣(A或B)表示。矩陣T表示高解析度的原始影像訊框。分解程序的目標為找到適當的A及B，使其乘積等於或近似於先驗值，其為目標影像T。
在一具體實施例中，使用一簡單的啟發式分解，其能夠使用四個時間多工衰減層對(K=4)無損地重建空間超高解析度目標影像，其假設兩個層皆具有相同的畫素結構且沿兩個軸橫向偏移半個畫素。圖4描述根 據本發明一具體實施例之針對空間超高解析度所組態之範例啟發式分解程序中所得到的影像訊框。
如所示，偏移針孔網格的時間多工序列係顯示於底層上(第一列表示層1的訊框)，連同頂層上的別名圖案(第二列表示層2的訊框)。每一底層畫素照明四個頂層畫素的角落，如列3所示。當四個訊框以超過閃光融合閥值的速率顯示，觀看者將感受到具有四倍在任何層中之畫素數目的影像。需注意，若背光亮度保持相同，串列顯示器可能比傳統顯示器更為暗淡。
如圖4所示，在第一訊框期間，底層(層1)描述針孔網格，其中只有在每一2×2畫素區塊中的第一畫素被照明。每一頂層(層2)畫素被指派對應目標子畫素片段的透射率。當給定的針孔網格顯示於底層上，僅四分之一的目標子畫素片段將被重建。因此，需要四個時間多工層對，其包含四個偏移的針孔網格(pinhole grid)。
雖然沒有假影出現在重建的影像中，啟發式分解顯現的亮度為傳統單層顯示的四分之一，因為每一子畫素片段只在四個訊框之其中一個的期間為可見。
在另一具體實施例中，採用最佳化壓縮分解程序以得到個別層的訊框資料。藉由方程式(2)的應用，最佳雙層分解將藉由解出以下約束最小平方問題而獲得： 其中為逐元素矩陣不等式運算子。需注意，針對亮度比例因子(brightness scaling factor)，需要0<β 1以允許降低感知影像亮度的解答，其係相對於目標影像(例如以啟發式四訊框分解所觀看到)。若忽略在A及B上的上限，則方程式(3)對應加權非負矩陣分解(WNMF)。因此，可應用任何加權NMF演算法以實現空間超高解析度，其中畫素值在每次迭代後被鉗制在可行範圍。舉例來說，可使用以下的乘法更新規則： 雙線運算子表示Hadamard(逐元素)矩陣除法。
類似的乘法更新規則可應用在多層3D顯示。就計算效能而言，加權等級-1殘值迭代法(WRRI)因為強大且有效而為較佳。表格1描述一偽碼，其顯示了用以獲得分別代表兩顯示層之訊框資料組之矩陣A及B的範例分解程序。A及B係根據加權等級-1殘值(WRRI)迭代程序(iteration process)而迭代地計算。表格1說明WRRI，其中x j 表示矩陣X的行j，且[x j ]+表示在正象限的投影，如此[x j ]+的元件i係由max(0,x i,j )所給定。
圖5顯示根據本發明一具體實施例之由根據表格1所示之WRRI程序之針對空間超高解析度之空間最佳化分解所產生的影像訊框。表格1中所提出的演算法1提供了目標影像510的最佳三訊框雙層分解。舉例來說，層係以所有訊框的均勻分布隨機值初始化。相較於啟發式分解，雙層包含了內容相關的特徵。
如前述，方程式(2)及(3)將雙層串列顯示器的成像描述為矩陣分解問題，使得分解等級等於時間分工訊框的數目。因此，基於WNMF的分解允許重建準確度、時間多工訊框之數量、及重建影像之亮度的組態。
部分重建係顯示於訊框531、532及533，且串列影像540顯示最終結果，其與使用傳統方法的重建影像550及目標影像510相較。當以 高於臨界閃光融合閥值的速率呈現一個別層的三個訊框(例如層1的511-513)，觀看者將感知到具有四倍畫素數目的超高解析的影像540。若背光亮度保持相同，串列顯示可能比使用單顯示層的傳統顯示更為暗淡。增加亮度比例因子可β補償吸收耗損。
如參考圖6A及6B的討論，在串列顯示的影像呈現中，時間多工訊框可同步或非同步(例如以交錯方式)的顯現在多層上。將理解到，關於特定的目標影像，針對同步訊框再新所得到的訊框組不同於針對非同步再新所得到的訊框組。
圖6A為時間圖表，其描述根據本發明一具體實施例之同步訊框再新週期610及620，其針對在組態以達成空間超高解析度之範例串列顯示裝置中所包含的兩個顯示層。舉例來說，原始影像資料分解為分別針對層A及層B的兩個訊框組，且每一訊框組包含四個時間多工訊框。在此範例中，訊框再新時間與時間圖610及620上之再新循環的上升邊緣(顯示為t 1 、t 2 、t 3 及t 4 )一致。圖6A顯示層A訊框(a t1 、a t2 、a t3 及a t4 )與層B(b t1 、b t2 、b t3 及b t4 )同步地再新。舉例來說，在時間t 1 ，訊框a t1 及訊框b t1 同時地分別顯現於層A及層B上。
圖6B為時間圖表，其描述根據本發明一具體實施例之非同步訊框再新週期630及640，其針對在組態以達成空間超高解析度之範例串列顯示裝置中所包含的兩個顯示層。舉例來說，原始影像資料分解為分別針對層A及層B的兩個訊框組。每一訊框組包含四個時間多工訊框(time-multiplexed frame)。在此範例中，每一層具有相同的訊框再新週期，且訊框再新時間與時間圖630及640上之再新循環的上升邊緣一致。圖6B顯示層A訊框(a t1 、a t2 、a t3 及a t4 )的再新與層B(b t1 、b t2 、b t3 及b t4 )的再新有時間偏移。舉例來說，訊框a t1 在時間t a1 顯現於層A上，而訊框b t1 在時間t b1 顯現於層B上。在此範例中，t b1 落後t a1 半個週期。
在某些具體實施例中，給定具有以交錯方式再新之L(L>1) 層的一串列顯示，一特定層的訊框再新時間可比前一層的訊框再新時間落後訊框再新週期的一部份(例如1/L)。
一般而言，串列顯示可有利地達成空間及時間解析度的高品質結果，即使在沒有時間多工的情況下。如前文所討論，消除時間多工等同於顯示等級-1分解。WRRI為解出此等級-1分解的較佳有效方法，達到高畫質(HD)目標訊框的即時訊框速率(用以解決NMF之另一最小平方的變體，下文將有詳細討論)。此觀察對致能即時應用是重要的。舉例來說，快速等級-1分級之基於GPU的實施可用於串列頭戴式顯示器的互動式操作。
空間時間超高解析度
根據本發明的串列顯示也可藉由將多個時間偏移、空間平均顯示分層而增強時間解析度。串列顯示的時間偏移多重顯示面板合成了時間超高解析度顯示。更特別地，每一層的訊框再新時間與前層的訊框再新時間偏移了訊框再新週期的一部份。因此，串列顯示的觀看者將感受到視頻內容以高於個別層之原生再新率的一高再新率顯示。
在某些具體實施例中，串列顯示中的多層相對畫素機械地對齊並以交錯的方式再新。圖7為時間圖表，其描述根據本發明一具體實施例之訊框再新週期710及720，其針對在組態以達成時間超高解析度之範例串列顯示裝置中所包含的兩個顯示層。在此範例中，包含四個訊框(F 1 -F 4 )的視訊分解為分別針對兩層的兩個訊框組，其中訊框F a1 -F a4 係針對層A且訊框F b1 -F b4 係針對層B。每一訊框組係以原生再新率(例如50Hz)顯現於顯示層上。兩層的訊框再新時間係以半個訊框再新週期交錯。舉例來說，訊框F a1 (於t a1 )顯現於層A上比F b1 (於t b1 )顯現於層B上要早半個週期。因此，合成了100Hz顯示。
根據本發明，針對空間超高解析度，選擇性時間多工一般會增強重建保真度。類似地，針對時間超高解析度，空間平均藉由增加由 具有交錯再新之雙層顯示所給予的自由度而降低了重建假影。在某些具體實施例中，空間平均係藉由引入擴散光學元件於平板串列顯示(例如雙層LCD)的頂部或藉由散焦使用串列顯示的投影器而達成。
方程式(5)為判定時間超高解析度之最佳分解的範例目標函數： 在此處，A為長度-FN行向量，包含底層畫素發射率，連續超過F個視訊訊框；類似地，B為長度-FM行向量，包含頂層畫素透射率，連續超過F個視訊訊框。置換矩陣{ P 1 , P 2 }重新排列重建的子畫素片段S=AB T ，使得乘積P 1 AB T P 2的前F行包含長度-NM子畫素片段，其對應在相應訊框期間顯示之超高解析的影像。空間平均係表示為FN×FN迴旋矩陣C，其低通過濾P 1 AB T P 2的行。
再次地，W為疏加權矩陣，包含在空間及時間的逐對重疊。最後，W。T表示目標時間超高解析視訊的子畫素片段。在某些具體實施例中，若目標為增加訊框率(frame rate)，而非空間保真度(spatial fidelity)，則不需在K個分解訊框的每一目標訊框上執行時間多工。
聯合空間及時間超高解析度直接由方程式(5)所提出的目標函數所支持。加權矩陣W納入時間及空間重疊。因此，足以相應地設定加權矩陣元素。為解決方程式(5)，在某些具體實施例中，使用以下的更新規則(6)及(7)以使用串列雙層顯示實現時間超高解析度，在以下稍後部分中將更詳細地描述。
為簡化起見，這些乘法更新規則係針對時空超高解析度。然而WRRI演算法同樣可適用。更特別地，給定方程式(4)之更新規則的實施，而非建構矩陣{C,P1,P2}，空間模糊係應用至迭代間之目前的估計AB T 。
圖8顯示根據本發明一具體實施例之使用串列雙層顯示器的時間超高解析度結果820。在此範例中，顯示層以交錯方式再新且假設為機械地對齊。圖表810顯示來自目標視訊的單一訊框(其再新率為顯示層的兩倍)。圖表820係藉由使用方程式(6)及(7)分解目標視訊並將所分解的訊框821及822顯現於每一層上供以目標視訊速率的一半顯示而實現。在以一均勻2×2畫素空間模糊核心模糊化後，目標訊框的重建顯示最小化的假影。圖表830顯示以目標視訊速率的一半再新的傳統顯示。在此訊框期間，傳統顯示落後目標視訊及串列顯示如圖中所繪示的訊框。如圖表821及822所示，在由觀看者所感知到之前，高頻細節由例如擴散器或散焦投影光學件空間地平均。
在一具體實施例中，所有層及訊框係初始化為均勻分布的隨機值。整個視訊係同時地分解。針對較長的視訊，訊框的滑動窗可被分解，限制在每一視窗中的第一訊框等於在前一視窗中的最後訊框。如圖8所示，均勻2×2模糊核心證實為足夠。然而，如同等級-I空間超高解析度，儘管引入重建假影，方程式(6)及(7)支援時空超高解析度而無任何光學模糊(optical blurring)。
範例軟體實施
乘法更新規則(方程式(4))及WWRI方法(表格1中的演算法1)可使用在Matlab或其他適合的程式語言中組態供具雙層顯示之空間超高解析度的軟體程式實施。在一具體實施例中，程式係組態以支援任意數量的訊框(即分解等級)。快速等級-1解算器可使用CUDA以利用GPU加速(來源碼提供於表格6中)實施。所有分解在具8GB的RAM與NVIDIA Quadro K5000的Intel 3.2GHz Intel Core i7工作站上執行。快速等級-1解算器維持原生60Hz的再新率，包含用以顯現場景及施加後處理片段著色的輔助操作(例如在HMD展示中)。
串列顯示的資料處理及操作需要顯示層的物理組態及其輻 射度的特徵，以例如計算在方程式2之W中所編碼的畫素重疊。顯示層之間的未對齊可在校準程序中被校正，例如藉由扭曲在第二層上所顯示的影像以對齊在第一層上所顯示的影像。
舉例來說，使用兩個照片來估計此扭曲。在每一照片中，在一層上顯示棋盤格，而另一層設定為全透明或全反射。散射資料內插估計扭曲函數，其將拍攝的第一層棋盤格角落投影至第二層所顯示之影像的座標系統。第二層棋盤格(或任何其他影像)係扭曲以對齊第一層棋盤格。此外，輻射度特徵藉由拍攝平場影像而量測；這些曲線係反轉使得每一顯示以線性輻射度方式操作。因此，幾何及輻射度校準係用以校正所擷取的影像及改正暈影一允許與預測結果直接比較。
範例硬體實施
根據本發明的串列顯示可實施為雙層LCD螢幕，支援直接觀看及頭戴式顯示(HMD)裝置、雙層LCoS投影器等。操作串列顯示以達成超高解析度將有利地具有較少的實際限制：層之間不需要物理間隙、致能較薄的形狀因子、及需要明顯較少的時間多工訊框來消除影像假影。
圖9描述根據本發明一具體實施例之使用串列顯示層961及962以達成空間/時間超高解析度的範例顯示系統900。系統900包含處理器910(如圖形處理單元(GPU))、匯流排920、記憶體930、訊框緩衝器940、顯示控制器950及包含顯示面板961及962的顯示組裝件960。將理解到，系統900也可包含其他組件，例如外殼、介面電子件、IMU、放大光學件等。
記憶體930儲存串列顯示程式931，其可為顯示組裝件960之驅動程式的組合部分。記憶體930也儲存原始圖形資料934及分解的圖形資料935。串列顯示程式931包含用於時間分解計算的模組932以及用於空間分解計算的模組933。具有使用者組態及原始圖形資料934，串列顯示程式931導出分解的影像資料935供在顯示層961及962上顯示，此處將更詳細地描述。 舉例來說，時間分解模組932係組態以執行方程式(5)-(7)的程序；且空間分解模組933係組態以執行方程式(3)及(4)的程序。
根據本發明的串列顯示裝置可實施為用於直接觀看或頭戴式顯示(HMD)應用的LCD。顯示裝置可包含LCD面板、介面板、透鏡附著(供HMD使用)等等的堆疊。舉例來說，每一面板在1280×800畫素的原生解析度下以60Hz再新率操作。然而，本發明並不受限於使用串列顯示的目的或應用。本發明並不受限於顯示面板的種類或串列顯示中多層的組態或配置。
在某些具體實施例中，串列顯示裝置包含LCD面板及有機發光二極體(OLED)面板、電發光顯示面板或任何其他適合類型的顯示層、或其組合。
根據本發明的串列LCD顯示支援從一距離直接觀看(如行動電話或平板電腦)、及使用適當透鏡附著的HMD。圖10A顯示根據本發明一具體實施例之由使用即時等級-1分解之範例HMD之放大光學件所捕捉的樣品影像。使用串列LCD的文字可視度(圖形1020所示)明顯優於傳統(低解析度)顯示(圖形1010所示)。
此處所提出之所有空間超高解析度結果係使用具50mm f/1.8鏡頭的Canon EOS 7D相機所擷取。補充視訊中所包含的時間超高解析度結果使用具Fujinon 2.8-8mm變焦透鏡的Point Grey Flea3相機。由於LCD調節層之間的間隙，橫向偏移將根據觀看者位置而出現移動。上述校正程序用以補償視差。顯示層圖案係以低於原生面板解析度的較低解析度顯示，允許與「地面實況」超高解析影像直接比較。
在一具體實施例中，本發明的頭戴式顯示(HMD)更包含透鏡組裝件(例如一對非球面的放大透鏡)，設置在距離頂部LCD略小於其5.1公分焦距，以合成顯示為接近「光學無限」的放大、直立虛擬影像。頭部追蹤透過慣性量測單元(IMU)的使用而被支援。GPU加速快速WRRI解算器可用以處理資料供顯示於HMD中。此實施能夠維持原生60Hz再新(包含顯現 OpenGL場景所需的時間)、應用GLSL片段著色器扭曲影像以補償球面及色像差、以及分解所產生的目標影像。不同於直接觀看，HMD允許有限的觀看角度範圍一降低觀看者視差的影響並有助於串列LCDs的實際應用。
串列顯示器提供的超高解析度也可應用在串列液晶(LCoS)投影器，例如符合8K UHD電影投影標準。範例LCoS投影器包含多個LCoS微顯示器、介面電子件、中繼透鏡、PBS、孔徑、投影透鏡、及照明引擎等。這些顯示係操作於其1024×600畫素的原生解析度、60Hz的再新率、95.8%的孔徑比及70%的反射率。中繼透鏡用以藉由將第一LCoS的影像投影至具單位放大的第二者而達成雙調節。PBS立方體可設置於中繼透鏡及第二LCoS之間，取代原始的PBS板。雙調節影像使用投影光學件投影至螢幕表面。
圖10B顯示根據本發明一具體實施例之在範例串列LCoS投影器上顯示之影像訊框之捕捉的樣品照片1040。顯示在串列LCoS投影器上的影像1040顯示了比使用傳統(低解析度)LCoS投影器投影的影像1030更佳的可視度。
本發明的LCoS面板可離軸設置以避免多重反射。若兩個LCoS面板垂直中繼透鏡的光學軸並沿此光學軸為中心，則光可從PBS立方體反射回到第一LCoS，導致實驗上所觀察到的像差。將LCoS面板橫向偏移遠離光學軸可降低或消除這些假影。孔徑設置於第一LCoS前以避免任何反射光(現在偏離光學軸)繼續傳播。
本文顯示的串列顯示技術也可應用在串列印刷薄膜。印刷半透明彩色片可使用具有補充材料的圖案再現。只有單一訊框(即等級-1)分解需要以靜電膜呈現。
加權非負矩陣分解(WNMF)
本節提出範例具體實施例，以根據本發明針對各種空間超高解析度應用公式化WNMF問題。
給定一非負矩陣，其表示為： 且目標等級r<min(m,n)，求解下式：
本發明比較了用以求解方程式(S.1)的範例WNMF演算法，包含加權乘法更新規則(weighted multiplicative update rule)(本文中稱作「Blondel」)、加權等級一殘值迭代(weighted rank-one residue iteration，WRRI)方法、及交替最小平方Newton(alternating least-squares Newton，ALS-Newton)方法。
圖11為根據本發明一具體實施例之數據圖，其比較範例WNMF方法與用於串列顯示器中之超高解析度之雙倍準確度分解的效能。圖表1110中所提出的資料顯示了目標函數相對迭代(objective function versus iteration)，且圖表1120中所提出的資料顯示了PSNR相對迭代。
在圖11所示的範例中，三個WNMF方法的每一者係用以分解目標HD影像(1576×1050畫素)為等級-1雙層表示。每一方法係使用雙準度浮點數而實施。所有三個方法在幾次迭代後達到類似的結果，且當施加少量的迭代時，WRRI達到較佳的品質。
圖12為根據本發明一具體實施例之數據圖，其比較範例WNMF方法與用於串列顯示器中之超高解析度之單準確度分解的效能。顯而易見地，Blondel更新規則從數字上看來比WRRI及ALS-Newton更不穩定。所有三個方法在GPU上執行以比較實際運行時間。結果顯示WRRI比其他兩個方法在較短的時間內產生較佳的分解。WRRI是最快的，因為需要較少的記憶體存取(比其他方法少2×)。在此範例中，ALS-Newton當針對等級-1分解的特定問題調整，其對等級-1是快速的
表格2列出執行三個迭代所達成的性能，每一方法針對1576 ×1050訊框(對10訊框時間平均)。
下文將提出用於聯合時空超高解析度最佳化之範例WNMF程序的公式。
若每一畫素值針對每一層在大向量中於每一交錯再新時間堆疊，時間-空間層重建係模型化為加權等級-1NMF問題。假設非負矩陣係給定為： 接著，問題公式化為以下方程式(S.2)：
向量a , b包含所有時階上的所有層畫素。矩陣P 1 ,P 2 為置換矩陣，其中P 1 將置換ab T 的列，其包含所有可能的空間及時間層互動(時間上往前及往後)。矩陣P 2 將置換此矩陣的行。矩陣P 1 ,P 2 共同置換ab T ，使得所產生的矩陣包含對應一行中特定時階的堆疊影像。加權矩陣W指派0給此矩陣的大部分，其對應無層互動。矩陣C為施加在超高解析影像的潛在模糊(例如擴散器)。小模糊化允許鄰近畫素的加法空間耦合。
在描述時空最佳化問題(方程式(S.2))後，下一步驟為導出矩陣分解更新規則。為簡化起見，可使用乘法NMF規則(S.3)，包含權重適應。將理解到，此推導可直接應用在其他NMF演算法。如前述，方程式(S.1)的NMF規則為 其中雙線表示逐元素除法。NMF問題的一般化可利用以下簡單的推導，其中替換： 因此，方程式(S.3)變成： 第三行的產生是因為置換矩陣具有以下特性：P -1=P T .最後一行顯示更新的方程式可有效率地並行計算。a的更新係依循對稱性： 使用方程式(S.4)的推導可類似地應用在WRRI更新規則。
以下具體實施例採用範例即時等級-1分解程序，其使用ALS-Newton方法。根據本發明，範例ALS-Newton方法係針對特定超高解析度問題而最佳化，特別是針對等級-1分解。
針對等級r=1，方程式(S.1)之一般的非負矩陣分解問題係簡化為：
在另一個最小平方的方法中，解決上述雙凸問題係藉由交替地求解兩變數a、b之其中一者同時固定另一變數並進行迭代，如表格3中所表示：
針對r=1，非負的限制：b and a 可從步驟3及4移除。在表格1中的無約束(因此為凸狀)子問題之後，可使用相同目標函數值或藉由翻轉負元素的正負號而將解答轉移至一非負解答(假設先前的解答也不損害約束)。因此，可推導出針對無約束等級-1 ALS WNMF程序的演算法，如表格4所示：
到目前為止，非凸問題已公式化為一序列的凸優化問題。表格4中的「b-step」可使用具二次收斂的Newton方法來求解。因此，f(b)的梯度及Hessian行列式由以下導出： 其中引入矩陣D (．)，其將下標的矩陣置於對角線。O (．)矩陣也被引入，其對應與下標及右邊向量的向量外積操作，接著為向量化。第二行允許移除Frobenius範數，因而輕易地得到f的梯度及Hessian行列式。針對梯度，其係表示為： 運算子O T 等於向量外積操作加上隨後對所產生矩陣之列的加總。因此，只需要進行逐點操作W。abT-W。W。T、進行與a的外積、加總對應矩陣的列，其接著產生b的梯度。
針對Hessian行列式，對角線矩陣藉由以下獲得：
因為Hessian行列式為一對角線矩陣 Newton方法中的反算變成簡單的逐點除法。表格5顯示針對等級-1之完整Newton方法的範例程序，其可用以執行表格4所示的程序。
表格6顯示等級-1分解的範例即時CUDA程式碼，其支援三 個不同的更新規則：Blondel、WRRI、及ALS-Newton。程式碼包含兩核心。一個計算針對一考慮層之更新的分母(nominator)(或梯度)及分母(denominator)(或Hessian行列式)。另一個執行那些組件所給定的更新。
以下具體實施例使用針對組態供超高解析度之多層串列顯示的範例非負張量分解程序。
如上述，多層串列顯示可使用加權非負張量分解(WNTF)結合乘法更新規則。概括的兩個更新規則由方程式(4)所給定。
三層成像模型可表示為： 其中假設底層具有I 1 畫素、中層具有I 2 畫素、且頂層具有I 3 畫素。如上述，K個時間多工訊框係以超過臨界閃光融合閾值的速率顯現於顯示裝置上，使得觀看者可感知到以超高解析度呈現的影像。針對訊框k，頂層中之畫素i 3 的透射率係標示為c i3 (k) 且0 c i3 (k) 1。w i1,i2,i3 表示畫素i 1 、i 2 、及i 3 的累積重疊。
張量表示可用於成像模型。階-3、等級-K的正準分解可定義為： 其中開始的運算子表示向量外積且{x k ,y k ,z k }表示其個別矩陣的行k。方程式(S.11)可用以簡明地表示三層串列顯示的影像形成： 其中S為疏張量(spare tensor)，包含子畫素片段的有效發射率； W 也為疏I 1 ×I 2 ×I 3 張量，列出了累積畫素重疊；以及。表示Hadamard(逐元素)乘積。觀察到{a k ,b k ,c k }表示在訊框k期間顯示於其個別層上的畫素值(例如以字母排序)。因此，矩陣A等於顯示於第一層上之訊框的串接，使得A=[a 1 ,a 2 ,...,a K ](其他層為類似)。
給定此成像模型，目標函數可用於最佳三層分解： 其中β為施加至目標子畫素片段發射率W。T的調光係數。此目標可應用以下的乘法更新規則而最小化：
上述表示式中，⊙表示Khatri-Rao乘積： X⊙Y=[x 1★y 1,x 2★y 2,…,x K ★y K ], (S.18)
X (n) 為張量 X 的展開，其將X的節點-n纖維配置至連續矩陣行。較高分解階的一般化可類似地導出。
圖13顯示根據本發明一具體實施例之在使用兩訊框分解之串列四層顯示裝置上所顯示的捕捉影像。圖14顯示針對圖13中之範例串列四層顯示之個別層的分解訊框。
在此模擬範例中，「漂移(drift)」影像使用四個光衰減層(每一個偏移1/4畫素)的堆疊而沿每一軸以因子16進行空間超高解析。從左到右顯示目標影像(以單(低解析度)顯示層繪示)及使用串列四層顯示的重建。顯示了由串列四層顯示所達成之顯著提升採樣。
在此範例中，橫向偏移係一般化以最大化超高解析度能力：藉由逐漸地將每一層偏移1/4畫素，因而產生與子畫素片段一樣多之在單一層上畫素的16倍。使用兩訊框(即階-4、等級-2)分解達成高的超高解析度因子，如圖13中插圖的保真度所顯示。
總結來說，提供了串列顯示的一般性結構，其包含任意數量的偏移畫素層及時間多工訊框。舉例來說，串列雙層顯示提供一方法以即時分解方法所支援之實際顯示架構(例如串列LCD螢幕及LCoS投影器原型)來四倍空間解析度。
串列顯示器的色彩濾波器陣列
LCD面板主要藉由加入光譜帶通濾波器之週期陣列所組成的色彩濾波器陣列(color filter array，CFA)而達成色彩顯示。一般來說，由白色背光照明之個別可尋址子畫素的三個鄰近行係分別過濾為紅、綠及藍色波長範圍，共同呈現單一全彩畫素行。在足夠的觀看距離下，色彩通道的空間多工變得無法察覺。在某些具體實施例中，已觀察到當垂直對準的CFA呈現在每一層上時，串列雙層LCD仍可加倍垂直解析度。然而，不修改 CFA結構而要增加水平解析度可能是有問題的。
此處提出兩個修改來解決問題：每一畫素使用多重色彩濾波器(在最頂層)以及使用青-黃-洋紅CFA。使用兩者可導致串列雙層LCD表現為沿每一軸具有兩倍數量之色彩子畫素的單一LCD。
由於每一子畫素片段若具有獨立的色彩濾波器則可描繪一不同的顏色，串列雙層LCD可使用單色面板(例如不含任何色彩濾波器陣列者)建構。將這類顯示器水平及垂直地偏移半個畫素產生為單一層中畫素四倍的子畫素片段。為建立空間多工色彩顯示，可使用每一子畫素片段具有一色彩濾波器的CFA。這可藉由製造具有間距為傳統面板一半之CFA的一面板而達成，使得兩個垂直對準的色彩濾波器存在於最外顯示面板中的每一畫素。在此方式中，並非較大層畫素，而是每一子畫素個別地由單一定制的CFA所過濾。
作為替代方案，可使用具有相同色彩濾波器陣列的兩個LCD面板。圖15描述由雙層串列顯示器以青-黃-洋紅色彩濾波器陣列(CFA)產生子畫素片段的範例方法。在此範例中，每一層的傳統紅-綠-藍濾波器可由青-黃-洋紅三聯體所取代(顯示於1510及1520)。因此，不同於具有紅、綠及藍濾波器的傳統LCD，材料能夠傳送青、黃、洋紅波長範圍。如圖示，兩個不同濾波器的重疊合成了紅(即洋紅及黃的組合)、綠(即青及黃的組合)及藍(即青及洋紅的組合)，如圖表1530所示。
給定一固定的CFA，單一濾波器可作用於每一行的畫素。考慮具有青、黃、洋紅濾波器之週期性列的一對LCD，從左邊的青色行開始。第二面板可設置為向右偏移一個半畫素且向上或向下偏移半個畫素(參考圖15)。此一組態顯示沿每一維度兩倍的子畫素片段，由表現為在每一層具有兩倍CFA間距的傳統紅-綠-藍CFA者所涵蓋。
舉例來說，圖表1510顯示具CFA的第一層，其中第一行中的畫素(a 1 -a 3 )為青；第二行中的畫素(a 4 -a 6 )為黃；第三行中的畫素(a 7 -a 9 )為洋 紅；且第四行中的畫素(a 10 -a 12 )為青。圖表1520顯示設置為與具相同CFA之後顯示層直接接觸的第二光吸收層，其中第一行中的畫素(b 1 -b 3 )為洋紅；第二行中的畫素(b 4 -b 6 )為青；第三行中的畫素(b 7 -b 9 )為黃；且第四行中的畫素(b 10 -b 12 )為洋紅。
圖表1530顯示偏移畫素層的幾何重疊產生子畫素片段的陣列。色彩濾波器的光譜重疊產生了有效CFA，其表現為具有下層CFA兩倍間距的傳統紅-綠-藍濾波器圖案。更特別地，行1531、1534及1537中的子畫素為藍、行1532及1535中的子畫素為紅、且行1533及1536中的子畫素為綠。
此想法可延伸至其他子畫素佈局及色彩濾波器，例如青、黃、洋紅及白的2×2網格。當在每一維度偏移四分之一畫素，解析度將增加四倍，而現在具有明顯的青、黃、洋紅、紅、綠、藍及白色子畫素。將理解到，此處所描述的多層青-黃-洋紅CFA並非包含一切，而是提供作為一個說明性的例子。
如同2×2網格，更一般的CFA圖案及濾波器帶通光譜可在基本原則下使用：重疊CFAs可合成調節個別子畫素片段的任意目標CFAs，同時利用產生每一畫素、每一顯示層單一色彩濾波器的現有顯示製造程序。
在某些其他具體實施例中，高速LCD的利用可消除CFA的需求。並非使用場色序法(field-sequential color，FSC)，其中單色面板依序顯示每一色彩通道，而是改變背光色彩。
在某些其他具體實例例中，有效CFA也可僅藉由製造具有兩倍標準間距之使用紅-綠-藍CFA之層的其中一者而達成，無CFA設置於其他層中。
範例串列顯示效能
有關空間超高解析度，方程式(3)的解答提供了顯示設計者在分別由調光因子β、目標影像的解析度W。T、及分解等級K所擷取之表觀 影像亮度、空間解析度、及再新率之間一個彈性的取捨。圖16顯示在各種參數下作為調光因子β之函數的峰值信號雜訊比(PSNR)的數據圖(對目標影像組取平均)。曲線1061、1062、1063及1064分別對應等級-1、等級-2、等級-3及等級-4。如所示，高-PSNR重建係以0.25的調光因子及四個訊框而獲得(如1064所示)。在此情況中，啟發式分解(如前文參照圖4所提出)準確地重建目標影像。三訊框分解(如1063所示)非常接近四個訊框所達成的效能。更顯著地，圖16顯示了一個重要的觀點：可在原生顯示再新率達成空間超高解析度(具有超過30dB的PSNR)，而不會降低表觀亮度。
有關時間超高解析度，方程式(5)的解答也提供了亮度、解析度及再新率之間的彈性控制。用於時空超高解析度的架構可包含光學模糊元素(特徵在於內嵌於迴旋矩陣C中的點擴散函數)。在某些具體實施例中，具有2×2畫素均勻模糊核心的分解足以針對各種目標視訊提供高PSNR重建，其將詳述於下。然而，在某些其他具體實施例中，有效超高解析度可在不需加入模糊下達成，因此不需包含其他擴散元素。
習知的許多超高解析度技術可用以產生顯示結果並與根據本發明之串列顯示系統所產生的結果作比較。
根據習知技術中之加成性超高解析度顯示模式，一組重疊、偏移的低解析度影像係經由振動顯示及疊加的投影而呈現。假設沒有引入運動模糊，其將進一步降低振動顯示的影像品質。
根據習知技術的光學畫素共享(OPS)方法也用以產生影像以供比較。OPS實施需要指定兩個調整參數：邊緣臨界(edge threshold)及平滑係數(smoothing coefficient)。二維網格搜尋用以最佳化這些參數(獨立地針對每一目標影像)以最大化PSNR或SSIM指數。實際上，使用總體平均的調整參數，其增加了重建假影。相反地，本發明的串列顯示並不需要最佳化任何這類的調整參數，進一步有利地促進了即時應用。
用於這些顯示替代物之每一者中的空間光調節器可具有可 變的畫素孔徑比。如所觀察到的，有限的孔徑比轉換為加成性超高解析度顯示之影像品質的改善。然而，由於關聯於有限孔徑比的工程挑戰(特別是針對疊加的投影)，來自加成性疊加的空間超高解析度實際上受到阻礙。此外，產業的發展趨勢係朝向越來越高的孔徑比(例如LCoS微顯示器及節能LCD)。因此，本文提出的所有比較係假設100%的孔徑比。
可從視覺比較及PSNR表格做出一些觀察。首先，在這些範例中，單一訊框串列顯示分解非常接近或超越使用兩時間多工訊框的所有其他方法。這些PSNR優點轉換為可見假影的降低。
圖17顯示超高解析度顯示的視覺比較，其係經由以三個不同超高解析度顯示模擬所再生之影像補綴。三個超高解析度顯示包含習知使用兩訊框的加成性超高解析度、習知具有每影像PSNR-及SSIM-最佳化邊緣臨界及平滑係數之使用兩訊框的OPS、以及本發明之使用一或兩訊框之串列顯示。
注意相對於傳統(低解析度)顯示(行1702)的改善。串列顯示(行1706及1707)明顯優於光學畫素共享(OPS)(行1704及1705)，其依賴包含中繼光學件(relay optics)的類似雙調節架構(dual-modulation architecture)。加成式超高解析度的模擬(行1703及1704)也顯得優於OPS，其假設在加成式模擬中沒有使用運動模糊。
兩訊框串列顯示分解(行1707)優於所有其他兩訊框分解(例如行1703)一顯著的範圍、甚至優於四訊框加成式超高解析度。這強調了本發明之基於矩陣分解方法(matrix-factorization-based)所致能之壓縮能力的優勢。
以下藉由比較特徵化每一超高解析度顯示選擇之調節轉移函數(modulation transfer function，MTF)而於PSNR分析上擴展：指定空間-超高解析影像的對比，作為空間頻率的函數。顯示的MTF可使用各種測試圖案來量測，包含自然影像組、空間頻率調頻、及斜邊。此處採用一線性 調頻平板圖樣並具形式(1+cos(cr2))/2，其中r=sqrt(x2+y2)、{x,y}[-π,π]、且c控制最大空間頻率。
圖18A顯示針對根據習知技術之顯示替代方法及根據本發明之串列顯示的MTF的模擬比較。單一訊框串列顯示有效地將空間解析度增加四倍且執行上與兩訊框加成式顯示不分上下。
MTF分析確認先前有關每一方法的相對效能所做的觀察。此外，其顯示了單一訊框串列顯示有效地四倍空間解析度(沿每一影像維度增加兩倍)-儘管有壓縮所引入的假影-針對最高超高解析率保持大於70%的對比。圖18A也顯示針對兩訊框及三訊框分解的MTFs幾乎是相同的，表示串列顯示的實際應用可能需要不多於一對時間多工訊框。
圖18B顯示範例串列LCD顯示裝置的量測調節轉移函數。相較於傳統顯示，串列顯示裝置達成清晰的超高解析度。圖18B顯示由串列LCD顯示裝置針對1及2訊框分解所量測的MTF。雖然MTF在模擬上低於預測，其提供了對傳統顯示的明顯改良。
圖19為一圖表，其比較根據習知技術之各種超高解析度技術及根據本發明之串列顯示所獲得之一組自然影像的峰值信號雜訊比(PSNR)，其單位為dB。圖20為一圖表，其顯示結構相似性指標(SSIM)為以根據習知技術之各種超高解析度技術及根據本發明之串列顯示所獲得之一組自然影像之所有顏色通道的總和。
比較三種方案：使用二或四個訊框的加成式超高解析度顯示、使用兩訊框的光學畫素共享(OPS)、以及使用一、二、三及四個訊框的串列顯示。加成式超高解析度使用單一顯示層，而OPS及串列顯示使用兩個顯示層。OPS包含兩種形式：在一OPS形式中，其邊緣臨界係最佳化並使用1/ε=8於平滑化。在第二種OPS形式中，邊緣臨界及平滑參數1/ε兩者皆最佳化。對於此影像組之最佳參數的最佳化，此表格最後一列中的平均PSNR係用作目標函數。針對表格右方(以灰色顯示)，OPS參數係按影像進行最佳化 以獲得最佳可得的品質。
資料顯示單一訊框串列顯示達成比兩訊框加成式超高解析度顯示更佳的品質，在PSNR及在SSIM方面都是。串列顯示大致上達成兩訊框OPS顯示的品質：單一訊框串列顯示的平均PSNR略小於聯合最佳化OPS(本發明對原始OPS論文的改良)，但本發明的平均單一訊框SSIM略優於聯合最佳化OPS。具有二或更多訊框的串列顯示明顯地優於所有其他方法。
圖21A顯示目標影像、傳統顯示、2及4個訊框的加法顯示、OPS、及串列顯示(等級-2)的斜邊。圖21B顯示針對圖21A中不同方法的斜邊MTF量測。
MTF係使用斜邊方法計算。在此情況中，MTF從斜邊的輪廓來估計。需注意，串列顯示的斜邊MTF符合目標影像的MTF。OPS再現的斜邊非常好，因為在亮區中有足夠的畫素強度可重新分配至邊緣。
圖22顯示根據本發明一具體實施例之使用一對範例8-位元串列顯示之線性斜面的外形以展示串列顯示之HDR應用。目標斜面(2210)係以單一8-位元顯示(2220)及使用兩個8-位元層(2230)的串列顯示所呈現。結果顯示串列顯示也可增加動態範圍。由以上所提出的結果觀察，使用兩訊框分解幾乎消除了由壓縮而產生的重建假影。
圖23A顯示針對在一自然電影上之峰值信號雜訊比(PSNR)比較時間超高解析度(曲線2311)與較低訊框率(曲線2322)之品質的數據圖。圖23B顯示就結構相似性(SSIM)比較時間超高解析度(曲線2311)與較低訊框率(曲線2322)之品質的數據圖。PSNR及SSIM在超高解析訊框率的目標視訊與標準訊框率(即低訊框率)視訊之間計算。
雖然本文已經揭示特定較佳具體實施例及方法，但熟習本技術者從上述揭示內容應明白，可在不脫離本發明之精神及範疇下，做出此類具體實施例及方法的變化及修改。預期本發明應僅限於隨附申請專利範圍及適用法之規則及原則所需的限度。

Claims (20)

  1. 一種用以在一顯示裝置上顯示視訊的方法，該方法包含：存取代表一視訊內容的多個第一訊框；存取代表該視訊內容的多個第二訊框；顯示該視訊內容於該顯示裝置上，其中該顯示裝置包含以一串列方式設置的一第一顯示層及一第二顯示層，其中上述顯示包含：顯現該等第一訊框供以一第一訊框率在該第一顯示層上顯示；以及顯現該等第二訊框供以一第二訊框率在該第二顯示層上顯示，其中該第一顯示層及該第二顯示層以一時間交錯的方式(temporally staggered manner)再新，其中上述顯示該視訊內容之該步驟的一有效訊框率(effective frame rate)大於該第一訊框率及該第二訊框率。
  2. 如申請專利範圍第1項所述之方法，其中該時間交錯的方式包含將顯現該等第一訊框的步驟與顯現該等第二訊框的步驟偏移半個訊框再新週期(frame refresh period)。
  3. 如申請專利範圍第1項所述之方法，更包含：存取代表該視訊內容的原始資料，其中該原始資料可操作以在大於該第一訊框率及該第二訊框率的一原始訊框率下顯示；以及藉由根據一迭代方法分解該原始資料而導出該等第一訊框及該等第二訊框。
  4. 如申請專利範圍第3項所述之方法，其中上述導出步驟更包含併入一光學模糊於該等第一訊框與該等第二訊框中。
  5. 如申請專利範圍第1項所述之方法，其中該第一顯示層及該第二顯示層在空間上對齊。
  6. 如申請專利範圍第1項所述之方法，其中該第一顯示層重疊該第二顯示層，並在兩個正交的方向中與該第二顯示層有一橫向偏移為該第一顯示層之一畫素的一部分。
  7. 如申請專利範圍第1項所述之方法，其中該原始資料表示訊框之一數量，且其中該等第一訊框及該等第二訊框分別包含訊框之該數量。
  8. 如申請專利範圍第1項所述之方法，其中該顯示裝置包含L個顯示層，其中L為大於1的整數，且其中該L個顯示層的一個別顯示層的一訊框再新時間與一鄰近顯示層的一訊框再新時間在時間上以一訊框再新週期的1/L交錯。
  9. 一種用以顯現即時顯示的方法，該方法包含：存取代表一視訊內容在一原始訊框率的原始資料；分解該原始資料以導出：代表該視訊內容在一第一訊框率的多個第一訊框，以及代表該視訊內容在一第二訊框率的多個第二訊框；顯現該等第一訊框供顯示於一顯示裝置的一第一顯示層上；顯現該等第二訊框供顯示於該顯示裝置的一第二顯示層上，其中該第一顯示層覆蓋該第二顯示層，且其中用以顯示由上述顯現步驟所產生之該 視訊內容之該顯示裝置的一有效訊框率大於該第一訊框率及該第二訊框率。
  10. 如申請專利範圍第9項所述之方法，其中該第一顯示層及該第二顯示層以一時間交錯的方式再新。
  11. 如申請專利範圍第10項所述之方法，其中該顯示裝置包含L個顯示層，其中L為大於1的整數，且其中該L個顯示層的一個別顯示層的一訊框再新時間與一鄰近顯示層的一訊框再新時間在時間上以一訊框再新週期的1/L交錯。
  12. 如申請專利範圍第9項所述之方法，其中該第一顯示層的畫素係空間地對齊該第二顯示層的畫素。
  13. 如申請專利範圍第9項所述之方法，其中該第一顯示層的畫素與該第二顯示層的畫素在空間上偏移一畫素的一部分。
  14. 如申請專利範圍第9項所述之方法，其中該分解包含執行一乘法更新程序(multiplicative updating process)。
  15. 一種顯示系統，包含：複數個顯示層，其以一串列方式設置並包含一第一顯示層及一第二顯示層；多個訊框緩衝器，耦合至該複數個顯示層；一處理器，耦合至該複數個顯示層； 一記憶體，耦合至該處理器並包含多個指令，該等指令當由該處理器執行時將執行以一有效訊框率呈現一視訊內容的一方法，該方法包含：存取代表該視訊內容的多個第一訊框；存取代表該視訊內容的多個第二訊框；顯現該等第一訊框供以一第一訊框率在該第一顯示層上顯示；以及顯現該等第二訊框供以一第二訊框率在該第二顯示層上顯示，其中該第一顯示層及該第二顯示層以一時間交錯的方式再新，以及其中上述顯示該視訊內容之該步驟的該有效訊框率大於該第一訊框率及該第二訊框率。
  16. 如申請專利範圍第15項所述之顯示系統，其中該等第一訊框及該等第二訊框係藉由分解代表在一原始訊框率之該視訊內容的原始資料而導出，其中該有效訊框率實質上等於該原始訊框率。
  17. 如申請專利範圍第15項所述之顯示系統，其中該第一顯示層的一訊框再新時間與該第二顯示層的一訊框再新時間偏離一半的訊框再新週期。
  18. 如申請專利範圍第15項所述之顯示系統，更包含設置於該複數個顯示層之前的一擴散光學元件。
  19. 如申請專利範圍第15項所述之顯示系統，其中該複數個顯示層的對應多個畫素在空間上相對彼此對齊。
  20. 如申請專利範圍第15項所述之顯示系統，更包含耦合至該複數個顯示層的多個色彩濾波器陣列，其中該複數個顯示層包含一平面顯示器的多個液晶面板、多種類型的顯示面板、或一數位投影器的多個矽基液晶面板。
TW104108600A 2014-03-18 2015-03-18 使用串列面板的超高解析度顯示 TWI592919B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201461955057P 2014-03-18 2014-03-18

Publications (2)

Publication Number Publication Date
TW201602985A TW201602985A (zh) 2016-01-16
TWI592919B true TWI592919B (zh) 2017-07-21

Family

ID=54146499

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104108600A TWI592919B (zh) 2014-03-18 2015-03-18 使用串列面板的超高解析度顯示
TW104108599A TWI656520B (zh) 2014-03-18 2015-03-18 使用串列面板的超高解析度顯示

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW104108599A TWI656520B (zh) 2014-03-18 2015-03-18 使用串列面板的超高解析度顯示

Country Status (4)

Country Link
US (2) US9934714B2 (zh)
CN (2) CN105049830A (zh)
DE (2) DE102015003526B4 (zh)
TW (2) TWI592919B (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934714B2 (en) 2014-03-18 2018-04-03 Nvidia Corporation Superresolution display using cascaded panels
RU2018119474A (ru) * 2015-10-30 2019-12-03 Эптив Текнолоджиз Лимитед Способ и система для осуществления колебаний панели и/или селективного управления задней подсветкой для уменьшения муаровой интерференции в дисплейной системе, включающей в себя множественные дисплеи
CN105389785A (zh) * 2015-12-21 2016-03-09 程涛 一种点扩散函数的处理方法
US10540007B2 (en) * 2016-03-04 2020-01-21 Rockwell Collins, Inc. Systems and methods for delivering imagery to head-worn display systems
US10056057B2 (en) * 2016-04-13 2018-08-21 Google Llc Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues
CN105912127A (zh) * 2016-04-28 2016-08-31 乐视控股（北京）有限公司 视频数据播放方法及设备
CN108122216B (zh) 2016-11-29 2019-12-10 京东方科技集团股份有限公司 用于数字图像的动态范围扩展的系统和方法
US11054886B2 (en) 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US10506196B2 (en) 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10882453B2 (en) 2017-04-01 2021-01-05 Intel Corporation Usage of automotive virtual mirrors
US10453221B2 (en) 2017-04-10 2019-10-22 Intel Corporation Region based processing
US10574995B2 (en) 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
US10638124B2 (en) 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
US10623634B2 (en) 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10456666B2 (en) 2017-04-17 2019-10-29 Intel Corporation Block based camera updates and asynchronous displays
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US10547846B2 (en) 2017-04-17 2020-01-28 Intel Corporation Encoding 3D rendered images by tagging objects
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US10424082B2 (en) 2017-04-24 2019-09-24 Intel Corporation Mixed reality coding with overlays
US10475148B2 (en) 2017-04-24 2019-11-12 Intel Corporation Fragmented graphic cores for deep learning using LED displays
US10939038B2 (en) 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
US10565964B2 (en) 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
US10979728B2 (en) 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
US10908679B2 (en) 2017-04-24 2021-02-02 Intel Corporation Viewing angles influenced by head and body movements
US10158833B2 (en) 2017-04-24 2018-12-18 Intel Corporation High dynamic range imager enhancement technology
US10525341B2 (en) 2017-04-24 2020-01-07 Intel Corporation Mechanisms for reducing latency and ghosting displays
US10643358B2 (en) 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
CN107124609A (zh) 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
US10564322B2 (en) 2017-04-27 2020-02-18 Pure Depth Limited Diffractive antiglare in a multi-layered display
US20200169725A1 (en) * 2017-05-18 2020-05-28 Arizona Board Regents On Behalf Of The University Of Arizona Multilayer high-dynamic-range head-mounted display
CN107182083B (zh) * 2017-05-27 2021-08-10 努比亚技术有限公司 移动终端及数据包传输方法
CN107146566A (zh) * 2017-06-29 2017-09-08 京东方科技集团股份有限公司 一种显示装置及其显示方法
CN107179610A (zh) * 2017-06-29 2017-09-19 深圳市虚拟现实科技有限公司 图像显示方法及其装置
RU2665289C1 (ru) * 2017-08-15 2018-08-28 Самсунг Электроникс Ко., Лтд. Система отображения реальной или виртуальной сцены и способ ее функционирования
WO2019035600A1 (en) * 2017-08-15 2019-02-21 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR REAL OR VIRTUAL SCENE DISPLAY
CN110221505A (zh) 2018-03-02 2019-09-10 台达电子工业股份有限公司 投影装置及投影方法
CN108398801A (zh) * 2018-03-19 2018-08-14 江西合力泰科技有限公司 一种裸眼3d显示结构及其显示屏
JP6859990B2 (ja) * 2018-09-25 2021-04-14 セイコーエプソン株式会社 電気光学装置及びその制御方法
CN109598676A (zh) * 2018-11-15 2019-04-09 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法
CN109587462A (zh) * 2018-11-30 2019-04-05 中山大学 高对比度投影画面调整方法、装置、投影装置及投影系统
CN109493751A (zh) * 2019-01-16 2019-03-19 深圳市华星光电半导体显示技术有限公司 显示面板的显示方法及显示面板
WO2020177053A1 (en) * 2019-03-04 2020-09-10 Boe Technology Group Co., Ltd. Display-driving circuit, display apparatus, and display method based on time-division data output
US10957240B1 (en) * 2019-03-19 2021-03-23 Facebook Technologies, Llc Apparatus, systems, and methods to compensate for sub-standard sub pixels in an array
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
KR20200116763A (ko) 2019-04-02 2020-10-13 삼성전자주식회사 키-밸류 커플링을 이용한 유사성 처리 방법 및 장치
CN115243103A (zh) * 2019-04-30 2022-10-25 深圳光峰科技股份有限公司 图像拆分方法与图像显示方法
US11151965B2 (en) * 2019-08-22 2021-10-19 Qualcomm Incorporated Methods and apparatus for refreshing multiple displays
CN110441262A (zh) * 2019-08-28 2019-11-12 中国地质大学（北京） 一种非定域相位物体边缘增强方法及其系统
CN112735353B (zh) * 2019-10-28 2022-05-13 瑞昱半导体股份有限公司 屏幕亮度均匀性校正装置与方法
TWI825379B (zh) * 2020-01-08 2023-12-11 美商思娜公司 用於更新顯示在顯示器裝置上的影像的系統及方法
US11100830B2 (en) * 2020-01-13 2021-08-24 Nvidia Corporation Method and apparatus for spatiotemporal enhancement of patch scanning displays
CN113254680B (zh) * 2020-02-10 2023-07-25 北京百度网讯科技有限公司 多媒体信息的封面图处理方法、客户端和电子设备
KR20220023647A (ko) * 2020-08-21 2022-03-02 삼성전자주식회사 적층형 디스플레이 장치 및 이의 영상 제공 방법
US11935331B2 (en) * 2021-03-04 2024-03-19 The Bank Of New York Mellon Methods and systems for real-time electronic verification of content with varying features in data-sparse computer environments
CN113112406B (zh) * 2021-04-12 2023-01-31 山东迈科显微生物科技有限公司 一种特征确定方法、装置、电子设备以及存储介质
CN114020231B (zh) * 2021-11-11 2023-12-26 京东方科技集团股份有限公司 一种用户界面显示的方法及设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2404861A1 (en) 2000-02-02 2001-08-09 Quvis, Inc. System and method for optimizing image resolution using pixelated imaging devices
TW545039B (en) 2002-01-08 2003-08-01 Lite On Technology Corp Method and apparatus for increasing a scanning resolution
US7097311B2 (en) * 2003-04-19 2006-08-29 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
CN101313595A (zh) 2005-07-11 2008-11-26 iz3D有限公司 适于三维成像的具有圆偏振和偏振眼镜的双面板液晶系统
US7710389B2 (en) 2005-11-04 2010-05-04 Xerox Corporation Multi-layer display device using dot field applicators
GB0709379D0 (en) 2007-05-16 2007-06-27 Seereal Technologies Sa Smart display extended
US8115700B2 (en) * 2007-09-20 2012-02-14 Igt Auto-blanking screen for devices having multi-layer displays
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8941691B2 (en) * 2008-08-26 2015-01-27 Pure Depth Limited Multi-layered displays
JP2011128548A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像表示装置、画像表示観察システム及び画像表示方法
TWI457877B (zh) 2010-01-07 2014-10-21 Univ Nat Taipei Technology 顯示牆系統及高解析度影像生成顯示方法
TW201131511A (en) 2010-03-10 2011-09-16 Chunghwa Picture Tubes Ltd Super-resolution method for video display
RU2562757C2 (ru) * 2010-04-18 2015-09-10 АЙМАКС Юроп СА Двойное наложенное проецирование
WO2011159401A1 (en) 2010-05-03 2011-12-22 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US8608319B2 (en) 2011-04-19 2013-12-17 Igt Multi-layer projection displays
US8958032B2 (en) 2011-05-17 2015-02-17 Shenzhen China Star Optoelectronics Technology Co., Ltd. LCD panel, and manufacturing method and driving method thereof
EP2544152A3 (en) 2011-07-07 2013-02-20 HTC Corporation Management of multiple interface display layers
US8848006B2 (en) 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
KR101967717B1 (ko) 2012-12-27 2019-08-13 삼성전자주식회사 멀티 레이어 디스플레이 장치
CN103338378B (zh) 2013-07-24 2015-07-01 西安电子科技大学 基于二维亚像素采样的超分辨率显示方法及装置
US9934714B2 (en) 2014-03-18 2018-04-03 Nvidia Corporation Superresolution display using cascaded panels

Also Published As

Publication number Publication date
DE102015003525B4 (de) 2024-02-29
DE102015003526A8 (de) 2015-12-17
DE102015003525A1 (de) 2015-10-08
US20150310789A1 (en) 2015-10-29
DE102015003526A1 (de) 2015-10-08
US9934714B2 (en) 2018-04-03
TW201602984A (zh) 2016-01-16
US20150310798A1 (en) 2015-10-29
US9892669B2 (en) 2018-02-13
DE102015003526B4 (de) 2024-02-29
TWI656520B (zh) 2019-04-11
TW201602985A (zh) 2016-01-16
CN105049831B (zh) 2018-02-27
CN105049831A (zh) 2015-11-11
CN105049830A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
TWI592919B (zh) 使用串列面板的超高解析度顯示
Masia et al. A survey on computational displays: Pushing the boundaries of optics, computation, and perception
US12101456B2 (en) Multi-view displays and associated systems and methods
Wetzstein et al. Tensor displays: compressive light field synthesis using multilayer displays with directional backlighting
Huang et al. The light field stereoscope.
CN107407816B (zh) 具有时间复用的视觉显示器
CN110998412A (zh) 多层高动态范围头戴式显示器
Hamasaki et al. Varifocal occlusion for optical see-through head-mounted displays using a slide occlusion mask
Sajadi et al. Edge-guided resolution enhancement in projectors via optical pixel sharing
CN111869204A (zh) 为基于积分成像的光场显示来渲染光场图像的方法
TWI531215B (zh) 編碼光源與應用其之光場投影裝置
US11551636B1 (en) Constrained rendering
CN114096985A (zh) 用于隐藏坏像素的系统和方法
Jo et al. Tomographic projector: large scale volumetric display with uniform viewing experiences
Riecke et al. Selected technical and perceptual aspects of virtual reality displays
TW202208938A (zh) 顯示不均勻性的校正
Yang et al. Deep neural network-enabled resolution enhancement for the digital light field display based on holographic functional screen
Lee et al. Tomoreal: Tomographic displays
US9183771B2 (en) Projector with enhanced resolution via optical pixel sharing
Wetzstein et al. Factored displays: improving resolution, dynamic range, color reproduction, and light field characteristics with advanced signal processing
CN114174979B (zh) 用于隐藏死像素的系统和方法
Yoo et al. 15 focal planes head-mounted display using led array backlight
Yang et al. The pre-coding optimization for the digital horizontal glass-free 3D display based on holographic functional screen
Maimone Computational see-through near-eye displays
Chatterjee et al. Autostereoscopic, partial pixel, spatially multiplexed, and other 3D display technologies