TWI458338B - 使用近端及遠端聚焦影像之三維記錄及顯示系統 - Google Patents

Description

使用近端及遠端聚焦影像之三維記錄及顯示系統

本技術領域大體上係關於可模擬三維影像之顯示系統及方法論，且更特定言之係關於可藉由使用近端聚焦與遠端聚焦影像模擬三維影像之顯示系統及方法論及可藉由使用適應光圈及/或影像擷取裝置或系統中的焦點設定擷取三維影像之系統及方法論。

電視已家喻戶曉，自20世紀30年代已存在二維顯示形式，且甚至自19世紀末已存在更早的化身。電影已存在甚至更長的時間。儘管自電視初期以來已有許多提升，但是電視與電影技術在很大程度上已被侷限於二維顯示。

某些現代技術試圖藉由使用專用眼鏡在一平坦二維表面(諸如一電視機或一電影螢幕)上模擬三維顯示。其他技術試圖依靠放置於一顯示表面或裝置上的覆疊片來模擬三維顯示，然而有些仍然需要整合於顯示裝置之專用螢幕。由於家庭中的電視機、投影機及其他視訊顯示裝置之激增，許多消費者可能不願意購買新設備來觀看經模擬之三維節目。

一實施例採取用於產生一輸出串流之一方法之形式，該方法包括如下操作：聚焦於一第一焦點上；擷取具有對應於該第一焦點之一第一景深之一第一系列之影像；聚焦於一第二焦點上；擷取具有對應於該第二焦點之一第二景深之一第二系列之影像，該第二景深不同於該第一景深；在該第一系列之影像之一第一部分後放置該第二系列之影像之至少一部分；及在該第二系列之影像之至少一部分後放置該第一系列之影像之一第二部分；其中該第一系列之影像之第一部分、該第二系列影像之至少一部分及該第一系列之影像之第二部分形成一輸出串流。

另一實施例採取用於產生一輸出串流之一方法之形式，該方法包括如下操作：聚焦具有一光圈及聚焦於一第一焦點上之至少一透鏡之一影像擷取裝置；擷取在該第一焦點處具有一第一景深之一場景之一第一影像；將該影像擷取裝置之光圈自一第一光圈調整至至少一第二光圈；及在該至少一第二光圈之各者之第一焦點處擷取該場景之至少一第二影像；其中該第一光圈與該至少一第二光圈導致在對應於該第一焦點之多個景深處該場景之擷取。

另一實施例採取用於顯示一輸出串流之一方法之形式，該方法包括如下操作：接收輸出串流；顯示該輸出串流中的一第一影像，該第一影像對應於一第一景深；在一第一轉變時間後，顯示該輸出串流中的一第二影像，該第二影像對應於一第二景深；在一第二轉變時間後，顯示該輸出串流中的一第三影像，該第三影像對應於該第一景深，其中該第一轉變時間與該第二轉變時間允許人眼在該第一景深與該第二之間重新聚焦。

還有另一實施例採取用於擷取多個系列之影像之一設備之形式，該設備包括：一第一影像擷取元件；一第二影像擷取元件；經光學耦合至該第一影像擷取元件之一第一透鏡；經光學耦合至該第二影像擷取元件之一第二透鏡；及將至少該第一影像擷取元件與第二影像擷取元件圍封之一外殼。

I.　緒論及定義

通常，本文所描述之實施例可在一顯示裝置(如下文進一步所界定，諸如一電視機、電腦監視器、抬頭顯示器、電影院螢幕、視訊眼鏡或類似物)上提供經模擬之三維圖像。對於至少一實施例，該經模擬之三維圖像係藉由在一給定時間點呈現一場景之多個影像擷取而產生(在下文中，各影像擷取一「圖框」，及針對一給定場景，影像之一收集在一給定時間點擷取一「圖像」)，其中該等圖框之各者可依焦點、發光度，及/或對應於任何給定焦點之一景深而與前後圖框有異；及其中就一圖像彙總之一或多個圖框而論，各圖像可依時間、焦距、發光度、景深、運動存在或缺乏及類似物而與任何前後圖像有異。此外，一場景之各被擷取之影像，及此擷取之對應圖像與圖框可藉由焦距、感知視角(例如，一給定參考位置之左邊或右邊)、仰角(例如，自一給定參考平面向上或向下)及類似物而改變該場景之一整個呈現。

可以任何給定序列，依任何給定週期性及針對與一或多個圖像之呈現結合之任何給定持續時間呈現一給定圖像之圖框之各者。任何給定場景呈現中的變化可依焦點、發光度、景深及/或運動存在或缺乏而發生，如藉由前述中的圖框間及/或圖像間變化而達成。此等變更期望導致人眼自動適應此等變化使得對應之人腦以細節及/或運動之變化位準感知一給定影像及/或一給定場景及藉此在人腦中呈現該給定影像及/或場景之一被感知之三維視圖。

當呈現圖像及對應於其之圖框時，觀看者可感知到顯示器在不同景深(本文中稱為「深度平面」)處顯示一影像，以及在運動視訊之情況下，當包含對應運動時，顯示該影像。深度平面之數量可因實施例而異及可基於圖像之間的運動存在或缺乏及在呈現此運動時連續圖像之間的可視感知影像元素中的變化率而異。

繼續概述，一經適當組態之影像擷取裝置(在下文中，一「相機」)可以不同焦點、發光度及/或景深擷取一場景之影像(照片或視訊之任一者)。例如，相機可拍攝或以其他方式在一第一深度平面處擷取一影像且同時或依序在一第二深度平面處擷取影像。通常，各焦點係位於一對應深度平面內。在該等對應深度平面處之此等影像擷取可逐圖框及/或影像元件圖像的基礎上發生。此影像擷取亦可根據需要考量場景中的運動存在或缺乏。

繼續該實例，可擷取該影像使得於一系列圖框中聚焦於前景及於一第二系列之圖框中聚焦於背景。因此，可以看出，多個物體(儘管不以一平坦方式配置)可聚焦於一單一深度平面內。

該第一系列之圖框及第二系列之圖框可經交錯以形成一輸出串流以在顯示裝置上顯示。以這種方式，該顯示裝置在顯示該輸出串流時，亦可顯示靜止或視訊圖框及/或具有由於變化焦點所引起的不同深度平面之一影像之圖像。實際上，對於具有兩個系列之圖框、圖像及/或影像之一輸出串流而言，該輸出串流可在第一焦點與第二焦點之間改變，藉此產生三維影像之錯覺。實施例可在輸出顯示器中內插內含物之中間圖框，以使該第一系列之圖框與該第二系列之圖框之間的轉變平滑及使圖像及/或影像之間的轉變平滑。

應瞭解，可藉由被擷取及經交錯以產生輸出串流之系列圖框之數量(例如，焦點數量)限制前述影像之三維度。因此，以變化的焦點、發光度及/或景深所擷取之圖框越多，可在顯示裝置上達成之三維效應之細微度越精細。亦應瞭解，可建構該輸出串流使得可一起顯示來自一場景之一影像擷取之多個影像及/或圖像。即，不需要一圖像僅連續來自一特定系列。在下文將更詳細地解決此等概念。

如本文所使用，術語「顯示裝置」通常係指可顯示視覺資訊(諸如一電視機、投影機、電腦顯示器、一行動裝置之顯示表面、抬頭顯示器、視訊眼鏡等)之任何電子裝置。一「相機」涵蓋可擷取靜止影像及/或視訊影像之任何裝置，此等影像包含一或多個圖像，該等圖像包含一或多個圖框。可在數位域或類比域中擷取一影像且將其轉換成一適當格式以呈現給一觀看者。如上述所討論，一「圖框」係指一影像或視訊之一單一例項，不管係一圖框、景(field)或其他形式。多個圖框可經組合以持續一段時間產生一視訊序列或之一靜止影像，亦即，一圖像。多個圖像可經組合以產生一「電影」。就本文而言，一「電影」包含靜止圖像與視訊兩者。

如本文所使用，一「輸出串流」涵蓋由多個系列之圖框及/或圖像所產生之任何視覺資料，各系列可對應於一不同深度平面、焦點及/或發光度。因此，通常基本上意欲在某些形式之顯示裝置上顯示輸出串流，然其等可能在顯示之前被數位化、多工化及以其他方式處理。在不同實施例中，類比電影及數位資料兩者可能為一輸出串流。

II.　人眼及顯示裝置之特性

通常，人眼藉由一系列互連動作，稱為雙眼聚散(vergence)、調視(accommodation)及瞳孔縮小/瞳孔放大(miosis/mydriasis)，而控制其焦點。此等三個動作之各者一起操作以在一特定距離處將眼睛聚焦於一特定物體上，因此界定眼睛之焦點。本文所描述之實施例可利用眼睛的聚焦及重新聚焦以藉由在二維顯示裝置上所顯示之影像操縱來模擬三維觀看經歷。

「雙眼聚散」係指兩眼同時於相反方向移動，用以提供雙目視覺。雙眼聚合(convergence)係兩個眼睛朝向彼此運動以觀看較眼睛目前焦距近之一物體，而雙眼開散(divergence)係兩個眼睛遠離彼此運動以觀看較遠的一物體。通常，當看一物體以保持該物體在視網膜之中央時，人眼會繞一垂直軸轉動。因此，雙眼聚合通常係眼睛朝向彼此之轉動及雙眼開散係遠離彼此轉動。

「調視」係藉由改變各眼之透鏡曲率而重新聚焦眼睛之動作。眼睛之一睫狀肌可作用以施加壓力或放鬆眼球晶體，藉此幫助改變眼睛焦點自遠至近。通常，調視係伴隨著雙眼聚散而發生，且反之亦然。

眼睛的瞳孔緊縮被稱為瞳孔縮小，而瞳孔擴張被稱為瞳孔放大。除了控制進入眼睛的光量外，瞳孔縮小/瞳孔放大之作用亦可幫助使眼睛聚焦。實質上，緊縮或擴張瞳孔可作用以改變眼睛之光圈。當光圈改變時，眼睛之景深可同樣地改變。

繼續討論，雙眼聚散10度角可發生在大約40毫秒內，且延時低於200毫秒。同樣地，調視可發生在大約560毫秒至640毫秒內，且延時低於350毫秒。應注意，眼睛操作之速度以及上述之延時可因人而異及隨視覺刺激本質而異。例如，若按照一掃視，則調視可能開始的更快(例如縮短延時)。此外，提供此等數字僅用於闡釋之用。

通常，當前顯示裝置以各種刷新速率操作。符合NTSC視訊標準之顯示裝置輸出為概略每秒30個景之近乎60 Hz信號。符合PAL視訊標準之顯示裝置使用具有每秒25個交錯景之一50 Hz刷新速率。大多數電影投影機每秒顯示24個圖框。相對地，接受數位輸出串流之許多顯示裝置可以更高圖框速率操作。例如，LCD電腦監視器通常具有一60+Hz刷新速率且可每刷新一次顯示一圖框。此外，LED監視器普遍具有240 Hz之一最小刷新速率且可達成高達2000 Hz之刷新速率。顯示裝置可經組態以更快的刷新速率操作且因此每秒提供更多圖框。

III.　擷取具有不同深度平面之影像

圖1A闡述在一樣本環境中的用於擷取影像之一樣本系統。一相機100包含具有一可調整光圈之一透鏡105。當調整光圈時，該相機100所聚焦之深度平面改變。因此，該相機100可聚焦於在焦點Fa 120處的一人上、在焦點Fc 135處的一樹上、兩者之間的任何地方等。相機100可使得該透鏡105光圈設定為在一拍攝時間T1中，將人置於深度平面內。該光圈可經調整使得在拍攝時間T2中，樹係在深度平面內。取決於光圈、人與樹之間的距離及其他因素，該人可能在包含該樹之深度平面外。在時間T3中，該相機可返回至由該焦點Fa所建立的深度平面。因此，該透鏡105之光圈可在影像擷取期間以一所需速率及週期性而改變，使得焦點可經拍攝轉變。以這種方式，可迅速擷取多個系列之圖框，各圖框在不同有效景深距離處且各具有一不同深度平面。除了藉由光圈變化產生不同深度平面外，可重新聚焦該相機100但維持光圈以在不同深度平面處擷取影像。

例如，在時間T1與T2之間，當自焦點Fa 120轉變至焦點Fb 125時，該相機100可在中間深度平面(諸如如圖1B所示之平面FA1與FA2)處擷取圖框。此等圖框可群組化於一圖像內，諸如圖像P2。除了在焦點Fa與Fb處所採用者外，亦可改變此等中間深度平面之數量，各平面通常對應於一特定系列之圖框，該等圖框可被群組化為圖像，諸如圖像P3。此外，可在相較於焦點Fa 120，更接近該相機100之一點Fo處採用一系列圖框，且被群組化為(諸如)圖像P1，或在相較於焦點Fc 135，離該相機更遠之一點Fo處採用一系列圖框，以提供在額外深度平面上所界定之額外系列之圖框及圖像。針對此實例，假定該相機在由焦點Fb 125所界定之一深度平面處擷取一第三系列之圖框，該焦點Fb 125在焦點Fa與Fc之間。

如圖1B進一步所示，包含一系列圖框(例如，FO、FO1A、FO2A及FA)之一圖像(例如，P1)可與其他圖像進一步群組化(例如，P2與P3)以提供一群組圖像「GOP」(例如，GOP 1A)。一GOP可與連續群組之圖像(例如，GOP1#)進一步組合以提供GOP之間的運動補償資訊。在一實施例中，每秒可提供合適數量個GOP以完成動畫及3D圖像產生，同時呈現具有一可接受影像品質之一電影。

應注意，因為該相機100不移動而僅調整該透鏡105之光圈、大小，所以在兩個系列之圖像中的物體及該被擷取之影像之組合物係概略一樣。在此實例中，該等所聚焦之物體改變，但不管該等物體是否在該被擷取之影像中。若物體移動或該相機100移動，則在各系列之圖像中的影像可適當改變。

亦應注意，時間T1與T2之間的歷時時間不需要等於時間T2與T3之間的歷時時間。即，該相機100可停留在一特定焦點的時間比在其他焦點的時間長。同樣地，該相機在一深度平面處比在其他深度平面處投入拍攝的時間長。同樣地，一相機可經組態以任何所需序列重覆圖框、圖像及GOP以完成具有某些3D及如所需之運動特性之一影像之產生。作為一實例，該相機可在焦點Fa 120處拍攝該第一系列之圖像中的兩個影像，接著在焦點Fb 125處拍攝該第二系列之圖像中的三個影像，且只要需要即可繼續以這種比率拍攝。應瞭解，可使用其他影像擷取比率，甚至包含不同比率。通常，與某一系列之影像相關之比率之比值越高，強調下文所描述之三維效應中的深度平面越多。

圖2係繪示可藉由圖1A之相機100或其他實施例而擔任之操作之一流程圖。最初，在操作200中，各系列之圖框之光圈係固定的。這可(例如)由一相機操作員而完成。藉由指定用於產生各系列之圖框之光圈設定，可界定該等深度平面且該相機操作員無需手動調整該相機光圈。應瞭解，亦可在操作200中指定該相機100維持一特定光圈設定之時間長度。因此，若需要，則該相機可根據一特定時序方案調整該透鏡。

在操作205中，該相機100以一第一光圈設定擷取影像，藉此產生一第一系列之圖框之至少一部分。

在操作210中，該實施例判定在該相機在該第一深度平面處擷取影像之期間是否已歷時一時間間隔。相對於圖1A之實例，這將可能係時間T1與T2之間的持續時間。返回至圖2，可在操作200期間設定在操作210中之檢查時間。在尚未歷時此時間之情況下，該實施例返回至操作205。在某一實施例中，可設定擷取圖框數而非時間。

在實施例在操作210中判定已歷時適當時間之情況下，執行操作215。在操作215中，該透鏡105之光圈係經調整以將該相機100聚焦於第二深度平面(例如，由圖1A中的焦點Fb 125所判定之深度平面)上。接著，該相機100可擷取該第二系列之圖框之至少一部分作為操作215之部分。

在操作220中，該實施例判定是否已歷時一第二時間間隔。可在操作200中再次指定之此第二時間間隔代表在該相機100在該第二深度平面中擷取影像期間的時間長度。如用操作210，可指定某一圖框數而非一持續時間。假定尚未歷時此第二時間間隔，則該實施例在操作215中繼續擷取影像。

然而，若已歷時該第二時間間隔，則執行操作225且該實施例判定影像擷取序列是否完成。若未完成，則該實施例返回至操作205。另外，該實施例執行操作230。

在操作230中，該實施例可儲存各系列之圖框(假定該實施例不僅僅係一基於影片之相機)。通常，儘管不需要，但是各系列之圖框獨立於彼此而儲存。應瞭解，可個別儲存任何數目個圖框或可將其儲存於圖框之群組內、圖像之群組內、GOP之群組內以其他方式儲存。藉由個別儲存各系列，一編輯器或其他內容編排器可選擇或產生某些經模擬之三維效應而無需重複拍攝一場景以在某些深度平面處獲得額外圖框。可用一時戳標記各系列中的各圖框，使得在建立經模擬三維效應時，一編輯器或其他內容編排器可在建立經模擬之三維效應時易於交互參考圖框。

應注意，一操作員通常可手動執行前述操作，而非程式化一相機或相機控制器以執行操作。在此一情況中，該操作員可省略操作200作為冗餘。亦應注意，可提供一外部控制器(諸如一計算裝置)以執行圖2所示之方法。該外部控制器可電性連接至該相機100且執行前述功能。

已就第一系列之圖框與第二系列之圖框(例如，相對於兩個深度平面)繪示圖2。應瞭解，看情況，可界定及擷取三個或三個以上深度平面，各深度平面具有其自身系列之圖框、圖像及GOP。在此一情況中，可界定一第三、第四...第N時間間隔及/或光圈設定，且操作類似於對各對應系列之圖框所執行之操作215-220之該等操作。通常，在完成所有此等反覆後，執行操作225。然而，應瞭解，可製成更複雜光圈及時序規範，其可引起此等反覆之順序因實施例而變。

此外，多個光圈設定可用於界定(例如)兩個主深度平面之間的中間深度平面。暫時返回至圖1A，由該焦點Fb所界定之深度平面係一此中間深度平面。如下文所描述，在此等中間域處所擷取之系列圖像可在產生一輸出串流時用於在兩個主要深度平面之間內插或轉變。

在某些實施例中，當擷取系列圖框時，考慮該輸出串流之播放速度係有益的。例如，擷取所有系列之圖框之整體速度可為60 Hz以與NTSC相容顯示裝置之播放速度相匹配。另一實施例每秒可擷取不同數量之圖框，諸如24或50，以與影片顯示能力或PAL顯示裝置分別相匹配。在此等實施例中，該相機100可藉由各種深度平面而足夠迅速地循環以確保以適當速率至少擷取各系列之圖框。例如，假定一相機每秒可修改其光圈設定400次(使用一任意數字)且具有三個單獨深度平面，在第一深度平面與第二深度平面(例如，一1-1-2時序)處，該第三深度平面被擷取兩次。在此一實例中，該相機可以100 Hz擷取該第一系列之圖框與第二系列之圖框且可以200 Hz擷取該第三系列之圖框，接著需要降低圖框速率以與60 Hz輸出相匹配。另一實施例可以一播放速率之幾倍或分率擷取圖框以將下拉轉換(pulldown conversion)之需要最小化或消除下拉轉換之需要。

在其他實施例中，可以一可變速率擷取各系列之圖框。例如，若由該系列之圖框所產生之輸出串流將在一電視機上播放，則其可假定播放速度係大約每秒60景或60 Hz。該相機可經設定以用指示以各光圈設定擷取多少圖框之操作200之經指定時序，以不高於每秒60圖框跨越所有深度平面擷取。

通常，保持各系列之圖框之影像擷取速率大於大約每秒16圖框係有益的，該速率係在人眼識別電影、電視節目中的顫動或抽動及使用運動模糊技術以使圖框之間轉換平滑之其他內容處的臨限值的左右。

IV.　替代實施例

圖3繪示可用於擷取多個系列之影像之一相機300之一替代實施例，各影像具有一不同深度平面。與圖1A所示之該相機100不同，此相機300包含多個透鏡陣列305、310、315。可獨立設定各透鏡陣列之光圈，使得各透鏡聚焦於一不同焦點120、125、135上，且藉此在一不同深度平面中擷取其系列之圖像。應瞭解，該等透鏡陣列可藉由習知影片或以一數位格式促進影像擷取。因此，該等透鏡陣列可各自被耦合至一相異數位相機元件，諸如，一電荷耦合裝置影像感測器或其他適當數位感測器。

在操作中，該相機300類似於圖1A之相機100而作用。因為該相機包含可經設定至不同光圈之多個透鏡305、310、315，所以該相機可同時記錄各系列之圖框而無需在不同焦距之間切換。因此，在圖2中所陳列之某些操作未藉由圖3之該相機300執行。例如，可不執行操作210與220。同樣地，在操作200中，可不提供時序資訊。

應瞭解，各透鏡305、310、315可經配置離該相機300之面上的一中點相等距離。因此，儘管藉由各透鏡所擷取之該系列之圖框可能稍微偏離彼此，但是可輕易完成一共同點之個別圖框之平移。這可藉由根據已知值簡單偏移X-Y座標而為之，或可考量由於該等透鏡之間的角度差異引起的影像變化而採行較複雜的平移。

V.　產生及傳輸一輸出串流

一旦擷取到各種系列之圖框，其等可被組合成一單一輸出串流以模擬三維視圖，諸如藉由雙目觀看。本文描述產生該輸出串流之方法。

最初，若該相機以所需序列擷取各系列之圖框，則無需一編輯器之介入。如下文所示，相反地，各種系列之圖框、圖像及/或GOP之最後序列已經被擷取且由該相機100所擷取之資料可能受到壓縮與傳輸。這可能尤其有利於實況播放或近似實況播放效能，諸如體育賽事，此係因其等可被擷取及一經模擬之三維效應具有很少或沒有延遲。

假定個別儲存各系列之圖框之該相機100如圖2之操作230中所描述，一編輯器或其他內容創作者可使用各種系列以產生內容串流。為了簡潔之故，術語「編輯器」將在本文中使用，但意欲包括任何人、實體、裝置或手動、半自動及/或全自動地在不同景深、焦點、發光度、運動補償程度下產生來自多個系列之圖框、圖像及/或GOP之一輸出串流之系統。該編輯器可檢視各系列中的該被擷取之圖框、圖像及/或GOP且選擇多少不同深度平面被包含在該輸出串流之各段內。

該編輯器亦可選擇顯示各系列之圖框、圖像及/或GOP多長時間，或在轉變至另一系列前顯示各系列中有多少影像。本質上，該編輯器可根據需要將來自深度平面之各者之影像組合在一起。在某些實施例中，該編輯器可希望產生該輸出串流以在1/25秒內返回至各系列之圖框。因為殘留影像通常停留在人眼視覺系統中大約1/25秒，且因此在各系列之圖框之間轉變時間內，各深度平面可在各此平面處促進視覺之持續錯覺。這可轉而增強由觀看者所經歷的三維錯覺。

在此過程期間，該編輯器可希望確保各系列之圖框維持一最小顯示速率，諸如每秒某數目個圖框。以這種方式，所得輸出串流可將顫動最小化或消除顫動，否則顫動會發生在若干系列之圖框及/或圖像之間或在該等圖框間及/或顯示一單一深度平面之圖像間之轉變期間。雖然如此，但在可從任何單一系列之圖框及/或圖像中獲得且可連續顯示之影像之數量上沒有上下限。通常，每秒所顯示之來自一給定系列之圖框及/或圖像之影像越多，越能強化在一經模擬之三維視圖中具有之對應深度平面。

在一實施例中，一旦該編輯器已以一所需輸出串流組譯該等影像，則其等可被壓縮。在其他實施例中，圖框、圖像及/或GOP可由相機壓縮，針對影像編輯，如需要，可解壓縮且再壓縮以提供經壓縮之圖框、圖像、GOP及/或電影。通常，該輸出串流中的個別圖框及景可根據任何標準壓縮方案而壓縮。例如，該輸出串流可被分為I-圖框、P-圖框及B-圖框，P-圖框及B-圖框僅編碼相對於參考I-圖框改變之資料。I-圖框、P-圖框及B-圖框之使用係眾所周知，尤其是關於MPEG-1與MPEG-2視訊編碼與壓縮。同樣地，該輸出串流可被分割成在各圖框內的巨集區塊或在H.264/MPEG-4編解碼器下的各圖框內的切片。如系統特性所需，壓縮可在圖框、圖像及/或GOP層級處發生。

在壓縮期間，該實施例可決定P-圖框(或巨集區塊，或切片)及/或B-圖框(或巨集區塊，或切片)不僅內插在相同系列中的影像之間，而且亦補償系列或深度平面之間的改變。因此，可能僅壓縮一系列圖框以考量該等圖框中所示之一物體之運動，因此亦可能壓縮操作以致於減少在該輸出串流中係鄰近的但顯示不同深度平面之圖框之資料大小。例如且參考圖1B，圖框FO可能被編碼為一I-圖框，圖框FA被編碼為B圖框，且圖框FO1A與FO2A被編碼為P圖框。同樣地，圖像P1可相關於圖像P2至P3進一步被壓縮，使得GOP 1A係代表一I-圖框(屬於一GOP)及GOP 1#係代表一B-圖框(屬於一GOP)。一般技術者將瞭解，圖框、圖像及GOP之無損或接近無損之壓縮可藉由遍及電影內圖框(例如，FB在圖像P2與P3兩者中發生)、圖像及/或GOP之重覆而達成。因此，當該輸出串流在來自不同系列之影像之間迅速轉變時，該等影像可根據基於從深度平面或焦點之差異所得之影像改變之已知技術而壓縮。

當必要或需要達成一特定經模擬之三維效應時，深度平面及/或焦點之改變可發生在圖像及/或GOP之間，或甚至發生在圖框之間。

如本文所描述，一輸出串流或電影可包含多個系列之圖框、圖像及/或GOP，其等之各者可傳送運動至一觀看者。除了一編輯器或內容提供者可希望避免該輸出串流中的顫動效應、頻閃效應或殘跡效應外，該輸出串流相較於一標準電視、電影或其他視聽信號具有一更高圖框速率係有利的。因此，一些輸出串流可以自每秒60非交錯圖框之速率至每秒高達2000圖框之速率之範圍而編碼。藉由增加該輸出串流之圖框速率，可在不引發非所需顯示效應之情況下使用來自多個系列之圖框、圖像及GOP且顯示多個深度平面之影像。儘管這可能增加所需頻寬以跨越一網路傳輸該輸出串流，但是壓縮(如上文所描述)可減少整體頻寬。

應注意，該輸出串流之壓縮為選項。同樣地，應注意，該輸出串流可經組態以在一標準或習知二維顯示裝置上顯示，藉此在該顯示裝置上模擬三維影像。該等圖像及/或GOP可用於產生由一接收器所解碼且可以此方式在該顯示裝置上顯示之一單一輸出串流。因此，應瞭解，多個輸出串流對實施本文所描述之實施例非屬必要。

具有變化景深之圖像(與所產生之圖框)不僅可基於一相機100之一變化光圈而擷取，而且可藉由使一相機動態重新聚焦而擷取。以這種方式，該景深可隨著焦點改變，然該透鏡光圈不改變。例如，當追蹤移向該相機之一移動物體時，該相機可保持聚焦於該物體上。因此，隨著該物體之移動，景深隨著該相機之焦點改變。同樣地，一第一圖像可具有維持所聚焦之一汽車與一背景兩者之一寬焦點，而第二圖像在該汽車上可具有一更緊密焦點，因此使得該背景在焦點之外。儘管此等影像可具有相同焦點(例如，在該汽車上)，但是景深可為不同。

藉由擷取具有此等不同景深及/或焦距之圖像，該輸出串流可以類似於相對於改變經由光圈改變而達成之焦點之上文所描述之一方式而產生。應瞭解，具有不同焦距與光圈設定之圖像之一組合可一起使用以產生一輸出串流。

圖4繪示允許用於被一終端使用者觀看之一輸出串流400之傳輸之一般化環境。該輸出串流400，一旦被壓縮、數位化、多工化及/或以其他方式組態化，其可跨越一網路415自一內容提供者405傳輸至一接收器410。該網路可為任何合適類型之網路，諸如一人造衛星系統、電纜系統、網際網路、任何其他有線、無線或混合網路等。在某些實施例中，該內容提供者405可透過網路415施行控制，但在在其他實施例中不能。因此，例如，該內容提供者可為傳輸該輸出串流跨越一專屬人造衛星系統之一人造衛星提供者。在另一實施例中，該內容提供者405可為傳輸該輸出串流跨越網際網路之一伺服器。做為其他選項，本文所描述之該等輸出串流可被編碼於一儲存媒體上(諸如藍光光碟、數位影音光碟等)。

該接收器410可為經組態以接受、辨識及/或處理該輸出串流400之任何類型之裝置。例如，該接收器可為一視訊轉換器、有線電視轉換器(cable box)、電腦、包含一個人數位助理或行動電話之掌上型裝置等。通常，該接收器係連接至一顯示裝置420或與該顯示裝置420整合。

VI.　顯示及觀看一輸出串流

該接收器410解碼該輸出串流400且將其發送至該顯示裝置420以供終端使用者觀看。該被顯示之輸出串流在不同深度平面處的影像之間偏移。當該輸出串流以這種方式偏移時，終端使用者的眼睛可藉由雙眼聚散及/或調視而重新聚焦以適於焦點之改變。如下文更詳細所討論，類似的重新聚焦效應可藉由改變一被顯示之輸出串流之全部或部分之發光度而達成。

藉由深度平面之間的足夠快偏移，僅用雙目觀看，使用者之眼睛即可同時感知多個深度平面。這可轉而在該顯示裝置420之二維表面上模擬三維影像。除了終端使用者的眼睛可快達40毫秒適於由該輸出串流呈現之不同深度平面外，該使用者之大腦可能被蒙蔽而相信可同時看見各種深度平面且因此產生立體效應。

發光度

應瞭解，具有變化之深度平面之該等圖框雖然可大體上顯示相同影像，但是具有所聚焦影像之不同元素。這有助於在該顯示裝置420上產生三維效應。例如，圖5繪示可在一顯示裝置420上依次顯示之三個圖框510、520、530。各圖框大體上顯示相同元素，在此實例中，其為一人500與一樹505。在不同系列之圖框中擷取該人與該樹，且因此其等係在不同深度平面中。概言之，影像510對應於圖1A之焦點Fa 120，影像520對應於焦點Fc 135，及影像530對應於焦點Fb 125。

在時間Ta處，顯示影像510。在此影像中，聚焦於該人500而未聚焦於該樹505。在時間Tb處，在該顯示裝置420上顯示影像520。在此對應於中間焦點Fb的情況下，可聚焦於該人500與該樹505兩者。其次，在時間Tc處，影像530被顯示至終端使用者且聚焦於該樹，但是不聚焦於該人，因此其對應於焦點Fc。

因為該人與樹在所有三個影像中看來大小相同，但是景深改變了，所以可由終端使用者體驗到三維之錯覺。

應注意，可在該第一影像510與第二影像520之間顯示一P-圖框515及/或B-圖框517，使該等影像之間的轉變更平滑。同樣地，一P-圖框525及/或B-圖框527可促進該第二影像520與第三影像530之間的轉變。儘管在各對影像之間僅顯示一P-圖框及一B-圖框，但是如必要或需要，可使用多個任一圖框類型。

應注意，一標準接收器410與顯示裝置420可用於解碼且顯示該輸出串流400，只要該接收器410之解碼速度與該顯示裝置420之刷新速率係足夠的即可。

VII.　發光度調整

在某些實施例中，在一顯示裝置上顯示的資料不僅可包含具有不同焦距及/或光圈改變之圖框，還可包含變化之發光度。顯示串流(例如，從由一接收器處理之輸出串流中所得之資料串流)可包含指令以可視情況在一個圖框接著一個圖框的基礎上改變該顯示裝置之發光度。因為發光度改變可引起人的瞳孔縮小或放大，所以發光度之變化可用於增強或促進本文所描述之三維效應。

通常，現代顯示裝置能夠回應於一使用者命令或周圍光條件而改變發光度。實施例可包含一命令作為顯示串流之部分，以不論周圍光或使用者輸入之改變而調整發光度。因此，可達成額外視覺效應或增強前述視覺效應。

可在一整個影像基礎上或在逐像素基礎上進行此等發光度改變。逐像素發光度改變可用於(例如)在一顯示器上進一步強調特定元素或物體，諸如在一觀看者應聚焦者上。發光度改變可藉由強調或不強調一圖框中的某些像素而呈數位形式產生或可藉由使用動態照明及/或過濾而以一類比方式產生。

VIII.　結論

本發明已描述可藉由使用改變焦點、改變光圈、發光度變化、改變景深等產生、增強、促進或模擬三維效應之實施例。應瞭解，任何或所有此等方法可一起用於產生及/或增強在一習知二維顯示裝置上顯示之一經模擬之三維影像。因此，例如，某些實施例可產生及/或處理包含具有不同景深、焦點及發光度之圖框及/或GOP之一輸出串流，所有一起操作以蒙蔽人眼以感知三維影像。用於建構該輸出串流(並且，同樣地，使用該輸出串流以產生在一習知二維顯示裝置上顯示之一顯示串流)之精確技術可因實施例而異。

儘管前述已描述特定系統、實施例及方法，但是應瞭解，一般技術者在閱讀此文件後可想到替代實施例。例如，當產生具有足夠遠之多個深度平面之一輸出串流時，個別相機可在各深度平面中用於擷取影像且可被簡單放置接近於彼此。在此一實施例中，由各相機所擷取之各影像可被平移至一共同源點。作為另一實例，圖3之相機300相較於最後輸出串流所示之視野，可藉由各透鏡305、310、315擷取一更大視野，且可修剪各系列之圖像之不互相重疊部分。鑒於上文之揭示內容與一般技術者，請求以下申請專利範圍。

100．．．相機

105．．．透鏡

120．．．焦點

125．．．焦點

130．．．焦點

300．．．相機

305．．．透鏡

310．．．透鏡

315．．．透鏡

400．．．輸出串流

405．．．內容提供者

410．．．接收器

415．．．網路

420．．．顯示裝置

500．．．人

505．．．樹

515．．．圖框

515．．．P-圖框

515．．．B-圖框

520．．．圖框

527．．．B-圖框

530．．．圖框

565．．．P-圖框

圖1A圖解說明在一樣本環境中用於擷取影像之一樣本系統；

圖1B繪示放在一起形成一群組圖像或「GOP」之一群組圖框；

圖2係描述可藉由圖1A之實施例所擔任之操作之一流程圖；

圖3繪示可用於擷取多個系列之影像之一相機300之一替代實施例，各影像具有一不同深度平面；

圖4繪示允許一輸出串流400之傳輸以供一終端使用者觀看之一般化環境；及

圖5繪示可依次在一顯示裝置上顯示以模擬三維影像之三個圖像。

(無元件符號說明)

Claims (14)

1. 一種用於產生一輸出串流之方法，當顯示於一顯示器上時該輸出串流模擬一三維影像，該方法包括：擷取具有對應於一第一焦點之一第一景深之一第一系列圖框；擷取具有不同於該第一景深之一第二景深之一第二系列圖框；擷取具有不同於該第二景深之一第三景深之至少一第三系列圖框；及藉由內插該第一、第二及第三系列圖框來形成該輸出串流，使得當在該顯示器上再現時，該等被顯示的圖框在該第一、第二及第三系列圖框之間變換，以產生一三維影像之錯覺，且該第二系列圖框之一圖框數量係基於該第一及第三系列圖框之多個圖框間的一移動量(amount of motion)而選定。
2. 如請求項1之方法，其中：該擷取該第二系列圖框之操作包括擷取具有對應於一第二焦點之該第二景深之一系列圖框，該第二焦點具有不同於該第一焦點之焦距；聚焦於該第一焦點上包括設定一影像擷取裝置之一光圈；及聚焦於該第二焦點上包括改變該影像擷取裝置之該光圈。
3. 如請求項2之方法，其中： 該擷取該第一系列圖框之操作發生於一時間T1；及該擷取該第二系列圖框之操作發生於一時間T2。
4. 如請求項3之方法，其進一步包括：擷取具有該第一景深之該第三系列圖框。
5. 如請求項4之方法，其中擷取該第三系列圖框之操作發生在該時間T2之後。
6. 如請求項1之方法，其中：該擷取該第二系列圖框之操作包括擷取具有對應於一第二焦點之該第二景深之一系列圖框，該第二焦點具有不同於該第一焦點之焦距；且其中該方法進一步包括：藉由自一影像擷取裝置之另一焦點動態重新聚焦(dynamically refocusing)而聚焦於該第一焦點上；及藉由自該影像擷取裝置之另一焦點動態重新聚焦而聚焦於該第二焦點上。
7. 如請求項1之方法，其進一步包括改變該第一及第二系列圖框之至少一者之一發光度。
8. 如請求項1之方法，其中在不同於該第一系列圖框之一焦距處擷取該第二系列圖框。
9. 如請求項1之方法，其中該第一系列圖框之至少一部分的發光度增強在該第一系列圖框中之一物體。
10. 如請求項7之方法，其中改變該發光度包括：增加或減少在一特定圖框(particular frame)中的像素的一第一部分，而不增加或減少在另一特定圖框中的像素的一第二部分。
11. 如請求項1之方法，其中該第二系列圖框與該第一系列圖框具有相同的焦點。
12. 如請求項2之方法，其中該第一及第二焦點維持相同視野(field of view)。
13. 一種用於產生一輸出串流之方法，其包括：擷取具有對應於一第一焦點之一第一景深之一第一系列圖框；擷取具有不同於該第一景深之一第二景深之一第二系列圖框；擷取具有不同於該第一及第二景深之一第三景深之至少一第三系列圖框；內插該第一、第二及第三系列圖框，使得當在一顯示器上再現時，該等被顯示的圖框在該第一、第二及第三系列圖框之間變換，以產生一三維影像之錯覺，且該第二系列圖框之一圖框數量係基於該第一及第三系列圖框之多個圖框間的一移動量而選定；及壓縮該經內插的第一、第二及第三系列圖框以形成該輸出串流。
14. 如請求項13之方法，其中該壓縮之操作包括：產生在該該經內插的第一、第二及第三系列圖框的一第一圖框及一第二圖框之間常駐的至少一P-圖框；其中該至少一P-圖框係基於該第一及第二圖框之間的一變化景深而編碼。