TW201440489A - 用於產生中間視圖影像之系統 - Google Patents

Abstract

本發明揭示一種用於自一立體影像(701)產生一系列中間影像(721)之方法(700)。該立體影像(701)包括對應於一左視點之一左影像(101)及對應於一右視點之一右影像(102)。該系列中間影像(721)對應於在包括該左視點及該右視點中之至少一者之一視點範圍中之空間連續視點。該方法(700)包括：基於對應於以一目標視點(711)為中心之空間連續視點之該系列中間影像(721)之預測影像品質判定(710)該目標視點(711)，且針對以該目標視點(711)為中心之空間連續視點，自該立體影像(701)產生(720)該系列中間影像(721)。

Description

用於產生中間視圖影像之系統

本發明係關於自立體資料產生一系列中間影像。

立體影像係三維(3D)影像資料之一共同表示。一立體影像包括對應於一左視點之一左影像及對應於一右視點之一右影像。使用用於觀看立體影像之一立體顯示構件，一觀看者之左眼看見左影像且觀看者之右眼看見右影像，從而造成觀看者之一3D影像感知。

使用一多視圖顯示器，藉助於對應於各別空間連續視點之一系列影像展示一3D影像。多視圖顯示器之多個視圖中之每一者展示對應於空間連續視點中之視點中之每一者之一影像。因此，當輸入影像係一立體影像時，在一多視圖顯示器上展示3D影像需要自立體影像產生一系列中間影像。該系列中間影像對應於定位於通常包括左視點及右視點中之至少一者之一視點範圍中之各別空間連續視點。

US2011/00268009 A1闡述一種用於使用左及右影像像素資料影像及一視差映射自不同視點為自動立體3D TV顯示器產生中間視圖像素資料之方法。該方法使用該左影像及一右影像計算一左影像視差映射及一右影像視差映射。該方法然後針對該中間視點產生一第一中間視圖像素資料及一第二中間視圖像素資料。自該左影像像素資料及該左影像視差映射產生該第一中間視圖像素資料。自該右影像像素資料及該右影像視差映射產生該第二中間視圖像素資料。然後藉由組合該左 中間視圖像素資料及該右中間視圖像素資料產生該中間視圖像素資料。藉由針對不同(多個)中間視點重複此程序，自該左影像像素資料及該右影像像素資料產生多視圖三維影像像素資料。

該中間視圖像素資料之影像品質隨該中間視點且隨立體內容(其係該左影像及該右影像之內容)而變。影響該影像品質之可見影像假影係影像細節假影(模糊或重影)及閉塞假影。細節假影通常針對在該左視點與該右視點中間的中間視點且針對含有較多細節之一立體影像可見。閉塞假影通常針對橫向中間視點、因此在該左視點之左側處且在該右視點之右側處且針對含有大深度轉變之一立體影像可見。

該視點範圍包括該左視點與該右視點之間的中間視點。如上文所闡述，對於某些立體內容而言，對應於此視點範圍中之各別中間視點之中間視圖像素資料(亦即，中間影像)不具有一高影像品質。先前技術方法之一缺陷係針對該視點範圍中之中間視點之中間視圖像素資料之影像品質因此對於各種立體內容而言不高。

本發明之一目的係提供一種用於自一立體影像產生一系列中間影像之方法，該等中間影像具有經改良之影像品質。

本發明揭示一種用於自一立體影像產生一系列中間影像之方法，該立體影像包括對應於一左視點之一左影像及對應於一右視點之一右影像，該系列中間影像對應於空間連續視點，該等空間連續視點中之第一者及最後一者界定包括該左視點及該右視點中之至少一者之一視點範圍，該方法包括藉由以下操作將該等空間連續視點之一中心定位於一目標視點處：針對以不同目標視點為中心之該等空間連續視點，基於該系列中間影像之預測影像品質判定該目標視點，該預測影像品質係基於該立體影像之一影像特性；且針對以該所判定目標視點為中心之該等空間連續視點，自該立體影像產生該系列中間影像。

判定一目標視點包括針對以該目標視點為中心之一系列中間視點預測該影像品質，該系列中間視點係空間連續視點。一視點範圍由該系列中間視點中之第一者及最後一者界定，且該系列中間視點之位置由該目標視點(其係該視點範圍之該中心處之該中間視點)判定。在該系列中間視點中之視圖之一偶數數目之情況下，該目標視點因此對應於兩個中心視圖之間的一「視覺」視點，而在該系列中間視點中之視圖之一奇數數目之情況下，該目標視點對應於該中心視圖之彼視點。

用於給該系列中間視點定中心之該目標視點由對應之該系列中間影像之預測影像品質判定。預測該系列中間影像之該影像品質可包括基於該立體影像中之所偵測影像細節預測影像細節假影之可見性，或可基於對應於該立體影像之像差資料中之所偵測像差/深度轉變預測閉塞假影之可見性。判定目標視點亦可包括自耦合至立體影像之後設資料擷取一經預計算目標視點。

針對以該目標視點為中心之該各別系列中間視點產生該系列中間影像。針對該系列中間視點中之每一視點，自該立體影像產生一中間影像，且因此產生該系列中間影像。

一種經配置以用於自一立體影像產生一系列中間影像之系統，該立體影像包括對應於一左視點之一左影像及對應於一右視點之一右影像，該系列中間影像對應於空間連續視點，該等空間連續視點中之第一者及最後一者界定包括該左視點及該右視點中之至少一者之一視點範圍，該系統經配置以用於將該等空間連續視點之一中心定位於一目標視點處，該系統包括：一判定單元，其用於針對以不同目標視點為中心之該等空間連續視點基於該系列中間影像之預測影像品質判定該目標視點，該預測影像品質係基於該立體影像之一影像特性；及一產生單元，其用於針對以該所判定目標視點為中心之該等空間連續視 點，自該立體影像產生該系列中間影像。

本發明之效應係該系列中間影像具有一高影像品質。在本發明之上下文中「高影像品質」係關於包括極少或無可見影像假影之一影像。

101‧‧‧左影像

102‧‧‧右影像

103‧‧‧左資料

104‧‧‧右資料

105‧‧‧立體資料/原始輸入立體資料

111‧‧‧左像差資料

112‧‧‧右像差資料

130‧‧‧翹曲程序/左翹曲程序

131‧‧‧左中間影像

140‧‧‧翹曲程序

141‧‧‧右中間影像

150‧‧‧因數計算程序

155‧‧‧中間視點

156‧‧‧混合原則

160‧‧‧融合程序

161‧‧‧中間影像

170‧‧‧原則判定程序

171‧‧‧第一混合原則

172‧‧‧第二混合原則

173‧‧‧第一中間影像

174‧‧‧第二中間影像

175‧‧‧產生方法/產生程序

176‧‧‧產生方法/產生程序

177‧‧‧判斷程序

179‧‧‧混合原則判定程序/原則判定程序/判定混合程序

180‧‧‧混合程序

181‧‧‧程序

182‧‧‧品質預測程序

183‧‧‧品質預測程序

184‧‧‧影像細節

185‧‧‧預測影像品質

186‧‧‧預測影像品質

187‧‧‧程序

189‧‧‧原則判定程序/混合原則判定程序/判定混合程序

201‧‧‧左視點/視點

202‧‧‧右視點

210‧‧‧視點/視圖

211‧‧‧視點/左橫向視點範圍/左橫向中間視點

212‧‧‧右橫向視點範圍

213‧‧‧視點/視圖

220‧‧‧中心視點範圍

221‧‧‧左橫向視點範圍/橫向視點範圍

222‧‧‧右橫向視點範圍/橫向視點範圍

230‧‧‧視點範圍/中心視點範圍/觀看者/視點範圍

231‧‧‧左眼/眼

232‧‧‧右眼/眼

240‧‧‧觀看者

241‧‧‧左眼

242‧‧‧右眼

301‧‧‧曲線

302‧‧‧曲線/線性曲線

303‧‧‧中間視點

304‧‧‧混合因數

311‧‧‧刻度標記

312‧‧‧刻度標記

313‧‧‧刻度標記

351‧‧‧曲線/非線性曲線

352‧‧‧曲線/非線性曲線

361‧‧‧非線性不對稱曲線/曲線

362‧‧‧非線性不對稱曲線/曲線

400‧‧‧立體視圖視訊序列

401‧‧‧時間點

402‧‧‧時間點

403‧‧‧時間點

404‧‧‧時間點

410‧‧‧連續場景/區段

420‧‧‧連續場景/區段

430‧‧‧連續場景/區段

501‧‧‧原始立體視點

502‧‧‧原始立體視點

503‧‧‧中心立體視點

504‧‧‧目標視點

510‧‧‧子圖

520‧‧‧子圖

550‧‧‧子圖

560‧‧‧子圖

600‧‧‧系統

603‧‧‧中間視點

604‧‧‧混合原則

610‧‧‧系統

611‧‧‧中間影像

612‧‧‧右像差

620‧‧‧系統

630‧‧‧產生單元/程序/單元

640‧‧‧產生單元/單元

650‧‧‧產生單元

666‧‧‧顯示器單元

700‧‧‧方法

701‧‧‧立體影像/原始立體影像

710‧‧‧判定程序/判定/目標視點判定程序

711‧‧‧目標視點/第二目標視點/第一目標視點/第三目標視點

720‧‧‧產生/產生程序

721‧‧‧中間影像/產生程序/第一中間影像/第二中間影像/第三中間影像/目標視點

A‧‧‧混合因數

ACOMP‧‧‧因數計算程序

AL‧‧‧曲線/混合因數

AR‧‧‧曲線/混合因數

B‧‧‧中間視點/中間視圖/輸入

BLEND‧‧‧融合程序

CS‧‧‧中心立體視點/視點

DL‧‧‧左像差/左像差資料/像差資料/左像差/左資料

DR‧‧‧右像差資料/像差資料/右資料/右像差

DISP‧‧‧顯示器單元

DTL‧‧‧影像細節/所偵測影像細節

DTLDET‧‧‧程序

GEN‧‧‧產生方法/產生程序

GU‧‧‧產生單元/程序/單元

IB‧‧‧中間影像/對應中間影像/輸出

IB1‧‧‧第一中間影像/中間影像

IB2‧‧‧第二中間影像/中間影像

IBL‧‧‧左中間影像/中間影像/中間左影像/輸出/中間影像資料/輸入

IBR‧‧‧右中間影像/中間影像/中間右影像/輸出/中間影像資料/輸入

IL‧‧‧左影像/左原始影像/輸入/立體影像/左資料

IR‧‧‧右影像/右原始影像/輸入/原始右影像/原始影像/立體影像/右資料

IS‧‧‧立體影像

JDG‧‧‧判斷程序

L‧‧‧左視點/視點/原始視圖/原始左視點/原始視點/原始立體視點/視圖

MIX‧‧‧混合程序

POL‧‧‧混合原則/輸入

POL1‧‧‧第一混合原則/混合原則/原則

POL2‧‧‧第二混合原則/混合原則/原則

POLDET‧‧‧原則判定程序/程序/混合原則程序

Q1‧‧‧預測影像品質

Q2‧‧‧預測影像品質

QPRED‧‧‧品質預測程序

R‧‧‧右視點/視點/原始視圖/原始右視點/原始立體視點/原始視點/視圖

SEL‧‧‧程序

SIB‧‧‧中間影像

SIBGEN‧‧‧產生程序

SL‧‧‧左資料

SR‧‧‧左資料

TAR‧‧‧目標視點

TARDET‧‧‧判定程序

WARP‧‧‧翹曲程序/左翹曲程序

本發明之此等及其他態樣自後文中所闡述之實施例顯而易見且將參考該等實施例對其進行闡明。

在圖式中：圖1a圖解說明用於自立體資料產生一中間影像之一方法，圖1b圖解說明以一離線方式判定一混合原則之一原則判定程序，圖1c圖解說明使用影像細節之一偵測之一原則判定程序，圖2圖解說明一多視圖顯示器之多個視圖，圖3a圖解說明一線性混合原則，圖3b圖解說明兩個非線性混合原則，圖4圖解說明包括立體視訊圖框之一立體視圖視訊序列之三個連續場景，圖5以六個子圖中之每一者圖解說明包括對應於以一目標視點為中心之一系列中間視點之多個顯示視圖之一多視圖顯示器，圖6以三個組態圖解說明用於自立體資料產生一中間影像之一系統及用於展示該中間影像之一顯示器，且圖7圖解說明用於自一立體影像產生一系列中間影像之一方法。

應注意，在不同圖中具有相同參考編號之物項具有相同結構特徵及相同功能或係相同信號。在已闡釋此一物項之功能及/或結構之情形下，不必在詳細說明中對其進行重複闡釋。

圖1a圖解說明用於自立體資料105產生一中間影像之一方法。該方法之輸出係對應於一中間視點B 155之一中間影像IB 161。中間視點B 155係指在視點範圍中之相對位置處之一視點，其中該範圍通常包括左視點及右視點，且至少包括該左視點及該右視點中之一者。該方法之輸入係包括一左資料SL 103及一右資料SR 104之立體資料。該左資料SL包括一左影像IL 101及左像差DL資料111。右資料SR包括一右影像IR 102及右像差資料DR 112。

如熟習此項技術者將明白，深度與像差成反比，然而在顯示器裝置中深度至像差之實際映射經歷各種設計選擇，諸如可由該顯示器產生之像差之總量、將一特定深度值分配給零像差之選擇、所允許之交叉像差之量等。然而，藉助立體資料提供之及/或自輸入立體資料導出之深度資料用以以一深度相依方式翹曲影像。因此，此處將像差資料定性地解釋為深度資料。

一翹曲程序WARP 130自以下三個輸入產生一左中間影像IBL 131：(i)左影像IL；(ii)左像差資料DL；及(iii)一中間視點B 155。左翹曲程序WARP 130使用左像差資料DL有效地產生左中間影像IBL以將左影像IL「翹曲」至中間視點B。類似地，一翹曲程序WARP 140自右影像IR、右像差資料DR及中間視點B產生一右中間影像IBR 141。將深度/像差用於基於影像之再現之此一翹曲程序之一實例揭示於US 5,929,859中。翹曲之一更複雜實例呈現於US 7,689,031中。

一混合程序MIX 180執行左中間影像IBL與右中間影像IBR之一混合。混合取決於中間視點B且取決於描述混合如何取決於中間視點B之一混合原則POL 156。混合程序MIX之輸出係中間影像IB 161。一原則判定程序POLDET 170基於立體影像(亦即，基於左影像IL及右影像IR)判定混合原則POL。

視情況，該方法包括自左影像IL及右影像IR計算左像差資料DL 及右像差資料DR之一像差計算程序。熟習3D視訊處理技術者已知深度/像差估算演算法之實例，此等演算法之實例提供於US6,625,304及US6,985,604中。視情況，翹曲程序WARP 130及WARP 140使用自一立體視圖視訊序列獲得之經預計算像差資料產生一中間影像，其中每一立體視圖視訊圖框包括一立體影像以及對應像差資料。

混合程序MIX由一因數計算程序ACOMP 150及由一融合程序BLEND 160組成，如圖1a中所繪示。因數計算程序ACOMP 150自中間視點B及混合原則POL計算一混合因數A，其中混合原則POL描述混合因數A如何取決於中間視點B。因數計算程序ACOMP根據混合原則POL自中間視點B計算一混合因數A。融合程序BLEND然後藉由使用混合因數A混合中間影像IBL與IBR來產生中間影像IB。視情況，融合程序BLEND包括常稱為「α融合」之一技術，此在下文進一步闡述。

混合原則POL描述中間影像IBL與IBR之混合如何取決於中間視點B。原則判定程序POLDET判定一混合原則POL以使得混合程序MIX產生具有高影像品質之一中間影像IB。程序POLDET使用關於一混合原則對由混合產生之中間影像之影像品質之影響之知識預測一混合原則對中間影像IB之影像品質之影響。換言之，原則判定程序POLDET針對數個混合原則中之每一者及針對一給定立體影像內容預測中間影像之影像品質，且然後自數個混合原則判定哪個混合原則POL將產生具有高影像品質之一中間影像。

視情況，混合原則程序POLDET自包括該混合原則之後設資料判定一混合原則POL，其中該後設資料由立體資料包括。舉例而言，藉由一演算法離線產生該後設資料，該演算法：(1)使用各種混合原則使用圖1之方法自立體資料產生中間影像；(2)量測所產生中間影像之影像品質；(3)判定具有高影像品質之所產生中間影像；及(4)判定對應於具有高影像品質之所產生中間影像之混合原則。

圖1b圖解說明以一離線方式判定一混合原則之一原則判定程序。混合原則判定程序179接收立體影像作為輸入，亦即左影像IL 101及右影像IR 102。使用一第一混合原則POL1 171及立體影像藉由一產生方法GEN 175產生一第一中間影像IB1 173。類似地，使用一第二混合原則POL2 172及立體影像藉由一產生方法GEN 176產生一第二中間影像IB2 174。用於使用各別混合原則POL1及POL2產生一中間影像之產生方法GEN 175、176採用圖1a之方法。產生方法GEN 175、176選擇一中間視點來產生待用於量測其影像品質之一中間影像。在一判斷程序JDG 177中，一或多個觀看者判斷中間影像IB1、IB2之影像品質，且選擇具有判斷為高之一影像品質之中間影像IB1、IB2中之一者。然後將對應於具有高影像品質之中間影像之混合原則判定為混合原則POL 156。舉例而言，若中間影像IB1經判斷具有與第二中間影像IB2相比之一高影像品質，則將混合原則POL判定為第二混合原則POL2，因此POL=POL2。視情況，判斷程序JDG不由觀看者執行，而是替代地由量化及判斷中間影像IB1及IB2之影像品質之一演算法自動地執行。

視情況，圖1b之原則判定程序179基於針對原則POL1及POL2中之每一者之多個中間影像之影像品質來判定混合原則156。產生程序GEN 175、176各自針對一各別多個視圖產生多個中間影像IB1及IB2。判斷程序JDG然後判斷多個中間影像IB1之一平均影像品質，且判斷多個中間影像IB2之一平均影像品質，且選擇具有判斷為高的一平均影像品質之多個中間影像。然後將對應於具有高平均影像品質之中間影像之混合原則判定為混合原則POL 156。

另一選擇係，原則判定程序POLDET包括立體影像中之影像細節之存在之一偵測，且使用該所偵測存在來判定一混合原則。當使用某些混合原則時，所產生中間影像中之影像細節之影像品質高於當使用 其他混合原則時。像差資料DL、DR之不準確性導致各別中間影像IBL、IBLR中之不準確地產生之影像細節。來自中間影像IBL、IBR之不準確地產生之影像細節之混合因此導致由混合產生之中間影像IB中之假影。假影包括細節模糊(亦即，細節銳度之損失)及/或重影(亦即，影像細節之雙出現)。當根據主要使用中間影像中之一者定義一混合之一混合原則執行混合時，此等假影出現較少。然而，主要使用中間影像中之一者繼而導致閉塞假影。因此，僅在立體影像包括充分影像細節之情況下才判定主要使用中間影像中之一者定義一混合之混合原則，以使得閉塞假影比細節模糊假影更少地影響影像品質。

圖1c圖解說明使用影像細節之一偵測之一原則判定程序。原則判定程序189圖解說明如何基於立體資料中之影像細節之一所偵測存在判定混合原則POL 156。混合原則判定程序189接收立體影像作為輸入，亦即左影像IL 101及右影像IR 102。一程序DTLDET 181包括偵測立體影像中之影像細節DTL 184之一細節偵測演算法。一品質預測程序QPRED 182接收所偵測影像細節DTL及一第一混合原則POL1 171，且判定將使用第一混合原則POL1產生之一中間影像之預測影像品質Q1 185。一品質預測程序QPRED 183接收所偵測影像細節DTL及一第二混合原則POL2 172，且判定將使用第二混合原則POL2產生之一中間影像之預測影像品質Q2 186。品質預測程序QPRED 182、183使用關於混合原則POL1、POL2對使用混合原則POL1、POL2所產生之中間影像之影像品質之影響之統計知識預測影像品質。一程序SEL 187將預測影像品質Q1、Q2中之一者判定為係高的，且將對應於高預測影像品質之混合原則判定為混合原則POL 156。舉例而言，若預測影像品質Q2與預測影像品質Q1相比係高的，則將混合原則POL判定為第二混合原則POL2，因此POL=POL2。預測影像品質Q1及Q2可各自由一單個值表示，而將兩個預測影像品質Q1、Q2中之較高者判定為 係高的。

視情況，細節偵測演算法僅使用立體影像之左影像及右影像中之一者。

視情況，預測影像品質之判定係基於閉塞假影。舉例而言，以與使用一細節偵測演算法類似之一方式，程序判定程序使用接收像差資料DL、DR中之至少一者且偵測大像差轉變之一像差轉變偵測演算法。使用關於像差轉變對藉助各種混合原則所產生之中間影像之影像品質之影響之統計知識，原則判定程序判定一混合原則。注意，此實例隱含原則判定程序接收像差資料DL、DR中之至少一者。

視情況，圖1b及圖1c之判定混合程序179、189自複數個混合原則判定混合原則，其中該複數個混合原則包括比兩個混合原則POL1、POL2多之混合原則。舉例而言，該複數個包括三個額外混合原則POL3、POL4及POL5。

在下文中，使用圖2闡釋一混合原則對一中間影像之產生之就影像品質而言之影響。

圖2圖解說明對應於一多視圖顯示器之視圖之多個視點。多個視點指示為形成一水平毗鄰系列視圖之垂直條帶。針對每一視點，多視圖顯示器展示一對應中間影像IB。數個視點由編號201、202及210至213指示。所有視點處於一視點範圍230中。立體影像之原始視點指示為一左視點L 201及一右視點R 202。視點範圍230劃分為三個部分：(i)一中心視點範圍220；(ii)一左橫向視點範圍221；及(iii)一右橫向視點範圍222。視點210係位於左視點L與右視點R之中間之一中心立體視點。相比而言，視點211及212分別位於橫向視點範圍221及222中。

如圖2中所展示之視圖組態表示可能由一基於透鏡或基於障壁之自動立體顯示器之使用產生之一實例性視圖組態。此一基於透鏡多視圖顯示器之一實例揭示於US6,064,424中。

在下文中在闡釋圖2時，使用一典型混合原則，該混合原則：(a)針對中心視點範圍230中之視點使用中間影像IBL、IBR兩者定義一混合；(b)針對左橫向視點範圍211中之視圖僅使用左中間影像IBL定義一混合；及(c)針對右橫向視點範圍212中之視點僅使用右中間影像IBR定義一混合。一混合包括添加左中間影像IBL之一相對貢獻及右中間影像IBR之一相對貢獻。

針對中心視點範圍230中之視圖，將中間影像IBL及IBR中之兩者混合成一中間影像IB，其中左中間影像IBL對混合之一相對貢獻對於接近於視點L之一視點係大的且對於遠離視點L之一視點係低的，且其中因此右中間影像IBR對混合之一相對貢獻對於接近於視點R之一視點係大的且對於遠離視點R之一視點係低的。

在包含左視點L之左橫向視點範圍221處，左中間影像IBL之相對貢獻係100%且右中間影像IBR之相對貢獻係0%，以使得混合程序僅將中間左影像IBL複製至其輸出IB，因此IB=IBL。此隱含在左橫向視圖處之中間影像僅由翹曲程序WARP 130產生且因此有效地自左原始影像IL外插。在左視點L之特定情形中，翹曲程序WARP 130僅將輸入IL複製至其輸出IBL，以使得IBL=IL且因此IB=IBL=IL，此隱含原始左影像IL展示於視點L處。

在包含右視點R之右橫向視點範圍222處，右中間影像IBR之相對貢獻係100%且左中間影像IBL之相對貢獻係0%，以使得混合程序僅將中間右影像IBR複製至其輸出IB，因此IB=IBR。此隱含在右橫向視圖處之中間影像僅由翹曲程序WARP 140產生且因此有效地自右原始影像IR外插。在右視點R之特定情形中，翹曲程序WARP 140僅將輸入IR複製至其輸出IBR，以使得IBR=IR且因此IB=IBR=IR，此隱含原始右影像IR展示於視點R處。

圖2示意性地展示一觀看者230用一左眼231看見在視點210處之 一中間影像，且用一右眼232看見在視點213處之一中間影像。視圖210及213坐落於中心視點範圍220中，因此在原始視圖L與R之間，以使得觀看者之眼231及232中之每一者看見藉由中間影像IBL與IBR之混合所產生之一中間影像。針對中心視點範圍220中之視圖，混合就中間影像之影像品質而言具有一益處及一缺陷。益處係閉塞假影未顯著地呈現於中間影像中，而缺陷係中間影像中之影像細節遭受模糊及重影。益處係由於混合有效地成為中間影像IBL與IBR之間的一內插，且因此(經內插)中間影像不包括顯著的閉塞假影。缺陷係由於像差資料DL及DR之不準確性且闡釋如下。左像差資料DL之一單個資料值包括(1)原始左影像IL中之一影像細節之一像素位置與(2)原始影像IR中之相同影像細節之一對應像素位置之間的一像素距離。左像差資料DL由翹曲程序WARP 130用以自原始左影像IL產生在中間視點B處之左中間影像IBL。右像差資料DR由翹曲程序WARP 140用以自原始右影像IR產生在視點B處之右中間影像IBR。像差資料DL、DR之不準確性因此致使將在中間影像IBL及IBR之不正確像素位置處產生影像細節，且因此中間影像IBL及IBR之影像細節之混合通常導致包括遭受模糊或重影假影之影像細節之一中間影像IB之一產生。

圖2示意性地展示一觀看者240用一左眼241看見在視點211處之一中間影像，且一右眼242看見在視點201處之一中間影像。右眼242因此看見原始左影像，該原始左影像根據定義具有一高影像品質。相比而言，左眼241看見在左橫向中間視點211處自原始左影像IL產生且自原始左影像有效地外插之一中間影像。在視點211處之中間影像就影像品質而言具有一益處及一缺陷。益處係影像細節未遭受影像細節之模糊或重影。缺陷係由於僅自左影像外插而表現閉塞假影。相同益處及缺陷對一右橫向視點(諸如視點212)而言亦如此。

在本發明之一實施例中，一中間影像之產生中所使用之混合原 則適於原始立體資料之內容。針對包括較多細節之立體影像，原則判定程序POLDET判定僅使用中間影像IBL及IBR中之一者而非使用中間影像IBL及IBR中之兩者定義一混合之一混合原則。作為實施例之一第一實例，一混合原則定義針對視點範圍230中之所有中間視圖僅將左中間影像IBL複製至中間影像IB之一混合。作為實施例之一第二實例，一混合原則定義針對視點範圍230中之所有中間視圖僅將右中間影像IBR複製至中間影像IB之一混合。作為實施例之一第三實例，一混合原則定義(a)針對在中心立體視點210之左側處之視圖自左中間影像IBL及(b)針對在中心立體視點210之右側處之視圖自右中間影像IBR複製中間影像IB之一混合。在原始立體影像包括小影像細節以使得影像細節之模糊不顯著地可見之情形中，判定定義使用中間影像IBL、IBR中之兩者之一混合之一混合原則。

在下文中，混合程序MIX 180包括一融合程序BLEND及因數計算程序ACOMP。圖3a及圖3b圖解說明定義用於兩個中間影像資料IBL與IBR之混合之混合因數之混合原則。

圖3a圖解說明一線性混合原則。兩個曲線AL 301及AR 302組合地表示一單個混合原則。曲線AL 301及AL 302描述一混合因數A 304如何取決於一中間視點B 303。一曲線AL 301描述對應於左中間影像IBL之一混合因數，且一曲線AR 302描述對應於右中間影像IBR之一混合因數。曲線AL及AR之混合因數係互補的且加起來總計為1，亦即，AL+AR=1。混合因數AL及AR線性地取決於中間視點B。注意，在值B=0處之一刻度標記311對應於原始左視點L，在值B=1處之一刻度標記312對應於原始右視點R，且在值B=0.5處之一刻度標記313對應於一中心立體視點，例如，圖2中之視點210。融合程序BLEND中之混合之一實例係根據α融合之一混合，如下執行該混合：IB=AL×IBL+AR×IBR，其中AL+AR=1。

在圖3a及圖3b中，在原始視點L處之一中間影像IB等於在B=0處之原始左影像IL，因此IB=IBL=IL。在原始視點R處之一中間影像IB等於在B=1處之原始右影像IR，因此IB=IBR=IR。因此，在中心視點處之一中間影像IB等於在B=0.5處之中間影像IBR與IBL之平均，因此IB=0.5×IBL+0.5×IBR。

注意，混合因數AL表示左中間影像IBL在混合中之一相對貢獻，且混合因數AR表示右中間影像IBR在混合中之一相對貢獻。此上下文中之混合因數亦常稱為「融合因數」。

注意，針對橫向視點範圍(因此針對B<0及針對B>1)之混合原則未指示於圖3a中。因此，特此暗指，針對左橫向視點範圍中之視圖，因此針對B<0，AL=1，且針對右橫向視點範圍中之視圖，因此針對B>1，AL=0。因此，針對左橫向視點範圍中之視圖，AR=0，且針對右橫向視點範圍中之視圖，AR=1。

圖3b圖解說明兩個非線性混合原則。曲線351及352類似於圖3a之各別曲線AL 301及AL 302，區別在於曲線351及352以一非線性方式取決於中間視點B。曲線351及352呈現圖3a之線性曲線之一替代方案。使用曲線351、352之非線性混合原則之效應係，當與使用線性曲線301相比使用非線性曲線351時，左中間影像IBL在混合中之相對貢獻對於中心立體視點之左側處之視圖係較大的。類似地，當與使用線性曲線302相比使用非線性曲線352時，右中間影像IBR在混合中之相對貢獻對於中心視點之右側處之視圖係較大的。

圖3b亦展示一不對稱非線性混合原則。非線性不對稱曲線361、362在一非線性之意義上類似於各別曲線351、352，但在一不對稱性意義上係不同的。由於曲線362平均大於曲線361，則曲線361、362展示混合因數針對右中間影像IBR係平均較高的。因此，在中心立體視點處(亦即，在B=0.5處)，右中間影像IBR對中間影像IB之相對貢獻 (曲線362)超出左中間影像IBL對中間影像IB之相對貢獻(曲線361)。換言之，右中間影像IBR在混合中之相對貢獻比左中間影像IBL在混合中之相對貢獻大。

圖3b之曲線之左右不對稱性由一不對稱性參數ParA控制，以使得可藉助於改變不對稱性參數ParA增大或減小曲線之不對稱性。

藉由進一步增大曲線361及362之不對稱性，曲線361及362之交叉處將甚至更朝向左(因此朝向B=0)移位，且因此曲線362將平均趨於甚至更朝向A=1。因此，對於增加數目之視圖，將使用右中間影像IBR在混合中之一大相對貢獻產生中間影像IB，以使得中間影像IB愈來愈類似於右中間影像IBR且愈來愈不類似於左中間影像IBL。藉由將不對稱性參數ParA增大至其最大正值ParA=+1，右中間影像IBR對於所有中間視圖B之該相對貢獻變為1。換言之，每一中間影像IB變為右中間影像IBR之一複本，以使得僅使用右影像IR、右像差資料DR及中間視點B產生中間影像IB。後一情形亦常稱為「自影像加深度再現」。

類似地，不對稱性參數ParA可用以在其他方向上移位不對稱性，從而朝向右(亦即因此朝向B=1.0)移動交叉處。類似於先前實例，將該交叉處愈來愈移位至右側，左中間影像IBL對中間影像IB之相對貢獻進一步增大。藉由將不對稱性參數ParA增大至其最大負值ParA=-1，左中間影像IBL對於介於B=0與B=1之間的所有中間視圖B之該相對貢獻變為1。換言之，中間影像IB變為左中間影像IBL之一複本，以使得僅使用左影像IL、左像差資料DL及中間視點B產生中間影像IB。

針對假設較接近於零之一值之一不對稱性參數ParA，圖3b中之曲線變為不對稱性減小，此對應於其中中間影像IBL及IBR之該等相對貢獻變為更均等之一混合原則。針對不對稱性參數之一個特定值(其為ParA=0)，曲線描述諸如由曲線351、352圖解說明之一對稱非線 性混合原則。

不對稱性參數因此係有效地一「軟切換」，該「軟切換」可用以逐漸切換混合原則且藉此在(a)自左資料及右資料兩者產生一中間影像與(b)僅自左資料及右資料中之一者產生中間影像之間逐漸切換。將在本文件中下文進一步說明一混合原則之該逐漸切換。

視情況，自由一立體視圖靜態影像包括之立體資料產生中間影像。視情況，自由一立體視圖視訊序列之一立體視圖圖框包括之立體資料產生中間影像。

視情況，產生兩個中間影像以形成一新立體影像之新左影像及新右影像，新左影像對應於一新左視點，且新右影像對應於一新右視點，其中新左視點及新右視點分別不同於原始左視點及右視點。兩個中間影像之此產生亦常稱為立體至立體轉換，且可應用於減小或放大立體資料之深度範圍。新立體影像可由一觀看者使用立體視圖眼鏡在一專用立體視圖顯示器上觀看。

視情況，產生用於在能夠同時顯示一系列中間影像中之影像之一多視圖自動立體顯示器上觀看之對應於一水平系列視圖之該系列中間影像。該系列通常包括兩個以上視圖。舉例而言，一多視圖自動立體顯示器包括9個視圖。

視情況，針對一各別系列視圖自一立體視圖視訊序列之每一圖框產生一系列中間影像。該系列視圖包括連續中間視圖。(舉例而言)在一多視圖自動立體顯示器上觀看該系列中間影像。

視情況，一立體視圖視訊序列包括各種場景，且一單個混合原則用於一場景內。一場景包括多個連續立體視圖視訊圖框且在此情形中，在該場景內使用用於自每一立體視圖視訊圖框產生一中間影像之相同混合原則。用於該場景內之混合原則可不同於用於一後續場景內之一混合原則。藉由使用一場景改變偵測器，偵測下一場景之開始且 在一新場景之第一圖框處判定下一混合原則。在下一場景內，使用下一混合原則。代替使用一場景改變偵測器，一場景改變可由包括場景改變指示符之後設資料指示，其中後設資料由立體視圖視訊序列包含。

在以下文獻中獲得當前技術水平場景偵測或鏡頭轉變偵測方法之一概述以及對其工作之一分析：Alan F.Smeaton，「Video shot boundary detection：Seven years of TRECVid activity」，Computer Vision and Image Understanding 114(2010)411-418，2010，該文獻特此以引用方式併入。圖4圖解說明包括立體視訊圖框之一立體視圖視訊序列400之三個連續場景410、420及430。立體視訊序列由包括一左影像及一右影像之立體視訊圖框組成。圖4中之水平軸表示一時間軸。區段410、420及430各自呈現立體視圖視訊序列之一區段，該等區段分別在(時間)時間點401、402及403處開始，而區段430在時間點404處結束。區段410、420及430表示場景，且時間點402及403表示場景改變。如在本上下文中所使用之術語「場景」係指如常由術語「鏡頭」指代之相同物質。

在以下實例中進一步闡釋其中在一場景內使用一單個混合原則之本文中上文所闡述之實施例。區段410含有包括較多細節之圖框，且因此判定僅使用左中間影像IBL定義一混合之一混合原則。區段420含有小細節且因此判定使用左中間影像IBL及右中間影像IBR兩者定義一混合之一混合原則，諸如由曲線圖3a描述之混合原則。與區段410一樣，區段430含有包括較多細節之圖框，且因此判定僅使用右中間影像IBR定義一混合之一混合原則。在時間點402及403處偵測場景改變且因此判定一新混合原則且在中間影像IB之產生中使用該原則。

作為添加至先前實例之一額外實例，自每一立體視訊圖框產生對應於一各別系列中間視圖之一系列中間影像且在一多視圖自動立體 顯示器上觀看該系列中間影像。

視情況，一混合原則之判定在一立體視圖視訊序列之一場景內逐漸改變。此藉助使用不對稱性參數之一混合達成，如在上文圖3b之闡釋中所闡述。考量以下實例。針對自一場景之一早圖框產生，判定(使用ParA=-1)一第一混合原則、定義僅使用左中間影像IBL之一混合，因此僅自(原始)左資料有效地產生一中間影像IB。針對自場景之一晚圖框產生，判定(使用ParA=0)一第二混合原則、定義使用兩個中間影像IBL及IBR中之兩者之一混合，因此自左資料及右資料兩者有效地產生一中間影像IB。然而，為防止中間影像IB中之銳轉變，對於早圖框與晚圖框之間的圖框，將混合原則自第一混合原則逐漸改變至第二混合原則。藉由逐漸改變兩個圖框之間的不對稱性參數，在混合原則中建立一逐漸改變，且因此中間影像亦逐漸改變。對於早圖框與晚圖框之間的圖框，不對稱性參數因此自針對早圖框之ParA=-1逐漸改變至針對晚圖框之ParA=0。

圖5以六個子圖中之每一者圖解說明包括對應於以一目標視點T504為中心之一系列中間視點之多個顯示視圖之一多視圖顯示器。子圖510至子圖550中之每一者圖解說明包括一系列顯示視圖之一多視圖顯示器。在每一顯示視圖處，顯示器展示對應於一中間視點之一中間影像，且因此該系列顯示視圖有效地展示一系列中間視點。在所有子圖中，一中間視點在該系列中間視點內之相對位置保持為相同，因此中間視點維持在該序列中之其相對次序及至其兩個鄰近中間視點之其距離。原始立體視點L 501及R 502指示左視點及右視點駐存於該系列中間視點內的哪個地方。中心立體視點CS 503指示位於視點L及視點R之中間處之中間視點。該系列中間視點中之中心元素係目標視點T(亦參見垂直虛線)。目標視點T可係原始視點L與R之間或接近原始視點L及R之任何中間視點。自視圖L、R及C推斷目標視點T對應於哪個 中間視點。子圖510至子圖550中之每一者對應於一不同目標視點T(除對應於相同目標視點T之子圖550及子圖560之外)。

舉例而言，在子圖510中，目標視點T對應於中心立體視點CS。相比而言，在子圖550中，目標視點T對應於原始左視點L。自每一子圖至下一子圖(例如，自510至520)，目標視點移位達一個視點。因此，子圖510至子圖550之序列展示目標視點T之一逐漸移位(亦即，自子圖510中之中心立體視點至子圖550中之原始左視點)移位達後續子圖之間的一個顯示視圖。在子圖550與子圖560之間，然而目標視點T未進行移位，此將在下文一實例中使用。

視情況，圖1之方法用於自立體資料產生一系列中間影像，且目標視點T經判定以使得中間影像針對立體資料之一給定內容具有高影像品質。考量以下實例，其中立體資料由一立體視訊序列包括，且其中混合原則針對所有圖框定義相同混合。根據由圖3a描述之混合原則，混合原則判定使用中間影像IBL及IBR兩者之一混合。在此實例之上下文中，子圖510至子圖560對應於一立體視圖視訊序列之後續圖框。子圖510對應於其中多視圖顯示器展示自一立體視訊圖框(在此實例中稱為圖框1)產生一系列中間影像之一情況。類似地，子圖520至子圖560對應於各別圖框2至圖框6。原則偵測程序使用一細節偵測器來偵測影像細節之一存在且基於彼所偵測存在選擇一目標視點T。針對圖框1，系統使用一細節偵測器總結出，存在小細節以使得細節假影係不可見的，且因此將中心立體視點CS選擇為目標視點T。因此，方法針對其中該系列之中心視點對應於中心立體視點CS之一系列中間視圖產生中間影像。然而，針對圖框2，系統總結出，存在較多細節，且因此總結出藉由使用左視點L作為目標視點T來產生高影像品質，此乃因，舉例而言，細節假影針對接近原始左視點L之視圖比針對接近中心立體視點CS之視圖係較不可見的。為防止中間影像中之 一即時轉變(例如，以使得3D影像做出導致一令人不悅之觀看體驗之一突然「跳躍」)，目標視點T在一單個步驟中不移位至用於自第二圖框產生該系列中間影像之左視點L。而是，在圖框2至圖框5期間執行目標視點T朝向原始左視點L之一逐漸移位，從而完成在圖框5處之逐漸移位。

視情況，舉例而言，當在一個圖框與其下一圖框之間偵測到一場景改變時，系統執行一個圖框與其下一圖框之間的目標視點T之一即時移位(與執行一逐漸移位相反)。由於立體視訊圖框之內容在一場景改變處在一個圖框與其下一圖框之間整體上改變，因此目標視點T之一即時改變未由一觀看者注意到。

視情況，原則判定程序在完成目標視點T之一移位之後判定一新混合原則。舉例而言，考量如本文中上文所闡述在圖框1至圖框5期間之逐漸移位。針對圖框6(參見子圖560)，將混合原則改變至定義(舉例而言)僅使用左中間影像IBL(或換言之，有效地使用「影像加深度」)之一混合之一新混合原則。

視情況，以與先前段落類似之一方式，原則判定程序在起始目標視點T之一移位之前判定一新混合原則。新混合原則不在逐漸移位期間改變。

視情況，原則判定程序與逐漸移位同時地逐漸改變混合原則。考量在圖框1至圖框5期間之逐漸移位，但其中混合原則係由不對稱性參數ParA(亦參見圖3b)控制之一非線性不對稱混合原則。在圖框1處，使用中間影像IBL及IBR兩者判定一混合，諸如由圖3b中之曲線351至曲線352所描述。在圖框5處，混合僅使用左中間影像IBL。分別藉由ParA=0.0、-0.25、-0.5、-0.75、-1.0定義在圖框1、2、3、4、5處之混合。

視情況，目標視點T在隔開數個圖框之圖框處移位。舉例而言， 將目標視點T每10個圖框一次地移位達一個視圖，從而使得逐漸移位與在每一圖框處移位達一個視圖相比較慢。

視情況，將目標視點T移位達一視圖之一分率或達一個以上視圖。

視情況，藉由針對複數個目標視點T預測影像品質且自該複數個目標視點選擇對應於最高影像品質之目標視點來判定目標視點T。一系列中間影像之預測影像品質由一預測影像品質參數量化。舉例而言，該複數個目標視點T由3個視點組成：原始左視點L、原始右視點R及中心立體視點CS。在此實例中，立體影像含有較多細節且針對中心立體視點CS之預測影像品質參數因此係低的(此乃因預期可見細節假影接近中心立體視點)，而針對原始視點L及R之預測影像品質參數係高的(此乃因不預期可見細節假影接近原始視點L及R)。在此情形中，針對原始視點L之預測影像品質參數與針對其他兩個視點R及CS之預測影像品質參數相比係最高的。原始視點L因此經選擇，且該系列中間視點以原始視點L為中心。換言之，該系列中間視點位於接近原始視點L之一區域中。

視情況，預測影像品質參數經計算為一系列每視點預測影像品質參數之一平均，其中針對該系列中間視點中之每一中間視點計算一個每視點參數。針對該系列中間視點之預測影像品質參數然後經計算為每視點預測影像品質參數之平均。

視情況，該系列中間視點之預測影像品質參數經計算為針對該系列中間視點中之一單個中間視點之一每視點預測影像品質參數。舉例而言，單個中間視點係該系列中間視點中之目標視點T。若該系列中間視點具有一奇數長度N，則目標視點T係指該系列中之第(N+1)/2個中間視點。該系列中間影像之預測影像品質然後由對應於目標視點T之中間影像之每視點預測影像品質參數表示。

視情況，目標視點T可經預計算且提供至一再現系統或再現裝置作為補充原始左影像及原始右影像之後設資料。注意，在此上下文中術語「補充」係指在後設資料與立體資料一起提供之意義上「耦合至」，且術語「補充」在此文件中之其他地方具有相同意義。

圖7圖解說明用於自一立體影像產生一系列中間影像之一方法，如本文中上文所闡述。方法之輸入係包括左影像101及右影像102之一立體影像IS 701。一判定程序710判定目標視點711，且一產生程序720 SIBGEN自立體影像IS且針對以目標視點TAR為中心之一系列中間視點產生一系列中間影像SIB。

判定程序TARDET 710使目標視點之判定基於該系列中間視點之預測影像品質。判定程序包括針對以目標視點TAR為中心之一系列中間視點預測中間影像之影像品質之一預測程序(圖7中未展示)。舉例而言，預測程序包括一細節偵測器，在此情形中，偵測立體影像中之大量細節。在此情形中，預測程序總結出在中心立體視點CS處之預測影像品質係低的且因此並非一適合目標視點，且因此將原始左視點L判定為目標視點TAR。因此，目標視點TAR係基於若該系列中間視點以目標視點TAR為中心則將自產生程序SIBGEN產生之該系列中間影像SIB之預測影像品質。

視情況，目標視點判定程序710擷取一(經預計算)目標視點TAR作為補充原始立體影像701之後設資料。視情況，目標視點判定程序710僅將左影像IL及右影像IR中之一者用於判定目標視點。舉例而言，如上文所闡述，若使用一細節偵測器計算預測影像品質參數，則僅使用左影像IL及右影像IR中之一者足以用於偵測細節。

視情況，產生程序721使用諸如圖1中所圖解說明之一產生功能，其中該產生功能針對該系列中間視點中之中間視點中之一者自立體影像IS產生一中間影像。產生程序721使用產生功能來針對該系列 中間視點SB中之每一中間視點產生一中間影像，因此產生該系列中間影像SIB。產生功能使用用於產生一中間影像之像差資料，且自立體影像IS計算像差資料。視情況，像差資料並非自立體影像IS計算而是經擷取作為補充立體影像IS之後設資料。

藉助於包括一目標視點、一選用混合原則之後設資料及選用深度/像差資料之提供，一較高品質系列之中間影像可經再現；亦即在編碼時間處已針對其認可/考量品質要求之一系列中間影像。

儘管在本文中上文之文字中，目標視點及混合原則主要已經個別地最佳化，但不必如此。特定而言，當目標視點及混合原則之選擇由一組內容評論者評估時，可能評估大量替代方案及最佳化經組合參數兩者。以此方式，可做出既減少視覺假影且亦遵循導演偏好之一選擇。

注意，圖7之目標視點TAR 711係指與圖5之目標視點T 504相同之物質。

一種經配置以執行圖7之方法之系統包括一目標視點判定單元及一系列產生單元。目標判定單元經配置以執行判定程序TARDET。該系列產生單元經配置以執行產生程序SIBGEN。系統之輸入係立體影像IS。系統之輸出係該系列中間影像SIB。

圖6以三個組態圖解說明用於自立體資料產生一中間影像且用於在一顯示器上展示該中間影像之一系統。系統經配置以用於在一顯示器上展示所產生之中間影像。產生單元GU 630、640、650皆經配置以產生一中間影像IB 611，且皆經配置以接收立體影像IL、IR及中間視點B 603。顯示器單元DISP 666經配置以展示自產生單元GU 630、640、650中之一者所接收之中間影像IB。

圖6圖解說明用於自一立體影像產生中間影像IB 611且用於在顯示器DISP上展示中間影像IB 611之系統600。產生單元GU 630經組態以自立體影像IL、IR產生中間影像IB 611且在其輸入處接收原始左影 像IL、右影像IR及中間視點B 603。程序GU 630包括以下功能：(a)一左像差計算功能，其用以接收原始左影像IL及右影像IR以自左影像IL及右影像IR計算左像差資料DL，且將所計算左像差資料DL傳遞至一左翹曲功能；及(b)一右像差計算功能，其用以接收原始左影像IL及原始右影像IR以自左影像IL及右影像IR計算右像差資料DR，且將所計算右像差資料DR傳遞至一右翹曲功能；及(c)左翹曲功能，其用以接收中間視點B 603、左影像IL及左像差資料DL，且用以產生左中間影像IBL，且將左中間影像IBL傳遞至一混合功能；及(d)右翹曲功能，其用以接收中間視點B 603、右影像IR及右像差資料DR以產生右中間影像IBR，且將右中間影像IBR傳遞至混合功能；及(e)一原則判定功能，其用以接收原始左影像IL及原始右影像IR，且用以基於由系統使用彼混合原則產生之一中間影像之一預測影像品質來判定混合原則，且將混合原則傳遞至混合功能；及(f)混合功能，其用以自左翹曲功能接收左中間影像IBL，用以自右翹曲功能接收右中間影像IBR，用以接收中間視點B 603，且用以自一原則判定功能接收一混合原則，且用以藉由使用中間視點B 603及混合原則之中間影像IBL及IBR之一混合來產生中間影像IB 611。

視情況，產生單元係包括用以執行系統之函式之軟體之一一般用途處理器。視情況，產生單元係包括用以執行系統之功能之專用應用邏輯之一ASIC。

視情況，系統600代替左翹曲功能及右翹曲功能包括一單個翹曲功能。左翹曲功能及右翹曲功能係相同的且經組態以執行相同計算，且僅在其處理之輸入上不同。單個翹曲功能係與左翹曲功能或與右翹 曲功能相同的。系統600包括用以依序計算中間影像IBL及IBR之單個翹曲功能。舉例而言，如下執行單個翹曲功能。單個翹曲功能首先接收左資料IL及DL、中間視點B，且產生左中間影像IBL，且將左中間影像IBL傳遞至混合程序。單個翹曲功能然後接收右資料IR及DR及中間視點B，且產生右中間影像IBR，且將右中間影像IBR傳遞至混合程序。系統600包括用以一旦其已接收所有四個輸入IBL、IBR、B及POL便執行混合之混合功能。視情況，單個翹曲功能以一時間順序方式首先產生右中間影像IBR且然後左中間影像IBL。

圖6圖解說明經組態以用於自一立體影像及混合原則產生一中間影像且在一顯示器上展示該中間影像之一系統610。除以下差別之外，產生單元GU 640係與單元GU 630相同的。單元GU 640不包括一原則判定功能，且混合功能經組態以自GU 640之輸入接收混合原則POL 604。

圖6圖解說明經組態以用於自立體影像及自像差資料產生一中間影像且在一顯示器上展示該中間影像之一系統620。除以下差別之外，產生單元GU 650係與單元GU 630相同的。產生單元GU 650不包括一像差處理功能。左翹曲功能經組態以直接自輸入接收左像差DL 611。類似地，右翹曲功能經組態以直接自輸入接收右像差DR 612。

視情況，顯示器單元DISP係在其顯示視圖中之一者中展示中間影像IB之一多視圖顯示器。

視情況，顯示器單元DISP係一立體視圖顯示器，且一頭部追蹤裝置經配置以提供用以產生單元GU之一左中間視點BL及一右中間視點BR。產生單元GU經配置以使用各別中間視圖BL、BR產生一新左影像及一新右影像且將所產生立體影像提供至顯示器單元DISP。顯示器單元DISP經配置以展示由一觀看者使用經配置以使得觀看者能夠感知在顯示器單元DISP上之一3D影像之立體眼鏡觀看之立體影 像。包括產生單元GU及顯示器單元DISP之所得系統經配置以用於一觀看者來在視覺上感知一3D影像且藉由做出主動頭部移動來向後看3D影像中之前景物件。

作為一額外實施例，一電腦程式產品包括用於致使一處理器系統執行圖7中所圖解說明之方法之判定程序710及產生程序720之指令。舉例而言，處理器系統包括具有一視訊圖形卡及一一般用途處理器且連接至一多視圖顯示器之一PC。處理器系統將一立體影像轉換成一系列中間影像，且驅動多視圖顯示器以用於在各別顯示視圖上展示該系列中間影像。圖7之方法以一電腦程式上之軟體在一般用途處理器上及/或在視訊圖形卡上運行。立體影像係自提供包括視訊圖框之一立體視訊序列之一源接收，每一視訊圖框包括一左影像及右影像。源可係處理器系統連接至之網際網路，立體視訊序列自該網際網路串流至處理器系統。源可係電腦程式儲存於其上之一媒體資料載體。媒體資料載體可係包括(舉例而言)一快閃記憶體之一藍光光碟或一USB儲存裝置。

如本文中上文所闡述，目標視點及視情況混合原則可經預計算且提供至一再現系統或再現裝置作為補充原始立體資料之後設資料。本發明因此有利地亦實現產生供在自一立體影像701產生一系列中間影像721之一方法中使用之輸出立體資料之一方法，立體影像701包括對應於一左視點之一左影像101及對應於一右視點之一右影像102，產生輸出立體資料之方法包括基於對應於以一目標視點711為中心之空間連續視點之該系列中間影像721之預測影像品質判定目標視點711；且產生包含闡述所判定目標視點711之後設資料之輸出立體資料。

判定目標視點可包括針對各別複數個目標視點計算複數個預測影像品質參數，且判定對應於複數個預測影像品質參數當中具有最高值之預測影像品質參數之目標視點711。另一選擇係或另外，判定包 括使用一細節偵測器量測立體影像701中之影像細節量且基於所量測影像細節量計算預測影像品質。另一選擇係或另外，判定710包括使用一深度轉變偵測器偵測立體影像701中之深度轉變以用於預測閉塞假影且使用預測閉塞假影判定預測影像品質。更多選擇係，產生供在自一立體影像701產生一系列中間影像721之一方法中使用之輸出立體資料之方法進一步包括判定供在產生一系列中間影像721中使用之一混合原則POL且進一步包括將所判定混合原則POL包含於輸出立體資料中作為闡述混合原則POL之後設資料。

如本文中上文所闡述之輸出立體資料可用以實現一系列中間影像721之與先前技術相比之一經改良產生，此乃因其使得一系統能夠經配置以用於使用目標視點及/或混合原則(當經提供時)產生一系列中間影像721，以實現在後設資料之編碼時間處建立之滿足要求之一系列中間影像之產生。

本發明亦實現用於供在自一立體影像701產生一系列中間影像721之一系統中使用之產生輸出立體資料之一系統，立體影像701包括對應於一左視點之一左影像101及對應於一右視點之一右影像102，用於產生輸出立體資料之系統包括：一產生單元，其經配置以用於基於對應於以一目標視點711為中心之空間連續視點之該系列中間影像721之預測影像品質判定目標視點711；且產生包含闡述目標視點711之後設資料之輸出立體資料。

藉由產生單元之判定可包括針對各別複數個目標視點計算複數個預測影像品質參數，且判定對應於該複數個預測影像品質參數當中具有最高值之預測影像品質參數之目標視點711。另一選擇係或另外，藉由產生單元之判定可包括使用一細節偵測器量測立體影像701中之影像細節量且基於所量測影像細節量計算預測影像品質。另一選擇係或另外，藉由產生單元之判定包括使用一深度轉變偵測器偵測立 體影像701中之深度轉變以用於預測閉塞假影且使用預測閉塞假影判定預測影像品質。更多選擇係，產生供在自一立體影像701產生一系列中間影像721之一系統中使用之輸出立體資料之系統進一步包括：產生單元，其判定供在產生一系列中間影像721中使用之一混合原則POL且進一步經配置以在產生作為闡述混合原則POL之後設資料之輸出立體資料期間包含所判定混合原則POL。

如本文中上文所闡述之輸出立體資料可用以實現一系列中間影像721之與先前技術相比之一經改良產生，此乃因其使得一系統能夠經配置以用於使用目標視點及/或混合原則(當經提供時)產生一系列中間影像721，以實現在後設資料之編碼時間處建立之滿足要求之一系列中間影像之產生。

包含於輸出立體資料中之目標視點及/或混合原則資訊/後設資料可包括參考立體對或以允許再現產生正確系列中間影像之另一方式描述目標視點之位置之資訊。

指示目標視點定向之後設資料可係相對的，亦即目標視點係指相對於立體對之左及右視點之位置(與圖5中所使用之T之表示相比)。

一簡單二進制表示之一實例係使用3個位元來指示目標視點，此處000可對應於L，100對應於L與R之間的一半處，001對應於自L 1/8且自R 7/8處等。若一圖框不含有此後設資料，則將使用來自先前圖框之最後可用目標視點指示。

另一選擇係，定向可表示為一絕對定向，舉例而言參考顯示器表面定向或顯示器表面法線。

在立體對係一視訊序列之部分之情形中，目標視點如本文中上文所闡述可隨時間變化。因此，目標視點可以一每一圖框為基礎提供或可以包括多個圖框之一經彙總形式視訊結構提供；例如每GOP(與編碼標準相關之一粒度級)或甚至以每鏡頭/場景之一更高粒度(允許諸 如在一鏡頭級之連續性之定址要求之一粒度級)。

後者進一步允許諸如藉助於呈指示目標視點隨時間之定向之一分段線性表示或曲線表示之形式之一函數描述在一較高抽象級闡述目標視圖定向。

視情況，後設資料不包括目標視點自身但包括用於判定目標視點之資料。舉例而言，後設資料可包括針對一特定視訊圖框預測影像品質將基於之影像特性，影像特性係影像細節或閉塞假影，例如針對一特定視訊圖框預測影像品質係基於影像細節而針對另一視訊圖框預測影像品質係基於閉塞假影。

當混合原則資訊或混合原則後設資料包含於輸出立體資料中時，其可包括以下範圍內之資訊：一混合因數或融合因數、一不對稱性參數、一目標視點T描述、供在驅動如本文中上文所闡述之一多視圖顯示器中使用之一視圖位置分配。此資訊可以一每一圖框為基礎提供或較佳地呈每場景一查找表之形式，從而將參數連結至場景內之各別圖框；或呈一函數描述之形式，其使用例如一分段線性或基於曲線表示，該表示允許播放裝置自函數描述導出針對各圖框之恰當參數。

根據上文方法所產生之輸出立體資料可進一步包含供在一多視圖顯示器裝置上再現中使用之其他後設資料及/或資訊。

如使用如本文中上文提供之一方法或系統產生之輸出立體資料可作為用於廣播之一信號或作為用於經由一數位網路(諸如一區域網路、一公司內部網路或網際網路)傳送之一信號輸出。

如本文中上文所闡述之信號可用以實現自一立體影像對一系列中間影像721之一經改良產生。如本文中上文所闡述，目標視圖資訊可針對一單個立體影像對或針對一立體視訊序列中之一立體影像對序列提供。闡述目標視點之後設資料可進一步用諸如以下項之資訊補充：一混合原則及/或深度/像差資料(處於全解析度或處於減小之解析 度)及/或可在產生該系列中間影像中使用之其他參數。

值得注意的係，闡述目標視點之後設資料係允許該系列中間影像以目標視點為中心之資料。舉例而言，在存在於該系列中間影像中之視圖之一偶數數目(隱含存在兩個中心視圖)之情形中，則左中心視圖相對於原始左及右影像之位置(且若各別中間影像之間的距離不固定)足以判定該系列中間影像之分佈。另一選擇係，可使用左中心視圖及右中心視圖之(角度)位置(且可基於左中心與右中心影像之間的距離推斷出該系列中之其他視圖之間的距離)。更多選擇係，當各別視圖之間的距離相對於左及右立體影像經預定義時，則其足以編碼左(或右)中心視圖相對於立體對之左及右影像之位置。如熟習此項技術者將明白，諸多不同資料表示可用於判定該系列中間影像以其為中心之目標視點之資料。

信號可記錄於一數位資料載體(諸如呈一藍光光碟形式之一光學資料載體或一等效光學資料載體)或於一電子非揮發性媒體(諸如一快閃或固態儲存裝置)上。關於藍光光碟格式之更多資訊可在此處找到：http：//blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf該網址特此以引用方式併入。較佳地與視圖再現相關聯之後設資料根據作為解碼資訊之標準包含於以下項中之至少一者中：一使用者資料訊息；一傳訊基本流資訊[SEI]訊息(尤其在需要圖框準確或GOP準確編碼時有用)；一登錄點表；或一基於XML描述。

使輸出立體資料分佈在原始輸入立體資料105上方之優點係，在編者側處內容通常全部可用且因此更昂貴及/或耗時的演算法(或使用者輔助之演算法)可用以判定一適合目標視點及/或混合原則。

應注意，上文所提及之實施例圖解說明而非限制本發明，且熟習此項技術者將能夠在不背離附隨申請專利範圍之範疇之情況下設計 諸多替代實施例。

在申請專利範圍中，置於括號之間的任何參考符號皆不應被解釋為限制該申請專利範圍。使用動詞「包括」及其變形並不排除存在除一請求項中所陳述之彼等元件或步驟以外的元件或步驟。一元件前面的冠詞「一(a)」或「一(an)」並不排除存在複數個此等元件。本發明可藉助於包括數個不同元件之硬體且藉助於一經適合程式化之電腦實施。在列舉數個構件之裝置請求項中，此等構件中之數者可由硬體之一個及相同物項體現。在互不相同之附屬請求項中敍述特定措施之單純事實並不指示不能有利地使用此等措施之一組合。

101‧‧‧左影像

102‧‧‧右影像

700‧‧‧方法

701‧‧‧立體影像/原始立體影像

710‧‧‧判定程序/判定/目標視點判定程序

711‧‧‧目標視點/第二目標視點/第一目標視點/第三目標視點

720‧‧‧產生/產生程序

721‧‧‧中間影像/產生程序/第一中間影像/第二中間影像/第三中間影像/目標視點

IL‧‧‧左影像/左原始影像/輸入/立體影像/左資料

IR‧‧‧右影像/右原始影像/輸入/原始右影像/原始影像/立體影像/右資料

IS‧‧‧立體影像

SIB‧‧‧中間影像

SIBGEN‧‧‧產生程序

TAR‧‧‧目標視點

TARDET‧‧‧判定程序

Claims (15)

1. 一種用於自一立體影像(701)產生一系列中間影像(721)之方法(700)，該立體影像包括對應於一左視點之一左影像(101)及對應於一右視點之一右影像(102)，該系列中間影像對應於空間連續視點，該等空間連續視點中之第一者及最後一者界定包括該左視點及該右視點中之至少一者之一視點範圍，該方法包括藉由以下操作將該等空間連續視點之一中心定位於一目標視點處：針對以不同目標視點為中心之該等空間連續視點，基於該系列中間影像之預測影像品質判定(710)該目標視點，該預測影像品質係基於該立體影像之一影像特性；及針對以該所判定目標視點(711)為中心之該等空間連續視點，自該立體影像產生(720)該系列中間影像。
2. 如請求項1之方法，其中該判定(710)包括：自補充該立體影像(701)之後設資料擷取用於判定該目標視點(711)之資料。
3. 如請求項1之方法，其中該判定(710)包括：針對各別複數個目標視點計算複數個預測影像品質參數，且判定對應於該複數個預測影像品質參數當中具有最高值之該預測影像品質參數之該目標視點(711)。
4. 如請求項1之方法，其中該判定(710)包括：使用一細節偵測器量測該立體影像(701)中之影像細節量，及基於該所量測影像細節量計算該預測影像品質。
5. 如請求項1之方法，其中該判定(710)包括：使用一深度轉變偵測器偵測該立體影像(701)中之深度轉變，以用於預測閉塞假影及使用該等所預測閉塞假影判定該預測影像品質。
6. 如請求項1之方法，其中該產生該系列中間影像(721)包括：自一 立體視圖視訊序列之各別後續圖框產生後續系列中間影像(721)，該等各別後續圖框中之每一者包括一立體影像(701)。
7. 如請求項6之方法，其中該判定(710)包括：判定用於在一第一時間時間點處自一第一圖框第一產生一系列第一中間影像(721)之一第一目標視點(711)，判定用於在一第二時間時間點處自一第二圖框第二產生一系列第二中間影像(721)之一第二目標視點(711)，及判定用於在一第三時間時間點處自一第三圖框第三產生一系列第三中間影像(721)之一第三目標視點(711)，該第三時間時間點發生在該第一時間時間點之後且在該第二時間時間點之前，且該第三目標視點(711)定位於該第一目標視點(711)與該第二目標視點(711)中間，從而使得該目標視點(721)能夠隨時間逐漸移位。
8. 如請求項6之方法，其中該判定(710)包括：判定用於在一第一時間時間點處自一第一圖框第一產生一系列第一中間影像(721)之一第一目標視點(711)，判定用於在一第二時間時間點處自一第二圖框第二產生一系列第二中間影像(721)之一第二目標視點(711)，該判定一第二目標視點(711)包括判定該第一時間時間點與該第二時間時間點之間的一場景改變之一發生且依據該場景改變之該發生判定該第二目標視點(711)，該第二目標視點(711)不同於該第一目標視點(711)。
9. 如請求項8之方法，其中該判定一場景改變之一發生包括：自補充該立體影像(701)之後設資料擷取該發生。
10. 一種經配置以用於自一立體影像(701)產生一系列中間影像(721)之系統，該立體影像包括對應於一左視點之一左影像(101)及對 應於一右視點之一右影像(102)，該系列中間影像對應於空間連續視點，該等空間連續視點中之第一者及最後一者界定包括該左視點及該右視點中之至少一者之一視點範圍，該系統經配置以用於將該等空間連續視點之一中心定位於一目標視點(711)處，該系統包括：一判定單元，其用於針對以不同目標視點為中心之該等空間連續視點基於該系列中間影像之預測影像品質判定(710)該目標視點，該預測影像品質係基於該立體影像之一影像特性；及一產生單元，其用於針對以該所判定目標視點(711)為中心之該等空間連續視點，自該立體影像產生(720)該系列中間影像。
11. 如請求項10之系統，其中該判定單元經配置以用於藉由以下操作判定該目標視點：針對複數個目標視點預測該系列中間影像之該影像品質，且基於該系列中間影像之該預測影像品質自該複數個目標視點選擇該目標視點。
12. 如請求項10之系統，其中該判定單元經配置以用於自補充該立體影像之後設資料擷取用於判定該目標視點之資料。
13. 一種電腦程式產品，其包括用於致使一處理器系統執行如請求項1之方法之指令。
14. 一種包括一立體影像(701)之視訊資料，該立體影像包括對應於一左視點之一左影像(101)及對應於一右視點之一右影像(102)，該視訊資料包括用於將空間連續視點之一中心定位於一目標視點(711)處之後設資料，該等空間連續視點中之第一者及最後一者界定包括該左視點及該右視點中之至少一者之一視點範圍，藉由以下操作執行該定位：針對以不同目標視點為中心之該等空間連續視點，基於一系列中間影像之預測影像品質判定該目標視點，該預測影像品質 係基於該立體影像之一影像特性；及針對以該所判定目標視點(711)為中心之該等空間連續視點，自該立體影像產生(720)該系列中間影像。
15. 一種包括如請求項14之視訊資料之媒體資料載體。