TW202304208A - 用於表示一個三維場景及其深度平面資料之方法、編碼器及顯示裝置 - Google Patents

用於表示一個三維場景及其深度平面資料之方法、編碼器及顯示裝置 Download PDF

Info

Publication number
TW202304208A
TW202304208A TW111120581A TW111120581A TW202304208A TW 202304208 A TW202304208 A TW 202304208A TW 111120581 A TW111120581 A TW 111120581A TW 111120581 A TW111120581 A TW 111120581A TW 202304208 A TW202304208 A TW 202304208A
Authority
TW
Taiwan
Prior art keywords
depth
scene
proxy
plane
normalized
Prior art date
Application number
TW111120581A
Other languages
English (en)
Inventor
羅賓 阿特金斯
Original Assignee
美商杜拜研究特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商杜拜研究特許公司 filed Critical 美商杜拜研究特許公司
Publication of TW202304208A publication Critical patent/TW202304208A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種用於表示儲存為一個三維資料集之一個三維場景之方法包含判定沿著一第一觀看方向之
Figure 111120581-A0101-11-0002-12
個深度平面深度。該
Figure 111120581-A0101-11-0002-12
個深度平面深度之各近端深度
Figure 111120581-A0101-11-0002-11
與一相鄰遠端深度
Figure 111120581-A0101-11-0001-1
之間的一間隔
Figure 111120581-A0101-11-0001-2
係由(i)近端深度
Figure 111120581-A0101-11-0002-11
、(ii)一第一有利點與一第二有利點之間的一橫向偏移
Figure 111120581-A0101-11-0001-3
、及(iii)在自該第二有利點觀看時由間隔
Figure 111120581-A0101-11-0001-6
對向之一視角
Figure 111120581-A0101-11-0001-5
來判定。該方法包含藉由針對各深度平面深度進行以下操作而自該三維資料集產生包含
Figure 111120581-A0101-11-0002-12
個代理影像之一代理三維資料集:自複數個橫向橫截面影像之至少一個橫截面影像產生該

Description

用於表示一個三維場景及其深度平面資料之方法、編碼器及顯示裝置
一些體積、擴增實境及虛擬實境應用將一個三維場景表示為在距該場景之一觀看者不同距離(深度平面)處之一系列影像。為自一所要視點呈現此一場景,可依序處理各深度平面且與其他深度平面合成以在所要觀看者位置處模擬三維場景之一個二維投影。此二維投影接著可在一頭戴式裝置、行動電話或其他平面螢幕上顯示。藉由基於觀看者之位置動態地調整二維投影,可模擬身在一個三維場景中之體驗。
減少準確地表示一個三維場景所需之深度平面之數目係有價值的,因為此一減少縮減必須處理之資料量。在本文中所揭示之實施例中,在確保可呈現滿足或剛好超過人類視覺系統感知深度之能力之一準確模擬時,完成減少深度平面之數目。本文中所揭示之實施例包含使深度中之實體距離(深度平面)與人類視覺系統之能力(諸如視覺敏銳度)相關之一「深度感知量化」函數或DPQ。藉由DPQ計算之各深度平面係與一相鄰平面之一恆定「最小可覺差」。
在一第一態樣中,揭示一種用於表示儲存為一個三維資料集之一個三維場景之方法。該方法包含判定沿著一第一觀看方向相對於一第一有利點之數量
Figure 02_image001
個深度平面深度。該
Figure 02_image001
個深度平面深度之各近端深度
Figure 02_image003
與一相鄰遠端深度
Figure 02_image005
之間的一間隔
Figure 02_image007
係由(i)該近端深度
Figure 02_image009
、(ii)垂直於該第一觀看方向且在該第一有利點與一第二有利點之間的一橫向偏移
Figure 02_image011
、及(iii)在自該第二有利點觀看時由間隔
Figure 02_image007
對向之一視角
Figure 02_image013
判定之一最小可覺差。該方法亦包含自該三維資料集產生包含
Figure 02_image015
個代理影像
Figure 02_image029
之一代理三維資料集。產生該代理三維資料集係藉由針對該
Figure 02_image001
個深度平面深度之各深度平面深度進行以下操作來完成:自複數個橫向橫截面影像之至少一個橫截面影像產生該
Figure 02_image015
個代理影像之一代理影像,該複數個橫向橫截面影像(i)構成該三維資料集且(ii)各表示在複數個場景深度之一各別場景深度處之該三維場景之一各別橫向橫截面。
在一第二態樣中,一種編碼器包含一處理器及一記憶體。該記憶體儲存機器可讀指令,該等機器可讀指令在藉由該處理器執行時,控制該處理器執行第一態樣之方法。
在一第三態樣中,一種顯示裝置包含一電子視覺顯示器、一處理器及一記憶體。該記憶體儲存機器可讀指令,該等機器可讀指令在藉由該處理器執行時,控制該處理器針對
Figure 02_image015
個代理影像之各代理影像
Figure 02_image029
Figure 02_image032
:(i)將代理影像
Figure 02_image034
之一各別場景深度
Figure 02_image036
判定為
Figure 02_image038
之一線性函數,其中
Figure 02_image040
Figure 02_image042
Figure 02_image044
Figure 02_image046
Figure 02_image048
係預定值且
Figure 02_image050
、及(ii)在該電子視覺顯示器上顯示場景深度
Figure 02_image052
處之代理影像
Figure 02_image054
在一第四態樣中,一種用於表示深度平面資料之方法包含,針對各對應於在一個三維場景內之複數個深度
Figure 02_image056
之一各別者的複數個二維影像之各者:(i)自該深度
Figure 02_image056
判定一正規化深度
Figure 02_image058
;(ii)運算等於
Figure 02_image060
之一正規化感知深度
Figure 02_image062
;(iii)將該正規化感知深度
Figure 02_image062
表示為一個二進制碼值
Figure 02_image065
,其中
Figure 02_image040
Figure 02_image042
Figure 02_image044
Figure 02_image046
Figure 02_image048
係預定值。
本文中所揭示之裝置及方法基於空間敏銳度(感知精細細節之能力)之限制來判定深度平面位置。此方法不同於依靠雙目敏銳度(用兩隻眼睛感知一不同影像之能力)之方法。藉由利用空間敏銳度,本文中所揭示之實施例確保在一個物體由來自一個觀看位置之另一物體遮蔽但自另一物體可見時存在的高頻遮擋之準確表示。
本文中所揭示之深度平面位置方法考量運動視差,運動視差係當一觀察者在觀察一場景時移動時自一不同角度觀察該場景。來自兩個不同有利點之影像變化導致一強深度線索。其他方法僅考量兩隻眼睛之間的有利點之差異,通常為6.5 cm。本文中之實施例適應且經設計用於(諸如28 cm之移動之)一更長基線,此導致更多感知深度平面。
圖1係一觀看者191觀看如由一裝置100之一顯示器110呈現之一個三維場景112的一示意圖。裝置100之實例包含頭戴式顯示器、行動裝置、電腦監視器及電視接收器。裝置100亦包含一處理器102及通訊地耦合至處理器102之一記憶體104。記憶體104儲存一代理三維資料集170及軟體130。軟體130包含呈機器可讀指令之形式之一解碼器132,實施裝置100之一或多個功能。如本文中所使用,術語「代理影像資料集」表示一原始影像資料集之一記憶體有效表示或代理。
圖1亦包含一編碼裝置160,編碼裝置160包含一處理器162及通訊地耦合至處理器162之一記憶體164。記憶體164儲存一個三維資料集150、軟體166及代理三維資料集170。軟體166包含一呈機器可讀指令之形式之一編碼器168,實施編碼裝置160之一或多個功能。在實施例中,編碼器168自三維資料集150產生代理三維資料集170及數量
Figure 02_image070
個深度平面深度174。裝置100及編碼裝置160係經由一通訊網路101通訊地耦合。
記憶體104及164之各者可為暫時性及/或非暫時性的且可包含揮發性記憶體(例如,SRAM、DRAM、運算RAM、其他揮發性記憶體,或其等之任何組合)及非揮發性記憶體(例如,快閃記憶體、ROM、磁性媒體、光學媒體、其他非揮發性記憶體,或其等之任何組合)之一或兩者。記憶體104及164之部分或全部可分別整合至處理器102及162中。
三維資料集150包含各表示在一各別場景深度154(0、1、…
Figure 02_image072
−1)處之三維場景之一各別橫向橫截面之數量
Figure 02_image072
個橫向橫截面影像152。數量
Figure 02_image072
大於數量
Figure 02_image074
。代理三維資料集170包含
Figure 02_image074
個代理影像172(0、1、…
Figure 02_image076
−1)。對於各深度平面深度
Figure 02_image078
,編碼器168自至少一個橫向橫截面影像152產生一代理影像
Figure 02_image080
。指數
Figure 02_image082
Figure 02_image084
整數之一者,例如,在0與
Figure 02_image086
之間且包含其等之一整數。至少一個橫向橫截面影像152之各別場景深度154之一者最接近深度平面深度
Figure 02_image088
解碼器132解碼代理三維資料集170且將經解碼資料傳輸至顯示器110,顯示器110將經解碼資料顯示為三維場景112。三維場景112包含
Figure 02_image090
個代理影像172(0、1、…
Figure 02_image076
−1),其等之各者係在一方向
Figure 02_image092
上且平行於一個三維笛卡爾座標系統118之
Figure 02_image094
平面之各別深度平面深度174(0, 1, ..., 𝑃−1)處。在座標系統118上,深度平面深度174係表示為
Figure 02_image092
軸之
Figure 02_image096
Figure 02_image098
、…
Figure 02_image100
。圖1亦描繪界定方向
Figure 02_image102
Figure 02_image104
之三維笛卡爾座標系統198。如由觀看者191觀看,座標系統118之方向x、y及z平行於座標系統198之各別方向
Figure 02_image102
Figure 02_image104
計算感知深度
圖2係繪示依據觀看距離而變化的深度最小可覺差之一表達式的一推導的一示意圖。在圖2中,一物體221定位於距觀看者191觀察者距離 D處且物體222在其後面相距∆ D。自觀看位置211,物體222係由物體221遮擋。在觀看者191移動一距離
Figure 02_image106
至一新位置212時,觀看者191能夠觀察物體222。幾何結構可用圖2中所繪示之角度231及232之一差
Figure 02_image108
來撰寫,如方程式(1)中所展示,其中
Figure 02_image110
係觀察者之角視覺敏銳度。對於電視及電影製作,國際電信聯盟之建議書ITU-R BT.1845指定具有「正常」20/20視覺敏銳度或一角解析度
Figure 02_image112
度之一觀察者。
Figure 02_image114
方程式(1)可用三角函數撰寫為:
Figure 02_image116
求解
Figure 02_image118
之方程式(2)產生方程式(3),方程式(3)係一實例性深度量化函數。
Figure 02_image120
為使用方程式3,必須指定一深度平面範圍。建議書ITU-R BT.1845將人眼可舒適地聚焦之最近距離指定為
Figure 02_image122
= 0.25 m。對於
Figure 02_image124
,吾人選擇其中分母達到0之一值,且
Figure 02_image126
無窮大,此發生在
Figure 02_image128
,其取決於基線距離
Figure 02_image130
及視覺敏銳度
Figure 02_image132
兩者之選擇。
必須指定
Figure 02_image134
之值。此係一觀察者必須進行以感知物體221與物體222之間的一深度變化之最小移動。對於預期在一顯示器上觀看之影像,此可自在ITU-R BT.1845中指定為其處各像素之一寬度
Figure 02_image136
匹配視覺敏銳度
Figure 02_image138
之點之「理想觀看距離」運算,如圖3中所展示。對於
Figure 02_image140
個像素之一水平螢幕解析度,在最小觀看距離
Figure 02_image142
處觀看,自螢幕之一個邊緣至另一邊緣之距離係藉由方程式4給出:
Figure 02_image144
針對最近觀看距離
Figure 02_image146
運算
Figure 02_image148
,吾人計算
Figure 02_image150
= 0.28公尺,此導致
Figure 02_image152
= 960 m。較大移動可超過最小可覺差(JND),但由於單個觀察者不可能同時自兩個位置觀看,因此其等必須依靠其等之工作記憶體來比較來自兩個角度之視圖。
圖4展示針對
Figure 02_image154
度及
Figure 02_image156
=0.28公尺之依據觀看距離
Figure 02_image158
而變化的以公尺為單位之方程式(3)之
Figure 02_image160
Figure 02_image162
的一標繪圖。深度之非常小變化係在近距離(在D = 25 cm 處為0.15 mm)處可見。深度JND在更大距離處增加,直至深度接近
Figure 02_image164
使用開始於
Figure 02_image166
且以
Figure 02_image168
遞增之方程式3直至達到
Figure 02_image170
容許吾人建立
Figure 02_image172
個深度平面深度174之一表,其中各深度平面深度174與上一個深度平面深度174相差一感知量。最終深度平面經設定為
Figure 02_image174
。因此,代理三維資料集170係三維資料集150之一記憶體有效表示或代理。在觀看者191沿著
Figure 02_image176
軸移動時,裝置100顯示及刷新視圖三維場景112所需之運算資源對於資料集170比對於資料集150更小。
在上述條件下獨特深度平面之數目係
Figure 02_image178
= 2890。為展示跨越一半螢幕之一平穩連續梯度(例如,一鐵路消失至自螢幕之一底部邊緣至一頂部邊緣之距離中,如三維場景112中所展示)同時容許觀察者移動
Figure 02_image180
= 0.28公尺,可需要近三千個獨特深度平面。
圖5係展示上述2890個深度平面之各者之深度平面指數
Figure 02_image182
= 0至
Figure 02_image182
= 2889至一各別深度平面深度
Figure 02_image184
之一映射510的一標繪圖,其中
Figure 02_image184
係第
Figure 02_image186
個深度平面之深度。 擬合一函數形式
可實現與將複數個實際深度
Figure 02_image188
至一各別深度平面深度
Figure 02_image190
之映射510之一函數擬合(其係可逆的)。方程式(5)之函數形式係一個此映射,其中深度平面深度
Figure 02_image190
針對指數
Figure 02_image192
及係數
Figure 02_image194
Figure 02_image196
Figure 02_image198
之正確選擇值最佳擬合映射510。方程式(5)之右邊可具有其他形式而不脫離其範疇。
Figure 02_image200
在方程式(5)中,
Figure 02_image202
係正規化深度
Figure 02_image204
Figure 02_image206
係一對應感知深度平面之一正規化深度。
Figure 02_image206
在0至1之範圍內。係數
Figure 02_image194
Figure 02_image196
Figure 02_image198
滿足
Figure 02_image208
Figure 02_image210
。在實施例中,判定
Figure 02_image212
Figure 02_image214
之值使得
Figure 02_image216
Figure 02_image218
。在一實施例中,
Figure 02_image220
等於960公尺,
Figure 02_image222
= 2,620,000且指數
Figure 02_image224
等於¾。
可使用在方程式(6)中指定之函數形式獲得一更準確的函數擬合,該函數形式將一指數
Figure 02_image226
添加至方程式(5)之右側。即,方程式(5)係方程式(6)之一特定例項,其中
Figure 02_image226
等於1。在實施例中,指數
Figure 02_image228
= 1。
Figure 02_image230
如在方程式(5)中,可判定
Figure 02_image232
Figure 02_image234
之值使得
Figure 02_image236
Figure 02_image238
。係數
Figure 02_image194
Figure 02_image196
Figure 02_image198
當中的關係係與上文針對方程式(5)所陳述相同。在一實施例中,
Figure 02_image240
等於960公尺,
Figure 02_image242
= 2,620,000,且指數
Figure 02_image244
等於3872/4096且
Figure 02_image246
= 5/4。
方程式(6)之深度平面深度
Figure 02_image248
係深度平面深度174之一實例。若未明確提及
Figure 02_image250
之單位,則各平面深度平面
Figure 02_image252
係在0至1之範圍內之一正規化深度。在其他實施例中,各深度平面深度
Figure 02_image252
具有長度單位且在
Figure 02_image254
Figure 02_image256
之範圍內。
方程式(7)係方程式(6)之一逆形式,且因此係正規化深度
Figure 02_image258
之一顯式表達式,係深度平面深度
Figure 02_image260
、係數
Figure 02_image194
Figure 02_image196
Figure 02_image198
以及指數
Figure 02_image262
Figure 02_image264
之一函數。
Figure 02_image266
圖6係方程式(7)之一標繪圖600。標繪圖600包含藉由方程式(3)之一反覆及遞迴應用產生之資料610:
Figure 02_image268
,其中
Figure 02_image270
係方程式(3)之左側。標繪圖600亦包含藉由方程式(7)產生之擬合620。在實施例中,指數
Figure 02_image272
= 1,此導致在
Figure 02_image274
≠ 1時方程式(7)之一近似值。
方程式(8)係一指數版本方程式(7),其中
Figure 02_image276
替換
Figure 02_image278
Figure 02_image280
替換
Figure 02_image282
,且指數
Figure 02_image284
在0至
Figure 02_image286
之範圍內,其中
Figure 02_image288
。方程式(8)亦包含一係數
Figure 02_image290
及一偏移
Figure 02_image292
Figure 02_image294
若未明確提及
Figure 02_image296
之單位,則
Figure 02_image298
等於0且
Figure 02_image300
等於1,使得
Figure 02_image302
表示一正規化深度
Figure 02_image304
。在其他實施例中,
Figure 02_image306
Figure 02_image308
具有長度單位,且經選擇使得
Figure 02_image310
等於
Figure 02_image312
Figure 02_image314
等於
Figure 02_image316
Figure 02_image318
不再經正規化。
在實施例中,裝置100之軟體130包含機器可讀指令,該等機器可讀指令在藉由處理器執行時:(i)控制處理器針對各代理影像172(0 –
Figure 02_image320
),根據方程式(8)判定一各別正規化場景深度
Figure 02_image322
、及(ii)在顯示器110上顯示自該正規化場景深度
Figure 02_image322
判定之在一場景深度處之各代理影像172(0 –
Figure 02_image320
)。
圖7係繪示用於表示儲存為一個三維資料集之一個三維場景之一方法700。在實施例中,方法700係在編碼裝置160及/或裝置100之一或多項態樣內實施。例如,方法700可藉由(i)處理器162執行軟體166之電腦可讀指令及(ii)處理器102執行軟體130之電腦可讀指令之至少一者來實施。方法700包含步驟720及730。在實施例中,方法700亦包含步驟710、740及750之至少一者。
步驟720包含判定沿著一第一觀看方向相對於一第一有利點之數量
Figure 02_image001
個深度平面深度。該
Figure 02_image001
個深度平面深度之各近端深度
Figure 02_image003
與一相鄰遠端深度
Figure 02_image005
之間的一間隔
Figure 02_image007
係由(i)該近端深度
Figure 02_image009
、(ii)垂直於該第一觀看方向且在該第一有利點與一第二有利點之間的一橫向偏移
Figure 02_image011
、及(iii)在自該第二有利點觀看時由間隔
Figure 02_image007
對向之一視角
Figure 02_image013
判定之一最小可覺差。在步驟720之一實例中,編碼器168判定深度平面深度174。
在實施例中,視角
Figure 02_image331
係一弧分。在實施例中,
Figure 02_image001
個深度平面深度之各者超過一最小深度
Figure 02_image333
且由
Figure 02_image335
表示,
Figure 02_image337
= 0、1、2、…
Figure 02_image339
,判定
Figure 02_image001
個深度平面深度包括反覆地判定深度
Figure 02_image341
。在此等實施例中,間隔
Figure 02_image343
可等於
Figure 02_image345
,其係方程式(3)之一實例。
在實施例中,方法700包含步驟710,步驟710包含自視角
Figure 02_image347
Figure 02_image001
個深度平面深度之一預定最小深度平面深度判定橫向偏移
Figure 02_image349
。在步驟710之一實例中,軟體166使用方程式(4)判定橫向偏移
Figure 02_image349
,其中
Figure 02_image351
等於深度平面深度174(0)。
步驟730包含自三維資料集產生包含
Figure 02_image353
個代理影像
Figure 02_image355
之一代理三維資料集。產生該代理三維資料集係藉由針對
Figure 02_image353
個深度平面深度之各深度平面深度進行以下操作來完成:自複數個橫向橫截面影像之至少一個橫截面影像產生
Figure 02_image015
個代理影像之一代理影像,該複數個橫向橫截面影像(i)構成三維資料集且(ii)各表示在複數個場景深度之一各別場景深度處之三維場景之一各別橫向橫截面。在實施例中,至少一個橫截面影像之各別場景深度之一者最接近於深度平面深度。在步驟730之一實例中,編碼器168自三維資料集150產生代理三維資料集170。資料集150及170分別橫越橫截面影像152及代理影像172,如圖1中所繪示。
當步驟730之至少一個橫截面影像包含多個橫截面影像時,步驟730可包含步驟732。步驟732包含產生代理影像,包括平均化多個橫截面影像。可藉由平均化超過
Figure 02_image358
之所有深度之值來構建最終深度平面。可藉由平均化低於
Figure 02_image360
之所有深度之值來構建第一深度平面。在步驟732之一實例中,編碼器168產生作為兩個或更多個橫向橫截面影像152之一平均值之各代理影像172。
步驟740包含,針對
Figure 02_image362
個代理影像之各代理影像
Figure 02_image364
Figure 02_image366
= 0、1、2、…
Figure 02_image368
,將代理影像
Figure 02_image370
之一各別場景深度
Figure 02_image372
判定為
Figure 02_image374
之一線性函數,其中
Figure 02_image376
Figure 02_image378
Figure 02_image380
Figure 02_image382
Figure 02_image384
係預定值且
Figure 02_image386
。在實施例中,各場景深度
Figure 02_image388
等於
Figure 02_image390
。在步驟740之一實例中,編碼器168或解碼器132針對各代理影像
Figure 02_image392
,根據方程式(7)判定一各別深度平面深度
Figure 02_image394
,其中
Figure 02_image396
等於
Figure 02_image398
且深度平面深度
Figure 02_image400
等於場景深度
Figure 02_image402
在實施例中,步驟740包含自三維資料集之後設資料讀取數量
Figure 02_image404
Figure 02_image406
Figure 02_image408
。例如,數量
Figure 02_image404
Figure 02_image406
Figure 02_image408
可儲存為由軟體166讀取之三維資料集150之後設資料。在實施例中,
Figure 02_image410
Figure 02_image412
之各者係一10位元定點值,若定點值係零,則具有0.25公尺及960公尺之各別值。在實施例中,
Figure 02_image414
係一12位元定點值。
步驟750包含各顯示在其各別深度平面深度處之代理影像
Figure 02_image416
。在步驟750之一實例中,裝置100顯示在深度平面深度
Figure 02_image418
處之至少一個代理影像
Figure 02_image420
,在三維場景112內展示為
Figure 02_image422
。當方法700包含步驟740時,步驟750之每一各別深度平面深度等於步驟740之一各別場景深度
Figure 02_image424
,例如,深度平面深度
Figure 02_image426
等於場景深度
Figure 02_image424
在實施例中,步驟720及730係藉由一第一裝置(諸如編碼裝置160,圖1)執行,且方法700包含步驟740。在此等實施例中,步驟750可包含步驟752,步驟752包含將代理三維資料自第一裝置傳輸至一第二裝置,該第二裝置執行該判定各別場景深度
Figure 02_image428
且顯示代理影像。在步驟752之一實例中,編碼裝置160將代理三維資料集170傳輸至裝置100且既不產生亦不儲存深度平面深度174。在此實例中,裝置100執行步驟740以判定深度平面深度174。
圖8係繪示用於表示深度平面資料之一方法800之一流程圖。在實施例中,方法800係在裝置100之一或多項態樣內實施。例如,方法800可藉由處理器102執行軟體130之電腦可讀指令來實施。
方法800包含步驟810、820及830,其等之各者係針對各對應於一個三維場景內之複數個深度
Figure 02_image430
之一各別者的複數個二維影像之各者執行。在實施例中,橫向橫截面影像152構成複數個二維影像且場景深度154構成複數個場景深度
Figure 02_image430
步驟810包含自深度
Figure 02_image430
判定一正規化深度
Figure 02_image432
。在步驟810之一實例中,軟體130自各場景深度154判定一各別正規化深度。
步驟820包含根據方程式(6)運算一正規化感知深度
Figure 02_image434
。在步驟820之實例中,軟體130自各場景深度154除以
Figure 02_image436
來判定一各別深度平面深度174。在此實例中,深度平面深度係正規化深度。
步驟830包含將正規化感知深度
Figure 02_image438
表示為一個二進制碼值
Figure 02_image440
。在步驟830之一實例中,軟體130將各深度平面深度174表示為一各別二進制碼值。在實施例中,二進制碼值
Figure 02_image442
之位元深度係八、十或十二之一者。步驟830亦可包含將各二進制碼值儲存於可為記憶體104之部分之一非暫時性儲存媒體上。 特徵之組合
上文描述之特徵以及下文主張之彼等特徵可在不脫離其等之範疇的情況下以各種方式組合。以下枚舉之實例繪示一些可能的非限制性組合。
(A1)揭示一種用於表示儲存為一個三維資料集之一個三維場景之方法。該方法包含判定沿著一第一觀看方向相對於一第一有利點之數量
Figure 02_image001
個深度平面深度。該
Figure 02_image001
個深度平面深度之各近端深度
Figure 02_image003
與一相鄰遠端深度
Figure 02_image005
之間的一間隔
Figure 02_image007
係由(i)該近端深度
Figure 02_image009
、(ii)垂直於該第一觀看方向且在該第一有利點與一第二有利點之間的一橫向偏移
Figure 02_image011
、及(iii)在自該第二有利點觀看時由間隔
Figure 02_image007
對向之一視角
Figure 02_image013
判定之一最小可覺差。該方法亦包含自該三維資料集產生包含
Figure 02_image015
個代理影像
Figure 02_image029
之一代理三維資料集。產生該代理三維資料集係藉由針對該
Figure 02_image001
個深度平面深度之各深度平面深度進行以下操作來完成:自複數個橫向橫截面影像之至少一個橫截面影像產生該
Figure 02_image015
個代理影像之一代理影像,該複數個橫向橫截面影像(i)構成該三維資料集且(ii)各表示在複數個場景深度之一各別場景深度處之該三維場景之一各別橫向橫截面。
(A2)在方法(A1)之實施例中,該視角
Figure 02_image452
係一弧分。
(A3)方法(A1)及(A2)中任一項之實施例進一步包含自視角
Figure 02_image347
Figure 02_image001
個深度平面深度之一預定最小深度平面深度判定橫向偏移
Figure 02_image349
(A4)在方法(A1)至(A3)中任一項之實施例中,
Figure 02_image001
個深度平面深度之各者超過一最小深度
Figure 02_image333
且由
Figure 02_image335
表示,
Figure 02_image337
= 0、1、2、…
Figure 02_image339
,且判定
Figure 02_image001
個深度平面深度包含反覆地判定深度
Figure 02_image341
(A5)在方法(A4)之實施例中,間隔
Figure 02_image458
等於
Figure 02_image460
(A6)在技術方案(A1)至(A5)中任一項之實施例中,當產生代理影像時,至少一個橫截面影像包含複數個橫向橫截面影像之多個橫截面影像,且產生代理影像包含平均化該多個橫截面影像。
(A7)技術方案(A1)至(A6)中任一項之實施例進一步包含針對
Figure 02_image362
個代理影像之各代理影像
Figure 02_image364
Figure 02_image366
= 0、1、2、…
Figure 02_image368
:將代理影像
Figure 02_image370
之一各別場景深度
Figure 02_image372
判定為
Figure 02_image374
之一線性函數,其中
Figure 02_image376
Figure 02_image378
Figure 02_image380
Figure 02_image382
Figure 02_image384
係預定值且
Figure 02_image386
;及顯示場景深度
Figure 02_image471
處之代理影像
Figure 02_image473
(A8)當該判定
Figure 02_image362
個深度平面深度及產生代理三維資料集係藉由一第一裝置執行時,(A7)之實施例進一步包含將代理三維資料自該第一裝置傳輸至一第二裝置,該第二裝置執行該判定各別場景深度
Figure 02_image475
並顯示代理影像。
(A9)在方法(A7)及(A8)中任一項之實施例中,各場景深度
Figure 02_image477
等於
Figure 02_image479
,且
Figure 02_image481
個均勻間隔之深度平面深度在0至1之範圍內,其中
Figure 02_image483
Figure 02_image485
,其中
Figure 02_image487
Figure 02_image489
分別係一個三維場景之一最小場景深度及一最大場景深度。
(A10) (A9)之實施例進一步包含自三維資料集之後設資料讀取數量
Figure 02_image491
Figure 02_image493
Figure 02_image495
(A11)在方法(A9)及(A10)中任一項之實施例中,
Figure 02_image497
Figure 02_image499
分別等於0.25公尺及960公尺。
(A12)在方法(A7)至(A11)中任一項之實施例中,
Figure 02_image501
Figure 02_image503
Figure 02_image505
分別等於2620000、5/4及3845/4096。
(A13)在方法(A1)至(A12)中任一項之實施例中,在產生一代理影像之該步驟中,至少一個橫截面影像之各別場景深度之一者最接近於深度平面深度。
(B1)一種編碼器包含一處理器及一記憶體。該記憶體儲存機器可讀指令,該等機器可讀指令在藉由該處理器執行時,控制該處理器執行方法(A1)至(A13)中任一項。
(C1)一種顯示裝置包含一電子視覺顯示器、一處理器及一記憶體。該記憶體儲存機器可讀指令,該等機器可讀指令在藉由該處理器執行時,控制該處理器針對
Figure 02_image015
個代理影像之各代理影像
Figure 02_image029
Figure 02_image032
:(i)將代理影像
Figure 02_image034
之一各別場景深度
Figure 02_image036
判定為
Figure 02_image038
之一線性函數,其中
Figure 02_image040
Figure 02_image042
Figure 02_image044
Figure 02_image046
Figure 02_image048
係預定值且
Figure 02_image050
、及(ii)在該電子視覺顯示器上顯示場景深度
Figure 02_image052
處之代理影像
Figure 02_image054
(D1)一種用於表示深度平面資料之方法包含,針對各對應於在一個三維場景內之複數個深度
Figure 02_image056
之一各別者的複數個二維影像之各者:(i)自該深度
Figure 02_image056
判定一正規化深度
Figure 02_image058
;(ii)運算等於
Figure 02_image060
之一正規化感知深度
Figure 02_image062
;(iii)將該正規化感知深度
Figure 02_image062
表示為一個二進制碼值
Figure 02_image065
,其中
Figure 02_image040
Figure 02_image042
Figure 02_image044
Figure 02_image046
Figure 02_image048
係預定值。
(D2)在方法(D1)之實施例中,複數個深度
Figure 02_image528
在其處
Figure 02_image530
等於零之一最小值
Figure 02_image532
至其處
Figure 02_image534
等於一之一最大值
Figure 02_image536
之範圍內,
Figure 02_image538
等於
Figure 02_image540
Figure 02_image542
等於
Figure 02_image544
(D3)在方法(D1)及(D2)中任一項之實施例中,
Figure 02_image546
等於2,620,000,
Figure 02_image548
等於3872/4096且
Figure 02_image550
等於5/4。
(D4)在方法(D1)至(D3)中任一項之實施例中,二進制碼值
Figure 02_image552
之一位元深度係八、十或十二之一者。
(D5)方法(D1)至(D4)中任一項之實施例,其進一步包含在一非暫時性儲存媒體上儲存二進制碼值
Figure 02_image554
(E1)一種設備包含一非暫時性儲存媒體及儲存於該非暫時性儲存媒體上之一位元串流。該位元串流包含深度距離資料,其中該深度距離資料係用二進制碼值
Figure 02_image554
編碼,二進制碼值
Figure 02_image554
表示至少部分基於
Figure 02_image557
Figure 02_image559
之一函數模型之一正規化深度距離值
Figure 02_image561
。參數
Figure 02_image563
Figure 02_image565
Figure 02_image567
Figure 02_image569
Figure 02_image571
係預定值,且
Figure 02_image573
係二進制碼值
Figure 02_image575
之一正規化值,且滿足
Figure 02_image577
(F1)一種解碼方法包含,針對數量
Figure 02_image015
個代理影像之各代理影像
Figure 02_image029
Figure 02_image032
:(i)將代理影像
Figure 02_image034
之一各別場景深度
Figure 02_image580
判定為
Figure 02_image038
之一線性函數,其中
Figure 02_image040
Figure 02_image042
Figure 02_image044
Figure 02_image046
Figure 02_image048
係預定值且
Figure 02_image050
;及(ii)顯示場景深度
Figure 02_image583
處之代理影像
Figure 02_image054
(F2)在方法(F1)之實施例中,各場景深度
Figure 02_image477
等於
Figure 02_image479
,且
Figure 02_image481
個均勻間隔之深度平面深度在0至1之範圍內,其中
Figure 02_image483
Figure 02_image485
,其中
Figure 02_image487
Figure 02_image489
分別係一個三維場景之一最小場景深度及一最大場景深度。
(F3)方法(F1)及(F2)中任一項之實施例進一步包含自三維資料集之後設資料讀取數量
Figure 02_image491
Figure 02_image493
Figure 02_image495
(F4)在方法(F1)至(F3)中任一項之實施例中,
Figure 02_image497
Figure 02_image499
分別等於0.25公尺及960公尺。
(F5)在方法(F1)至(F4)中任一項之實施例中,
Figure 02_image501
Figure 02_image503
Figure 02_image505
分別等於2620000、5/4及3845/4096。
(G1)一種編碼器包含一處理器及一記憶體。該記憶體儲存機器可讀指令,該等機器可讀指令在藉由該處理器執行時,控制該處理器執行方法(F1)至(F5)中任一項。
在不脫離本實施例之範疇的情況下對以上方法及系統進行改變。因此,應注意,在上文描述中所包含或隨附圖式中所展示之所有事項應被解釋為闡釋性且非一限制意義。在本文中,且除非另有指示,否則片語「在實施例中」係等效於片語「在某些實施例中」,且並不指代所有實施例。以下發明申請專利範圍旨在涵蓋本文中所描述之所有通用及特定特徵,以及就語言而言可被認為落在其等之間的本發明方法及系統之範疇的所有陳述。
100:裝置 101:通訊網路 102:處理器 104:記憶體 110:顯示器 112:三維場景 118:三維笛卡爾座標系統/座標系統 130:軟體 132:解碼器 150:三維資料集/資料集 152:橫向橫截面影像 154:場景深度 154(0、1、…
Figure 02_image072
−1):場景深度 160:編碼裝置 162:處理器 164:記憶體 166:軟體 168:編碼器 170:代理三維資料集/資料集 172:代理影像 172(0、1、…
Figure 02_image076
−1):代理影像 174:深度平面深度 174(0、1、…
Figure 02_image076
−1):深度平面深度 191:觀看者 198:三維笛卡爾座標系統/座標系統 211:觀看位置 212:新位置 221:物體 222:物體 231:角度 232:角度 510:映射 600:標繪圖 610:資料 620:擬合 700:方法 710:步驟 720:步驟 730:步驟 732:步驟 740:步驟 750:步驟 752:步驟 800:流程圖 810:步驟 820:步驟 830:步驟
圖1係一觀看者觀看如由一裝置之一顯示器呈現之一個三維場景之一示意圖。
圖2係繪示依據觀看距離及一橫向位移而變化的深度最小可覺差之一表達式的一幾何推導的一示意圖。
圖3係繪示圖2之橫向位移及觀看距離、水平螢幕解析度及角視覺敏銳度之間的一關係之一示意圖。
圖4係針對一特定觀看組態之依據觀看距離而變化的深度最小可覺差的一標繪圖。
圖5係展示在一實施例中之使用經由圖2推導之深度最小可覺差之表達式遞迴地判定之複數個深度平面深度的一標繪圖。
圖6係在一實施例中之依據圖5之深度平面深度而變化的正規化深度的一圖形說明。
圖7係繪示在一實施例中之用於表示儲存為一個三維資料集之一個三維場景之一方法的一流程圖。
圖8係繪示在一實施例中之用於表示深度平面資料之一方法之一流程圖。
700:方法
710:步驟
720:步驟
730:步驟
732:步驟
740:步驟
750:步驟
752:步驟

Claims (15)

  1. 一種用於減少儲存為一個三維資料集之一個三維場景之深度平面之數目的方法,其包括: 接收垂直於一第一觀看方向且在一第一有利點與一第二有利點之間的一橫向偏移
    Figure 03_image011
    ,其中該橫向偏移
    Figure 03_image011
    係一觀察者必須進行以感知在沿著該第一觀看方向之一近端深度
    Figure 03_image598
    處之一第一物體與在沿著該第一觀看方向之一相鄰遠端深度
    Figure 03_image600
    處之一第二物體之間的一深度變化之最小距離; 接收表示該觀察者之一角視覺敏銳度之一視角
    Figure 03_image602
    ; 接收包含數量
    Figure 03_image604
    個橫截面影像之該三維資料集,該數量
    Figure 03_image604
    個橫向橫截面影像之各者對應於一深度平面深度且表示在沿著該第一觀看方向相對於該第一有利點之一各別場景深度處之該三維場景的一各別橫向橫截面; 判定沿著該第一觀看方向相對於該第一有利點之數量
    Figure 03_image606
    個深度平面深度,該
    Figure 03_image606
    個深度平面深度之各近端深度
    Figure 03_image608
    與該相鄰遠端深度
    Figure 03_image610
    之間的一間隔
    Figure 03_image612
    為由(i)該近端深度
    Figure 03_image009
    、(ii)該橫向偏移
    Figure 03_image011
    、及(iii)在自該第二有利點觀看時由間隔
    Figure 03_image007
    對向之該視角
    Figure 03_image013
    判定之一最小可覺差,其中該數量
    Figure 03_image618
    小於該數量
    Figure 03_image620
    ; 藉由針對該
    Figure 03_image622
    個深度平面深度之各深度平面深度進行以下操作而自該經接收之三維資料集產生包含
    Figure 03_image015
    個代理影像之一代理三維資料集: 自該數量
    Figure 03_image625
    個橫向橫截面影像之至少一個橫截面影像產生該
    Figure 03_image015
    個代理影像之一代理影像。
  2. 如請求項1之方法,其中接收該橫向偏移
    Figure 03_image627
    包括:藉由計算
    Figure 03_image629
    來判定橫向偏移
    Figure 03_image631
    ,其中
    Figure 03_image633
    係一水平螢幕解析度且
    Figure 03_image635
    係該
    Figure 03_image637
    個深度平面深度之一預定最小深度平面深度。
  3. 如請求項1或請求項2之方法,其中自該數量
    Figure 03_image639
    個橫向橫截面影像之至少一個橫截面影像產生一代理影像包括:自該數量
    Figure 03_image639
    個橫向橫截面影像之多個橫截面影像產生該代理影像,且其中產生該代理影像包括平均化該多個橫截面影像。
  4. 如請求項1或請求項2之方法,其中自該數量
    Figure 03_image639
    個橫向橫截面影像之至少一個橫截面影像產生一代理影像包括:自最接近於該各別深度平面深度之該至少一個橫截面影像產生該代理影像。
  5. 如請求項1或請求項2之方法,該
    Figure 03_image641
    個深度平面深度之各者大於或等於一預定最小深度平面深度
    Figure 03_image643
    且由
    Figure 03_image335
    表示,
    Figure 03_image337
    = 0、1、2、…
    Figure 03_image339
    ,判定該
    Figure 03_image001
    個深度平面深度包括反覆地判定深度
    Figure 03_image341
  6. 如請求項5之方法,間隔
    Figure 03_image650
    等於
    Figure 03_image652
  7. 如請求項1或請求項2之方法,其進一步包括,針對該
    Figure 03_image654
    個代理影像之各代理影像
    Figure 03_image656
    Figure 03_image337
    = 0、1、2、…
    Figure 03_image339
    : 將代理影像
    Figure 03_image034
    之一各別接近正規化深度平面深度
    Figure 03_image659
    判定為
    Figure 03_image038
    之一線性函數,其中
    Figure 03_image040
    Figure 03_image042
    Figure 03_image044
    Figure 03_image046
    Figure 03_image048
    經選擇使得各接近正規化深度平面深度
    Figure 03_image659
    係如根據請求項5或請求項6之方法判定之該對應深度平面深度
    Figure 03_image665
    之該正規化值之一近似值,且其中
    Figure 03_image667
    Figure 03_image669
    Figure 03_image671
    表示該正規化感知深度
    Figure 03_image673
    之一離散表示; 顯示在自該接近正規化深度平面深度
    Figure 03_image675
    判定之一深度平面深度處之代理影像
    Figure 03_image677
  8. 如請求項7之方法,該判定該
    Figure 03_image679
    個深度平面深度及產生該代理三維資料集藉由一第一裝置執行,進一步包括: 將該代理三維資料自該第一裝置傳輸至一第二裝置,該第二裝置執行該判定該各別接近正規化深度平面深度
    Figure 03_image475
    並顯示該代理影像。
  9. 如請求項1或請求項2之方法,該
    Figure 03_image074
    個均勻間隔之正規化深度平面深度在0至1之範圍內,其中
    Figure 03_image483
    Figure 03_image485
    ,其中
    Figure 03_image487
    Figure 03_image489
    分別係該三維場景之一最小場景深度及一最大場景深度。
  10. 一種設備,其包括: 一處理器;及 一記憶體,其儲存機器可讀指令,該等機器可讀指令在藉由該處理器執行時,控制該處理器執行如請求項1至9中任一項之方法。
  11. 一種顯示裝置,其包括: 一電子視覺顯示器; 一處理器;及 一記憶體,其儲存機器可讀指令,該等機器可讀指令在藉由該處理器執行時,控制該處理器執行如請求項1至9中任一項之方法並在該電子視覺顯示器上顯示該等所產生之代理影像。
  12. 一種用於將場景深度映射至與一個三維場景之深度平面資料相關聯之正規化感知深度的方法,該方法包括: 接收一最小場景深度
    Figure 03_image687
    ; 接收一最大場景深度
    Figure 03_image689
    ; 針對各對應於在該三維場景內之複數個場景深度
    Figure 03_image691
    之一各別者的複數個二維影像之各者: 藉由計算
    Figure 03_image693
    自該場景深度
    Figure 03_image695
    判定一正規化深度
    Figure 03_image697
    ; 運算等於
    Figure 03_image699
    之一正規化感知深度
    Figure 03_image701
    ; 將該正規化感知深度
    Figure 03_image701
    表示為一個二進制碼值
    Figure 03_image704
    ; 其中
    Figure 03_image040
    Figure 03_image042
    Figure 03_image044
    Figure 03_image046
    Figure 03_image048
    係如請求項9之方法判定。
  13. 如請求項12之方法,其進一步包括將該二進制碼值
    Figure 03_image708
    儲存於一非暫時性儲存媒體上。
  14. 一種用於將與一個三維場景之深度平面資料相關聯之正規化感知深度映射至正規化深度距離值之方法,該方法包括: 針對各對應於在該三維場景內之複數個正規化感知深度
    Figure 03_image710
    之一各別者的複數個二維影像之各者: 將一正規化深度距離值
    Figure 03_image712
    運算為
    Figure 03_image714
    之一線性函數,其中
    Figure 03_image573
    係一正規化值,且滿足
    Figure 03_image577
    ; 其中
    Figure 03_image040
    Figure 03_image042
    Figure 03_image044
    Figure 03_image046
    Figure 03_image048
    係如請求項9之方法判定。
  15. 一種設備,其包括:一非暫時性儲存媒體;及儲存於該非暫時性儲存媒體上之一位元串流,該位元串流包含深度距離資料,其中該深度距離資料係用二進制碼值
    Figure 03_image554
    編碼,該等二進制碼值
    Figure 03_image554
    表示如請求項14之方法判定之正規化深度距離值
    Figure 03_image561
TW111120581A 2021-06-02 2022-06-02 用於表示一個三維場景及其深度平面資料之方法、編碼器及顯示裝置 TW202304208A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163195898P 2021-06-02 2021-06-02
US63/195,898 2021-06-02
EP21177381.7 2021-06-02
EP21177381 2021-06-02

Publications (1)

Publication Number Publication Date
TW202304208A true TW202304208A (zh) 2023-01-16

Family

ID=82163280

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111120581A TW202304208A (zh) 2021-06-02 2022-06-02 用於表示一個三維場景及其深度平面資料之方法、編碼器及顯示裝置

Country Status (3)

Country Link
EP (1) EP4348587A1 (zh)
TW (1) TW202304208A (zh)
WO (1) WO2022256497A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111869205B (zh) * 2018-01-19 2022-06-10 Pcms控股公司 具有变化位置的多焦平面
EP4270944A3 (en) * 2018-07-06 2024-01-03 InterDigital VC Holdings, Inc. Method and system for forming extended focal planes for large viewpoint changes

Also Published As

Publication number Publication date
EP4348587A1 (en) 2024-04-10
WO2022256497A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US10474227B2 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
US20180033209A1 (en) Stereo image generation and interactive playback
CN107193372B (zh) 从多个任意位置矩形平面到可变投影中心的投影方法
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
KR102492971B1 (ko) 3차원 이미지를 생성하기 위한 방법 및 장치
US20130038606A1 (en) Image processing apparatus, image processing method, and program
US10444931B2 (en) Vantage generation and interactive playback
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
US8094148B2 (en) Texture processing apparatus, method and program
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
WO2020119822A1 (zh) 虚拟现实的显示方法及装置、设备、计算机存储介质
KR20120025261A (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
WO2012140397A2 (en) Three-dimensional display system
US9918066B2 (en) Methods and systems for producing a magnified 3D image
EP2490452A1 (en) A method and system for rendering a stereoscopic view
US9082210B2 (en) Method and apparatus for adjusting image depth
TW202304208A (zh) 用於表示一個三維場景及其深度平面資料之方法、編碼器及顯示裝置
JP2015043187A (ja) 画像生成装置および画像生成プログラム
CN117716390A (zh) 用于表示三维场景及其深度平面数据的方法、编码器和显示设备
JP2024521898A (ja) 3次元シーン及びその深度平面データを表現する方法、エンコーダ、及び表示装置
US20140313199A1 (en) Image processing device, 3d image display apparatus, method of image processing and computer-readable medium
KR102174465B1 (ko) 초점 각도에 기초하여 가상 현실에 대한 컨텐츠를 렌더링하는 방법 및 장치
WO2018233387A1 (zh) 裸眼3d显示方法及装置