TW382093B - Parallactic depth-dependent pixel shifts - Google Patents

Description

經濟部中央標準局員工消費合作社印製 種 特 的 五、發明説明（1 ) 本發明與透過立體轉換由一輸入影像產生至少一個輸出 影像的影像處理系統有關。此影像處理系統包括輸入裳 f，輸出裝置，記憶體及處理器。，輸Λ裝置包括接收輸入 5V像的輸入像素的個別輸入像素値與.輸入像素深度的裝置 及儲存所收到輸入像素値的憶體裝置。 本發明與透過視差轉換產生至少一個與一輸入影像有關 的輸出影像的影像處理系統有關；此影像處理系統包括輸 入裝置，輸出裝置，記憶體^處理器；輸入裝置包括接收 輪入影像的輸入像素的個別輸入像素値气像素深度的裝置 及將所收到的輸入像素値儲存到記憶體的裝置；處理器透 過從與輸出像素視差相關的至少一個輸入像素的輸入像素 値求出輸出像素的個別輸出像素値的運作產生輸出影像的 輸出像素；視差關係是個別輸入像素深度的函數；輸出裝 置包括丟出輸出像素値的裝置。 本發明進一步與將一輸入影像視差轉換成至少一輸出影 像的處理器有關；此處理器包括一接收輸入影像的輸入像 素的個別輸入像素値的輸入與一產出輸出影像的輸出像素 的個別輸出像素値的輸出；處理器透過從與輸出像素視差 相關的至少一個輸入像素的輸入像素値求出個別的輸出像 素値的運作產生輸出像素。 、在2D顯示器上顯示影像時提供深度感的重要性正快速地 =長，特別是在虛擬實境應用與電腦遊戲上。已經有各 提供深度效果的方式，如影響物件的明亮程度或大小。 別疋，貫體影像，或立體視覺，已廣被視爲提供深度感 ( cns ) A4·( -4 210X297公釐） •—V詩先閔讀背面之注意事項再填寫本頁}

經濟部中央標準局員工消費合作社印製 、發明説明( '守Λ股影像是因呈現給人由稍微分開的兩個位置所觀 祭到的相同場景的兩個2D影像所產生。其中一個影像呈現 給左眼，另—個呈現给右眼。兩個.影像是視差相關的。名 ^視差指在不與物件成一直線的兩個不同點上的明顯 万向所看到物件的明顯的移位或差異。視差讓一個人咸 物件在場景中的深度。 史從美國專利編號us 5,379，％9中可以看到由—個2〇輸入 影像爲每隻眼睛產生個別的ir出影像。在已知的系統中， 2 D影像代表由相f於兩目艮之間的中點的产户斤觀察到的物 件。左眼影像是由相當於由左眼的視點所1觀察到的物件的 犯表示法。右眼影像是由相當於由右眼的視點所觀察到的 物件的2D表示法。基本上，2D輸入影像是以像素陣列的 形式實施。例如，它可以用相機或電腦圖形取得。對每個 輸入影像的像素可以使用額外的深度資訊。在已知的系統 中’深度資訊由2D輸入影像本身求出，如依據扣輸入影 像的像素的明亮程度。根據由兩眼的視點及兩眼之間的中 點觀察相同物件的視差’由輸人影像的像素透過像素的移 位求出左眼影像的像素及右眼影像的像素。透過選擇與兩 眼的連線相平行的水平座標系統轴’只會出現水平移位。 像素的移位量根據深度資訊而？。基本上，適合由輸入影 像產生視差相關影像的圖形處理系統要包含記憶體，如圖 形記憶體，以儲存戰人影像及料料度資訊。SD輸 入影像及深度資訊通常由應用程式提供。通常，一份20輸 入影像及深度資訊也會儲存在記憶財以便给影像處理系 -5- 本紙張尺度適财關家W ( (請先閱讀背面之注意事項再填寫本頁) I ·· - *''',II - --- -I _ 、1T----- 觀 像 經濟部中央標準局員工消費合作社印製 的 系 系 五、發明説明（3 ) 2使用。影像處理系統由20輸入影像及深度資訊產生一或 多個2 D輸出影像。輸出影像與輸入影像視差相關。透過執 订2D輸人影像像素的與深度相關相位完成影像的產生。 鍺存在圖形記憶體中。利用d/a轉換器㈣輸 出β像用合適的立體顯示系統顯示出來。已經有許多顯示 互體影像的顯示技術發表出來。使用時.間平行技巧，兩、個 輸出影像同時呈現在-或二個顯示器上。例如，兩個影像 可以用互補色過滤並在-顯示器上重疊影像。觀看者戴血 投射滤鏡相符的過遽眼鏡。另外，兩個影像可以併在—個 顯示器上顯示並用將每個影像導引到正確眼晴的觀看器 看。在另一範例中，可以用兩個顯示器來呈現兩個不心 光的圖像，而透過相對的偏光眼鏡觀看。另外，兩個影 可以用對每個眼睛有個別的顯示器的戴在頭上的裝置 現。也可以用時間複合技術，將左右影像交替地顯示在一 個顯示器上。在-範例中，一影像被寫到監視器的偶數掃 描線上而另一影像被寫到奇數掃描線上。快門系统用來在 顯示右眼影像時遮蔽左眼及在顯示左眼影像時遮蔽右眼。 此快門系統可以裝在觀看者戴的眼鏡上。另外，有可栌制 偏光器的快鬥放在顯示器的前面而觀看者戴有偏光眼^ , 戴在頭上的裝置。 凡 使用在消費者產品如遊戲電腦與Pc上的已知影像處理 統都比較筇貴。並且，只能達到有限的品質。 本發明的一個目標是提供所描述的快速而精簡成本的 統’它能完成高品質視差相關影像的產生。 -6- 私紙張尺度適用中國國家標準（CNS )厶4^格（210X297公釐 (請先閱讀背面之注意事項再填寫本頁)

經濟部中央標準局員工消費合作社印製 五、發明説明（4 包含將中描述的系统的輸入裝置中 存在記憶體中的深度轉換器；且其中處理器被 決i在存相對於輸入像素的輸入像素移位表示法 決疋在喊出像素與輸入像素間的視差關係。 基本上像素移位範圍小於像素深度範圍。藉由儲存像素移 度’可以減㈣存㈣。另外，=2 ’、：又範圍以谷許更明顯的像素移位而加 I舉例來説’對使用16位元像素深度的系統只要儲 琴所埶乂ί #訊就已足夠。更進-步，深度轉換 =執仃的處理減低了處理器的負載 的處!器用來由輸入影像求出|進行中|的輸出影像:

3嫱：f轉杈器能在處理器處理像素之前轉換並儲存多個 U素。最好，這樣的多數包括影像的所有像素，影像 掃描線的所有像素或㈣於最大像㈣位的—堆像辛（例 如右像素最大可以移位到16個像素位置，則在被處 理之前，深度轉換器至少處理16個像素）。 TO 2據本發明的系統的—個實施例’其中像位 預先決定的N個像素位置極大値内，它描述的處理器包^ = :N:位置以儲存像素値苎移動緩衝器且其中的處理 °"運作以處理連續的輸入像素；該處理過程包含： 由記憶體拷貝個別的輸入像素値到滑動缓衝器中的一個 依相對的輸入像素移位而偏移的位置， 透過由π動緩衝器中的輸出位置讀取像素値來產出輸出 (請先閲讀背面之注意事項再填寫本頁) • I ------訂--- .HI 1-- I ·

210X297公釐） 五 、發明説明（ Α7 Β7 經濟部中央椟準局員工消費合作社印製 像素値，及 將移動緩衝器移位。 輸出〜像的像素只用一個小移動蠖衝器來產生而不需要儲 存輸出影像。這也簡化了處理器的操作，提出一種快速且 精簡成本的處理器施行方法。 根據本發明的系統的實施例，若_前景與—背景輸入像 2視差相關到同—輸出像素’則處理器運作以選擇前景輸 卜ΐ素，進—步處理，其中描述的處理器包含指示滑動緩 "位風疋否被佔用的指示器；其中若指示器指示位置未 用J處理器藉由只拷貝一個輸入像素値到滑動缓衝器 中的一個位置來執行選擇。 、、=所代表的物件位於焦點平面之前或後而定輸入像素可 數你Γ万向中的—個作移位°而且’所移位的像素位置總 到柏η件的深度而定。因此，多於一個輸入像素可被移位 觀定2輸出像素°這可以想像成對由與輸人影像相配的 T' ·· ' f在不同深度的某些物件並不重疊（或只部份重 i疊η輸出影像相配的觀察點來看物件確實重疊（或 拷写τ £)。在已知的系統中，每次輸入像素被移位到已 輸入傻去a輪入像素的輸出像素位置時’户斤牽涉到的兩個 素。發日 I:相對深度資訊被用 -來確保會選擇前景輸入像 杏輪看法在透過使用有指示器的緩衝器，只要檢 :二像=衝器位置是否已被佔用就可選出所要的輸 不再需要深度資訊。 根據本發明的系統时施例，若—前景與-背景輸入像 ~( 210χ297ϋ7 I""""Γ ^ I:|' ο^.1Τ (請先閔讀背面之注意事項再填寫本頁) •ΙΘII—ί----I-i 經濟部中央椁準局員工消費合作社印製 五、發明説明（6 ) 素視差相關到同一輸出像素， 入像素做進-步處理，具有性 以作以選擇前景輸 其中處理器包含指示滑:::器位. 器； 益彳上置疋否被佔用的指示 其中處理器被規劃來處理一所认 一列輸入像素； 斤1處理万向上輸入影像的 其中處理器包含選擇器以依據 察點相較於與輸入影像相配的像相配的輸出觀 擇性地拷貝輸入像素値到滑動缓衝器中的一個位置； 器運作以·· 1 ，選擇 -若由輸入觀察點到輸出觀察點的方向與處理的方向相 同，拷貝輸入像素値不管位置被佔用，及 1由輸入觀察點到輸出觀察點的方向與處理的方向相 反，右指π器指示位置未被佔用則拷貝輸入像素俊。發明 者的看法是’若由輸入觀察點到輸出觀察點的方向與處理 的万向相同’則自動地選擇前景輸入像素。若兩個方向相 反’則只要檢查輸出像素的緩衝器位置是否已被佔用就可 選擇所要的輸入像素。選擇器讓處理器有效地依據輸入及 輸出觀察點的.相對位置來選擇相關的輸入像素。 根據本發明系統的一個實施Ρ ,其中處理器包含複寫器 以便，若沒有一個輸入像素視差相關於所給的輸出像素， 藉由再生輪入像素値來產生輸出像素的個別輸出像素値， 其中的處理器包含指示器以指示滑動緩衝器的位置是否被 佔用；且其中複寫器運作以再生先前在指示器指示滑動緩 -9- 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐）

經濟部中央標準局員工消費合作社印製 衝器預先決定的輸出位置未 像素値。 禾被佔用時由滑動缓衝器輸出的 與輸入像素被移位到相同輪 右終Λ换主4々 爾出像素相對的，也可能發生沒 有輸入像素被移位到某些輪 ^ λ ^ 爾出像素位置。這可想像成由與 輸入衫像相配的觀察點考膚 +品 ^丄 心在不同深度的物件可能部份 重疊’而由與輸出影像相固 (-Ύ '/ -& z 1 · "、規'τ'點考慮物件重疊較少 (可以看到被邵份遮蔽的背哥 ^ -π - ?物件的較大部份）。如此可 月匕產生的破洞”，以複梨养於& ^ 山於山“的輸出像素來填滿。最好， 由輸出觀祭點到輸入觀窣赴沾、上^ 此PH 万向與處理的方向相同。如 此，通常再生的背景輸入/ 部份。 景尤代表♦景物件顯露出來的 *根據本發明系統的一個實 H本了本” 。 貫她例，其中描述的輸入像素移 相關的輸人像素移位到介續出影像像素位 像素次移位；且其中處理器包含混合 料像素的像素値’其中混合的加權係數依鄰近 像素的像素次移位而定。透 _ 迈幻使用像素次移位來混合鄰近 象素’可以達成南品質的輪出 站咸A $|| ΑΑ + 输出而在私位發生時不會有可清 =感見到的有關深度的跳躍，否則在—連串的平行平面間 的和位將會造成這樣的感覺。 根據本發明系統的一個實施 句本裤終… 士其中描述的深度轉換器 I口將輸入像素深度轉換成輸入像素移位的表列。使用表 切度’例如可能是用16個位元來代表，轉換成像 ^Μ ’例如可能是四到六個位元’是有效率的一種方 -10 - 本纸張尺度適用中國國CNS ) A4im ( 210X297^7 (請先聞讀背面之注意事項再填寫本頁)

五 、發明説明（ A7 B7 經濟部中央標準局員工消費合作社印製 根據本發明系統的一個實施例，其中描述的深度轉換器 包含壓縮裝置以將至少一個輸入像素的輸入像素移位壓縮 成輸入像素移位表示法，且其中▲理器包含解壓縮裝置以 將輸入像素移位表示法解壓縮成相關輸入像素的輸入像素 夕仏藉由壓縮像素移位可進一步減低儲存.需求。 根據本發明系统的一個實施例，其中的處理器運作以產 生至少兩個透過視差轉換气相同輸入影像相關的輸出 像，其中描述的輸入影像構成輸出影像中的一個。藉由 現輸入影像當輸出影像中的一個，減少一個需要 :。對傳統的由一個輸入影像求出兩個輸出影像的立 f，左或右影像中的一個可以用輸入影像呈現到系统。 個輸出影像可由輸入影像透過視差轉換來求出。 根據本發明系統的-個實施例，其中的處理器運作以 生至少兩個透過視差轉換與相同輸入影·像相關的輸出:，其中描述的與輸入像素相配的輸入觀察點並非水平 1於與每個輸出影像相配的輸出觀察黠之間。 如：：：用相同的處理由輸入影像求出每個輸出影像。 發明系統的—個實施例，其中描述的由輸入觀 傻輸出硯察點的方向與處理器處理輸 像素的方向相反。如此可簡化處理。 的歹】輸旦^據^發明系統的丄個實施例，其中的系統包 i接t在顯示器上的顯示系統’其令描述的處理器3 :接到顯示系統以提供輸出像素。如此可避免 圖形圮憶體來儲存處理器的輸出。 、 影 視 另 產 影 地 察 入 出 直接 外的 !，---1----------------2II '--'a- · (請先閲讀背面之注意事項再填寫本頁) 訂 J®! --- -11 - 五、發明説明（9 要達成本發明的目標，其中描述的處理器： 其二處=器包含接收輸入像素的個別輸入像素移位表示 像素移位被限制在預先灰定的_像素位 X値以内， 其中的處理器包括至少有N個位置 緩衝器；JL 错存像素値的移動 ^中的處理器運作以處理連續的輸人像素；該處理過程 由記憶體拷貝個別的輸人像素値到滑動緩衝器中的 依相對的輸入像素移位而偏移的位置， < 個 透過由滑動緩衝器中的輸出位置讀 像素値，& «取像素値來產出輸出 將移動緩衝器移位。 一所有這些及本發明的其他面貌藉由參考圖示中所 賞施例來闡述將會變得顯而易見。 '令 福餐了結合影像處理系統的傳統系統的方塊圖，

了透視投射， 了當由不同位置觀察時所增加的物件重最， :: 了當由不同位置觀察物件時出現的破洞： :顯示根據本發明的影像_系统的方塊圖’ 了根據本發明的影像處理系統的實施例， 了物件的相關移位，及 描述了移位到次像素位置。 顯示了可以有利地使用根據本發明的影像處

-12- 中國國家標準（.CNS ) A4規格（

經濟部中央標準局員工消費合作社印製 - A7 ~~ --—---- 五、發明説明（10^ ' ----— η P、先系"先的方塊圖。此傳統的系統包含記憶體100，如 Ζ ^己憶體’以儲存2D輸入影像11〇。輸入影像11〇由分割 歹类i與行的像素陣列組成。對每個像素给予一像素値。各 丁像素値的方法爲大家所熟知，如(紅，綠，藍） 二、U-V編碼。像素値彳以完全儲存，例如每個像素用16或 。或者;^ ’用色彩搜尋表列（CLUT)方法可以用較少 勺二凡，例如8個位元，將赘素俊編碼。除了像素値之外 對母個像素錯存了-個深度値在記憶體1〇〇中當輸入深度 〇例如，冰度値可以用每個像素16個位元儲存。若有 需要，可以用分開的記憶體來儲存輸入深度12〇。在遊戲 電腦或個人電腦上輸入影像11〇及輸入深度12〇通常由31)顯 象處里130產生，&從儲存在記憶體15〇中的模型求 出資訊。通常記憶體150是電腦主記憶體的一部份。記憶 體150可以由任何適合的儲存裝置組成，如ram，r〇m， 磁性或光學背景的儲存。3D顯像處理13〇通常用電腦的主 要CPU或以圖形處理器或加速器的方式來執行。若輸入影 像=〇及輸入深度12〇也可以用其他方式提供或產生將會被 讚貝。舉例來説，通訊裝置，如電訊裝置，音頻/視頻廣 播或電纜網路，可以用來提供輸入影像n〇及輸入深度 12 〇 ^其他裝置也可以代替3 D巧像處理丨3 〇來產生影像及深 度資訊》舉例來説，可以用位於不同位置的兩部相機，最 好母4代表一隻不同的眼睛。由相機所取得的兩個2〇影 像，可以組成一個影像加上深度資訊。然後深度資訊最好 可以在傳統只用一個2D影像所提供的之外提供且並存，讓 -13- 本紙張尺度適用中國國家標準（CNS )八私1格（210X297公楚） (請先閱讀背面之注意事項再填寫本頁) --.---\--- I—.Jnn m «m m^I ^ nn mu i · A7 ---- -B7__ 五、發明説明（11 ) 場景可以使用傳統的2D顯示系統或立體顯示系統之一觀 察。 經濟部中央標準局員工消費合作社印製 (請先聞讀背面之注意事項再填寫本頁) 處理器160使用輸入影像11〇及輪入深度ι2〇來產生至少 個輸出影像。在圖1所顯示的例子中，產生了左影像1 7 〇 及右影像180。左影像170代表由與觀察者左眼一致的觀察 ”古所觀祭到的3 D场景的2 D表ττ法。相同-地，右影像1 8 〇代 表由與觀察者右眼一致的觀察點所觀察到的3D場景的2D 表示法。通常，處理器160將輸出影像建在記憶體19〇中， 如圖形記憶體。通常D/A轉換器200將輸气影像呈現在適合 f的顯示器210上，如立體顯示器。爲了讓處理器160處理輸 入影像與輸入深度而不用在像素層次與此資訊的供應同 步’通常用記憶體210來儲存輸入影像220及輸入深度 230 ’當成輸入影像Π0及輸入深度12〇的個別拷貝。然後 處理器160處理輸入影像220及輸入深度23〇，與3D顯像處 理130提供輸入影像i 1〇及輸入深度12〇各自獨立。在適當 的時刻’例如當產生了 —個完全新的影像時，輸入影像 Π〇及輸入深度12〇被拷貝成個別的輸入影像22〇及輸入深 度230。在記憶體1〇〇與記憶體·21〇實際上結合在同一記憶 區塊的情形下，可以執行拷貝而不用眞的拷貝資料，例如 藉由重新指派指標暫存器。 輸入影像到輸出影像的視差轉換與3D物件彼此間的偏移 有關。偏移是因爲如觀察者相對於場景的位置改變，觀察 者相對於場景的方位改變，物件彼此之間的位置因爲其相 對速度而改變，或結合這些改變的結果。 __ -14- 本紙張尺度適用中國) A4規格（2ΐ〇χ2^^ A7 B7 經濟部中央標準局員工消費合作社印製 五、發明説明（12 ) 圖2A顯示了透視投射。顯示了有乂_軸2〇〇，厂軸21〇及z軸 220的3D座標系統。2D影像包含安排成列與行妁不連續的 像素陣列。在本文中的像素是指根·據本發明的影像處理所 考慮的最小實體。在影像中特定列的每個個別像素可以假 想成僅僅是一序列不連續位置中的一個。影像中的每一列 像素平行於X-軸200移動，因此一列中的個別像素可以用 其各別的X-座標區別出來。每一行像素平行於指向垂直χ_ 軸200方向的7-軸210移動》場景的深度沿著垂直於^轴2〇〇 與y-軸210移動的z-軸220測量。個別的z-値指派給每個特 定像素以代表該特定像素場景的深度。爲了解釋像素的視 差移位’選擇了原點〇=(〇，0，〇)及座標系統的方向使得由 觀察點0!=(0, 0, 0)所觀察的3D物件可以由點p=(x，y，z)代 表。選擇z = zp平面當焦點平面240(觀察者眼睛焦點的平 面）。通常，顯示器平面選擇與焦點平面一致。由觀察點 〇 1所觀察到的2D影像由焦點平面上，它也被稱爲投影平 面，的3D物件的投影所組成。點P被投影到卩丨气％，yp，Zp)。 圖2B顯示圖2A在y=0平面上的投影。P投影到pi=(Xj 〇, 4 ; P"=(D，0, z)。由三角形 〇丨，P，P"它滿足：Zp/z=(Xp-D)/(x-D)，使 得 xp=D+(x-D).zp/z。 圖2C顯示圖2A在x=D平面上_的投影。P投影到p，=(D，y, z) ; P，，=(D，0, z)。由三角形 〇丨，P'，Ρπ它滿足：zp/z=zp/y， 使得 yp=y.zp/z β 這使 Ρ丨=(D+(x-D).Zp/z，y_Zp/z，Ζρ)。相同地，P2=(-D+(x+d).zd/z， y.zp/z，zp)。類似的公式在[IEEE Computer graphics & 15 本纸張尺度適用中國國家標準（CNS ) A4規格（2丨〇><297公釐） (請先閣讀背面之注意事項再填寫本育) • . s - I ~. ---------訂--------.---；---·.--- A7 B7 五、發明説明（13)

Applications, Tutorial: Time-Multiplexed Stereoscopic Computer Graphics, March 1992]中提出過。依據此公式， 它滿足了藉由選擇平行於通過觀察點直線的χ軸使p ^及h 的y -座標相同。因此，當由〇〖所觀察.的影像要求出〇2所觀 祭的影像時’不會發生垂直視差。一般，以這種方式選擇 X -軸可以簡化視差的計算。輸出影像的像素可以由輸入影 像求出。假設輸入影像與〇〗所觀察到的影像對應且輸出影 像與〇2所觀祭到的影像對應 進一步假設對輸入像素 Pi = (Xi，yi)給了像素値，以及求出〜的3D點P(X，y丨，Zi)的深 度Zi。相對應的輸出像素ρ〇=(χ〇, y〇)，其中，與相同 的3D點P(x，yi，Zj)相關。這使得： x^D + ix-DhZp/Zi，且 χ〇=-ϋ+(Χ+Ε>).ζρ/ζ(。 這隱含了 χ〇可以由\以下列方法求出：x〇=Xi_2D+2D.2p/Zi=

Xj+2D(Zp/Zj-l) 〇 因此’輸出影像可以由輸入影像執行水平移位d (只有在x 方向）來求出： d=2D(zp/z-l) (1) 經濟部中央標準局員工消費合作社印製 (請先閱讀背面之注意事項再填寫本頁) 由此公式可發現移位與深度的倒數成比例。在此公式中， 2D表示觀祭點（^與％間的偏移。這也相當於所允許的最 遠的點（z=〇〇)的視差。通常，最大視差被限制在小於觀察 點間的偏移之内。這可以由選擇較小的2D値來達成。對傳 統的Π"顯示器透過選擇2〇爲8個素已達成很好的結果。必 須〉王意的是由於眼睛集中在zp的平面上，在此平面上的物 -16- 本纸張尺度適财ϋ國家縣（CNS) A4規格（21GX297公疫） A7 ___________B7_ 五、發明説明（14) 件並不會產生視差。在所允許的最大深度的物件有2D的移 位。在深度反^的物件有-2D的移位（與在最大深度的物件 的視差相反方向）^最好，最小深·度限制在ΚΖρ，使得在 兩個方向的最大移位相同。深度ζ可以用各種方式代表。 例如，可以用線性比例的1 6位元編碼，其中在所允許的最 小深度的物件的深度编碼成〇〇〇〇Η(十六進位）而在所允許 的最大深度的物件的深度编碼成FFFFH ^若有需要，習於 此藝者可以選擇其他適當的^示法。 ' 如上所述，移位的絕對方向受物件在焦點平面之前或後 所影響。也應該注意到移位的絕對方向也由影像觀察點的 相對水平位置所決定。在上面的例子令，輸出影像的觀察 』〇2在輸入影像的觀察點〇 1的左邊α若觀察點交換，移位 會在相反方向（在公式中用_D代替D)。在此情形下，在所 允許的最大深度的物件有_2D的移位而在深度bp的物件 有2D的移位。藉由選擇2〇爲8個像素，在兩個水平方向都 可旎產生8個像素的移位。因此，需要4個位元來儲存此移 位0 經濟部中央楯準局員工消費合作社印製 I 1t Ο — . . . _\ (諳先聞讀背面之注意事項再填寫本頁} 圖3Α顯示相當於輸入影像，由觀察點〇ι所觀察到的場 景，其中近的物件3〇〇部份重疊到更遠的物件31〇。爲了清 楚’ y-座標未顯示在圖中，由^重疊，輸入影像包含物件 300的所有像素及310的一些像素’如所觀察到影像所 示。圖3B顯示相當於輸出影像，由觀察點〇2所觀察到的相 同場景。由圖3B中清楚看到重疊增加了。若圖邛的輪出影 像330是由圖3A的輸入影像32〇求出，此增加的重疊會由: -17- 本纸張尺度適财國國家標準（CNS )祕脉（21〇><297公酱-

經濟部中央標準局員工消費合作衽印製 對應於W景物件3〇〇的輸入像素所被移位的相同輸出像素 t置所對應的背景物件310的輸入像素反映。在此重疊的 區，中有幾個可能的輸出影像的像‘素値。很清楚地，屬於 有2小木度z的物件的輸入像素的輸入像素値必須佔用輸 出3V像中的重疊區;或，若物件不透明，反映鄰近物件的背 :物件隱藏邵份。另外’在輸出影像的重疊區域的像素値 可以由混合屬於不同物件的像素値取得。應該要注意的是 對不同深度物件的重疊會造^不同的移位。物件對於焦點 平面的位置是無關的。 ........ 與輸入影像的Μ像素被移位到相同的輸出像素位置相 反的圖4顯示由^沒有輸人像素提供來填補輸出影像43〇 上的位置而在輸出影像43〇上發圭，破洞，的例子。圖^中顯 示f輸入影像420中背景物件41〇至少被前景物件_部^ 遮蚊。在圖4B中由觀察點〇2所觀察到，物.件彻與物件 間並不發生重疊（或重疊較小）如輸出影像43〇所代表。、言 的破洞可以透過用破洞左右的可用水平鄰近的料値$代 所取仔的像素値來去除。如簡單的㈣，此㈣有最大的 :値一的可用鄰近像素代替。這樣的替換符合眞實生活" 觀察者觀看由前景物件後面顯露出來的背景物件的絲驗" 應用在除切洞及在多個可聲中選擇像素俊的類: ^於，素阵列邊界的邊緣效應。處理比最後實際所顯示 更大的陣列可以是邊緣效應的解決辦法。 圖5顯示根據本發明的影像處理系統1〇的方塊 彩 像處理系統1〇包含在圖丨中用識別號此& 叮‘不的系統的 -18 本紙張尺度適财_家縣（⑽—21GX297公楚 (請先聞讀背面之注意事項再填寫本頁) - i .^------ 經濟部中央標準局員工消費合作社印製 A7 '----—-—--^____ 五、發明説明（16 ) ~~ ~~— 功能。此影像處理系統10包含輸入裝置5〇〇以接收輸入影 像的輸入像素。輸入裝置5〇〇可以用傳統方式的記憶體或 處理器輸入來完成。輸入裝置5〇〇‘對每個輸入像素接收像 素値並將所收到的値存入到記憶體5.1〇。另外，輸入裝置 5〇〇對每個輸入像素接收個別的輸入像素深度。根據上面 的公式（1)，深度轉換器52〇將所收到的课度轉換成像素移 位。可以發現到，通常，根據公式⑴沿著一列上的像素移 位不會正好落到像素位置上。這種差異的原因只是因爲在 一列像素陣列中只有有限個不連續像素位置。爲了取得不 連續的像素位置，公式（1)所代表的像素移位可以，例如， 向上或向下取整數或截去尾數。轉換器52〇可以用傳統的 硬體或軟體方法施行。通常，深度轉換器52〇將有大數値 範圍，如，16位元的深度値轉換成有較小範圍，如，4位 兀的移位値。最好’使用表列做此轉換。舉例來説，表列 可以包含十六項，每一項相當於一不同的移位値。例如， 第1項相當於7個像素位置的移位，第2項相當於6個像素位 置的移位，…第7項相當於1個像素位置的移位，第8項相 當於沒有移位，第9項相當於相反方向的！個像素位置的移 仏’第10項相當於相反方向的2個像素位置的移位，·第 16項相當於相反方向的8個像考位置的移位《在此例中， 由於整數不對稱的特性而正移位比負.移位少用一個。每— 項儲存了對應於移位値的較高深度値。在找出哪一項的輸 入深度正好包含了輸入深度値時也找到對應的移位。可以 發現深度轉換器520將深度相關資訊轉換成移位相關資 (請先閱讀背面之注意事項再填寫本頁) I ·'" ~「J— \!v訂 © ：--^---^------- -19-

經濟部中央標準局員工消費合作衽印製 訊。此資訊本身可以採用各種形式。例如，可 以Z-値或，UZ值的形式提供深度相關資訊。使 = 施行特別有彈性。如果深度轉換器需要支援: ram中，並由如軟體驅動程式來載入:二m換如 輝所產生的像素移位錯存在記憶體中，；= 體510相同。 、 取好與圮憶 〜像處理系統1()進—步包括處理器53G 像素產生_像的輸出像 値组合而成。處理器-用所儲存的像素二 组：上二出)輸入像素與所給的輸出像素相闕。舉例來説，要 =心影像在所给的列上像素位L( 要 == 檢查在相同列的輸入像素。對這些輸入像素， 合在—起。若此組合導出像素位置 入像音下將要詳細解釋的)則這樣的輸 位3的輸入像素，在位W輸2 4的輸入像像素二及在位置」+4有相對的輸入像素移位· 俨冒 ’、被移位到輸出影像列相當於像素位置i的 \ 置上’仙此，與此像素位i相關。 的2μ _—步包括輸出裝置54G以輸出所產生 ,的値。輸出裝置540可以用傳統方式的記憶體

本紙張尺石 -20- Α4規格（210X297公釐） 經濟部中央標準局員工消費合作社印製 五、發明説明（1S) 或處理器輸出來完成。可 與 轉換器520)，記憶體51〇，處理： ' 輸入裝置5〇〇(包括深度 被整合到一顆1C中。 及輸出裝置540可以都 根據本發明的進—步音、 縮器550以將與—或多個她，果度轉換器52〇包含屢 縮成-輸入像素移位表示法 ：：入像素“壓 鈐510中而韭嵙立加r k …、便此表不法被儲存到記憶 把510中而非對母個輸入像素儲存完 將持續長度的編碼技巧用在^ ，夕位値。取好， 的深度只變動-點點。結果與二像素和位。許多物件 ^ ^ η ^ ^ Γ 、同物件相關的許多鄰近像 素有相同的私位値。使用持、 户枯糾嗉终你主丄 只长度的編碼’有相同像素移 β古今括μ、击路你* 貝戈度貝代表，它指示了移位値 及有孩値的連續像素（持續長度）數目。最好，用變異持續 長度編碼進-步壓縮像素移位値。通常，度漸 漸地變動的。結果是，冬傻+ 度疋漸 μ念 田像素移位値變動時（導致新的持 續長度項），此像素移位値的變動 ' ]又動傾向於與先前的變動相 同。因此，像素移位値的差（稱爲變異）傾向於更小的範 圍。使用變異持續長度编碼這些變異値是放在 變動的標示之外(通常標示成由前-個變動點開始的： 度P料都發_五個位元已足以將線段的長 度編碼。五個位元讓2到33個毛續像素位置的線段表示法 有相同的移位値。明顯地長度零的線段不需要編碼。 -個像素的線段分開處理。對—般線段，用兩個㈣心 元來编碼變異値。這使整個碼有七個位元。對變異值的二 動多於用2位元所能標示的情況’使用提供完整變里値的 -21 - 本紙張尺度適用中國國家標隼（CNS ) A4規格（210X297公爱） (請先閱讀背面之注意事項再填寫本頁) ---〇一衣-------,玎 A7 ---· _Β7 五、發明説明（19) 替代碼。在這裡提出的範例中，對此最多保留到七個位 元。在第二種格式中，沒有多餘的位元可以編碼線段長 因此，第二種碼是用來標示只‘有一個位元的線段。在 夂異値發生超過可以用第—種碼的過大躍動而新的線段長 於一個位元的情形下，首先用第二種碼來提供線段的第一 個像素的適_當的變異{直，接著用第一種碼提供剩餘線段的 長度。爲了區別兩種碼而使用了 一個選擇位元.。選擇位元 的’〇,値指示接著的七個位元i碼成如第—種碼所描述；選 擇位元的'Γ値指示接著的七個位元編碼成，第二種碼所描 述。底下的表综合此編碼： 1 (請先閣讀背面之注意事項再填寫本頁) 選擇位元 内容（7個位元） 弟一種碼 0 5位元長度，2位元變異 第二種碼 0 最大到7個位元變異 訂 處理器530使用補充的解壓縮器560來由所儲存的像素移位 表示法還原成原始像素移位《傳統的技:rj，如計數器，暫 存器’減法器及比較器可以用來實施壓縮器55〇及解壓縮 器 560。 圖ό描述根據本發明的進一步~實施例，其中處理器5 3 〇包 含滑動缓衝咨6 0 0以儲存像素値。若最大數目的不同移位 値限制在Ν個，包括往左及往右可能的移位，及完全沒有 移位’則緩衝器600包含至少Ν個位置以儲存像素値。處理 器530依相對的像素移位將輸入像素値儲存在緩衝器6〇〇 -22- 本紙張尺度適用中國國家標準（CNS ) Α4規格（210Χ297公釐） ©. 經濟部中央標準局員工消費合作社印製 、發明説明（2〇) 中’意味著輸人像素可以儲存在任何的缓衝器位冒 ::包含位址分解器61〇以決定輪入像素應該儲:在ί; 經濟.郅中央標準局員工消費合作社印製 位加到緩衝器_的中間位址分解出來。在此情形下素二夕 必移位的輸入像素被指派到缓衝器600中間位置的位址 =勒使輸入像素被指派到緩衝器_的最低或最高位 ;的：址。每次處理完-個輸入像素，而且可能被拷貝到 皮衝咨600，同樣也有—像素値被由緩衝器6_去。此像 素被由已知的缓衝器_中的輸出位置移去。在處理了一 個輸，像素之後，緩衝器_的内容被移“―個位置。舉 例來沉’假設輸入像素每列依次處理且其中每個連續的輸 入像素對應於有高-個行號的位H步假設這相當於 由左至右處理像素。正移位値標示往右移位，負移位儘標 示往左移位。在順序處理的例子中，每個位置被往下移I 個位置。結果，緩衝器600的中間位址對應於下一個輸入 如前面假設的此輸入像素不需要移位。在移位緩衝 器當時或之前，儲存在有最低位址的輸出位置的値，從緩 衝被輸出。可以知道滑動緩衝器600也可以用其他技巧 實施。例如，實際上在緩衝器移位當時拷貝儲存在緩衝器 上的每個値可以只用執行一個孕輯移位操作避免掉，例如 用官理循環式緩衝器所熟知的調整指位器的方法。 在本發明的進一步實施例中，處理器53〇包含指示器62〇 以指不滑動緩衝器6〇〇的位置是否被像素値佔用。當像素 被存在滑動緩衝器6〇〇的一個位置，處理器53〇設定指示器 -23- 本纸張尺度適用中國國家標準（CNS ) Μ規格（21〇χ297公釐 經ΐ#.部中央標準局員工消費合作社印製 發明説明（21 620來指tf該位置被佔用。當滑動緩衝器6〇〇被移位，處理 器設定指示器620來指示一個位置未被佔用。在上面例子 中，移位滑動缓衝器600造成最高桂置被釋放。指示器“Ο 在每次滑動緩衝器600被移位時就進一步更新以確保指示 器同步停在正確缓衝器位置。指示器62〇可以用暫存^施 行，其中暫存器的每個位元位置對應到—個緩衝器位置。 每個位元指示對應的緩衝器位置是否被佔用。另外，=示 器620可以跟滑動緩衝器6〇〇結合在一起。例如，滑動^ = 器600的每個位置可以儲存至少一個額外的位元指示在其 餘部份的緩衝器位置是否儲存了像素値\也是一個保留 値，在合法的像素値未使用，可以用來指示缓衝器位置: 可用的。在對應於前景物件的像素與對應於後景物件的像 素㈣位到輸出影像的相同位置的情形下，處理器別選 擇前景像素儲存到滑動緩衝器_。若指示器62〇指示滑動 緩衝器_的位置未被佔用，處理器53()透過只將輸入像素 拷貝到該位置來執行選擇。圖7續示·，7〇2及7〇4三個 物件都，於焦點平面24〇之前且在相對於輸入觀察點〇1與 輸出硯祭點02的不同位置。也顯示了呈現在輸入影像上的 各別投影710 ’ 712及714與呈現在輸出影像上的各別投影 720, 722及724。圖勒似地顯一示了 73〇,加及…三個物 牛M U平面240之後且在相對於觀察點的不同位 置。也顯示了呈現在輸入影像上的各別投影74〇,⑷及 744與呈現在輸出影像上的各別投影75〇，及乃〇單單 透過依據位置被佔用與否來選擇像素而選出最前面物件的 —：--------「Α------ (請先閲讀背面之注意事項再填寫本頁) ,ιτ .~©--- 24-

經濟部中央標準局員工消費合作社印製 A7 --------— ' ____B7 五、發明説明（22^ '" 像素的挺念’是根據雖然像素絕對可以往兩個方向移位， 2對-组所给的輸人影像及輸出影像其背景像素相對於前 7象素的相關移位總是在相同方向的看法而來。如圖7A中 ^顯不對在焦點平面24〇之前的物件.，很清楚的由影像線 •k 720 ’ .722及724所代表的輸出影像可以由個別的輸入影 像、·泉奴71 〇，712及7 14透過線段像素往右的移位求得，而 不官線段在觀察點的左或右，。相似地，如圖7B中所顯示對 在焦點平面240之後的物件，很清楚的由影像線段75〇， 752及754所代表的輸出影像可以由個別，輸人影像線段 740，742及744透過線段像素往左的移位求得。如先前已 描述過的，移位的量由像素相關的深度決定。舉例來説， 假設依序處理五個連續的像素….^，其中pl是順序中最 左邊像素而p5是最右邊像素。進一步假設所有五個像素被 移位到相同輸出像素位置p3，如五個對應的像素移位所反 應的：pi: +2 ; P2: +1 ; p3: 〇 ; ρ4: ] ; ρ5: ·2。回想圖 7中 顯示的情沉，很清楚地這隱含著ρ1是最前面像素ρ5是最後 面像素。要顯示的是最前面的像素。透過由左至右處理輸 入像素，只要將輸入像素pi拷貝到輸出像素？3而不拷貝輸 入像素P2，P3，P4及P5就可達成（有效地排除那四個像 素）。這可由檢查輸出位置p3兔否已被先前拷貝的輪入像 素佔用而偵測出來。如果是，則佔用的像素只會是三個在 更前面的。在圖7中輸出影像的觀察點在輸入影像的觀察 點的左邊。可以知道若輸出影像的觀察點在輸入影像的觀 察點的右邊（造成相反方向的像素移位，隱含#是實際上 -25-

本紙張尺度適用中國國家標準(CNS ) A4規格（210X297^JT (請先閱讀背面之注意事項再填寫本頁)

.1T

r C D / 立、發明説明（23 最前面的輸入像素）且像素由右而左處理會達到相同的結 果。 若〃=出影像的觀察點在輸入影像‘的觀察點的右邊，即使 ，簡單地由左而右處理像素且總是拷貝輸入像素不管位置 是否已被佔用也可達成所要的結果。在此情形下，p $是最 前面的輸入像素。透過不檢查位置是否已被佔用就拷2， 最前面像素自動地被拷貝到背景像素的頂上。才目同的原則 可通用於若輸出影像的觀察點在輸入影像的觀察點的左 邊，且像素由右而左處理。 上面用簡單的拷貝策略以達成所要的前景像素選擇的方 法的看法可以歸納成下表。 (請先閣讀背面之注意事項再填寫本頁)

,1T ii®. 經濟部中央標準局員工消費合作社印製 在本發明的進一步實施例中-，處理器53〇依所给的方向 處理輸入像素。根據上面的看法，處理器53〇包含選擇器 630以選擇性地依輸出影像的觀察點相對於輸入影像的觀 察點的位置拷貝輸入像素値到緩衝器6〇〇的位置上。如同 樣在上表中所示，若由輸入觀察點到輸出觀察點的方向與 -26- 本紙乐尺度適用中國國家標準（CMS ) A4規格（210X297公釐 經濟部中央標準局員工消費合作社印製 、發明説明（24) ^里方，相同，則只要―直拷貝輸人像素就可達成所要社 处〇但疋，若兩個方向相反’則要在位置可用時才拷目才口 ::成:斤要結果。選擇器630有接收有關由輸入觀察點到 -出硯祭點的方向的資訊的輸入。透過比 理器的處理方向，選擇器630執行相關的拷貝方法/…處 可以知道用本發明的系統可以由一個輸入像素求出—戈 多個輪出像素。對傳統的立體顯像法，在任何時刻都只一 兩個影像呈現給使用者。在i生多於—個輸出影像的情 下，最好輸入影像就已經構成一個輸出影、像。由於輸出 像中的-個已不用產生’這可以簡化處理。輸人影像的规 察點不在輸出影像的觀察點之間也很有幫助。這可確保拷 貝方法對兩個影像都相同。若能額外保證輸入影像的觀 點總是與輸出影像的觀察點偏向相同方向，則上表中的 種可邊只要支援.一項就可以。 最好，處理器5 3 0直接連接到顯示系統。反觀圖1， 隱含了並不需要記憶體丨9 〇。記憶體可以因有效的使用 動緩衝益600及深度轉換器5 2〇所執行的前置處理移掉 讓1進行中1輸出影像的產生不需要額外的影像儲存。 如先前所敘述的’破洞’可能因爲與深度相關連的移位 出現。對輸出影像中的某些像f位置可能沒有輸入像素」 以使用（代表進一步移去的物件同時進一步移掉了附近物 件的|陰影'）。在此情形下，最好藉由拷貝一個最近剛剛 去的鄰近像素來填補此破洞。在本發明的進一步實施 中’圖6的處理器530包含複製器640以拷貝鄰近像素。 有 影 察 四 這 而 可 移 例 若 (請先鬩讀背面之注意事項再填寫本頁) ---:).f------訂 -27- 本紙張尺度適用中國國家標孪（CMS ) A4規格（210x297公缝） 經濟部中央標準局員工消費合作社印製 A7 B7 五、發明説明（25) 緩衝器600的輸出位置是空的，如指示器62〇所指示，在像 素値應孩由輸出位置輸出時會產生破洞。通常複製器640 應孩再生先前輸出的像素値或是下‘一個將要輸出的像素値 兩者1一 °這樣的選擇應該依據涉及的輸入像素的相關深 度而定。但是，複製器640,單單透過再生先前的輪出像 素値就達成所要的結果，若是指示器指示了輸出位置是空 的。用如此簡單的方法達成所要結果的方法的觀念是依據 與用來處理重疊相同的看法，就是，雖然像素絕對可以往 兩個方向移位’但對一组所給的輸入影像及輸出影像其背 景像素相對於前景像素的相關移位總是在相同方向。如圖 7A中所顯不對在焦點平面24〇之前的物件，很清楚的由影 像’·泉& 720 ’ 722及724所代表的輸出影像可以由個別的輸 入影像線段710，712及714透過線段像素往右的移位求 得，而不g線段在觀察點的左或右。相似地，如圖π中所 顯示對在焦點平面240之後的物件，很清楚的由影像線段 750 ’ 752及754所代表的輸出影像可以由個別的輸入影像 $段740, 742及744透過線段像素往左的移位求得。如先 前^已描述過的，移位的量由像素相關的深度決定。結合這 些觀察，堉·楚發現背景物件相肖於前景物件是往左移位 (應該注意的是若兩個物件都在焦點平面74〇之前則實際上 兩個物件都往右移位；在前景物件更往右移動的情形下， 仍使其對背景物件的相對移動往左）。結果，破洞只會出 現在前景物件的左邊緣。這隱含著破洞可以由透過將所要 背景像素由左往右處理影像並在偵測到破洞時再生前一個 ___________ - 28 - 本紙張尺度適用令國國家標準_( CNS ) A4規招 (請先閣讀背面之注意事項再填寫本頁)

經濟部中央標準局員工消費合作杜印製 A7 _ B7_ 五、發明説明（26 ) — --— f素値而填補起來。可以發現相同方法可以適用於輸出觀 察點在輸入觀察點的右邊且像素由右而左處理。因此，由 輸入觀察點到輸出觀察點的方向最·好與處理器處理-列輸 入衫像的輸入像素的方向相反。 要汪意的是沿著物件邊緣可能毫無預警的出現加工。例 如若在輸入影像中背景物件的左邊緣被前景物件覆蓋住且 由於移位使得背景影像的左邊緣變得可以看見，則沒有背 景.影像的像素可以被用來拷^。纟簡單的系統中，可用的 先前像素（在此情形中不是相關的背景像亨）無論如何都會 被拷貝，導致小小的加工。在較先進的系'统中，背景像； 可以分開產£，例如由3〇模型中求出，或由相同列甚或相 鄰列來混合鄰近像素求得。 如先前描述的，在緩衝器6〇〇中儲存像素的緩衝器位置 由輸入像素的輸入位置結合輸入像素的移位決定。此移位 用公式（1)計算出來。由於像素只能儲存及顯示在不連續的 像素位置，所計算出來的移位通常被去掉尾數或四捨五 入。實驗顯示這可能會造成觀察者感覺到平面有不同的移 位。要克服此加工，根據本發明的進一步實施例也使用( 像素次移位資訊。使用四個像素次移位位置，有效地用兩 個位元擴充移位資訊，已證實，提供好結果。如以前，像 素次移位資訊對決定儲存像素i的位址並不需要。像素次 和位貝訊疋用來增進顯示品質。至此，處理器530進二步 包含混合器650以混合鄰近像素的像素値。混合的加權係 數依要混合像素的像素次移位資訊而定。這樣的例子在圖 -29- 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公慶） (諳先閣讀背面之注意事項再填寫本頁} 7 IT------ A7 B7 五、發明説明（27 ) 請 先 閎 讀 背 © 意 事 項 再 8中描述，其中顯示了列800的一部份，像素位置咖， 8〇4, 806, 808, 810 ’ 812及814。.由於根據公式⑴所計营 出的視差移位，在位置802的輸入像素値在輸入影像心 應到位置816 ’落在連續像素位置s〇8與81〇之間。相似 地，在位置804的輸入像素値對應到位置818，落在連續像 素位置810與8〗2气間。讓 '丨代表由位置8〇8到位置^^的 距離。這樣的β〗相當於在位置8〇2的輸入像素的像素次移 位。相似地，π 2代表由位^ 81〇到位置818的距離且相當 於在位置804的輸入像素的像素次移位。進一步，讓~代 訂 表輸亡影像中在位置802輸入像素的輸入像素値(也就是丨移 位 < 則）且讓4代表在位置8〇4輸入像素的輸入像素値。輸 出影像中的輸出像素81〇，也就是在執行完移位之後，被 ，派一個由在位置802與804的輸入像素値根據加權總合決 定的輸出像素値。指派給輸出影像中的輸出像素8ι〇的値 c3則根據下式計算： c3 = {(^^\)〇i+a2C2}/{l-a ]+αι} 經濟部中央標準局員工消費合作社印製 頁目（1 - or 1)與α 2是根據像素次移位的加權係數。項目卜 α丨+”確保維持像素的整個加權 '由於許多情形下連續像 素的像素次移位只變動—點點，也因此丨_以1+叫傾向於靠 近1 ’對簡單的系統也可以删哼此項。很清楚的發現混合 所涉及的像素的像素値以及像素次移位値是必要的。至 此’處理器530進一步包含與緩衝器_有相同數目個位置 的像素次移位緩衝器660。對儲存在缓衝器6〇〇的每個像素 値，對應的像素次移位儲存在像素次移位緩衝器66〇中。 -30- 21 OX 297 公釐） 本紙張尺度 賴丨鮮（e叫a45^7 B7 五、發明説明（28 ) —--- 最好，像素次移位緩衝器66〇與緩衝器_用相 理。結合兩個緩衝器對此有幫助。 (諳先閱讀背面之注意·葶項再填寫本頁} 要減少儲存像素値的儲存需求，‘像素値可以用色 表列(㈣丁）的方法編碼。若是這樣，.最好編碼是在混合像 素之前執行。至此，處理器53〇包含咖167〇以執行編 碼。 二要注意到，由於像素次移位的去尾數（或四捨五入），可 能發生小加工。舉例來説，^設在同—列的連續行位置上 的岫景物件像素在深度上變動到足以造成連續像素位置的 移位的增加，也就是，對輸入像素位置丨及連續的像素計 算出了個別的移位X，χ+1/4, χ+1〆2, χ+3/4, χ+1及χ+11/4。透過將 像素次移位去尾數，暗示輸入影像的像素丨的値被拷貝到 輸出影像在相同列的像素位置i+x。下表顯示這樣的六個 連續像素。 輸入位置 總移位 去尾數移位 輸出位置 i X X i+x i+l Χ+Υλ X i + x+1 i+2 X+V2 X i+x+2 i + 3 χ+3Λ X i+x+3 i+4 x+1 x+1 i+x+5 i+5 x+1 Va x+l i+x+6 經濟部中央標準局員工消費合作社印製 這會導致輸出影像中像素i+4+x的'破洞，。理論上有可能背 景物件的一個像素被移位到此位置。要避免這樣的背景像 -31 - 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 經 濟 部 中 央 標 準 局 員 工 消 f 合 作 社 印 製 、發明説明（ 前景物件，可以採用另外的方案。例如，若連 移位增加了 (指示跳過-或多個像素二 $像素可以拷貝到跳過的像‘素位置中。 擬本發明的系統也可以用在人可以在場景中航行的，虛 ^兄中。對逞樣的系統，輸入影像最好是場 二:：。然後可以由此輸入影像求出數個連續影像而非由 動以重複預先決定數目個影像或直到使用者移 圍的移位區:)預先決定的距離以後(例如超出輸入影像周 祝：：據本發明的系統中，通常，2D輸入影像及深度資 到根據3D座標系統的3D模型的顯像處理過程產 個^知道即時應用的高品質立體影像可以由平行操作 兩個這彳水的顯像處理過程產生。但杲 θ曰主… :顯像處理過程通常需要專用的昂貴硬：::= ^影子及陰影’不同的觀點，等等。相似的考慮也適用 於屋生-序列的2D影像以造成叩場景中的㈣印象。例 ^ ’當使用者透過顯示在顯示器上的虛擬實境場景航行 旦’序列中的每個次一影像應該從稍微不同的觀點顯示場 ，且’因$，牵涉到全新的顯像處理過程。通常，在即時 的應用中這需要大量的計算能”在本發明的系統中只有 =顯像處理過程或縮小版本的顯像處理過程可以用來產 f每個場景的一個帶有深度資訊的基本影像，其中根據本 發明的圖形處理過程被用來由帶有深度資訊的輸入影像求 出輸出影像。 32- 本纸杀尺度適用中國國家標準（CNS ) (請先閲讀背面之注意事項再填寫本頁) 水1Τ_-------

Claims (1)

1, :::過視差轉換產生至少一個與—輸入影像有關的赖 像的影像處理系統；此影像處理系統包括輸入裝 u'’輸出裝置，記憶體及處理|ί ; 輸入裝!包括接收輸人影像的輸入像素的個別輸入像 ?値及輸人像素深度及將所收到的輸人像素値儲存到記 憶體的裝置； 處理器透過至少-個輸人像素的輸人像素値來求出輸 出像素的個別輸出像素値進而產生輸出影像的輸出像 素該至少一個輸入像素與輸出像素視差相關的；視差 關係是個別輸入像素深度的函數； 1 輸出裝置包括輸出該等輸出像素値的裝置；並特徵 爲： 輸入裝S &含將輸人像㈣度轉換成輸人像素移位及 將輸入像素移位的表示法儲存到記憶體的深度轉換器；及 .處理器被規劃成依據所儲存的相對於輸入像素的輸入 像素移位表示法來決定錢出像素與輸入像素之間的視 差關係。 2.根據申明專利|a圍第1項的系、统，其中像素移位被限制 在預先決定的N個像素位置的極大値以内， 其中該處理器包括至少有N個位置以儲存像素値的移動 緩衝器而且該處理器運作成-可以處理連續的輸入像素； 該處理過程包含： 從記憶體拷貝個別的輸入像素値到滑動緩衝器中的一 個依相應的輸入像素移位而偏移的位置， -33- 透過在該滑動缓衝器中的輸出位置來讀取像素値而來 產生輸出像素値，及 將移動緩衝器移位。 ， 根據υ利範圍第2項的系統，.若前景與背景輸入像 素與相同的輸出像素視差相關’則該處理器運作以選擇 =景輸入像素以做進一步處理，其中描述的處理器包含 才曰不滑動緩衝器位置是否被佔用的指示器；其中，若指 示器指示位置未被佔用，’則該處理器透過只拷貝-個^ 入像素値到滑動緩衝器中的一個位置來執行選擇。 4‘根據申請專利範圍第2項的系統，其‘若前景與背景輸 入=素與相同的輸出像素视差相關，則處理器運作以選 擇前景輸入像素以做進—步處理，其中： 。該處理器包含指示滑動緩衝器位置是否被佔用的指示 !§ * 該處理器被規劃成依所给的處理方向處理輸入影像的 一列輸入像素；

央 標 準 局 η I 合 作 社 一該處理器包含選擇器以依據與輸出影像相配的輸出觀 祭點相較於與輸人影像相配的輸人觀察點的相對位置來 選擇性地拷貝輸入像素値到滑動緩衝器中的一個位二； 該選擇器運作以便： -若由輸入觀察點到輸出-觀察點的方向與處理的方向 相同時，拷貝輸入像素僅而不管位置被佔用，及 若由輸人觀察點到輸出觀察點的方向與處理的方向相 反時’若指示器指示位置未被佔用’則拷貝輪人像素値。 -34 - 本纸最尺度適用中國覉家標準（CNS) A4__ (2J0X297公幻 I 申請專利範圍 5.根據申請專利範圍第2項的系、统，其中該處理器包 寫器讀，若沒有-個輸入像素视差相關於所給的輪出 像素，藉由再生一輸入像素値來產生 出像素値，其中該處理器包含指示ΐ輸;像素的個別輸 ° 态以扣示滑動緩衝器 的位置疋否被佔用；且其中該複寫器運作以再生先前在 指示器指示滑動緩衝器預先決定的輸出位置未被佔 由滑動緩衝器輸出的像素値。 6·根據申請專利範圍第以，3, 4或5項的系、统，並中. 讀入像素移位包含了表示對應於輸出影像像素位置 (間的-個位置的輸入像素移位之像“移位；且 其中該處理器包含混合器以混合鄰近像素的像素俊， 其中混合的加權係數依鄰近像素的像素次移位而定。 7·根據申請專利範圍第卜2,3,4或5嚷的系統，其中該 深度轉換器包含轉換輸人像素深度成爲輸人像素移位的 表列。 8·根據申請專利範圍第！，2，3，4或5項的系 '统，其中該 深度轉換器包含壓縮裝置以將至少—個輸入像素的輸入 像素移位壓縮成輸人像素移位表示法，且其巾該處理器 包含解壓縮裝置以將輸人像素移位表示法解壓縮成相關 輸入像素的輸入像素移位。 9.根據申請專利範圍第卜之^/…项的系統’其中該 處理器運作以產生至少兩個透過視差轉換與相同輸入影 像相關的輸出影像，其中該輸人影像構成該等輸出影像 中的一個。 ω.根據中請專利範圍第i ’ 2 ’ 3，4或5項的系統，其中該 、處理器運作以產生至少兩個透過視差轉換與相同輸入影 (請先閔讀背面之注意事香再填寫本頁) 像相關的輸出影像，其中-與輸人影像相配的輸入觀察 點並非水平地介於與每個輸出影像相配的輸出觀察點之 間。 、 根據申請專利範圍第i 0項的系統，其中該由輸入觀察 點到輸出觀察點的方向與該處理器處理輸入影像中一列 輸入像素的方向相反。 12.根據申請專利.範圍第！，2，3，4或5項的系統，其中該 系統包含在顯示器上顯示輸出影像的^示系統，其中該 處理器直接連接到該顯示系統以提供該等輸出像素。 13·:種將輸入影像視差轉換成至少一個輸出影像的處理 器，該處理器包含接收輸入影像的輸入像素的個別輸入 像素値的輸入及丟出輸出影像的輸出像素的個別輸出像 素値的輸出； 處理器透過從與輸出像素視差相關的至少一個輸入像 素的輸入像素値求出輸出像素的個別輸出像素値而產生 輸出影像的輸出像素； 經濟部中央標準局員工消費合作社印製 其特徵爲： .其中孩處理器包含接收輸入像素的個別輸入像素移位 表TF法的輸入；該輸入像素移位被限制在預先決定的N 個像素位置的極大値以内， 其中該處理器包括至少有N個位置以儲存像素値的移 動緩衝器；及 -36- 私紙張歧咖中國國家縣（CNS ) A4· ( 210X297公釐）

其中該處理器運作以處理連續的輸入像素；該處理包 含： 由記憶體拷貝個別的輸入像素値到滑動缓衝器中的一 個依相應的輸入像素移位而偏移的位置， 透過由滑動緩衝器中的輸出位置讀取像素値來產出輸 出像素値，及 將移動緩衝器移位。 14. 根據申請專利範園第i 3項的處理器，其中若前景與背 景輪入像素與相同的輸出像素視差相關，則該處理器^ 作以遊擇則景輸入像素以做進一步處理，其中該處理器 包含指示滑動缓衝器位置是否被佔用的指示器；若該指 示器指示位置未被佔用，則該處理器只拷貝一個輸入像 素値到該滑動緩衝器中的一個位置來執行選擇。 15. 根據申.請專利範圍第13項的處理器，其中若前景與背 景輸入像素與相同的輸出像素視差相關，則處理器運作 以選擇如景輸入像素以做進一步處理，備有： 其中該處理器包含指示滑動缓衝器位置是否被佔用的 指示器； 經濟部中央操準局員工消費合作社印製 (請先閨讀背面之注意事項再填窝本頁) 、1T 其中該處理器被規劃成依所給的處理方向處理輸入影 像的一列輸入像素； -中該處理$包含選擇器以依據與輸出影像相配的輸 出觀，點相較於與輸人影像相配的輸人觀察點的相對位 置來選擇性地拷貝輸入像素値到滑動緩衝器中的一個位 置；該選擇器運作以：

經 濟 部 中 A. 標 準為 β 5 費 合 作 社 印 製 申Μ專利範圍 _右由輸入觀察點到輸出觀察點的方向與處理的方 相同」貝|!拷貝輸入像素俊而不管位置被佔用，及 -若由輸人觀察點到輸出觀察點的方向與處理的方向 ::反’且若指示器指示位置未被佔用，則拷貝輸入像素 =據申請專利範圍第"項的處理器，其中該處理器包 =窝器以便，若沒有_個輸人像素視差相關於所給的 =像素.，藉由再生輸入像素値來產生輸出像素的個 二’其中該處理器包含指示器以指示滑動缓衝 奸置疋否被佔用；且其中該複窝器運作以再生先前 =7ΓΓ滑動緩衝器預先決定的輸出位置未被佔 時由滑動缓衝器輸出的像素値。 17:申請專利範圍第13’14，15，或16項的處理器 該輸入像素移位包含了表示與輸出影像像素位置之 的-個位置的輸人像素移位對應的像纽移位且 孩處理器包含混合器以混合鄰近像素的像素俊，並 -合的加權係數依鄭近像素的像素次.移位而定。- 別 用 訂 間 中 38- 本紙張國國家標隼(