TW521519B - Apparatus and method for converting a two dimensional image to a three dimensional image - Google Patents

Description

521519 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（1 ) [發明的詳細說明] [發明所屬的技術領域]本發明係關於變換二維影傻& _ 土土 象為二維影像之裝置及其方[習用技術]將二維影像變換為三維影像之方法，有曰本「特開平 9·1〇7562」號公報及「特開平1(Mi8i2」號公報所示者。 首先，參照第1圖，說明「转Μ τ , 1日 特開平11〇7562」號公報揭 示的「二維影像變換為三維影像 <方法」之概要如下· 在二維影像（2D影像）方面，攝 隹f *丄々h卞 獬取~隻小鳥由山前左方向右方飛翔時的畫像，如「書傻〗 ^ r 一 1豕i」至「晝像5」所示。 首先’例如由「畫像移向「晝像2」的動態向量 (dynamicvector)、及由「晝像2」移向「畫像3」的動態 向量等之各畫像間的動態向量’逐一從設定在畫面内之複 數個動態向量檢測領域中抽出。其次，由抽出之動態向量，決定被攝體領域（subject field)-「小鳥」，及背景領域（w field)-「山」。然後，為使被攝體來到背景前，將基準面像 設定於右眼或左眼畫像之一方，再將延遲了對應於該動態向量大小場（field)數之畫像設定為另一方。 如設基準畫像為現在畫像之「畫像4」，而對應於由「畫 像3」與「畫像4」獲得的動態向量大小，且遲延所定場數 之畫像（遲延畫像）為「晝像2」時，即由動態向量方向之提 TP基準畫像（畫像4)為左眼用畫像，而遲延晝像（書像2)即 為右眼用畫像。 本纸張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 312030 (請先閱讀背面之注意事 裝--- 寫本頁) •f- 521519 A7 五、發明說明（2 ) 由重複實施該動作，可獲得表示具有立體感的影像， 即為三維影像。這種方法稱為MTD(動態目標設計，叩 target design)法 ° 日本專利案「特開平10_51812號」公報揭示的「變換 一維影像為二維影像之方法」之概要如下： 首先，將二維畫像分割為複數個領域，抽出各分割領 域之色成分、高頻成分、對比等畫像特徵量。其次依各分 割領域之色成分，使各個屬於相同物體的領域群組化。然 後，以群組化的領域為單位’由該領域之平均對比及平均 南頻成分等資訊推定縱深，算出視差量。再依算出的視差 里，使各分割領域的左眼用畫像及右眼用畫像向相反的方 向水平移位而產生三維影像。 如上述方式作成之左眼用影像及右眼用影像，以立體 顯示裝置予以立體顯示者稱為CID(電腦整合設計， computer integrated design)法。 茲將MTD法及CID法詳述於後； 1.MTD 法： MTD法係對應於畫面内的動作，使進入左右眼任一方 的影像延遲，而作成立體感。此時，對影像而言最適合的（目 標的）場（field)延遲量（目標延遲量dly 一 target)，係利用藉 由被攝體背景識別而獲得之被攝體領域的水平方向向量的 平均值obj—xvec [pixel / field]，及背景領域的水平方向向 量bg —xvec [pixel / field]，以下式⑴求出。又，取向量之 右方向動作為正值。 準（CNS)Xl規格⑵“视公釐） 2 注 意 事 訂 •f 312030 521519 A7

五、發明說明（3 ) dly _target=Mdly _sisa/(obj _xvec-bg _χν60) [Held]…（1) -n ϋ n n n n n n n n I > n 11 (請先閱讀背面之注意事寫本頁) 式中，Mdly_siSa係表示用以決定MTD法所產生之立體感 的視差量[pixel]，該值係透過使用者介面（user interface) 等而預先設定。 又，表示使左右眼那一方延遲的延遲方向，係使用目 標延遲量dly —target，由次式（2)決定。 dly __target>0 ...·····右眼延遲 .........（2) dly —target<0 ........左眼延遲 dly target=0 ........無延遲 在此，為圖方便而以目標延遲量為例予以說明，但實 際控制係由將目標延遲量加以時間上的平滑化之後的實際 延遲量delay決定延遲畫面數及延遲方向。 2 ·被攝體位置控制 •f 經濟部智慧財產局員工消費合作社印製 被攝體位置控制係於進行MTD法時，使用於管面發 生物體提示位置模糊不清的矯正。亦即，MTD法係如第2 圖所示，其由被攝體的移動，或背景的移動而所能看到的 狀況不同。為此，被攝體位置控制係在被攝體移動時，將 右眼影像之提示位置向右移位，而將左眼影像之提示位置 向左移位，以使畫面全體向裡移動5因而，得將由被攝體 至管南之畫素數，與管面至背景之畫素數相等。又於背景 移動時，將右眼影像之提示位置向左移位，而將左眼影像 之提示位置向右移位，以使畫面全體向前移動，以使被攝 體至管面之畫素數，與管面至背景之畫素數相等。 如將被攝體位置控制算出之右眼水平相位量t 一 phr與 本紙張尺度1^巾閱家鮮（CNS)A4規格⑵Q x 297公爱） —--- 3 312030 521519 A7 經 濟 部 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 五、發明說明（ 左眼水平相位量t一phi，以「場」遲延發生的被攝體相位量 obj一sisa，與背景相位量bg—sisa表示於次式（3)時，可由次 式（4)表示之。 obj —sisa=obj 一xvec* delay [pixel] ......(3) bg —sisa=bg xvec*delay [pixel] t—phr=(〇l>j —sisa+ bg jisa)" [pixel] ......⑷ t—phl=-t 一 phr [pixel] 又因實延遲量delay係將目標延遲暈dly一target予以時 間平滑化，故由MTD法產生的視差量dly」isa^〇bj sisa-bg —sisa) [pixel] (dly —sisa係在突出於前方時，取其「正」 值，且在凹入裡面時，取其「負」值使用）之絕對值，及由 使用者設定，不與事前決定之Mdly —sisa[pixel]完全一 致。如無延遲（dly —targets)時，該 dly —sisa==0。 3XID 法 CID法係將一畫面分割為複數個領域，由各領域獲得 之影像資訊及構圖推定各領域的縱深，依該推定縱深將畫 面内的各畫素予以移位，以產生兩眼視差的方法。 唯申清人係就既開發CID法予以研發更新之改良CID 法。 茲以第3圖表示改善後之cm法（未為公知習用）的控 制順序。 百先，將一畫面分割為複數個領域，由各領域獲得高 頻率、亮度對比、色彩（BHY成分）等資訊（步驟υ。然 ^ m η訊上構圖求取推定各領域之縱深推定值（步驟 ^中國 4 312030 (請先閱讀背面之注意事 寫本頁) 裝 «' •f」 521519 A7 B7 五、發明說明（5 ) 2)。若由推定獲取的推定值直接變換為移位量時，將於變 換影像生成偏移，因需進行偏移抑制處理（步驟3)。而於偏 移抑制處理後之縱深推定值施於距離尺度變換（步驟4)。 特就上述偏移抑制處理說明於後，在CID法中，係將 二維影像變形為左右兩影像，該變形影像若過大，將成為 不自然影像，故於CID法中，係將鄰接領域間之相位量差， 由使用人預定為變換影像之偏移容許範圍h_supp_lev [pixel]以下予以控制。也就是說；先將推定縱深分配於 Mfront與Mrear間，由求取各領域之相位量，獲取鄰接領 域的相位量差。然後，將該差數之最大值作為h_dv_max [pixel]，若 hdvmax 超過偏移容許範圍 h_supp_lev [pixel] 時，為滿足下式（5)，可減少Mfront與Mrear，使之向0[pixel] 方向接近。 h—dv—max S h—supp—lev .........(5) 因此，h—dvmax大於h—supp—lev時，係如第4圖之右 侧圖所示，將變換影像之突出相位量front [pixel]，與凹入 相位量rear [pixel]由下式（6)的線型演算減小為使用人預 定之最大突出相位量Mfront [pixel]及最大凹入相位量 Mrear [pixel] ° front=Mfront*h_supp_lev/h dvrnax for h_dv_max>h_supp lev …（6) rear=Mrear*h_supp—lev/h—dvmax for h_dv_max>h_supp_lev 若，h dv—max小於h—supp—lev時，該變換影像之偏 本紙張尺度適用中國國家標準（CNS)A4規格（210 χ 297公釐） (請先閱讀背面之注意事寫本頁) 裝 訂-. 經濟部智慧財產局員工消費合作社印製 312030 521519 A7 B7 五、發明說明（6 ) 差係於容許範圍内，故如第4圖之左側圖所示，使下式（7) 成立； front=Mfront for h _dv—max S h—supp—lev ······ (7) rear=Mrear for h dv max^ h supp lev 也就是說，當h —dv_ max小於h supp—lev時，變換影 像之相位動態範圍dv—range(=front，rear)，係與使用者預 定相位動態範圍Mdv—range(=Mfront，Mrear)相等。 唯於實際上，為減輕CPU負載，在實機的該抑制動態 fe圍的偏差抑制處理，係將h一supp一lev以推定縱深的單位 代替進行，為說明的方便，本項係使用畫素單位系予以說 明。 其次，將距離尺度變換手法說明於後： 在雙眼式立體顯示器中，右眼用影像（R影像）與左眼 用影像（L影像）之對應點視差量w，係與該融像位置（由^ 到的實際管面至像的距離）Υρ為非線形關係。 經 濟 部 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 也就是説，若將在顯示器面上具有視差筲[mm]的R 影像及L影像，由距離管面K [mm】位置觀察時，該由管面 至融像位置之距離Υρ⑷叫可由下式（8)表示： Yp=KW/(W_2E) ……(8) 又於上式（8)中，各變數係表示下值。 κ:顯示器管面到觀看者的距離[mm]。 E :雙眼間距離的1/2 [mm]。 W:顯示器面上的左眼用影像與右眼用影像的對應點 視差量[mm]。 ” 1本紙張尺度適用中國國豕標準（CNS)A^規格（210 X 297公釐) 6 • IV----------- (請先閱讀背面之注意事寫本頁} --線· 312030 521519 A7 經濟部智慧財產局員工消費合作社印製 ——---J5Z__ 五、發明說明（7 ) — — Yp :管面至融像位置的距離[mm]。 艮口 =以K=1000mm，2E=65mm，將上式（8)以圖表表示， /可侍如第5圖的圖表。由第5圖，若將縱深推定值以單 純的線型畫素單位予以置換，可知該融像影像必將發生空 偏差因此，在距離尺度變換手法，為考慮該空間偏差， 係將縱深度推定值變換為畫素單位。 以下’就距離尺度變換手法予以簡略的說明： 若將顯示器上的1畫素寬度為U [mm]，對應點具α畫 素分視差W時，該視差W可由下式（9)表示。 w=a U ...... (9) Υρ^Κα U/(a U-2E) .........(ι〇) 上式（10)予以變換後可獲得下式（11) a = 2E*Yp/{(Yp-K)U} .........(li) 在完全距離尺度變換，若指定其由管面之最大突出量 Yinax，，及由管面之最大縱深量Ymjn，，決定該縱深推定 值depth(0至1〇〇之值）後，該對應的縱深γρ，即可由下式 (12)表示的單純尺度變換獲得。 Yp = (Ymax，-Ymin’）x depth/100 .........(12) 而其對應之視差量α，即由上式（11)求得。由此，可 考慮空間偏差，變換縱深推定量為畫素單位。 於完全距離尺度變換中，若使用256段的視差量變換 表W”時，係如第6圖所示首先將Ymax’至Ymin’間分割為 256等分，依上式（Π)分別求取對應於各縱深值Yp之視差 量變換表W”。 本紙張尺度適用中國國家標準（CNQA4規格㈡ΜI Μ7公釐） 7 312030 (請先閱讀背面之注意事 裝.！ ，寫本頁) » . --線· 521519 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（8 ) 此時，\¥[255]為對應於丫11^乂’之視差量，而％，，[〇] 即為對應於Ymin’的視差量。決定縱深推定值後， 該對應之視差量α可由下式（丨3)求得。 a =W [lev] …（13) 式中，lev表示視差量變換表上的段數，由下式（14)付與 者。 ’ lev=25 5 xdepth/l〇〇 (14) 唯上述之2D/3D變換中之完全距離尺度變換手法，有下記量問題： (1) 若使最大突出量Ymax，大到縱深Υρ為飽和時在 近傍的縱深值部分，將使變換影像本身的偏差（R影像、L 影像本身的偏差）變大。 (2) 若需縱深再現空間的動態範圍（dynamic以吨约大，唯有 將最大縱深量Ymin’縮小，因此，由管面向前突出領域極 端變小。 一 因此，為回避上述問題，有必要僅使用縱深與視差量 為某一比例關係之領域予以變換。然而，此種作法將與= 素尺度變換略似’在處理複雜關係上，該完全距離尺度： 換已不能稱為有效。 & ^ 為此’發明人曾經考慮下面介紹的「折線距離尺声變 換」’在折線距離尺度變換中，係如第7圖所示，導入^出 ϊ C [%] ’將Ymax’至0分割為255*c/1〇〇等分而將心 至Υππη，予以255{(1_〇/100}等分，求取視差量變換表。 也就是說，控制突出量c變更由管面向前的突出詈， 二:人張/v度適用_國國豕準（CNS)A4規格（21Q X 297公爱）

312030 (請先閱讀背面之注意事 裝·—— 寫本頁) 丨線. -I I I - 521519 A7 經濟部智慧財產局員工消費合作社印製 ------- B7____ 五、發明說明（9 ) 且能抑制作為最大突出部分之變換影像本身的偏差。而於 折線距離尺度變換中，其對應於上式（12)的對應式為下式 (15)。 Yp=Ymax9x{depth-(100-C)}/C for depths (100-C)…（15) Yp=Ymin5xdepth/(100-C)+Ymin5 for depth<C 而對應於表示視差量變換表W”段數之上式（14)，即為 下式（16) lev=(25 5-Dlev)x {depth-(100-C)}/C+Dlev for depths (100-C) ...(16) lev=Dlevxdepth/(100-C) for depth<(l00-〇 此時’係以下式（17 )予以限定，以表示對應於管面之 視差量變換表上的段數。 Dlev=(100_C)x25 5/100 .........(17) 折線距離尺度變換係於管面前方及管面裡方，分別不 生成空間偏差為原則。也就是，在管面生成空間偏差者。 此係依據多數鑑賞者「看立體影像時，在其管面前後之看 法不同」之意見，假說該空間偏差係於管面近傍最難分辨 的關係。 而實際使用的數值，係於管面前後之縱深視差量變換 表的傾向（步寬）無較大差異方式設定其Ymax，、Ymin，及 C 〇 使用上述線型演算的抑壓處理，雖於畫素尺度變換為 有效，尚不能認為距離尺度變換的有效方法。因如第8圖 所示，在距離尺度變換中，縱深量Υρ與視差量w[pix - a ·--------裝--- (請先閱讀背面之注意事寫本頁) 訂·. 線· 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 9 312030 521519 A7

經濟部智慧財產局員工消費合作社印製 五、發明說明（10 ) 皆為非線型，雖縱深推定量為同一數值，如” Γ，，亦因管面 前後而其視差量即具有相當的差異性，且於大畫面顯示器 申尤為顯著。而於完全距離尺度改良型之折線距離尺度 中’為緩和該特性，特別導入突出量比C。 唯於可控制突出量比C的折線距離尺度，亦不能將鄰 接領域間之相位差最大值h—dv—max [pixel]完全抑制於偏 差容許範圍的h一supp一lev [pixel]内（無法忠實地實現畫素 尺度中之偏差抑壓原理），因而，該偏差抑壓原理之實現， 需於距離尺度變換後進行。 4.MTD法與CID法的併用 人類係以左右眼位置差生成之進入左右眼影像死角 差’察知立體視之距離感者。此點得以用MTD法彌補， 唯於不動作的影像及動作複雜的影像，即無法予以適當的 三維影像變換。而於CID法中，雖可任意變更左右眼用影 像的視差量，唯於左右眼，無法對由其視差造成之被攝體 影子死角部分，予以不同的視覺感。 為此’可考慮對動畫有效的MTD法，與可變換靜態 畫面的CID法之併用，以進行2D/3D變換。此時，可考慮 將MTD法獲得的視差，與ciD法獲得的視差予以單純的 加算。 然而，因係將MTD法的視差與CID法之視差分別予 以控制，該由變換生成的視差將由輸入影像的有無動作左 右。也就是說，輸入影像為動畫時，該MTD法的視差與 CID法之視差將反映於變化影像，唯靜止畫時，mtd法無 本紙張尺度適用中國國家標準（CNS)A!規格（210 X 297公爱） 10 312030 (請先閱讀背面之注意事 寫本頁) 丨裝 訂· 經濟部智慧財產局員工消費合作社印制衣 521519 ___B7 五、發明說明（U 視差，而僅有CID法的視差。 V輸入如像生成的變換影像立體感顯著不同的現 象對使用者之立體感調整極為不適。 [發明所欲解決的問題】

、本發月之目的，係在於提供一種於併用MTD法與CID 法隻換2D/3D影像時，得由輸入影像回避變換影像立體 感的顯著變化之變拖-祕旦 雙換一率衫像為三維影像的變換方法。 又於本發明又^ , 目的’係提供一種於使用距離尺度變 換予以變換縱深推定量 , 里馬視差里時，仔以抑制變換影像偏 差之變換二維影像為三維影像的變換方法。 [解決問題的手段] (1)於本發明中變換二維影像為王維影像的裝置說明： 於本發明中變換二維影像為三維影像的裝置，係具 備：由系像信號源輸入一雄 询八一維衫像彳§ #υ，以每場予於記憶的 場記憶體；將對應於輸入爭後 勒入衫像仏#u之場間移動的動態向 量，以輸入影像之每_ >s硤：、，W , 1或予以測出的動態向量檢測機 構；由收納於場記憶體的影傻 J以像信號中，對輪入影像信號， 以動恶向量檢測機構由各領域 只馮的勳態向量將延遲求得延遲 量=影像信號，由場記憶體予以讀出之讀出機構；依動離 向量檢測機構’測出之各領域動態向量的水平成分之/ 向’由輸入影像"fg波及場記情辦蠢山 嘴σ已隱體項出之影像信號中，以一 方影像信號作為左眼影像作铗 诼乜旒，而將另方影像信號為右眼 影像信號’予以輸出的切換機構；由輸入影像信號，以輸 入影像之每-領域抽出^徵量料徵量“鍾：饮 本紙張尺度適用中國S家標準 312030

521519 A7 五、發明說明（12 特徵量抽出機構抽出之每一領域影像特徵量，算出輸入影 像之每一領域縱深量，由算出之每一領域縱深量，算出每 一領域的視差量之視差量算出機構；將視差量算出機構算 出之每一領域視差量，以動態向量檢測機構對應於每一領 域之動態向篁大小，予以修正的視差量修正機構，及依視 差量修正機構修正的各領域視差量，修正切換機構輸出的 右眼影像信號及左眼影像信號各領域之相位，作為立體影 像信號予依輸出的相位控制機構者。 視差量修正機構，係使用使視差量算出機構算出之每 一領域視差量，減去每一領域對應於該領域動態向量大小 視差量的微分視差量的算出機構，及變更其動態範圍，以 使每一領域之微分視差量為各鄰接領域間之微分視差量之 差的隶大值為所定範圍内的算出機構者。 由視差量修正機構，具備：獲得對應於每一領域之微 分視差量領域之動態向量大小視差量之和，超越其所定範 圍時，對應於多餘視差量設走減少該延遲量的機構為宜 者。 ’ (2)於本發明中’冑換第i的二維影像為三維影像的方法說 明： " 於本發明中，變換第1的二維影像為三維影像的方法 係具備：由影像信號源輸入二維影像信號，以每場方式記 憶於場記憶體的第！步驟；對應於輸入影像信號之場間移 動的動態向量，以輸入影像之每一領域予以測出的第2步 ^;由收納於場記憶體的影像信號中，對輪入影像信號^ $^尺度適用中國國^gif(CNS)A4規格⑵「视公楚.「 312030 (請先閱讀背面之注意事 — 寫本頁) · 經濟部智慧財產局員工消費合作技印製 12 521519 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（l3 ) 以第2步驟由各領域的動態向量將 、s 信號，由場記憶體予以讀出之 ，彳延遲量之影像 出之各領域動態向量的水平成依第2步驟，測w刀（方向，由輸入影俊 及場記憶體讀出之影像信號中，以一 " ^ m ^ ^ ^ ^ ^ 方衫像信號作為左眼 〜像信说’而將另方影像信號為右眼影像信號，予以輸出 的第4步驟；由輸入影像信號， 彻八影像之每一領減站 出影像特徵量的第5步驟；依第5牛 " 傻鮮”-山认 依第5步驟抽出之每-領域影 像特徵1 ’异出輸入影像之每一領域縱深量，由算 -領域深量，#出每一領域的視差量之第6步驟；將第6 步驟算出之每-領域視差量’以第2步驟對應於每一領域 之動態向量大小’予以修正的第7步驟，及依第7步驟修 正的各領域視差量，修正第4步驟輸出的右眼影像信號及 左眼影像信號各領域之相位，作為立體影像信號予依^ 的第8步驟者。 第7步驟係具有：使第6步驟算出之每一領域視差量， 減去每一領域對應於該領域動態向量大小視差量的微視 差量的算出步驟，及變更其動態範圍，以使每一領域之微 分視差量為各鄰接領域間之微分視差量之差的最大值為所 定範圍内的算出步驟者。 由第7步轉’獲得對應於每一領域之微分視差量1域 之動態向量大小視差量之和，超越其所定範圍時，係以具^ 備將對應於多餘視差量的量減少該延遲量的步驟為宜。 (3)於本發明中，變換第2的二維影像為三維影像的方 明： 本紙張尺度適用中國國家標準（CNS)A4規格（21〇 X 297公釐） 312030 (請先閱讀背面之注意事 裝--- 寫本頁) . B7 經濟部智慧財產局員工消費合作社印製 521519 五、發明說明（w =發明中’變換第2的：維影像為三維 二維影像信號，將設定於1晝面内之複數 依抽出的畫像特:=ΓΓ=關的畫像特徵量’ ==驟；使用以所定最大突出量及所定縱深量規定之動 ㈣圍’對各縱深推定值施行距離尺度變換，求取每一視 差异出領域的暫定目標相位量的第2步驟；依每一視差算 出領，的暫定目標相位量’求取鄰接視差算出領域間的相 位f最大值的第3步驟；判定鄰接視差算出領域間的相位 ^最大值’是否在預定之偏差容許㈣内的第4步驟，及 右鄰接視差算出領域間的相位差最大值超出容許範圍以外 寺探索使上述視差算出領域間相位差為偏差容許範圍内 的動I範圍，對各縱深推定量施以使用探索動態範圍的距 離尺度變換，以求取每-視差算出領域的假想目標相位量 後，移至第3步驟的第5步驟者。 此處之所謂距離尺度變換，係指考慮縱深推定值為融 像位置，予以變換為畫素單位（視差量）的方法。對此，將 該縱深推定值變換為線型畫素單位（視差量）的方法，係稱 為晝素尺度變換。 於上述第5步驟中，修正動態範圍，以使由探索動態 範圍規定之最大突出量及縱深量的比為預定比例值後，可 使用修正後的動態範圍，對各縱深推定值予以施行距離尺 度變換。 [發明的實施形態]

裝 (請先閱讀背面之注意事寫本頁) . 本紙張尺度適用中國國家鮮（CNS)A4規格（21Q x 14 312030 521519 A7 五、發明說明（15 ) (1)第1實施形態的說明： 以下參照第9至12圖巧I拉 圖說明本發明之第1實施形態： 第9圖係表示本發明第] , 73弟1實施形態之CID法的控制步 --1---.--------裝--- 請先閱讀背面之注意事寫本頁) 首先將旦面分割為複數個領域，由各領域獲得高 頻、亮度對比、彩色（B-Y、r_y成分）等資訊（㈣u)。然 後’由該資訊及構圖求取推定久/成 〜催疋谷領域縱深之推定值（步驟 12)。對獲取的縱深推定值施以坧雜p疮纖认 值抛以距離尺度變換及偏移抑制處 理’以獲得目標相位量（步驟13)。 第10圖，係表示於第9圖之步驟13中的距離尺度變 換及偏移抑制處ίΐι之詳細流程圖。 首先，由Mfront及Mrear，以規定的動態範圍施行距 離尺度變換’以獲得假想目標相位量（步驟21、22)。依獲 線· 得的假想目標相位量，算出鄰接領域間的相位差的最大值 h—dv—max [pixel](步驟 23) ° 經濟部智慧財產局員工消費合作社印製 之後，判斷鄰接領域間的相位差最大值h_dv_max [pixel]是否係於偏移容許範圍h—Supp_lev [pixel]内（步驟 24)。若在容許範圍内時，則將假想目標相位量作為真的目 標相位（步驟27)。 若鄰接領域間的相位差最大值在容許範圍外時，即由 Mfront及Mrear將規定的動態範圍予以階段性縮小至該相 位差最大值為h supp lev [pixel]以下，以獲得最隹的front 及rear值（步驟25)。以下，為圖方便，將步驟25的處理 稱為「逐次探索處理」。逐次探索處理的詳細内容將在以後 卜紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 15 312030 521519

加以說明。 乂使藉由逐次楝索處理而求得的fr〇nt與rear的距離 比成為使用者指定距離比之方式變更加加與咖(步驟 Μ)，然後回到步驟22，再進行距離尺度變換。 重複進行步驟22、23、24、25及26的處理作業直到 鄰，領域間的相位差最大值h—dv—_ [咖⑽在偏移容 許範圍h—supp—lev [pixel】内，以獲得取終目標相位量。此 ，每次變更動態範目即進行距離尺度變換％係為使觀察者 得以實現不文立體顯示器的空間變移左右，而以縱深推定 量说識該立體影像之正確距離尺度原理。 其次，說明逐次探索處理。 若縱深推定值與相位量為非線性之距離尺度時，為使 以front與rear值規定的動態範圍擴大，該範圍的決定得 由逐次探索處理進行。 於逐次探索處理中，視差量的算出雖可用縱深視差量 變換式（式15)計算，惟使用下式預先算出的視差量變換表 W”較有效率。關於該方法，將以在〇至丨〇〇之間使縱深推 定值規格化時之管面水平的縱深值作為surface_depth (=100-C)加以說明。 若使對應於front值與rear值之視差量變換表W”上的 段數分別為 Max—lev(=255 至 Dlev)，Min—lev (=Dlev 至 0) 時，其某一縱深推定值v—depth的視差量變換表的段數iev 可由下式（18)表示。 v—depth>surface_depth B寺 . ^ I--·-------I --- (請先閱讀背面之注意事寫本頁) · -丨線· 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 16 312030 521519 A7 經 濟 部 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 五、發明說明（Π ) lev=(v—depth 細surface—depth)* (Max—lev-Dlev)/( 100 讎surface __depth)+Dlev .........(18) v—depth<surface—depth 時 lev=(v—depth^Min—lev)*(Dlev-0)/(surface—depth-Min_lev) v一depth=surface—depth B夺 lev=Dle v 對應於lev的相位量phase係由視差量變換表w"求 得’因而可由下式（19)表示； phase=Wf,(lev) .......（19) 逐^""探索處理可藉由逐漸變化Maxlev及Min_lev而 找到鄰接領域相位差為最大之2個領域的相位差小於 h—supp—lev 時之 front 值與 rear 值。 由上述式1 8可知，逐次探索處理係依鄰接領域間相位 差最大的2個領域所具有相位量關係，而有以下3種最佳 front值與rear值的探索方法。 第1種情況··該兩領域同時具有管面前方的相位量 時可將front值向〇方向移動（將向DieV移近）。 第2種情況··該兩領域同時具有管面後方的相位量 時可將rear值向〇方向移動（將Min—lev向Dlev移近）。 2 3種情况：該兩領域中有一領域具有在管面前方的 相位里另一領域在具有管面後方的相位量時，可將front 值與⑽值同時向0方向移動⑽Maxlev及Mlnlev向 Dlev 移近）。 一 —在第3 時’可以逐次探索處理，保持使用者事 ----— 17 312030 (請先閱讀背面之注意事 裝--- 寫本頁) t · 線· 521519 五、發明說明（is ) 先指定之距離比，亦即為保持式2〇的關係，使―丨… 及Min—lev向Dlev移近。 (255-Dlev) : Die 中(MaxJev_Dlev) : (Dlev養n—㈣…（2〇) 上式（20)與第10圖的步驟26之處理，為同義。而於 第1種情況及第2種情況，係為減少演算量，不在逐次探

I 索處理時進行該距離比之變更處理，而於第1〇圖中的步驟 26中處理。 又，於距離尺度中導入該距離比之維持方法，係為了 保持於動態範圍變化時與管面前後的縱深關係者。也就是 如第11圖所不，在第1種情況減少在管面前方的距離2〇% 時，亦減少在管面後方的距離2〇%，以維持管面前後關係。 訂 若於視差量變換表上進行該距離比之維持，則可維持 突出量比C之關係。因此，可提供一種，由相對縱深認知 空間傾向的觀察人無不適感的變換影像α ‘線 然而，由於觀察人的眼睛特性，有適於擴大全動態範 圍為宜的影像時，此時即不於第i種方式、第2種方式進 行距離比維持’僅進行量比的維持。 第12圖係僅進行量比維持之折線距離尺度變換時，及 為進行維持距離比處理時的模式圖。該僅進行量比維持之 折線距離尺度變換，係以管面縱深推定值為界，取得另一 範圍變換之縱深推定值與視差量變換表的對應。而於維持 距離比時，該縱深推定值之視差量變換表係丨個範圍變換 對應。又於第12圖中之因數iev(phase)，係表示上式（19) 之反因數，係意味著由相位量求取視差量變換 ^張尺ϋ用Γ國一國家標準（CNS)A4規1_(;7297公爱-----—-_ 18 312030 521519 19 A7 五、發明說明（19 ) 表的段數。 (2)第2實施形態的說明： 錄將參照第13及14圖，說明本發明之第2實施形態 於下： 於第13圖中，1為作為VTR、CD_R〇M、τν廣播等 之影像信號供應機構的影像供應源，2係將由影像供應源 供應之二維影像信號變換為三維影像信號，即係左眼用晝 像傳號L及右眼用畫像信號R的2D/3D變換裝置，而3 係使用影像分叉器（刪ge splltter)方式等，將2d/3D變換 裝置2輸出之三維影像信號予以顯示的立體顯示機構。 茲就2D/3D變換裝置2之構成說明於後； 4係將該影像供應源1輸出之影像信號，以每域單位 予以記憶其影像的域記憶體（field me_ry)，5係由影像供 應源1輸出之影像信號檢出動態向量的動態向量檢出機 構。 6係由影像供應源1輸出之影像抽出色成分的色抽出 機構’ 7係由影像供應源！輪出之影像抽出對比（⑽咖) 的對比抽出機構’ 8係由影像供應源1輸出之影像抽出言 頻波成分的高頻波成分抽出^ 饿構且以色抽出機構0、對 比抽出機構7及高頻波成分抽ψ攙 X刀抽出機構8構成影像特徵量抽 出機構。 9係由動態向量檢出機構5檢出的動態向量求取移動 方向及其動量(動態向量的大小)予以輸出的動量計算機 構。1〇係以現狀畫像為基準，對應於由動量計算機構9輸 312030

A7 五、發明說明（2〇 出的動量之域數，由域記憶體4 制機構。11 & π Aβ ~ %出延遲畫像的記憶體控 準書傻輪出的移動方向，切換基 一像（現在畫像）及延遲畫像中 信號L，+、 中之任意一方為左眼用影像 儿七，或以右眼用影像信號R 構。 U R ’予以輸出的信號切換機 12係由影像供應源1之豢穑 分，〈如像，以色抽出機構6之色成 刀及動ΐ計算機構9算出之叙旦心 背旦篕m 之動置與方向，將如被攝體與 貪不等可判斷為同一物體的部八 化眘却μ被 邛刀予以群（group)化，輸出群 化貧訊的群化機構。！ 3係由叙旦 盥於继几地 由動置计箅機構9算出的動量， /、於群化機構12獲得的群化資 貝讯算出縱深資訊，以作成縱 映射圖的第1縱深映射圖形成機構。 η係以資訊群化機構12，於每—群化領域由對比抽出 •出之對比貝甙算出縱深資訊，作成縱深映射圖的 第2縱深映射圖形成機構…係以資訊群化機構12，於每 ::化領域由高頻波成分括出機構、抽出之高頻波成分資 Λ鼻出縱珠資訊，作成鄉、、裳 作成縱冰映射圖的第3縱深映射圖形成 機構16係以事先設疋的構圖資訊，與由資訊群化機構η 予以群化的領域貝訊算出縱深資訊，作成縱深映射圖的第 4縱深映射圖形成機構。 17係將第1至第4縱深映射圖形成機構η、"、"' 16作成的縱冰映射圖予以加權合成計算，作成合成映射圖 之合成映射圖形成機構。18係由合成映射圖形成機構17 作成的合成映射圖算出每一所定視差領域視差量之視差量 計算機構。19係依視差量計算機冑18冑出的每一視差量 (請先閱讀背面之注意事寫本頁) 裝 丨線· 經 濟 部 智 慧 財 產 局 員 工 消 費 合 社 印 製 本紙張尺度關緖伐格（^ 297公釐） 20 312030 521519 A7

! I 1 21 312030

請

先I 閱 讀 背 面 1

I

頁 訂 λ 521519

五、發明說明（η) 經 部 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 該1個域的畫像領域内設定複數書 由色抽出捲嫌& — 金你—家特徵1檢出領域。而 巴抽出機構ό以母一畫像特徵量 咨％ w ®領域抽出該域之& 貝訊。對比抽出機構7係以每—查# ® -域之色 該域之斟+ —掘士旦像特徵量檢出領域抽出 -之對比。尚頻波成分抽出機構8 拾屮a h , 糸以母一晝像特徵量 檢出領域抽出該高頻波成分。又於 田认貝成群化機構12，係傕 ::被攝體及背景等的判別，由色抽出機構6，以每一查==檢出領域抽出之色資訊，與步驟32中檢出的：量 興旦像内之領域予以群化。 之後’作成縱深映射圖（㈣35)。也就是，由第μ 冰映射圖形成機構13’依動量計算機構9算出之動離向量的動量及由資訊群化機構12基於群化資訊作成^縱深映 射圖。 又，第2縱深映射圖形成機構14，係依對比抽出機構 7抽出之每—畫像特徵量檢㈣域之對比，與資訊群化機 構12基於群化資訊，作成第2縱深映射圖。而第3縱深映 射圖形成機構15,即依高頻波成分抽出機構8以每一畫像 特徵蓋檢出領域抽出之高頻波成分，與資訊群化機構12 獲得之群化資訊，作成第3縱深映射圖。 而’第4縱深映射圖形成機構16係於事先設定之畫面 構圖（如以風景畫為主體，即畫面下方為地，上方為天空， 畫面中央部為被攝體），與由資訊群化機構12獲得之群化 資訊’作成第4縱深映射圖。 再作成合成縱深映射圖（步驟36)。係由合成映射圖形 成機構17,將第1至第4縱深映射圖形成機構13、14、15、 (CNS)A4 規^ ^ 22 312030 1 I I I I1IIIII — I I · I 1 (請先閱讀背面之注意事寫本頁) «I 叮·- .•f. 五、發明說明（23 ) 16作成的第i至第4縱深 成縱深映射圖。 、射圖予以加權合成計算作成合 機構tV十算視差量(步驟37)。也就是說；視差量計算 機構18，係依合成映射圖 mi 口形成機構17作成的合成縱深映 射圖’以事先所定的每一視差 十异領域算出左眼用影像 及右眼用影像的視差量。 上述步驟34及步驟37係相當於CID法的動作。 其次，修正視差量(步驟38)。也就是說；視差量計算 ，以，係對應於由動量計算機構9算出之動態向量的動 里，修正步驟37算出的每一視差量領域之視差量。且體 上，係對步驟37算出的每一視差量領域之視差量，減少延 遲畫像對基準畫像延遲量部分之對應視差量。 再次，對應於修正後的視差量，進行左眼用影像1及 右眼二影像R的水平移位（步驟39)。也就是說；由水平位 置《又疋機構1 9，將信號切換機構u輸出的左眼用影像乙 及右眼用影像R，依步驟38修正的視差量，進行每一畫素 的水平移位。 ^ ' 經 濟 部 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 然後，以立體顯示機構3將水平位置設定機構19予以 水平移位後之左眼用影像L及右眼用影像R顯示（步驟 40) 〇 (3)第3實施形態的說明： 兹將參照第1 5至23圖，說明本發明之第3實施形態 於下： 〜 弟1 5圖係表示第3實施形態的2D/3D變換裝置之概 本。氏语、尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 521519 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（24 ) 略構成不意圖。 第15圖中，1〇1係作為VTR、CD-ROM、TV廣播等 衫像#號供應機構的影像供給源。1 q 2係將影像供給源1 供應的二維影像信號變換為三維影像信號的左眼用影像信 號L及右眼用影像信號r之2D/3D變換裝置。1〇3係將 2D/3D變換裝置102輸出之三維影像信號，以使用影像分 叉器（image splitter)方式予以顯示之立體顯示機構。 茲將2D/3D變換裝置102的構成說明於後： 104係將上述影像供給源1〇1輸出之影像信號以每 「域」單位予以記憶的域記憶體，1〇5係由影像供給源 輸出之影像信號檢出動態向量的動態向 ⑽係由影像供給源ΠΠ供應之影像，二構單位 抽出色成分、對比、高頻波成分等畫像特徵量之畫像 量抽出機構。 — no係由動態向量檢出機構105檢出的動態向量算出 延遲量的延遲量計算機構。而1()7係以現 準，由域記憶體104讀出對應於β —象為基 才應於由延遲量計算機構110算 出之延遲量延遲「域」數分畫像（延遲查 ^ , 〇〇 ^ ^ 里像）的記憶體控制 機構。1G8係依延遲量計算機構11()心 輸入畫像及延遲畫像中，選擇任 " 與I I，4 + e m 方予以切換為左眼用 〜像或為右眼用影像尺的輸入信號切換機構。 而109係依由畫像特徵量抽出機構1〇6抽出之各一 「域」畫像特徵量’算出之每「 中/古斗瞀拖4盘, /衣推疋值之縱深推 “機構。111係依縱深推定值計算機構109算出之 ϋ度適用令國异出之 24 312030 (請先閱讀背面之注意事 裝—— 寫本頁} a^T. •線· 521519 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（25 ) 每「域」縱深推定值，算出CID法之每「域」視差量（相 位量），同時，由延遲量計算機構11〇輸出之MTD法的視 差里修正CID法之視差暈，算出統合視差量（統合相位量） 的視差量計算機構。 113係依視差量計算機構〗丨丨算出之統合視差量，將 由輸入信號切換機構1 08輸出之左右眼用影像的各域（例 如·畫素單位），以水平方向移位予以合成的立體影像合成 機構。 112係依視差量計算機構lu算出之統合視差量及由 延遲量計算機構110輸出之MTD法的視差量，控制延遲 量的視差量監視機構。 於本實施形態中，係以CID法獲得的縱深推定值為基 準，進行立體空間的再現。即係進行於CID法附加由MTD 法閉塞（occlusion)的立體影像提示。該具體方法係由CID 法算出的各域相位（視差鳌）減去MTD法之相位（視差量： 因域延遲結果而生成之相位），使併用MTD法與法後 各域相位等於CID法的相位。為此，需以下記優先順位， 控制以MTD法及CID法生成的相位量。 5 : 3定的相位量最大範圍Urange [pixel]。 變換畫像之相位移位而產生畫像偏移限制 h—supp—lev [pixel] 〇 由CID法推定的縱深形狀（縱深推定值之形狀）。 由MTD法生成之不超過urange的相位量 dly—sisa [pixel] 〇 由CID法生成之相位量[pixel]。 優先順位的定義如下： -同優先順位為「順位1」，保證統合相位不超過使用 ‘紙張尺度顧中丽家標準（cns)a7^t^ x 297公髮） 順位 順位2 順位3 順位4 順位5 312030 --1---‘---I------- (請先閱讀背面之注音？事寫本頁) . 521519 A7 B7 五、發明說明（26 ) 人設定的相位量最大範圍Urange。 由順位2」保證，以統合相位控制（尤係（iD法時 生成，畫像偏移係於限界值内（h一Supp—lev以内）者。 「順位3」係表示對CID法產生的各域縱深推定值 深形狀），在併用MTD法與CID法後亦予以保全。'、、 「順位4」係保證由MTD法生成之視差量不超過 Urange ° 最低優先順位的「順位5」係表示以CID法生成 位在併用MTD法後’其係與⑽法單獨生成之相 同的數值者。 7个 第16圖係表示統合相位控制的全體控制處理手法之 訂 抓程圖。而於第17圖表示實施時之統合相位控制的全體動 作的模式圖。 剌的王體動 ‘線 賓'先，以畫像特徵量抽出機構1〇6抽出畫像特徵量（牛 驟51)。由縱深推定值計算機構1〇9依畫像特徵量抽出機 構106抽出之畫像特徵量，進行⑽法之縱深推定（ 叫。即係對算出之頻率、對比、構圖分量、被攝體背景 疋結果分量加權計算適當比率，以求取縱深推定值。 而於統合相位控制，因CID法係對動畫使用，該加權 ^係對應於影像内的動作速度為可變值。為補償動作快 ^的尚頻波成分棱的下降傾向’係減少該高頻波成分的加 權比率。 然後，將該求得的縱深推定值變換為冊〇加與山咖 距離尺度（完全二離尺度或折線距離尺度），以⑽法 复） 26 312030 521519

經濟部智慧財產局員工消費合作社印製 求取各域的相位量（步驟53)。由該CIP法求取的相位減去 MTD法之相位（=域延遲量父該域之水平方向動態向量 值），求得差分相位（步驟54)。對該差分相位施行使鄰接域 相位ΐ之差為h—supp〜lev [pixel]以下的偏差抑壓處理（步 驟 55) 〇 又，於第1 7圖之差分相位（ = cm相位-MTD相位）中， MTD相位之右端與CID相位左端重疊，係因每域中之兩方 法相位不同的關係。由此，表示於第1 8圖中所示之cid 法各域相位ph—cidj減去MTD法各域相位ph mtdj之各域 差分相位ph—diffj (二ph cidj - Ph—mtdj)的行為定義極為 明顯。又式中之j係表示「域」號。 第18圖中，上側3列4行的數值係表示各域相位量 [pixel] ’且於下側圖中，將各域的相位量予以配列為一列， 以便於容易認識。 而於第17圖中之偏差抑制處理後的相位，係表示對差 分相位進行偏差抑制處理。統合MTD法與CID法的上述 偏差抑制處理後之相位（統合相位）中，該最大凸出相位量 Ufront [pixei]及乘大洙入相位量ure$r [pixei]即可由第1 & 圖所示的迴路處理求得。 第圖係表示第16圖中之步驟53、54、55之詳細處 理内容者。該處理係由視差量計算機構111進行。 首先，於Ufront’及Urear，設定使用人設定之Ufr〇nt 及Urear(步驟61)後，於Ufront，及Urear，規定之動態範圍 施行距離尺度變換，獲得CID相位量（步驟62)。求取由

312030 (請先閱讀背面之注意事 .— 寫本頁) 訂： 線！ 27 521519 A7 經濟部智慧財產局員工消費合作钍印製 五、發明說明（28 CID相位減去MTD相位的臨時差分相位（步驟63)。由該臨 時差分相位求得的鄰接域間相位差的最大值（各鄰接域間 差刀相位里差中之最大值）hdv—max [pixel](步驟64)。然 後’進入步驟65。 如後述，鄰接域間差分相位量差之最大值！^dv_max [PiXel]係不在偏差容許範圍hsupp—lev [pixel]内時，縮小 動態範圍’以使鄰接域間之相位差在偏差容許範圍内後， 再進行上述步驟62、63、64的處理。 步驟65係於進行該迴路處理時，判別上次步驟64算 出的相位差最大值hdvmax [pixel】是否較本次步驟64算 出的相位差最大值hdvmax [pixel]為小。 而於上述迴路處理未進行時，若於步驟判定為 NO，即判定本次步驟64算出的相位差最大值h_dv_max [pixel]疋否在偏差容許範圍hsuppiev [pjxei]内（步驟 66)。若係在範圍内’即將臨時差分相位作為真目標相位（步 驟 72) 〇 若該相位差最大值hdv—max [pixei]不在於偏差容許 乾圍内，為輕減CPU的負載，判定迴路次數是否為限制迴 路-人數内（步驟67)。若迴路次數大於限制迴路次數時，即 對臨時差分相位進行後述的強制偏差抑制處理，以求取真 目標相位（步驟7 3)。 又若迴路次數少於限制迴路次數時，退避臨時差分相 位（步驟68)後，以階段式縮小Ufr〇nt，及价❺訂，規定之動態 範圍至鄰接域間相位差為h supp」ev [^μΙ]以下，以獲得 尺度_中關家標準（CNS)A4規格d_97公髮）---—-— 28 312030 (請先閱讀背面之注意事 寫本頁) 裝 訂： -丨線' 521519

經濟部智慧財產局員工消費合作社印製 五、發明說明（29 ) 最適當的ufront及urear為止（步驟69)。下文中，稱此種 處理作業為逐-人探索處理」^此種逐次探索處理的詳細作 業於後文再述。 將由逐次探索處理獲得的ufront與urear的距離比， 變更為使用人指定之距離比（步驟7〇)。然後，將獲得的 ufront及urear設定於ufront’及Urear，，以變更動態範圍 (步驟71)後’回歸步驟62再度進行距離尺度變換。 步驟62至步驟71之一連串處理，係將鄰接域間相位 差之最大值h一 dv—max [pixel]是否可為偏差容許範圍 h—supp jev [piyei]内，該處理需重梭至於中途中斷，以獲 得最終目標相位量為止。 以第19圖，特就兩種迴路的中斷發生依序說明於後： 第1的中斷係於步驟67中，為輕減CPU負載，迴路 次數到達限制迴路次數時發生。由該條件發生迴路的中斷 時’係如下式（21)所示，對臨時差分相位進行與上述式（6) 同意義的畫素尺度偏差抑制處理，以決定ufront及urear 值’將該範圍内之縱深推定值予以變化。 ufront =df ufront * h supp lev / h_dv_max for h—dv—max > h supp lev urear ^df urear * h supp lev / h dv max for h—dv一max > h—supp lev ...(21) 此時之df ufront及df—tirear即分別代表臨時差分相位 之最大值及最小值，係於對鄰接域間之最大相位差算出階 段取得者。然後，如上述，將差分相位收納於獲得之新範 —?---*--------— (請先閱讀背面之注意事寫本頁) . · 丨線· 本紙钣尺度適用中國國家標準（CNS)A4規格（21〇χ 297公釐） 29 312030 521519 A7 五、發明說明（30) 園内。且，對上述式（21)之ufr〇nt及 一 及urear，進行如下式（22) 所示的距離比·處理亦無任何問題。 (255-Dlev) ： Dlev Mlev(ufr〇„t)-DIev} : {DIev.lev(urear)} .........(22) 第2的中斷係發生於步驟65 _。其係於進行步驟62 至71之迴路處理時，由前次的步驟料算出的相位差最大 值h_dv一max[pixel]，若較本次步驟M算出的相位差最大 值h—dv—max [pixel]為小時發生。 此種中斷的發生，係於現狀迴路雖充分縮小其動態範 $，但該鄰接域間相位差之最大值11一(1、111^有仍然小於 m —人迴路獲得值之狀況。此狀況係發生於因偏差抑制處 理未能變更MTD法生成之相位者。即如第2〇圖所示，由 MTD法生成之被攝體及背景的相位差較大時，雖增加迴路 次數，且因MTD相位的相位差妨礙，有未納縮小動態範 圍之狀況，因此，該差分相位無法為h supp一lev以下者。

此時，可中斷處理作業，以步驟73相同的處理進行動 態範圍的變更（步驟74)。唯於此時，係對步驟68之退避差 分相位進行動態範圍的變更。此時對臨時退避差分相位的 動態範圍變更，係為緩和偏差抑制迴路之重裸，使MTD 法的相位影響差分相位形狀而減少差分相位之動態範圍傾 向。 唯此種手法僅係一種對症療法而已，不法減低由MTD 法的相位引起強制偏差抑壓處理之發生頻度。 為減低該現象的發车頻度，需減少MTD相位本身的 本紙張尺度適用中國國家標準(CNS)A4規格⑵〇 x 297公爱） 3〇 312030 注 意 事

貪 訂

經濟部智慧財產局員工消費合作社印製 521519 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（Μ ) 郴接域間相位差。為此，於統合相位控制上，係將各域 =TD相位為ph_mtdj，且使用該域原來的視差量卜域延遲 蓋X該域之水平方向動態向量值）與鄰接域間平滑化後的 數值。 、又為減低強制偏差抑壓處理之發生頻度，可使mtd 法/、CID法的相位开> 狀相似，為此，於統合相位係如第16 圖所不，在MTD相位大的領域中，亦為CID相位變大而 考慮被攝體背景之判別結果，進行縱深之推定。 兹就第19圖步驟69中之動態範圍的「逐次探索處理 予以說明如下： ① 決定差分相位之鄰接域間相位差最大的領域。 ② 決疋板索方向。對應於在①項決定的相位差申互為最大 兩域的CID相位值決定其探索的方向。 ③ 使ufront或urear值接近於管面值。 ④ 對上述兩域進行更新後，使用以uf舰t值及㈣ar值規 把的動UK ’進行距離尺度變換，#出上述兩域之C出 相位。 ⑤ 計算兩域的差分相位卜CID相位_MTD相位）。 ®計算兩域間的差分相位之相位差h—dv—max。 ⑦將®項求得的相位差h—dv—max，q下記順序予以判定。 1) f hjv—max 小於 h—supp—lev 時，終了該處理。 2) 右h—dv—max較前一迴路時之h—^一瓜⑽為大時，將 所求值為前一迴路使用的也⑽值或urearm，予以 終了該處理。 本紙張尺度賴'國糊票準---一 — 31 312030 ---.---.--------裝 (請先閱讀背面之注音？事寫本頁} 訂----

n i tamK -線卜 521519

經濟部智慧財產局員工消費合作社印製 3)右h—dv—max較h—SUpp—lev大時，跳至③項。 八一人，就於視差量監視機構112進行MTD法生成視差（相 位）之控制方法，予以說明。 在保持CID法之立體再現性之統合相位控制，不在 MTD法中使用被攝體位置控制。因此，由mtd法生成之 相位，有超過使用人事先所定之最大突出相位量Ufront [Pixel]及最大凹入相位量Urear [pixel]者發生該現象時 的相位行為係如第21圖所示。圖中，右端的”〇κ，，符號係 表示MTD相位與差分相位之「和」的統合相位，係位於 使用人事先所定之動態範圍Urange内者。又，，，NG，，符號 係表示統合相位超越動態範圍Urange者。 且在"NG”案中，有下示之問題發生。 虽Urear與眼間隔為同距離時，無法在距離尺度上限 定眼間隔以上的縱深。又於偏差抑壓處理後尚維持該，，NG， 現象時’統合相位即無法遵守於該Ufront内之立體再現原 則。 為解決該間題’事先設定決定由MTD法生成立體感 之視差量Mdly—sisa為小值或可避免該”NG”現象的發生， 唯該方法有因MTD法而損及立體感之虞。因此，為取得 較大Mdly一sisa，容許某程度的”NG”現象發生，僅在發生 超過Ufront及Urear相位時，進行縮小目標延遲量 dly—target的控制（參照第22圖）。 又於該方法中’為抑制Ufront内的相位，可於開始時， 在使用人設定值之Ufront友Urear，考慮併用MTD法時發 本紙張尺度通用中國國家標準（CNS)A4規格^11^97公釐） 32 312030 (請先閱讀背面之注^\思事寫本頁) 裝 · ' -線 A7 五、發明說明（33 生之Urange超出邦八

Ufront » ττ 刀，將較各值為小的絕對值作為内部

Uiront及Urear予以虛 離尺度的手法中，…。而於使用視差量變換表變換距 於該變換表t。 …出變換表的相位量即需設法收納 第23圖係表示實 一 从曰、 見第22圖所示之控制處理程序（由視 差^:監視機構112進杆的扯 逆仃的控制處理程序）者。 ' 圖中係於各域統合相位（實際相位與實際延 遲量的和）超出Ufront七ττ ^ nt或Urear時，將該目標延遲量予以縮 小 〇

、Μ為此，每一域被攝體領域及背景領域係以分別的MTD 法算出相位里(步驟81)。而於現域的相位量計算，為提高 其準確度，係使用實際相位phase[pixel]及實際延遲量 delay [field]進行。 而於實際的控制uMTD法的域延遲生成被攝體 領域之實際視差Obj—sisa，[pixel]&背景領域之實際視差 bg—sisa [pixel]，未知所屬領域之NQ領域之實際視差 ng—sisa’ [pixel]，以下式（23)求取。 obj sisa，= obj—Vect * delay bg一sisa，= bg一vect *delay ng—sisa’ = (objsisa’ + bgsisa’）/2 .........(23) 又如下式（24)所示，將該值與各領域之真目標相位 量，予以時間上的平滑化的實際相位量[pixel】加 昇’求取各領域實際統合相位量u—phasej [pixel](步驟 82) 〇 裝--- (請先閱讀背ί注意事寫本頁) · 線- 經濟部智慧財產局員工消費合作社印製 &紙張尺度適用中國國家標準（CNS)A4規格（210 χ 297公爱） 33 312030 521519 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（34 ) u phasej5 = obj—sisa’ + ph—diffj for 被攝體部領域 u phasej’ = bg—sisa’ + ph—diffj for 背景部領域 u—phasej’ = ng—sisa’ + ph—diffj for NG 的領域…（24) 然後，以下式（25)求取為計算該實際統合相位量 u phase是否於使用人設定之Ufront至Urear範園，將表 示範圍外時之該領域相位超出相位量〇ver_phase [pixel] (步驟83)。 over phasej = u phasej - IJfront for u pliasej > Ufront over phasej = -(u phasej - Urear) for Urear > u phasej over—phase』二 0 for Ufront ^ u phasej^ Urear ......(25) 再次，求取構成一畫面各領域的over_phase最大值 over—maxp [pixel]，若 over—maxp 不為 0 時，進行縮小目 標延遲量的目標延遲量抑壓處理（步驟84)。 在目標延遲量抑壓處理中，先將由於域延遲而發生之 現域實際視差量dly_sisa’ [pixel]的絕對值減去由上式（25) 求取的over_maxp，由下式（26)求得可由能MTD法生成的 視差量dly sisa”。 dly—sisa” = | dly sisa’ | -over—maxp =I obj sisa’-bg—sisa’ | -over—maxp .....(26) 然後，以該dly_sisa”為基，由下式（27)求得抑壓目標 延遲量 dly target’ dly targef = dly sisa / (obj_xvec - bg xvec) [field] ... (27) 為備於實際延遲量的推移速度係對應於實際延遲量與 目標延遲量之差數予以變化的手法，比較dly target’與抑 (請先閱讀背面之注意事 寫本頁) 言 r 本紙張尺度適用干國國家標準（CNS)A4規格（210 X 297公釐） 34 312030 經濟部智慧財產局員工消費合作社印製 521519 A7

五、發明說明（35 ) 壓前目標延遲量dly—target的大小，將較小的一方作為最 終抑壓後的目標延遲量dly 一 target”。換言之，該最終抑壓 後的目標延遲量dly一target”係以下式（28)予以表示之。 dly target^ = delay -1 for Ο < delay < dly target， dly—target” = delay +1 for 0 > delay > dly target5 (28)

御一target” = dly—target，for 丨 delay 丨 > I dly target5 I 此處，係由實際延遲量與實際視差進行MTD法的相 位抑壓，唯以CPU的負載為優先時，可由目標相位、目標 延遲量予以進行之。 [附圖的簡單說明] 第1圖係說明習用MTD法的模式圖。 第2圖係說叼被寫體位置控制的模式圖。 第3圖係表示習用CID法之控制處理手法的流程圖。 第4圖係表示習用CID法中之動態範圍抑制處理的模 式圖。 第5圖係表示視差量w與該融像位置Υρ關係的圖 表。 第6圖係說明完全距離尺度變換的圖表。 第7圖係說明折線距離尺度變換的圖表。 第8圖係表示因縱深γρ與視差量w(pixel)為非線形， 而該縱深推定量雖為同值，其位於管面前後之視差量且具 極大差異的圖表。 第9圖係表示本發明第1實施態樣的CID法控制手法 的流程圖。 --*---!--I---11 --- (請先閱讀背面之注意事寫本頁) 訂-- -線· 本纸張尺㈣心 35 312030 521519

第圖係表示第9圖中，步驟13的距離尺度變換及 偏移抑制處理之詳細流程圖。 、 第11圖係表示導入距離比維持手法，亦能於動態範圍 變化時保持其管面前後的縱深關係的圖表。 第12圖係表示僅進行量比維持之折線距離尺度變換 時’及為進行維持距離比處理時的模式圖。 第13圖係表示第2實施態樣的2D/3D變換裝置之概 略構成的示意圖。 第14圖係表示第〗圖中2d/3D變換裝置之動作的流 程圖。 第15圖係表示第3實施態樣的2D/3D變換裝置之概 略構成的示意圖。 第16圖係表示統合相位控制的全體控制處理手法之 流程圖。 第17圖係表示統合相位控制的全體動作的模式圖。 第1 8圖係表示統合相位控制的核領域動作的模式 圖。 第19圖係表示第16圖中，步驟53、54、55之詳細流 程圖。 第20圖係表示統合相位控制中進行之偏移抑制例的 模式圖。 第21圖係表示需或不需由MTD法調整相位時的模式 圖0 第22圖係說明Mtd法之相位抑制處理的模式圖。 ------:--------褒— (請先閱讀背面之注意事寫本頁) '線！ 經濟部智慧財產局員工消費合作社印製 本紙張尺度賴中S國家標準（CNS)M規格⑵G X视公爱） 36 312030 521519 A7 B7 五、發明說明（37 ) 第23圖係表示延遲量抑壓處理手法之流程圖。 經濟部智慧財產局員工消費合作社印製 [符號的說明] 1 影像供應源 2 2D/3D變換裝置 3 立體顯示機構 4 域記憶體 5 動態向量檢出機構 6 色抽出機構 7 對比抽出機構 8 高頻波成分抽出機構 9 動量計算機構 10 記憶體控制機構 11 信號切換機構 12 資訊群化機構 13 第1縱深映射圖形成機構 14 第2縱深映射圖形成機構 15 第3縱深映射圖形成機構 16 第4縱深映射圖形成機構 17 合成映射圖形機構 18 視差量計算機構 19 水平位置設定機構 101 影像供應源 102 2D/3D變換裝置 103 立體顯示機構 104 域記憶體 105 動態向量檢出機構 106 畫像特徵量抽出機構 107 記憶體控制機構 108 輸入信號切換機構 109 縱深推定值計算機構 110 延遲量計算機構 111 視差量計算機構 112 視差量監視機構 113 立體影像合成機構 (請先閱讀背面之注意事 寫本頁) 言 Γ 本張尺度適用T國3家標準（CNS)A4規格（210 X 297公釐） 37 312030

Claims (1)

1. 申請專利範圍 經濟部智慧財產局員工消費合作社印製 -種將二維影像變換為 由影像信號源輪入…像之裝"具傷： 記憶的場記憶體； 維衫像信號’以每場方式予於 將對應於輪入影像 輪入影像之每1域予…場間移動的動態向量，以 由收納於場鄉體：測出的動態向量檢測機構； 號’以動態向量檢測機=象信號中’對輪入影像信 yg 機構由各領域的動態向量妝2 得遲延量之影像信铲，“ 1扪動』里將延遲求 構； 〜由场記憶體予以讀出之讀出機 平㈣態向量檢測機構，測出之各領 倖躲士 輪衫像信號及場記憶體讀出之影傻 ::中’以-方影像信號作為左眼影像信號，而將= 衫像信號為右眼影像信號，予以輸出的切換機構· 由輸入影像信號’以輸人影像之每— 特徵量的特徵量抽出機構； 抽出衫像 依特徵量抽出機構抽出之每一領域影像特徵量，算 :輸入影像之每一領域縱深量，由算出之每一領域縱深 里舁出每一領域的視差量之視差量算出機構； 將視差I异出機構算出之每一領域視差量，以動態 向量檢測機構對應於每一領域之動態向量大小，予以修 正的視差量修正機構，及 依視差量修正機構修正的各領域視差量，修正切換 機構輸出的右眼影像信號及左眼影像信號各領域之相 位’作為立體影像信號予依輸出的相位控制機構者。 ---------------------訂---------線 (請先閱讀背面之注咅？事項再填寫本頁} 本紙張尺度適國國家標準（CNS)A4規格⑽x 297公爱） 38 312030 521519

   六、申請專利範圍 2·如申凊專利範圍第1項之二維影像變換為三維影像之裝 置’其中’視差量修正機構，係具有： (請先閱讀背面之注音？事項再填寫本頁) 使視差量算出機構算出之每一領域視差量，減去每 一領域對應於該領域動態向量大小視差量的差分視差 量的算出機構，及 變更其動態範圍，以使每一領域之差分視差量為各 鄰接領域間之差分視差量之差的最大值為所定範圍内 的算出機構者。 3·如申請專利範圍第2項之二維影像變換為三維影像之裝 置，具備：由視差量修正機構，獲得每一領域之差分視 差量與相對應領域之對應於動態向量大小之視差量之 和’超越其所定範圍時，將對應於多餘視差量的量減少 該遲延量的機構者。 4 · 一種將二維影像變換為三維影像之方法，係具備： 由影像信號源輸入二維影像信號，以每場方式記憶 於場記憶體的第1步驟； 經 濟 部 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 對應於輸入影像信號之場間移動的動態向量，以輸 入影像之每一領域予以測出的第2步驟； 由收納於場記憶體的影像信號中，對輸入影像信 號’以第2步驟由各領域的動態向量將延遲求得遲延量 之影像信號，由場記憶體予以讀出之第3步驟； 依第2步驟，測出之各領域動態向量的水平成分之 方向’由輸入影像信號及場記憶體讀出之影像信號中， 以一方影像信號作為左眼影像信號，而將另方影像信穿 本紙張尺度中國國家標準（CNS)A4規格（210 X 297公爱） 39 312030

   申請專利範圍 為右眼影像信號，予以♦ 了从輸出的第4步驟· 由輸入影像信號，以认 ’ 特徵量的第5步驟；·』入〜像之每一領域抽出影像 $ 4象Τ’ 抽出之每一領域影像特徵量，算出輸八 如像之母一領域縱深量， ^ - 母領域縱深量，鼻 出每領域的視差量之第6步驟； 將第6步驟算出之每一 貝戈視差量，以第2步鱗對 應於每一領域之動態向量 1大小，予以修正的第7步驟， 及 依苐7步驟修正的各作祕曰 合項域視差1，修正第4步驟輸 出的右眼影像信號及左眼爭德产 氏〜像#就各領域之相位，作為 立體影像信號予依輸出的第8步驟者。 5·如申請專利範圍第4項之-維旦彡後纖说* ^ 七 <^一維衫像變換為三維影像之方 法，其中，第7步驟係具有： 使第6步驟算出之每一領域視差量，減去每一領域 對應於該領域動態向量大小視差量的差分視差量的算 出步驟，及 變更其動態範圍，以使每一領域之差分視差量為各 鄰接領域間之差分視差量之差的最大值為所定範圍内 的算出步驟者。 6·如申請專利範圍第5項之二維影像變換為三維影像之方 法，具備：由第7步驟，獲得對應於每一領域之差分視 差量與對應之領域之動態向量大小相對應之視差量之 和，超越其所定範圍時，將對應於多餘視差量的量減少 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） --------—--------訂--------- C請先閲讀背面之注意事頊存填寫本買) 經濟部智慧財產局員工消費合作社印製 312030 521519 A8 _ ?88 --—----^____ 六、申請專利範圍 該遲延量的機構者。 7·種將一維影像變換為三維影像之方法，係具備： (請先閱讀背面之注意事項再填寫本頁) 依一維影像信號，將設定於1畫面内之複數視差算 出項域’分別抽出對影像遠近有關的畫像特徵量，依抽 出的畫像特徵量產生每一視差算出Μ域縱深推定值的 第1步驟； 使用以所定最大突出量及所定縱深量規定之動態 範圍，對各縱深推定值施行距離尺度變換；求取每一視 差算出領域的假想目標相位量的第2步驟； 依每一視差算出領域的假想目標相位量，求取鄰接 視差算出領域間的相位差最大值的第3步驟； 判定鄰接視差算出領域間的相位差最大值，是否在 預定之偏差容許範圍内的第4步驟，及 經濟部智慧財產局員工消費合作社印製 若鄰接視差算出領域間的相位差最大值超出容許 範圍以外時，探索使上述視差算出領域間相位差為偏差 容許範圍内的動態範圍，對各縱深推定量施以使用探索 動態範圍的距離尺度變換，以求取每一視差算出領域的 假想目標相位量後，移至第3步驟的第5步驟者。 8.如申請專利範圍第7項之二維影像變換為三維影像之方 法，係於上述第5步驟中，修正動態範圍，以使由探索 動態範圍規定之最大突出量及縱深量的比為預定比例 值後，使用修正後的動態範圍，對各縱深推定值予以施 行距離尺度變換者。 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 41 312030