TW201204058A - Image processing device and image processing method - Google Patents

Description

201204058 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種圖像處理裝置及圖像處理方法，本發 明尤其係關於一種可生成高晝質之視點合成圖像之圖像處 理裝置及圖像處理方法。 【先前技術】 存在一種生成任意視點之圖像之視點合成技術。該視點 合成技術係自N視點之2D圖像與深度圖像（深度資訊）生成 M(>N)視點之2D圖像的技術。 參照圖1，對視點合成技術之概要進行說明。 如圖1所示’於視點合成技術中係輸入包含2〇圖像與深 度圖像之輸入圖像1。然後’使用此輸入圖像1進行視點合 成’生成輸入圖像1之相機位置之内側及外側之視點之2D 圖像即視點合成圖像2。 於圖1之例中’係自2視點之輸入圖像1生成6視點之視點 合成圖像2 ’而獲得2視點之輸入圖像i與6視點之視點合成 圖像2之共計8視點之圖像。 於實際之用途t，係將視點合成技術與壓縮技術組合進 行使用。圖2表示使視點合成技術與壓縮技術組合之系統 之構成例。 於圖2之系統中，係將n視點之2D圖像11與N視點之深度 圖像12輸入至多視點影像編碼裝置13。 多視點影像編碼裝置13以AVC(Advanced Video Coding， 進階視訊編碼）方式或MVC(Multiview Video Coding，多視 153598.doc 201204058 點視訊編碼）方式對N視點之π圖像叫顺點之深度圖像 12進行編碼，並將其供給至乡視點料解碼裝置μ。 多視點影像解碼裝置j 4以與A v c方式或m v c方式對應之 方式對自多視點影像編碼裝置13供給之經編碼的Ν視點之 2D圖像視點之深度圖像12進行解碼，並將其供給至 視點合成裝置1 5。 視點合成裝置15使用由多視點影像解碼裝置“經解碼所 得之N視點之2D圓像U與深度圖像12，生成（m_n)視點之 視點合成圖像。視點合成裝置15將包含N視點之扣圖像u 與（Μ - N)視點之視點合成圖像之M視點之2 D圖像作為％視 點之重組2D圖像1 6而輸出。 複數之視點之圖像資料之編碼及解碼之方法係記載於例 如專利文獻1中。 [先前技術文獻] [專利文獻] [專利文獻1]曰本專利特開2008-1 82669號公報 【發明内容】 [發明所欲解決之問題] 於圖2之系統中，係自少數之視點之圖像生成多個視點 之圖像，故視點合成圖像會產生多個缺漏資訊。特別係， 於生成輸入圖像之相機位置之外側之視點之圖像的情形 時，遮蔽區域（occlusion area)之資訊完全缺漏。於先前技 術中，係使用周邊之晝面内資訊對此種遮蔽區域進行内 插。然而，晝面内内插之性能存在極限，視點合成圖像之 153598.doc 201204058 晝質並不充分。 本發明係鑒於此種狀況研究而成者，其目的在於可生成 高畫質之視點合成圖像。 [解決問題之技術手段] 本發明之第1態樣之圖像處理裝置包括：接收機構，其 接收使用基準2D圖像及深度資訊所生成之視點合成圖像、 與上述視點合成圖像之視點合成位置之2d圖像的差分即殘 差資訊；編碼機構，其對上述基準2D圖像進行編碼而生成 編碼串流；及傳輸機構，其對由上述接收機構所接收之上 述殘差資訊、上述深度資訊、及由上述編碼機構所生成之 上述編碼_流進行傳輸。 本發明之第1態樣之圖像處理方法係對應於本發明之第i 態樣的圖像處理裝置。 於本發明之第1態樣中，係接收使用基準2D圖像及深度 資汛所生成之視點合成圖像、與上述視點合成圖像之視點 合成位置之2D圖像的差分即殘差資訊，對上述基準2D圖 像進行編碼而生成編碼串流，並傳輸上述殘差資訊、上述 深度資訊、及上述編碼串流。 本發明之第2態樣之圖像處理裝置包括··接收機構，其 接收使用基準2 D ®像及深度f訊所生成之視點合成圖像、 與上述視點合成圖像之視點合成位置之2 D圖像的差分即殘 差資訊、及上述深度資訊；解碼機構，其對上述基準2〇圖 像經編碼所得之編碼串流進行解碼；生成機構，其使用由 上述解碼機構所解碼之上述基準犯圖像及由上述接收機構 153598.doc 201204058 所接收之上述深度資訊’而生成上述視點合成圖像；及殘 差資訊補償機構’其將由上述接收機構所接收之上述殘差 資sfl補充至由上述生成機構所生成的上述視點合成圖像 中。 本發明之第2態樣之圖像處理方法係對應於本發明之第2 態樣的圖像處理方法。 於本發明之第2態樣中，係接收使用基準2D圖像及深度 資Λ所生成之視點合成圖像、與上述視點合成圖像之視點 合成位置之2D圆像的差分即殘差資訊、及上述深度資訊， 對上述基準2D圖像經編碼所得之編碼串流進行解碼，使用 經解碼之上述基準2D圖像及所接收之上述深度資訊，生成 上述視點合成圖像，並將所接收之殘差資訊補充至所生成 的視點合成圖像中。 [發明之效果;| 根據本發明之第丨態樣，可傳輸用以生成高畫質之視點 合成圖像之資訊。 根據本發明之第2態樣 像。 可生成高畫質之視點合成圖 【實施方式】 [本發明之概要] 圖3及圖4係對本發明之概要進行說明之圆。 之圖像之 再者，圖3及圖4係對自2視點之圖像生 情形進行說明的圖。 編碼，且 如圖3所示，本發明中 不僅對輸入圖像1進行 153598.doc 201204058 對藉由相機而於視點合成圖像2之視點合成位置所取得之 2D圖像31與視點合成圖像2之差分資訊即殘差資訊進行編 馬°亥殘差資訊包含合成圖像之缺漏資訊，其係有用之資 訊0 而且’進行視點合成時，如圖4所示，使用輸入圖像1而 生成視點合成圖像2，並利用殘差資訊對此視點合成圖像2 進行補償’生成最終的視點合成圖像41。 如此，於本發明中向視點合成圖像2補充殘差資訊，故 缺漏資訊得到補償，從而可生成高晝質之視點合成圖像 41 〇 [系統之—實施形態之構成例] 圖5係表不應用本發明之系統之一實施形態之構成例的 方瑰》圖。 再者於圖5中，對於與圖2相同者附上相同符號，且由 於說明重複故而適當省略。 於圖5之系統中，係輸入N視點之2D圖像u(基準扣圖 像）、N視點之深度圖像12、及視點合成位置之視點 之2D圖像1〇1。該（M_N)視點之2D圖像1〇1係由視點合成位 置之相機拍攝，且用於取得殘差資訊。 為藉由殘差資訊取得裝置103取得殘差資訊，與圖丨之視 點合成裝置15同樣地，視點合成裝置1〇2使用N視點之2D 圖像imN視點之深度圖像12而生成（M_N)視點之視點合成 圖像’並將其供給至殘差資訊取得裝置103。 殘差資訊取得裝置103計算自視點合成裝置102所供給之 I53598.doc 201204058 (m-n)視點之視點合成圖像、與視點合成位置之（m_n)視點 之2D圖像1()1的差分，並將其作為殘差資訊。殘差資訊取 得部103將此殘差資訊供給至多視點影像編碼裝置1〇4。 多視點影像編碼裝置104以AVC方式或MVC方式對n視點 之2D圖像U、轉點之深度圖像12、及自殘差資訊取得裝 置103所供給之殘差資訊進行編碼。並且，多視點影像編 瑪裝置1G4將編碼所得之編碼_流供給至多視點影像解碼 裝置105。 多視點影像解碼裝置丨05以與AVC方式或Mvc方式對應 之方式’ #自多視點影像編碼裝置1()4所供給之編碼串流 進行解碼，獲得N視點之2D圖像u、N視點之深度圖像 12、及殘差資訊。多視點影像解碼裝置1〇5將此n視點之 2D圖像11及職點之深度圖像⑵共給至視點合成裝置15， 並將殘差資訊供給至殘差資訊補償裝置1〇6。 殘差資訊補償裝置1〇6於由視點合成裝置15所生成之 N)視點之視點合成圖像中補充自多視點影像解碼裝置 所ί、、..σ的殘差資讯，從而補償（M_N)視點之視點合成圖像 之缺漏資訊。殘差資訊補償裝置1〇6將補償後之（M_N)視點 之視點合成圖像、與自視點合成裝置15所供給視點之 2D圖像11作為M視點之重組2D圖像1〇7而輸丨。該職點 重組2D圖像1〇7例如用於立體圖像之顯示，使用者不使用 眼鏡便可看到該立體圖像。 [系統之處理之說明] 圖6係對圖5之系統之處理進行說明之流程圖。 153598.doc 201204058 於圖6之步驟SU中，視點合成裝置1〇2使用n視點之扣 圖㈣及N視點之深度圖像12 ’進行（Μ，視點之視點合 成’生成（M_N)視點之視點合成圖像。然冑，視點合成裝 置102將此（M_N)視點之視點合成圖像供給至殘差資訊取得 裝置103。 於步驟Si2中，殘差資訊取得裝置1〇3計算自視點合成裝 置⑽所供給之（M-N)視點之視點合成圖像、與視點合成位 置之（M-N)視點之2D圖像⑻的㈣資訊。殘差資訊取得 部1〇3將此殘差資訊供給至多視點影像編碼裝置1〇4。 ;步驟S13中’夕視點影像編碼裝置！⑽以AVC方式或 MVC方式對N視點之2D圖像U&N視點之深度圖像^、以 及自殘差資訊取得裝置1()3所供給的殘差f訊進行編碼。 並且，多視點影像編碼裝置104將結果所得之編碼串流供 給至多視點影像解碼裝置105。 於步驟S14中，多視點影像解碼裝置1〇5以與Avc方式或 MVC方式對應之方式，對自多視點影像編碼裝置⑽所供 給之經編碼的N視點之2D圖像丨丨及^^視點之深度圖像丨2、 以及殘差資訊之編碼串流進行解碼。而且，多視點影像解 碼裝置105將結果所得之N視點之2D圖像u、N視點之深度 圖像12、及殘差資訊供給至視點合成裝置15，並將殘差資 訊供給至殘差資訊補償裝置106。 於步驟S15中’視點合成裝置15使用自多視點影像解竭 裝置10 5所供給之N視點之2 D圖像丨丨與N視點之深度圖像， 進行（Μ-N)視點之視點合成，生成（M_N)視點之視點合成圖 153598.doc 201204058 ^而且’視點合成裝置⑽將此（M_N)視點之視點合成圖 像與喊點之2D圖像11供給至殘差資訊取得裝置103。 於步驟S16中，殘差資訊補償裝置1〇6向由視點合成裝置 15所生成之(Μ·Ν)視點之視點合成圖像中補充自多視點影 像解碼裝置1G5供給的殘差資m補償（Μ_Ν)視點之視 點合成圖像之缺漏資訊。 於步驟S16中，殘差資訊補償裝置1〇6將補償後之⑽Ν) 視點之視點合成圖像、與自視點合成裝㈣5所供給輯見 點之2D圖像U作為職點之重組犯圖像1()7而輸出。然 後，結束處理。 再者，上述說明中係對N視點之2D圖像u、n視點之深 度圖像12、及殘差資訊均進行編碼，但亦可僅對n視點之 2D圖像11進行編碼。 又，多視點影像編碼裝置104亦可與N視點之2D圖像 11、N視點之深度圖像12、及殘差資訊一併地，將表示相 對於各視點合成圖像之殘差資訊是否存在的殘差存在資訊 亦傳輸至多視點影像解碼裝置1〇5。

進而，與N視點之2D圖像11及N視點之深度圖像12_併 傳輸至多視點影像解碼裝置105之殘差資訊，亦可僅為相 對於較N視點之2D圖像11之視點更靠外側之視點合成位置 的視點合成圖像（圖3之例中為較左侧之視點之輸入圖像1 更罪左側之2視點之視點合成圖像2、及較右側之視點之輸 入圖像1更靠右側的2視點之視點合成圖像2)的殘差資訊。 同樣地’所傳輸之殘差資訊亦可僅為相對於較N視點之2D 153598.doc 201204058 圖像11之視點更靠内側之視點合成位置之視點合成圖像 (圖3之例中為2視點之輸入圖像1之各視點之間的2視點之 視點合成圖像2)的殘差資訊。 再者’本說明書中，所謂系統係指由複數之裝置所構成 之裝置全體。 又’本發明之實施形態並不限定於上述實施形態，於不 脫離本發明之主旨之範圍内可進行各種變更。 【圖式簡單說明】 圖1係對視點合成技術之概要進行說明之圖； 圖2係表示先前之系統之構成例之方塊圖； 圖3係對本發明之概要進行說明之圖； 圖4係對本發明之概要進行說明之圖； 圖5係表示應用本發明之系統之一實施形態之構成例的 方塊圖；及 圖6係對圖5之系統之處理進行說明之流程圖。 【主要元件符號說明】 1 輸入圖像 2 視點合成圖像 11 Ν視點之2D圖像 12 Ν視點之深度圖像 13 ' 1〇4 多視點影像編碼裴置 Η、1〇5 多視點影像解碼裝置 15 ' 1〇2 視點合成裝置 16 、 1〇7 Μ視點之重組2D圖像 153598.doc -11- 201204058 31 41 101 103 106 Sll 2D圖像 視點合成圖像 視點合成裝置之M-N視點之2D圖像 殘差資訊取得裝置 殘差資訊補償裝置 S 1 7 步驟 153598.doc 12-

Claims (1)

1. 201204058 七、申請專利範圍： 1. 一種圖像處理裝置，其包括： 接收機構，其接收使用基準2D圖像及深度資訊所生成 之視點合成圖像、與上述視點合成圖像之視點合成位置 之2D圖像的差分即殘差資訊； 編碼機構，其對上述基準2D圖像進行編碼而生成編碼 串流；及 傳輸機構，其對由上述接收機構所接收之上述殘差資 汛、上述深度資訊、及由上述編碼機構所生成的上述編 碼串流進行傳輸。 2.如明求項1之圖像處理裝置，其中上述編碼機構對由上 述接收機構所接收之上述殘差資訊進行編碼而生成殘差 串流； 上述傳輸機構對由上述編碼機構所生成之上述殘差串 机、上述深度資訊、及上述編碼串流進行傳輸。 3.如請求们之圖像處理裝置’其中上述編碼機構對上述 冰度> §fL進行編碼而生成深度串流，· 、上述傳輸機構對上述殘差資訊、由上述編碼機構所生 成之深度串流、及上述編碼串流進行傳輸。 4. ㈣求項1之圖像處理裝置’其中更包括算出機構，該 算出機構ef异上述視點合成圖像與上述視點合成圖像之 視點合成位置之2D圖像的差分，而算出上述殘差資訊。 5. 如請求項〗之圖像處理裝 點數為N， -中上述基物圖像之視 153598.doc 201204058 上述視點合成圖像之視點數係自大於N之Μ減去N所得 之值。 6.如請求項5之圖像處理裳置，其令上述基準扣圖像之視 點數為2， 上述視點合成圖像之視點數為6。 7·如請求項1之时處㈣置，其t上述接收機構亦接收 表不相對於上述視點合成圆像之殘差資訊是否存在之殘 差存在資訊， 上述傳輸機構亦對由上述接收機構所接收之殘差存在 資訊進行傳輸。 8·如請求们之圖像處理裝置，其中上述殘差資訊係較上 述基準2D圖像之視點更靠外側之視點合成位置之視點合 成圖像即外側視點合成圖像、與上述外側視點圖像之視 點合成位置之2D圖像的差分。 9.如請求項8之圖像處理裝置，其中上述接收機構接收表 示上述外側視點合成圖像與上述外側視點圖像之視點合 成位置之2D圖像之差分是否存在的外側殘差存在資訊； 上述傳輸機構亦對由上述接收機構所接收之上述外側 殘差存在資訊進行傳輸。 10_如請求項!之圖像處理裝置’其t上述殘差資訊係較上 述基準2D圖像之視點更靠内側之視點合成位置之視點合 成圖像即内側視點合成圖像、與上述内側視點圖像之^ 點合成位置之2D圖像的差分。 11. 一種圖像處理方法，其使圖像處理裝置執行如下步驟： 153598.doc •2- 201204058 接收步驟，其係接收使用基準2D圖像與深度資訊所生 成之視點合成圖像、與上述視點合成圖像之視點合成位 置之2 D圖像的差分即殘差資訊； 編碼步驟，其係對上述基準20圖像進行編碼而生成編 碼串流；及 傳輸步驟，其係對由上述接收步驟之處理所接收之上 述殘差資訊、上述深度資訊、及由上述編碼步驟之處理 所生成的上述編碼串流進行傳輸。 12· —種圖像處理裝置，其包括： 接收機構，其接收使用基準21)圖像及深度資訊所生成 之視點合成圖像、與上述視點合成圖像之視點合成位置 之2D圖像的差分即殘差資訊、及上述深度資訊； 解碼機構，其對上述基準2D圖像經編碼後所得之編碼 串流進行解碼； 生成機構，其使用由上述解碼機構所解碼之上述基準 2D圖像及由上述接收機構所接收的上述深度資訊，生成 上述視點合成圖像；及 殘差資訊補償機構，其將由上述接收機構所接收之上 述殘差資訊補充至由上述生成機構所生成的上述視點合 成圖像中》 13. —種圖像處理方法，其使圖像處理裝置執行如下步驟： 接收步驟，其係接收使用基準2D圖像及深度資訊所生 成之視點合成圖像、與上述視點合成圖像之視點合成位 置之2D圖像的差分即殘差資訊、及上述深度資訊； 153598.doc 201204058 像經編碼後所得之編 解碼步騍，其係對上述基準2D圖 碼串流進行解碼； 生成步驟’其係使用由上述解碼步驟之處理所解碼之 上述基準2D圖像及由上述接收步驟之處理所接收的上述 深度資訊，生成上述視點合成圖像；及 殘差資訊補償步驟，其係將由上述接收步驟之處理所 接收之上述殘差資訊補充至由上述生成步驟之處理所生 成的上述視點合成圖像中。 153598.doc -4