TW201029443A - Method and device for generating a depth map - Google Patents
Method and device for generating a depth map Download PDFInfo
- Publication number
- TW201029443A TW201029443A TW098137434A TW98137434A TW201029443A TW 201029443 A TW201029443 A TW 201029443A TW 098137434 A TW098137434 A TW 098137434A TW 98137434 A TW98137434 A TW 98137434A TW 201029443 A TW201029443 A TW 201029443A
- Authority
- TW
- Taiwan
- Prior art keywords
- depth
- depth map
- image
- value
- map
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Description
201029443 六、發明說明: 【發明所屬之技術領域】
本發明係關於一種藉由俊用I 符田1之用早眼資訊而產生一影像之一 深度圖之方法及裝置以及―錄太 ^ <置域種在一電腦可讀媒體上用於藉 由使用單眼資訊而產生一影後 影像之一深度圖之電腦程式產 品。 【先前技術】 =過去十年中’針對用於家庭中及周圍之三維顯示技術 之實現已經進行了大量研究。因&,已經出現立體以及自 動立體顯示器兩者。 在立㈣示n中’觀眾之眼睛—般係藉由例如眼鏡或位 於觀眾眼睛與顯示器之間之金屬落輔助而以一時間多工或 同時發生方式(例如,藉由光譜分離)將左眼影像引導至觀 眾之左眼及將右眼影像引導至觀眾之右眼。由於通常使用 者發現戴眼鏡麻須,所以自動立體顯示器已經同樣受到重 視自動立體顯不器(通常係多視圖顯示器)一般容許例如5 個至9個或更夕之多個影像或視圖之視覺化,該等影像或 視圖係在指向觀眾之—可視錐體中多=。藉由分別利用左 眼及右眼觀察炎白、 錐體之分離視圖,使肉眼而獲得一立 體效果。 々體,4不益及自動立體顯示器兩者之一個重要問題係内 傳遞將—維内容傳遞至一顯示器之各種方法係已知 S方法之些明確編碼所有視圖,而其他方法編碼 一或一些視圖及用於該等視圖之—或全部之額外深度及/ 144411.doc 201029443 或像差資訊。提供深度資訊之優點係例如當基於提供之影 像而呈現額外視圖時易於操縱三維内容。 雖然可藉由分析例如立體影像之像差或使用測距儀而獲 得深度資訊,但是此一般僅對於新獲得之内容係可能的。 此外,立體或多視圖獲得一般亦需要較高成本。因此,針 對自單眼影像或單眼影像序列之深度資訊之獲得已經進行 大量研究。演算法之各種應用可設想成在自高品質内容之 全自動轉換至使用者輔助之二維至三維轉換之範圍内。在 使用者輔助之二維至三維轉換的情況下,電腦輔助之深度 圖可表示一大量時間節省。 2004 年《Proceedings of SPIE Electronic Imaging>> 「Three-Dimensional Image Capture and Applications VI」 第 5302-13 冊 S. Battiato 等人發表「Depth Map Generation by Image Classification」中提出一種自一單眼影像獲得一 深度圖之方法之一實例。 在上述文獻中,一深度圖係藉由基於一影像之一估計全 域深度分佈圖而組合一深度圖而產生,該影像接著係與一 進一步深度圖組合,該進一步深度圖包括影像結構。然 而,最終組合並不總是在最終影像中提供一令人滿意的深 度感知。 【發明内容】 因此,本發明之目的係提供一替代性方法,該替代性方 法提供一替代性深度圖。 以上係藉由一種使用單眼資訊產生一影像之一深度圖之 144411.doc 201029443 方法而實現,該方法包括:產生該影像之一第一深度圖, 其中該第一深度圖相對應於該影像中所描繪之一場景之一 全域深度分佈圖之一估計;產生該影像之一第二深度圖, 其中與該第二深度圖中之一像素相關聯之一深度值係基於 在空間上逼近於像素之一區域内之該第一深度圖中之深度 值及該區域内之該影像之顏色值與明亮度值之至少一者; 及使用來自該第一深度圖及該第二深度圖之深度值而產生 該影像之一第三深度圖,該產生縮放一深度差,使得該第 三深度圖與該第一深度圖的一深度值之間之一差係相較於 該第二深度圖與該第一深度圖的一深度值之間之相應差而 縮放。 該第三深度圖之產生係基於兩個基本深度圖分量,該第 一深度圖與該二第深度圖,其等深度圖都係基於以該第一 深度圖為基礎之一估計全域深度分佈圖。特別是,當該影 像係來自一影像序列之一影像時,對於該序列中之鄰近影 像,該全域深度分佈圖可能係相似的,且因此有助於該第 三深度圖之暫時穩定性。 該第二深度圖產生繼而有效地將局域結構併入至該全域 深度分佈圖中。在該第二深度圖之產生期間,該影像中之 明亮度及/或顏色相似性被用於指派深度值。因此,具有 該影像中之相似顏色及/或明亮度之物件之深度值在局域 上被製造得更加相似,從而導致具有該影像中之相似性之 結構獲得深度值,該等深度值一般係更加相似且通常不同 於該全域深度分佈圖。 144411.doc -6 - 201029443 應扣出,上述相似性可被量化為在顏色值及/或明亮度 值之一預定變化内。 最後,第二步驟以有效縮放該第一深度圖與該二第深度 圖之間之差之一些者之一方式組合所產生之該第一深度圖 與該二第深度圖。在根據本發明之—實施例中,此容許引 入局域結構與該全域深度圖之間之一更明顯的差。以這種 方式,可對物件增強該第一深度圖與該二第深度圖之間通 Φ 常稍微小的差,導致一更動態之深度圖。替代地,有可能 該第二深度圖中之局域結構係太明顯,在此情況下,利用 在〇與1之間之一因數縮放可改良三維觀看體驗。 應指出,當產生該第二深度圖中之一像素之一深度值 時,使用在該第一深度圖中之相應像素周圍之一區域中之 來自該第一深度圖之深度值。較佳方式為,逼近深度值之 深度值係基於顏色及/或明亮度相似性而加權,然而也可 使用其他影像屬性,如在逼近時之影像運動、局域銳化及/ Ο 或大量紋理。以這種方式,與相似顏色及/或明亮度相關 聯之深度值貢獻於該第二深度圖中之該像素之該深度值多 於較少相似之像素。 應指出,此處之逼近意欲暗示局域而不是全域;即不係 全部基於該影像。實際上,逼近通常與一孔徑内之像素有 關。雖然該孔徑可係預定形狀及/或大小,但是亦有可能 例如基於進一步影像資訊動態調適該孔徑。 在一實施例中,該第一深度圖係基於一深度圖範本。該 範本可係一簡單通用範本,如一斜面;即自在場景之底部 144411.doc 201029443 之前景至在頂部之背景之一漸層(gradient)。一替代性斜面 可包括在一特定垂直位置界定背景之開始之一水平線。替 代地,可建構一更複雜的可參數化範本,如在以上提到的 S. Battiato 之「Depth Map Generati〇n by image
Classification」中所揭示,其以引用的方式併入本文中。 此處存在一實例,其係關於可如何基於影像分析而建構一 可參數化全域深度分佈圖。一般而言,一深度圖範本係由 一特定類型場景之深度分佈圖之一估計組成,且因此可顯 示很大變化;例如,考慮一室内對話場景或一魚眼特寫之 典型深度分佈圖之間之差。 在一較佳實施例中’該第二深度圖之產生包括:對該影 像中之顏色值與明亮度值之一者及該第一深度圖中之該等 /木度值應用一雙邊滤波器(biiaterai filter)。因此,不需要 分割該影像,而同時該影像内之顏色及/或明亮度變化可 被用於防止來自一顏色轉變之一側之深度值貢獻於在該顏 色轉變之其他另一侧上之像素之深度值。因此,在該第二 深度圖中相對應於具有一特定顏色及/或明亮度相似性之 區域之深度值一般將具有比該第一深度圖中之相應區域更 相似之深度值。因此,物件將被製造得更加不同於該全域 深度分佈圖。 在又一較佳實施例中,該第三深度圖之一深度值被設定 成與最接近場景之一視點之一深度相對應之一深度值且 係: -該第一深度圖中之相應深度值;或 144411.doc 201029443 -基於來自該第二深度圖之一相應深度值之一候選深度 值。實際上’通常該第二丨木度圖之深度值被設定成該第一 深度圖中之深度值及基於來自該第二深度圖之一相應深度 . 值之候選深度值之最大值。由於特定量測,該第三深度圖 . 中之該等深度值不會被放置在該全域深度分佈圖之後。因 此,在該第二深度圖中放置在該全域深度分佈圖之後之物 件(一部分)將被設定成該全域深度分佈圖。應指出,設想 ^ 進一步候選深度值。 在一有利實施例中之上述候選值包括來自該第一深度圖 之深度值加來自該第一深度圖之深度值與來自該第二深度 圖之相應深度值之一加權差。因此,有可能甚至在使用者/ 觀眾控制下,可調諧該增強。替代地,該候選值可包括基 於在空間上逼近來自該第一深度圖之深度值之一或多個深 度值之一臨限深度值。以這種方式,可進一步增強具有一 特疋顏色或明亮度之物件之深度值。 參 在一實施例中,產生一深度圖之該影像係一影像序列之 ° 由於第階逼近’該影像序列可在拍攝鏡頭中被 刀割’且隨後可基於一拍攝鏡頭中之該等影像來選擇一全 域冰度刀佈圖。以這種方式,可進一步改良該等產生之深 度圖的時間一致性。 在更先進方法中,其可特別有利地與(例如)一可參數 化冰度圖範本組合’該全域深度分佈圖係基於一拍攝鏡頭 之^個以上泰像而決定;例如該拍攝鏡頭中之第一影像及 &後景/像’或右拍攝鏡頭内有進—步變化,則該全域深度 144411.doc 201029443 分佈圖係基於大量影像/圖框。 雖然以上實施例係特別有利,但是這並不排除進一步實 施例,如在一實施例中,全域深度分佈圖係基於一孤立影 像序列之每個影像/圖框或大多數視情況藉由當前影像/圖 框以及所使用的最後全域深度分佈圖而選擇。 因此,本發明之目的係進一步提供一替代性裝置,該替 代性裝置提供一替代性深度圖。 以上係藉由一種使用單眼資訊產生一影像之一深度圖之 裝置而實現,該裝置包括:配置成接收該影像的接收構件 及處理構件,該等處理構件經組態以:產生該影像之一第 一深度圖,其中該第一深度圖對應於該影像中所描繪之一 場景之一全域深度分佈圖之一估計;產生該影像之一第二 /木度圖其中與該第一深度圖中之一像素相關聯之一深度 值係基於在空間上逼近於像素之一區域内之該第一深度= 中的深度值,及該區域内之該影像之顏色值與明亮度值的 至少一者;及使用來自該第一深度圖及該第二深度圖的深 度值而產生該影像之一第三深度圖,該產生縮放一深度 差,使得該第二深度圖與該第一深度圖之一深度值之間之 一差係相較於該第二深度圖與該第一深度圖之一深度值之 間之相應的差而縮放。 以上係藉由一種在一電腦可讀媒體上用於藉由使用單眼 資訊而產生一影像之一深度圖的電腦程式產品來進一步實 現。 將藉由參考以下所述之該(該等)實施例來闡述本發明之 144411.doc -10- 201029443 該等及其他態樣、特徵及優點,曰LL & & 竹傲及馒點且因此其等將變得顯而 見。 【實施方式】 • 如上所述,制單眼資訊產生―影像之深度圖係比當使 . 帛立體影像時更複雜。在立體或多視圖影像的情況下,通 常有可能使用-場景之各自視圖之間之像差以獲得關於該 等視圖中所描繪之該場景之深度資訊。 ❹ m體及某種較小程度上多視圖獲得構件正變得可 用,但是相較於單眼獲得構件,使用此等多視圖獲得構件 一般仍需要額外成本。此外,對於現有單眼内容,通常不 可能以雙視圖再捕獲,即立體或多視圖格式。 因此,需要使用單眼資訊而產生一影像之一深度圖之方 法。 圖1繪示根據本發明之一方法100之一流程圖。該方法 100代表一使用單眼資訊而產生一影像之一深度圖之方 • 法。該方法包括用於產生該影像之一第一深度圖之一第一 步驟(110)。在該第一步驟期間,產生一深度圖,一般係該 影像中之所有像素之一深度圖,其中該第一深度圖中之深 度值相對應於該影像中所描繪之一場景之一全域深度分佈 圖之一估計。 在 2007 年 <<ieee 11th International Conference on C〇mpUter Visi〇n (ICCV 2007)» V· Nedovic等人「Depth Information by stage Classification」(其以引用的方式併入 本文'中)中七出將影像分類成5個全域圖階(global stage)及 144411.doc 201029443 物罙度圖階(depthstage)之—分類,以及一種 於·方法該等全域圖階對應 :攝鏡Γ圖階,括天空、背景及地面,例如-風景 人攝鏡碩;一第二圖階’其包括通常適合於室内場景之一 =,稱為一角落圖階之一第三圖階,其通常適合於室内 :景;-第四圖階’其用於在—背景之前方之一或多個人 物’及最後-第五圖階,其包括沒有深度之場景。 雖然上文中所使用之分類係特別有利,但是應指出,立 並不料盡的’而是可由熟習此項技術者容易擴展。例 如本文中提出之模型並不提供—全域深度分佈圖,該全 域深度分佈圖對應於錢-魚眼透鏡獲得之—微距拍攝鏡 頭(macro shot)。 圖4提供全域深度分佈圖之深度圖之若干個實例,其等 可被用於某些影像中。在本文中影像4iq提供在底部之前 景至:影像之頂部之背景之一漸層。熟習此項技術者將清 楚*使用6亥分佈圖以藉由偵測水平線且隨後將該水平線 以上之所有像素放置在該背景中而細緻化該分佈圖時,一 般係有利的。替代地’可能有利於建立具有更多烏雲之一 風景。在後者情況下,可使用影像42〇,其包括兩個垂直 漸層。因此,位於該影像之頂部之雲係位於比在該水平線 上之雲更靠近觀眾。 影像440繼而展示一魚眼微距拍攝鏡頭之一全域深度分 佈圖之一深度圖,該微距拍攝鏡頭係由具有一白色中心及 朝著該影像之邊緣越來越暗之環之一圓形漸層組成。因 144411.doc -12· 201029443
之一間單盒子之一深度圖。 自觀察該影像 昏之場景一樣
---小-…丨,《,〜—冰厌值保暴於: -在空間上逼近於像素之一區域内之該第一 深度圖中之深 下個步驟姆 第二深度圖 度值,及 -該區域内之該影像之顏色及/或明亮度值。 應指出,該第二深度圖明確地係基於該第—深度圖及誃 影像中之顏色及/或明亮度資訊。因此,該第二深度圖= 常容許區分具有不同於該全域深度分佈圖之一顏色及/ 明亮度之物件。 5 在一較佳實施例中,該第二深度圖之產生涉及一雙邊濾 波器:例如,一方面,該雙邊濾波器過濾在該第一影像中 ❿ 之/米度值,及另一方面,該雙邊濾波器過濾在該影像之顏 色資訊。 / 為了將局域結構添加至一深度圖,可使用一交叉或聯合 雙邊濾波器。 雙邊濾波器係利用(空間)域及(強度)範圍屬性兩者之非 線性濾、波器。下文令之等式(1)展示一基本雙邊濾波器。藉 由在來自位置Ρ之一鄰近者S中之輸入影像/q的在位置q之 像素之一加權平均值決定一輸出影像%。加權計算取決於 空間距離函數s及強度範圍函數r。函數s在此處係一習知二 144411.doc •13· 201029443 維捲積濾波器核心。函數^繼而隨著強度差愈大而遞減以 實現邊緣保留(edge Preservation)特性。 = Σ Ά /Σ其中1ν,= Hll p - q "MuP - /, ||) (l) 較佳地,函數s及函數r實施為如等式(2)及(3)中所示,其中 5(χ) = (2) 及 ν{χ) = β~βχ (3) 如上所述,基於來自一第二影像之顏色及/或明亮度資 訊之範圍資訊引入局域深度資訊之一特別有利方法係應用 一交又或聯合雙邊濾波器。在本發明之一實施例中,使用 聯合雙邊濾波器而產生該第二深度圖。該聯合雙邊滤波器 被用於使用來自一輸入影像之範圍資訊(顏色及/或明亮度) 而過濾代表一場景之全域深度分佈圖之一估計之該第一深 度圖。 等式(4)展示可如何使用一第一深度圖Dlp及來自該影像工 之影像内容而產生一第二深度圖D2p,該第一深度圖乃、代 表該場景之該深度分佈圖之一估計。 p,q 其中1=5(丨丨p -q丨丨Hil /p - /,丨丨) (4) 雖然以上提供-種產纟一第二深度圖的特別有效之方 法,但是熟習此項技術者可以已知的其他方式產生該第二 qe5 qei1 深度圖 雙邊遽波器較佳地係在較高維雙邊網格域中公式化如 2〇〇6iF«Proceedings of European Conference °n Computer 144411.doc 201029443
Vision (ECCV’06)>> Sylvain Paris 及 Fr6do Durand 發表「a
Fast Approximation of the Bilateral Filter using a Signal
Processing Approach」中所述’其以引用的方式併入本文 中。該公式化使用一粗三維網格以減少取樣資料,且因此 可非常有效率地實施。該方法可與本文所揭示之方法有利 組合,此係因為在一較佳實施例中可在增加取樣之前在該 減少取樣之三維網格中執行用於產生該第三深度圖之縮放
操作。在上述文獻中,Paris及Durand展示該雙邊濾波器自 身可進行減少取樣。當應用至本發明時,此意謂可以一較 低解析度產生該第一深度圖與該二第深度圖。 再次參考圖1,在產生該第二深度圖之後,該方法繼績 用於使用來自該第一深度圖及該第二深度圖之深度值而產 生影像之一第三深度圖之一步驟(13〇),該產生縮放一深度 差,使得該第三深度圖與該第—深度圖#一深度值之間之 一差係相較於該第二深度圖與該第一深度圖的一深度值之 間之相應差而縮放。 以上再次視覺化呈現於圖3a至圖犯中。圖从緣示一第 -深度圖之-垂直橫截面1〇及—第二深度圖之一垂直橫截 面20可看出’ 6亥第一深度圖相對應於一斜面。該第二橫 截面繼而相對應於-曲線,該曲線有點依循該第—深度圖 但局部偏離於該第一深唐 衣度圖。該第二曲線係一實例曲線, /、可使上料之而產生。 雖然一雙邊濾波器係特 藉由使用該輸入影像之分:二!是設想其他方法’如 d ’接著T字形路口交匯處偵 144411.doc _ 15 - 201029443 測,其中可藉由使用來自該第一全域深度圖之值而整合由 該專τ子形路口父匯處提供之稀疏局域排序至一密集深度 分佈圖中。圖3B亦繪示垂直橫截面10以及根據本發明之一 第二垂直橫截面30,該第三垂直橫截面相對應於在該等橫 截面10及20之上之最大值(在該z方向上)。在此處,與該垂 直橫截面30之各自深度值相對應之深度值對應於: ^33〇 (^) = max( d\{y), d2(y)) (5) 其中cH 〇)對應於橫截面1〇之各自深度值,及 其中c?2(少)對應於橫截面20之各自深度值。 圖3C繼而基於橫截面30繪示根據本發明之一第四垂直橫 截面40。橫截面40係與橫截面30一起緣示以闡明在該斜面 (橫截面10)之前方之橫截面4〇上之點係位於自該斜面距離 橫載面30上之相應點兩倍遠。 d3w (j) = max( d\(y), ω (,d2{y) - ^1(3;)) ( ^ ) 藉由選擇ω之一適當值,可進一步強調或減少該等深度 差。當建立一深度圖時,該參數容許使用者基於局域顏色 及/或明亮度變化增強該等深度圖變化。因此,該影像之 深度圖將更有可能展現與該影像資訊之一適當相關且因 此將提供一更生動的外觀,而ω之較低值將導致一深度 圖’其主要反映該場景之一般深度分佈圖。 熟習此項技術者將明白,放大深度差或衰減深度差係高 度取決於該第二深度圖之性質。如果該第二深度圖展現與 該第-深度圖之很大深度差,則可必須衰減深度差。而當 深度差通常係較小時,可按順序放大深度差。 1444U.doc -16 - 201029443 圖3D繼而亦繪示根據本發明之一第五垂直橫截面5(^該 第五橫截面繼而繪示該斜面之前方之橫截面4〇上之點之深 度值被設定成一臨限值。該臨限值在此處係藉由基 於顏色及/或明亮度相似性之一垂直掃描而決定。如果在 . 該垂直掃描(此處為自下至上)期間遇到一區段,該區段自 該背景在顏色及/或明亮度方面顯得突出且具有一大致上 較高之深度值,則可基於在該掃描中所遇到之深度值為該 ❹ 區段選擇一臨限值。在該區段(在該掃描方向上)以下或以 上之深度值繼而將反映存在於該第一深度圖中之全域深度 刀佈圖,即不淪是否有其他區段存在。在圖3〇中藉由沿著 在右上邊之橫截面5〇之背景斜面擴展深度值而視覺化此處 理程序。此處展示深度值令之一「不連續」,其相對應於 該影像申之顏色及/或明亮度不連續。 ^35〇 (y) = max( dl(y), d2T (v)) (7) 如上文所示,藉由公式化用於在較高維雙邊網格域中產 〇 生該第二深度圖之雙邊濾波器,該深度圖產生變得更有效 率。然而,因為該雙邊慮波器之特定公式化在額外明亮度 (或顏色)維中提供-額外分離,所以該特定實施額外地提 供進#優點。此繼而意謂一單一掃描可被用作為如圖 3D中所實例化,其中可孤立處理具有一明亮度(或顏色)相 似性之各個各自區段。因此,由於不再需要明確侦測任何 不連續,所以該特定實施提供一額外效果。 圖5中進一步說明^之方法。圖5緣示已經使用根據本 發明之-方法處理之-系列影像區段。影像51〇包括一輸 144411.doc 17· 201029443 入影像之一區段’該特定區段對應於一些冰山之一景色視 圖,其中該影像510之該底部對應於前景且該影像之頂部 對應於背景。 在影像520中提供基於一斜面之一第二深度圖,應指 出’隨後,使用該第一深度圖以及該影像之明亮度兩者, 使用一雙邊濾波器過濾該斜面。隨後影像530提供相對應 於一中間值之一影像,該中間值相對應於該第一深度圖及 該第二深度圖之最大值。 為了進一步增強深度印象,本發明建議在此處將該第— @ 深度圖與該二第深度圖之間之差增強一因數2,與圖3C中 所示之實例一致。所得影像540展現優於影像530之某改 良’特別是使冰山之部分相較於冰山後方之天空向前。 影像550展示相同程序,此處被增強了 一因數4。因此, 進一步改良前景物件之深度印象。 圖2繪示根據本發明使用單眼資訊而產生一影像2〇5之— 深度圖之一裝置200。該裝置200包括接收構件210,其被 配置成接收該影像。雖然為了清晰,僅引用一單一影像之 ® 一深度圖之產生討論該實例,但是熟習此項技術者將明 白’此可經修改用於影像序列之深度圖之產生。事實上, 根據本發明之裝置較佳地係一種適合於二維轉三維轉換單 眼影像序列成為三維視訊信號之裝置,該三維視訊信號包 - 括(例如)影像資訊及深度資訊之並列串流。 該裝置200進一步包括處理構件22〇。一般可用各種方式 實施該處理構件,例如使用一通用處理平台、使用數位信 144411.doc -18- 201029443 號處理器及/或使用特定應用積體電路。該處理構件220經 組態以產生影像205之一第一深度圖。該第一深度圖相對 應於該影像中所描繪之一場景之一全域深度分佈圖之一估 計。 該處理構件經進一步組態以產生該影像之一第二深度 圖。該第二深度圖中之深度值通常係與該影像中之一單一 像素相關聯,然而在本發明之某些實施例中,可相較於該 影像205之解析度,對該深度圖之解析度子取樣。 與一特定影像像素相關聯之該第二深度圖中之一深度值 係基於在空間上逼近於該影像像素之一區域内之該第一深 度圖中之深度值。此外,該第二深度圖中之該深度值係基 於該區域内之影像像素之顏色值與明亮度值。因此,該第 二深度圖相較於存在於該第一深度圖中之全域深度資訊可 包括局域深度資訊。 該處理構件經進一步組態以使用來自該第一深度圖及該 第二深度圖之深度值產生該影像205之一第三深度圖215。 當產生該第三深度圖中之深度值時,通常縮放該第一深度 圖與該二第深度圖之間之微小深度差。因此,該第三深度 圖之特定深度值與該第一深度圖之相應深度值之間之特定 差係相較於該第三深度圖與該第一深度圖的一深度值之間 之相應差而縮放。 視情況,該裝置200可進一步包括用於處理該第三深度 圖之額外軟體/硬體構件。 例如,隨後可在該裝置200中進一步處理該第三深度圖 144411.doc -19- 201029443 215,或替代地,該第三深度圖215可被儲存在—儲存構件 230上以供以後使用。替代地,宜可由一編碼構件24〇將該 第三深度圖連同該影像205—起編碼為三維影像信號。該 經編碼之影像信號接著可被儲存在該儲存構件23〇上,戈 由一發送構件250使用(例如)一協定(如Ip協定)而發送,例 如藉由纜線或射頻(RF)之發送。 再替代地,該第三深度圖可作為輸入以最好藉由一呈現 構件260連同該影像205—起用於呈現一或多個視圖。該等 呈現視圖繼而可係三維(自動)立體顯示構件27〇上之輸出。 應瞭解’為了清晰’上述描述已經引用不同功能單元來 描述本發明之實施例。然而應瞭解,在無損於本發明的情 況下,可利料同功能單元(或處理器)之間的任何合適功 能分佈。例如,所說明之由分開的處理器或控制器執行的 :能可由相同的處理器或控制器執行…,對特定功能 早兀之Μ應僅視為對提供該所述功能之合適構件的引 用,而不是指示一嚴格邏輯或實體結構或組織。 月以包含硬體、
勒體或其等之任何組合的任何 適形式來實施本發明。本發明視情況可至少部分實施為. -或多個資料處理器及/或數位信號處理器執行上的電 軟體。可以任何合適方式,實體地、功能性地及邏輯實; :發明之-實施例之該等元件及組件。事實上該功能 實施在-單-單元、複數個單元中或作為其他功能單元< -部分。因此’本發明可實施在一單一單元中或可實體」 功能性地分散在不同單元與處理器之間。 144411.doc •20· 201029443 雖然已經結合一些實施例來描述本發明,但是並不意謂 限於此處所閣述之特定形式。而是,本發明之範圍僅係由 隨附申請專利範圍限制。此外,雖然可結合特定實施例來 描述一特徵,但是熟習此項技術者應理解,可根據本發明 來組合該等所述實施例的各種特徵。在申請專利範圍中, 術語「包括」並不排除其他元件或步驟的存在。 此外,雖然個別列出’但是複數個構件、元件或方法步 驟可由例如-單-單元或處理器實施。此外,雖然個別特 徵可被包含在不同請求項中,但是此等有可能被有利组 合’且包含在不同請求項中並不意謂特徵之一組合是不可 行及/或不利的。此外,在—類別請求項中包含—特徵並 不意隸於該類別,而是表示該特徵同樣適心適 他請求項類別。此外,在社步 ^ 在吻未項令之特徵的該順序並不意 為該等特徵必須域運作之任何特定順序且特別是在—方 法技術方案中之運步驟 貝斤並不意為該等步驟必須以兮 順序執行。相反,該等I锁1 7鄉乂肩以該 外^驟可以任何合適順序執行。此 外,早數引用並不排除複數。因 ㈣」、「第一」、「第二 u)」、「— 中之參考標諸僅提供:,引用並不排除複數。請求項 限制請求項之範圍 ^實例’不應視為以任何方式 【圖式簡單說明】 明 ,其中參考下列H僅以實關的方式來描述本發 圖 1繪示根據本發明之 方法之一流程圖 144411.doc
•2N 201029443 圖2繪示根據本發明之一裝置之一方塊圖; 圖3 A繪示一第一深度圖及一第二深度圖之一垂直橫截 面; 圖3B繪示兩個深度圖之一垂直橫截面; 圖3C繪示三個深度圖之一垂直橫截面; 圖3D繪示三個深度圖之一垂直橫截面; 圖4繪示一場景之一全域深度分佈圖之若干個估計;及 圖5繪示根據本發明之一方法之若干個步驟之輸出。 【主要元件符號說明】 10 垂直橫截面 20 垂直橫載面 30 垂直橫截面 40 垂直橫截面 50 垂直橫截面 200 裝置 205 影像 210 接收構件 215 第三深度圖 220 處理構件 225 第三深度圖 230 儲存構件 240 編碼構件 250 發送構件 260 呈現構件 144411.doc -22- 201029443
270 410 420 440 450 510 520 530 540 550 三維(自動)立體顯示構件 影像 影像 影像 影像 影像 影像 影像 影像 影像
144411.doc -23-
Claims (1)
- 201029443 七、申請專利範圍: 1. 一種使用單眼資訊產生一影像(205)之一深度圖之方法 (100),該方法包括: 產生(110)該影像(205)之一第一深度圖,其中該第一 深度圖對應於該影像(205)中所描繪之一場景之一全域深 度分佈圖(410、420、440、450)之一估計, 產生(120)該影像(205)之一第二深度圖(520),其中與 該第二深度圖中之一像素相關聯之一深度值係基於在空 間上逼近於該像素之一區域内之該第一深度圖中的深度 值,及該區域内之該影像之顏色值與明亮度值的至少一 者,及 使用來自該第一深度圖及該第二深度圖的深度值而產 生(130)該影像(205)之一第三深度圖(530、540、550), 該產生縮放一深度差,使得該第三深度圖與該第一深度 圖之一深度值之間之一差係相較於該第二深度圖與該第 一深度圖之一深度值之間之相應的差而縮放。 2. 如請求項1之方法,其中: 對具有顏色及明亮度相似性之至少一者之一空間區域 中之多個像素,縮放深度差。 3. 如請求項1之方法,其中: 涉及該產生(130)之該縮放放大該深度差。 4. 如請求項1之方法,其中: 該第二深度圖之該產生包括對該影像中之顏色值與明 亮度值之一者及該第一深度圖中之該等深度值應用一雙 144411.doc 201029443 邊濾、波器。 5. 如請求項1之方法,其中: 該第三深度圖之一深度值係設定為與最接近該場景之 一視點之一深度相對應之一深度值,且係選自以下之一 者: 該第一深度圖中之相應的深度值,及 基於該第二深度圖之一相應深度值之一候選深度 值。 6. 如請求項5之方法,其中: 該候選深度值係來自該第一深度圖之該深度值加上來 自該第一深度圖之該深度值與來自該第二深度圖之相應 深度值之一加權差。 7. 如請求項6之方法,其中: 該候選深度值係基於在空間上逼近來自該第一深度圖 之該深度值之深度值之一臨限深度值。 8. 如請求項1至7中任一項之方法,其中: 該影像係一影像序列之部分,且其中該全域深度分佈 圖之該估計對於一拍攝鏡頭中之所有影像係相同的。 9. 如請求項1至7中任一項之方法,其中: 該影像係一影像序列之部分,且其中該全域深度分佈 圖之該估計係基於一拍攝鏡頭之一個以上影像而決定。 10. —種使用單眼資訊產生一影像(205)之一深度圖之裝置 (200),該裝置包括: 接收構件(210),其經配置以接收該影像,及 144411.doc -2- 201029443 處理構件(220),該等處理構件經組態以: 產生該影像(205)之一第一深度圖,其中該第一深度 圖對應於該影像(205)中所描繪之一場景之一全域深度分 佈圖(410、420、440、45 0)之一估計, 產生該影像(205)之一第二深度圖(520),其中與該 第二深度圖中之一像素相關聯之一深度值係基於在空間 上逼近於該像素之一區域内之該第一深度圖中的深度 值,及該區域内之該影像之顏色值與明亮度值的至少一 A 者,及 使用來自該第一深度圖及該第二深度圖的深度值而 產生該影像(205)之一第三深度圖(530、540、550),該 產生縮放一深度差,使得該第三深度圖與該第一深度圖 之一深度值之間之一差係相較於該第二深度圖與該第一 深度圖之一深度值之間之相應的差而縮放。 11. 如請求項10之裝置,其中: Φ 該等處理構件經組態使得對具有顏色及明亮度相似性 之至少一者之一空間區域中的多個像素縮放深度差。 12. 如請求項10之裝置,其中: .該等處理構件經組態使得該第三深度圖之一深度值係 設定為與最接近該場景之一視點之一深度相對應之一深 度值,且係選自以下之一者: 該第一深度圖中之相應深度值,及 基於該第二深度圖之一相應深度值之一候選深度 值0 144411.doc 201029443 13. 如請求項12之裝置,其中: 該等處理構件經組態使得該候選深度值係來自該第一 冰度圖之該冰度值加上來自該第—深度圖之該深度值與 來自該第二深度圖之相應深度值之—加權差。 14. 如請求項10至13中任一項之裝置,其中: 該影像係-影像序列之部分,且其中該全域深度分佈 圖之該估計對於-拍攝鏡頭中的所有影像係相同的。 15. 如請求項10至13中任一項之裝置,其中: 該影像係-影像序列之部分,且其中該全域深度分佈 圖之該估計係基於-拍攝鏡社—個以上影像而決定。 16· -種在-電腦可讀媒體上用於使用單眼資訊產生一影像 之一深度圖的電腦程式產品,該產品& 座匕括用於執行根據 s月求項1至7中任一項之方法步驟的指令。 144411.doc -4-
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08168248A EP2184713A1 (en) | 2008-11-04 | 2008-11-04 | Method and device for generating a depth map |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201029443A true TW201029443A (en) | 2010-08-01 |
TWI524734B TWI524734B (zh) | 2016-03-01 |
Family
ID=40394209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098137434A TWI524734B (zh) | 2008-11-04 | 2009-11-04 | 產生深度圖的方法及裝置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8447141B2 (zh) |
EP (2) | EP2184713A1 (zh) |
JP (1) | JP5587894B2 (zh) |
KR (1) | KR101625830B1 (zh) |
CN (1) | CN102203829B (zh) |
TW (1) | TWI524734B (zh) |
WO (1) | WO2010052632A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI472218B (zh) * | 2011-02-11 | 2015-02-01 | Chunghwa Picture Tubes Ltd | 立體影像產生裝置及其方法 |
TWI549022B (zh) * | 2011-06-22 | 2016-09-11 | 微軟技術授權有限責任公司 | 用於全自動動態鉸接模型校準的電腦可讀取儲存裝置及處理器實施的方法 |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120269458A1 (en) * | 2007-12-11 | 2012-10-25 | Graziosi Danillo B | Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers |
US8731320B2 (en) * | 2009-01-20 | 2014-05-20 | Andre Leitao | Image processing using a bilateral grid |
US8502862B2 (en) | 2009-09-30 | 2013-08-06 | Disney Enterprises, Inc. | Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image |
US8947422B2 (en) * | 2009-09-30 | 2015-02-03 | Disney Enterprises, Inc. | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images |
US8884948B2 (en) * | 2009-09-30 | 2014-11-11 | Disney Enterprises, Inc. | Method and system for creating depth and volume in a 2-D planar image |
WO2011060579A1 (en) * | 2009-11-18 | 2011-05-26 | Industrial Technology Research Institute | Method for generating depth maps from monocular images and systems using the same |
US9042636B2 (en) | 2009-12-31 | 2015-05-26 | Disney Enterprises, Inc. | Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers |
US20110157155A1 (en) * | 2009-12-31 | 2011-06-30 | Disney Enterprises, Inc. | Layer management system for choreographing stereoscopic depth |
EP2595116A1 (en) * | 2010-05-07 | 2013-05-22 | Telefónica, S.A. | Method for generating depth maps for converting moving 2d images to 3d |
US8848038B2 (en) * | 2010-07-09 | 2014-09-30 | Lg Electronics Inc. | Method and device for converting 3D images |
IT1401367B1 (it) * | 2010-07-28 | 2013-07-18 | Sisvel Technology Srl | Metodo per combinare immagini riferentesi ad un contenuto tridimensionale. |
US9571811B2 (en) | 2010-07-28 | 2017-02-14 | S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. | Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content |
WO2012016600A1 (en) * | 2010-08-06 | 2012-02-09 | Trident Microsystems, Inc. | Method for generating of a depth map, method for converting a two-dimensional image sequence and device for generating a stereoscopic image |
US20120293489A1 (en) * | 2011-05-20 | 2012-11-22 | Himax Technologies Limited | Nonlinear depth remapping system and method thereof |
JP5155462B2 (ja) * | 2011-08-17 | 2013-03-06 | 株式会社スクウェア・エニックス・ホールディングス | 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体 |
RU2014118585A (ru) * | 2011-10-10 | 2015-11-20 | Конинклейке Филипс Н.В. | Обработка карты глубины |
US9471988B2 (en) | 2011-11-02 | 2016-10-18 | Google Inc. | Depth-map generation for an input image using an example approximate depth-map associated with an example similar image |
US9672609B1 (en) * | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
US9661307B1 (en) * | 2011-11-15 | 2017-05-23 | Google Inc. | Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D |
US9161010B2 (en) * | 2011-12-01 | 2015-10-13 | Sony Corporation | System and method for generating robust depth maps utilizing a multi-resolution procedure |
US20150030233A1 (en) * | 2011-12-12 | 2015-01-29 | The University Of British Columbia | System and Method for Determining a Depth Map Sequence for a Two-Dimensional Video Sequence |
US8682087B2 (en) * | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
US20130176300A1 (en) * | 2012-01-10 | 2013-07-11 | Thomson Licensing | Disparity maps in uniform areas |
US20130202194A1 (en) * | 2012-02-05 | 2013-08-08 | Danillo Bracco Graziosi | Method for generating high resolution depth images from low resolution depth images using edge information |
US9111350B1 (en) | 2012-02-10 | 2015-08-18 | Google Inc. | Conversion of monoscopic visual content to stereoscopic 3D |
WO2013124312A1 (en) | 2012-02-21 | 2013-08-29 | Tp Vision Holding B.V. | Object-aligned filtering method and apparatus |
WO2013125220A1 (ja) | 2012-02-23 | 2013-08-29 | 株式会社スクウェア・エニックス・ホールディングス | 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体 |
TWI586143B (zh) * | 2012-04-05 | 2017-06-01 | 皇家飛利浦電子股份有限公司 | 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置 |
EP2674916B1 (en) * | 2012-04-12 | 2018-06-27 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image playback device, control method, program, and recording medium |
EP2839437B1 (en) * | 2012-04-19 | 2019-01-23 | Telefonaktiebolaget LM Ericsson (publ) | View synthesis using low resolution depth maps |
WO2014001062A2 (en) * | 2012-06-26 | 2014-01-03 | Ultra-D Coöperatief U.A. | Device for generating a depth map |
DE102012014174A1 (de) * | 2012-07-16 | 2014-01-16 | Rational Aktiengesellschaft | Verfahren zur Anzeige von Parametern eines Garprozesses und Anzeigevorrichtung für ein Gargerät |
LU92074B1 (en) * | 2012-09-18 | 2014-03-19 | Iee Sarl | Depth image enhancement method |
KR101961943B1 (ko) * | 2012-12-17 | 2019-03-26 | 엘지디스플레이 주식회사 | 3d 영상 데이터 생성방법과 이를 이용한 입체영상 표시장치 |
US9299152B2 (en) | 2012-12-20 | 2016-03-29 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for image depth map generation |
US9674498B1 (en) | 2013-03-15 | 2017-06-06 | Google Inc. | Detecting suitability for converting monoscopic visual content to stereoscopic 3D |
US10122992B2 (en) | 2014-05-22 | 2018-11-06 | Disney Enterprises, Inc. | Parallax based monoscopic rendering |
US9292926B1 (en) * | 2014-11-24 | 2016-03-22 | Adobe Systems Incorporated | Depth map generation |
JP6782239B2 (ja) * | 2015-01-06 | 2020-11-11 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | パターン光を用いた深さマップを提供するための方法およびシステム |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US20170059305A1 (en) * | 2015-08-25 | 2017-03-02 | Lytro, Inc. | Active illumination for enhanced depth map generation |
WO2016172960A1 (en) * | 2015-04-30 | 2016-11-03 | SZ DJI Technology Co., Ltd. | System and method for enhancing image resolution |
US10282623B1 (en) * | 2015-09-25 | 2019-05-07 | Apple Inc. | Depth perception sensor data processing |
US9996933B2 (en) * | 2015-12-22 | 2018-06-12 | Qualcomm Incorporated | Methods and apparatus for outlier detection and correction of structured light depth maps |
EP3236657A1 (en) | 2016-04-21 | 2017-10-25 | Ultra-D Coöperatief U.A. | Dual mode depth estimator |
EP3389265A1 (en) | 2017-04-13 | 2018-10-17 | Ultra-D Coöperatief U.A. | Efficient implementation of joint bilateral filter |
EP3396949A1 (en) * | 2017-04-26 | 2018-10-31 | Koninklijke Philips N.V. | Apparatus and method for processing a depth map |
CN108496201A (zh) | 2017-09-27 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
US20190340776A1 (en) * | 2018-05-04 | 2019-11-07 | Qualcomm Incorporated | Depth map interpolation using generalized likelihood ratio test parameter estimation of a coded image |
US10699430B2 (en) | 2018-10-09 | 2020-06-30 | Industrial Technology Research Institute | Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof |
CN111383257A (zh) * | 2018-12-29 | 2020-07-07 | 顺丰科技有限公司 | 一种车厢装卸率确定方法和装置 |
CN111583324B (zh) * | 2019-02-19 | 2023-11-28 | 顺丰科技有限公司 | 单目图像深度估测装载率识别方法和装置 |
CN110378853B (zh) * | 2019-07-11 | 2021-03-26 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
KR102306432B1 (ko) * | 2019-12-02 | 2021-09-30 | 한국전자기술연구원 | 내시경 영상에 대한 깊이 추정 방법 및 장치 |
US11869167B2 (en) | 2020-07-14 | 2024-01-09 | Htc Corporation | Method for transmitting reduced depth information and electronic device |
CN111932576B (zh) * | 2020-07-15 | 2023-10-31 | 中国科学院上海微系统与信息技术研究所 | 一种基于深度相机的物体边界测量方法和装置 |
US11688090B2 (en) | 2021-03-16 | 2023-06-27 | Toyota Research Institute, Inc. | Shared median-scaling metric for multi-camera self-supervised depth evaluation |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6999087B2 (en) * | 2002-03-12 | 2006-02-14 | Sun Microsystems, Inc. | Dynamically adjusting sample density in a graphics system |
US6975329B2 (en) * | 2002-12-09 | 2005-12-13 | Nvidia Corporation | Depth-of-field effects using texture lookup |
US7738725B2 (en) * | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
JP4366634B2 (ja) * | 2003-08-08 | 2009-11-18 | ノーリツ鋼機株式会社 | ノイズ画素マップ作成方法とその方法を実施する装置とプログラム及び写真プリント装置 |
JP4214976B2 (ja) * | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム |
JP2007520822A (ja) * | 2004-02-03 | 2007-07-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行きマップの生成 |
WO2006003577A1 (en) * | 2004-06-29 | 2006-01-12 | Koninklijke Philips Electronics N.V. | Creating a depth map |
EP2087466B1 (en) * | 2006-11-21 | 2020-06-17 | Koninklijke Philips N.V. | Generation of depth map for an image |
CN100559398C (zh) * | 2007-06-19 | 2009-11-11 | 北京航空航天大学 | 自动的深度图像配准方法 |
US7675024B2 (en) * | 2008-04-23 | 2010-03-09 | Aptina Imaging Corporation | Method and apparatus providing color filter array with non-uniform color filter sizes |
KR101502365B1 (ko) * | 2008-11-06 | 2015-03-13 | 삼성전자주식회사 | 삼차원 영상 생성기 및 그 제어 방법 |
-
2008
- 2008-11-04 EP EP08168248A patent/EP2184713A1/en not_active Ceased
-
2009
- 2009-11-02 WO PCT/IB2009/054857 patent/WO2010052632A1/en active Application Filing
- 2009-11-02 JP JP2011533916A patent/JP5587894B2/ja not_active Expired - Fee Related
- 2009-11-02 KR KR1020117012662A patent/KR101625830B1/ko not_active IP Right Cessation
- 2009-11-02 EP EP09756850A patent/EP2347386A1/en not_active Withdrawn
- 2009-11-02 CN CN2009801439795A patent/CN102203829B/zh not_active Expired - Fee Related
- 2009-11-02 US US13/127,263 patent/US8447141B2/en not_active Expired - Fee Related
- 2009-11-04 TW TW098137434A patent/TWI524734B/zh not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI472218B (zh) * | 2011-02-11 | 2015-02-01 | Chunghwa Picture Tubes Ltd | 立體影像產生裝置及其方法 |
TWI549022B (zh) * | 2011-06-22 | 2016-09-11 | 微軟技術授權有限責任公司 | 用於全自動動態鉸接模型校準的電腦可讀取儲存裝置及處理器實施的方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2347386A1 (en) | 2011-07-27 |
WO2010052632A1 (en) | 2010-05-14 |
TWI524734B (zh) | 2016-03-01 |
JP2012507907A (ja) | 2012-03-29 |
US8447141B2 (en) | 2013-05-21 |
KR101625830B1 (ko) | 2016-05-31 |
CN102203829B (zh) | 2013-11-06 |
JP5587894B2 (ja) | 2014-09-10 |
US20110210969A1 (en) | 2011-09-01 |
KR20110093829A (ko) | 2011-08-18 |
CN102203829A (zh) | 2011-09-28 |
EP2184713A1 (en) | 2010-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201029443A (en) | Method and device for generating a depth map | |
US20120274626A1 (en) | Stereoscopic Image Generating Apparatus and Method | |
US20140009462A1 (en) | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects | |
KR102464523B1 (ko) | 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치 | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TW201432622A (zh) | 產生一關於一影像之深度圖 | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
WO2008062351A1 (en) | Generation of depth map for an image | |
JP2011523306A (ja) | 立体視画像のブラー強化 | |
JP2011203811A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ | |
US20140340486A1 (en) | Image processing system, image processing method, and image processing program | |
KR20130089649A (ko) | 3차원 이미지에서 컨텐츠를 검열하는 방법 및 장치 | |
JP5703255B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20160180514A1 (en) | Image processing method and electronic device thereof | |
Jung | A modified model of the just noticeable depth difference and its application to depth sensation enhancement | |
JP7159198B2 (ja) | 奥行きマップを処理するための装置及び方法 | |
Hanhart et al. | Subjective evaluation of two stereoscopic imaging systems exploiting visual attention to improve 3D quality of experience | |
WO2016113805A1 (en) | Image processing method, image processing apparatus, image pickup apparatus, program, and storage medium | |
JP2013172214A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9787980B2 (en) | Auxiliary information map upsampling | |
KR100879802B1 (ko) | 가상 시점에서의 3차원 영상 생성 방법 및 장치 | |
CN109076205A (zh) | 双模深度估计器 | |
KR20130057586A (ko) | 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법 | |
Gao et al. | Virtual view synthesis based on DIBR and image inpainting | |
KR101626679B1 (ko) | 2d 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |