TR201811588T4 - Aykırılığı belirlemeye yönelik yöntem ve görüntü işleme cihazı. - Google Patents

Abstract

Çeşitli uygulamalar bir ikinci görüntüye göre bir birinci görüntünün bir satırındaki bir görüntü elemanı için bir aykırılık değeri belirlemeye yönelik bir yönteme yöneltilmiştir. Bu yöntem birden çok aykırılık adayının her bir aykırılık adayı için, birinci görüntüdeki görüntü elemanı ile ilgili aykırılık adayı kullanılarak belirlenen ikinci görüntüdeki karşılık gelen bir görüntü elemanı arasındaki bir yeğinlik farkı temelinde bir maliyet değerini belirlemeyi; birden çok aykırılık adayının her bir aykırılık adayı için, görüntü elemanının maliyet değeri ve bahsedilen birinci görüntüdeki bir veya daha fazla önceki satırdan bir veya daha fazla görüntü elemanının aykırılık değerlerine dayalı bir birinci değerden ve söz edilen birinci görüntüdeki görüntü elemanı ile aynı pozisyona sahip olan bir önceki birinci görüntüdeki karşılık gelen bir görüntü elemanına ait bir aykırılık değerine dayalı bir ikinci değerden en az biri temelinde bir değiştirilmiş maliyet değerini belirlemeyi; ve birden çok aykırılık adayının değiştirilmiş maliyet değerleri temelinde birden çok aykırılık adayı arasından bir aykırılık adayını birinci görüntüdeki görüntü elemanının aykırılık değeri olarak belirlemeyi içerebilmektedir.

Description

Tarifnamedeki çesitli uygulamalarda açiklanan görüntü elemani bir piksel olabilmektedir.

Baska bir uygulamada bu görüntü elemani bir resim elemani blogu veya birden çok resim elemanini içeren herhangi bir nesne gibi birden çok pikseli içerebilmektedir. Söz edilen maliyet degeri, degistirilmis maliyet degeri, agirliklandirma faktörleri ve aykirilik degeri her bir piksel (diger bir deyisle piksel bazli) veya bu dogrultuda her bir piksel blogu (diger bir deyisle, blok bazli) için belirlenebilmektedir.

Bir görüntü için aykirilik degeri belirlemede, yukarida açiklandigi sekilde uygulamalar, ayni görüntüdeki önceki satirlarin bilgisini ve önceki görüntünün bilgisini göz önünde bulundurmaktadir, ki bu da bahsedilen aykirilik degerlerini artmis kesinlikle belirlemektedir. Ilave olarak, aykirilik adaylari için minimum maliyet degeri belirlenerek, tüm aykirilik adaylari için tüm maliyet degerlerinin depolanmasina ihtiyaç kalmamaktadir.

Bunun yerine söz edilen maliyet degerleri her bir aykirilik adayi için art arda güncellenebilmektedir; aykirilik haritasi ise yalnizca. bir piksel için ilgili bir maliyet 1617/EPITR degerinin ve bir aykirilik adayinin, ayni pikselin önceki aykirilik adaylari için maliyet degerinden düsük olmasi durumunda güncellenebilmektedir.

Asagida Sekil 3'e atifla daha ayrintili bir sekilde açiklanacagi üzere, örnegin görüntülerdeki örtüsen bölgeleri tespit etmek, bu örtüsen bölgelerin aykirilik degerlerini degistirmek ve gürültü ve hatalari ortadan kaldirmak vb. için söz edilen sol aykirilik haritasi (231) ve sag aykirilik haritasi (233) ayrica islenebilmektedir.

Sekil 3 çesitli uygulamalara göre bir akis diyagramini göstermektedir.

Sekil 3`te bir çerçeve sekansinin n'inci çerçevelerinin bir sol görüntü (301) ve bir sag görüntüsündeki (303) görüntü elemanlari için aykirilik haritalari belirlenmektedir. Bu uygulamada bahsedilen görüntü elemani bir pikseldir. Bir uygulamada aykirilik haritasi belirleme islemi bir alt-örneklenmis etki alaninda gerçeklestirilebilmektedir, örnegin alt- örneklenmis görüntünün genisligi ve yüksekligi, orijinal görüntü boyutunun 4 faktörü ile düsürülmüs bir versiyonu olabilmektedir. Bu uygulamada söz edilen aykirilik belirleme islemi, bir sonraki satir için aykirilik degerlerini belirlemeye geçmeden önce aykirilik degerlerinin mevcut satir için sonuçlandirilacagi sekilde üstten alta tarama sirasinda gerçeklestirilmektedir. Bu sekilde, önceki satirlarin sonuçlandirilmis aykirilik degerleri pürüzsüzlügü saglamak üzere mevcut satirin maliyet degerlerini belirlemede kullanilabilmektedir.

Geçirgenlik hesaplama blogu (305), söz edilen sol görüntü (301) ve sag görüntüdeki (303) görüntü elemanlari için geçirgenlik agirliklarini hesaplamak üzere saglanmaktadir. Çesitli uygulamalarda bir görüntü elemani için geçirgenlik agirliklari, bes adet uzaysal dogrultu ve bir adet zamansal dogrultu dahil olmak üzere alti adet dogrultuda belirlenebilmektedir.

Söz edilen geçirgenlik agirliklari diger uygulamalarda alti dogrultudan daha az veya daha fazla dogrultuda belirlenebilmektedir. Bu geçirgenlik agirliklari, karsilik gelen dogrultudaki görüntü elemanlarindan geçen bilgi payini temsil etmektedir.

Sekil 4, bir uygulamaya göre bir görüntü elemani (300) için belirlenen geçirgenlik agriliklarini göstermektedir. Bahsedilen geçirgenlik agirliklari, merkez görüntü elemaninin (300) yeginlik degerleri ile alti komsunun kiyaslanmasi yoluyla ölçülmektedir. Söz edilen 1617/EPITR merkez görüntü elemani (300) ile komsu görüntü elemanlarinin yeginlik benzerligi, karsilik gelen dogrultudaki görüntü elemanindan (300) geçen geçirgenlik bilgisini belirlemektedir.

Bir uygulamada goruntuler (301, 303) gri seviye görüntüler olabilmektedir ve bahsedilen geçirgenlik agirliklari ise, görüntü elemani (400) ile komsu görüntü elemanlari arasindaki mutlak yeginlik farki temelinde belirlenen araliktaki (0, 1) bir agirliklandirma degeridir.

Baska bir uygulamada söz edilen görüntüler (301, 303), RGB renk modeli veya CMYK (cam göbegi, eflatun, sari, siyah) gibi diger renk modelleri kullanilarak temsil edilen renkli görüntüler olabilmektedir. Bu Örnekte görüntüler (301, 303) RGB görüntüleridir ve bahsedilen geçirgenlik agirliklari asagidaki esitlik dogrultusunda görüntü elemani (300) ile komsu görüntü elemanlari arasindaki mutlak renk farklari temelinde belirlenebilmektedir: H : Tnin(e-AR/o,e-AG/'U,e(AR/6) (1) burada AR, AG ve AB iki görüntü elemaninin R, G ve B degerleri arasindaki mutlak farki temsil etmekte, o bir pürüzsüzlestirme faktörünü temsil etmekte, u ise geçirgenlik agirligini temsil etmektedir. Bahsedilen geçirgenlik agirligi p RGB renk farklari arasindaki minimum agirlik alinarak belirlenmektedir.

Bir uygulamada Sekil 4'te gösterildigi gibi bir görüntü elemaninin (x, y) alti dogrultudaki geçirgenlik agirliklari asagidaki esitliklere göre belirlenebilmektedir: luLC/t(xa ,v) : mln(e AR il'iLiiil7_I(-'/I (x, ..113) : min(e_AR/O .9 e_A(I/O- 9 e-AII/G) (4) 1617/EPITR ”Temin (x, y) : min(e-AR/G ,e-AU/O' ,e-AB/(î) (7) burada ULertixi Y): llright(X› Y)i lJUp-Lert(Xi Y), IJUp(Xi W› UUp-Right(Xi Y) görüntü elemaninin (300) sirasiyla sol, sag, yukari sol, yukari ve yukari sag dogrultulardaki geçirgenlik agirliklarini temsil etmektedir ve uzaysal geçirgenlik agirliklari olarak belirtilebilmektedir. uTemp(x, y), önceki görüntü çerçevesi t-1 ile mevcut görüntü çerçevesi t arasindaki yeginlik degisimine göre görüntü elemaninin (300) zamansal dogrultudaki geçirgenlik agirliklarini temsil etmektedir ve bir zamansal geçirgenlik agirligi olarak belirtilebilmektedir. IRGB(X, y) görüntü elemaninin (x, y) sirasiyla Kirmizi renk degeri, Yesil renk degeri veya Mavi renk degerini temsil ederken, 9 ise 'üstel fonksiyonu temsil etmektedir.

Yukaridaki uygulamalar dogrultusunda, söz edilen görüntü elemani (300) ile karsilik gelen dogrultudaki bir görüntü elemani arasindaki yeginlik farki daha büyük oldugunda, karsilik gelen dogrultuda daha küçük bir geçirgenlik agirligi olacaktir, bu da görüntü elemanindan (300) karsilik gelen dogrultuya geçen daha az bilgiye isaret etmektedir. Yukaridaki uygulamada söz edilen üstel fonksiyon bu geçirgenlik agirliklarini belirlemede kullanilmaktadir. Baska bir uygulamada, geçirgenlik agirliklarini belirlemek amaciyla 0 ile 1 arasinda çikis degerleri saglayan monotonik olarak azalan diger fonksiyonlar kullanilabilmektedir. Dahasi, alternatif uygulamalarda bir görüntü elemaninin geçirgenlik agirliklari, geçirgenlik agirliklari belirlenen görüntü elemanindan uzakta yer alan görüntü elemanlari göz önünde bulundurularak belirlenebilmektedir; örnegin, bir veya daha fazla10 1617/EPITR piksel (göz ardi edilebilmekte veya göz önünde bulundurulabilmekte olan), geçirgenlik agirliklari belirlenen görüntü elemani ile ilgili geçirgenlik agirligi görüntü elemani arasinda düzenlenebilmektedir. Dahasi, tarama dogrultusunun farkli olmasi durumunda, yani yukarida açiklandigi gibi dogrultunun aksi dogrultusu, bahsedilen görüntü elemaninin (300) geçirgenlik agirliklari sirasiyla sol, sag, asagi sol, asagi ve asagi sag dogrultularinda belirlenebilmektedir.

Görüntülerdeki (301, 303) her bir görüntü elemani için, (305)'te alti geçirgenlik agirliginin listesi hesaplanmaktadir. Bu dogrultuda söz edilen görüntüler (301, 303) için iki geçirgenlik haritasi, geçirgenlik hesaplama blogundan (305) verilebilmektedir.

Her bir görüntü elemani için maliyet degeri, her bir aykirilik adayi için bir piksel bazli maliyet hesaplama blogunda (310) belirlenmektedir. Bir uygulamada bir stereo görüntü çifti için aykirilik atamasi yalnizca yatay dogrultuda olabilmektedir ve arastirma yalnizca bu yatay dogrultudaki pikselin kaydirilmasi yoluyla gerçeklestirilmektedir. Sabit bir arastirma araligindan faydalanilabilmektedir. Bir uygulamada bir aykirilik adayi için maliyet degeri, bahsedilen sol görüntüdeki (201) görüntü elemani ile ilgili aykirilik adayi kullanilarak belirlenen sag görüntüdeki (203) karsilik gelen bir görüntü elemani arasindaki yeginlik farki temelinde belirlenmektedir.

Görüntülerin (201, 203) RGB renkli görüntüler oldugu bir uygulamada, bahsedilen maliyet degeri asagidaki esitlik dogrultusunda RGB degeri farklari temelinde belirlenebilmektedir: Costwu, y, d) : mim: (IM (x, y, i') - IR,.g,,f(x + 0', y, 0 COSIRight (X,y,d) : min(Z`1Riglzt(xay9i) _ [La/tr (X + d,}«-`,I) a T) burada CostLen(x, y, d) bir aykirilik adayi (d) için sol görüntüdeki pikselin (x, y) maliyet degerini temsil etmektedir ve CostRight(x, y, d) bir aykirilik adayi (d) için sag görüntüdeki pikselin (x, y) maliyet degerini temsil etmektedir. ILen ve IRigm söz edilen sol görüntü ve sag 1617/EPITR görüntüdeki RGB degerlerini temsil etmektedir. T, gürültü etkisini azaltmak amaciyla maliyet degerlerinin kesilmesini temsil etmektedir.

Bahsedilen sol görüntü ve sag görüntünün maliyet degerleri birbirleriyle iliskili oldugundan ötürü, bu sol görüntü veya sag görüntü için yalnizca bir hesaplamaya ihtiyaç duyulmakla birlikte, maliyet degerleri diger görüntü için kopyalanmaktadir.

Blokta (310) hesaplanan maliyet degerleri, çesitli aykirilik adaylari için sol ve sag görüntüler (301, 303) arasindaki renk bazli benzerlige karsilik gelmektedir. Bu maliyet degerleri asagida açiklandigi üzere dikey etki alani ve zamansal etki alanindaki pürüzsüzlügün güçlendirilmesi yoluyla (320),de degistirilebilmektedir.

Bir uygulamaya göre (320)`de, görüntü elemaninin maliyet degeri ve bahsedilen birinci görüntüdeki bir veya daha fazla önceki satirdan bir veya daha fazla görüntü elemaninin aykirilik degerlerine dayali bir birinci degerden ve söz edilen birinci görüntüdeki görüntü elemani ile ayni pozisyona sahip bir önceki birinci görüntüdeki karsilik gelen bir görüntü elemanina ait bir aykirilik degerine dayali bir ikinci degerden en az biri temelinde degistirilmis maliyet degerleri belirlenmektedir.

Bir uygulamada sol görüntüdeki görüntü elemani (x, y) için degistirilmis aykirilik degeri asagidaki esitlik dogrultusunda belirlenebilmektedir: CLe/i (29 .13 d) = COStLm (x, y, d) + ”Upüdtlld - D(x, y _ 1)| + iuTemp (X, .17)"d _ DI _1 (x, ,10` (9) burada CLeft (x, y, d) bir aykirilik adayi (d) için sol görüntüdeki pikselin (x, y) degistirilmis maliyet degerini temsil etmektedir ve CostLeft (x, y, d) esitlik (8)'e göre belirlenen aykirilik adayi (d) için pikselin (x, y) maliyet degerini temsil etmektedir. D(x-1, y-1), ayni 1617/EPITR görüntünün bir üst satirindaki piksel (x-1, y-1) pikseli için belirlenen sonuçlandirilmis aykirilik degerini temsil etmektedir. D”(x, y) 'Önceki sol görüntüdeki t-1 piksel (x, y) için belirlenen sonuçlandirilmis aykirilik degerini temsil etmektedir.

Yukaridaki uygulamalara göre, aykirilik adayi degeri (d) ile karsilik gelen dogrultu için geçirgenlik agirliklari kullanilarak 'Önceki satirin belirlenen aykirilik degerleri arasindaki farkin agirliklandirilmasi yoluyla bir pürüzsüzlük kisiti saglanmaktadir. Bunun yani sira, önceki çerçevenin (Dt-1) aykirilik haritasi da pikselin zamansal çesitliligi tarafindan kisitlanmaktadir. Esitlik (9)'un uygulamasina göre önceki satir ile önceki çerçevenin aykirilik degerleri zamaninda, pikselin (xi y) renk çesitliligi karsilik gelen dogrultularda düsük oldugu sürece uygun görülecektir.

Esitlik (9)'un uygulamasinda degistirilmis maliyet degeri belirlenirken yukari sol, yukari ve yukari sag dogrultularindaki hemen bitisik satirdaki üç pikselin aykirilik degerleri dikkate alinmaktadir. Söz edilen degistirilmis maliyet degerini belirlemek için, hemen bitisik satirdaki üç pikselden daha fazlasi veya daha azi ve/veya hemen bitisik satirdan uzakta olan bir veya daha fazla satirdaki piksellerin kullanilabilecegi anlasilmaktadir.

Esitlik (9)'un uygulamasinda, degistirilmis maliyet degerini belirlemede hem yukaridaki satirin aykirilik degerleri (birinci degere karsilik gelen) hem de önceki çerçevenin aykirilik degeri (ikinci degere karsilik gelen) kullanilmaktadir. Diger uygulamada dikey etki alani veya zamansal etki alaninda pürüzsüzlük kisiti saglamak amaciyla bahsedilen degistirilmis maliyet degerini belirlemek üzere iki degerden yalnizca bir tanesi kullanilabilmektedir.

Yukarida (320)'de dikey ve zamansal bilgilerin kullanildigi islemler söz edilen sag görüntü (303) için de gerçeklestirilebilmektedir. Blok (320) yoluyla, görüntüdeki genel aykirilik dagilimi bilgilerin dikey ve zamansal Iliskiler dahil olmak üzere mümkün olan tüm dogrultulardan aktarilmasi yoluyla çikarilmaktadir.

Bloktan (320) verilen degistirilmis maliyet degerleri temelinde görüntü için bir aykirilik degeri belirlenebilmektedir. Bir uygulamada, birden çok aykirilik adayi arasindan minimum degistirilmis maliyet degerlerine sahip olan aykirilik adayi, minimizasyon blogunda (340) görüntü elemani için aykirilik degeri olarak belirlenmektedir. 1617/EPITR Baska bir uygulamada bahsedilen aykirilik degerini belirlemeden önce, degistirilmis maliyet degerleri ayrica, bir yatay agregasyon blogunda (330) bir yatay entegrasyon ile islenebilmektedir, ve bu da blokta (305) belirlenen geçirgenlik agirliklari kullanarak piksel bazli maliyet degerlerinin yatay dogrultuda desteklenmesini saglamaktadir.

Yatay agregasyon bloguna (330) yapilan giris, bloktan (320) çikarilan degistirilmis maliyet haritasi ve bloktan (305) çikarilan geçirgenlik haritalaridir, ve çikis ise agrege edilmis maliyet haritasidir. (330)'daki yatay agregasyon, her bir satir için bagimsiz olarak art arda sol ve sag tarama sirasinda agirliklandirilmis entegrasyon ile gerçeklestirilmektedir. Sekil 5 bir uygulamaya göre degistirilmis maliyet degerlerinin agregasyonunu göstermektedir. Sekil 5`te gösterildigi gibi, degistirilmis piksel bazli maliyet degerleri sirasiyla sol ve sag dogrultulardaki geçirgenlik agirliklari kullanilarak sol ve sag dogrultulara dogru toplanmaktadir ve bunun sonucunda her bir piksel için karsilikli dogrultulardan iki ayri agrege edilmis maliyet (AC) olmaktadir.

Bir uygulamada sol ve sag dogrultulardan agrege edilmis maliyetler asagidaki esitlik dogrultusunda belirlenmektedir.

ACI/(IÜ (IÜ/Ed) : C(X9J'.ad) + luRighi (X _19)`)* ACI'ç/I (X _19)41`7d) ACRigh' (x,y,d) = C(x,y,d) + burada, ACLeft(x, y ,d) görüntü elemaninin (x, y) solundan gelen agrege edilmis maliyet degerini temsil etmekte, ACRIgm(x, y ,d) ise söz edilen görüntü elemaninin (x, y) sagindan gelen agrege edilmis maliyet degerini temsil etmektedir. ACH(x, y ,d), görüntü elemani (x, y) Için final agrege edilmis maliyet degerini göstermektedir.

Yukaridaki uygulamaya göre sol dogrultudan gelen bilgi, piksellerin sag dogrultuya geçirgenligi yoluyla yürütülmekte ve sag dogrultu için tam tersi geçerli olmaktadir. Her iki 1617/EPITR dogrultudan da gelen iki agrege edilmis maliyet degeri, son yatay agregasyon degerini elde etmek için toplanmaktadir. Agirliklandirilmis entegreasyon sirasinda söz edilen geçirgenlik agirliklari bilgilerin pürüzsüz yüzeylere nüfuz etmesini saglarken, bu bilgilerin kenar bölgelerden geçmesini önlemektedir. Bu, maliyet degerlerinin destek hesabi sirasinda nesne sinirlarinin korunmasina imkan verecektir. Bahsedilen yatay entegrasyon sonucunda, karsilik gelen satirdaki doku özelliklerine bagli olarak, her bir piksel için sabit hesaplama karmasikligi olan, yani bir piksel için iki çarpma 'uç toplama, tüm satirda (görüntü genisliginin yatay penceresine karsilik gelen) bir agirliklandirilmis toplam elde edilmektedir.

Yukaridaki uygulamaya göre mevcut pikselden daha uzakta olan piksellerden gelen bilgiler, geçirgenlik degerlerinin art arda çarpilmalariyla nüfuz etmektedir. Sekil 6 bir uygulamaya göre geçirgenlik agirligi dagilimini göstermektedir. Sekil 6'da gösterildigi üzere koyu pikseller “O"a yakin geçirgenlik agirliklarini, açik pikseller ise “1"e yakin geçirgenlik agirliklarini göstermektedir. Nüfuz yaklasimi her bir piksel için bagli destek alanlari saglamakta olup, etkili geçirgenlik agirliklari karsilik gelen piksele olan uzaklik arttikça düsmektedir.

Yukaridaki uygulamalar dogrultusunda (330)'da her bir aykirilik adayi için agrege edilmis maliyet degeri belirlenmektedir. Bloktaki (330) maliyet degeri belirleme islemi, bloktaki (320) degistirilmis maliyet degeri belirleme islemi, ve bloktaki (330) degistirilmis maliyet degerlerinin agregasyonu bahsedilen görüntü elemaninin her bir aykirilik adayi için gerçeklestirilmektedir. Minimizasyon blogunda (340), minimum agrege edilmis maliyete sahip olan aykirilik adayi belirlenmekte ve karsilik gelen piksele atanmaktadir.

Agregasyon her iki görünümün degistirilmis maliyet haritalari için gerçeklestirilmektedir ve her iki görünüm için de aykirilik haritalari (341) belirlenmektedir.

Diger bir uygulamada yukarida bagimsiz olarak sol ve sag görüntüler için belirlenen aykirilik haritalari (341) yukarida açiklandigi üzere ayrica islenebilmektedir.

Ayni 3D sahneden çikarak, sol görünüm ve sag görünüm için aykirilik haritalari birbirleriyle tutarli olmalidir. Bir uygulamada güvenilir aykirilik atamalarini tespit etmek üzere blokta (350) bir tutarlilik çapraz kontrolü gerçeklestirilmektedir. Bahsedilen sol aykirilik haritasindaki her bir piksel atanmis aykirilik degeri ile sag aykirilik haritasina 1617/EPITR kaydirilabilmektedir ve söz edilen sag aykirilik haritasindaki karsilik gelen aykirilik degeri, sol aykirilik haritasindaki atanmis aykirilik degeri ile karsilastirilmaktadir. Bahsedilen aykirilik degerleri arasindaki fark önceden belirlenen bir esigin altinda ise, sol görünümdeki karsilik gelen pikselin güvenilir oldugu belirlenmektedir. Bahsedilen fark bu Bir uygulamada sol aykirilik haritasindaki bir piksel (x, y) için güvenilirlik tespiti asagidaki esitlik dogrultusunda gerçeklestirilmektedir: di” : `BiLe/I (X3 y) _ DRi'ghl(x + DLe/I (X9 y)›y)| dgjf' < Threshold l Left _ Re [Iabl'll'g7(x7 y) : (11)› burada, DLeft(x, y) sol aykirilik haritasindaki pikselin (x, y) belirlenen aykirilik degerini temsil etmekte, DRight(x+DLeft(x, y), y) sag aykirilik haritasindaki kaydirilmis pikselin (x+DLeft(x, y), y) belirlenen aykirilik degerini temsil etmektedir. Left_ReIiability(x, y) sol görünümdeki pikselin (x, y) güvenilirligini temsil etmektedir.

Söz edilen sag görünümdeki piksellerin güvenilirligini belirlemek üzere güvenilirlik tespiti sag aykirilik haritasi için tekrarlanmaktadir. Çapraz kontrol blogunun (350) çikisi, güvenilir pikseller için “1" atayan, güvenilmez pikseller için ise ”0” atayan iki güvenilirlik haritasini içermektedir.

Diger bir uygulamada örtüsen bölgeler ve tespit edilen güvenilmez aykirilik atamalari bir örtüsme çözme blogunda (360) islenmektedir. Örtüsen pikseller normalde, nesne sinirlarinin oldugu derinlik süreksizliklerinde yer almaktadir. Önplan nesnelerinin aykiriliklari daha büyüktür ve bu nedenle derinligin büyük oldugu yerde arkaplani örtmektedir. Sonuç olarak örtüsen bölgelerin, derinlik süreksizliklerinin etrafindaki lokal arkaplana ait oldugu çikariminda bulunulabilmektedir. Bir uygulamaya göre söz edilen örtüsen bölgelerin kayip aykirilik atamalari arkaplan yoluyla kopyalanabilmektedir. Bu örtüsen bölgelerin özellikleri de (360),ta örtüsme çözme isleminde göz önünde bulundurulabilmektedir. Bu sekilde blokta (360) önerilen yöntem büyük derinlik10 1617/EPITR atamalarina yönlendirmekte ve yukarida bloktaki (330) maliyet agregasyonuna benzer bir destek stratejisi gerçeklestirmektedir. Bir uygulamada söz edilen örtüsen bölgelerin aykirilik atamalari derinlik siralama ve yeginlik benzerligi temelinde güvenilir pikseller üzerinde agirliklandirilmis ortalama ile gerçeklestirilmektedir.

Bir uygulamada örtüsmeyen piksellere, (0, 1) araliginda olan, en yüksek derinlik atamalarina sahip olan piksellere “1”, en düsük derinlik atamalarina sahip olan piksellere uygulanmaktadir. Sekil 7'de güvenilirlik haritalama fonksiyonunun özelligi gösterilmektedir.

Bu haritalama fonksiyonu, söz edilen örtüsen bölgeler tüm durumlarda lokal arkaplanlara ait oldugundan `ötürü, daha yüksek derinlik degerlerini uygun görmektedir. Sonuç olarak, aykirilik degerlerine bagli olarak güvenilir piksellere atanacak sekilde, stereo çiftleri için güvenilirlik degerlerini gösteren iki harita elde edilmektedir. Örtüsme çözme blogunda (360), örtüsen (güvenilmez) bölgelerin bilgisinin Önlemek, örtüsme çözme Için önplan bölgelerinin etkisini düsürmek ve örtüsmeler için en güçlü destek olan güvenilir arkaplan bölgelerine daha fazla önem vermek amaciyla, aykirilik degerleri asagidaki esitlik (12) dogrultusunda güvenilirlik degerleri ile ölçeklendirilmektedir.

Bir uygulamada (330),daki yatay maliyet degeri agregasyonuna benzer olarak, ölçeklendirilmis aykirilik degerlerinde bir yatay agregasyon gerçeklestirilmektedir. Bu agregasyon, söz edilen geçirgenlik agirliklari tarafindan agirliklandirilmis ölçeklendirilmis aykirilik degerlerinin agirliklandirilmis bir toplaminin belirlenmesi yoluyla gerçeklestirilebilmektedir. Bahsedilen agregasyonun bir uygulamasi asagidaki esitlik (13) dogrultusunda gerçeklestirilmektedir. Örtüsen piksel için düzgün aykirilik atamasini belirlemek amaciyla, agirliklandirilmis toplam güvenilirlik agirliklarinin toplami ile normallestirilebilmekte, bu da güvenilirlik degerleri üzerinde agregasyon ile elde edilebilmektedir. Bu dogrultuda, bahsedilen güvenilirlik haritalari ayrica yatay dogrultuda agrege edilebilmektedir. Güvenilirlik degerlerinden olusan verilerin agirliklandirilmis toplaminin sonucunda, her bir piksel için derinlik verilerinin agirliklandirilmis toplami sirasinda kullanilan bir toplam agirlik olmaktadir. Bahsedilen aykirilik degerlerinin agirliklandirilmis toplami ve toplam agirligin depoladigi iki harita elde edilmektedir.

Dolayisiyla, esitlik (13),te oldugu gibi bir normallestirme adimi ile degistirilmis aykirilik10 1617/EPITR degerleri elde edilebilmektedir, ki burada söz edilen örtüsen bölgeyi doldurmak için arkaplan aykirilik atamalari uygun görülmektedir.

Dgiîîigi/ll(x V:) DRight(-x51).Rlght_ Re/iabzlm(xi) DNO/'nl (JC V) : PF(D weight (xîyn (13)_ burada DM . sol aykirilik haritasindaki piksel (x, y) için ölçeklendirilmis aykirilik ii'cighr . .~ degerini temsil etmekte, Ritim ( 1 ) sag aykirilik haritasindaki piksel (x, y) için ölçeklendirilmis aykirilik degerini temsil etmektedir. DN°'m(x, y) piksel (x, y) için degistirilmis aykirilik degerini temsil etmektedir. PF ise yukaridaki esitlik (10) dogrultusunda sol ve sag dogrultularda gerçeklestirilen agregasyon fonksiyonunu temsil etmektedir.

Esitligin (13) uygulamasi dogrultusunda, agirliklandirilmis aykirilik toplamlarinin agirliklarin toplamina bölünmesi yoluyla normallestirme adimi gerçeklestirilmektedir.

Sonuç olarak söz edilen örtüsen bölgeler güvenilir bölgelerin aykirilik atamalarinin filtrelenmesi ile doldurulmaktadir, ki burada arkaplan pikselleri (derinligi büyük olan) filtreleme sirasinda uygun görülmektedir. Bu islem hem sol hem de sag görüntüler için bagimsiz olarak gerçeklestirilmektedir ve degistirilmis aykirilik haritalari (361) elde edilmektedir.

Büyük örtüsen alanlar, gürültü ve isiklandirma kosullarinin neden oldugu yansimadan ötürü, bahsedilen degistirilmis aykirilik haritalari (361) dogru olmayan aykirilik degerleri içerebilmektedir. Örnegin, gerçek (dogru) 3D sahnenin araligi disinda kalan aykirilik degerleri bu degistirilmis aykirilik haritalarina (361) dahil edilebilmektedir. Bir uygulamaya göre blokta (370) bir aykirilik araligi tespiti gerçeklestirilmektedir ve büyük ihtimalle bu aykirilik araliginin disinda olan sapkin aykirilik degerlerini ortadan kaldirmak için (380)”de bir aykirilik araligi filtrelemesi gerçeklestirilmektedir.10 1617/EPITR Blokta (370), sol ve sag görünümlerin son aykirilik haritalari (321) (önceki çerçeve için) söz edilen aykirilik araligini tespit etmek için girilmektedir ve sahne degisiminin yoklugunda mevcut çerçevede bundan faydalanilacaktir. Bir uygulamaya göre Sekil 8'de gösterildigi gibi önceki çerçevenin aykirilik haritalarinin (321) bir histogrami belirlenmektedir. Sahnedeki minimum ve maksimum aykiriliklarini belirlemek için bir esikleme gerçeklestirilmektedir. Bir aykirilik degeri, bu aykirilik degerinin frekansinin önceden belirlenen bir esikten, örnegin görüntü boyutunun önceden belirlenen bir payindan (%N), yüksek olmasi durumunda mevcut olarak veya dogru olarak belirlendigi için, bu esikleme gürültüye karsi dayaniklilik saglayabilmektedir. Esik örnekleri %1, %2, Bir aykirilik degerinin sikligi söz konusu aykirilik degerine sahip olan görüntü elemanlarinin sayisini temsil etmektedir. Bahsedilen önceden belirlene esik temelinde, önceki stereo çerçevenin aykirilik araligini tanimlamak için bir maksimum aykirilik degeri zamanlama gibi donanim kisitlamalari sebebiyle aykirilik araligi tespiti önceki çerçevenin önceki aykirilik haritasinda (321) gerçeklestirilmektedir. Diger uygulamalarda donanim performansi izin verdigi sürece (370)'teki aykirilik araligi tespiti mevcut görüntü çerçevesinin degistirilmis aykirilik haritalarinda (361) da gerçeklestirilebilmektedir.

Aykirilik araligi filtre blogunda (380), örtüsme çözme blogundan (360) çikarilan degistirilmis aykirilik haritalarindaki (361) sapkin degerleri atmak üzere blokta (370) tespit edilen aykirilik araligi kullanilmaktadir. Bir uygulamaya göre tespit edilen aykirilik araligi arasindan çikarilmis aykirilik degerleri bahsedilen aykirilik araliginin sinirlari olarak atanmaktadir. Örnegin, söz edilen degistirilmis aykirilik haritalarindaki (361) bir görüntü elemani için bir aykirilik degeri minimum aykirilik degerinden düsük ise, bu görüntü elemaninin aykirilik degeri minimum aykirilik degeri olarak degistirilmektedir. Benzer sekilde söz edilen degistirilmis aykirilik haritalarindaki (361) bir görüntü elemani Için bir aykirilik degeri maksimum aykirilik degerinden büyük ise, bu görüntü elemaninin aykirilik degeri maksimum aykirilik degeri olarak degistirilmektedir.

Diger bir uygulamada, son aykirilik haritalarini (391) elde etmek amaciyla bahsedilen aykirilik araligi filtresinden (380) sonra aykirilik haritalari önceki çerçevenin aykirilik haritalari dikkate alinarak düzeltilmektedir. Bir uygulamada görüntü elemaninin son 1617/EPITR aykirilik degeri söz konusu görüntü elemaninin degistirilmis aykirilik degeri temelinde belirlenebilmektedir; önceki görüntü çerçevesindeki karsilik gelen görüntü elemaninin aykirilik degeri ve yeginlik degeri, mevcut görüntü çerçevesindeki söz konusu görüntü elemani ile ayni pozisyona sahiptir. Bu uygulama, muhtemel kirpismalari ortadan kaldirmak amaciyla araligi filtrelenmis aykirilik haritalarinin ayrica filtrelendigi bir zamansal filtrede (390) gerçeklestirilmektedir.

Bir uygulamada söz edilen zamansal filtre, önceki çerçevenin aykirilik haritalari ve esitlikte (7) belirlenen zamansal geçirgenlik agirliklari temelinde asagidaki esitlik dogrultusunda gerçeklestirilebilmektedir.

D{(x7.y) : (1_ ”Tc/np (X9 y))'Dl (x, y) + ”Teirip (x, y)'Dl_i (X, y) (14) burada, D'(x,y) ve D”(x,y) sirasiyla mevcut çerçeve aykirilik haritasindaki ve önceki çerçeve aykirilik haritasindaki piksellerin (x, y) aykirilik degerlerini temsil etmektedir.

Söz edilen zamansal filtre (390), mevcut çerçevedeki renk bazli degismeyen pikselleri (zamansal agirligi yüksek olan) aykirilik degerleri açisindan önceki çerçeve ile tutarli hale getirmektedir. Mevcut çerçevedeki renk bazli degisen pikseller (zamansal agirliklari düsük olan) aykirilik degerleri açisindan önceki çerçeve ile tutarli olmalari için zorlanmamaktadir.

Yukaridaki çesitli uygulamalar, daha kesin bir aykirilik belirleme elde etmek için önceki satirlarin bilgisinden ve önceki görüntünün bilgisinden faydalanan, stereo görüntü/video için aykirilik degerlerini belirlemeye yönelik bir yöntem saglamaktadir. Uygulamalar, yatay ve dikey bilgi aktarimindan faydalanarak aykirilik degerlerini belirlemektedir. Uygulamalar ayrica, her bir piksel için yatay destek alani üzerinde hizli ve etkili bir lokal maliyet agregasyonu yoluyla lokal optimizasyon temelinde bir aykirilik belirleme yöntemi saglamaktadir. Destek hesaplama stratejisi, komsu pikseller ile yeginlik benzerlikleri temelinde piksellerin uzaysal ve zamansal dogrultulardaki geçirgenlik özelliklerinin bilgisine baglidir. Söz edilen geçirgenlik agirliklari bilginin pürüzsüz/dokusuz bölgelerden geçmesini saglarken, bu bilginin kenar piksellerden geçmesini önlemektedir. Her bir görüntü elemani içini birden çok uzaysal geçirgenlik agirligi ve zamansal geçirgenlik agirligi belirlenmektedir, bunun ardindan söz edilen sol ve sag görünümlerdeki pikseller 1617/EPITR arasindaki RGB farklarina, önceden kestirilmis üst satir aykirilik atamalarindan deviasyona ve önceki çerçevenin aykirilik haritasindan deviasyona bagli olarak piksel bazli maliyet hesaplamasi yapilmaktadir. Piksel bazli maliyet degerleri yatay dogrultuda iki geçisli agirliklandirilmis entegrasyon stratejisi ile agrege edilebilmektedir. Karsilik gelen dogrultu için geçirgenlik agirliklarindan faydalanarak, sag ve sol tarama sirasinda yatay agirliklandirilmis toplam elde edilmektedir. Bu yaklasim, doku özelliklerine bagli olarak her piksel için düsük bir hesaplama karmasikligi olan destek alani saglamaktadir. Maliyet degeri belirleme, düzeltme ve agregasyon islemleri her bir aykirilik adayi için gerçeklestirilmektedir ve minimum desteklenen maliyeti elde eden aykirilik adayi karsilik gelen görüntü elemanina atanmaktadir. Aykiriliklara karsilik gelen dikey kisitlanmis maliyet degerleri, ayni satirdaki ve üst satirlardaki pikseller dahil olmak üzere genis bir aralikta desteklenmektedir. Bu, kestirilmis aykirilik haritalarinin pürüzsüzlügü ve dayanikliligini artirabilmektedir. Tarama sirasinda bir satir bazli isleme gerçeklestirilmektedir, ki burada bir sonraki satirin islenmesine, mevcut satirin aykirilik atamasi sonuçlandirildiginda baslanmaktadir.

Diger uygulamalarda, bahsedilen aykirilik atamasi her iki görünüm için de belirlendikten sonra güvenilir ve örtüsen bölgeleri tespit etmek 'üzere bir sol-sag tutarlilik kontrolü gerçeklestirilmektedir. Örtüsme çözme, güvenilir aykirilik kestirimleri üzerinde benzer bir agirliklandirilmis filtreleme ile yapilmaktadir. Örtüsme çözülürken, çogu örtüsen bölge derinlik süreksizlikleri etrafindaki arkaplan pikselleri oldugundan büyük derinlik atamalarina sahip olan piksellere eiglim olmaktadir. Önceki çerçevenin aykirilik haritasi ile zamansal filtreleme, aykirilik kestirim algoritmasini sonuçlandirabilmektedir ve bu da sahnenin SD yapisini modelleyen sol ve sag görünümler için iki aykirilik haritasi saglamakta, ve stereo içeriklerde 3D Televizyonlar için derinligi ayarlamayi ve derinlik temelli görüntü iyilestirmeyi saglamaktadir. Söz edilen zamansal filtreleme, zamansal olarak tutarli ve kirpismasi olmayan aykirilik haritalari saglamaktadir. Çesitli uygulamalarin yöntemi ayrica, birçok kamera yoluyla yakalanan görünümlerden 3D model çikartmaya kadar ulasabilmektedir. Sekil 9 bir uygulamaya göre bir görüntüleme sistemini göstermektedir.

Bahsedilen görüntüleme sistemi (900) yukarida Sekiller 2 ve 3'te açiklandigi üzere bir stereo görüntü çifti veya bir stereo video olabilecek görüntüleri (901) almaktadir. 1617/EPITR Görüntüleme sistemi (900), bir ikinci görüntüye göre bir birinci görüntüdeki her bir görüntü elemani için bir aykirilik degeri belirlemeye yönelik bir görüntü isleme cihazini (910) içermektedir. Bu görüntü isleme cihazi (910), yukarida Sekiller 2 ve 3'e iliskin olarak açiklanan çesitli uygulamalar dogrultusunda belirlenen aykirilik haritalari (231, 233, 341, 361, 391) olabilecek bir aykirilik haritasi (911) olusturabilmektedir.

Bir görüntü Olusturucu (920) görüntüyü (901) ve belirlenen aykirilik haritasini (911) alabilmekte ve 3D görüntüleme için görüntüyü (901) olusturabilmektedir.

Söz edilen görüntüleme sistemi (900) örnegin bir 3D TV veya bir bilgisayara dahil edilebilmektedir.

Bulus spesifik uygulamalara atifla gösterilmis ve açiklanmis olsa da, teknikte uzman kisiler ekli istemlerde tanimlanan bulusun kapsamindan ayrilmadan biçim ve ayrintilarda çesitli degisikliklerin yapilabilecegini anlamalidir. 1617/EP/TR Islemci Ag Arayüzü Önceki 22 1 görüntülerin bilgisi 1617/EPITR 2IO 220 Sol Görünüm /i/ /i/ Görüntüsü ] H." Maliyet Degeri Deglstirilnjis _ Belirleme Maliyet Degeri 703 Belirleme Sag Görünüm Görüntüsü 230 sm 731 Aykirilik _y /i/ Haritasi Aykirilik Belirleme Aykirilik 233 Haritasi 1617/EP/TR Onceki Aykirilik Haritalari (ri.1)'irici çerçeve 321 301 305 .' 320 -, Sol Gorumu c "i enlrk ' 1 330 4 .

Sag Goruntu Hesaplama f 9 ziminsai aiigi › Agiegasyon > : .. 320 ..

Onceki Aykiriiik Hariralan (HU 8" Ayk'm'k Aday' lçin) A li I k ( } ç ç 321 Havuzlari 341 4._ i( ( Aykirilik Araliqi Deglslirilmis . 3 u Son3â9yîliirilik Haiitaliri Zamana! Fiilre Filtresi Aykirilik Haritalari Onusme Çoime 202:!“ Aykirilik Araligi Onctki Aykirilik Mamalari 4_(n-11mci çerçi-ve Ayliriliu Araligi Tüp“. 321 1617/EPITR .id-(flim _ l._i~.d) AC!`L7/I(.\`+I,_V,(1) .4 (Km/:IIL' - 1._L',d) Azim-Q“ (.\'. Jad) A( 'RI'L'I"(i-+ 2._Liil) ACRIKJ" (',\'._L'.rI) = (`('.\'..i*.dl + un,” (x + 1.1L')*.4(.`m"m(x + I. y. (1) 1617/EPITR in Sol Agrege Edilmis Maliyet 6" Piksel bazli Maliyet 1617/EPITR Sol Tarama Agirliklandirmasi Sag Tarama Agirliklandirmasi Güvenilirlik Maksimum Derinlik Derinlik Degeri 1617/EP/TR Aykirilik Histogrami /1/900 910 920 901 G_Örüntü 91 1 Görüntü Görüntüler :siliîranzî Aykiriilk OluSturucu Haritasi

Claims (4)

ISTEMLER

1. - Birden çok aykirilik adayinin her bir aykirilik adayi için, birinci görüntüdeki görüntü elemani ile ilgili aykirilik adayi kullanilarak belirlenen ikinci görüntüdeki karsilik gelen bir görüntü elemani arasindaki bir yeginlik farki temelinde bir maliyet degerini belirlemeyi; - birden çok aykirilik adayinin her bir aykirilik adayi Için, görüntü elemaninin maliyet degeri ve bahsedilen birinci görüntüdeki bir veya daha fazla önceki satirdan bir veya daha fazla görüntü elemaninin aykirilik degerlerine dayali bir birinci deger ve söz edilen birinci görüntüdeki görüntü elemani ile ayni pozisyona sahip bir önceki birinci görüntüdeki karsilik gelen bir görüntü elemanina ait bir aykirilik degerine dayali bir ikinci deger temelinde bir degistirilmis maliyet degerini belirlemeyi; ve - birden çok aykirilik adayinin degistirilmis maliyet degerleri temelinde birden çok aykirilik adayi arasindan bir aykirilik adayini birinci görüntüdeki görüntü elemaninin aykirilik degeri olarak belirlemeyi - bahsedilen görüntü elemaninin her bir aykirilik adayi için, söz edilen birinci görüntüdeki söz konusu görüntü elemani ile ayni satirdaki tüm görüntü elemanlari için belirlenen degistirilmis maliyet degerlerini agrege ederek, agrege edilmis bir maliyet degerini belirlemeyi; - minimum agrege edilmis maliyet degerine sahip olan aykirilik degerini, bahsedilen birinci görüntüdeki görüntü elemaninin aykirilik degeri olarak belirlemeyi; - görüntü elemaninin her bir aykirilik adayi için, aykirilik adayi ve söz edilen birinci görüntüdeki bir veya daha fazla önceki satirdan bir veya daha fazla görüntü elemaninin aykirilik degerleri arasindaki birinci aykirilik farklari temelinde birinci degeri belirlemeyi; - ilgili bir veya daha fazla görüntü elemaninin yeginlik degeri temelinde bir veya daha fazla önceki satirdan bir veya daha fazla görüntü elemaninin her birine karsilik gelen, bir merkez görüntü elemaninin yeginlik degerlerinin alti adet komsu ile karsilastirilmasi yoluyla ölçülen bir birinci agirliklandirma faktörünü belirlemeyi; - ilgili birinci agirliklandirma faktörü tarafindan agirliklandirilmis birinci aykirilik farklarinin toplamini birinci deger olarak belirlemeyi; - birinci görüntüdeki görüntü elemaninin aykirilik degerinin, önceden belirlenen bir esik ve ikinci görüntüdeki, birinci görüntüdeki görüntü elemaninin aykirilik degeri kullanilarak belirlenen karsilik gelen görüntü elemaninin bir aykirilik degeri temelinde güvenilir olup olmadigini belirlemeyi; - bahsedilen birinci görüntüdeki görüntü elemani için, söz konusu görüntü elemani ile ayni satirda olan tüm görüntü elemanlarinin aykirilik degerleri, söz konusu tüm görüntü elemanlarinin güvenilirligi ve söz konusu tüm görüntü elemanlarinin yeginlik degerleri temelinde degistirilmis bir aykirilik degerini belirlemeyi; - 'önceki birinci görüntünün görüntü elemanlari için belirlenen birden çok aykirilik degerinin her bir aykirilik degeri için, ilgili aykirilik degerine sahip olan görüntü elemanlarinin sayisini gösteren bir siklik degerini içeren, önceki birinci görüntünün bir aykirilik histogramini belirlemeyi; - `önceden belirlenen bir esikten yüksek siklik degerlerine sahip olan bir aykirilik degeri araligini tanimlayan bir maksimum aykirilik degerini ve bir minimum aykirilik degerini söz edilen aykirilik histogrami temelinde belirlemeyi; - degistirilmis aykirilik degerinin bahsedilen minimum aykirilik degerinden küçük olmasi durumunda, birinci görüntüdeki görüntü elemaninin degistirilmis aykirilik degerini minimum aykirilik degeri olarak belirlemeyi, ve bu degistirilmis aykirilik degerinin bahsedilen maksimum aykirilik degerinden büyük olmasi durumunda, birinci görüntüdeki görüntü elemaninin degistirilmis aykirilik degerini maksimum aykirilik degeri olarak belirlemeyi; ve - önceki birinci görüntüdeki karsilik gelen görüntü elemaninin aykirilik degeri ve yeginlik degerinin, bu birinci görüntüdeki söz konusu görüntü elemani ile ayni pozisyona sahip oldugu, birinci görüntüdeki görüntü elemaninin son aykirilik degerini, söz konusu görüntü elemaninin degistirilmis aykirilik degeri temelinde belirlemeyi içeren, bir ikinci görüntüye göre bir birinci görüntünün bir satirindaki bir görüntü elemani için bir aykirilik degeri belirlemeye yönelik bir yöntem.

2. - Görüntü elemaninin her bir aykirilik adayi için, aykirilik adayi ve önceki birinci görüntüdeki karsilik gelen görüntü elemaninin aykirilik degeri arasindaki bir ikinci aykirilik farki temelinde ikinci degeri belirlemeyi de içeren, istem 1'e göre yöntem.

3. - Onceki birinci görüntüdeki karsilik gelen görüntü elemanina karsilik gelen bir ikinci agirliklandirma faktörünü, karsilik gelen görüntü elemaninin yeginlik degeri temelinde belirlemeyi; ve - bahsedilen ikinci agirliklandirma faktörü tarafindan agirliklandirilmis ikinci aykirilik farkini ikinci deger olarak belirlemeyi de içeren, istem 2'ye göre yöntem.

4. - Birinci görüntüdeki görüntü elemani için agrege edilmis maliyet degeri belirlemenin, ayni satirdaki tüm görüntü elemanlari için belirlenen degistirilmis maliyet degerlerinin bir agirliklandirilmis toplamini belirlemeyi içerdigi, her bir degistirilmis maliyet degerinin, söz konusu degistirilmis maliyet degerinin karsilik geldigi ilgili görüntü elemaninin yeginlik degeri temelinde agirliklandirildigi, istem 1'e göre yöntem.