TR201814942T4 - Mikroskopide bir görüntü işlemden geçirme yöntemi. - Google Patents

Abstract

Buluş dijital patolojide görüntü işlemden geçirmenin alanı ile ilgilidir. Not edilir şekilde, o bir bölgedeki bir numuneyi temsil eden bir birinci görüntüyü işlemden geçirmek için bir yöntem teklif eder ve burada, görüntü bir mikroskopik görüntüleme sistemi (1) aracılığıyla numuneden edinilmiş bulunmaktadır ve bir çoklu-çözünürlük görüntü verisi yapısında (80) depolanır ve yöntem aşağıdaki adımları içerir: - bir birinci çözünürlükte birinci dijital görüntünün bir alt-bölgesinin geri edinilmesi (104), - geri edinilmiş alt-bölge üzerinde bir dönüştürme fonksiyonunun yürütülmesi (105), dönüştürme fonksiyonu birinci dijital görüntünün bir ikinci çözünürlük temsilinden türetilmiş en az bir metrik uyarınca alt-bölgenin bir içeriğini modifiye eder.

Description

TEKNIK ALAN Bulus dijital patolojinin alani, özellikle tam slayt taramasi için teknoloji ile Özellikle, bulus bir dijital mikroskopi görüntüsünü iyilestiren/modifiye eden bir gön'intü islemden geçirme yöntemi ile ilgilidir. ÖNCEKI TEKNIK Dijital patoloji doku slaytlarini görsellestirmek üzere yeni yollar saglar ve bu slaytlarin analiz edilmesi için yeni is-akislarina olanak tanir. Sekil lsde gösterildigi gibi, dijital patoloji için tipik bir sistem 1 örnegin bir doku numunesi gibi bir numuneyi taramak ve onun bir dijital görüntüsünü yaratmak için not edilir sekilde bir tarayiciyi 10 içerebilir. 1D hat tarayici, 2D dizin tarayici, Zaman Gecikmesi Entegrasyon (TDI) tarayici olarak isimlendirilen bir tarayici, vb. gibi tarayicinin birçok tipi hali hazirda teklif edilmis bulunmaktadir. Sistem ilave olarak, doku numunesinin bir dijital görüntüsü gibi bilgiyi arsivlemek ve iletisimde bulunmak için bir PACS 20 (Resim Arsivleme Iletisim Sistemi) içerebilir. Sistem ilave olarak, bilgisayarda uygulamaya geçirilir talimatlari yürütmek için bir hesaplama (bilgisayar) cihazini 30 ve böylesi talimatlari ve görüntü verisi gibi diger iki-elemanli bilgiyi yüklemek için tainpon bellek gibi bellegi içerebilir. Hesaplama cihazi bir islemci, FPGA (Tamamen Programlanabilir Kapi Dizini), DSP (Dijital Sinyal islemcisi) olabilir ve bellek not edilir sekilde, sistemde amaçlanan fonksiyona ve istenilen performansa bagli olarak bir DRAM, SDRAM, SRAM, DDR SDRAM, FRAM, ROM, CD, DVD olabilir. 21442.1180 Dijital patolojinin alaninda iyi bilinen sekilde, bilgisayar cihazi genel olarak, görüntü isemden geçirilmesi ve örnegin tanilama gibi görüntü analizi için kullanilabilir. Dijital patolojinin alaninda, görüntü islemden geçirilmesi genel olarak, bu görüntünün içerigini modifiye etmek için, bir algoritma ile bir dijital görüntünün islemden geçirilmesine atifta bulunur. Dolayisiyla, görüntü islemden geçirilmesi not edilir sekilde, görüntünün algilanmis kalitesini gelistirmenin ve bir görüntüde görüntünün bir referans görüntüye kaydedilmesinin fonksiyonlarini içerir. Buna karsin, bir görüntü analiz algoritmasi (örnegin, tanilama için) inceleme altindaki dijital görüntünün içerigini modifiye etmeyecektir. Gerçekte, bu görüntü tipik olarak, üzerine bir görüntü islemden geçirme algoritmasinin uygulanmis bulundugu bir görüntü olabilir. Bilgi için, tanilama için bir görüntü analiz algortimasinin bir iyi bilinen örnegi bir CAD algoritmasina (Bilgisayar Destekli Tanilama) karsilik gelir. Mevcut bulus spesifik olarak, yukarida tanimlanmis sekilde görüntü islemden geçirmenin dijital patolojideki teknik alani ile ilgilidir. Diger bir deyisle, mevcut bulus izlenecek ve/veya örnegin bir CAD algoritmasi benzeri bir görüntü analiz algoritinasi ile takiben analiz edilecek bir dijital görüntüyü hazirlayan dijital patolojinin bir yöntemi ve yazilimi ile ilgilidir. Daha önce söz edilen sekilde, bir görüntü islemden geçirme algoritmasi bir görüntünün kontrastini iyilestirmek üzere yapilandirilabilir ve böylece, operatör sistemin 1 bir ekrani 50 üzerinde gösterilecek görüntüde ilgilenilen özellikleri daha iyi bulabilir. Ömekleme yoluyla, operatör ilk olarak, bir H&E teknigi (Hematoksilin ve Eosin) ile boyanmis bir doku numunesini gösteren ekran üzerinde göstennek için bir görüntüyü yükleyebilir. Buradan sonra bir HE görüntüsü olarak isimlendirilen bu görüntü trayici ile edinilmis bulunan numunenin tüm alanini veya onun parçasini gösterebilir. Operatör ondan sonra, örnegin bir daha yüksek çözünürlükte nuinunenin bir belirli alanini göstermek için, bu görüntüde, buradan itibaren bir alt-bölge olarak isimlendirilen ilgilenilen bir bölgeyi seçebilir. Bu yönde, sistem 1 dijital görüntünün tüm alanini ilk olarak dönüstüren ve böylece, numunenin tüm alaninin bir yüksek çözünürlüklü dijital görüntüsünü 21442.1180 yaratan bir görüntü islemden geçirme algoritmasini içerebilir. Ondan sonra, ilave islemden geçirme bu yüksek çözünürlüklü görüntüden sözü edilen alt-bölgede görüntü ile ilgili içerigi yeniden edinir ve imgesel içerik ekran üzerinde gösterilir. Ancak, böyle görüntü islemden geçirme algoritmalari ile bir problem, genel olarak dijital patolojide, dijital görüntülerin büyüklügünün, ultrason, MRI, CT, PET veya X-ray gibi, diger olagan tibbi görüntüleme araçlarindan alinmis olanlardan çok daha büyük olmasidir. Bunun bir sonucu olarak, dijital patolojide, dijital görüntülerin büyük büyüklügü siklikla çok daha yogun hesaplama gerektirir ve siklikla, not edilir sekilde göstersim hizi bakimindan bir düsük olusturma perforinansina götürür. Böyle bir problemi çözmek üzere, örnegin adanmis grafik islemden geçirme ünitelerinin (GPU) veya paralel mimarilerin kullanilmasi araciligiyla bilgisayar hesaplama cihazlarinin donaniin mimarilerini optimize etmek üzere teklif edilmis bulunmaktadir. Ayni zamanda, o görüntü islemden geçirme algoritmalarini optimize etmek üzere teklif edilmis bulunmaktadir. Ancak, makul optimizasyonlar ile iyi performans basarmak hala zordur. Digerleri arasinda, böylesi çözümler tekrar, depolama boslugunun bir büyük miktarini ve not edilir sekilde PACSataki depolama ve bilgisayar hesaplama cihazi arasinda büyük band-genisligini gerektirir. Yukarida sözü edilen probleme bir farkli çözüm numunenin tüm alanini temsil eden dijital görüntünün asagiya numunelendirilmesi (çözünürlük azaltilarak) ve bu yeni görüntüye dönüsümün (örnegin, kontrastin iyilestirilmesi) uygulanmasi araciligiyla teklif edilmis bulunmaktadir. Ondan sonra, kullanici alt-bölgeyi seçtigi zaman, sistem bir asagiya numunelendirilmis görüntüde bu bölgenin içerigini geri edinir. Her ne kadar bu çözüm gerçek zamanli performans saglayabilirse de, patologa gösterilemis asagiya numunelendirilen görüntü yeterli kaliteye sahip olmayabilir. Önceden söz edilen sekilde, görüntü islemden geçirilmesine ayni zamanda, görüntü kayit altina alma olarak atifta bulunulur ve burada tekrar, yukarida tanimlanmis problemler meydana gelebilir. 21442.1180 Bir baska tipik örnek olarak, bir patolog bir HE görüntüsünü izlemek ve ilgili alt- bölgeleri (örnegin, tümör alani) belirtmek isteyebilir. Ondan sonra, o ilave analiz için, örnegin bir immünohistokimyasal (IHC) teknik gibi, bir farkli boyama teknigi ile hazirlanmis en az bir ilave slayti siparis etmek isteyebilir. Ilave slayt bir Ondan sonra, patolog HE ve lHC görüntüleri ekran üzerinde yan yana izlemek isteyebilir. Ancak, slayt hazirlainanin dogasindan dolayi ve dijitallestirme isleminden dolayi, doku ve onun özellikleri tam olarak ayni biçime, görünüme ve uzamsal hizalanmaya sahip olmayabilir ve bu durum bitisik dokunun farkli Slaytlari üzerinde ayni bölgeyi bulmayi zor hale getirebilir. Bunu olanakli hale getirmek üzere, bir görüntü kayit altina almaya ihtiyaç duyulabilir. Görüntü kayit altina almanin burada bir görüntüden noktayi bir baska görüntüdeki homolog noktaya haritalandiran bir uzamsal dönüsümü hesaplainanin bir islemini belirledigi burada not edilmelidir. Görüntü kayit altina alma teknikleri dijital patolojide bilinirler ve genel olarak, numunenin her edinilmis dijital görüntüsü üzerine böyle bir dönüsümün uygulanmasi üzerine temellendirilirler. Ancak, dijital mikroskopi görüntülerinin genel olarak dijital radyoloji görüntülerinden farkli olduklari hatirlatilabilir. Dijital mikroskopi görüntülerinin büyüklügü önceden tanimlanmis bulunan farklarin biridir. Bir baska fark olarak, Manyetik rezonans (MR) görüntülerinin hariçte kalmasiyla radyoloji görüntüleri mutlak piksel yogunluklarini (örnegin, genel X-ray ve CT görüntüleri havanin -1000 oldugu, suyun 0 oldugu ve kemigin 400 oldugu Hounsfield birimini kullanir) olusturmak egilimindedir. MR7a benzer sekilde, dijital mikroskopi görüntülerinin piksel yogunluk dagilimi faktörlerin büyük bir çesitliligine baglidir ve siklikla, bunlarin kontrol edilmesi zordur ve görüntülerin bütünlügü için veya taramalar arasinda olasi olarak tek-biçimli degildir. Böylesi faktörler mikrotomi yapma, standartlastirilmis-olmayan boyama prosedürleri sirasinda doku hareketlerini ve oto-odaklanmayi ve edinim sirasinda kullanilmis diger görüntü islemden geçirme algoritmalarini içerir. 21442.1180 Bir baska fark olarak, radyoloji içindeki multi-modal görüntülerin edinimi tipik olarak ayni bölgenin görüntülenmesini içerir (örnegin, CT-PET edinimi ayni zamanda ayni anatomik bölgeyi yakalar). Dijital mikroskopi görüntüleme bitisik doku kesitleri üzerinde, farkli boyama prosedürlerinin - immunohistokimya veya yerinde hibridizasyon (ISH) gibi - uygulanmasi araciligiyla çoklu modlari veya temsilleri olusturur. Dijital mikroskopi görüntülemesi bitisik doku kesitleri üzerinde farkli boyama prosedürlerinin uygulanmasi araciligiyla çoklu modlari veya temsilleri olusturur. Edinimin bu biçimi radyoloji görüntülerinin intra-hasta kayit altina alinmasina en çok benzeyendir (her ne kadar hala farkli olsa da). Yukarida anlatilmis üç fark (örnegin, uç görüntü büyüklügü, mutlak-olmayan piksel yogunlugu dagilimi ve bitisik doku kesitlerinin multi-moda] edinimi) tüm slayt mikroskopisi için, dijital mikroskopi görüntülerinin, özellikle multi-modal görüntülerin, kayit altina alinmasinin önemsiz olinadigi ve yine, hiz bakiinindan dijital patoloji sistemlerinin performansini sinirlayan yogun hesaplamayi gerektirdigi anlamina gelir. Tekrar, her ne kadar yukarida tanimlanmis iki çözüm (donanim veya görüntü islemden geçirme algoritma optimizasyonu ve tüm slayt görüntüsünün asagiya numunelendirilmesi) dijital patoloji sisteminin performansini gelirtirmek üzere kullanilabilirse de, bu yeterli olmayabilir. Arganda-Carreras I. ark. ("Automatic registration of serial mammary gland sections", PROCEEDINGS OF THE 26TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE EMBS SAN FRANCISCO,CA, IEEE SERVICE 1691-1694) yayini artan çözünürlük adimlarinda en iyi kayit dönüsümlerine ulasan çok-çözünürlüklü bir piramit seklinde olan yaklasimi kullanan bir yöntemi tanimlar. Her adimda, mikroskopik görüntülerin bir alt-numunelendirilmis versiyonu kullanilir. Dolayisiyla, bulus yukarida sözü edilen problemleri çözmeyi ister. BULUSUN KISA AÇIKLAMASI 21442.1180 Özellikle, gelistirilmis görüntü islemden geçirme performansi ve tercihli olarak, gerçek-zamanli performans ile bir dijital patoloji sistemine bir ihtiyaç olabilir. Ilave olarak, gelistirilmis görüntü kayit altina alma performansi ile böyle bir dijital patoloji sistemin bir ihtiyaci varolabilir. Böylesi sistem dikkate deger sekilde gelistirilmis multi-modal görüntü kaydetine saglama yetkinliginde olabilir ve böylece, bir patolog bir görüntüde (örnegin, bir HE görüntüsü) bir alt-bölgeyi seçtigi zaman, sistem otomatik olarak, numunenin örnegin bir lHC görüntüsü gibi, bir baska görüntüsünde gerçek-zamanli performans ile karsilik gelen alt-bögeyi gösterir. Böylece, numunenin taranmis alanini temsil eden bir dijital mikroskopi görüntüsünde bir dönüsüm uygulamaktan ziyade, bulusta, dönüsüm sadece bu görüntünün bir yüksek çözünürlüklü alt-bölgesine uygulanir. Diger bir deyisle, dönüstürme sadece yüksek çözünürlüklü alt-bölgeler üzerinde talep üzerine gerçeklestirilir ve böylece, görüntü islemden geçirmede önemli hesaplaina ve örnegin tampon bellekte önemli depolama boslugu ve öneinli band-genisligi maliyetleri tasarruflari yapilir. Buna ek olarak, bir baska avantaj spesifik dönüstürmenin is-akisinda geç seçilebilirligi, örnegin gösterimin veya analizin hemen öncesinde kullanici tarafindan yapilabilirligi olabilir. Bulus ekli Istemler araciligiyla tanimlanir. Bir uygulama uyarinca, dönüstürme fonksiyonu seçilmis bulunan alt-bölgede görüntünün algilanmis kalitesini iyilestirmek üzere uyarlanir. Örnegin, kullanici dijital görüntüde bir alt-bölge seçebilir, bir kullanici arayüzü 60 araciligiyla bir kontrast iyilestirine fonksiyonu seçebilir, ondan sonra, sistem dijital görüntüden yüksek çözünürlükte (tipik olarak, onun piksel içerigi) alt-bölgeyi geri edinebilir, alt-bölge üzerinde kontrast iyilestirme fonksiyonunu uygulayabilir ve ekran üzerinde böylesi yeni yüksek kaliteli görüntüyü gösterir. Dolayisiyla, bu çok verimli islemden geçirme teknigi sayesinde, alt-bölge daha iyi bir kalite ile 21442.1180 Bir LUT fonksiyonunun (Basvuru Tablosu), bölümleme yönteminin, format dönüsümü (örnegin, RGB renk uzayindan HSV renk uzayina dönüstürme), vb. gibi diger dönüstürme fonksiyonlari kullanilabilirler. Bir ilave uygulama uyarinca, bir mikroskopi görüntüleme sistemi araciligiyla sözü edilen numuneden edinilmis bulunan bir ikinci dijital görüntü saglanir. Bu görüntüden ve birinci dijital görüntüden türetilmis metrikler dönüstürme fonksiyonunu hesaplamak üzere kullanilir. biyolojik örnegi belirtebilirligi not edilmelidir. Diger bir deyisle, iki ayni numune önemli derecede ayni özellikleri ve ayni topolojileri içerebilir. Ilave olarak, mikroskopik görüntüleme sistemi ayni olabilir veya birinci dijital görüntüyü elde etmek için kullanilmis olandan farkli olabilir. Herhangi bir süpheden kaçinmak üzere, "metrik" teriminin bir alt-bölge içerigini modifiye etmek için bir uygun dönüstürme fonksiyonunu belirlemek üzere kullanilmis herhangi bir fonksiyonu tanimlayabilirligi ilave olarak not edilmelidir. Metrik "optimal" dönüstürme fonksiyonunu (optimal metrik fonksiyon bakimindan tanimlanir) belirlemek üzere bir optimizasyon isleminde kullanilabilir. Bir sinirlayici-olmayan örnek olarak, dönüstürme fonksiyonunun bir genel dönüstürme gerçeklestirdigi bulusun uygulainalarinda, bazi inetrikler asagidakileri içerebilir: görüntü kontrasti, komsu bölgelerin histogram dagilimi, kenar dayanikliligi veya odaklanma tahmini. Ilave olarak, dönüstürme fonksiyonunun bir uzamsal dönüstürme gerçeklestirdigi bulusun uygulamalarinda, bazi metrikler asagidakileri içerebilir (ayrintili-olmayan liste): karesi alinmis farklarin toplami (ayni zamanda, ortalama karesel hata olarak bilinir), normallestirilmis çapraz korelasyon, ortak bilgi veya optik akis, vb. Bir uygulamada, dönüstürme fonksiyonunun hesaplanmasi birinci ve ikinci dijital görüntüler arasinda, tercihli olarak üzerinde dönüstürme fonksiyonunun yürütülecegi alt-bölgeninkinden bir daha düsük çözünürlükte, bir uzamsal dönüstürmenin hesaplanmasini içerir. Dolayisiyla, dönüstürme fonksiyonu dikkate deger sekilde, bir hizli görüntü kayit altina alinmasina olanak tanir ve böylece, iki 21442.1180 görüntünün alt-bölgelerinin her ikisi birden bir iyi uzamsal tutarlilikla ve gerçek- zamanda daha sonra izlenebilirler. Ömekleme yoluyla, patolog numunede bir HE görüntüsü ve bir IHC görüntüsü arasinda ilgilenilen bir bölgeyi karsilastirmak isteyebilir. Dolayisiyla, 0 ekran üzerinde hali hazirda izlenmis bir ikinci dijital görüntüde (örnegin, HE görüntü) bir alt-bölgeyi seçebilir. Sistem iki düsük çözünürlüklü dijital görüntüyü eslestirmek üzere ihtiyaç duyulan uzamsal dönüstürmeyi hesaplayabilir, IHC görüntüde HE görüntüde seçilmis olana karsilik gelen bir alt-bölgeyi geri edinebilir (IHC görüntü tercihli olarak, dönüstürme hesaplamasi için kullanilmis olandan daha yüksek çözünürlükte olur), uzamsal dönüstürmeyi IHC görüntüden geri edinilmis alt bölgeye uygulayabilir ve bu alt- bölgeyi HE görüntüde karsilik gelen biri (birinci alt-bölge için seçilmis daha yüksek çözünürlükte seçilmis biri) ile gösterebilir. Bir uygulamada, ikinci dijital görüntü bir H&E boyama teknigi ile hazirlanir ve bir referans görüntüyü tanimlar. Bir uygulamada, birinci dijital görüntü bir IHC boyama teknigi ile hazirlanir. Bir tercih edilen uygulamada, ikinci dijital görüntü bir H&E boyama teknigi ile hazirlanir ve birinci dijital görüntü bir lHC boyama teknigi ile hazirlanir. Bu durum operatörün farkli boyama teknikleri ile iki görüntüden karsilik gelen alt- bölgeleri görsellestirmesine ve analiz etmesine izin verir. Sözü edilen boyama teknikleri farkli yapisal ve/veya fonksiyonel bilgiyi vurgulayarak tamamlayici bilgiyi saglarlar. Diger uygulamalarda, birinci ve ikinci görüntü için kullanilmis boyama teknigi aynidir ve örnegin, IHC veya H&E ile boyanmis bir numunenin iki görüntüsü Bir uygulamada, bir uzamsal dönüstürmenin belirlenmesi ikinci dijital görüntü bakimindan birinci dijital görüntüyü uzamsal olarak hizalamanin adimini içerir. Bu uygulama iki önceki uygulamalar ile birlestirildigi zaman, bu tamamlayici bilgi ile farkli boyama tekniklerinin karsilik gelen alt-bölgelerini görsellestirmek üzere bir araç saglar. Bir ilave uygulamada, patolog veya sistem ikinci dijital görüntüde bir alt-bölge seçer, bu alt-bölge bir dis çizgiye sahiptir ve birinci dijital görüntünün bir alt- 21442.1180 bölgesini geri edinmenin adimindan önce, yöntem birinci dijital görüntünün alt- bölgesinin bir dis çizgisini tanimlayan bir dönüstürülmüs dis çizgiyi elde etmek üzere sözü edilen dis çizgi üzerinde dönüstürme fonksiyonunu yürütmenin ilave adimlarini içerir. Bir sinirlayici-olmayan örnek olarak, tüm numune alaninin veya onun kisminin bir HE görüntüsü ekran üzerinde gösterildigi zaman, patalog bu numunenin bir belirli alanini bakmak üzere bir alt-bölgeyi seçebilir. Sistem HE görüntüsü ve IHC görüntüsü arasindaki uzamsal bilgiyi hesaplar, ilk olarak seçilmis alt-bölgenin dis çizgisine dönüstürmeyi uygular ve böylece, bir dönüstürülmüs dis çizgiyi elde eder. Bu dönüstürülmüs dis çizgi IHC görüntüde bir karsilk gelen alt-bölgeyi tanimlar. Bu alt-bölgenin içerigi ondan sonra IHC görüntüden geri edinilir, dönüstürülmüs fonksiyon bu içerik üzerinde yürütülür ve ondan sonra, örnegin HE görüntünün alt-bölgesine karsilik gelen yan ile yan yana gösterilir. Bir uygulamada, sirasiyla birinci ve ikinci dijital görüntülerde bir birinci ve ikinci alan ya patolog veya otomatik olarak sistem tarafindan seçilirler. Her iki alan birden birinci alt-bölge tarafindan temsil edilmis toplam alandan daha büyüktür. Uzamsal bilgi ve özellikle, ikinci dijital görüntü bakimindan birinci dijital görüntünün uzamsal hizalanmasi ondan sonra, sözü edilen birinci ve ikinci alanlarin imgesel içeriklerinin bir karsilastirilmasi üzerine temellendirilir. Bu durum, uzamsal dönüsüm hesaplandigi zaman, global bilginin dijital görüntülerin bütünlügünden (veya onun kismindan) uygulamaya konulmasina izin verir. Global bilgi önemlidir, çünkü sözü edilen alt-bölgeler dönüsümü hesaplamak üzere yeterli üst üste binen içerigi içenneyebilir. Bir uygulamada, birinci ve ikinci alanlar ikinci dijital görüntü tarafindan temsil edilen toplam alanan önemli derecede esittir. Örnegin, görüntü kayit altina alinmasi numunenin tüm taranmis alani temelinde gerçeklestirilir. Daha tercihli olarak, sözü edilen birinci ve ikinci alanlar birinci alt-bölgenin üstüne biner. Bu durum, uzamsal dönüsüm hesaplandigi zaman, numunenin tüm taranmis alanindan global bilginin uygulamaya konulmasina izin verir. Bir ilave uygulamada, her dijital görüntü bir çok-çözünürlüklü görüntü verisi yapisindan saglanir. Bir dönüstürme fonksiyonunun hesaplanmasinin adiimda, 21442.1180 orada kullanilmis herhangi bir dijital görüntü görüntü verisi yapisindaki bir düsük çözünürlük seviyesinden elde edilir ve bir görüntüden bir alt-bölgenin geri edinilmesinin adiminda, bu görüntü tercihli olarak, görüntü verisi yapisindaki bir daha yüksek çözünürlük seviyesinden elde edilir. Bu durum görüntü kayit altina alma verimliliginün ilave olarak iyilestirilmesini saglar, çünkü dikkate deger sekilde, o bir daha düsük çözünürlüklü görüntü (örnegin, düsük çözünürlüklü görüntü yüksek çözünürlüklü görüntüde oldugundan daha küçük görüntü boyutlarina sahiptir) üzerinde uzamsal dönüsümü hesaplamak üzere önemli derecede daha hizlidir. Buna ek olarak, öncekilerden anlasildigi sekilde, düsük çözünürlüklü görüntü üzerinde uzamsal dönüsümün hesaplanmasi fakat onun yüksek çözünürlüklü görüntü üzerine uygulanmasi daha küçük hesaplamasal asirilik ile yüksek kaliteli çikti görüntüleri üretir. Bir ilave uygulamada, dönüstürme fonksiyonu birinci ve ikinci dijital görüntüler arasindaki bir farki alt-bölgede vurgulamak üzere uyarlanir. Bu durum gösterilecek veya ilave olarak analiz edilecek birinci ve ikinci görüntüler arasindaki herhangi bir eslesmemeyi belirlemeye izin verir. Bir ilave uygulamada, ikinci görüntü ya görüntülerin bir kütüphanesinden dogrudan elde edilebilir veya görüntülerin bir kütüphanesinden olusturulabilir. Ondan sonra, dönüstürme fonksiyonu kütüphaneden geri edinilmis veya olusturulmus ikinci görüntü üzerine temellendirilmis olarak hesaplanabilir. Böylesi kullanim, bununla sinirli olmadan, dönüstürme fonksiyonunu hesaplamak üzere geri edinilmis ikinci görüntünün piksel verisinin kullanilmasini içerebilir. Herhangi bir kullanim, dönüstürme fonksiyonunu hesaplamak üzere geri edinilmis ikinci görüntünün inetaverisinin (metinsel veya diger bilgi) kullanilmasini içerebilir. Olusturma durumunda, ikinci görüntü örnegin, bazi arastirma kriterini karsilayan görüntülerin ortalamasinin hesaplanmasi araciligiyla bir kütüphaneden olusturulabilir. 21442.1180 Bulusun bu ve diger hususlari buradan sonra tanimlanmis tercih edilen uygulamalara atifta bulunulmasiyla açik hale gelecek açik hale gelecektir. SEKILLERIN KISA AÇIKLAMASI Sekil 1 bir dijital patoloji sisteminin tipik elemanlarini sematik olarak gösterir; Sekil 2 çok-çözünürlüklü bir görüntü veri yapisinin bir sematik gösterimini gösterir; Sekil 3 bulusun bir uygulamasi uyarinca bir yönteinin bir gösterimsel uygulamasini gösterir; Sekil 4 içinde bir alt-bölgenin bir dis çizginin tanimlanmasi araciligiyla seçildigi bir dijital görüntünün gösterimini gösterir; Sekil 5 bulusun bir baska uygulamasi uyarinca bir yöntemin bir gösterimsel örnegini gösterir; Sekil 6 bir ayni dijital görüntü üzerinde iki islemden geçirme yönteminden sonuçlanan karsilastirmayi gösterir; Sekil 7 bulusun uygulamalarinda kullanilmis kayit altina alma çerçevesinin bilesenlerini gösterir. TERCIH EDILEN UYGULAMALARIN DETAYLI AÇIKLAMASI Baslangiç olarak, bir görüntüye atifta bulunuldugu zaman, "içerik" teriminin bu görüntüden türetilebilen bilginin herhangi bir cinsini belirttigi anlasilmalidir. Böylesi bilgi tipik olarak, numunede mevcut belirli biyolojik özelliklere karsilik gelebilir ve tipik olarak, piksel verisinden türetilmis bilgiye karsilik gelebilir. olacaklardir. 21442.1180 atifta bulunabilirken, "bölge" veya "alt-bölge" terimleri tercihli olarak, dijital dünyadaki görüntünün bir kismina atifta bulabilir. Ilave olarak, "bir görüntü saglanmasi" bir tarayicidan, bir depolama belleginden, bir intranet ag benzeri veya Internet benzeri bir telekomünikasyon baglantisindan, buradan sonra tanimlanmis sekildeki bir veri yapisandan bir görüntünün alinmasi gibi teknikte bilinen çesitli olanaklari kapsayacaktir. Bulus uyarinca, tarayici terimi mikroskopide kullanilan herhangi bir görüntüleme cihazina ve dikkate deger sekilde, yukaridaki giris bölümünde söz edilenlere atifta bulunacaktir. Bulus uyarinca bir dijital patoloji sistemi not edilir sekilde, Sekil 1"e atifta bulunularak temel sekilde tanimlanmis elemanlari içerir. Bulusun tercih edilen uygulamalari uyarinca, PACS sistemi 20 bir çoklu- çözünürlük görüntü veri yapisini içerir. Böylesi veri yapilari teknikte iyi bilinirler ve not edilir sekilde, DICOM standarti araciligiyla tanimlanirlar. Böylesi bir veri yapisinin bir tanimlamasi ayni zamanda, DICOM Supplement 145: Whole Slide Microscopic Image IOD and SOP Classes [1] yayininda bulunabilir. Onlar örnegin Sekil Zide gösterildigi gibi temsil edilebilirler. Görülebildigi gibi, bu ömekteki veri yapisi 80 bir piramitsel biçim araciligiyla temsil edilebilir. Piramitteki her yükseklik ayni bir numunenin çözünürlügünün bir spesifik görüntü seviyesine karsilik gelir. En yüksek çözünürlük seviyesi piramidin tabaninda olurken, en düsük çözünürlük piramidin tepesindeki sekildedir ve tipik olarak, numunenin bir mini görüntüsüne karsilik gelir. Tercihli olarak, en yüksek çözünürlüklü görüntü tarayici ile edinilir ve daha düsük seviyelerde, her görüntü ya bir tarayici ile edinilebilir veya dlgacik dönüsümlerinin uygulanmasi araciligiyla olan gibi, iyi bilinen algoritma uyarinca en yüksek çözünürlüklü 21442.1180 dökümanlarina bakiniz). Avantajli olarak, böyle bir dalgacik depolama formati ekstra depolama boslugu ve/veya band-genisligi gerekli olmadan kolaylikla uygulamaya geçirilebilir. Ayni zamanda, dijital patolojinin alaninda iyi bilinen sekilde, böyle bir veri yapisindaki herhangi bir seviye görüntülerin (örnegin, kare SQ benzeri bir kare araciligiyla temsil edilen) farkli dösemelerinden meydana getirilebilir. Veri yapisi ya yerel olarak depolanabilir veya bir uzaktaki sunucu üzerinde erisilebilir durumdadir. Bu çerçevede, bulusun sistemi böyle bir veri yapisinda herhangi bir istenilen görüntü çözünürlük seviyesinde herhangi bir istenilen alt-bölgeye böylesi rasgele erisimi saglayan bir kod çözücü 70 içerir. Bulusun bir tercih edilen uygulamasi uyarinca bir yöntemin bir akis semasi simdi Sekil 3sde gösterilir. Teknikte uzman bir kisi bu adiinlarin tanimlanmis sirasinin ve bunun yani sira, burada tanimlanmis bulusun yönteminin herhangi diger adimlarinin zorunlu olmadigini ve birçok uygun uyarlamanin gerçeklestirebilirligini taniyacaktir. Adim 100°de, örnegin bir H&E boyama teknigi ile boyanmis bulunan bir numuneyi veya onun kismini gösteren bir görüntü gibi bir birinci dijital görüntü (bu görüntü buradan itibaren HE görüntüsü olarak isimlendirilir) ekran 50 üzerinde gösterilir. Patolog kullanici arayüzü 60 araciligiyla bir görüntü kontrast iyilestirme fonksiyonu gibi bir dönüstürme fonksiyonunu seçme yetkinliginde olabilir. Adim 101"de bu fonksiyonun seçilmesi araciligiyla, sistem bu dönüstürme fonksiyonunun bilgisayar talimatlarini bellek - tipik olarak tampon bellek - içine 21442.1180 yükler (adim 102). Bu talimatlar bir yerel depolama belleginde veya bir uzaktaki sunucu gibi bir uzaktaki lokasyonda depolanabilir. Patolog ayni zamanda adim 1031de, HE görüntüsündeki bir alt-bölgenin seçilmesi araciligiyla ilgilenilen bir bölgeyi seçme yetkinligindedir. O tipik olarak, bir fare gibi bir isaret etme cihazi kullanabilir ve bir alt-bölgeyi tanimlamak üzere, ekran üzerinde bir görüntü seçimini sürükleyebilir. Adim 104,de, kod çözücü 70 tercihli olarak onun aradigi tüm detaylari izlemek üzere patalog için bir yeterli yüksek çözünürlükte HE görüntüsünün veri yapisinda alt-bölgeyi yerellestirir. Alt-bölgenin içerigi kod çözücüden geri edinilir ve tipik olarak, bir tampon bellek olan bir bellek (örnegin bellek 40) içine yüklenir. Içerik Adim 105Sde, hesaplama cihazi 30 geri edinilmis alt-bölge üzerinde seçilmis dönüstürme fonksiyonunun talimatlarini yürütür ve böylece, bu alt-bölgenin kontrastini iyilestirir. Adim 1061da, HE görüntünün baslangiç gösterimi gelistirilmis alt-bölgenin gösterilmesiyle degistirilir. Süphesiz ki, diger gösterim seçenekleri olanaklidirlar. Bir sinirlayici-olmayan örnek olarak, HE görüntünün gösterilmesi ekran üzerinde bir daha küçük alan ile tutulabilir ve alt-bölge HE görüntünün yakininda bir daha büyük alanda gösterilebilir. Böylece, patolog alt-bölgedeki detaylara bakarken, numunenin bir toplam görünüsünü muhafaza etme yetkinliginde olur. Yukarida tanimlanmis uygulamada dönüstürme fonksiyonu kontrast gelistirilmesi gibi görüntü kalitesi iyilestirme için teknikte bilinen bir algoritmaya karsilik gelebilirken, dönüstürme fonksiyonu ayni zamanda, bir baska dijital görüntü temelinde belirlenebilir. Örnegin, diger dijital görüntü gerçeklestirilecek kalite 21442.1180 performansini tanimlayabilir. Örnegin, diger görüntü bir HE görüntüsü olabilir ve birinci HE dijital görüntüsü için basarilacak kontrast seviyesini tanimlayabilir. Bulusun bir baska tercih edilen uygulamasi uyarinca, dönüstürme fonksiyonu iki farkli dijital görüntüden türetilir. Bir örnek niteligindeki uygulamada, dönüstürme bir dijital görüntü üzerinde bir uzamsal dönüstürmeyi uygulamak üzere yapilandirilir. Daha hassas olarak, biz buradan itibaren asagidaki dönüsümlerin ve onlarin kombinasyonlarinin kullanilanilabilirligini görecegiz: - Rijid dönüstürmeler çevirme, döndürme, ölçeklendirme, kesme ve örnegin, benzerlik (çevirme + döndürme + ölçeklendirme) ve atine etmek (çevirme + döndürme + ölçeklendirme + kesme) gibi bunlarin hewrhangi bir kombinasyonundan meydana gelebilirler. - Ayni zamanda, deforme edilebilir dönüstürmeler olarak bilinen rijid-olmayan dönüstürmeler bir global rijid (çevirme + döndürme) bilesen arti yerel yer degistirmeler veya sarsimlardan meydana getirilirler. Böyle bir dönüstürmeyi temsil etmek üzere asagidakileri içeren olasi yollarin bir dizisi vardir: B-yivler, ince-plaka yivler, elastik modeller (sonlu eleman modeller gibi) ve optik akis yöntemleri. Böylesi dönüstürme fonksiyonlari yukarida söz edilen sekilde bir verimli görüntü kayit altina alma için avantajli olarak kullanilabilir ve bunun bir sinirlayici- olmayan örnek uygulamasi buradan itibaren detayli olarak tanimlanacaktir. Bu uygulama dikkate deger sekilde, H&E ve lHC gibi farkli boyama teknikleri ile tüm slayt görüntülerinin görsellestirilmesine izin verir. Ilave olarak, bu uygulama ekran üzerindeki bir sabit görüntünün (örnegin, HE görüntüsü) ayni görüntünün zaman içinde edinilmis bulunan ve dolayisiyla tipik olarak hareket eden (örnegin, 21442.1180 Tüm bütün slayt görüntüsüne bir hizalama dönüsümünü uiygulayan önceki hesapsal olarak yogun yaklasimlara benzemeyen sekilde, bu uygulama kaliteden ödün vermeden hesaplama ve zaman kisitlamalarini karsilanmasinin amaciyla bir iki-adimli strateji üzerine temellendirilir. Birinci adimda, uzamsal dönüstürme belirlenir. Daha hassas olarak, her ikisi birden düsük çözünürlükte olan bir tüm HE görüntüsü ve en az bir tüm IHC görüntüsü geri edinilebilir ve PACS içinde depolanmis iki veri yapisi erisiminden tampon bellek içine yüklenebilir.HE görüntüsündeki önemli derecede tüm noktalarin ve IHC görüntüsündeki homolog noktalarin bir uzamsal eslestirilmesine izin veren uzamsal dönüstürme dikkate deger sekilde, sistem içinde belirlenir 201. Dönüstürme ayni zamanda dikkate deger sekilde, iki görüntü arasinda uzamsal hizalaninaya izin verir. Bu tercih edilen uygulamada, HE ve IHC görüntülerin tüm içerigi karsilastirilir. Ilave olarak, IHC görüntüler gibi diger görüntüler bakimindan referans görüntüyü tanimlayan HE görüntüsü uzamsal olarak hizalanmalidir. Ondan sonra, dönüstürme fonksiyonu daha sonra kullanim için bellek içinde depolanabilir veya eger adim hemen sonra gerçeklestirilirse, tampon bellekte muhafaza edilebilir. Örnek niteligindeki uygulamanin ikinci adiminda, Sekiller 4 ve 5,e atifta bulunularak, HE görüntüdeki bir alt-bölge HE] adim 202°de seçilebilir ve böylece, örnegin Sekil 4,de gösterilmis özellik A çevresinde dis çizgi SUBl benzeri bir dis çizgi tanimlanir. Yukarida söz edilen sekilde, bu seçim isaret etme cihazi araciligiyla patologun kendisi tarafindan yapilabilir veya izlenecek veya analiz edilecek numunedeki ilgilenilen bölgeleri otomatik olarak kimliklendirme yetkinliginde olan sistem tarafindan yapilir. 21442.1180 Adim 203"de, stratejinin birinci adiminda hesaplanmis uzamsal dönüstürme, eger gerekli ise, bir tampon bellek içine yüklenir ve bir dönüstürülmüs dis çizgi SUB2 yaratmak üzere, adim 204"de, dis çizgi SUBl üzerinde yürütülür. Simdi, bu dönüstürülmüs dis çizgi SUB2 IHC dijital görüntünün ekran üzerinde patolog tarafindan gösterilecek ve izlenecek olan alt-bölgesinin bir dis çizgisini SUBlHC tanimlar. Adim 205 ,de, dönüstürülmüs dis çizgi içinde kapatilmis alt-bölge (tipik olarak, piksel verisi) IHC görüntü veri yapisindan geri edinilir. Tercihli olarak, bu alt-bölgeyi geri edinmek için kullanilmis veri yapisindaki IHC görüntüsü adim 1,de dönüstürme fonksiyonunu hesaplamak için geri edinilmis tüm görüntülerinkinden daha yüksek bir çözünürlüktedir. Adim 206'da, ayni uzamsal dönüstürme geri edinilmis IHC alt-bölge üzerinde Son olarak, adim 207"de, HE görüntünün alt-bölgesi ve lHC görüntünün böyle hesaplaninis alt-bölgesi kolay karsilastirmalar yapmak için örnegin yan yana, ekran üzerinde beraberce gösterilirler. dogrudan alt-bölgeyi dönüstürmenin bir tekli adimi ile degistirildikleri bir yönteme kiyasla, bu uygulama uyarinca görüntü islemden geçirme yönteminin sonuçlarini gösterir (Sekil 6A). Görülebildigi gibi, bulusun uygulamasi not edilir sekilde, çok daha iyi görsel olarak cazip gelen sonuçlari saglar. Hali hazirda söz edilmis sekilde, stratejinin ikinci adimi çevrim-içi gerçeklestirilir ve gerçek-zamanli operasyonlara izin verir. Özellikle, bu uygulama patologun HE görüntüde alt-bölgeyi seçmesinden sonra, iki kaydi yapilmis IHC ve HE görüntülerin veya bir HE görüntünün ve birkaç IHC hareketli görüntünün gerçek- zamanli olarak gösterilmesini olanakli hale getirir. 21442.1180 Süphesiz ki, teknikte uzman bir kisi bu tercih edilen uygulamalara alternatifleri türetme yetkinliginde olacaktir. Özellikle, HE görüntüde alt-bölge seçiminin gerçeklestirilmesi yerine, 0 IHC görüntülerin en azindan birinde yapilabilir ve ondan sonra, bu görüntü referans görüntü olarak tanimlanabilir. Simdi, uzamsal dönüstürme kullanilan uygulamanin bir daha detayli hayata geçirilmesi tanimlanacaktir. Buradan itibaren, izleme noktasi terimi sistemin bir görüntü olusturucusu üzerinde hali hazirda izlenen bir görüntünün bölgesini belirtecektir. 1. Birinci Adim: Kayit Altina Alma Kayit altina alma sathasi hareketli görüntülerin (bulusun anlaminda birinci dijital görüntüler) bir dizisini bir sabit referans görüntü (bulusun anlaminda ikinci dijital görüntü) ile uzamsal hizalanma haline getiren bir dönüstürmenin hesaplanmasindan sorumludur. Yukarida önceden tartisilmis bulunan sekilde dijital mikroskopi görüntülerinin büyük ölçüsünden dolayi, islemden geçirmenin bu adimi tercihli olarak düsük çözünürlüklü görüntüler üzerinde gerçeklestirilir. Kayit altina alma içinde bir maliyet fonksiyonunun C bir parametrik koordinat dönüsümü T(x) bakimindan en aza indirildigi bir optimizasyon problemi olarak formüle edilebilir. Optimizasyon problemi asagidaki sekilde ifade edilebilir: gi.' x :si-g max tIIT'ijgs; i? ;ru .K M ":1 ve burada, alt simge u dönüstürme parametrelerini belirtir, Ii: sabit referans görüntüdür ve IM dönüstürmenin uygulandigi hareketli görüntüdür. Bir tekrarlayan 21442.1180 optimizasyon semasi yukaridaki denklemde ifade edilmis minimizasyon problemini çözmek üzere uygulamaya konulur. Sekil 7 kayit altina alma çerçevesinin bilesenlerini betimler. Herhangi bir sabit görüntü ve hareketli görüntü sirasiyla bilesenler CFl ve CFM tarafindan saglanirlar. Görülebildigi gibi, tekrarlamali optiinizasyon döngüsü uzamsal dönüstürmeyi 400, sabit ve dönüstürülmüs hareketli görüntünün benzerliginin degerlendirilmesi için bir metrigi 401 ve geçerli metrik degeri en aza indirmek üzere dönüstürme parametrelerini ayarlayan bir optimize ediciyi 402 içerir. Ayni zamanda, geçerli dönüstürmeyi kullanarak hareketli görüntüyü (birinci dijital görüntü) yeniden-numunelendirmek için sorumlu bir interpolatör 403 ve metrik hesaplama için piksel numunelerini elde etmek (tipik olarak rasgele) elde etmek üzere bir numunelendirciyi 404 gösterilir. Tüm optimizasyon islemi piramit bilesenler 405 tarafindan hesaplanmis farkli çözünürlük seviyeleri için tekrarlanir. Dönüstürme parametreleri önceki çözünürlük seviyesinden çogaltilirlar ve bir tekrarli kabadan-inceye islem ile sonuçlanir. Yukarida söz edilen kayit altina alma çerçevesindeki her bilesen için farkli seçeneklerin bir dizisi vardir. Benzerlik ölçütü için asagidakileri içeren birkaç seçim vardir: Karelendirilmis Farklarin Toplami (SSD), Normallestirilmis Korelasyon Katsayisi (NCC), Ortak Bilgi (MI) ve Kappa Istatistigi (KS). SSD ve NCC esit veya benzer piksel yoguluklari (örnegin, ayni modalite) ile görüntüler için uygundurlar. Buna karsin, MI piksel yogunluklari arasinda sadece bir istatiksel iliskiyi varsayar ve dolayisiyla, çoklu-modalite görüntüler için uygundur. KS iki elemanli görüntüleri kaydetmek üzere kullanilabilir. Kayyit altina alma çerçevesi ayni zamanda, her biri serbestligin degisen dereceleri (minin boyutu (mu)) ile dönüstürme fonksiyonlarinin bir dizisini uygulamaya geçirebilir. Asagidaki serbestlik derecelerinin parantezle içinde gösterildigi olasi dönüstürme fonksiyonlarinin bir sinirlayici-olmayan listesidir: çevirme (2), döndürme (2), rijid çevirme ve döndürme, (4), benzerlik (çevirme, döndürme ve 21442.1180 izotropik ölçeklendirme (5), afine etme (çevirme, döndürme, ölçeklendirme ve kesme 6), B-yivi deforme edilebilir (kullanici-seçimli izgara büyüklügüne bagli olarak degisken boyutluluk). Ayni zamanda, çesitli optimizasyon yöntemleri olanaklidirlar ve asagidakileri içerirler: gradyan inmesi, quasi-Newton, evrim stratejisi ve stokastik gradyan inmesi yöntemlerinin bir dizisi. Çoklu-modal analizin yer aldigi bir durum tipik olarak, en az bir H&E boyanmis slayti ve bir veya daha fazla [HC boyanmis Slaytlari içerebilir. Örnegin, bir gögüs biyopsisi H&E ve asagidaki IHC boyalari ile boyanabilir: ER (estrojen reseptörü), PgR (projesteron reseptön'i), HER2 (insan epidermal büyüme faktörü reseptön'i 2), ve Ki-67. O çogu patoloji durumlarinda yaygin oldugundan dolayi, H&E her IHC boyanmis görüntünün bu tekil referans görüntüye uzamsal olarak hizalanmasiyla, sabit görüntü (bulus anlaminda, ikinci dijital görüntü) olarak seçilir. Bu seçim kayit altina alma isleminin, hem H&E-IHC ve hem de IHC-IHC analizine izin vermek üzere, her IHC görüntüsüne This Choice means that the registration process needs only be applied once to each bir kez uygulanma ihtiyacinda oldugu anlamina gelir. Örnegin, H&E-ER ve H&E-HERTnin kayit altina alinmasi araciligiyla, hiçbir ekstra hesaplama olmadan, ER-HERZ hizalamali görüntüleri izlemek olanaklidir. Çoklu-modal dijital tüm slayt mikroskopisi görüntülerinin kayit altina alinmasi yukarida sözü edilmis benzerlik metriklerinin birçogunu otomatik olarak disarida birakabilir. Ortak bilginin (Ml) bir tercih edilen seçimi - onun istatiksel dogasindan dolayi - farkli modalitelerden görüntüleri kalitsal olarak destekler. Bir olanakli uygulamaya geçirme sabir ve hareketli görüntülerin bir tekil kanali (örnegin, parlaklik) üzerinde Ml metrigin hesaplanmasidir, ancak, dönüstürme fonksiyonu üç-kanal renkli görüntüyü tamamlamak üzere uygulanir. Metrige bagli olarak, hangi optimize edicinin ve numunelendiricinin kullanilmasinin karari çok daha kolaydir. Rasgele seçilmis numuneler kullanildigi zaman ve hesaplamasal olarak 21442.1180 verimli stokastik gradyan azalmasi yöntemi (stokastik gradyan azalmasi deyterrnistik yöntemlerden farklidir ve burada, maliyet fonksiyonunun türetilmesi yaklasiklastirilir) kullanildigi zaman, ortak bilginin iyi sonuçlar ürettigi bilinir. Uzamsal dönüstürme fonksiyonlarinin farkli seçimleri varolabilir. Hesaplamasal verimlilik ve hiz için, sabit ve hareketli görüntüleri uzamsal hizalanma haline getirmek üzere sadece bir çevirme uygulanmasi istenebilir. Böyle bir operasyon izleme noktasinda görülebilir pikseller için talebin bir basit modifikasyonunu gerektirir. Ancak, slayt hazirlama islemi sirasinda dokunun kolaylikla deformasyona maruz kalabilmesi olgusundan dolayi, bir global çevirme dönüstürmesi görüntüleri yeterli hizalanmaya getirmek tipik olarak basarisiz olabilir. Bir gelistirme olurken bir global rijid dönüstürme ayni zamanda yerel deformasyonlari tanimlamak üzere serbestligin yeterli derecesine sahip olmayabilir. Diger yandan bir deforme olabilir dönüstürme yerel sarsimi hesaba katmak için serbestligin gerek duyulan derecesine sahip olabilir, fakat dokuyu eski haline getirmek üzere dogru ters deformasyonu uygulamis olmak garanti edilmez. Buna ek olarak, dönüstürmelerin bu tiplerinin her biri farkli hesaplamasal karmasikliga sahiptir. 2. Ikinci Adim: Çevrim-içi Dönüstürme Hali hazirda söylenmis sekilde, dijital bütün halde slayt görüntülerinin büyüklügünden (15-30GB seviyesinde) dolayi, izlemek için tüm görüntüyü bellek içine yüklemek zor olabilir. Böylece, Sekil 2Sye atifta bulunularak not edilir sekilde önceden tanimlanan gibi bir piramit-benzeri döseme-bazli veri yapisi bir verilmis çözünürlük seviyesi için bir spesifik bölgeye rasgele erisime izin vermek üzere avantajli olarak uygulamaya konabilir. Izleme için sadece bu asiri büyüklükler problemli olmakla kalmaz, fakat ayni zamanda, görüntü islemden geçirme ve kayit altina alma yöntemleri düsünüldügü zaman da problemli olurlar. Süphesiz ki, söylendigi sekilde, bir olasilik tüin dijital görüntüye kayit altina alma dönüstürmesi uygulanmasidir. Bu teknik olarak çok basit olurken, o gereksiz 21442.1180 hesaplamasal yük ile gelir: çogu durumda, bir klinik patologu bir yüksek güç alaninda (örnegin, 20x veya 40x katlik bir büyütme faktörü) sadece birkaç bölgeyi gözden geçirecektir. Bu görüntünün sadece bir fraksiyonu izlenecegi zaman, tüm görüntüye dönüstürme uygulamasi verimsiz olabilir. Buna ek olarak, bu tüm slayt görüntüsünü islemden geçirme, kullanicinin dönüstürme fonksiyonunun hangi tipinin (global rijid, deforme edilebilir, yerel çevirme, Vb.) yürütme-zamaninda seçemedigi anlainina gelir. Böylesi konulardan kaçinmak üzere, önceki adimda hesaplanmis dönüstürmeler sadece hali hazirdaki görülebilir bölgeye, örnegin izleme noktasina veya farkli olarak söylenirse alt-bölgeye, uygulanirlar. Simdi, gösterim için izleyici, seçilmis dönüstürmenin izleme noktasindaki piksellere basit olarak uygulanacagi sekilde, uygulamaya geçirilebilir. Ondan sonra, adimlar tipik olarak asagidaki sekilde oilacaklardir: (1) izleme boktasi patolog tarafindan seçilecektir, (2) izleme noktasindaki pikseller piramitsel veri yapisindan elsde edileceklerdir, (3) talep edilen pikseller dönüstürüleceklerdir, (4) dönüstürülmüs pikseller gösterileceklerdir. Maalesef, böyle yapilmasiyla, büyük uzamsal dönüstürme fonkasiyonlari talep edilmis pikselleri, Sekil 6°da görülen sekilde, izleme noktasinin disina hareket ettirecektir. Bu konu daha yüksek çözünürlüklerde (örnegin, 20x, 40x) en çok ortaya çikan biçimde olacaktir, çünkü dönüstürmenin etkisi ayni zamanda büyütülür. Dolayisiyla, bunu yerine, bulusun yukarida tanimlanmis tercih edilen uygulamasi uyarinca islem tekrar kullanilir. (1) izleme noktasi patolog tarafindan seçilir, (2) izleme noktasi uzamsal dönüstürme araciligiyla modifiye edilir, (3) modifiye edilmis bölgedeki pikseller veri yapisindan elde edilirler, 21442.1180 (4) talep edilen pikseller dönüstürülürler, (5) dönüstürülmüs pikseller gösterilirler. Talep edilen alt-bölgenin modifkasyonu her dönüstürme tipi için hafif sekilde farkli olabilir. Kimlik dönüstürümünün durumunda, talep edilen alt-bölge modifiye edilmez. Çevirme dönüstürümü basit olarak alt-bölgenin her köse noktasinin çevirme vektörü kadar kayik olmasini gerektirir. Rijid durumunda, alt- bölgenin her köse noktasi dönüstürülür (çevirilir, döndürülür) ve talep edilen bölge dönüstürülmüs noktalarin sinirlayici kutusuna ayarlanir. Benzer sekilde, defor edilebilir dönüstürmenin durumunda, alt-bölge üzerinede yatan esit olarak bosluklandirilmis noktalarin bir dizisi dönüstürülür ve talep edilen alt-bölge dönüstürülmüs noktalar tarafindan tanimlanmis bir dis çizgiye ayarlanir. Rijid duruma benzemeyen sekilde, köse noktalari deforme edilebilir dönüstürrnew için yeterli olmayabilir, çünkü deforme edilebilir alan tüm alt-bölge için tek-biçimli degildir. Sekiz ila onalti noktanin yeterli oldugu deneysel olarak bulundu. Bu noktada, deforme edilebilir dönüstürmenin ve izleme noktasi modifikasyonunun bir yeni kombinasyonunu tanimlamak ilgi çekici olur. Global rijid ve deforme edilebilir dönüstürme fonksiyonlarinin durumunda, izleme noktasi inodifikasyonundan sonra talep edilen pikseller bir çesit interpolasyona (lineer, iki-kübik, vb.) maruz kalmak zorundadir. Gerçek-zamanli çerçeve hizlarinda uygulamaya geçinmek olanakli olurken, bu interpolasyon hesaplama kaynaklarini tüketir. Buna ek olarak, eger bir düsük geçis filtresi olarak görülürse, böylesi interpolasyon nihai olarak kaynak verisine düzlestirmenin bir derecesini tanitir. Buna karsin, bir basit çevirme bu konularin her ikisinden birden kaçinilmasini saglar - talep edilen alt-bölge interpolasyonun hein hesaplama ve hem de düzgünlestirine etkisinden kaçinan çevirme için hesaba dahil edilmek üzere modifiye edilir. Ancak, daha önceden söz edilen sekilde, çevirme yerel doku deformasyonunu hesaba katmak üzere yeterli olmaktan uzaktir. 21442.1180 Tüm slayt görüntüsü (örnegin, global) için çevirmenin hesaplanmasi ve uygulanmasi yerine, geçerli izleme noktasi için bir yerellestirilmis çevirmeyi ekstrakte etmek üzere deformasyon dönüstürmesini kullanmak olanaklidir. Bu (1) izleme noktasi kullanici tarafindan seçilir, (2) izleme noktasi yukarida tanimlanan sekilde deforme edilebilir dönüstürme araciligiyla modifiye edilir, (3) orijinal izleme noktasiyla ayni büyüklükte bir bölge modifiye edilmis izleme noktasi ile merkezlenir, (4) merkezlenmis bölgedeki pikseller veri yapisindan elde edilirler, (5) talep edilmis pikseller gösterilirler. Bir açik sekildeki yetersizlik, dönüstünnenin yerel dönmeyi hesaba katmamasidir ve buslayt görüntülerinin (kaba) açilsal karsiliga ihtiyaci olacagi anlamina gelir. Bir baska konu düsük büyütme faktörleri için (örnegin, tüm slat görüntü izleme noktasina uydugu zainan) dönüstürmenin global çevirmeyi azaltmasidir. Ancak, yüksek büyütme faktörleri (örnegin, 40x), dönüstürinenin deforme edilebilir dönüsüme (dönme bileseni veya yüksek derecede yerellestirilmis yivler olmadan) yaklasiklastirilmasi gerektigidir. Önceden teklif edilmis sekilde, kayit altina alma sathasi iki alt-adimdan meydana gelebilir: birinci alt-adim bir rijid dönüstürme hesaplar, ikinci alt-adim bir rijid- olmayan (deforme edilebilir) dönüstürmeyi hesaplamak için baslatma olarak rijid sonucu kullanir. Her alt-adim geçerli seviye için baslangiç olarak kullanilmis Önceki seviyeden sonuç ile çoklu çözünürlükler seviyeleri boyunca hesaplanabilir. Üzerinde kayit altina almayi hesaplayan "nihai" seviyeyi degistirmek olanaklidir. Seviye sifirin görüntü piramidinin (örnegin, yerli olarak taranmis 20x görüntü) taban seviyesine atifta bulundugunu not ediniz. Örnegin, bir nihai seviye alti asagidakilere (üç çözünürlük seviyesi varsayilarak) isaret eder: (1) seviye Side rijid dönüstürmeyi hesapla, (2) seviye yedide rijid dönüstürmeyi rafine etmek 21442.1180 üzere sonucu kullan, (3) seviye altida rijid dönüstürmeyi rafine etmek üzere sonucu kullan, (4) seviye altidan rijid dönüstürmeyi seviye sekizde deforme edilebilir dönüstürmeyi heasplamak üzere kullan, (5) seviye yedide deforme edilebilir dönüstürmeyi rafine etmek üzere sonucu kullan, (6) seviye altida nihai deforme edilebilir dönüstürmeyi rafine etmek üzere sonucu kullan. Özellikle, deforme edilebilir dönüstürmenin durumunda, yüksek çözünürlük seviyelerinin (örnegin, dört veya bes) düsük çözünürlük seviyelerinden (örnegin, alti ve yedi) daha az kayit altina alma hatasina (ve daha az sapmaya) sahip oldugunu deneyler belirtir gibi görünmektedir. Ayni zamanda, kayit altina alma isleminin düsük çözünürlükler (örnegin, seviye alti ve yedi) için yüksek çözünürlük seviyeleri (örnegin, dört ve bes) için olandan daha hizli oldugu gibi görünür. Dolayisiyla, bes veya altilik bir nihai seviyenin kullanilmasi kalite ve hiz arasinda iyi bir denge saglar gibi görünür. Bütün halde dijital mikroskopi görüntülerini kayit altina almak için en uygun dönüstürmeyi seçmenin zor oldugunu hatirlayin. Bir global dönüstürme hizlidir, fakat dönmeyi veya yerel deformasyonu hesaba katmada basarisiz olur. Bir global rijid dönüstürme dönmeyi hesaba katar, fakat yerel deformasyonu katmaz. Bir rijid-olmayan (deforme edebilir) dönüstürme parametrelerin (örnegin, hiz) bir büyük sayisinin maliyetinde yerel yivleri elden geçirir. Son olarak, yerel çevirme dönüstürmesi hizlidir ve orijinal görüntü kalitesini muhafaza eder, fakat doku deformasyonunu tamamen hesaba katmaz. Deneyler bir deforme edilebilir dönüstürmenin en yavas oldugunu belirtir ve burada, yerel çevirme hiçbir dönüstürmenin (kimlik) hemem hemen o kadar hizli performans gösterir. Ilave deneyler tüm büyütme faktörleri için, deforme edilebilir dönüstürmenin rijid dönüstürineden daha iyi oldugunu önerirler ve bu kiinlikten daha iyidir. Yerel çevirme dönüstürmesi yaklasimi diger yandan, düsük büyütme faktörlerinde kimlik dönüstürmeye benzerdir, orta büyütme faktörlerinde rijid 21442.1180 dönüstürmeye benzerdir ve yüksek büyütme faktörlerinde deforme edilebilir deformasyonda olanla ayni kaliteye yaklasir. Özetlemek üzere, global rijid dönüstürme orta performans ve kalite saglar. Deforme edilebilir dönüstürme en iyi kaliteyi saglar ve tüm büyütme faktörleri boyunca sabittir; ancak, o en yavas olandir (hem baslangiç hesaplamasinda ve hem de izleme noktasinda pikseller dönüstürüldügü zaman). Deforine edilebilir dönüstürme doku yapilarini ve hücreleri tam hizalanmaya getirmeye çabalarken, 0 ayni zamanda, düzlestirmeden dolayi görüntü kalitesi üzerinde hafif bir negatif etkiye sahip oldugu görülebilen interpolasyonu gerektirebilir. Yerel çevirme dönüstürmesi en iyi performansa sahiptir, ancak o baslangiç çevrim-disi hesaplama için deforme edilebilir dönüstürmedekiyle ayni süreyi alir. 0 interpolasyon gerektirmediginden dolayi, 0 iyi görüntü kalitesi saglar ve yüksek büyütme faktörlerinde birbiri üstüne biner, fakat düsük büyütme faktörlerinde global çevirmeyi azaltir. Bu bulusun ögretilmesinin yukarida tanirnlaninis uygulamalarin veya modifikasyonlarin herhangi bir kombinasyonunu kapasayan sekilde bariz olarak Bulus çizimlerde ve yukaridaki tanimlamada detayli olarak gösterilmis ve tanimlanmis bulunmaktayken, böylesi gösterim ve tanimlama örnek niteliginde ve olarak ve kisitlayici olmayan sekilde düsünülür; Bulus açiklanmis uygulamalar ile sinirli degildir. Açiklanmis uygulamalara diger degiskeler istemlendirilmis bulusu uygulamaya geçirmede, çizimlerin, açiklamadan ve ekli istemlerin bir incelemesinden teknikte uzman olanlarca anlasilabilir ve etkili hale getirilebilir. Örnegin, bu bulus büyük dijital görüntülerin bir sunucu üzerinde depolanabildigi uygulamalari sarrnalar, bir istemci büyük görüntülerin en az birinin bir interaktif görünüsünü saglar ve bu tüm dijital görüntünün sadece bir alt-bölgesi gösterilir. 21442.1180 Dönüstürme fonksiyonu kran üzerinde onun gösterilmesinden hemen önce istemci tarafindan bu alt-bölgeye uygulanir. Bir baska örnek olarak, dönüstürme fonksiyonu bir tarayioidan dogrudan elde edilebilir veya onun depolandigi bir uzak lokasyondan sisteme iletisimde bulunulabilir. Ayni zamanda, lHC ve H&E boyama teknikleri yukarida tanimlanmis bulunurken, bulus floroskopi (örnegin, Yerinde Hibridizasyonda Floresan) gibi diger iyi bilinen teknikleri kullanan uygulamalari sarmalar. Bunun yani sira, bu boyama tekniklerinin ikisinin herhangi bir kombinasyonu, örnegin IHC görüntüsüyle HE görüntüsü veya IHC görüntüsüyle IHC görüntüsü veya Floroskopik görüntü ile HE görüntüsü gibi, birinci ve ikinci görüntülerle, bulus uygulamaya geçirildigi zaman, düsünülebilir. Istemlerde, "içermek" kelimeli diger elemanlari veya adimlari disarida birakmaz ve belgisiz belirtme edati bir çogullugu disarida birakmaz. Belirli ölçütlerin ortak olarak bagimli farkli istemlerde dile getirilmesinin tek basina olgusu bu ölçütlerin bir kombinasyonunun avantaja yönelik olarak kullanilamayabilirligini belirtmez. Isteinlerdeki herhangi bir referans isareti kapsami sinirlayici olarak yorumlanmamalidir. Supplement 145: Whole Slide Microscopic Image IOD and SOP Classes; NEMA; ftp://medical.nema.0rg/medical/dicom/supps/supl 45ý09.pdf. :_ .11.1 PÂI_ 5 TR

Claims (12)

1.ISTEMLER Bir bölgedeki bir niumuneyi temsil eden bir birinci görüntüyü islemden geçirmek için bir yöntem ve burada, görüntü bir mikroskopik görüntüleme sistemi (1) araciligiyla numuneden edinilmis bulunmaktadir ve bir çoklu- çözünürlük görüntü verisi yapisinda (80) depolanir ve yöntem asagidaki adimlari içerir: - birinci dijital görüntünün düsük çözünürlüklü temsilinden ve ikinci dijital görüntünün düsük çözünürlüklü teinsilinden türetilmis en az bir metrik uyarinca bir mikroskopik görüntüleme sistemi araciligiyla numuneden edinilmis bulunan bir ikinci dijital görüntünün bir düsük çözünürlüklü temsili bakimindan birinci dijital görüntünün bir düsük çözünürlük temsilinin hizalanmasi araciligiyla bir dönüstürme fonksiyonunun hesaplanmasi, - ikinci dijital görüntüde bu alt-bölgenin bir dis çizgiye sahip oldugu, bir alt-bölgenin seçilmesi vdijital görüntünün alt-bölgesinin bir dis çizgisini tanimlayan bir dönüstürülmüs dis çizgiyi elde etmek üzere sözü edilen dis çizgi üzerinde dönüstürme fonksiyonunun yürütülmesi, - sözü edilen düsük çözünürlüklü temsilde olandan daha yüksek bir çözünürlük temsilinde birinci dijital görüntünün alt-bölgesinin piksel içeriginin geri edinilmesi (104) ve burada, piksel içerigi çoklu-çözünürlük görüntü veri yapisindan (80) elde edilir ve - geri edinilmis alt-bölgenin piksel içerigi üzerinde dönüstürme fonksiyonunun yürütülmesi ve burada, dönüstürme fonksiyonu geri edinilmis alt-bölgenin sözü edilen içerigini modifiye eder.

2.Ilave olarak, sirasiyla birinci ve ikinci dijital görüntüde bir birinci ve bir ikinci alanin seçilmesinin adimini içeren, her iki alanin birden birinci alt-bölge tarafindan temsil edilen toplam alandan daha büyük oldugu ve birinci dijital görüntünün sözü edilen birinci ve ikinci alanlardaki içerigin bir karsilastirmasi üzerine temellendirilmis olarak ikinci dijital görüntü bakimindan hizalandigi, Istem l uyarinca yöntem. .

3.Ikinci dijital görüntünün ayni zamanda bir çoklu-çözünürlük görüntü veri yapisindan saglandigi, Istem 1 uyarinca bir yöntem. .

4.Sözü edilen birinci ve ikinci alanlarin ikinci dijital görüntü tarafindan temsil edilen toplam alana esit oldugu, lstein 2 uyarinca bir yöntem. .

5.Sözü edilen birinci ve ikinci alanlarin birinci alt-bölgenin üstüne bindigi, Istem 2 uyarinca bir yöntem. .

6.Birinci ve ikinci dijital görüntülerin sirasiyla bir birinci ve bir ikinci numune hazirlama teknigi kullanilarak edinilmis bulundugu ve bu iki teknigin farkli olduklari, Istemler l°den 5°e kadar olanlarin herhangi biri uyarinca bir yöntem. .

7.Ikinci dijital görüntünün nuinunesinin bir H&E boyama teknigi ile hazirlandigi ve birinci dijital görüntünün numunesinin bir IHC boyama teknigi veya bir floresan boyama teknigi ile hazirlandigi, Isteinler 17demn 6”ya kadar olanlarin herhangi biri uyarinca bir yöntem. .

8.Bir bölgedeki bir numuneyi temsil eden bir birinci görüntüyü (IHC) islemden geçirmek için bir bilgisayar programi ürünü ve burada, görüntü bir mikroskopik görüntüleme sistemi (1) araciligiyla numuneden edinilmis bulunmaktadir ve bir çoklu-çözünürlük görüntü verisi yapisinda depolanir ve bilgisayar programi ürünü asagidaki talimatlari içerir: - birinci dijital görüntünün düsük çözünürlüklü temsilinden ve ikinci dijital görüntünün düsük çözünürlüklü temsilinden türetilmis en az bir metrik uyarinca bir mikroskopik görüntüleme sistemi araciligiyla numuneden edinilmis bulunan bir ikinci dijital görüntünün bir düsük çözünürlüklü temsili bakimindan birinci dijital görüntünün bir düsük çözünürlük temsilinin hizalanmasi araciligiyla bir dönüstüime fonksiyonunun hesaplanmasi, - ikinci dijital görüntüde bu alt-bölgenin bir dis çizgiye sahip oldugu, bir alt-bölgenin seçilmesi vdijital görüntünün alt-bölgesinin bir dis çizgisini taniinlayan bir dönüstürülmüs dis çizgiyi elde etmek üzere sözü edilen dis çizgi üzerinde dönüstürme fonksiyonunun yürütülmesi, - sözü edilen düsük çözünürlüklü temsilde olandan daha yüksek bir çözünürlük temsilinde birinci dijital görüntünün alt-bölgesinin piksel içeriginin geri edinilmesi (104) ve burada, piksel içerigi çoklu-çözünürlük görüntü veri yapisindan (80) elde edilir ve - geri edinilmis alt-bölgenin piksel içerigi üzerinde dönüstürme fonksiyonunun yürütülmesi ve burada, dönüstürme fonksiyonu geri edinilmis alt-bölgenin sözü edilen içerigini modifiye eder.

9. Bir bölge içindeki bir numuneyi temsil eden bir birinci görüntüyü islemden geçirmek için bir sistem ve burada, görüntü bir mikroskopik görüntüleme sistemi (1) araciligiyla numuneden edinilmis bulunmaktadir ve bir çoklu- çözünürlük görüntü verisi yapisinda (80) depolanir A system for processing a first digital image, representing a sample in a region, and which image has been acquired from the sample by means of a microscopic imaging system (1) and is stored in a multiresolution image data structure (80) ve sistem asagidakileri içerir: çoklu-çözünürlük veri yapisini içeren bir Resim Arsivleme Iletisim bir birinci dijital görüntünün düsük çözünürlüklü temsilinden ve ikinci dijital görüntünün düsük çözünürlüklü temsilinden türetilmis en az bir inetrik uyarinca bir mikroskopik görüntüleme sisteini araciligiyla numuneden edinilmis bulunan bir ikinci dijital görüntünün bir düsük çözünürlüklü temsili bakimindan birinci dijital görüntünün bir düsük çözünürlük temsilinin hizalanmasi araciligiyla bir dönüstürme fonksiyonunu hesaplamak üzere yapilandirilinis bir hesaplaina cihazi (30); ikinci dijital görüntüde bir alt-bölgeyi seçmek için bir kullanici arayüzü, bu alt-bölge bir dis çizgiye sahiptir; ve burada, hesaplama cihazi birinci dijital görüntünün alt-bölgesinin bir dis çizgisini tanimlayan bir dönüstürülmüs dis çizgi elde etmek üzere sözü edilen dis çizgi üzerinde dönüstürme fonksiyonunu yürütmek üzere yapilandirilir; sözü edilen düsük çözünürlük temsilinden daha yüksek olan bir çözünürlük temsilinde, birinci dijital görüntünün alt-bölgesinin piksel içerigini geri edinmek üzere yapilandirilmis bir kod çözücü (70); ve burada, piksel içerigi çoklu-çözünürlük görüntü veri yapisindan elde edilir ve hesaplama cihazi geri edinilmis alt-bölgenin piksel içerigi üzerinde dönüstürme fonksiyonunu yürütmek üzere yapilandirilir, dönüstürme fonksiyonu geri edinilmis alt-bölgenin bir içerigi modifiye eder.

10. Birinci görüntünün bir dalgacik depolama formati uyarinca depolandigi, istem 9 uyarinca sistem.

11. Sistemin bir dijital patoloji sistemi oldugu, Istemler 9 ve IOSun herhangi biri uyarinca sistem.

12. Ikinci dijital görüntünün ikinci alt-bölgesinin seçimi bir kullanici arayüzü araciligiyla yapildigi, Istemler 1,den Tye kadar olanlarin herhangi biri uyarinca yöntem. TR