TR2021007756A2 - Reti̇na görüntü anotasyonu ve i̇lgi̇li̇ eği̇ti̇m yöntemleri̇ i̇le görüntü i̇şleme modelleri̇ - Google Patents

Abstract

Geleneksel retina görüntülerini anote etmeye yönelik, bilgisayar tarafından uygulanan biryöntem olup, söz edilen yöntem: bir görüntü yakalama cihazı kullanılarak yakalanan,geleneksel bir retina görüntüsünün alınmasını; bir enine kesit görüntüleme sistemikullanılarak yakalanan, söz edilen retinanın ilişkili bir enine kesit görüntünün alınmasını;enine kesit görüntünün görüntü düzleminde hastalık konumunun belirlenmesini; ve eninekesit görüntü ile geleneksel görüntü arasındaki bilinen bir eşlemeye dayalı olarak, hastalıkkonumunun, enine kesit görüntünün görüntü düzleminden geleneksel görüntünün görüntüdüzlemine yansıtılması yoluyla, geleneksel görüntünün görüntü düzleminde hastalık konumunu anote etmek için anotasyon verilerinin üretilmesini içermektedir.

Description

TARIFNAME RETINA GORUNTU ANOTASYONU VE ILGILI EGITIM YÖNTEMLERI iLE GORUNTU ISLEME MODELLERI Mevcut açiklama retina görüntü anotasyonu ve ilgili görüntü egitim yöntemleri ve görüntü Oftalmolojide yer alan mevcut uygulama, bir dizi hastaligin teshisi için ve ayrica hasta takibi için fundus görüntülerinden yararlanmaktadir ve hastaligin siddetini tahmin etmek ve tedaviyi planlamak için optik koherens tomografisi (OCT) görüntülerini kullanmaktadir. Fundus fotografi, OCT'den daha ucuzdur ve daha yaygin olarak bulunmaktadir. Fundus görüntüleri, özel bir fundus kamerasi kullanilarak bir gözün arka tarafinin fotograflanmasiyla elde edilmektedir. Oftalmologlar ve diger egitimli tip uzmanlari, özellikle yasa bagli makula dejenerasyonu, diyabetik retinopati ve glokom gibi arka segment bozukluklari olmak üzere birçok göz rahatsizligini ve/veya hastaligini tanimlamak için fundus görüntülerini kullanacaklari sekilde egitilebilirler. Bu tür hastaliklarin erken teshisi görme kaybini en aza indirmek için önemlidir. Fundus görüntüleri, hastaligin ilerlemesini izlemek için de kullanilabilir. Fundus görüntüleme, düsük maliyetli ve/veya tasinabilir ekipman kullanilarak gerçeklestirilebilir ve bu nedenle çesitli ayakta tedavi ortamlarinda oftalmologlar veya diger tip uzmanlari tarafindan bu tür göz bozukluklarinin teshisi için kullanilabilir. Optik koherens tomografisi, fundusun (gözün arkasi) katmanli kesit görünümlerini saglamaktadir. OCT, yukarida bahsedilen arka segment göz bozukluklarinin takibinde ve tedavisinin belirlenmesinde siklikla kullanilmaktadir. Bununla birlikte OCT'nin kisiti, bu görüntüleri yakalamak için kullanilan ekipmanin pahali ve hareketsiz olmasi ve bu nedenle tipik olarak sadece hastanelerde bulunmasidir. OCT bu nedenle tipik olarak tedavi planlarinin belirlenmesinde ve tani sonrasi diger periyodik izlemelerde kullanilmaktadir. 4892/TR Son zamanlarda, yapay sinir aglari kullanilarak göz hastaliginin göstergelerini otomatik olarak tanimlamaya yönelik yöntemler gelistirilmistir. Mevcut yöntemler, giris olarak fundus görüntülerinden veya OCT görüntüsünden birini kullanmaktadir ve verilen fundus veya OCT görüntüsü için bir tahmin vermektedir. Özel egitimli oftalmologlar, OCT verilerini analiz ederek göz bozukluklarinin göstergelerini manuel olarak da tespit edebilir. Kisa Açiklama Ornek bir uygulamada mevcut mimari, OCT verilerine dayali olarak fundus görüntülerini anote etme yöntemi saglamaktadir. Anote edilen fundus görüntüleri daha sonra bir makine ögrenme bilesenini egitmek için kullanilarak, retina görüntüleri yalnizca fundus verilerine dayali olarak siniflandirilabilir. Egitim verilerinin bu anotasyonu sisteme, insan algisi tarafindan taninmayacak veya gözlemlenemeyecek kadar ince olan, önceden bilinmeyen veya fark edilmeyen bazi görsel özellikleri kesfetmeyi ögretmektedir. Model, OCT verilerinin yani sira önceki egitime dayali olarak fundus görüntülerinde manuel bir yorumcu tarafindan görülemeyebilecek görsel özellikleri tanimlamayi ögrendiginden, bu, sirasiyla yalnizca fundus veya OCT verilerini kullanan mevcut yöntemlere göre bir gelismedir. Mevcut teknikler kullanilarak anote edilen görüntüler, fundus görüntülerindeki (pahali OCT ekipmani gerektirmeden düsük maliyetli fundus görüntüleme ekipmani ile yakalanmistir) hastalik modellerini ve potansiyel olarak insana görünür olmayacak veya tespit islemi için yüksek düzeyde insan uzmanligi gerektirecek hastalik modellerini daha dogru bir sekilde tespit etmek üzere bir görüntü islemeyi egitmek için kullanilabilir. Dolayisiyla mevcut tekniklerin beraberinde getirdigi faydalar, düsük maliyetli görüntüleme ekipmani kullanilarak artan hastalik tespit kabiliyetlerini ve hastalik tespit sürecinde is gücü niteliginin azaltilmasini içermektedir. Bu sayede, örnegin maliyet nedeniyle OCT verilerine erisimde kisitlamalarin oldugu durumlarda tedavi ve takip kararlarinda fundus verileri kullanilmaktadir. Fundus görüntüleri ve OCT taramalarina örnek olarak atifta bulunulmus olsa da, söz edilen teknikler diger görüntüleme/tarama teknolojisi formlarina uygulanabilir. Burada açiklanan bir birinci yöne göre, geleneksel retina görüntülerini anote etmeye yönelik, bilgisayar tarafindan uygulanan bir yöntem gelistirilmekte olup, söz edilen yöntem: bir görüntü yakalama cihazi kullanilarak yakalanan, geleneksel bir retina görüntüsünün 4892/TR alinmasini; bir enine kesit görüntüleme sistemi kullanilarak yakalanan, söz edilen retinanin iliskili bir enine kesit görüntünün alinmasini; enine kesit görüntünün görüntü düzleminde hastalik konumunun belirlenmesini; ve enine kesit görüntü ile geleneksel görüntü arasindaki bilinen bir eslemeye dayali olarak, hastalik konumunun, enine kesit görüntünün görüntü düzleminden geleneksel görüntünün görüntü düzlemine yansitilmasi yoluyla, geleneksel görüntünün görüntü düzleminde hastalik konumunu anote etmek için anotasyon verilerinin üretilmesini içermektedir. Enine kesit görüntünün görüntü düzlemi, söz edilen enine kesit görüntünün, geleneksel görüntünün görüntü düzlemindeki bir tarama çizgisine eslenecegi sekilde, geleneksel görüntünün görüntü düzlemine büyük ölçüde paralel uzanabilir. Geleneksel retina görüntüsü ile iliskili çok sayida enine kesit görüntü alinabilir ve bu enine kesit görüntülerin ilgili görüntü düzlemlerinde çok sayida hastalik konumu belirlenip geleneksel görüntünün görüntü düzlemine yansitilarak, anotasyon verileri üretilmektedir. Anotasyon verileri, yansitilan hastalik konumlarinin geleneksel görüntünün görüntü düzlemi içinde enterpolasyonu yoluyla üretilebilir. Çok sayida enine kesit görüntü, geleneksel görüntünün görüntü düzleminde bulunan çok sayida tarama çizgisine karsilik gelebilir ve anotasyon verileri, tarama çizgilerini ayiran bir veya daha fazla bölge içinde yansitilan hastalik konumlarinin enterpolasyonu ile üretilmektedir. Söz edilen veya her bir hastalik konumu, enine kesit görüntünün görüntü düzleminde, enine kesit görüntüye uygulanan otomatik görüntü tanima yoluyla, enine kesit görüntüye uygulanan manuel anotasyon yoluyla veya otomatik görüntü tanima ve manuel anotasyon kombinasyonu yoluyla belirlenebilir. Anotasyon verileri, bir segmentasyon maskesi biçiminde üretilebilir. Segmentasyon maskesi; enine kesit görüntüdeki hastalik konumuna (konumlarina) atanan bir siddet seviyesinden (seviyelerinden) ve retinanin içindeki veya arkasindaki hastalik 4892/TR konumunun (konumlarinin) derinliginden en az birine dayali olarak geleneksel görüntünün en azindan bazi piksellerinden her birine bir siddet seviyesi atayabilir. Geleneksel görüntü bir fundus görüntüsü olabilir, burada görüntü yakalama cihazi bir fundus kamerasidir. Enine kesit görüntü bir optik koherens tomografisi (OCT) görüntüsü olabilir, burada enine kesit görüntüleme sistemi bir OCT görüntüleme sistemidir. Çok sayida hastalik konumu, enine kesit görüntünün görüntü düzleminde belirlenebilir ve enine kesit görüntüdeki her hastalik konumuna atanan bir siddet seviyesinden ve retina içindeki veya arkasindaki her hastalik konumunun derinliginden en az birine dayali olarak, çok sayida hastalik konumuna bir geometrik oylama algoritmasi uygulanarak anotasyon verileri üretilebilir. Söz edilen yöntem, çok sayida geleneksel retina görüntüsü için ilgili anotasyon verilerini üretmek üzere çok sayida geleneksel retina görüntüsüne ve ilgili baglantili enine kesit görüntülerine uygulanabilir nitelikte olup, burada çok sayida geleneksel retina görüntüsü ve bunlarin anotasyon verileri, geleneksel retina görüntülerinde hastalik bölgelerini tanimlamak üzere bir görüntü isleme modelini egitmek için kullanilmaktadir, çok sayida geleneksel retina görüntüsü egitim girdileri olarak kullanilmaktadir ve bunlarin ilgili anotasyon verileri, egitimin kesin referansini saglamaktadir, burada egitim girdileri enine kesit görüntüleri içermez. Egitim girdileri ayrica iliskili hasta verilerini içerebilir. Burada açiklanan diger bir yöne göre bir görüntü isleme sistemi gelistirilmekte olup, geleneksel bir retina görüntüsünü alacak sekilde yapilandirilan bir girdiyi; ve en az bir hastalik konumunu belirlemek için geleneksel retina görüntüsüne egitilmis bir görüntü isleme modelini uygulayacak sekilde yapilandirilan bir veya daha fazla islemciyi içermektedir ve burada söz edilen görüntü isleme modeli, burada açiklanan herhangi bir egitim yöntemine göre egitilmistir. 4892/TR Burada açiklanan diger bir yöne göre, burada açiklanan herhangi bir egitim yöntemine göre egitilmis bir görüntü isleme modelini içeren bir bilgisayar programi gelistirilmektedir. Sekillerin Kisa Açiklamasi Mevcut açiklamanin anlasilmasina yardimci olmak ve uygulamalarin nasil uygulamaya koyulabilecegini göstermek amaciyla ekli sekillere örnek yoluyla atifta bulunulmaktadir, Sekil 1A, bir fundus görüntüsünü sematik olarak göstermektedir; Sekil 18, fundus'un enine kesitinin OCT taramasini sematik olarak göstermektedir; Sekil 2, 2D fundus görüntüsünün çesitli yüksekliklerinde alinan bir dizi OCT tarama enine kesitini sematik olarak göstermektedir; Sekil 3, teknigin bilinen durumunda yer alan, örnek bir fundus görüntü segmentasyon yönteminin girdisini ve çiktisini sematik olarak göstermektedir; Sekil 4, OCT verilerine dayali olarak bir fundus görüntüsünün piksellerinin nasil anote edilebilecegini sematik olarak göstermektedir; Sekil 5, anote edilmis bir OCT taramasina uygulanan geometrik oylama algoritmasini Sekil 6, kismen anote edilmis bir fundus görüntüsüne yogun kaydin (dense registration) nasil uygulanabilecegini göstermektedir; Sekil 7, anote edilmis fundus görüntülerinin 'üretilmesine ve bir fundus görüntüsü segmentasyon aginin egitilmesine yönelik bir mimariyi göstermektedir; Sekil 8, anote edilmis fundus görüntüleri üzerinde egitilmis bir yapay zeka modelinin örnek bir girdi veri kümesini ve çiktisini göstermektedir. Mevcut açiklamanin anlasilmasina yardimci olmak için, belirli sekiller renkli formatta saglanmistir. Ayrintili Açiklama Asagida, fundus görüntülerinden daha faydali bilgiler çikarmayi saglayan bir yapay zeka sistemi açiklanmistir. Bu sistem, her bir çift bir fundus görüntüsü ve buna karsilik gelen bir optik koherens tomografisi (OCT) taramasi içerecek sekilde görüntü çiftlerinden olusan 4892/TR kapsamli bir veri setine dayali olarak egitilmistir. Söz edilen veri seti, fundus görüntülerini OCT verileriyle iliskilendirerek fundus görüntülerindeki görsel ipuçlarini tanimlamak için kullanilmaktadir. Anote edilmis bir fundus görüntüleri seti OCT verileriyle korelasyon uygulanarak elde edilebilir, bu durumda anotasyonlar, karsilik gelen OCT taramalarindaki ilgi alanlarina karsilik gelen fundus görüntüsü piksellerini tanimlamaktadir. Insan yorumcu, bir OCT görüntüsünde ilgi konusu bir özellige karsilik gelen belirli fundus görüntüsü görsel göstergelerini tanimlayamayabilirken, çifte bir yapay zeka algoritmasi saglanmasi, bu görsel özellikler insan gözüyle algilanamaz nitelikte olsa bile, sistemin fundus görüntüsünde OCT özelliklerinin nasil göründügünü ögrenmesini saglamaktadir. Fundus- OCT çiftindeki her bir fundus görüntüsü, bu korelasyona dayali olarak anote edilebilir. Anote edilmis fundus görüntüleri daha sonra, yalnizca anote edilmemis fundus görüntüleri için ilgili görsel özellikleri tespit etmesi için bir AI algoritmasini egitmek için kullanilmaktadir. Sekil 1A, bir fundus görüntüsü örnegini göstermektedir. Fundus görüntüsü, gözün arkasini (fundus) gösteren geleneksel bir kamera görüntüsüdür. Sekil 1A'da gösterilen fundus görüntüsü (100), hastalik belirtisi olmayan bir fundusu göstermektedir. Fundus görüntüleri tipik olarak, flas etkin bir kameraya bagli bir mikroskop içeren özel kamera ekipmani ile yakalanmaktadir. Düsük maliyetli ve tasinabilir fundus kameralari çesitli ayarlarda kullanilabilir. Sekil 1A'da gösterilen fundus görüntüsü (100), gözün arkasinin 2 boyutlu görüntüsünü göstermektedir. Retina, bazilari yari saydam olan birkaç katmani içermektedir. Fundus görüntüsü (100) bir 2D görüntüdür ve bu nedenle görüntüdeki herhangi bir düzensizlik veya özellik için herhangi bir derinlik bilgisi saglamaz. Söz edilen fundus görüntüsü (100), görüntünün ortasindaki makulayi (102), sagdaki optik diski (104) ve gözün kan damarlarini (106) göstermektedir. Bir fundus görüntüsünde (100) görünen retina anormallikleri, egitimli bir oftalmolog veya baska bir tip uzmani tarafindan, yasa bagli makula dejenerasyonu, diyabetik retinopati ve glokom dahil gözün arkasini etkileyen bir dizi gözle ilgili hastalik veya durumu teshis etmek için kullanilabilir. Bununla birlikte, tedavi planlarinin gelistirilmesi ve sürekli izleme, anormalligin derinligini belirlemek için teknikler gerektirebilir. 4892/TR Sekil 18, örnek bir retina OCT taramasini (110) göstermektedir. Her bir OCT taramasi, belirli bir yükseklikte gözün arkasinin tek bir yatay enine kesitini temsil etmektedir. Tek bir OCT taramasi (110), bir fundus görüntüsünün (100) yatay bir çizgisine karsilik gelmektedir. OCT taramasi, fundusun derinlik bilgilerini yakalamaktadir. Sekil 1B'de gösterildigi gibi, retinanin farkli katmanlari görülebilir ve OCT taramasinda (110) farkli renkler veya gölgeler olarak görünebilir. Yukarida bahsedilenler gibi göz hastaliklarinin tani ve tedavisinde retina anormalliklerinin derinliginin belirlenmesi önemlidir. OCT taramalarini (110) yakalama ekipmanlari pahalidir ve genellikle tasinabilir degildir. Tipik olarak OCT'Ier oftalmolojide sadece hastane ortamlarinda kullanilmaktadir ve bir teshis aracindan ziyade, yukarida bahsedilen teshis edilmis arka segment hastaliklarinin tedavi planlamasina yardimci olmak için kullanilmaktadir. Burada açiklanan yapay zeka sistemi için hem fundus görüntülerini (100) hem de karsilik gelen OCT verilerini içeren kapsamli bir veri seti kullanilmaktadir. Sekil 2, tek bir fundus görüntüsü ( arasindaki iliskiyi göstermektedir. Fundus görüntüsünün alani (200) tarafindan gösterildigi gibi, fundus görüntüsünün (100) merkezi boyunca bir dizi OCT taramasi yapilabilir. OCT görüntüleri fundusun belirli bir bölgesine, bu örnekte merkeze odaklanabilir. Her OCT taramasi, söz edilen fundus görüntüsü alaninda (200) gösterilen dikey çizgilerden birine karsilik gelmektedir. Fundus görüntüsünün ortasindaki parlak yesil çizgiye karsilik gelen bir örnek OCT taramasi (, fundus katmanlari farkli tonlarda görülebilir. Retina, bir dizi yari saydam nöron katmani içermektedir ve bunlarin altinda pigmentli bir katman bulunmaktadir. Gözün damar tabakasi olan koroid, bu pigmentli tabakanin altinda yer almaktadir. Retinanin katmanlanmasi görüntüde (202) gösterilmistir. Her retina katmani, oftalmolog gibi egitimli bir profesyonel tarafindan yapilan bir OCT taramasindan (110) tanimlanabilir. Fundus görüntüsü alaninda (200) gösterilen her yatay çizgi, farkli bir OCT taramasina (110) karsilik gelmektedir. Sekil 2'nin sag tarafinda, her biri farkli bir dikey yükseklikte çekilmis bir dizi OCT taramasi (110) bulunmaktadir. Soldaki her fundus görüntüsünde (100) yesil bir çizgi gösterilmis olup, fundus içindeki belirli taramanin yüksekligini göstermektedir. Gösterildigi gibi, her tarama farkli bir retina dokusu profilini göstermektedir. OCT taramalarinda (110) tanimlanan herhangi bir anormallik, OCT 4892/TR taramasinin (110) kendisi tarafindan verilen derinlik ve yatay konumun yani sira verilen dikey yükseklik ile tanimlanabilir. Anormallikler, OCT taramalardaki (110) görünümlerine ve konumlarina bagli olarak birden fazla aralikta tanimlanabilir. Anormallikler, egitimli bir oftalmolog gibi alaninda uzman bir kisi tarafindan manuel olarak tanimlanabilir veya örnegin egitimli bir makine ögrenimi modeli kullanilarak otomatik olarak tanimlanabilir. Burada açiklanan sistem, bir fundus siniflandiricisini egitmek için anormallikler gibi tanimlanmis OCT taramasi ( anotasyonu asagida daha ayrintili olarak açiklanmaktadir. Burada açiklanan sistem, girdi görüntüsünün her pikseline siniflandirma uygulayan bir fundus siniflandiriciyi egitmek için kullanilmaktadir. Baska bir deyisle, söz edilen fundus siniflandirici görüntüyü çok sayida sinifa karsilik gelen piksel setlerine bölmektedir. Sekil 3, fundus görüntüleri (100) için teknigin bilinen durumunda yer alan siniflandirici/segmentasyon yönteminin girdi verilerinin ve sonuçlarinin örnegini göstermektedir. Yukarida bahsedildigi gibi alaninda uzman bir kisi, tipik olarak alaninda uzman bir kisi tarafindan görülebilen fundus görüntüsünün alanlarini belirleyebilir. Sekil 3'teki 'örnekte, bir fundus egitim görüntüsü (300), saglikli bir göze aittir. Bu 'örnekte, görüntüde görünen kan damarlarini tespit etmek için siniflandirici kullanilabilir. Görüntü, fundus egitim görüntüsünde (300) görünen fundus kan damarlarini isaretleyen, alaninda uzman bir kisi tarafindan saglanan manuel anotasyon (310) örnegini göstermektedir. Bir makine ögrenimi modeli, örnegin bir evrisimli sinir agi, fundus egitim görüntüleri (300) ve manuel anotasyon (310) çiftleri üzerine egitilebilir. Evrisimli sinir aglari (CNN'Ier), görüntü segmentasyonu gibi görüntü isleme görevlerinde yaygin olarak kullanilmaktadir. CNN'Ier, bir girdi hacmi boyunca kivrilan bir dizi çekirdekten olusan evrisimli katmanlar dahil olmak üzere bir dizi katmani içermekte olup, burada söz edilen girdi hacmi bir görüntüyü temsil eden bir 2D veya 3D dizi olabilir. Örnegin, renkli bir görüntü, her biri 2D M x N piksel degerleri dizisi içeren üç renk kanali ile temsil edilebilir; bu durumda girdi hacmi bir M < N x 3 tensördür. CNN'Ier ayrica, bir girdiyi daha düsük boyutlu bir diziye 'alt örnekleyen' havuzlama katmanlarini ve ReLU gibi dogrusal olmayanlari uygulayan katmanlari içerir. Her katman, bir dizi özellik dizisi çiktisi vermektedir. Girdi görüntüsünün orijinal çözünürlügü, örnegin agin istenen çiktisi girdi 4892/TR görüntüsünün anote edilmis bir versiyonuysa, üst örnekleme katmanlari uygulanarak çiktiya geri yüklenebilir. Egitimde, evrisimli sinir agi önce bir dizi agirlikla baslatilmaktadir. Fundus egitim görüntüsü (300), girdi görüntüsünün her pikseli için bir etiket tahmininde bulunan ag tarafindan islenmektedir. Egitimde, verilen girdi görüntüsü için saglanan manuel anotasyonlara (310) karsi ag tarafindan tahmin edilen etiketleri degerlendirmek için bir kayip fonksiyonu kullanilmaktadir. Agin agirliklari; ag tahminlerinin birden fazla anote edilmis fundus görüntüsünden olusan bir egitim seti için manuel olarak anote edilmis örneklere yakin olacagi sekilde güncellenmektedir. Dogru piksel etiketlerini tahmin etme egitim hedefine ulasmak için, çesitli kayip fonksiyonlari ve özel mimariler tanimlanabilir. Ag egitildikten sonra, bir sonuç çikarma asamasinda uygulanabilir. Sonuç çikarma isleminde, herhangi bir manuel anotasyon (310) içermeyen bir fundus görüntüsü (100); egitilmis agirliklarini uygulayan ve görüntünün her pikseli için, örnegin görüntünün belirli piksellerini kan damarlari olarak tanimlayan bir etiket çikaran aga girilmektedir. Sekil 3'te örnek bir çikti (320) gösterilmektedir. Görüntünün kan damarlarina karsilik gelen tahmini alanlari mor renkle gösterilmistir. Sekil 3'teki örnek, egitim için gösterilen ayni fundus egitim görüntüsüne (300) uygulanan sonuç çikarma çiktisini göstermektedir. Bununla birlikte, sonuç çikarma isleminde söz edilen ag genellikle egitimde görülmeyen fundus görüntülerine (100) uygulanmaktadir. Simdi, OCT verilerine dayali olarak fundus görüntülerinin (100) anote edilmesini saglayan bir sistem tarif edilecektir. Bu, anote edilmis egitim verilerinin yalnizca uzman bir kisi tarafindan gözlemlenebilir görsel özelliklere dayali olmasi sinirlamasi olmaksizin, yukarida açiklanan tipte bir fundus siniflandiricisinin egitimine olanak saglamaktadir. Asagida açiklanan yöntem, bir bilgisayar sisteminin, bir OCT taramasinda (110) tanimlanabilen belirli özelliklere karsilik gelme egiliminde olan bir fundus görüntüsünün ince görsel özelliklerini ögrenmesini saglamaktadir. Ortaya çikan fundus segmentasyon agi, OCT verilerine dayali anotasyon gerçeklestirerek, 2D fundus görüntülerinden göz durumlarinin tanisi, izleme takibi ve tedavisinde kullanilabilecek bilgileri çikarmayi amaçlamaktadir. 4892/TR Sekil 4, ilgili alanlarin anote edilmis oldugu bir OCT görüntüsüne dayali olarak bir fundus görüntüsüne (100) anotasyonlarin nasil uygulanabilecegini göstermektedir. Yukarida bahsedildigi üzere, bir OCT görüntüsünün kendisi, daha sonra Sekil 7'ye atifta bulunularak açiklanan egitimli bir yapay zeka modeli uygulanarak otomatik olarak anote edilebilir veya OCT görüntülerini analiz etme konusunda egitimli, alaninda uzman bir kisi tarafindan manuel olarak anote edilebilir. Sekil 4'te verilen OCT taramasi (110) görüntüsü, yesil renkle vurgulanan bir dizi anote edilmis alani (402) göstermektedir. Bunlar, örnegin, fundusun hastalik göstergesi olan anormalliklerini veya ilgilenilen diger özellikleri temsil edebilir. Anotasyonlar, bir anormallik türünü velveya siddet gibi diger ilgili özellikleri tanimlayan etiketleri içerebilir. Siddet seviyeleri, egitim verilerine ve alan uzmanligina dayali olarak sirasiyla otomatik veya manuel anote edici tarafindan belirlenebilir. Sekil 4'ün solunda gösterildigi gibi, her OCT görüntüsü, fundus egitim görüntüsü (300) üzerinde tek bir çizgi (404) ile temsil edilen bir 2D fundus görüntüsünün enine kesitine karsilik gelmektedir. Fundus görüntüsünü 2D olarak anote etmek için, OCT taramalarinin anotasyonlari fundus egitim görüntüsünün (300) düzlemine yansitilmalidir. Bu, Sekil 4'ün sag tarafinda gösterilmistir. Bir geometrik oylama algoritmasi Sekil 5'e referansla asagida daha ayrintili olarak açiklanmakta olup, bu algoritma, OCT görüntüsünün anote edilmis bölümlerine dayali olarak orijinal fundus görüntüsünün hangi piksellerinin anote edilmesi gerektigini belirlemek için kullanilabilir. Karsilik gelen anotasyonlar, fundus görüntüsünün çizgisinde kirmizi segmentler (408) olarak gösterilmistir. OCT taramalarina karsilik gelen çizgiler boyunca anotasyonlar belirlendikten sonra, fundus görüntüsünün kalan pikselleri, diger bir ifadeyle OCT taramalari arasinda kalan pikseller, anote edilmis piksel setlerine bir enterpolasyon teknigi uygulanarak anote edilebilir. Sekil 5, bir OCT tarama görüntüsünün anotasyonlarini retinanin üst katmanina yansitmak ve bu yansitimi bir fundus görüntüsünün karsilik gelen çizgisine eslemek için uygulanan bir Geometrik Oylama Algoritmasini göstermektedir. Yukarida açiklandigi gibi, retina, Sekil 4'teki alanla gösterildigi gibi, bir dizi saydam veya yari saydam doku katmanini içermektedir. Fundus egitim görüntüsünün (300) anotasyonu, fundus'un küçük veya ince görünen özelliklerini bile OCT taramasinin (110) özellikleriyle iliskilendirmeyi amaçlamaktadir. 4892/TR OCT görüntüsü anotasyonlarinin, insan gözüyle görülmesi gerekmese de, bir bilgisayar agi tarafindan gerçekten algilanabilen fundus görüntüsü özellikleriyle eslestirilmesi önemlidir. Retinanin daha derin katmanlarinda görünen özelliklerin bir fundus görüntüsünde görünme olasiligi daha düsük oldugundan ve bu nedenle fundus görüntüsünün karsilik gelen alanina anotasyon yapmak, fundus görüntülerine yönelik bir segmentasyon agi egitimi için yararli olmadiginda, OCT Özelliklerinin derinligi göz önünde bulundurulabilir. OCT anotasyonlarinin siddeti ayrica, OCT'de tanimlanan anormalligin veya görsel özelligin fundus görüntüsünün görüntü düzleminde göründügü sekliyle seklini belirlemek için oylama semasi tarafindan kullanilabilir. Örnegin, bir OCT görüntüsünde siddetli olarak kabul edilen anormallikleri isaretlemek önemlidir, böylelikle fundus görüntüsünde bulunabilecek herhangi bir görsel gösterge ag tarafindan tanimlanabilir ve bu sayede ag, yüksek oranda görünür olmasa bile siddetli hastalik göstergelerine duyarli hale gelmektedir. Daha önceleri yildizlari takip etmek için astronomi alaninda geometrik oylama algoritmalari uygulanmistir. Bu algoritma burada ayrintili olarak açiklanmamistir. Retina katmanlarinin geometrisi, fundus egitim görüntüsünde (300) göründügü gibi karsilik gelen görsel özelligin seklini belirlemek için retinanin çesitli derinliklerinde özelliklerin görünürlügü bilgisi ile birlikte kullanilabilir. Bu, Sekil 5'te OCT taramasinin (110) yesil anotasyon (508) ve mavi anotasyon (506) için gösterilmistir. OCT taramalarina karsilik gelen fundus görüntüsü piksellerine anotasyon yapildiktan sonra, fundus egitim görüntüsünün (300) kalan pikselleri enterpolasyon kullanilarak anote edilebilir. Tek bir fundus görüntüsü için sekiz ila yüz OCT taramasi (110) toplanabilir ve bu, fundus görüntüsü için anote edilmis piksellerin alt kümesini saglar. Kesintisiz bir anote edilmis piksel (602) alani elde etmek üzere her bir çizgideki (404) piksellere yönelik anotasyon degerlerini görüntüdeki kalan piksellere enterpole etmek için yogun kayit kullanilabilir. Bu, Sekil 6'da gösterilmistir. Sekil 7, anote edilmis fundus görüntüleri olusturmayi saglayan bir ardisik düzeni, ve OCT verileriyle ögrenilen iliskilere dayali olarak fundus görüntülerine piksel bazinda 4892/TR siniflandirma uygulamak için üretilen fundus anotasyonlarina dayali olarak egitilebilen bir evrisimsel sinir agini içeren örnek bir mimariyi göstermektedir. OCT taramalarinin otomatik anotasyonu, bir dizi "kesin referansli" otomatik OCT anotasyonu (704) olusturmaya egitimli bir evrisimli sinir agi (700) tarafindan gerçeklestirilebilir. Alaninda uzman bir insan yorumcu, bir dizi manuel "kesin referansli" anote edilmis OCT taramasi (706) olusturmak için, her fundus egitim görüntüsüne (300) yönelik OCT taramalarini da analiz edebilir. Fundus egitim görüntülerinin (300) her birinin yani sira manuel olarak anote edilmis OCT taramalari (706) ve otomatik olarak anote edilmis OCT taramalari seti; girdi fundus görüntüsünün (702) çizgileri (404) boyunca piksel anotasyonlarini uygulamak için geometrik bir oylama algoritmasi kullanarak OCT açiklamalarina dayali olarak fundus görüntülerini anote eden yogun bir fundus yorumcusuna ve görüntünün kalan piksellerine yönelik piksel anotasyonlarini belirlemeyi saglayan yogun kayda girilmektedir. Yorumlayici (720) daha sonra, bir evrisimsel sinir agi (700) formunu alabilen ve Sekil 3'e atifta bulunularak daha önce açiklandigi gibi egitilmis bir segmentasyon agini (730) egitmek için, anote edilmemis fundus egitim görüntüleri (300) ile birlikte kullanilabilen, yogun "kesin referansli" fundus anotasyonlarinin (708) çiktisini saglamaktadir. Yukarida açiklandigi gibi, burada verilen yöntemler, yalnizca fundus görüntüsü içeren girdiler için OCT tabanli tahminler yapabilen bir modeli egitmek üzere geleneksel fundus görüntülerinin anote edilmesine olanak saglamaktadir. Bununla birlikte, tani ve tedavi modelleri yas, cinsiyet, hastalik geçmisi gibi güçlü risk göstergeleri olabilen ve hastalik durumunda tedavi seçeneklerini etkileyebilecek hasta bilgileri gibi ilave girdi verilerinin eklenmesiyle daha da gelistirilebilir. Sekil 8, yukarida açiklanan yöntemlere göre en azindan kismen egitilebilen bir yapay zeka modelinin olasi girdi ve çiktilarinin örnegini göstermektedir. Girdi veri setleri, OCT görüntülerini (110) ve bunlara karsilik gelen hasta bilgileri (800) ile fundus görüntülerini içerebilir. Yukarida açiklandigi gibi OCT görüntüleri, fundus verilerinde belirgin olmayan OCT görüntüsü özelliklerini dahil etmek veya tanimak için bir dizi fundus görüntüsünü anote etmede kullanilmaktadir. Ilave hasta verileri, hasta özellikleri ile karsilik gelen fundus görüntüleri arasindaki korelasyonlari ögrenmek için anotasyon asamasinda kullanilabilmekle birlikte, ayni zamanda örnegin, tespit edilen 4892/TR anormalliklerin riskini veya siddetini veya fundus'un diger görsel özelliklerini tahmin etmeye yardimci olmak için görüntü segmentasyon agina saglanabilir. Sekil 7'de açiklanan agin çiktisi, olasi hastaliklarin siddetini tanimlayan veya siniflandiran, bir veya daha fazla etikete göre siniflandirilan piksellerle birlikte anote edilmis fundus görüntüleri setidir. Bu veriler, en azindan Sekil 7'de açiklanan ag bilesenlerini içeren model (900) tarafindan, teshis sonucu (802), ilerleme analizi (804) veya bir tedavi planina yonelik veriler (806) gibi çiktilarin belirlenmesinde uzman bir kisiye yardimci olmak için de islenebilir. Sekil 7 ve 8'de verilen bilesenlerin, bir islem veya isleme devresinde uygulanan fonksiyonel bilesenler oldugu takdir edilecektir. Yukarida açiklanan egitim yöntemi, bilgisayarla uygulanan bir yöntemdir. Burada anilan islemcinin veya islemci sisteminin veya devre sisteminin uygulamada tek bir çip veya entegre devre veya birden çok çip veya entegre devreler araciligiyla saglanabildigi, opsiyonel olarak bir çip seti, bir uygulamaya özgü entegre devre (ASIC), alanda programlanabilir geçit dizisi (FPGA), dijital sinyal islemcisi (DSP), grafik isleme birimleri (GPU'Iar) vb. olarak saglanabildigi anlasilacaktir. Çip veya çipler, örnek uygulamalara göre çalismak için konfigüre edilebilen bir veri islemcisi veya islemcileri ve bir dijital sinyal islemcisi veya islemcilerinden en azindan birini veya daha fazlasini uygulamak için devre sistemi (ayni zamanda muhtemelen bellenim) içerebilmektedir. Bu baglamda, örnek uygulamalar en azindan kismen (geçici olmayan) bellekte depolanan ve islemci veya donanim veya somut sekilde depolanan yazilim ve donanimdan olusan bir kombinasyon (ve somut bir sekilde depolanan bellenim) araciligiyla uygulanabilen, bilgisayar yazilimi vasitasiyla uygulanabilmektedir. Verinin depolanmasi için burada veri deposuna atifta bulunulmaktadir. Bu, tek bir cihaz veya birden çok cihaz tarafindan saglanabilmektedir. Uygun cihazlar arasinda, örnegin bir hard disk veya uçucu olmayan yari iletken bellek (örnegin bir kati hal sürücüsü veya SSD) bulunmaktadir. Her ne kadar çizimlere atifta bulunarak burada açiklanan örneklerin en azindan bazi yönleri isleme sistemlerinde veya islemcilerde gerçeklestirilen yöntemleri içerse de bulus ayrica bilgisayar programlarina, özellikle bulusu uygulamaya koymak için uygun olan bir 4892/TR bilgisayar ya da tasiyicidaki bilgisayar programlarina genisletilmektedir. Program geçici olmayan kaynak kodu, nesne kodu, bir kod ara kaynagi kodu ve kismen islenmis form gibi nesne kodu formunda veya bulusa göre islemlerin uygulanmasinda kullanim için uygun herhangi bir geçici olmayan formda olabilmektedir. Tasiyici, programi tasiyabilen herhangi bir varlik veya cihaz olabilmektedir. Örnegin tasiyici bir kati hal sürücüsü (SSD) veya bir diger yari iletken tabanli RAM gibi bir depolama ortami; bir ROM, örnegin bir CD ROM veya bir yari iletken ROM; bir manyetik kayit ortami, örnegin bir floppy disk veya hard disk; genel olarak optik bellek cihazlari vb. içerebilmektedir. Burada açiklanan örnekler bulusun uygulamalarinin tanimlayici örnekleri olarak anlasilmak içindir. Diger uygulamalar ve örnekler öngörülmektedir. Herhangi bir örnek veya uygulama ile ilgili tanimlanan herhangi bir özellik yalniz basina veya diger özellikler ile kombinasyon halinde kullanilabilmektedir. Ayrica, herhangi bir örnek veya uygulama ilgili tanimlanan herhangi bir özellik ayrica bir baska örnekler veya uygulamalarin bir veya daha fazla özellikleri ile kombinasyon halinde, veya bir baska örnekler veya uygulamalarin herhangi kombinasyonuyla kullanilabilmektedir. Ayrica, burada açiklanmayan es degerler ve modifikasyonlar da, istemlerde açiklanan bulusun kapsamina girebilmektedir. TR TR TR TR

Claims (1)

1.ISTEMLER Geleneksel retina görüntülerini anote etmeye yönelik, bilgisayar tarafindan uygulanan bir yöntem olup, söz edilen yöntem: bir görüntü yakalama cihazi kullanilarak yakalanan, geleneksel bir retina görüntüsünün alinmasini; bir enine kesit görüntüleme sistemi kullanilarak yakalanan, söz edilen retinanin iliskili bir enine kesit görüntünün alinmasini; enine kesit görüntünün görüntü düzleminde hastalik konumunun belirlenmesini; ve enine kesit görüntü ile geleneksel görüntü arasindaki bilinen bir eslemeye dayali olarak, hastalik konumunun, enine kesit görüntünün görüntü düzleminden geleneksel görüntünün görüntü düzlemine yansitilmasi yoluyla, geleneksel görüntünün görüntü düzleminde hastalik konumunu anote etmek için anotasyon verilerinin üretilmesini içermektedir. Istem 1”e uygun yöntem olup, burada enine kesit görüntünün görüntü düzlemi, söz edilen enine kesit görüntünün, geleneksel görüntünün görüntü düzlemindeki bir tarama çizgisine eslenecegi sekilde, geleneksel görüntünün görüntü düzlemine büyük ölçüde paralel uzanmaktadir, burada hastalik konumu, söz edilen tarama çizgisi üzerine yansitilmaktadir. Istem 1 veya 2”ye uygun yöntem olup, burada geleneksel retina görüntüsü ile iliskili çok sayida enine kesit görüntü alinmaktadir ve bu enine kesit görüntülerin ilgili görüntü düzlemlerinde çok sayida hastalik konumu belirlenip geleneksel görüntünün görüntü düzlemine yansitilarak, anotasyon verileri üretilmektedir. Istem 3'e uygun yöntem olup, burada anotasyon verileri, yansitilan hastalik konumlarinin geleneksel görüntünün görüntü düzlemi içinde enterpolasyonu yoluyla üretilmektedir. Istem Z'ye bagimli oldugunda istem 4'e uygun yöntem olup, burada çok sayida enine kesit görüntü, geleneksel görüntünün görüntü düzleminde bulunan çok sayida tarama çizgisine karsilik gelmektedir ve anotasyon verileri, tarama çizgilerini ayiran bir veya daha fazla bölge içinde yansitilan hastalik konumlarinin enterpolasyonu ile üretilmektedir. Onceki istemlerden herhangi birine uygun yöntem olup, burada söz edilen veya her bir hastalik konumu, enine kesit görüntünün görüntü düzleminde, enine kesit görüntüye uygulanan otomatik görüntü tanima yoluyla, enine kesit görüntüye uygulanan manuel anotasyon (310) yoluyla veya otomatik görüntü tanima ve manuel anotasyon (310) kombinasyonu yoluyla belirlenmektedir. Onceki istemlerden herhangi birine uygun yöntem olup, burada anotasyon verileri, bir segmentasyon maskesi biçiminde üretilmektedir. Onceki istemlerden herhangi birine uygun yöntem olup, burada segmentasyon maskesi; enine kesit görüntüdeki hastalik konumuna (konumlarina) atanan bir siddet seviyesinden (seviyelerinden) ve retinanin içindeki veya arkasindaki hastalik konumunun (konumlarinin) derinliginden en az birine dayali olarak geleneksel görüntünün en azindan bazi piksellerinden her birine bir siddet seviyesi atayabilir. Onceki istemlerden herhangi birine uygun yöntem olup, burada geleneksel görüntü bir fundus görüntüsüdür (100), burada görüntü yakalama cihazi bir fundus kamerasidir. Onceki istemlerden herhangi birine uygun yöntem olup, burada enine kesit görüntü bir optik koherens tomografisi (OCT) görüntüsüdür, burada enine kesit görüntüleme sistemi bir OCT görüntüleme sistemidir. Onceki istemlerden herhangi birine uygun yöntem olup, burada çok sayida hastalik konumu, enine kesit görüntünün görüntü düzleminde belirlenmektedir ve enine kesit görüntüdeki her hastalik konumuna atanan bir siddet seviyesinden ve retina içindeki veya arkasindaki her hastalik konumunun derinliginden en az birine dayali olarak, çok sayida hastalik konumuna bir geometrik oylama algoritmasi uygulanarak anotasyon verileri üretilmektedir. Onceki istemlerden herhangi birine uygun yöntem olup, çok sayida geleneksel retina görüntüsü için ilgili anotasyon verilerini üretmek üzere çok sayida geleneksel retina görüntüsüne ve ilgili baglantili enine kesit görüntülerine uygulanmaktadir ve burada çok sayida geleneksel retina görüntüsü ve bunlarin anotasyon verileri, geleneksel retina görüntülerinde hastalik bölgelerini tanimlamak üzere bir görüntü isleme modelini egitmek için kullanilmaktadir, çok sayida geleneksel retina görüntüsü egitim girdileri olarak kullanilmaktadir ve bunlarin ilgili anotasyon verileri, egitimin kesin referansini saglamaktadir, burada egitim girdileri enine kesit görüntüleri içermez. istem 12”ye uygun yöntem olup, burada egitim girdileri ayrica iliskili hasta verilerini içermektedir. Bir görüntü isleme sistemi olup, geleneksel bir retina görüntüsünü alacak sekilde yapilandirilan bir girdiyi; ve en az bir hastalik konumunu belirlemek için geleneksel retina görüntüsüne egitilmis bir görüntü isleme modelini uygulayacak sekilde yapilandirilan bir veya daha fazla islemciyi içermektedir ve burada söz edilen görüntü isleme modeli, istem 12 veya 13”e göre egitilmistir. Istem 12 veya 13'e göre egitilmis bir görüntü isleme modelini içeren bir bilgisayar programi. TR TR TR TR