TARIFNAME YAPAY ZEKÂ TABANLI ÇEVRESEL FARKINDALIK SISTEMI Bulusun ilgili oldugu teknik alan: Bulus derin ögrenme tabanli bilgisayarli görü kullanilarak kamera görüntüsünden nesne tespiti, eylem tespiti, anomali tespiti, konumlandirma ve haritalandirma yapilabilmesini saglayan bir sistem ile ilgilidir. Teknigin bilinen durumu: Son yillarda otomobiller, ön, arka ve yan bilgi veren çoklu sensör ve kameralarla donatilmistir. Bu durum, soförsüz çalisma gibi destekli sürüs teknolojilerinin gelismisliginin artmasina neden olmustur. Buna ek olarak, kameralar kullanarak görüntü algilamanin önemi, dronlar ve robotlar tarafindan yürütülenler gibi uzaktan altyapi denetimlerinde kullanilmalarindan dolayi artmistir. Bu uygulamalarda, iki boyutlu bir görüntünün yani sira, nesnenin sekli, hareketi ve kameradan uzakligi gibi nesnenin dinamik üç boyutlu parametrelerini anlamak da gerekmektedir. Stereo kameralar, kizil ötesi mesafe sensörleri, ultrasonik mesafe sensörleri, milimetre dalga radari, LiDAR (lsik Algilama ve Degisen), SfM (Hareket Yapisi) teknolojisi ve digerleri gibi nesneye olan mesafeyi ölçmek için çesitli yöntemler önerilmistir. Stereo kameralarda, yüksek mesafe dogrulugu için ölçüm yaparken, yaklasik 30 cm'lik iki kamera mercegi arasinda bir mesafeyi korumak gerekmektedir. Bu nedenle minyatürlestirme dogal olarak zordur. Kizilötesi ve ultrasonik sensörler, nesneyi bir kizil ötesi isik paterniyle aydinlatmak veya ultrasonik dalgalar ile bombardiman ederek mesafeyi ölçmektedir. Böylece 10 metreden daha büyük mesafelerdeki nesneleri ölçmek zordur. Minyatürlestirmenin zor olmasinin yani sira, milimetre dalga radari ve LiDAR ekipmani maliyetlidir. SfM teknolojisi, hareketli bir kamera tarafindan çekilen birden fazla görüntüden nesneye olan mesafeyi ölçmektedir. Bununla birlikte, hareketli bir nesnenin mesafesinin yüksek bir dogruluk derecesiyle ölçülmesi zordur. Böylece, geleneksel mesafe sensörleri çesitli avantaj ve dezavantajlara sahiptir. Kompakt düsük maliyetli bir pakette yüksek bir dogruluk derecesi elde etmek zordur. Derinlik algilama için kullanilan önceki teknikler ultrasonik dalga kullanarak mesafe ölçümü, lazer isini (LlDAR vb.) kullanarak mesafe ölçümü, isigin uçus süresini (time of flight) kullanarak mesafe ölçümü ve binoküler kamera kullanilarak üretilen stereo görüntüden mesafe ölçümü seklindedir. Bu tekniklerden sadece binoküler kamera kullanilarak stereo görüntüden derinlik algilama teknigi görsel bir tekniktir bunun disinda diger teknikler görsel degildir. Binoküler kamera ile stereo görüntü olusturmak için birbirlerine göre konumlari sabit ve degismeyen iki adet kameraya ihtiyaç duyulmaktadir. Ayrica stereo görüntüden algilanabilecek derinligin menzili kameralarin birbiri arasindaki mesafeye baglidir. Teknigin bilinen durumunda bulunan "TR 2019/17226" numarali patente konu edilen bulus, yapay zekâ (derin ögrenme) tabanli bilgisayarli görü kullanarak sadece monoküler kamera görüntüsünden semantik olarak derinlik algilama, eszamanli konumlandirma ve haritalandirma yöntemi ve sistemi ile ilgilidir. Bahsedilen sistemde görsel odometri yazilim modülü, derin sinir agi yazilim modülü, nesnelerin kameraya göre konumunu hesaplayan yazilim modülü, çarpismasiz (bos) uzayi hesaplayan yazilim modülü, Nesneleri duragan, yari hareketli ve hareketli olmak üzere üç sinifta teshis edilmesini saglayan haritalandirma yazilim modülüne sahip yazilim gibi unsurlar içermektedir. Bir yapay zekâ teknigi olan derin ögrenme ile görüntüde yer alan nesnelerin teshis edilip sahne ile ilgili semantik bilgi sahibi olunmasi literatürdeki birçok görüntü isleme probleminde paradigma degisimine sebep olmaktadir. Derin ögrenmenin ortaya çikisindan önce, görüntüdeki geometrik özelliklerden öznitelikler belirlenip çikarimlar ve teshisler yapilmaktadir. Mevcut sistemde çevresel farkindalik çesitli sensörlerden gelen verilerin füzyonu ile saglanmaktadir. Bu sistemlerde tasiyici platformun kendi üzerindeki kamera veya diger sensörler vasitasiyla nesne tespiti, kendi konumundaki ve durusundaki degisimleri takip edebilmesi ve etrafindaki cisimlerin konumlarini algilamasi ve bu sayede ortamin haritasini çikartmasi saglanmaktadir. Sonuç olarak yukarida anlatilan olumsuzluklardan dolayi, derin ögrenme tabanli bilgisayarli görü kullanarak kamera görüntüsünden nesne, eylem ve anomali tespiti yapabilen, konumlandirma ve haritalandirma yaparak ürettigi bilgileri (gördüklerini) tasiyici platforma ileten bir teknolojiye ihtiyaç duyulmaktadir. Bulusun Kisa Açiklamasi ve Amaçlari Bulus, yukarida bahsedilen gereksinimleri karsilayan, tüm dezavantajlari ortadan kaldiran, mevcut çevresel farkindalik sistemlerine ilave özellikler ve avantajlar getiren, yapay zekâ tabanli çevresel farkindalik uygulamasi ile ilgilidir. Bulusun en önemli amaci, kamera görüntüsünden derin ögrenme tabanli bilgisayarli göre kullanarak nesne tespiti, eylem tespiti, anomali tespiti, konumlandirma ve haritalandirma yapip ürettigi bilgileri (gördüklerini) tasiyici platforma iletmesidir. Bulus, entegre edildigi platforma derin ögrenme tabanli bilgisayarli görü yetenegi kazandiran sistemdir. Bulusun bir diger amaci ise, önceden egitilmis derin sinir agini kullanarak dahili kamerasindan gelen görüntülerdeki nesneleri (agaç, araba, insan vb.) taniyabilmesinin saglanmasidir. Bulus ile gelistirilen çevresel farkindalik uygulamasi, taninan nesnelerin uzaydaki konumlarini üzerinde bulundugu tasiyici platforma göre belirlemekte, ihtiyaç durumunda ariza, anomali ve olay tespiti yapmaktadir. Ayrica durumsal farkindalik ve mekânsal farkindalik saglamaktadir. Gördüklerini (ürettigi bilgileri) tasiyici platforma iletmektedir. Bulusun bir diger amaci ise, ortam ile ilgili semantik bilgilerin çikartilabilmesidir. Sekillerin Açiklamasi: SEKIL-1; Bulus konusu sistemin blok diyagramini veren çizimdir. Bulusu Olusturan UnsurlarinlParçalarin Tanimlari Bilgisayarli görü kullanilarak kamera görüntüsünden derin ögrenme tabanli bilgisayarli göre kullanarak nesne tespiti, eylem tespiti, anomali tespiti, konumlandirma ve haritalandirma yapilabilmesini saglayan sistemin daha iyi açiklanabilmesi için sekillerde yer alan parça ve unsurlar numaralandirilmis olup, her bir numaranin karsiligi asagida verilmektedir: Derin sinir agi modülü Haritalandirma modülü Nesne veri tabani Semantik çikarim modülü Konum hesaplama modülü 74979199??? Ataletsel ölçüm modülü Bulusun Ayrintili Açiklamasi Bulus derin ögrenme tabanli bilgisayarli görü kullanilarak kamera görüntüsünden nesne tespiti, eylem tespiti, anomali tespiti, konumlandirma ve haritalandirma yapilabilmesini saglayan bir sistem ile ilgilidir. Ortamdaki nesnelerin görüntü üzerinde teshis edilmesi bir yapay zekâ teknigi olan derin ögrenme (derin yapay sinir agi) kullanilarak yapilmaktadir. Kamera görüntüsünden nesne tespiti, eylem tespiti, anomali tespiti, konumlandirma ve haritalandirma yapmaktadir. Kamera görüntüsünden nesne tespiti, eylem tespiti ve anomali tespiti derin ögrenme tabanli bilgisayarli görü teknikleri kullanilarak yapilmaktadir. Bilgisayarli görü (computer vision), temel olarak bir insanin görsel olarak yapabilecegi görevleri veya islevleri bilgisayar sistemli ortamda yapmaktadir. Yapay zekâ tabanli bilgisayarli görü kullanilarak kamera görüntüsünden nesne tespiti, eylem tespiti, anomali tespiti, konumlandirma ve haritalandirma yapilabilmesini saglayan sistem kamera (1), derin sinir agi modülü (2), haritalandirma modülü (3), nesne veri tabani (4), semantik çikarim modülü (5), konum hesaplama modülü (6), ataletsel ölçüm modülü (7) içermektedir. Bu unsurlarin birbirleri ile ilgili iletisimi Sekil- 1'de gösterilmektedir. Bulusun açikladigi sistemde ilk olarak kameradan (1) alinan görüntüler derin sinir agi modülüne (2) iletilmektedir. Kamera (1) olarak monoküler RGB veya termal kamera kullanilmaktadir. Sistemin kamerasindan (1) gelen görüntü, derin sinir agi modülünden (2) geçirilmektedir ve etraftaki nesneler, eylemler ve anomaliler teshis edilmektedir. Derin sinir agi modülüne (2) iletilen görüntüden, görüntüde teshis edilen nesne türü ve çerçeve ebatlari belirlenmektedir. Ataletsel ölçüm modülünden (7) de, hareket ve durus bilgilerinin alinarak konum hesaplama modülüne (6) iletilmesini gerçeklestirmektedir. Ataletsel ölçüm modülü (7) hareket ve durus bilgilerinin alinarak, teshis edilen nesnenin kameraya (1) göre konumunu hesaplayan konum hesaplama modülüne (6) iletilmesini saglamaktadir. Konum hesaplama modülü (6), teshis edilen nesnenin kameraya (1) göre konumunun hesaplanmasi, kamera geometrisi denklemlerini kullanilarak gerçeklestirmektedir. Konum hesaplama modülü (6) gelen hareket ve durus bilgilerini kullanarak nesnelerin kameraya (1) göre (kamerayi tasiyici platforma göre) konumunu hesaplamaktadir. Teshis edilen nesnelerin ortalama ebatlari referans alinarak konum hesaplama modülü (6) ile sisteme olan uzakliklari hesaplanmaktadir. Konum hesaplama modülü (6), nesnelerin kameraya (1) göre (kamerayi tasiyici platforma göre) konumlarini belirledikten sonra haritalandirma modülüne (3) aktarmaktadir. Bu sayede nesneler kameraya (1) göre konumlandirilmakta ve haritalandirma modülü (4) ile haritalandirilmaktadir. Haritalandirma modülüne (3) aktarilan nesnelerin kameraya (1) göre (kamerayi tasiyici platforma göre) konumlarini sayesinde, haritalandirma nesne tabanli olmaktadir. Nesnelerin kameraya (1) göre konumunu hesaplayan konum hesaplama modülü (6), nesne ile kamera (1) arasindaki mesafeleri semantik çikarim modülüne (5) göndermektedir. Semantik çikarim modülü (5) üzerinden kamera (1) ile nesne arasinda bir piramit tanimlanmaktadir. Piramidin içinde yer alan ve derin sinir aginin tanidigi baska nesne yok ise kamera (1) ile kamera (1) görüntüsünden tespit edilen nesne arasinda baska nesne olmadigina dair semantik çikarim yapilmaktadir. Haritalandirma modülü (3) teshis edilen ve konum kestirimi yapilan nesneleri kullanim senaryosuna göre 2 veya 3 boyutlu olarak haritalandirilmaktadir. Her bir teshis edilen nesne için bu siniflandirma bilgisi ve konumu nesne veri tabaninda (4) saklanmaktadir. Kameradan (1) gelen görüntülerden son kullanicinin belirledigi nesneler (araç, araba, insan vb.) önceden egitilen derin sinir agi modülünü (2) kullanarak taninmaktadir. Ayni zamanda kameradan (1) gelen görüntülerden son kullanicinin tanimladigi eylemler ve anomaliler de derin sinir agi modülü (2) ile tespit edilmektedir. Taninan nesnelerin, eylemlerin, anomalilerin uzaydaki konumlarini, üzerinde bulundugu tasiyici platforma göre belirlemektedir. Bu sayede durumsal farkindalik ve mekânsal farkindalik saglanmaktadir. Gördüklerini (ürettigi bilgileri) tasiyici platforma iletmektedir. Bu sayede çevresel farkindalik talep edilen platformlara, ortamlara uygulanabilmektedir. Konumlandirma ve haritalandirma yaparken TR 2019/17226 basvuru numarali bulusa konu edilen sistemi kullanan bulus, akilli fabrikalarda is sagligi güvenligi ve envanterdeki depo araçlarinin (forklift vb.) konumlandirmasi alanlarinda, savunma sanayii sektöründe kesif, gözetleme ve istihbarat toplamak amaciyla, futbol sektöründe sut antrenmanlarinda futbolcularin sut analizlerini yapmak üzere halihazirda kullanilmaktadir. TR TR TR TR TR