TR202022665A2 - Kamera takip yöntemi - Google Patents

Kamera takip yöntemi

Info

Publication number
TR202022665A2
TR202022665A2 TR2020/22665A TR202022665A TR202022665A2 TR 202022665 A2 TR202022665 A2 TR 202022665A2 TR 2020/22665 A TR2020/22665 A TR 2020/22665A TR 202022665 A TR202022665 A TR 202022665A TR 202022665 A2 TR202022665 A2 TR 202022665A2
Authority
TR
Turkey
Prior art keywords
camera
posture
cameras
human
image
Prior art date
Application number
TR2020/22665A
Other languages
English (en)
Inventor
Temur Nazli̇
Original Assignee
Xena Vision Yazilim Savunma Anonim Sirketi
Xena Vision Yazilim Savunma Anoni̇m Şi̇rketi̇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xena Vision Yazilim Savunma Anonim Sirketi, Xena Vision Yazilim Savunma Anoni̇m Şi̇rketi̇ filed Critical Xena Vision Yazilim Savunma Anonim Sirketi
Priority to TR2020/22665A priority Critical patent/TR202022665A2/tr
Priority to PCT/TR2021/051572 priority patent/WO2022146389A1/en
Publication of TR202022665A2 publication Critical patent/TR202022665A2/tr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)

Abstract

Buluş; kameraların konulabileceği her türlü alanda, kameralardan insan tespiti, takibi, insan aktivite tespiti ve tahmini, acil/anormal durum tespitini sağlayan kamera takip yöntemi ile ilgilidir. Buluş özellikle, kullanıcıdan çekilen video veya yayın (stream) içeriğinin anlık olarak yapay zeka algoritması aracılığı, iot - edge, cloud veya on-premise server üzerinde otomatik anlamlandırılması, tespit edilen anormal olay(durum) ların anlık ve otomatik olarak sms - çağrı ve email ile bildirilmesi ve belirli parametreler eşliğinde analiz yapılıp periyodik olarak otomatik raporlanmasını sağlayan yöntem ile ilgilidir.

Description

TARFNAME Kamera takip yöntemi Teknik Alan Bulus; kameralarin konulabilecegi her türlü alanda, kameralardan insan tespiti, takibi, insan aktivite tespiti ve tahmini, acil/anormal durum tespitini saglayan kamera takip yöntemi ile Bulus özellikle, kullanicidan çekilen video veya yayin (stream) içeriginin anlik olarak yapay zeka algoritmasi araciligi, iot - edge, cloud veya on-premise server üzerinde otomatik anlamlandirilmasi, tespit edilen anormal olay(durum) larin anlik ve otomatik olarak sms - çagri ve email ile bildirilmesi ve belirli parametreler esliginde analiz yapilip periyodik olarak otomatik raporlanmasini saglayan yöntem ile ilgilidir. Teknigin Bilinen Durumu Günümüzde çesitli alanlarda çok sayida kameralar kullanilmaktadir. Bu kameralarin bazilari güvenlik amaciyla, bazilari mobil cihazlarda ve görüntü elde edilmek istenen birçok alanda kullanilmaktadir. Özellikle güvenlik kameralarindan toplanan görüntülerin izlenmesi belirli personeller tarafindan sürekli olarak yapilmaktadir. Ancak bu sistemlerde acil durumlarin olusma anlarinin tespitinde ve takibinde zorluklar yasanmaktadir. Anormal durumlara erken müdahale hayat kurtarir. Bunun için acil-anormal durumun olustugu anda tespit edilebilmesi önemlidir. Sadece kayit alan görüntüleme sistemleri ile bu mümkün degildir. Monitörlerden olaylari inceleyen güvenlik görevlilerinin ayni anda izleyebilecegi görüntü sayisi sinirlidir ve ayni dikkat ile izleyebilmeleri zordur. Teknik arastirmalar sonucunda ortaya çikan CN104484574A numarasina sahip basvurunun özeti; "Bulus, kuaterniyona dayali gerçek zamanli bir insan vücudu hareketi denetimli egitim düzeltme sistemini açiklar. Sistem, bir stajyerin derinlik görüntü bilgilerini toplamak için kullanilan bir derinlik indeksleme video toplama cihazi, stajyerin ana ortak bilgilerini analiz etmek ve islemek için kullanilan bir insan vücudu hareketi analiz ve isleme modülü, toplama için kullanilan bir elektrokardiyo bilgi toplama cihazi ve stajyerin elektrokardiyo bilgisinin, kalp hizi, nefes alma frekansi ve kalp atis hizi, nefes alma frekansi ve islenmesi yoluyla stajyerin sinir derecesi, yorgunluk derecesi ve duygu degisikligi gibi bilgileri elde etmek için kullanilan insan vücudu durumu analiz ve isleme modülü kullanmaktadir." Görüldügü üzere sistem gerçek zamanli insan vücudu hareketi denetimli egitim düzeltme sistemi ile ilgili olup bunun yaninda yukarida bahsedilen dezavantajlara çözüm saglayabilecek bir yapilanmadan bahsetmemektedir. Sonuç olarak yukarida anlatilan olumsuzluklardan dolayi ve mevcut çözümlerin konu hakkindaki yetersizligi nedeniyle ilgili teknik alanda bir gelistirme yapilmasi gerekli kilinmistir. Bulusun Amaci Bulus, mevcut teknikte kullanilan yapilanmalardan farkli olarak bu alanda yeni bir açilim getiren farkli teknik özelliklere sahip bir yapinin ortaya koyulmasini amaçlamaktadir. Bulusun öncelikli amaci; anlik insan aktivitesini otomatik tespit ederek ayni anda onlarca kamera görüntüsünden anlamlandirma yapilip, ayni dogrulukta sonuç alinabilmesi saglamaktir. Üstelik görüntü IP - Analog Kameradan veya Mobil Aygitlardan veya alinip, edge, sunucu veya bulutta islenebilmektedir. Anlik islenen görüntü ve videolardaki insan aktiviteleri, anormal durum ihtiva eden saldiri - siddet düsme bayilma, kalp krizi , epilepsi krizi gibi durumlarla iliskilendirildigi durumda alarm üretilip bildirimin sms, çagri ve email formatinda gönderilmesi söz konusudur. Bulusa konu olan sistem ve yöntemde ayrica ileri istatistiksel analiz için insan tespit, insan takip, kalabalik tespit, rota tespit tahmin, giris-çikis tespit, farkli yürüyüs patterninin çikarilmasi gibi durumlar anlik olarak hesaplanmakta ve periyodik olarak raporlanmaktadir. Ayni kisinin farkli kameralarda vücut görüntüsü kullanilarak tespit edilmesi ve farkli kameralar arasi rotalarinin tespit edilip analitik ve istatistiksel raporlarinin üretilmesi söz konusudur. Bu çalismalar içerisinde insan aktivitesinin tespit edilmesi için uygulanan yöntem kompleks aktivite tespit yöntemidir. Bu yöntemde tespit edilen aktiviteler belirli bir patterni olmayan, insan eliyle sirasi, sayisi ve olus biçimi tanimlanamayan aktivitelerdir. Bu aktiviteleri tespit etmek için sirasiyla su adimlar izlenir. 1. Kisinin tespiti ve sirali framelerde/çerçevelerde takibi, Kisinin durusunun tespiti, 25 koordinat olarak tespiti 3. Kisi durusunun her bir örnegi (instance) için farkli aktiviteden alinan 370.000 durus kombinasyonu üzerinden LightGBlVl kullanilarak 3 sinif olarak egitilmesi (örn: siddet egilimli, siddet egilimli degil, orta siddet egilimli (violence, non violence, average violence)) ve davranis örnek imzasinin çikarilmasi, 4. Her bir kisi için, kisi durusunun degisimini içeren durus takip sirali kombinasyonlari bu kombinasyonlardaki her bir keypoint' in degisim açisi hizi ve ivmesi ve de 3'de elde edilen davranis imzasini birlikte olacak sekilde LSTM kullanilarak egitilmesi ve video üzerinde aktiviteyi minimum sürede belirleyebilmek için gereken sirali örnek sayisina yakinsanmasi, . Bayesian Hidden Markov Modeli kullanilarak her bir durus örneginin geçmis gerçeklesme istatistigi üzerinden gelecekte gerçeklesme ihtimalinin tespiti, 6. 4 'de elde edilen sonucun, 5' deki olasiliksal yaklasim esliginde birlikte degerlendirilip yanlis tespitlerin bastirilmasi (suppress edilmesi) için iki sonucun da anormal durum etiketi oldugu durumda alarm üretilmesi, 7. Aktivitenin her çerçeve seti için degerlendirilip video üzerinde gösterimi, 8. Aktivitenin anormal durum olmasi durumunda alarm üretilip, alarm bilgisinin durum niteligine göre sms veya acil çagri veya email olarak bildirimi. Burada anormal durumun hayati riske ve devam etme süresine göre sirasiyla email, sms ve acil çagri adimlari takip Sistem belli araliklarla istatistiksel veri içeren rapor üretip email atmaktadir. Bu adimlar sayesinde belirli bir patterni olmayan karmasik insan aktivitelerinin genellenmesi saglanip tespiti yapilmaktadir. Bulusun yapisal ve karakteristik özellikleri ve tüm avantajlari asagida verilen sekiller ve bu sekillere atiflar yapilmak suretiyle yazilan detayli açiklama sayesinde daha net olarak anlasilacaktir ve bu nedenle degerlendirmenin de bu sekiller ve detayli açiklama göz önüne alinarak yapilmasi gerekmektedir. Bulusun Anlasilmasina Yardimci Olacak Sekiller Sekil 1, bulusa konu olan yöntemde kullanilan unsurlarin temsili gösterimidir. Sekil 2, bulusa konu olan yöntemde kullanilan unsurlarin temsili gösterimidir. Sekil 3, bulusa konu olan yöntemin sematik gösterimidir. Çizimlerin mutlaka ölçeklendirilmesi gerekmemektedir ve mevcut bulusu anlamak için gerekli olmayan detaylar ihmal edilmis olabilmektedir. Bundan baska, en azindan büyük ölçüde özdes olan veya en azindan büyük ölçüde özdes islevleri olan elemanlar, ayni numara ile gösterilmektedir. Parça Referanslarinin Açiklamasi Görüntü düzenleme birimi Bulut Sunucu GSM Modülü Monitör Kamera baglanti birimi Telefon Kamerasi . USB Kamera 11. CCTV Kamera 12. Web Yazilim 13. Algoritma Yazilimi X. Paralel/ayni anda devam eden islem adimlari için kullanilmistir. Bulusun Detayli Açiklamasi Bu detayli açiklamada, bulusun tercih edilen yapilanmalari, sadece konunun daha iyi anlasilmasina yönelik olarak ve hiçbir sinirlayici etki olusturmayacak sekilde açiklanmaktadir. Bulus; kameralarin (7) konulabilecegi her türlü alanda, kameralardan (7) insan tespiti, takibi, insan aktivite tespiti ve tahmini, acil/anormal durum tespitini saglayan kamera takip ve yöntemi ile ilgilidir. Bulusa konu olan sistemde sunucu (1), algoritmanin çalistigi ana ortamdir. Insan tespiti, insan takibi, anormal durum ve acil durum tespiti, alarm üretme, email atma, rapor üretme gibi islemler sunucuda (1) gerçeklestirilmektedir. Görüntü düzenleme birimi (2), kameralardan alinan görüntülerdeki hassas verinin blur edilmesi, iyilestirilmesi, gerekirse sifrelenmesi ve sunucuya (1) gönderilmesini saglamaktadir. Bulut sunucu (3), uzaktan erisme ve fiziksel aygit olmadan olay tespiti ve verinin bulutta islenip yedeklenmesi ve saklanmasini saglamaktadir. Insan tespiti, insan takibi, anormal durum ve acil durum tespiti, alarm üretme, email atma, rapor üretme islemleri sunucunun (1) alternatifi olarak bulut sunucuda (3) gerçeklestirilmektedir. GSM modülü (4), acil/anormal aktivite olmasi durumunda sms atip anlik bildirim üretilmesini saglamaktadir. Monitör (5), islenmis görüntüde yakalanan olaylarin anlik gösterimini saglamaktadir. Birden fazla kameranin baglantisinin kurulmasi ve güç verilmesi kamera baglanti birimi (6) vasitasiyla saglanmaktadir. Görüntüler kameralardan (7) elde edilmektedir. Bu kameralar (7), güvenlik kamerasi, IP kamera (8), telefon kamerasi (9), USB kamera (10), CCTV kamera (11) olabilmektedir. Web yazilimi (12), birden fazla kamera görüntüsünün bir web portal araciligi ile müsteriye gösterimi ve erisim bilgilerinin denetlenmesini saglamaktadir. Algoritma yazilimi (13) ise algoritmanin görüntü üzerinde çalisir hale getirilmesini saglamaktadir. Bulusa konu olan yöntem ile gerçeklesen islem adimlari maddeler halinde sunlardir; - Kameralardan (7) videolarin girdi olarak kablosuz/kablolu haberlesme araciligi ile alinmasi (1001), o Kameralardan (7) canli yayin görüntülerinin kablosuz/kablolu haberlesme araciligi ile alinmasi (1002), o 1002 veya 1001 islem adimindan gelen girdinin çerçeve/frame olarak görüntü düzenleme birimi (2) (edge) tarafindan düzenlenmesi (1003) 0 Görüntü düzenleme birimi (2) tarafindan 1003 islem adiminda okunan görüntünün hangi kameradan (7) geldiginin bilgisinin web yazilimina (12) girdi olarak verilecek sekilde ip ve kamera numarasi ile Ioglanmasi (1004), ile kamera baglanti birimi (6) araciligi ile ayni anda alinabilecek sekilde adreslerin atanmasinin yapilmasi ve kablosuz/kablolu haberlesme araciligi ile alinmasi (1005), o Kameralardan (7) alinan herhangi bir canli yayinin girdi olarak 1001 veya 1002 islem adimi ile ve kamera baglanti birimi (6) araciligi ile ayni anda alinabilecek sekilde adreslerin atanmasinin yapilmasi ve kablosuz/kablolu haberlesme araciligi ile alinmasi (1006), 1002 veya 1001 islem adiminda gelen girdinin çerçeve/frame olarak sunucu (1) tarafindan okunmasi (1007), Sunucu (1) tarafindan 1007 islem adiminda okunan görüntünün hangi kameradan (7) geldiginin bilgisinin Web Yazilimina (12) girdi olarak verilecek sekilde ip ve kamera numarasi ile Ioglanmasi (1008), islem adimlari ile ayni anda kablosuz/kablolu haberlesme araciligi ile alinmasi (1009), islem adimlari ile ayni anda kablosuz/kablolu haberlesme araciligi ile alinmasi (1010), 1009 veya 1010 islem adimlarindan gelen girdinin bulut sunucuya (3) iletilmesi ve bahsedilen bulut sunucu (3) tarafindan verilerin okunmasi (1011), Bulut sunucu (3) tarafindan 1010 veya 1009 islem adiminda okunan görüntünün hangi kameradan (7) geldiginin bilgisinin web yazilimina (12) girdi olarak verilecek sekilde ip ve kamera numarasi ile Ioglanmasi (1012), Belirli bir sayida gelen kameralardan (7) gelen görüntünün web yazilimi (12) araciligi ile çok kanalli (multithreaded) sekilde, her kamera (7) için ayri ayri islenecek sekilde karisik siraya dizilmesi (1013), Her bir sirali görüntüde derin ögrenme (deep learning) araciligi ile insan tespitinin yapilmasi (1014), 1014 islem adiminda tespit edilen insanlar için görüntülerin hassas veri içermesi halinde, derin ögrenme araciligi ile yüz tespiti, yatak tespiti yapilarak bu kisimlarin, ilk okuma yapilan sunucu (1), görüntü düzenleme birimi (2) ve bulut sunucu (3) tarafindan seçili parametre olan esik (threshold) deger ile maskelenmesi (blur, noise ve maske eklenerek) (1015), Görüntüde insan tespit edilmesi halinde 1017 islem adimina geçilmesi, aksi halde, en çalistirilmasi) (1016), 1015 islem adiminda maskelenmis haldeyken sinirlayan çerçeve içerisindeki verinin resim formatinda kaydedilmesi (1017), Derin ögrenme vasitasiyla her bir kameradan (7) gelen görüntü için insan takibinin yapilmaya baslanmasi (1018), Insan takibi basarisiz olmasi halinde 1016. islem adimi ile diger tespit edilen insanlarin olup olmadiginin kontrol edilmesi, 1020 ve 1025 islem adimlarinin ayni anda çalistirilmaya baslanmasi (1019), Takip edilen kisinin baska kisilerle kiyaslanip bulundugu diger kamera görüntülerinin tespit edilmesi (1020), (Kiyaslama, histogram kiyaslamasi ve kisa süreli (10 FPS 10 sn) multi-class appearance learning ile yapilmaktadir.) Takip edilen kisinin rota tespit tahminin yapilmasi (1021) (rota tespit tahmini, geçmis FPS 10sn Iik trajectory verisinin centroidini referans alarak yapilir. Bu centroid kordinatlarinin olusturdugu trajectory polynomal regression araciligi ile bir curve e oturtulur ve rota tahminlenmis olur.) 1020 islem adiminda takip edilen kisinin çerçeve bilgisinin baska kameralar (7) ile örtüsmesi halinde, her kameradaki rota bilgisinin, kamera yakinligi baz alinarak diger kameralardaki rotalar ile birlestirilmesi ve görsellestirilmesi (1022), Her kameradaki takip edilen kisilerin rota bilgilerinin gruplanmasi (1023) (gruplama islemi variance ve curve sekli baz alinarak gerçeklestirilir, fakli yürüyüs patternleri, rota varyansi ve curve fitting ile belirlenir.) Olmasi halinde farkli yürüyüs patternlerinin ve tüm rotalarin raporlanmasi (1024), Insan takibi yapilmasi halinde insanin durusunun hesaplanmasi (1025), (Bu kisi için pose estimation algoritmasi kullanarak durus hesaplanir.) Görüntüde durus tespit edilip edilmediginin kontrol edilmesi, tespit edilmemesi halinde insan takibine devam edilmesi (1026), Durus tespit edilmesi halinde, takip edilen her kisi için durus takip edilmeye baslanmasi (1027), Durus takibinin basarili olup olmadiginin kontrol edilmesi (1028), Tespit edilen her bir durus için, durusun siddet olup olmadiginin test edilmesi (1029) (LightGBM modeli ile saglanmaktadir.) Anormallik olup olmadiginin sadece tahminin güven oraninin belirli bir yüzdeyi (tercihen %50) asmasi durumunda karar verilmesi (1030), Güven oraninin belirli bir yüzdeden (tercihen %50) yüksek ve normal olarak siniflandirilmasi halinde, görüntüde normal durum olarak isaretlenmesi (1031) (Bayesian HMM de hesaplamada kullanilmak üzere normal olarak isaretlenir- Siniflandirmanin belirli bir yüzdeden (tercihen %50) yüksek güvenilir ve anormal olarak siniflandirilmasi halinde belirli bir geçmis zamanin kontrol edilerek anormallik durumunun tekrar hesaplanmasi (1032), (geçmis 3 sn, 10 ar fps için bayesian hmm harekete geçirilir ve nedenseI/causal olarak da anormal olup olmadigi hesaplanir.) Insan durus takibi yapilabildigi sürece bir önceki durus ile o anki durus arasindaki durus degisiminin hizi ve ivmesi her bir iskelet için hesaplanmasi (1033), Durus koordinatlarinin sirali biçiminde ve karisik gelen hiz ve ivme parametreleri ile birlikte test edilmesi (, Anormal olup olmadiginin degerlendirilmesi ( Anormallik olasilik degerinin anormal rni normal mi olduguna bakilmasi (1036), Anormallik olasilik degerinin belirli bir esik degerinin üzerinde olmasi halinde anormal olarak nitelendirilmesi (, Normallik olasilik degerinin belirli bir esik degerinin üzerinde olmasi halinde normal olarak nitelendirilmesi (1038), Son degerlendirme için 1037 islem adiminda elde edilen degerin, 1035 islem adiminda elde edilen deger ile kiyaslanmasi (1039) (Yani Bayesian HMM sonucu, Iki çiktinin da degerlendirilmesi (1040), Iki çiktinin da anormal olarak etiketli olmasi halinde algoritma yazilimi (15) tarafindan alarm üretilmesi, aksi halde 1031 islem adimlarini gerçeklestirilmesi (1041), ve/veya GSM modülü (4) tarafindan otomatik SMS gönderilmesi (1042), ve/veya Sunucu (1) ve bulut sunucu (3) tarafindan otomatik mail gönderilmesi (1043), GSM modülü (4) tarafindan otomatik acil çagri yapilmasi (1044), ve/veya Raporlama yapilmasi ve monitörde (5) anlik ve geçmise dönük olarak görüntülenmesi (1045), ve/veya Belirli bir saat (tercihen 12 saat) geçip geçmediginin algoritma yazilimi (13) tarafindan kontrol edilmesi (1046), ve/veya Belirli bir saat (tercihen 12 saat) geçmesi halinde mail olarak rapor gönderilmesi (1047). TR TR TR TR TR TR

Claims (1)

1.ISTEMLER Kameralarin (7) konulabilecegi her türlü alanda, kameralardan (7) insan tespiti, takibi, insan aktivite tespiti ve tahmini, acil/anormal durum tespitini saglayan kamera takip yöntemi olup, özelligi; Kameralardan (7) videolarin girdi olarak kablosuz/kablolu haberlesme araciligi ile alinmasi (1001), Kameralardan (7) canli yayin görüntülerinin kablosuz/kablolu haberlesme araciligi ile alinmasi (1002), 1002 veya 1001 islem adimindan gelen girdinin çerçeve/frame olarak görüntü düzenleme birimi (2) (edge) tarafindan düzenlenmesi (1003) Görüntü düzenleme birimi (2) tarafindan 1003 islem adiminda okunan görüntünün hangi kameradan (7) geldiginin bilgisinin web yazilimina (12) girdi olarak verilecek sekilde ip ve kamera numarasi ile Ioglanmasi (1004), Herhangi bir kameradan (7) alinan videonun girdi olarak 1001 veya 1002 islem adimi ile kamera baglanti birimi (6) araciligi ile ayni anda alinabilecek sekilde adreslerin atanmasinin yapilmasi ve kablosuz/kablolu haberlesme araciligi ile alinmasi (1005), Kameralardan (7) alinan herhangi bir canli yayinin girdi olarak 1001 veya 1002 islem adimi ile ve kamera baglanti birimi (6) araciligi ile ayni anda alinabilecek sekilde adreslerin atanmasinin yapilmasi ve kablosuz/kablolu haberlesme araciligi ile alinmasi (1006), 1002 veya 1001 islem adiminda gelen girdinin çerçeve/frame olarak sunucu (1) tarafindan okunmasi (1007), Sunucu (1) tarafindan 1007r islem adiminda okunan görüntünün hangi kameradan (7) geldiginin bilgisinin Web Yazilimina (12) girdi olarak verilecek sekilde ip ve kamera numarasi ile Ioglanmasi (1008), islem adimlari ile ayni anda kablosuz/kablolu haberlesme araciligi ile alinmasi (1009), islem adimlari ile ayni anda kablosuz/kablolu haberlesme araciligi ile alinmasi (1010), 1009 veya 1010 islem adimlarindan gelen girdinin bulut sunucuya (3) iletilmesi ve bahsedilen bulut sunucu (3) tarafindan verilerin okunmasi (1011), Bulut sunucu (3) tarafindan 1010 veya 1009 islem adiminda okunan görüntünün hangi kameradan (7) geldiginin bilgisinin web yazilimina (12) girdi olarak verilecek sekilde ip ve kamera numarasi ile Ioglanmasi (1012), Belirli bir sayida gelen kameralardan (7) gelen görüntünün web yazilimi (12) araciligi ile çok kanalli sekilde, her kamera (7) için ayri ayri islenecek sekilde karisik siraya dizilmesi (1013), Her bir sirali görüntüde derin ögrenme araciligi ile insan tespitinin yapilmasi (1014), 1014 islem adiminda tespit edilen insanlar için görüntülerin hassas veri içermesi halinde, derin ögrenme araciligi ile yüz tespiti, yatak tespiti yapilarak bu kisimlarin, ilk okuma yapilan sunucu (1), görüntü düzenleme birimi (2) ve bulut sunucu (3) tarafindan seçili parametre olan esik deger ile maskelenmesi (1015), Görüntüde insan tespit edilmesi halinde 1017 islem adimina geçilmesi, aksi halde, en 1015 islem adiminda maskelenmis haldeyken sinirlayan çerçeve içerisindeki verinin resim formatinda kaydedilmesi (1017), Derin ögrenme vasitasiyla her bir kameradan (7) gelen görüntü için insan takibinin yapilmaya baslanmasi (1018), Insan takibi basarisiz olmasi halinde 1016. islem adimi ile diger tespit edilen insanlarin olup olmadiginin kontrol edilmesi, 1020 ve 1025 islem adimlarinin ayni anda çalistirilmaya baslanmasi (1019), Takip edilen kisinin baska kisilerle kiyaslanip bulundugu diger kamera görüntülerinin tespit edilmesi (1020), Takip edilen kisinin rota tespit tahminin yapilmasi (1021), 1020 islem adiminda takip edilen kisinin çerçeve bilgisinin baska kameralar (7) ile örtüsmesi halinde, her kameradaki rota bilgisinin, kamera yakinligi baz alinarak diger kameralardaki rotalar ile birlestirilmesi ve görsellestirilmesi (1022), Her kameradaki takip edilen kisilerin rota bilgilerinin gruplanmasi (1023), Olmasi halinde farkli yürüyüs patternlerinin ve tüm rotalarin raporlanmasi (1024), Insan takibi yapilmasi halinde insanin durusunun hesaplanmasi (1025), Görüntüde durus tespit edilip edilmediginin kontrol edilmesi, tespit edilmemesi halinde insan takibine devam edilmesi (1026), Durus tespit edilmesi halinde, takip edilen her kisi için durus takip edilmeye baslanmasi (1027), Durus takibinin basarili olup olmadiginin kontrol edilmesi (1028), Tespit edilen her bir durus için, durusun siddet olup olmadiginin test edilmesi (1029), Anormallik olup olmadiginin sadece tahminin güven oraninin belirli bir yüzdeyi asmasi durumunda karar verilmesi (1030), Güven oraninin belirli bir yüzdeden yüksek ve normal olarak siniflandirilmasi halinde, görüntüde normal durum olarak isaretlenmesi (1031), Siniflandirmanin belirli bir yüzdeden yüksek güvenilir ve anormal olarak siniflandirilmasi halinde belirli bir geçmis zamanin kontrol edilerek anormallik durumunun tekrar hesaplanmasi (1032), Insan durus takibi yapilabildigi sürece bir önceki durus ile o anki durus arasindaki durus degisiminin hizi ve ivmesi her bir iskelet için hesaplanmasi (1033), Durus koordinatlarinin sirali biçiminde ve karisik gelen hiz ve ivme parametreleri ile Anormal olup olmadiginin degerlendirilmesi (1035), Anormallik olasilik degerinin anormal mi normal mi olduguna bakilmasi (1036), Anormallik olasilik degerinin belirli bir esik degerinin üzerinde olmasi halinde anormal olarak nitelendirilmesi (1037), Normallik olasilik degerinin belirli bir esik degerinin üzerinde olmasi halinde normal olarak nitelendirilmesi (1038), Son degerlendirme için 1037 islem adiminda elde edilen degerin, 1035 islem adiminda elde edilen deger ile kiyaslanmasi (1039), Iki çiktinin da degerlendirilmesi (1040), Iki çiktinin da anormal olarak etiketli olmasi halinde algoritma yazilimi (15) tarafindan alarm üretilmesi, aksi halde 1031 islem adimlarini gerçeklestirilmesi (1041), ve/veya GSM modülü (4) tarafindan otomatik SMS gönderilmesi (1042), ve/veya Sunucu (1) ve bulut sunucu (3) tarafindan otomatik mail gönderilmesi (1043), GSM modülü (4) tarafindan otomatik acil çagri yapilmasi (1044), ve/veya Raporlama yapilmasi ve monitörde (5) anlik ve geçmise dönük olarak görüntülenmesi (1045), ve/veya Belirli bir saat geçip geçmediginin algoritma yazilimi (13) tarafindan kontrol edilmesi (1046), ve/veya Belirli bir saat geçmesi halinde mail olarak rapor gönderilmesi (1047) islem adimlarini içermesidir. bahsedilen güven orani esik degerinin yüzde 50 olmasidir. istem 1, e uygun yöntem olup, özelligi; 1032 numarali islem adiminda geçmis 3 sn, 10 ar fps için bayesian hmm harekete geçirilmesi ve nedenseI/causal olarak da anormal olup olmadigi hesaplanmasidir. istem 1' e uygun yöntem olup, özelligi; 1034 numarali islem adiminda LSTM (Long short- term memory) kullanilmasidir. istem 1* e uygun yöntem olup, özelligi; 1035 numarali islem adiminda Hidden Markov Model (HMM) kullanilmasidir. istem 1' e uygun yöntem olup, özelligi; 1037 numarali islem adiminda son degerlendirme için LSTM çiktisi ile kiyaslanmasidir. istem 1' e uygun yöntem olup, özelligi; 1039 numarali islem adiminda Bayesian HMM sonucunun, LSTM çiktisi ile kiyaslanmasidir. istem 1' e uygun yöntem olup, özelligi; 1046 ve 1047 numarali islem adiminda bahsedilen belirli saatin 12 saat olmasidir. istem 1' e uygun yöntem olup, özelligi; bahsedilen kameralarin (7); IP Kamerasi (8), Telefon Kamerasi (9), USB Kamera (10) ve/veya CCTV Kamera (11) olmasidir. TR TR TR TR TR TR
TR2020/22665A 2020-12-31 2020-12-31 Kamera takip yöntemi TR202022665A2 (tr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TR2020/22665A TR202022665A2 (tr) 2020-12-31 2020-12-31 Kamera takip yöntemi
PCT/TR2021/051572 WO2022146389A1 (en) 2020-12-31 2021-12-29 Camera tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TR2020/22665A TR202022665A2 (tr) 2020-12-31 2020-12-31 Kamera takip yöntemi

Publications (1)

Publication Number Publication Date
TR202022665A2 true TR202022665A2 (tr) 2022-07-21

Family

ID=82261023

Family Applications (1)

Application Number Title Priority Date Filing Date
TR2020/22665A TR202022665A2 (tr) 2020-12-31 2020-12-31 Kamera takip yöntemi

Country Status (2)

Country Link
TR (1) TR202022665A2 (tr)
WO (1) WO2022146389A1 (tr)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558404B2 (en) * 2005-11-28 2009-07-07 Honeywell International Inc. Detection of abnormal crowd behavior
JP4626632B2 (ja) * 2007-06-25 2011-02-09 株式会社日立製作所 映像監視システム
US8195598B2 (en) * 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
US9183512B2 (en) * 2011-12-15 2015-11-10 Northeastern University Real-time anomaly detection of crowd behavior using multi-sensor information
CN109819208B (zh) * 2019-01-02 2021-01-12 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法
US20200349347A1 (en) * 2019-01-07 2020-11-05 Cherry Labs Inc. Systems and methods for monitoring and recognizing human activity
US11461441B2 (en) * 2019-05-02 2022-10-04 EMC IP Holding Company LLC Machine learning-based anomaly detection for human presence verification

Also Published As

Publication number Publication date
WO2022146389A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
CN110443109A (zh) 异常行为监控处理方法、装置、计算机设备和存储介质
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN109887234B (zh) 一种防儿童走失方法、装置、电子设备及存储介质
CN111080775A (zh) 一种基于人工智能的服务器巡检方法及系统
CN111126153B (zh) 基于深度学习的安全监测方法、系统、服务器及存储介质
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN109543607A (zh) 目标物异常状态检测方法、系统、监护系统及存储介质
CN110737201B (zh) 一种监护方法、装置、存储介质及空调
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
CN114898261A (zh) 一种基于视频和生理数据融合的睡眠质量评估方法及系统
CN116704411A (zh) 一种基于物联网的安防管控方法、系统及存储介质
CN111753587B (zh) 一种倒地检测方法及装置
TR202022665A2 (tr) Kamera takip yöntemi
Hameete et al. Intelligent Multi-Camera Video Surveillance.
CN111126100B (zh) 报警方法、装置、电子设备及存储介质
CN115690914A (zh) 异常行为提醒方法、装置、电子设备及存储介质
CN114973135A (zh) 一种基于头肩的时序视频睡岗识别方法、系统及电子设备
TWI706381B (zh) 影像物件偵測方法及系統
CN108154108A (zh) 一种紧急事件的监测方法及装置
CN113971864A (zh) 一种儿童居家安全监测方法及装置
Sivasakthi et al. Suspicious Activity Detecting Camera
CN113239791B (zh) 基于神经网络和目标追踪的考官异常行为监控方法及系统
CN111813030B (zh) 一种智能安全运动控制器及控制系统