TR201505174A3

TR201505174A3 - A TARGET DETECTION AND TRACKING UNIT

Info

Publication number: TR201505174A3
Application number: TR2015/05174A
Authority: TR
Inventors: Genç Alper; Tuncer Özgür
Original assignee: Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi
Priority date: 2015-04-28
Filing date: 2015-04-28
Publication date: 2017-06-21

Abstract

Bu buluş, en az iki görüntü kaynağından (K) gelen görüntülerin alınıp, bu görüntülere uygulanacak olan hedef tespit ve takip algoritmalarının, farklı kartlar üzerinde bulunan FPGA (8) ve işlemci (12) arasında dengeli şekilde paylaştırılıp, gerçeklenerek farklı video standartlarındaki görüntülerin gerçek zamanlı olarak işlenmesini ve dış dünyaya sürülmesini sağlayan ve en temel halinde; dış dünyadan gelen en az iki video sinyalini alması ve dış dünyaya en az iki video sinyalini sürmesi için uyarlanmış, farklı türdeki video formatlarını karşılayabilen en az bir arayüz donanımı (2), arayüz donanımının (2) kimliğinin saklandığı en az bir arayüz belleği (5), arayüz donanımı (2) tarafından alınan görüntülerin üzerinde hedef tespit ve takip algoritmalarını uygulaması için uyarlanmış, üzerinde bir FPGA (8) bulunan en az bir birinci kart (7) ve üzerinde bir işlemci (12) bulunan en az bir ikinci karta (11) sahip en az bir görüntü işleme donanımı (6) içeren bir hedef tespit ve takip birimi (1) ile ilgilidir.The present invention provides real-time real-time monitoring of images of different video standards by receiving and receiving images from at least two image sources (K), and realizing the target detection and tracking algorithms to be applied to these images in a balanced manner between FPGA (8) and processor (12) on different cards. in the most basic form; at least one interface device (2) adapted to receive at least two video signals from the outside world and drive at least two video signals to the outside world, capable of meeting different types of video formats, at least one interface memory (5) in which the identity of the interface device (2) is stored. at least one first card (7) with an FPGA (8) on it and at least one second card (11) with a processor (12) on it, adapted to implement target detection and tracking algorithms on the images received by the interface hardware (2). a tracking device (1) comprising at least one image processing device (6) having at least one image processing device (6).

Description

TARIFNAME BIR HEDEF TESPIT VE TAKIP BIRIMI Teknik Alan Bu bulus, en az iki görüntü kaynagindan gelen görüntülerin alinip, bu görüntülere uygulanacak olan hedef tespit ve takip algoritmalarinin, farkli kartlar üzerinde bulunan FPGA (Field Programmable Gate Array) ve islemci arasinda dengeli sekilde paylastirilip, gerçeklenerek farkli video standartlarindaki görüntülerin gerçek zamanli olarak islenmesini ve dis dünyaya sürülmesini saglayan bir hedef tespit ve takip birimi ile ilgilidir. Önceki Teknik Günümüzde, Video görüntüsü içerisinde hedef tespit ve takibi uygulamalarinin; yüz tanima, hareket algilama, otomatik kontrol ve askeri amaçlar gibi çok genis kullanim alanlari bulunmaktadir. Son yillarda Video teknolojisinin çok hizli ilerlemesi, HD-SDI ve 3G-SDI gibi çözünürlügü ve frekansi oldukça yüksek sayisal video türlerinin ortaya çikmasini saglamistir. Bu yüksek çözünürlüklü Video türleri ile çalisacak olan hedef tespit ve takip birimlerinin de yüksek miktardaki veriyi isleyebilecek akilli devrelere (FPGA, islemci) ve bu veriyi, donanimlari arasinda transfer edebilecek yüksek hizli arayüzlere sahip olmasi gerekmektedir. Standart bir hedef tespit ve takip birimi, kameradan gelen giris görüntüsünü alabilecek ve ekrana çikis görüntüsü sürebilecek bir donanim ile alinan görüntü üzerinde gerekli olan algoritmalari gerçekleyecek bir donanimdan olusmaktadir. DESCRIPTION A TARGET IDENTIFICATION AND TRACKING UNIT Technical Area This invention allows images from at least two image sources to be taken and converted to these images. target detection and tracking algorithms to be applied on different cards. balanced between the FPGA (Field Programmable Gate Array) and the processor By sharing and realizing in a way that images in different video standards a target that allows it to be processed and exported to the outside world in real time It is related to the detection and tracking unit. Prior Art Today, target detection and tracking applications within the video image; such as face recognition, motion detection, automatic control and military purposes. There are usage areas. In recent years, video technology has been very fast. advancement, high resolution and frequency such as HD-SDI and 3G-SDI. led to the emergence of digital video types. This is high resolution Target detection and tracking units, which will work with video types, will also have high smart circuits (FPGA, processor) that can process large amounts of data and this data, Having high-speed interfaces that can transfer between hardware required. A standard target acquisition and tracking unit, input from the camera with a hardware that can take the image and display the output image on the screen. from a hardware that will perform the necessary algorithms on the received image. is formed.

Teknigin bilinen durumunda yer alan USöl88381Bl sayili Birlesik Devletler patent dokümaninda bahsedilen gerçek zamanli video isleme sisteminde, algoritmalar için gerekli olan islem yükü video isleme modüllerine dagitilmistir. United States numbered USöl88381Bl, which is in the state of the art In the real-time video processing system mentioned in the patent document, The processing load required for the algorithms is distributed to the video processing modules.

Video isleme modüllerinde görüntü isleme için özel olarak tasarlanmis entegreler (piramit entegresi, “frame store”, LUT) ve paralel islem yapmaya elverisli akilli devreler (FPGA) bulunmaktadir. Ön islemler (front-end operations) video isleme modüllerinde gerçeklestirildikten sonra sonuçlar islemci anakartina gönderilmektedir. Islemci anakartinda bulunan islemciler tarafindan da algoritma tamamlanmaktadir. Bu bulusta modüler yapinin avantajlarindan faydalanilarak, yüksek islem gücü gerektiren algoritmalar için birden fazla video isleme modülü kullanilmakta, gerçek zamanli islem yapilmasi saglanmaktadir. Ancak modüler hale getirilmis olan video isleme modülü tamamen bu uygulamaya yönelik olarak tasarlanmistir. Örnegin video isleme modülünde bulunan piramit entegresi sadece görüntü isleme algoritmalarinda kullanilmaktadir. Ayni sekilde islemci anakarti da genel amaçli bir islemci degil, bu uygulama için özel olarak tasarlanmis, üzerinde SRAM”ler bulunan ve “global video bus”1 olan bir karttir. Bu nedenle bu yapilari herhangi genel amaçli bir islemci veya FPGA kartiyla degistirmek mümkün degildir. Ayni zamanda, bu sistemde giris ve çikis videolari, “global Video bus” üzerinden gelmekte ve kameradan gelen görüntünün donanimlara nasil alindigi belirtilmemektedir. Specially designed ICs for image processing in video processing modules (pyramid IC, “frame store”, LUT) and smart suitable for parallel processing circuits (FPGA). Front-end operations video processing The results are transferred to the processor motherboard after being performed on the modules is sent. Algorithm also by the processors on the processor motherboard is being completed. In this invention, taking advantage of the modular structure, Multiple video processing modules for algorithms that require high processing power are used, real-time processing is provided. But modular The video processing module, which has been optimized, is completely for this application. is designed. For example, the pyramid integrated in the video processing module can only be used in image processing algorithms. Likewise, the processor board Nor is it a general purpose processor, it is specifically designed for this application, It is a card with SRAMs on it and a "global video bus"1. Therefore this replacing the builds with any general purpose processor or FPGA board It is not possible. At the same time, entry and exit videos in this system are “global It comes over the “video bus” and how the image from the camera is transmitted to the hardware. taken is not specified.

Teknigin bilinen durumunda yer alan CN103198445A sayili Çin patent dokümaninda belirtilen hedef tespit ve takip biriminde, algoritmalar için gerekli olan islem yükü, FPGA, DSP ve ARM islemci arasindan paylastirilmistir. Bu sayede daha önceki tekniklerde ulasilamayan yüksek hizlara çikilmakta ve yüksek hizli IR kameralar için algoritmalar gerçek zamanli olarak islenebilmektedir. Chinese patent number CN103198445A in the state of the art In the target detection and tracking unit specified in the document, necessary for algorithms The processing load is shared between FPGA, DSP and ARM processors. This In this way, high speeds that could not be reached in previous techniques are reached and high Algorithms for fast IR cameras can be processed in real time.

Ancak bu birimde giris ve çikis Video formatlari standart olup, degistirilememektedir. Ayni zamanda FPGA, DSP ve ARM islemcinin ayni kart üzerinde bulunmasi, bu yapilardan herhangi birinin bir üst modeli ile degistirilmek istenmesi durumunda tüm kartin tasariminin yeniden yapilmasini gerektirmektedir. Günümüzde FPGA ve islemci teknolojilerinin çok hizli ilerledigi ve üreticilerin çok sik araliklarla yeni modeller tasarladigi düsünüldügünde, birimdeki yapilardan birini digerlerinden bagimsiz olarak gelistirebilmek Önemli bir ihtiyaç halini almistir. Fakat bu birimde donanimlarin ayni kart üzerinde tasarlanmasi bu ihtiyacin karsilanmasini engellemektedir. However, the input and output Video formats are standard in this unit. cannot be changed. At the same time, the FPGA, DSP and ARM processor are on the same board. with a higher model of any of these structures. If it is desired to change, the design of the entire card must be redesigned. requires. Today, FPGA and processor technologies are very fast. progress and manufacturers design new models at very frequent intervals. considered, you can use one of the structures in the unit independently of the others. development has become an important need. But in this unit, your hardware The fact that it is designed on the same card prevents meeting this need.

Teknigin bilinen durumunda yer alan CN202872985U sayili Çin faydali model dokümaninda belirtilen Video isleme kartinda, algoritmalar için gerekli olan islem yükü FPGA ve islemci arasinda paylastirilmistir. Bu kart ayni anda hem analog hem de sayisal video sinyalini alip, isleyebilmektedir. Fakat yine bu birimde de sadece analog ve sayisal video formatlari desteklenmektedir. Bununla birlikte FPGA ve islemcinin ayni kart üzerinde bulunmasi, bu yapilardan birini digerinden bagimsiz olarak gelistirebilmeyi imkansiz hale getirmektedir. Chinese utility model numbered CN202872985U in the state of the art In the video processing card specified in the document, the processing required for the algorithms The load is shared between the FPGA and the processor. This card is analog and analog at the same time. It can also receive and process digital video signals. But in this unit only analog and digital video formats are supported. With this Having the FPGA and the processor on the same card makes one of these structures different from the other. makes it impossible to develop independently.

Sonuç olarak önceki tekniklerde video isleme algoritmalari islemcide gerçeklenmekte ve bu durum yüksek islem gücü gerektiren algoritmalarda gerçek zamanli islem yapabilmeyi imkansiz kilmaktadir. Bu sorunun çözülebilmesi adina yukarida bahsedilen patent/faydali model dokümanlarinda islemci ile birlikte FPGA de kullanilmis ve mevcut algoritmalarda gerçek zamanli islem yapilabilir islemci ile FPGA”nin ayni kart üzerine konulmasi bu yapilardan birini digerinden bagimsiz olarak gelistirebilmeyi engellemektedir. Bununla birlikte video arayüzleri standart olup, tanimlanmis standartta olmayan bir video ile birimin çalismasi mümkün olmamaktadir. Birimde yapilacak herhangi bir degisiklik için tüm kartin yani birimin yeniden tasarlanmasi gerekmektedir. U86188381Bl sayili dokümanda ise islemci ile FPGA farkli kartlar üzerine konulmustur fakat bu kartlar tamamen uygulamaya yönelik olarak tasarlanmistir. Bu yüzden, islem gücü yetersiz geldigi durumda bu kartlar piyasadan kolayca bulunabilecek, daha yüksek islem gücü olan bir FPGA veya islemci karti ile degistirilememektedir. Bu durum da farkli algoritma ihtiyaçlarina çok hizli cevap verebilmeyi güçlestirmektedir. As a result, in previous techniques, video processing algorithms are in the processor. is implemented, and this is true in algorithms that require high processing power. makes it impossible to perform timed transactions. In order to solve this problem together with the processor in the above-mentioned patent/utility model documents. Real-time processing can be done in existing algorithms used in FPGA Putting the processor and the FPGA on the same card makes one of these structures different from the other. hinders the ability to develop independently. However, the video interfaces are standard, with a video that is not in the defined standard, the unit's it is not possible to work. for any changes to the unit. the whole board, ie the unit, needs to be redesigned. U86188381Bl numbered In the document, the processor and the FPGA are placed on different cards, but this The cards are designed purely for practice. Therefore, the processing power In case it is insufficient, these cards can be easily found in the market, higher It cannot be replaced with a processing power FPGA or processor card. This situation This makes it difficult to respond very quickly to different algorithm needs.

Bulus ile Çözülen Sorunlar Bu bulusun amaci, farkli video standartlari (analog, sayisal (SD) vb.) ile hedef tespit ve takibinin yapilabilmesini saglayan bir hedef tespit ve takip birimi gerçeklestirmektir. Bulus konusu hedef tespit ve takip birimi, kameradan gelen giris video görüntüsünü alan ve ekrana gidecek olan çikis video görüntüsünü süren bir arayüz donanimi ile alinan görüntü üzerinde gerekli olan algoritmalari gerçekleyen bir görüntü isleme donanimindan olusmaktadir. Arayüz donanimi ayni anda iki farkli kameradan gelen görüntüyü alip, iki farkli ekrana gidecek olan görüntüyü sürebilecek sekilde tasarlanmistir. Arayüz donanimi, aldigi giris görüntülerini algoritmalarin gerçeklenmesi için görüntü isleme donanimina göndermekte, görüntü isleme donanimindan gelen çikis görüntülerini ise dis dünyaya göndermektedir. Bu birimde birden fazla farkli türde arayüz donanimi tasarlanmis, bu sayede ayni görüntü isleme donanimi kullanilarak farkli video standartlari (analog, sayisal (SD) vb.) ile hedef tespit ve takibinin yapilabilmesi saglanmaktadir. Bununla birlikte, tasarlanacak yeni donanimlar ile ayni anda iki farkli standarttaki (analog ve sayisal gibi) video sinyaline uyumlu arayüz donanimlari da tasarlanabilecektir. Böylece mevcut birimde en az degisiklige gidilerek güncelleme yapilabilecektir. Ayrica, görüntü isleme donanimi üzerinde kosan yazilim, arayüz donanimindan bagimsiz hale getirilmistir. Arayüz donanimi degistirildigi durumda, görüntü isleme donanimi giris ve çikis video standartlarini otomatik olarak algilamakta ve hedef tespit ve takibini ilgili video standardina göre yapmaktadir. Problems Solved with Invention The aim of this invention is to target different video standards (analog, digital (SD) etc.) a target detection and tracking unit that enables detection and tracking is to perform. The subject of the invention is the target detection and tracking unit, output video image that takes the input video image and goes to the screen. Algorithms required on the image taken with an interface hardware It consists of a rendering image processing hardware. Interface hardware which will take the image from two different cameras at the same time and go to two different screens. It is designed to drive the image. Interface hardware, the input it receives to image processing hardware for the implementation of algorithms. sends the output images from the image processing hardware to the outside. sends to the world. Multiple different types of interface hardware in this unit designed so that different video clips can be created using the same image processing hardware. target detection and tracking with standards (analogue, digital (SD) etc.) is provided. However, with the new hardware to be designed, two Interface compatible with video signal of different standard (such as analog and digital) hardware can also be designed. Thus, minimal changes to the existing unit update can be done. Also, on image processing hardware running software is made independent of interface hardware. Interface hardware changed, the image processing hardware will meet the input and output video standards. automatically detects and converts target detection and tracking to the relevant video standard. does accordingly.

Bu bulusun diger amaci, islemci ve FPGA`nin farkli kart üzerinde tasarlanip, birbirinden bagimsiz olarak gelistirilmesine olanak saglayan bir hedef tespit ve takip birimi gerçeklestirmektir. Birimde bulunan görüntü isleme donanimi, FPGA karti ve islemci karti olmak üzere iki farkli karttan olusmaktadir. Bu kartlar birbirleri ile ve arayüz donanimi ile standart haberlesme arayüzlerini kullanarak haberlesebilmektedir. Arayüz donanimindan gelen giris video isareti üzerine uygulanacak olan hedef tespit ve takip algoritmalari, görüntü isleme donanimi üzerinde bulunan FPGA ve islemci arasinda dengeli sekilde paylastirilarak görüntünün gerçek zamanli olarak islenmesi saglanmaktadir. FPGA ve islemci kartlarinin birbirinden ayrilmis olmasi, bu yapilardan birini digerinden bagimsiz olarak gelistirebilmeyi mümkün kilmaktadir. Ayni zamanda algoritmalarin islem yüküne bagli olarak birden fazla sayida FPGA ve islemci karti kullanilarak, yeni görüntü isleme donanimlari olusturmak da mümkündür. Bu durumda algoritma yükü birden fazla sayida FPGA ve islemci üzerine dengeli olarak dagitilacagi için daha yüksek islem gücü gerektiren algoritmalar gerçeklenebilecektir. The other purpose of this invention is that the processor and FPGA are designed on different cards, a target detection and follow-up unit. Image processing hardware in the unit, FPGA It consists of two different cards, the card and the processor card. These cards using standard communication interfaces with each other and with the interface hardware can communicate. On the input video signal from the interface hardware target detection and tracking algorithms to be applied, image processing hardware It is shared in a balanced way between the FPGA and the processor on it. real-time processing of the image is provided. FPGA and processor The fact that the cards are separated from each other means that one of these structures is independent of the other. makes it possible to develop At the same time, the operation of algorithms using more than one FPGA and processor card depending on the load, new It is also possible to create image processing equipment. In this case the algorithm Since the load will be evenly distributed over multiple FPGAs and processors. Algorithms that require higher processing power will be implemented.

Bu bulusun diger amaci, genel amaçli FPGA ve islemci kartlari kullanilarak hedef tespit ve takip algoritmalarinin gerçeklestirilmesine olanak saglayan bir hedef tespit ve takip birimi gerçeklestirmektir. Bu birimde video ile ilgili olan tüm devreler arayüz donanimina konulmustur. Bu sayede FPGA karti ve islemci karti tamamen genel amaçli sinyal isleme kartlari olarak tasarlanabilmektedir. Bu nedenle gelisen algoritma ihtiyaçlarina çok hizli cevap verebilmek için piyasadan bulunabilecek yüksek islem gücü olan bir FPGA veya islemci kartini, birimdeki arayüzleri destekleme sartiyla, birimde kullanmak mümkündür. Ayrica genel amaçli FPGA ve islemci kartlari kullanildigi için, gerçeklenmesi gereken algoritmanin islem yüküne göre, birimdeki arayüzleri destekleyen farkli sayida FPGA ve islemci kartlari kullanilarak farkli konfigürasyonlar kurmak mümkündür Bulusuii Ayrintili Açiklamasi Bu bulusun amacina ulasmak için gerçeklestirilen bir hedef tespit ve takip birimi, ekli sekillerde gösterilmis olup bu sekiller; Sekil 1. Hedef tespit ve takip biriminin sematik görünüsüdür. Another purpose of this invention is to target target using general purpose FPGA and processor boards. a target that allows the realization of detection and tracking algorithms detection and tracking unit. All videos related to this unit circuits are placed in the interface hardware. In this way, FPGA card and processor card They can be designed as completely general purpose signal processing cards. This For this reason, in order to respond very quickly to the developing algorithm needs, a high processing power FPGA or processor board that can be found in the unit. It is possible to use it in the unit, provided that it supports interfaces. Also general Since FPGA and processor cards are used for this purpose, it is necessary to implement According to the processing load of the algorithm, there are different numbers of supporting interfaces in the unit. It is possible to set up different configurations using FPGA and processor boards. Detailed Description of the Invention A target detection and tracking unit realized to achieve the purpose of this invention, shown in the attached figures, which are; Figure 1. The schematic view of the target detection and tracking unit.

Sekil 2. Hedef tespit ve takip biriminin detayli sematik görünüsüdür. Figure 2. Detailed schematic view of target detection and tracking unit.

Sekil 3. Hedef tespit ve takip biriminin üç farkli senaryo için sematik görünüsüdür. 8058.221 Sekil 321. Iki adet FPGA kartinin kullanildigi hedef tespit ve takip biriminin sematik görünüsüdür. Figure 3. Schematic of the target detection and tracking unit for three different scenarios is the view. 8058,221 Figure 321. The target detection and tracking unit using two FPGA cards. sematic view.

Sekil 3b. Üç adet FPGA karti ve iki adet arayüz donaniminin kullanildigi hedef tespit ve takip biriminin sematik görünüsüdür. Figure 3b. Target using three FPGA cards and two interface hardware is the sematic view of the detection and tracking unit.

Sekil 3c. Üç adet FPGA karti ve üç adet islemci kartinin kullanildigi hedef tespit ve takip biriminin sematik görünüsüdür. Figure 3c. Target detection using three FPGA cards and three processor cards and the schematic view of the tracking unit.

Sekillerdeki parçalar tek tek numaralandirilmis olup, bu numaralarin karsiligi asagida verilmistir. The parts in the figures are numbered one by one and the corresponding numbers are given below.

Hedef tespit ve takip birimi Arayüz donanimi Video alma devresi Video sürme devresi Arayüz bellegi Görüntü isleme donanimi Birinci kart Konfigürasyon bellegi . Video bellegi . Ikinci kart . Islemci . Bellek birimi 14. Üst donanim K. Görüntü kaynagi Bulus konusu hedef tespit ve takip birimi (l), en temel halinde; - dis dünyadan gelen en az iki video sinyalini almasi ve dis dünyaya en az iki video sinyalini sürmesi için uyarlanmis, farkli türdeki video formatlarini karsilayabilen en az bir arayüz donanimi (2), - arayüz donanimina (2) ait kimligin saklandigi en az bir arayüz bellegi (5), - arayüz donanimi (2) tarafindan alinan görüntülerin üzerinde hedef tespit ve takip algoritmalarini uygulamasi için uyarlanmis, üzerinde bir FPGA (8) bulunan en az bir birinci kart (7) ve üzerinde bir islemci (12) bulunan en az bir ikinci kart (l 1) içeren en az bir görüntü isleme donanimi (6), içermektedir. Target detection and tracking unit Interface hardware Video acquisition circuit Video drive circuit interface memory Image processing hardware first card Configuration memory . video memory . second card . Processor . memory unit 14. Upper hardware K. Image source The target detection and tracking unit (l), which is the subject of the invention, in its most basic form; - receiving at least two video signals from the outside world and at least two different kinds of video formats, adapted to drive the video signal. at least one interface hardware (2) that can meet - at least one interface memory (5) in which the identity of the interface hardware (2) is stored, - target detection on images taken by the interface hardware (2) and an FPGA (8) on it, adapted to implement tracking algorithms at least one first card (7) and at least one processor (12) at least one image processing equipment (6) comprising a second card (l 1), contains.

Bulus konusu hedef tespit ve takip biriminin (l) tercih edilen bir uygulamasinda arayüz donanimi (2), kamera vb. iki farkli görüntü kaynagindan (K) gelen, Video isaretini alabilmesi için iki adet Video alma devresi (3) ve islenmis olan iki adet çikis video isaretini iki farkli ekrana (E) gönderebilmesi için iki adet Video sürme devresinden (4) olusmaktadir. In a preferred embodiment of the subject of the invention, the target detection and tracking unit (l) interface hardware (2), camera etc. Video from two different image sources (K) Two Video receiving circuits (3) and two processed Two Video drive so that it can send the output video beacon to two different screens (E) circuit (4).

Arayüz donanimi (2), farkli giris video formatlarini (sayisal (SDI), analog (PAL, NTSC) vb.) karsilayabilecek sekilde sayisal arayüz donanimi (2) ve analog arayüz donanimi (2) olmak üzere farkli türlerde arayüz donanimlari (2) tasarlanmistir. The interface hardware (2) supports different input video formats (digital (SDI), analog (PAL, NTSC) etc.), digital interface hardware (2) and analog interface Different types of interface hardware (2), including hardware (2), have been designed.

Her bir türdeki arayüz donaniminin (2), bir kimligi (ID - identification) bulunmaktadir. Örnegin analog Video alip süren arayüz donanimi (2) için “lDzl”, sayisal (SDI) video alip süren arayüz donanimi (2) için “ID=2” gibi bir kimlik bulunmaktadir. Bu kimlik, arayüz donanimi (2) üzerinde bulunan kalici bir bellek olan arayüz belleginde (5) saklanmaktadir. An identity (ID - identification) of each type of interface hardware (2) are available. For example, “lDzl” for interface hardware (2) that receives and drives analog Video, An ID such as “ID=2” for the interface hardware (2) that receives and drives digital (SDI) video. are available. This ID is a permanent memory located on the interface hardware (2). is stored in the interface memory (5).

Arayüz donaniminin (2) video alma devresi (3) üzerinden alinan görüntüler, islenmek üzere hedef tespit ve takibe yönelik algoritmalarin gerçeklenecegi görüntü isleme donanimina (6) gönderilmektedir. Görüntü isleme donanimi (6), hedef tespit ve takip birimi (l) çalistiginda arayüz belleginde (5) saklanan kimligi okuyarak, birlikte çalisacagi arayüz donaniminin (2) türünü, dolayisiyla da giris ve çikis video standartlarini anlamakta ve 0 standarttaki Video türü için hedef tespit ve takip algoritmalarini çalistirmaktadir. Images taken over the video receiving circuit (3) of the interface hardware (2), algorithms for target detection and tracking will be implemented for processing. is sent to the image processing hardware (6). Image processing hardware (6), ID stored in the interface memory (5) when the target detection and tracking unit (l) works by reading it, the type of interface hardware (2) it will work with, and therefore the input and output video standards and target for Video type with 0 standards It runs detection and tracking algorithms.

Görüntü isleme donanimi (6), birinci kart (7) ve ikinci kart (11) olmak üzere iki adet karttan olusmaktadir. Birinci kart (7) üzerinde bir FPGA (8), bir konfigürasyon bellegi (9) ve bir video bellegi (10) (örnegin SRAM) bulunmaktadir. FPGA”nin (8) çalisabilmesi için gerekli olan konfigürasyon, konfigürasyon bellegi (9) (örnegin NOR flash) içinde saklanmaktadir. Birinci kartin (7) gücü açildiginda, FPGA (8) bu konfigürasyon ile programlanmaktadir. The image processing hardware (6) consists of two cards, the first card (7) and the second card (11). It consists of one card. On the first board (7), an FPGA (8), a configuration memory (9) and a video memory (10) (for example, SRAM) are available. The configuration required for the FPGA (8) to work, It is stored in the configuration memory (9) (eg NOR flash). First When the power of the board (7) is turned on, the FPGA (8) is programmed with this configuration.

Ayni zamanda FPGA (8) tarafindan görüntü isleme algoritmalarinin gerçeklestirilmesi esnasinda görüntünün kisa süreli saklanabilecegi yüksek hizli bir bellek gerektiginden, bunun için bir video bellegi (10) kullanilmaktadir. At the same time, image processing algorithms by FPGA (8) High-speed image can be stored for a short time during rendering Since a memory is required, a video memory 10 is used for this.

Görüntü isleme donaniminda (6) bulunan kartlardan digeri olan ikinci kart (l 1) üzerinde ise bir islemci (12) ve bellek birimi (13) (örnegin SDRAM) bulunmaktadir. Söz konusu islemci (12) ile FPGA (8), bir PCIe (Peripheral Component Interconnect Express) haberlesme protokolünü kullanarak birbirleri ile haberlesmektedir. The second card (l 1), which is the other card in the image processing equipment (6) on it a processor (12) and memory unit (13) (e.g. SDRAM) are available. With the processor (12) in question, the FPGA (8), a PCIe (Peripheral using the Component Interconnect Express) communication protocol. communicates with.

Arayüz donanimi (2) ve görüntü isleme donaniminin (6) birbirinden bagimsiz olarak gelistirilebilmesi için, arayüz donanimi (2), birinci kart (7) ve ikinci kart (ll) bagimsiz donanimlar seklinde tasarlanmis olup, yüksek hizli arayüzlerle birbirlerine baglanmaktadir. Interface hardware (2) and image processing hardware (6) are independent of each other. interface hardware (2), first card (7) and second card (ll) designed as stand-alone hardware, with high-speed interfaces are connected to each other.

Bulusun bir uygulamasinda yüksek islem gücü gerektiren algoritmalarin gerçek zamanli çalisabilmesi için algoritmamalar FPGA (8) ve islemci (12) arasinda en uygun sekilde paylastirilmaktadir. Bunun için arayüz donanimi (2) tarafindan dis dünyadan alinan giris görüntüleri ilk olarak birinci karta (7) gönderilmektedir. In an application of the invention, the realization of algorithms that require high processing power. Algorithms are the most common between the FPGA (8) and the processor (12) so that they can work in real time. appropriately distributed. For this, the interface hardware (2) is externally The input images taken from the world are first sent to the first card (7).

FPGA,nin (8) çalisabilmesi için gerekli olan konfigürasyon, konfigrasyon belleginden (9) çekilerek FPGA (8) programlanmakta ve giris görüntülerine algoritmalarin FPGA7ya (8) atanan kismi (yüksek islem gücü gerektiren ve paralel isleme müsait olan kismi) FPGA (8) içerisinde uygulanmaktadir. The configuration required for the operation of the FPGA (8) FPGA (8) is programmed by pulling from its memory (9) and input images are displayed. the part of the algorithms assigned to the FPGA7 (8) (high processing power and parallel the processing part) is implemented in the FPGA (8).

Kalan algoritmalarin gerçeklenebilmesi için, FPGA (8) tarafindan islenmis görüntüler PCIe arayüzü üzerinden islemcinin (12) bellek birimine (13) gönderilmektedir. Islemci (12), bellek birimine (13) gönderilen görüntüler üzerinde hedef tespit ve takip algoritmalarinin islemciye (12) atanan kismini gerçeklestirmekte ve böylece hedef tespiti veya takibi tamamlanmis olmaktadir. In order to implement the remaining algorithms, it is processed by the FPGA (8) images to the memory unit (13) of the processor (12) via the PCIe interface is sent. Processor (12), images sent to memory unit (13) the part of the target detection and tracking algorithms assigned to the processor (12) Thus, target detection or tracking is completed.

Islemci (12) tarafindan görüntünün islenmesi esnasinda, görüntünün ara formlarinin kisa süreli depolanmasi için bellek birimini (13) kullanmaktadir. During the processing of the image by the processor (12), It uses the memory unit (13) for short-term storage of the forms.

Görüntü islemenin tamamlanmasinin ardindan hedefler isaretlenmekte ve hedeflerin isaretlendigi çikis görüntüsü islemciden (12) FPGASya (8), FPGAsdan (8) arayüz donanimina (2), arayüz donanimindan (2) da Video sürme devresi (4) üzerinden dis dünyaya gönderilmektedir. After the image processing is complete, targets are marked and the output image with the targets marked is from the processor (12) to the FPGAS (8), from the FPGAs (8) to the interface hardware (2), from the interface hardware (2) to the Video drive circuit (4) It is sent to the outer world via

Bulusun bir uygulamasinda görüntü isleme donanimi (6), algoritma için gereken islem yükünün yogunluguna göre, birden fazla sayida birinci kart (7) ve ikinci karttan (1 1) olusabilmektedir. Sekil 39te bu duruma örnek olarak üç farkli senaryo verilmis olup, asagida ayrintili olarak açiklanmistir. In one embodiment of the invention, the image processing hardware (6) is required for the algorithm. more than one first card (7) and second card, depending on the processing load card (1 1). Three different scenarios are shown in Figure 39 as an example of this situation. provided and explained in detail below.

Sekil 3a,da verilen görüntü isleme donaniminda (6) iki adet birinci kart (7) ve bir adet ikinci kart (11) kullanilmaktadir. Her iki birinci kart (7) da ikinci kart (11) ile PCIe arayüzü üzerinden haberlesmektedir. Birinci kartlar (7) kendi arasinda ise yüksek hizli bir arayüz (örnegin aurora) ile haberlesmektedir. Bu yapida birinci FPGA (8) giris görüntüsünü arayüz donanimindan (2) almakta ve algoritmalarin bir kismini gerçeklemektedir. Daha sonra ayni görüntüyü ikinci FPGA5ya (8) göndermekte ve algoritmalarin bir kismi da burada gerçeklenmektedir. Her iki FPGA (8) de sonuçlarini ikinci kartta (1 1) bulunan islemciye (12) göndermekte ve islemci (12) de hedef tespit/takibini tamamlamaktadir. Çikis görüntüsü birinci FPGA (8) üzerinden arayüz donanimina (2) gönderilmektedir. In the image processing equipment (6) given in Figure 3a, two first cards (7) and one two second cards (11) are used. Both first cards (7) and second cards (11) It communicates over the PCIe interface. If the first cards (7) are among themselves It communicates via a high-speed interface (for example, aurora). First in this build The FPGA (8) takes the input image from the interface hardware (2) and the algorithms realizes some of it. Then the same image to the second FPGA5 (8) and some of the algorithms are implemented here. Both The FPGA (8) also sends its results to the processor (12) on the second card (1 1) and The processor (12) also completes target detection/tracking. Output image first It is sent to the interface hardware (2) over the FPGA (8).

Sekil 3b,de verilen görüntü isleme donaniminda (6) üç adet birinci kart (7) ve bir adet ikinci kart (11) kullanilmaktadir. Ayrica bu birimde iki adet arayüz donanimi (2) kullanilmaktadir. Burada birinci FPGA (8) birinci arayüz donanimindan (2) giris görüntüsünü almakta, bu görüntü ikinci FPGA'ya (8) oradan da üçüncü FPGA”ya (8) gönderilmektedir. Her FPGA (8) algoritmanin kendine atanan kismini gerçeklemekte ve sonuçlarini PCIe arayüzü üzerinden islemciye (12) göndermektedir. Islemci (12) üzerinde bulunan bir PCIe switch sayesinde birinci kartlarda (7) bulunan FPGA91arin (8) hepsi islemciye (12) sonuçlarini gönderebilmektedir. Islemci (12) kendisine gönderilen bu sonuçlara göre hedef tespit/takibini tamamlamakta ve sonucu üçüncü FPGASya (8) göndermektedir. Üçüncü FPGA (8) de çikis görüntüsünü ikinci arayüz donaniminda (2) bulunan Video sürme devresi (4) üzerinden dis dünyaya sürmektedir. In the image processing equipment (6) given in Figure 3b, three first cards (7) and one two second cards (11) are used. In addition, two interface hardware in this unit (2) is used. Here, the first FPGA (8) comes from the first interface hardware (2). takes the input image, this image goes to the second FPGA (8) and from there to the third It is sent to the FPGA (8). Each FPGA (8) algorithm has its own assigned It performs the part and sends its results to the processor (12) over the PCIe interface. is sending. Thanks to a PCIe switch on the processor (12), the first All of the FPGA91s (8) on the cards (7) send their results to the processor (12). can send. According to these results sent to the processor (12), the target completes the detection/tracking and sends the result to the third FPGAS (8). In the third FPGA (8), the output image is located on the second interface hardware (2). The video drives it to the outer world via the driving circuit (4).

Sekil 3clde verilen görüntü isleme doniminda (6) ise çok sayida birinci kart (7) ve ikinci kart (ll) çiftler halinde kullanilmaktadir. Görüntüyü ilk birinci kart (7) almakta ve her bir birinci kart (7) sirasiyla kendinden bir sonraki FPGA'ya (8) bu görüntüyü göndermektedir (burada her bir birinci karta (7) farkli bir arayüz donanimi (2) da baglanabilmektedir. Bu durumda her bir birinci kart (7) farkli görüntü kaynagindan (K) gelen görüntüyü almaktadir). Her FPGA (8) algoritmanin kendine atanan kismini gerçeklemekte ve sonucu bagli oldugu ikinci karta (`11) PCIe arayüzü üzerinden göndermektedir. Bu senaryoda belirtilen üst donanim (14), senaryoda kullanilan toplam islemci (12) sayisi kadar Ethernet arayüzüne sahiptir. Her bir islemci (12) de algoritmanin kendine atanan kismini gerçeklemekte ve sonucunu Ethernet arayüzü üzerinden üst donanima (14) göndermektedir. Üst donanimda (14) kosan yazilim, her bir islemciden (12) gelen sonucu birlestirmekte ve hedef tespiti ve takibini (veya yapilmasi planlanan diger algoritmalari) tamamlamaktadir. In the image processing hardware (6) given in Figure 3, there are many first cards (7) and The second card (II) is used in pairs. First first card (7) and each first card (7) in turn sends this card to the next FPGA (8). sends the image (here a different interface to each first card (7)) hardware (2) can also be connected. In this case, each first card (7) is different. receives the image from the image source (K). Each FPGA (8) it implements the part of the algorithm assigned to it and the result is the second one to which it is connected. sends it to the card (`11) over the PCIe interface. In this scenario, the top hardware (14) equals the total number of processors (12) used in the scenario Ethernet It has interface. Each processor (12) also has its assigned part of the algorithm. and sends the result to the upper hardware (14) via the Ethernet interface. is sending. Running software on the upper hardware (14), the incoming software from each processor (12) consolidates the result and monitors target detection and tracking (or other planned algorithms).

Bulusun farkli uygulamalarinda bahsedilen genel amaçli FPGA (8) ve islemci (12) kartlarinin ve arayüz donaniminin (2) sayisi sabit olmayip, gerçeklenmesi gereken algoritmanin islem yüküne göre, hedef tespit ve takip birimindeki (l) arayüzleri destekleyen farkli sayida FPGA (8) ve islemci (12) kartlari ve arayüz donanimi (2) kullanilarak, farkli konfigürasyonlar kurulabilir. General purpose FPGA (8) and processor (12) mentioned in different embodiments of the invention The number of cards and interface hardware (2) is not fixed and needs to be implemented. interfaces in the target detection and tracking unit (l) according to the processing load of the algorithm. different number of FPGA (8) and processor (12) cards and interface hardware supporting Using (2), different configurations can be set up.

Claims

REQUESTS

1. In its most basic form, - at least one interface hardware (2) capable of accommodating different types of video formats, adapted to receive at least two video signals from the outside world and drive at least two video signals to the outside world, - identification of the interface hardware (2) at least one interface memory (5) where it is stored, - at least one first board (7) with an FPGA (8), adapted to apply target detection and tracking algorithms on images taken by the interface hardware (2), and a processor (12) on it. a target detection and tracking unit (1) characterized by at least one image processing equipment (6), comprising at least one second card (11) with at least one second card (11).

In order to receive the video signal from two different image sources (K), two

A target detection and tracking device, as in the request, is characterized by the video receiving circuit (3) and the interface hardware (2) containing two video drive circuits (4) in order to send the processed two output video signals to two different screens (E).

Prompt l, characterized by image processing hardware (6), adapted to understand the type of interface hardware (2) with which it will work, thus the input and output video standards, and run target detection and tracking algorithms for the video type in that standard by reading the ID stored in the interface memory (5). A target acquisition and tracking unit (l) as in . The first board (7), which has a configuration memory (9) on which the configuration required for the operation of an FPGA (8), FPGA7n1n (8) is stored, and a video memory (10) where the image can be stored for a short time during the realization of image processing algorithms by the FPGA (8). a target detection and tracking unit (1) as in claim 1, characterized by

A target detection and tracking unit as in Claim 49, characterized by the configuration memory (9) adapted for programming the FPGA well (8) to enable the application of the part of the algorithms assigned to the FPGAI (8), to the input images.

A target detection and tracking unit (1) as in Claim 5, characterized by an FPGA (8) adapted to send the processed images to the memory unit (13) of the processor (l2) over the PCIe interface so that the remaining algorithms can be implemented.

A target detection and tracking system as in Claim 6, characterized by FPGA (8) and processor (12) communicating with each other using PCIe communication protocol.

A target detection and tracking unit (1) as in Claim 6, characterized by a processor (12) adapted to perform the assigned part of the target detection and tracking algorithms on the images sent to the memory unit (13) by the FPGA (8). A target detection and tracking unit (1) as in Claim Si, characterized by a second card (11) on which there is a processor (12) and a memory unit (13) for short-term storage of intermediate forms of the image during the processing of the image by the processor (12). .

Characterized by a processor (12) adapted to send the output image marked by the targets to the interface hardware (2) via the FPGA (8).

A target detection and tracking unit (1) as in claim 8 .

A target detection and tracking device as in the request, which is characterized by the image processing equipment (6) consisting of more than one first card (7) and a second card (11).

A target detection and tracking unit (l) as in Istern 11, which is characterized by the PCI switch on the processor (12) that enables the results of the images processed by all of the FPGAs (8) located on the first cards (7) to be sent to the processor (12).

13. A target detection and tracking unit (1) as in Claim 11 or 12, characterized by at least one upper hardware (14) adapted to 5 to combine the images processed and sent by each processor (12).