TR2021016527A2 - A FACE RECOGNITION SYSTEM TO IDENTIFY PEOPLE ON THE SCREEN - Google Patents
A FACE RECOGNITION SYSTEM TO IDENTIFY PEOPLE ON THE SCREENInfo
- Publication number
- TR2021016527A2 TR2021016527A2 TR2021/016527A TR2021016527A TR2021016527A2 TR 2021016527 A2 TR2021016527 A2 TR 2021016527A2 TR 2021/016527 A TR2021/016527 A TR 2021/016527A TR 2021016527 A TR2021016527 A TR 2021016527A TR 2021016527 A2 TR2021016527 A2 TR 2021016527A2
- Authority
- TR
- Turkey
- Prior art keywords
- face recognition
- content
- image
- face
- recognition system
- Prior art date
Links
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 8
- 230000008520 organization Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/635—Overlay text, e.g. embedded captions in a TV program
Abstract
Buluş, bir görüntülü içeriğin görüntülenmesini sağlayan bir ekrandaki (400) en az bir kişinin yüzünü içeren en az bir görüntü karesindeki bahsedilen kişinin kimliğinin tespit edilmesi için, bahsedilen ekranın (400) görüntüsünü almak üzere bir görüntü yakalama birimine (110) sahip bir kullanıcı terminalini (100) içeren bir yüz tanıma sistemidir. Buna göre, bahsedilen görüntü yakalama birimiyle (110) haberleşecek şekilde ilişkili bir işlemci birimini içermesi, bahsedilen işlemci biriminin, görüntü yakalama birimi tarafından yakalanan bir birinci görüntüyü giriş olarak alacak, bahsedilen birinci görüntüde en az bir yüz bölgesini (411) tespit edecek, bahsedilen birinci görüntüde en az bir yardımcı bilgi bölgesini (412) tespit edecek, bahsedilen yardımcı bilgi bölgesinde (412) en az bir işaret ve en az bir metinden en az birini tespit edecek, tespit edilen işaret ve metinden en az birine göre en az bir parametre değerini içeren bir süzme filtresi oluşturacak, kişilerin en az birer yüz görüntülerini içeren kişi bilgilerini, bahsedilen kişi bilgileri bahsedilen parametrelerden en az biriyle ilişkili olacak şekilde saklayan bir veri tabanına erişecek ve bahsedilen yüz bölgelerindeki (411) yüzlerden en az biri için oluşturulan süzme filtresine uyan kişilerin yüz görüntüleri bazında yüz tanıma işlemi gerçekleştirecek şekilde konfigüre edilmiş olmasıdır.The invention uses a user terminal (110) with an image capture unit (110) to take the image of said screen (400) to detect the identity of said person in at least one image frame containing at least one person's face on a screen (400) that enables viewing of a video content. 100) is a face recognition system. Accordingly, comprising a processor unit associated to communicate with said image capture unit (110), said processor unit will take as input a first image captured by the image capture unit, detect at least one face region (411) in said first image, will detect at least one auxiliary information region (412) in the image, detect at least one sign and at least one of at least one text in said auxiliary information region (412), containing at least one parameter value according to at least one of the detected sign and text will create a filtering filter, access a database that stores the contact information containing at least one face image of the people in such a way that the said person information is associated with at least one of the mentioned parameters, and the face images of the people matching the filter filter created for at least one of the faces in the mentioned face regions (411) Configured to perform face recognition based on that it has been.
Description
TARIFNAME EKRANDAKI KISILERIN KIMLIGINI TESPIT ETMEK IÇIN BIR YÜZ TANIMA SISTEMI TEKNIK ALAN Bulus, bir görüntülü içerigin görüntülenmesini saglayan bir ekrandaki en az bir kisinin yüzünü içeren en az bir görüntü karesindeki bahsedilen kisinin kimliginin tespit edilmesi için, bahsedilen ekranin görüntüsünü almak üzere bir görüntü yakalama birimine sahip bir kullanici terminalini içeren tanima sistemleri ile ilgilidir. ÖNCEKI TEKNIK Kisiler dizi, film, spor müsabakasi gibi içerikleri canli yayinin oynatilmasi vasitasiyla veya kayitli veriler oynatilmasi vasitasiyla izleyebilmektedir. Kisiler, bu içeriklerdeki aktör, sporcu vb. gibi diger kisilerin kim olduklarini ögrenmek isteyebilmektedir. Bunun için kullanici, izlenmekte olan içerigin bilgilerini yer aldigi elektronik program kilavuzlari, web sayfalarinda arastirma yaparak kisilerin kimliklerini ögrenebilmektedir. sistemde, dizi veya film sahnelerinde yer alan oyunculara iliskin ek bilgilere erisilebildigi bir sistem ve yöntem açiklanmaktadir. Ekranda kullanicinin etkilesime girebildigi bir kullanici arayüzü vasitasiyla, var olan ek bilgilere ulasilarak, aktörlerin resimler, detay bilgilerine erisilebilmektedir. Ancak bunun için her bir video ile ek bilgilerin önceden iliskilendirilmesi gerekmektedir. Buna ek olarak, canli olarak yasanan spor müsabakasi gibi olaylarda sporcularin tespit edilmesi bu yöntemle mümkün olmamaktadir. ekran görüntüsünde yer alan yüze yüz tanima uygulayarak, yüz tanimada kullanilan veri tabanindaki eslesmelerin kullaniciya sunuldugu bir sistem açiklanmaktadir. Ancak bu sekilde bir tarama yapildiginda veri tabanlarinda çok genis bir tarama yapilacagi için sistem kaynaklari çok kullanilmakta ve benzer kisilerin sayisi da çok olabileceginden yanlis sonuç elde edilme ihtimali artmaktadir. Ayrica bunun için, içerik izlenen cihazin da özel olarak konfigüre edilmis olmasi gerekmekte, bu isi yapmaya programlanmamis ekranlardaki kisilerin tanimlanmasi mümkün olmamaktadir. DESCRIPTION A FACE RECOGNITION SYSTEM TO IDENTIFY PEOPLE ON THE SCREEN TECHNICAL FIELD Invention means at least one person on a screen that enables viewing of a visual content. identification of said person in at least one image frame containing his/her face a device with an image capture unit to capture said screen. relates to recognition systems that include the user terminal. PRIOR ART People can view content such as TV series, movies, sports events through playing the live broadcast or can watch through the playback of recorded data. People, actors, athletes in these contents etc. They may want to know who other people are. For this, the user electronic program guides, web You can learn the identities of people by doing research on their pages. a system where additional information about the actors in the TV series or movie scenes can be accessed. The system and method are explained. A user on the screen that the user can interact with Via its interface, additional available information can be accessed and actors can access pictures, detail information. is accessible. However, this requires pre-associating additional information with each video. required. In addition, events such as live sports events It is not possible to detect athletes with this method. By applying face recognition to the face in the screenshot, the data used in face recognition A system in which the matches in the base are presented to the user is described. However, this Since a very wide search will be made in the databases when a scan is made in this way. system resources are used a lot and the number of similar people may be too much. the probability of getting results increases. In addition, for this, the content of the device being watched must also be specified. It must be configured as , not programmed to do this job. It is not possible to identify the people on the screens.
Sonuç olarak, yukarida bahsedilen tüm sorunlar, ilgili teknik alanda bir yenilik yapmayi zorunlu hale getirmistir. As a result, all the above-mentioned problems require an innovation in the relevant technical field. not made mandatory.
BULUSUN KISA AÇIKLAMASI Mevcut bulus yukarida bahsedilen dezavantajlari ortadan kaldirmak ve ilgili teknik alana yeni avantajlar getirmek üzere, bir sistem ile ilgilidir. BRIEF DESCRIPTION OF THE INVENTION The present invention is aimed at eliminating the above mentioned disadvantages and providing the relevant technical field. relates to a system to bring new advantages.
Bulusun bir amaci, televizyon ekrani gibi ekranda görüntülenen içeriklerdeki kisilerin sistem kaynaklarini daha az kullanarak ve arttirilmis dogrulukta tespit edilmesini saglayan bir sistem ve yöntem ortaya koymaktir. An object of the invention is to ensure that the contents displayed on the screen, such as a television screen, are in the system of people. a system that uses less resources and enables detection with increased accuracy. system and method.
Bulusun diger bir amaci, daha az gelmis olan yüz tanima algoritmalari kullanilarak, bunlara göre daha çok gelismis yüz tanima algoritmalarina yakin dogrulukta sonuçlar elde edilmesini saglayan bir sistem ve yöntem ortaya koymaktir. Another object of the invention is to use less advanced face recognition algorithms to It is possible to obtain results that are close to more advanced face recognition algorithms than It is to put forward a system and method that ensures that
Bulusun diger bir amaci, mevcut yüz tanima algoritmalarinin kullandigi sistem kaynaklarinin azaltilmasi ve dogrulugunun arttirilmasinin saglanmasidir. Another object of the invention is the system used by existing face recognition algorithms. reducing the sources and increasing the accuracy.
Bulusun diger bir amaci, ekrana sahip cihazin özel olarak programlanmasini gerektirmeden ekrandaki kisilerin kimliklerinin tespit edilmesini saglayan bir sistem ortaya koymaktir. Another object of the invention is to specifically program the device with the display. A system has emerged that allows the identification of the people on the screen without the need for is to put.
Yukarida bahsedilen ve asagidaki detayli anlatimdan ortaya çikacak tüm amaçlari gerçeklestirmek üzere mevcut bulus, bir görüntülü içerigin görüntülenmesini saglayan bir ekrandaki en az bir kisinin yüzünü içeren en az bir görüntü karesindeki bahsedilen kisinin kimliginin tespit edilmesi için, bahsedilen ekranin görüntüsünü almak üzere bir görüntü yakalama birimine sahip bir kullanici terminalini içeren bir tanima sistemidir. Buna göre bahsedilen görüntü yakalama birimiyle haberlesecek sekilde iliskili bir islemci birimini içermesi, bahsedilen islemci biriminin, - görüntü yakalama birimi tarafindan yakalanan bir birinci görüntüyü giris olarak alacak, - bahsedilen birinci görüntüde en az bir yüz bölgesini tespit edecek, - bahsedilen birinci görüntüde en az bir yardimci bilgi bölgesini tespit edecek, - bahsedilen yardimci bilgi bölgesinde en az bir isaret ve en az bir metinden en az birini tespit edecek, - tespit edilen isaret ve metinden en az birine göre en az bir parametre degerini içeren bir süzme filtresi olusturacak, - kisilerin en az birer yüz görüntülerini içeren kisi bilgilerini, bahsedilen kisi bilgileri bahsedilen parametrelerden en az biriyle iliskili olacak sekilde saklayan bir veri tabanina erisecek ve - bahsedilen yüz bölgelerindeki yüzlerden en az biri için olusturulan süzme filtresine uyan kisilerin yüz görüntüleri bazinda yüz tanima islemi gerçeklestirecek sekilde konfigüre edilmis olmasidir. Böylelikle yalnizca filtrelere uygun bir kisi havuzunda arama yaparak, hem dogru sonuç elde etme ihtimali arttirilmakta hem de sistem kaynaklari azaltilmis bir sekilde kullanilmaktadir. Buna ek olarak, daha az komplike yüz tanima algoritmalari kullanilarak da dogru sonuç elde edilmesi saglanabilmektedir. All the above-mentioned purposes that will emerge from the detailed description below. The present invention to perform said person in at least one image frame containing the face of at least one person on the screen an image to take a screenshot of said screen to identify it. It is an identification system that includes a user terminal with a capture unit. According to this an associated processing unit to communicate with said image capture unit. contains, said processor unit, - take as input a first image captured by the image capture unit, - will detect at least one facial region in said first image, - detect at least one auxiliary information region in said first image, - at least one sign and at least one of at least one text in said auxiliary information area will detect, - a parameter value containing at least one of the detected flags and texts will create a filtering filter, - contact information containing at least one face image of the person, the person information mentioned to a database that stores it associated with at least one of the mentioned parameters. will reach and - matching the filter filter created for at least one of the faces in the said face regions It can be configured to perform face recognition based on people's face images. that it has been done. Thus, by only searching a pool of contacts suitable for the filters, both the probability of obtaining the correct result is increased and the system resources are reduced. is used in . In addition, less complicated face recognition algorithms It is also possible to obtain accurate results by using
Bulusun mümkün bir yapilanmasinin özelligi, bahsedilen veri tabaninin kisilerin bahsedilen içerikte veya içerige iliskin bir organizasyonda yer aldigi zaman araliklarini belirtir kisi bilgilerini de içerecek sekilde konfigüre edilmis olmasi, islemci biriminin, - kullanici terminalinden içerigin canli yayinlandigina iliskin bir kullanici girisi aldigini tespit etmesi ve - süzme filtresine mevcut tarih ve zaman bilgisini de ekleyecek sekilde kondigüre edilmis olmasidir. A feature of a possible embodiment of the invention is that said database is A person who specifies the time intervals in which he or she is involved in the content or in an organization related to the content. It is configured to include the information of the processor unit, - detect that you have received a user input from the user terminal that the content is live streamed to do and - configured to add the current date and time to the filter filter is that.
Bulusun mümkün bir diger yapilanmasinin özelligi, bahsedilen veri tabaninin kisilerin bahsedilen içerikte veya içerige iliskin bir organizasyonda yer aldigi zaman araliklarini belirtir kisi bilgilerini de içerecek sekilde konfigüre edilmis olmasi, islemci biriminin, - bahsedilen metinlerden birinin içerigin canli yayinlandigini ifade edip etmedigini sorgulanmasi ve - canli yayinlandigini ifade ettigini tespit etmesi durumunda süzme fültresine mevcut tarih ve zaman bilgisini de ekleyecek sekilde kondigüre edilmis olmasidir. Böylelikle, metinlerden veya isaretlerden örnegin içerigin iki takim arasindaki bir spor müsabakasina ait oldugu tespit edildiginde süzme isleminin bu spor müsabakasindaki takimlarin mevcut bünyesinde bulunan kisiler özelinde yapilmasi saglanarak, sistem kaynaklarinin azaltilmis bir sekilde kullanilmasi ve daha dogru sonuç elde edilmesi saglanmaktadir. The peculiarity of another possible embodiment of the invention is that said database is the time intervals when it is involved in the mentioned content or in an organization related to the content. The fact that it is configured to include the specifier information, the processor unit, - whether one of the texts mentioned refers to the live broadcast of the content questioning and - current date to the filter filter if it detects that it's being broadcast live and it is configured to add time information. Thus, from texts or signs eg content to a sports competition between two teams When it is determined that the System resources are reduced by ensuring that it is made specifically for the people within the body. It is ensured that it is used in a way and more accurate results are obtained.
Bulusun mümkün bir diger yapilanmasinin özelligi, islemci biriminin, tespit edilen metinin bir altyazi metni oldugunu tespit etmesi durumunda, - içeriklere iliskin altyazilarin içerik adlariyla iliskili olarak saklandigi bir altyazi veri tabanina erisecek, -tespit edilen metni altyazi veri tabaninda sorgulayacak, - tespit edilen metinle eslesen altyazilari içeren içerik adlarini tespit edecek ve - tespit edilen içerik adinin süzme filtresine ekleyecek sekilde konfigüre edilmis olmasidir. Another possible embodiment of the invention is that the processing unit if it detects that there is a subtitle text, - to a subtitle database where subtitles for the contents are stored in relation to the content names will reach, - query the detected text in the subtitle database, - detect content names containing subtitles that match the detected text, and - the detected content name is configured to add it to the filtering filter.
Böylece yalnizca altyazi ile eslesen içeriklerdeki kisiler bazinda arama yapildigi Için yüz tanima isleminin dogru sonuç elde etme ihtimali arttirilmakta ve bunu yaparken kullanilan sistem kaynaklarinin önemli ölçüde düsürülmesi saglanmaktadir. Thus, only the content that matches the subtitle is searched on the basis of people. The probability of obtaining the correct result of the recognition process is increased and the system resources are significantly reduced.
Bulusun mümkün bir diger yapilanmasinin özelligi, islemci biriminin, yüz tanima islemi sonucunda yüz bölgesindeki yüz ile eslestirilen edilen en az bir kisinin kullanici terminalinin bir kullanici arayüzünde görüntülenmesini saglayacak sekilde konfigüre edilmis olmasidir. Another possible embodiment of the invention is characterized by the processing unit's face recognition As a result, the user terminal of at least one person matched with the face in the face area it is configured to be displayed in a user interface.
Bulusun mümkün bir diger yapilanmasinin özelligi, islemci biriminin, bahsedilen kullanici arayüzünden eslesen kisinin dogru olup olmadigina iliskin bir geri bildirim talep edecek ve aldigi geri bildirime göre yüz tanima isleminde kullandigi yüz tanima algoritmasini düzenleyecek sekilde konfigüre edilmis olmasidir. Another possible embodiment of the invention is that the processing unit is will request a feedback on whether the matched person is correct from its interface, and according to the feedback it receives, the face recognition algorithm it uses in the face recognition process. it is configured to regulate.
Bulusun mümkün bir diger yapilanmasinin özelligi, islemci biriminin, kisilere iliskin ek bilgilerin yer aldigi bir kisi detay bilgi kaynagina erisecek ve eslesen kisilerden en az birine iliskin ek bilgilerin kullanici arayüzünde görüntülenmesini saglayacak sekilde konfigüre edilmis olmasidir. Another possible embodiment of the invention is that the processing unit has additional personal a person with the information will access the detailed information source and at least one of the matched people will Configured to display additional information on the user interface that it has been done.
Bulusun mümkün bir diger yapilanmasinin özelligi, islemci biriminin, bahsedilen ek bilgilerden en az birinin kisinin bir yüz görüntüsünü içermesidir. Another possible embodiment of the invention is that the processing unit is at least one of the information contains a face image of the person.
Bulusun mümkün bir diger yapilanmasinin özelligi, islemci biriminin, eslesme gerçeklesen kisinin yüz görüntüsünün ve birinci görüntünün ayni ekranda görüntülenmesini saglayacak sekilde eslesme sonuçlarinin kullanici arayüzünde görüntülenmesini saglayacak sekilde konfigüre edilmis olmasidir. Böylelikle kullanicinin eslesmenin dogru olup olmadigini kolaylastirilmis bir sekilde tespit etmesi saglanmaktadir. Another possible embodiment of the invention is that the processing unit is It will allow the person's face image and the first image to be displayed on the same screen. so that the match results are displayed in the user interface. that it is configured. Thus, the user can verify whether the match is correct. is provided in a simplified manner.
Bulusun mümkün bir diger yapilanmasinin özelligi, islemci biriminin, olusturulan süzme filtresini kullanicinin onaylamasi veya düzenlemesi için kullanici arayüzünde görüntülenmesini saglayacak sekilde ve kullanici terminalinden onaya iliskin giris almasi durumunda yüz tanima islemlerini gerçeklestirecek sekilde konfigüre edilmis olmasidir. Another possible embodiment of the invention is that the processing unit in the UI for the user to approve or edit the filter. to be displayed and to receive confirmation from the user terminal. in case it is configured to perform face recognition operations.
Bulusun mümkün bir diger yapilanmasinin özelligi, bahsedilen isaretin, içerik yayinlayan bir yayin kanali sembolü, içerige iliskin bir sembol, spor kulübü formasi ve spor kulübü sembolünden en az biri olmasidir. Another possible embodiment of the invention is that said sign is a content-publishing broadcast channel symbol, a symbol for content, sports club jersey and sports club at least one of the symbol.
Bulusun mümkün bir diger yapilanmasinin özelligi, bahsedilen metnin alt yazi, içerik adi, içerik bölüm bilgisi, içerigin canli yayinlanip yayinlanmadigina iliskin yazi, içerigin yayinlandigi saate iliskin yazi, spor kulübü adi, Spor kulübü kisaltmasi ve müsabaka skor yazisindan en az biri olmasidir. The feature of another possible embodiment of the invention is the subtitle of the mentioned text, the title of the content, content section information, the article about whether the content is broadcast live, The text about the time it was published, the name of the sports club, the abbreviation of the sports club and the competition score at least one of his writings.
Bulusun mümkün bir diger yapilanmasinin özelligi, bahsedilen ekran ile kullanici terminalinin entegre olarak saglanmis olmasi, görüntü yakalama biriminin kullanici terminalinin ekran görüntüsü alacak sekilde konfigüre edilmis bir donanimi olmasidir. The peculiarity of another possible embodiment of the invention is that the user with said screen terminal provided as an integrated means that the image capture unit is terminal is a hardware configured to take screenshots.
Böylelikle, bilgisayar, akilli tv gibi bir ekranda ekran görüntüsü alarak da kisi tespiti yapilabilmektedir. Thus, it is possible to detect the person by taking a screenshot on a screen such as a computer or smart TV. can be done.
SEKILIN KISA AÇIKLAMASI Sekil 1' de sistemin temsili görünümü verilmistir. BRIEF DESCRIPTION OF THE FIGURE A representative view of the system is given in Figure 1.
Sekil 2, de birinci görüntünün temsili bir görünümü verilmistir. In Figure 2, a representative view of the first image is given.
Sekil 3` de sistemin temsili temsili bir görünümü verilmistir. A representative view of the system is given in Figure 3.
Sekil 4' de birinci görüntünün temsili bir görünümü verilmistir. A representative view of the first image is given in Figure 4.
Sekil 5'de sistemin sematik bir görünümü verilmistir. A schematic view of the system is given in Figure 5.
BU LUSUN DETAYLI AÇIKLAMASI Bu detayli açiklamada bulus konusu, sadece konunun daha iyi anlasilmasina yönelik hiçbir sinirlayici etki olusturmayacak örneklerle açiklanmaktadir. DETAILED DESCRIPTION OF THIS ITEM In this detailed description, the subject of the invention is only for a better understanding of the subject. It is explained with examples that will not have a restrictive effect.
Sekil 1”e atfen bulus, bir görüntülü içerigin görüntülenmesini saglayan bir ekrandaki (400) en az bir kisinin yüzünü içeren en az bir görüntü karesindeki bahsedilen kisinin kimliginin tespit edilmesi için, bahsedilen ekranin (400) görüntüsünü almak üzere bir görüntü yakalama birimine (110) sahip bir kullanici terminalini (100) içeren bir tanima sistemidir. Bir islemci birimi (sekilde gösterilmemistir) görüntü yakalama birimi (110) tarafindan yakalanan görüntülerdeki bir yüz ile eslesen kisiyi tespit etmek için yüze ek olarak görüntüde yer alan metin ve isaretleri kullanarak yüz tanima için arama yapilacak veri tabaninin daraltilmasini yani aramaya ek filtre uygulanmasini saglamaktadir. Referring to Figure 1, the invention is a screen (400) the identity of said person in at least one image frame containing at least one person's face an image to take an image of said screen (400) to detect it. It is an identification system comprising a user terminal (100) with a capture unit (110). One The processing unit (not shown) is captured by the image capture unit 110. In addition to the face, the image in the image to detect the person matching a face in the images. narrowing the database to be searched for face recognition using text and signs that is, it provides additional filtering to the search.
Yüz tanima sistemi (10), esas olarak, görüntü alinmasini saglamak ve kullanicinin gösterilmesini saglamak üzere bir kullanici terminalini; (100) kullanici terminaliyle (100) bir haberlesme agi (300) vasitasiyla haberlesebilen bir sunucuyu (200), bahsedilen sunucunun (200) yüz tanima islemlerini gerçeklestirmek üzere erisim sagladigi, kisilerin en az birer yüz görüntülerini içeren kisi bilgilerini, bahsedilen kisi bilgileri bahsedilen parametrelerden en az biriyle iliskili olacak sekilde saklayan bir tabanina sahip bir veri kaynagini (251) içermektedir. Daha detayli olarak yüz tanima sistemi (10), sunucunun (200) kisilerin detay bilgilerini barindiran bir kisi detay bilgi kaynagini (252) da içerebilmektedir. The face recognition system (10) is mainly used to obtain images and a user terminal for displaying; (100) with a user terminal (100) a server (200), which can communicate via the communication network (300), that the server (200) provides access to perform face recognition operations, the most person information containing at least one face image, the person information mentioned A dataset that has a storage base associated with at least one of the parameters contains the source (251). In more detail, the face recognition system (10) (200) also includes a contact detail information source (252) that contains the details of the persons. may contain.
Burada sözü edilen islemci birimi kullanici terminalinin (100) bir terminal islemcisi (120) olabilmektedir. Buluslun mümkün bir yapilanmasinda islemci birimi bir sunucunun (200), sunucu islemcisi (210) olabilmektedir. Bulusun bir diger yapilanmasinda ise islemci birimi, bazi, bulusun gerçeklesmesi için yapilacak islem adimlarini gerçeklestirmek üzere ortak çalisan terminal islemcisi (120) ve sunucu islemcisini (210) içerebilmektedir. (100) Burada sözü edilen kullanici terminali (100), islemci birimiyle haberlesme agi (300) vasitasiyla haberlesmek için bir haberlesme birimini (130) içerebilmektedir. Haberlesme agi (300), internet veya benzeri bir ag olabilmektedir. Haberlesme birimi (130) de örnegin, kablosuz olarak internet agina baglanilmasini saglayan bir donanim olabilmektedir. The processor unit user terminal (100) referred to herein is a terminal processor (120). can happen. In one possible embodiment of the invention, the processing unit consists of a server 200, the server processor (210). In another embodiment of the invention, the processor unit is some of the common steps to carry out the steps to be taken for the realization of the invention. The operating terminal processor 120 and the server processor 210. (one hundred) The user terminal (100) mentioned herein is the communication network (300) with the processor unit. a communication unit 130 for communicating via Communication network 300 may be the internet or similar network. The communication unit (130), for example, It can be a hardware that enables you to connect to the internet network wirelessly.
Kullanici terminali (100), kullaniciya verilerin sunulmasini saglamak üzere bir kullanici arayüzünü içerebilmektedir. Kullanici terminalinin (100) görüntü yakalama birimi (110) bir kamera olabilmektedir. Kullanici terminalinin (100), terminal islemci (120) birimi bir hafiza birimiyle (140) iliskili olabilmekte, bahsedilen hafiza biriminde (140) kayitli olan ve bulusun çalismasina katki saglayan komut satirlarindan olusan yazilimlari içerebilmektedir. The user terminal 100 is a user terminal 100 to provide data to the user. may contain the interface. The image capture unit 110 of the user terminal 100 can be a camera. Of the user terminal 100, the terminal processor 120 is a memory may be associated with the unit 140, which is registered in the said memory unit 140 and It may contain software consisting of command lines that contribute to its work.
Kullanici terminali (100), akilli telefon, tablet bilgisayar, akilli saat, genel amaçli bir Bu tarifnamede sözü edilen ekran (400), bir içerigin görüntülenmesini saglayan bir cihazdir. User terminal (100), smartphone, tablet computer, smart watch, general purpose The screen 400 mentioned in this specification is a device for displaying a content.
Monitör, televizyon, projektör vb. olabilmektedir. Ekran (400), bir içerik kaynagindan içerik alinan veya bir hafiza birimindeki (140) içerikleri oynatabilmektedir. Ekran (400) örnegin, uydu yayini, karasal yayin, kablolu yayin gibi yayinlanan içerikleri alabilir; istege bagli video kaynagindan, bir hafizadan içerikleri alabilir yapida olabilmektedir. Burada sözü edilen içerik, bir video olabilecegi gibi yalnizca bir görüntü karesi de olabilmektedir. Içerik, film, dizi, spor müsabakasi vb. olabilmektedir. monitor, television, projector, etc. can happen. Display 400, content from a content source it can play content received or in a memory unit 140. Display 400, for example, receive broadcast content such as satellite broadcast, terrestrial broadcast, cable broadcast; optional It can be in a structure that can take content from a video source, a memory. word here The content can be a video or just a frame of footage. Contents, movies, series, sports competitions, etc. can happen.
Islemci birimi, bulusun karakterize edici yönü olarak, görüntü yakalama birimi (110) tarafindan yakalanan bir birinci görüntüyü giris olarak almaktadir. Daha sonra, bahsedilen birinci görüntüde en az bir yüz bölgesini (411) tespit etmektedir. Burada sözü edilen yüz bölgesi (411), birinci görüntüdeki kisilerin yüzlerinin tespit edildigi kismi ifade etmektedir. The processing unit is the image capture unit 110 as a characterizing aspect of the invention. It takes as input a first image captured by Later, mentioned detects at least one facial region (411) in the first image. the face mentioned here region (411) refers to the part where the faces of the people in the first image are detected.
Birinci görüntüde bir veya birden fazla kisi olabilmektedir. Islemci birimi daha sonra bahsedilen birinci görüntüde en az bir yardimci bilgi bölgesini (412) tespit etmektedir. There can be one or more people in the first image. The processor unit is then detects at least one auxiliary information region (412) in said first image.
Yardimci bilgi bölgesi (412), tespit edilen yüzün gövde kisminda, ekranin (400) köselerinde, ekranin (400) alt kenarina yakin bölgede olabilmektedir. Yardimci bilgi bölgeleri , kanal ismi, spor müsabakasi skoru, altyazi, sporcu formasi, içerik adi (dizi adi, film adi vb.) bilgilerinin konumlandigi bölgelerdir. Sekil 2'de birinci görüntüdeki yüz bölgesi (411) ve yardimci bölgelerin temsili görünümü verilmistir. The auxiliary information area (412) is located on the body of the detected face, on the screen (400) may be in the corners of the screen, near the bottom edge of the screen 400. helpful information regions, channel name, sports competition score, subtitle, athlete jersey, content name (series name, movie name etc.) are the regions where the information is located. The face region in the first image in Figure 2 (411) and a representative view of the auxiliary regions are given.
Bulusun mümkün bir yapilanmasinda, islemci birimi, kanal ismi tespit edildiginde kanalin elektronik program kilavuzuna (EPG) erismekte ve buna göre içerigin adini tespit edebilmektedir. Içerigin adina göre de süzme filtresini güncellemektedir. In one possible embodiment of the invention, the processing unit is the channel name when the channel name is determined. accesses the electronic program guide (EPG) and determines the name of the content accordingly. can. It also updates the filtering filter according to the name of the content.
Islemci birimi bahsedilen yardimci bilgi bölgesinde (412) en az bir isaret ve en az bir metinden en az birini tespit etmektedir. Islemci birimi daha sonra, tespit edilen isaret ve metinden en az birine göre en az bir parametre degerini içeren bir süzme filtresi olusturmaktadir. Islemci birimi örnegin, metinde bir dizi ismi tespit ettiginde bu dizi ismini parametre olarak belirlemektedir. Islemci birimi daha sonra, yukarida sözü edilen veri tabanina erisip, bahsedilen yüz bölgelerindeki (411) yüzlerden en az biri için olusturulan süzme filtresine uyan kisilerin yüz görüntüleri bazinda yüz tanima islemi gerçeklestirmektedir. Dizi isminin parametre oldugu durumda, yalnizca bu dizinin oyuncusu olarak indekslenmis kisilerin görüntüleri kullanilarak yüz tanima gerçeklestirilmektedir. The processor unit has at least one beacon and at least one in said auxiliary information region (412). detects at least one of the text. The processor unit then displays the detected beacon and a filtering filter containing at least one parameter value by at least one of the text forms. When the processor unit detects, for example, a string name in the text, it will name that string. set as a parameter. The processor unit then receives the above-mentioned data. created for at least one of the faces in said face regions (411) Face recognition based on face images of people matching the filtering filter is performing. In case array name is parameter, only player of this array Face recognition is performed using images of people indexed as
Böylelikle, sistem kaynaklari azaltilmis bir sekilde kullanilmakta, daha hizli ve daha dogru sonuç elde edilebilmektedir. Thus, system resources are used in a reduced way, faster and more accurately. result can be obtained.
Veri tabani, bulusun mümkün bir yapilanmasinda kisilerin içeriklerde yer aldigi veya içerikle iliskili organizasyonlarda yer aldigi tarih ve zaman araliklarini da içerebilmektedir. Örnegin bir kisinin, bir dizide rol aldigi tarih araligi veya bir sporcunun bir spor kulübünde yer aldigi tarih araligi bilgisi de kisilerle iliskilendirilebilmektedir. Buna göre, islemci birimi bulusun mümkün bir yapilanmasinda kullanici terminalinden (100) içerigin canli yayinlandigina iliskin bir kullanici girisi aldigini tespit etmesi durumunda süzme filtresine mevcut tarih ve zaman bilgisini de ekleyecek sekilde konfigüre edilmistir. Bulusun mümkün bir diger yapilanmasinda islemci birimi, bahsedilen metinlerden birinin içerigin canli yayinlandigini ifade edip etmedigini sorgulamakta ve canli yayinlandigini ifade ettigini tespit etmesi durumunda süzme fültresine mevcut tarih ve zaman bilgisini de eklemektedir. The database, in a possible embodiment of the invention, includes persons or It may also include the date and time intervals in which it takes place in organizations related to the content. For example, the date range in which a person took part in a TV series or an athlete in a sports club. The date range information in which it takes place can also be associated with people. Accordingly, the processing unit In a possible embodiment of the invention, the content is live from the user terminal (100). If it detects that it has received a user input that it has been published, it will be filtered. It is configured to include the current date and time information. find it possible in another embodiment, the processing unit is the live content of one of the mentioned texts. questioning whether it has been broadcasted and stated that it has been broadcast live. If it detects it, it adds the current date and time information to the filter filter.
Bu metin örnegin "canli" ifadesi olabilmektedir. Böylelikle, filtre anlik tarih ve zamana göre güncellenerek, örnegin bir futbol karsilasmasindaki bir kisinin taninmasi istendiginde, futbol kulüplerinin mevcut kadrolari ve çalisanlari baz alinarak arama yapilmaktadir. Sekil 3 veya sekil 4'deki gibi, diger yardimci bilgilerden, kulüp kisaltmalari tespit edilebilmekte ve bu kisaltmalara göre belirlenen örnegin takim adi parametresine göre tarama yapilabilmektedir. This text could be, for example, the phrase "alive". Thus, the filter is based on the instant date and time. updated, for example, when a person is asked to be recognized at a football match, football The search is made based on the current staff and employees of the clubs. Figure 3 or As in figure 4, club abbreviations can be identified from other helpful information and For example, scanning according to the team name parameter determined according to the abbreviations can be done.
Bulusun mümkün bir diger yapilanmasinda, isaret olarak ekrandaki (400) agirlikli renkler veya saha rengi tespit edilebilmekte ve saha rengine göre spor tipi filtreye eklenip, spor kulübünün bu spor bransindaki kadrolarinda tarama yapilabilmektedir. In another possible embodiment of the invention, weighted colors on the screen (400) as cues or the field color can be detected and added to the sport type filter according to the field color. It is possible to scan the cadres of the club in this sports branch.
Islemci biriminin, bahsedilen kullanici arayüzünden eslesen kisinin dogru olup olmadigina iliskin bir geri bildirim talep edecek ve aldigi geri bildirime göre yüz tanima isleminde kullandigi yüz tanima algoritmasini düzenleyecek sekilde konfigüre edilmis olmasidir. Whether the processor unit is the correct one that matches from said user interface will request a feedback about it and according to the feedback it receives, It is configured to regulate the face recognition algorithm it uses.
Yüz tanima sistemi (10) mümkün bir yapilanmada bir altyazi veritabanini içermektedir. The face recognition system 10 includes, in one possible embodiment, a database of subtitles.
Altyazi veritabani, içerik adlariyla iliskilendirilmis çesitli dillerdeki altyazilari içermektedir. The subtitle database contains subtitles in various languages associated with content names.
Islemci biriminin, yardimci bilgi bölgesindeki (412) bir metnin altyazi oldugunu tespit etmesi durumunda, bu altyaziyi altyazi veri tabaninda (253) sorgulamaktadir. Sorgu sonucunda altyaziyi içeren içerik adlarini süzme filtresine parametre olarak eklemektedir. Örnegin, yardimci bilgi bölgesinde (412) bir alt yazi tespit edildiginde ve bu alt yazinin “Legolas, Elf gözlerin neler görüyor?” oldugu belirlendiginde, bu alt yaziyi içeren içerikler alt yazi veritabanindan belirlenmektedir. Örnegin bu durumda bu alt yaziyi içeren içeriklerden biri birimi daha sonra, veri kaynagindan (251) “Yüzüklerin Efendisi: Iki Kule” içerik adina sahip içerigin oyunculari bazinda yüz tanima algoritmasini çalistirarak eslestirmeleri belirlemektedir. Bu durumda örnegin sonuç olarak “Viggo Mortensen" kisi adinin kullanici arayüzünde görüntülenmesi saglanabilmektedir. Islemci birimi, kisi detay bilgi kaynagindan (252) aldigi verilerin de kullanici arayüzünde görüntülenmesini saglayabilmektedir. Bu bilgiler örnegin, tespit edilen kisinin dogum tarihi, yeri, oynadigi filmler vb. gibi bilgiler olabilmektedir. Böylelikle, yüz tanima yapilan kisi havuzunun daraltilarak hem sonuçlarin dogru olma ihtimali arttirilmakta hem sistem kaynaklari azaltilmis sekilde kullanilmaktadir. The processor unit detects that a text in the auxiliary information area (412) is a subtitle case, it queries the subtitle in the subtitle database 253. As a result of the query It adds content names containing subtitles as parameters to the filter filter. For example, When a subtitle is detected in the auxiliary information area (412) and that subtitle is “Legolas, Elf What do your eyes see?" Contents containing this subtitle will be subtitled. determined from the database. For example, in this case one of the contents containing this subtitle The volume later has the content name “The Lord of the Rings: The Two Towers” from the data source (251). match the content by running the face recognition algorithm based on the players determines. In this case, for example, "Viggo Mortensen" as a result can be displayed on the interface. Processor unit, from contact detail information source (252) can also enable the data it receives to be displayed on the user interface. This information, for example, the date of birth of the identified person, the place, the movies he played, etc. information such as can happen. Thus, by narrowing the pool of people with facial recognition, both results can be improved. The probability of being correct is increased and system resources are used in a reduced way.
Burada sözü edilen yüz tanima algoritmalari teknikte bilinen yüz tanima algoritmalarindan Bulusun mümkün bir yapilanmasinda yüz tanimayla tespit edilen kisinin bir yüz görüntüsü ile birinci görüntünün ayni anda görüntülenmesini saglayacak sekilde kullanici arayüzünde görüntülenmesidir. Böylelikle kullanicinin eslesmenin dogru olup olmadigini daha kolay gözlemleyebilmesi saglanabilmektedir. Bulusun mümkün bir yapilanmasinda bu görüntüler yan yana saglanabilmektedir. Bulusun mümkün bir yapilanmasinda bu görüntülerin transparanlik orani degistirilerek üst üste çakisik olarak görüntülenmesi saglanabilmektedir. The face recognition algorithms mentioned here are among the face recognition algorithms known in the art. A face image of the person identified by face recognition in a possible embodiment of the invention on the user interface, allowing the simultaneous display of the first image with is to be displayed. Thus, it is easier for the user to check whether the match is correct. can be observed. In one possible embodiment of the invention these images can be arranged side by side. In a possible embodiment of the invention, these images Displaying overlapped by changing the transparency ratio can be provided.
Bulusun mümkün bir yapilanmasinda, kullanici arayüzünden eslestirilen kisinin dogru kisi olup olmadigina iliskin bir giris yapilmasi talep edilmektedir. Islemci birimi, kullanici terminalinden (100) aldigi bu girise göre yüz tanima algoritmasini güncelleyebilmekte veya filtreyi düzenleyebilmektedir. In a possible embodiment of the invention, the person matched from the user interface is the correct person. It is requested to make an entry as to whether or not processor unit, user It can update the face recognition algorithm according to this input from its terminal (100), or can edit the filter.
Bulusun mümkün bir yapilanmasinda ekran (400) ve kullanici terminali (100) entegre olarak saglanmistir. Bu yapilanma bir akilli televizyonda saglanabilmektedir. Görüntü yakalama birimi (110), ekran (400) görüntüsü almaktadir. Bu yapilanmada ekran (400) ve kullanici terminali (100) entegre olduklarinda, bir bilgisayar, bir akilli televizyon, bir tablet bilgisayar olabilmektedir. In a possible embodiment of the invention, the display 400 and the user terminal 100 are integrated. as provided. This configuration can be provided in a smart television. Image the capture unit (110) takes a screen (400) image. In this configuration, the screen (400) and When the user terminal 100 is integrated, a computer, a smart television, a tablet could be a computer.
Yardimci bilgi bölgesinde (412) metin tespit etme ve metin okuma islemleri optik karakter tanima algoritmalariyla gerçeklestiriIebilmektedir. Text detection and text reading operations in the auxiliary information area (412) are optical character can be performed with recognition algorithms.
Bulusun koruma kapsami ekte verilen istemlerde belirtilmis olup kesinlikle bu detayli anlatimda örnekleme amaciyla anlatilanlarla sinirli tutulamaz. Zira teknikte uzman bir kisinin, bulusun ana temasindan ayrilmadan yukarida anlatilanlar isiginda benzer yapilanmalar ortaya koyabilecegi açiktir. The scope of protection of the invention is stated in the attached claims and this detailed for exemplification purposes, it cannot be limited to what is told. Because a technical expert similar in the light of what has been explained above without departing from the main theme of the invention. It is clear that structuring can occur.
SEKILDE VERILEN REFERANS NUMARALARI Yüz tanima sistemi 100 Kullanici terminali 110 Görüntü yakalama birimi 120 Terminal islemcisi 130 Haberlesme birimi 140 Hafiza birimi 200 Sunucu 210 Sunucu islemcisi 251 Veri kaynagi 252 Kisi detay bilgi kaynagi 253 Altyazi veri tabani 300 Haberlesme agi 400 Ekran 410 Birinci görüntü karesi 411 Yüz bölgesi 412 Yardimci bilgi bölgesi 400 ABC REFERENCE NUMBERS IN THE FOLLOWING Face recognition system 100 User terminals 110 Image capture unit 120 terminal processor 130 Communication unit 140 Memory units 200 Servers 210 Server processor 251 Data source 252 Contact details source 253 Subtitle database 300 Communication network 400 Screens 410 First image frame 411 Facial area 412 Auxiliary information zone 400 ABC
Claims (15)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TR2021/016527A TR2021016527A2 (en) | 2021-10-22 | 2021-10-22 | A FACE RECOGNITION SYSTEM TO IDENTIFY PEOPLE ON THE SCREEN |
| PCT/TR2022/051066 WO2023069047A1 (en) | 2021-10-22 | 2022-09-30 | A face recognition system to identify the person on the screen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TR2021/016527A TR2021016527A2 (en) | 2021-10-22 | 2021-10-22 | A FACE RECOGNITION SYSTEM TO IDENTIFY PEOPLE ON THE SCREEN |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TR2021016527A2 true TR2021016527A2 (en) | 2021-11-22 |
Family
ID=85113409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TR2021/016527A TR2021016527A2 (en) | 2021-10-22 | 2021-10-22 | A FACE RECOGNITION SYSTEM TO IDENTIFY PEOPLE ON THE SCREEN |
Country Status (2)
| Country | Link |
|---|---|
| TR (1) | TR2021016527A2 (en) |
| WO (1) | WO2023069047A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114640863A (en) * | 2022-03-04 | 2022-06-17 | 广州方硅信息技术有限公司 | Method, system and device for displaying character information in live broadcast room and computer equipment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8818025B2 (en) * | 2010-08-23 | 2014-08-26 | Nokia Corporation | Method and apparatus for recognizing objects in media content |
| US9247309B2 (en) * | 2013-03-14 | 2016-01-26 | Google Inc. | Methods, systems, and media for presenting mobile content corresponding to media content |
| US9704020B2 (en) * | 2015-06-16 | 2017-07-11 | Microsoft Technology Licensing, Llc | Automatic recognition of entities in media-captured events |
-
2021
- 2021-10-22 TR TR2021/016527A patent/TR2021016527A2/en unknown
-
2022
- 2022-09-30 WO PCT/TR2022/051066 patent/WO2023069047A1/en unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114640863A (en) * | 2022-03-04 | 2022-06-17 | 广州方硅信息技术有限公司 | Method, system and device for displaying character information in live broadcast room and computer equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023069047A1 (en) | 2023-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10900772B2 (en) | Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams | |
| US10204264B1 (en) | Systems and methods for dynamically scoring implicit user interaction | |
| US20200322680A1 (en) | System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user | |
| US8898714B2 (en) | Methods for identifying video segments and displaying contextually targeted content on a connected television | |
| US9098533B2 (en) | Voice directed context sensitive visual search | |
| US8331760B2 (en) | Adaptive video zoom | |
| US20180025405A1 (en) | Presentation of content items synchronized with media display | |
| US20150227780A1 (en) | Method and apparatus for determining identity and programing based on image features | |
| US9100701B2 (en) | Enhanced video systems and methods | |
| CN107194817B (en) | User social information display method and device and computer equipment | |
| JP6012060B2 (en) | Image rotation based on image content to correct image orientation | |
| US11055759B1 (en) | Color selection for image matching visual search | |
| US20170347151A1 (en) | Facilitating Television Based Interaction with Social Networking Tools | |
| Paul et al. | Spatial and motion saliency prediction method using eye tracker data for video summarization | |
| CN110929158A (en) | Content recommendation method, system, storage medium and terminal equipment | |
| BR112020003189A2 (en) | method, system, and non-transitory computer-readable media | |
| CN110519620A (en) | Recommend the method and television set of TV programme in television set | |
| CN106851395B (en) | Video playing method and player | |
| CN110809187A (en) | Video selection method, video selection device, storage medium and electronic equipment | |
| TR2021016527A2 (en) | A FACE RECOGNITION SYSTEM TO IDENTIFY PEOPLE ON THE SCREEN | |
| Gandolfo et al. | Predictive processing of scene layout depends on naturalistic depth of field | |
| JP6150780B2 (en) | Information processing apparatus, information processing method, and program | |
| US10937065B1 (en) | Optimizing primary content selection for insertion of supplemental content based on predictive analytics | |
| JP6958795B1 (en) | Information processing methods, computer programs and information processing equipment | |
| JP2016025570A (en) | Information processor, information processing method and program |