TR2023017519A2

TR2023017519A2 - A HEADLIGHT SYSTEM CONTROLLED BASED ON EYE MOVEMENTS

Info

Publication number: TR2023017519A2
Application number: TR2023/017519
Authority: TR
Inventors: Koyuncu Selcuk
Original assignee: Türki̇ye'ni̇n Otomobi̇li̇ Gi̇ri̇şi̇m Grubu Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇
Filing date: 2023-12-18
Publication date: 2024-02-21

Abstract

Bu buluş, sürüş esnasında araç kullanıcısının göz hareketlerini ve yol görüntülerini takip ederek farın aydınlatma yönünün ve şiddetinin ayarlanmasını sağlayan bir sistem (1) ile ilgilidir.This invention relates to a system (1) that allows adjusting the illumination direction and intensity of the headlights by monitoring the eye movements and road images of the vehicle user while driving.

Description

TARIFNAME GÖZ HAREKETLERINE BAGLI OLARAK KONTROL EDILEN BIR FAR SISTEMI Teknik Alan Bu bulus, sürüs esnasinda araç kullanicisinin göz hareketlerini ve yol görüntülerini takip ederek farin aydinlatma yönünün ve siddetinin ayarlanmasini saglayan bir sistem ile ilgilidir. Önceki Teknik Adaptif far sistemi teknolojinin gelismesi ile beraber araçlarda siklikla kullanilmaktadir. Araçlarin viraj almalari ya da tepelerde olmasi durumunda sürücü için görünürlügü artirmakta ve güvenli bir sürüs saglamaya çalismaktadir. Adaptif farlar sürüs yapilan yolun daha iyi aydinlatilmasi için bir çözüm içermektedir. Bunun için araçta yer alan sensörler araciligi ile ya da direksiyon hareketine bagli olarak farin aydinlatmasi gereken alana karar verilmektedir. Araçtan alinan veriler ile aydinlatmaya karar verilmesi karsi taraftan gelen sürücünün daha az etkilenmesini saglayarak bir sürüs saglamaktadir. Fakat günümüzde araç kullanicisinin göz hareketlerinin takip edilmesi ile araç kullanicisinin sürüs dikkatini artiracak ve güvenli sürüs yapmalarini saglayacak çözümlere ihtiyaç duyulmaktadir. dokümaninda, kameralar ile sürücünün gözlerini takip eden ve sürücünün gözlerine göre ön farlarin parlakligini ve yönünü ayarlamak üzere yapilandirilmis bir sistemden bahsedilmektedir. Bulus dokümaninda, bir araç için bir far sistemi ve bunun çalistirilmasina yönelik bir yöntem açiklanmaktadir. Bulus bir yöne dönebilen bir far sistemini, sürücünün gözlerinin fotografini çekmeye yönelik bir kamera ünitesini, kamera ünitesinden gelen görüntüyü analiz ederek gözün gözbebegi boyutunu hesaplamak üzere yapilandirilmis bir görüntü analiz ünitesini ve gözbebegi büyüklügüne göre ayarlanan isik miktarini belirleyen ve ayarlanan isik miktarina göre farin isik yaymasini kontrol eden bir kontrol ünitesini içermektedir. Sistem, sürücünün gözünün baktigi yöne ve göz bebeginin boyutuna göre, ön farlarin yönünü ve yayacagi isik miktarini ayarlamak üzere yapilandirilmistir. Bulusun Kisa Açiklamasi Bu bulusun amaci, gece sürüsünde sürücülerin dikkatini ve güvenli sürüslerini artirmak adina göz hareketlerini takip ederek baktiklari yöne göre farlarin otomatik olarak ayarlanmasini ve sürücünün odaklandigi noktaya göre far siddetinin ayarlanmasini saglayan bir sistem gerçeklestirmektir. Bulusun Ayrintili Açiklamasi Bu bulusun amacina ulasmak için gerçeklestirilen "Göz Hareketlerine Bagli Olarak Kontrol Edilen Bir Far Sistemi" sekille gösterilmis olup, bu sekil; Sekil 1. Bulus konusu sistemin sematik görünüsüdür. Sekilde yer alan parçalar tek tek numaralandirilmis olup, bu numaralarin karsiliklari asagida verilmistir: 1. Sistem 2. Far sistemi 3. Görüntü alma cihazi 4. Kontrol ünitesi Gece sürüsünde sürücülerin dikkatini ve güvenli sürüslerini artirmak adina göz hareketlerini takip ederek farlarin aydinlatma yönlerini ve siddetinin ayarlanmasini saglayan bulus konusu sistem (1); -araç üzerinde yer almakta olup sahip oldugu farlarin yönü ve siddetinin ayarlanmasina imkan saglayan bir far sistemi (2), -araç üzerinde yer almakta olup en azindan araç sürücüsüne ve yola iliskin iliskin görüntü almak üzere yapilandirilan birden fazla sayida görüntü alma cihazi (3) ve -far sistemi (2) ve görüntü alma cihazi (3) ile iletisimde olmak, far sistemi (2) ile kurulan iletisim üzerinden farlarin yönünün ve siddetinin ayarlanmasini saglamak, görüntü alma cihazi (3) ile kurulan iletisim üzerinden araç içinden alinan görüntüleri göz izleme teknolojisi ile islemek, alinan görüntüler ile sürücünün göz hareketlerini analiz etmek, sürücünün göz hareketlerine bagli olarak araç disinda sürücünün baktigi yönün görüntülerini analiz etmek, analiz sonrasinda sürücünün yola bakmasi halinde yolun bakilan kismina dogru farlarin yönünün ayarlanmasi için far sistemi (2) ile iletisime geçerek farin yönünün ayarlanmasini saglamak, far siddetinin ayarlanmasi için görüntü alma cihazi (3) ile kurulan iletisim üzerinden alinan görüntüleri göz izleme teknolojisi ile isleyerek gözün odak noktasina karar vermek, odak noktasinin uzakliginin artmasi ile farlarin siddetinin artirilmasi ya da odak noktasinin uzakliginin azalmasi ile farlarin siddetinin azaltilmasi için far sistemi (2) ile iletisime geçerek farlarin siddetinin ayarlanmasini saglamak üzere yapilandirilan en az bir kontrol ünitesi (4) içermektedir. Bulus konusu sistemde (1) yer alan far sistemi (2) birden fazla sayida far içermekte olup kontrol ünitesi (4) araciligi ile en azindan aydinlatma yönü ve siddetinin ayarlanmasini saglamak üzere yapilandirilmaktadir. Far sistemi (2) yolu aydinlatmak için kullanilan farlarin yaninda ikaz ve sinyal amaçli kullanilan ikaz lambalari, stop lambalari ve sis lambalarini içermek üzere yapilandirilmaktadir. Bulus konusu sistemde (1) yer alan görüntü alma cihazi (3) araç içerisinde ve/Veya araç disarinda konumlandirilmakta olup araç içerisinden ve disarisindan görüntü almak üzere yapilandirilmaktadir. Bulusun tercih edilen düzenlemesinde görüntü alma cihazi (3) araç sürücüsüne ve sürücünün araç disinda baktigi yöne iliskin görüntüler almak üzere yapilandirilan kamera seklindeki bir cihazdir. Bulus konusu sistemde (1) yer alan kontrol ünitesi (4) far sistemi (2) ve görüntü alma cihazi (3) ile iletisimde olmak, görüntü alma cihazi (3) ile kurulan iletisim üzerinden sürücüden alinan görüntülerin görüntü izleme teknolojisi ile analiz edilmesi sonrasinda sürücünün baktigi yöne ve odak noktasina bagli olarak farlarin yön ve siddet ayarlarini yapmak üzere yapilandirilmaktadir. Kontrol ünitesi (4) araç sürücüsüne iliskin görüntüleri göz izleme teknolojisi ile islemek, göz hareketlerini takip etmek, gözün baktigi yöne bagli olarak araç disinda bulunan görüntü alma cihazini (3) bakilan yöne odaklamak, odaklanma ile alinan görüntülerden sürücün yola bakip bakmadigina karar vermek, yola baktigi durumda yolun bakilan yönüne dogru farlarin dönmesi için far sistemi (2) ile iletisime geçmek üzere yapilandirilmaktadir. Kontrol ünitesi (4) sürücünün yola baktigi durumda daha etkili aydinlatma saglamak üzere yapilandirilmaktadir. Kontrol ünitesi (4) odaklanma ile alinan görüntülerden sürücünün yola bakip bakmadigina karar vermek, yola bakmadigi durumda yani yol ile sürücünün bakis açisinda bir tutarsizlik olmasi durumda far sistemi (2) ile iletisime geçilerek ikaz verilmesini saglamak üzere yapilandirilmaktadir. Bu sayede göz hareketlerinin takip edilmesi ve sürücünün yolda baktigi yerin görüntülerinin göz hareketleri ile eslestirilmesi sonucu yolun etkin aydinlatilmasi ya da uyari verilmesi saglanmaktadir. Kontrol ünitesi (4) araç içerisinden alinan görüntüleri göz izleme teknolojisi ile islemek, sürücünün duygu ve saglik durumunu analiz etmek ve sürücünün durumu hakkinda etkilesim saglamak üzere yapilandirilmaktadir. Kontrol ünitesi (4) sürücünün yorgun olup olmadigini tespit etmek, far sistemi (2) ile iletisime geçerek çevresine uygun isiklandirma ve uyarilarda bulunulmasini saglamak üzere yapilandirilmaktadir. Kontrol ünitesi (4) tercihen dörtlü ikaz lambalarini yakarak çevredeki diger araç sürücülerini uyarmaktadir. Bu sayede araç kullanicisinin bilincinin ya da dikkat kaybinin tespit edilmesi halinde aracin dörtlü Ilasörleri ve/veya diger far ya da isik içeren ikaz lambalari devreye alinarak aracin çevresindeki trafigin bilgilendirilmesi ve uyarilmasi saglanmaktadir. Kontrol ünitesi (4) bu islem için araç kullanicisinin gözlerinin kapanmasi ya da yol disinda bir yerlere odaklanmasi ile tetiklenmek üzere yapilandirilmaktadir. Bulus konusu sistem (1) sayesinde gece sürüsünde sürücünün göz hareketleri göz izleme teknolojisi ile analiz edilerek sürücünün baktigi yöne dogru aydinlatma saglanirken bir yandan da odak noktasina bagli olarak farin siddeti ayarlanmaktadir. Ayni zamanda sürücünün baktigi yönün yol haricinde bir yer olmasi durumunda araçtaki ikaz lambalari ile uyari verilmektedir. Diger taraftan göz izleme teknolojisi ile sürücünün uyku, yorgunluk gibi duygu ve saglik durumlari da analiz edilerek farlar, ikaz lambalari araciligi ile uyari verilebilmektedir. Bunun için aracin sürüse baslamasi ile göz izleme teknolojisi devreye girmekte ve sürücü yola bakiyor ise farlarin aydinlatma etkinligi artirilmaktadir. Sürücünün odak noktasi belirlenerek uzaga baktigi bir durumda ise far siddeti artirilmaktadir. Bu sayede sürücülerin dikkatini ve güvenli sürüslerini artirmak üzere bir çözüm sunulmaktadir. Bu temel kavramlar etrafinda, bulus konusu "Göz Hareketlerine Bagli Olarak Kontrol Edilen Bir Far Sistemi (1)" ile ilgili çok çesitli uygulamalarin gelistirilmesi mümkün olup, bulus burada açiklanan örneklerle sinirlandirilamaz, esas olarak istemlerde belirtildigi gibidir. TR TR TR TR TR TR TR TR TR TR TR TR TR TRDESCRIPTION A HEADLIGHT SYSTEM CONTROLLED BY EYE MOVEMENTS Technical Field This invention relates to a system that allows adjustment of the direction and intensity of headlight illumination by monitoring the eye movements and road images of the vehicle user while driving. Prior Art Adaptive headlight systems are frequently used in vehicles with the development of technology. They increase visibility for the driver when vehicles are cornering or on hills and strive to ensure safe driving. Adaptive headlights provide a solution for better illumination of the road being driven. For this purpose, the area to be illuminated by the headlights is determined via sensors in the vehicle or based on steering wheel movement. Deciding on the illumination based on the data received from the vehicle ensures a driving experience by reducing the impact on oncoming drivers. However, today, there is a need for solutions that increase driver attention and enable safe driving by tracking the driver's eye movements. The document describes a system configured to track the driver's eyes using cameras and adjust the brightness and direction of the headlights based on the driver's eyes. The invention document describes a headlight system for a vehicle and a method for operating it. The invention includes a headlight system that can be rotated in one direction, a camera unit for capturing images of the driver's eyes, an image analysis unit configured to calculate the pupil size of the eye by analyzing the image from the camera unit, and a control unit that determines the amount of light adjusted based on the pupil size and controls the headlight output based on the adjusted amount of light. The system is configured to adjust the direction and light emitted by the headlights based on the driver's eye gaze and pupil size. Brief Description of the Invention The purpose of this invention is to develop a system that automatically adjusts the headlights according to the direction in which drivers are looking and adjusts the headlight intensity according to the driver's focus point by tracking eye movements in order to increase drivers' attention and safe driving while driving at night. Detailed Description of the Invention "A Headlight System Controlled Based on Eye Movements" developed to achieve the purpose of this invention is shown in figure, which is; Figure 1. Schematic view of the system that is the subject of the invention. The parts in the figure are numbered one by one and the correspondences of these numbers are given below: 1. System 2. Headlight system 3. Image acquisition device 4. Control unit The system in question, which enables adjustment of the lighting direction and intensity of the headlights by monitoring eye movements in order to increase the attention and safe driving of the drivers while driving at night (1); - a headlight system (2) located on the vehicle and allowing the direction and intensity of its headlights to be adjusted, - more than one image acquisition device (3) located on the vehicle and configured to receive images related to the driver of the vehicle and the road, - communicating with the headlight system (2) and the image acquisition device (3), ensuring the adjustment of the direction and intensity of the headlights through the communication established with the headlight system (2), processing the images taken from inside the vehicle through the communication established with the image acquisition device (3) with eye tracking technology, analyzing the eye movements of the driver with the images taken, analyzing the images of the direction the driver is looking in outside the vehicle depending on the eye movements of the driver, after the analysis, communicating with the headlight system (2) to adjust the direction of the headlights towards the part of the road being looked at if the driver is looking at the road, ensuring the direction of the headlights, image acquisition device for adjusting the headlight intensity It comprises at least one control unit (4) configured to determine the focal point of the eye by processing the images received through communication with (3) using eye tracking technology, and to adjust the intensity of the headlights by communicating with the headlight system (2) in order to increase the intensity of the headlights as the distance of the focal point increases or to decrease the intensity of the headlights as the distance of the focal point decreases. The headlight system (2) in the system (1) of the invention comprises more than one headlight and is configured to adjust at least the direction and intensity of illumination via the control unit (4). The headlight system (2) is configured to include warning lights, stop lights and fog lights used for warning and signal purposes in addition to the headlights used to illuminate the road. The image acquisition device (3) in the inventive system (1) is positioned inside and/or outside the vehicle and is configured to capture images from inside and outside the vehicle. In the preferred embodiment of the invention, the image acquisition device (3) is a camera-shaped device configured to capture images of the vehicle driver and the direction in which the driver is looking outside the vehicle. The control unit (4) in the inventive system (1) is configured to communicate with the headlight system (2) and the image acquisition device (3), and to adjust the direction and intensity of the headlights based on the driver's viewing direction and focal point after analyzing the images received from the driver through communication established with the image acquisition device (3) using image monitoring technology. The control unit (4) is configured to process images related to the driver using eye-tracking technology, track eye movements, focus the image-capturing device (3) located outside the vehicle based on the direction the eye is looking, determine whether the driver is looking at the road from the focused images, and communicate with the headlight system (2) to direct the headlights in the direction the driver is looking. The control unit (4) is configured to provide more effective illumination when the driver is looking at the road. The control unit (4) is configured to determine whether the driver is looking at the road from the focused images, and to communicate with the headlight system (2) to issue a warning when the driver is not looking at the road, i.e., if there is an inconsistency between the driver's perspective and the road. This enables the tracking of eye movements and the matching of the images of the area the driver is looking at with the eye movements, resulting in effective illumination of the road or a warning. The control unit (4) is configured to process images taken from inside the vehicle using eye-tracking technology, analyze the driver's emotional and health status, and interact with the driver regarding their condition. The control unit (4) is configured to detect driver fatigue and, by communicating with the headlight system (2), to provide appropriate lighting and warnings for the surrounding area. The control unit (4) preferably warns other drivers in the vicinity by activating the hazard warning lights. Thus, if the driver is detected to be unconscious or losing attention, the vehicle's hazard warning lights and/or other headlights or warning lights are activated, informing and warning traffic around the vehicle. The control unit (4) is configured to trigger this process when the driver closes their eyes or focuses on something other than the road. The inventive system (1) analyzes the driver's eye movements during night driving using eye-tracking technology to provide illumination in the driver's direction of vision, while adjusting headlight intensity based on the driver's focus. If the driver's gaze is off-road, warning lights on the vehicle are used to warn. Furthermore, eye-tracking technology can also analyze the driver's emotional and health states, such as sleepiness and fatigue, and provide warnings through headlights and warning lights. To achieve this, eye-tracking technology is activated when the vehicle begins driving, and if the driver is looking at the road, the illumination efficiency of the headlights is increased. The driver's focus is determined, and if the driver is looking away, the headlight intensity is increased. This provides a solution to increase driver attention and safe driving. It is possible to develop a wide variety of applications related to the invention subject "A Headlight System Controlled Depending on Eye Movements (1)" around these basic concepts, and the invention cannot be limited to the examples explained here, but is essentially as stated in the claims.

Claims

STEMS

1. A headlight system (2) is located on the vehicle, which enables the direction and intensity of the headlights to be adjusted by monitoring eye movements in order to increase the attention and safe driving of drivers at night. and is in communication with more than one image acquisition device (3) configured to take images of at least the vehicle driver and the road, and -the headlight system (2) and the image acquisition device (3), through the communication established with the headlight system (2), the headlights are to adjust the direction and intensity, to process the images taken from inside the vehicle with eye tracking technology through the communication established with the image acquisition device (3), to analyze the driver's eye movements with the received images, to analyze the images of the direction the driver is looking outside the vehicle depending on the driver's eye movements, to analyze Afterwards, if the driver looks at the road, it communicates with the headlamp system (2) to adjust the direction of the headlights towards the part of the road being viewed, and to adjust the headlight intensity, it processes the images received through the communication established with the image receiving device (3) with eye tracking technology, to the focal point of the eye. A system characterized by at least one control unit (4) configured to communicate with the headlight system (2) and adjust the intensity of the headlights in order to make a decision, to increase the intensity of the headlights as the distance of the focal point increases, or to decrease the intensity of the headlights as the distance to the focal point decreases ( one).

2. A system (1) as in Claim 1, characterized by the headlight system (2) containing more than one number of headlights and configured to adjust at least the lighting direction and intensity via the control unit (4).

3. A system like Claim 1 or Zadeki, which is characterized by the headlight system (2) configured to include warning lights, stop lights and fog lights used for warning and signaling purposes, in addition to the headlights used to illuminate the road.

4. A system as in any of the above claims, characterized by the image acquisition device (3) positioned inside and/or outside the vehicle and configured to take images from inside and outside the vehicle.

5. A system as in any of the above claims, characterized by the image acquisition device (3), which is a camera-shaped device configured to take images of the vehicle driver and the direction the driver is looking at outside the vehicle.

6. Being in communication with the headlight system (2) and the image acquisition device (3), after analyzing the images taken from the driver with image tracking technology through the communication established with the image acquisition device (3), the direction and intensity of the headlights are determined depending on the direction and focal point of the driver. A system (1) as in any of the above claims, characterized by the control unit (4) configured to make the settings.

7. Processing images of the driver of the vehicle with eye tracking technology, tracking eye movements, focusing the image acquisition device (3) located outside the vehicle depending on the direction the eye is looking, deciding whether the driver is looking at the road or not from the images taken by focusing, determining whether the driver is looking at the road or not, in case he is looking at the road. A system (1) as in any of the above claims, characterized by a control unit (4) configured to communicate with the headlight system (2) in order to turn the headlights towards the direction viewed.

8. Any of the above claims, characterized by the control unit (4) configured to decide whether the driver is looking at the road or not from the images taken by focusing, and to provide a warning by communicating with the headlight system (2) in case he is not looking at the road, that is, if there is an inconsistency between the road and the driver's perspective. a system as in one (1).

9. A system (1) as in any of the above claims, characterized by a control unit (4) configured to process images taken from inside the vehicle with eye tracking technology, analyze the driver's emotional and health status, and provide interaction about the driver's condition.

10. A system (1) as in any of the above claims, characterized by the control unit (4) configured to detect whether the driver is tired or not, and to communicate with the headlight system (2) to provide appropriate lighting and warnings for the environment.