TR201922976A2 - HEARING AND SPEAKING DISABLED COMMUNICATION SYSTEM - Google Patents

HEARING AND SPEAKING DISABLED COMMUNICATION SYSTEM

Info

Publication number
TR201922976A2
TR201922976A2 TR2019/22976A TR201922976A TR201922976A2 TR 201922976 A2 TR201922976 A2 TR 201922976A2 TR 2019/22976 A TR2019/22976 A TR 2019/22976A TR 201922976 A TR201922976 A TR 201922976A TR 201922976 A2 TR201922976 A2 TR 201922976A2
Authority
TR
Turkey
Prior art keywords
driver
passenger
text
picture
hearing
Prior art date
Application number
TR2019/22976A
Other languages
Turkish (tr)
Inventor
Bi̇lgi̇li̇ Ceren
Tanlak Meli̇ke
Original Assignee
Oyak Renault Otomobil Fab As
Oyak Renault Otomobi̇l Fabri̇kalari Anoni̇m Şi̇rketi̇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oyak Renault Otomobil Fab As, Oyak Renault Otomobi̇l Fabri̇kalari Anoni̇m Şi̇rketi̇ filed Critical Oyak Renault Otomobil Fab As
Priority to TR2019/22976A priority Critical patent/TR201922976A2/en
Publication of TR201922976A2 publication Critical patent/TR201922976A2/en

Links

Abstract

Buluş, işitme ya da konuşma engelli yolcu ile sürücünün haberleşmesini sağlayan bir yöntem olup özelliği sürücünün konuşmasının algılanması, algılanan sesin işlenerek yolcuya görsel metin ya da görsel resim olarak iletilmesi, benzer şekilde yolcu tarafından oluşturulan görsel metinin ya da resmin sürücüye aktarılıp sürücünün ilgili bilgi ile ilgili sesli olarak uyarılmasını/bilgilendirilmesini sağlayan yöntemdir.The invention is a method that enables communication between the passenger with hearing or speech impairment and the driver, and its features include detecting the driver's speech, processing the perceived sound and transmitting it to the passenger as a visual text or visual image, similarly, transferring the visual text or picture created by the passenger to the driver and providing the driver with the relevant information. It is a method that allows to be warned/informed by voice.

Description

TARIFNAME ISITME VE KONUSMA ENGELLI ILETISIM SISTEMI TEKNIK ALAN Bulus, araçlarda isitme ya da konusma engelli yolcular ile sürücünün sürüs anmda güvenli bir sekilde iletisime geçmesini saglayan sistem ile ilgilidir. ÖNCEKI TEKNIK Araçlarda isitme ya da konusma engelli yolcularm olmas? durumunda sürücü ile bahsedilen yolcularii iletisime geçmesi çok zor olmaktadi. Söz konusu iletisim durumlarmlda sürücünün dikkati dagülabilmekte ve bu durum da sürüsü tehlikeye atmaktad E. Ayrma ticari olarak sefer yapan toplu tasLma araçlarmda örnegin otobüslerde yolculuk sEasîlida isitme ya da konusma engelli yolcularmi host ya da hostes ile iletisime geçmesini saglayabilecegi bir yapjulunmamaktad n. Bilinen teknikte teknolojinin gelismesi ile isitme ya da konusma engelliler ile iletisime geçilmesini kolaylastijan yazdim uygulamalari mevcuttur. Fakat bu uygulamalard özellikle sürücünün pratik ve dikkati dagTmayacak sekilde kullanmasi-mümkün degildir. Özetle ticari ya da binek araçlarda yolcu bölümünde bulunan isitme ya da konusma engelli yolcu ile sürücünün iletisime geçme/haberlesme sorunu bulunmaktad 1. Sonuç olarak yukarma bahsedilen tüm sorunlar, ilgili alanda bir yenilik yapmayHzorunlu hale getirmistir. BULUSUN AMACI Mevcut bulus, yukarIlla bahsedilen problemleri ortadan kaldimak ve ilgili alanda teknik bir yenilik yapmayfzorunlu kaaktad m. Bulusun ana amaci engelli yolcular ile sürücünün güvenli bir sekilde iletisime geçmesini saglayan sistem yastFrrbrtaya koymaktFr. Bulusun bir diger amac,l sürücünün sürüs esnasLnda sadece konusarak yolcu ile iletisime geçmesini saglamaktm Bulusun bir diger amacuhem konusma hem de isitme engelli yolcular için sürücünün kolay bir sekilde haberlesmesini saglamaktm. Bulusun bir diger amaci] konusma ya da isitme engelli yolcular ile sürücülerin güvenli bir sekilde haberlesmesini saglayan sistem yapßîljortaya koymaktE. BULUSUN KISA AÇIKLAMASI YukarIila bahsedilen ve asagîilaki detaylEanlatEndan ortaya çERacak tüm amaçlarü gerçeklestirmek üzere mevcut bulus, isitme ve konusma engelli iletisim sistemidir. Bulus, isitme ya da konusma engelli yolcu ile sürücünün haberlesmesini saglayan bir yöntem olup özelligi sürücünün konusmasmn algTanmasF, algianan ses paketinin islenerek metin dosyasLna çevrilmesi ve/veya ses paketinin karsmgiolan resim ile eslestirilmesi, olusturulan metinin ya da seçilen resmin yolcu bölümündeki istemciye aktarJInas] yolcunun görsel olarak (metin ya da resim) ile bilgilendirilmesi, ve/veya yolcunun istemci üzerinden talebine uygun resmi seçmesi ve/veya yazüLmmin girmesi, girilen metinin sürücü bölümündeki cihaza aktarrlmasm sürücü bölümündeki cihazîii alman veriyi ses verisine dönüstürmesi ve sürücünün sesli olarak bildirilmesi islem ad înlarlTilTii gerçeklesmesi ile karakterize edilmektedir Bulusun tercih edilen bir diger yapüanmasmida, sürücünün konusmasmdan almian ses paketini dönüstürme islemi smasTiida öncelikli olarak ses verisi metin (string) veriye dönüstürülerek resim eslestirilmesi yapjinaktadi. Bulusun tercih edilen bir diger yapüanmasrlida, yolcunun seçtigi isaretin sürücüye aktarJJIken gerçeklesen dönüstürme islemi siasmda resim verisinin karslgü olan metin (string) veriye dönüstürüldükten sonra ses paketine çevrilmektedir. Bulusun tercih edilen bir diger yapüanmasmida, sürücü ile engelli yolcunun es zamanli olarak haberlesmesini saglayan, bahsedilen haberlesme sWasFriida sürücünün sesli yolcunun görsel olarak bilgilendirilmesi saglanmaktadLr Bulusun tercih edilen bir diger yaplanmasmda, yolcu cihaz? üzerindeki kamera ile engelli yolcunun isaret dili ile konusmasLsmasmida kullandguisaret dili alfabesinin algfranîb e islem ademida bahsedilen yolcunun istemci üzerinden talebine uygun resmin belirlenmesi isleminin gerçeklestirilmektedir. Bulusun tercih edilen bir diger yapmanmasnda, b islem admnnda bahsedilen ses paketindeki ifadenin karsmgEolan resmin isaret dili alfabesinden seçilmektedir. Bulusun tercih edilen bir diger yapHanmasmida, sürücü cihazma gelen isaret dili alfabesinden resimlerin kontrolör olarak metin ya da ses dosyasmia dönüstürülerek sürücünün sesli olarak bilgilendirilmektedir. Bulusun tercih edilen bir diger yapmanmasnda, b islem admnnida bahsedilen ses paketindeki ifadenin karsrirgmolan resmin isaret dili alfabesi olan resim kaynaglîcloud ya da sürücü cihazItlE. BuIUSUn kullanFmF sFrasTiida sürücü yolcu ile iletisime geçme sistemini aktive etmektedir. Bahsedilen aktivasyon islemi direksiyon üzerinde bir buton olabildigi gibi tanWnlanmasF durumunda özel sesli komut ile birlikte çaISmaya baslamaktadW. Sistemin aktive olmasjile sürücünün söyledigi ifade ses tanmnlamas Dgerçeklestirilerek sürücünün tercihine ya da yolcunun tercihine baglL olarak yazULl metine dönüstürülmekte ve ayrßa ilgili ifadenin karsmgmda yer alan resim yolcu paneline gönderilmektedir. Örnegin restoran ifadesi bulunan resim sürücünün "Yemek, yemek ister misin?" ifadesi ile otomatik olarak yolcuya aktarrimaktadlT. Benzer sekilde yolcu tarafmidan restoran ifadeli resmin seçilmesi durumunda ilgili ifade ses paketine dönüstürülerek sürücü bölümündeki hoparlörlerden "KarnWn Acrktf" vb ifade olarak iletilmektedir. Bulusun koruma kapsamEistemlerde belirtilmis olup kesinlikle bu kßa ve detayi: anlatmda örnekleme amacgila anlatüanlarla smnlututulamaz. Teknikte uzman bir kisinin, bulusun ana temasndan ayrüinadan yukarida anlatmanlar srgnda benzer yapIanmalar ortaya koyabilecegi açBtI. SEKILLERIN KISA AÇIKLAMASI Sekil 1A'da bulusun yolcu tarafindan kullanmnnLgösteren temsili resim verilmistir. Sekil 1B'de bulusun sürücü tarafmdan kullanîhmiîgösteren temsili resim verilmistir. Sekil 2'de bulusun sürücü-yolcu arasndaki haberlesmeyi anlatan akß diyagramiî verilmistir. Sekil 3'de bulusun yolcu-sürücü arasmdaki haberlesmeyi saglayan aks diyagramF verilmistir. Sekil 4'de bulusun sahip oldugu isaret dili okuma sistemini anlatan akß diyagramj verilmistir. SEKILLERDEKI REFERANS NUMARALARININ AÇIKLAMASI . Sürücü cihaz? 100. Sürücü ekranî 11. Haberlesme türü seçim birimi 12. Kontrolör 13. Ses çEkS birimi 14. Ses algIama birimi . Yolcu Cihaz: 200. Yolcu ekran: 21. Yolcu metin giris birimi 22. Yolcu metin çEES birimi 23. Kamera 24. Resim giris-cm3 birimi BULUSUN DETAYLI AÇIKLAMASI Bu detayliaçüztlamada bulus konusu isitme ve konusma engelli iletisim sistemi sadece konunun daha iyi anlasTabilmesi için hiçbir smwlayßîetki olusturmayacak örneklerle açLklanmaktad n. Bulus konusu araçlarda isitme ya da konusma engelli yolcular ile sürücünün sürüs aninda güvenli bir sekilde iletisime geçmesini saglayan sistem ile ilgilidir. Sekil 1'de bulusun yolcu tarafmdan kullanIlnIiDgösteren temsili resim verilmistir. Yolcu tarafmda kullanfian cihaz tercihen dokunmatik panele sahip bir ekrandan olusmaktadW. Bahsedilen cihaz otomobillerde koltuklarin kafalklarna montajlanabilecegi gibi portatif olarak da kullaniabilmektedir. Aerca yolcu tasLmaclLgmida kullanilan ticari araçlarda koltugun arka bölümünde konumland Timabilmektedir. Bulus kapsammda sistem sürücü tarafmda en az bir adet istemci cihaz, yolcu bölümünde en az bir adet yolcu cihazTiidan (20) olusmaktadî. Bulusun sahip oldugu sürücü bölümündeki ana cihaz olan sürücü cihazE(10) tercih edilen yapflhnmada sürücünün yakîiimda en az bir adet ses algiama birimi (14), en az bir adet ses çkis birimi (13) içermektedir. Bahsedilen ses algiiama birimi (14) bulusun tercih edilen yapianmasmida mikrofon olup ses çks birimi (13) ise aracni dahili hoparlörleri ya da bahsedilen hoparlörler ile baglantitEdönüstürme modülüdür. Bulusun sahip oldugu sürücü cihazi(10) üzerinde entegre sürücü ekrani(100) içermektedir. Bahsedilen sürücü ekran](100) tercih edilen yapilanmada dokunma ile veri girisine izin vermektedir. Bahsedilen sürücü cihazU(10) en az bir adet haberlesme türü seçim birimi (11) içermektedir. Bahsedilen haberlesme türü metin (yaz) ya da resim ile olabilmektedir. Sürücü cihaziî(10) en az bir adet kontrolör (12) içermekte olup baslma olarak sesin algüanp metine çevrilmesi ya da veri tabanmidan ilgili resmin seçilme kararmim verilmesi islemlerini yürütmektedir. Bulusun sahip oldugu yolcu cihazi(20) üzerinde en az bir adet yolcu ekrani(200) içermektedir. Bahsedilen yolcu ekranH(200) sürücüden gelen ifadelerin engelli yolcuya görsel olarak aktarBnmjsaglamaktadE. Bahsedilen yolcu ekranü(200) üzerinde en az bir adet metin giris birimi (21) yer almaktadm. Metin giris birimi (21) vasWasHile engelli yolcunun sürücü ile yazLyolu ile haberlesmesi saglanmaktadn. Metin giris biriminin (21) yanmsma resim giris-çtRFs birimi (24) ekran üzerinde (200) yer almaktadîr. Metin giris-çilatks birimi (24) vasLtasLile ekrandan istenilen resim seçilerek bahsedilen resmin ifade ettigi anlamm sürücüye iletilmesi gerçeklesmektedir. Bulusun tercih edilen bir yapianmasLnda yolcu cihazL(20) üzerinde en az bir adet kamera (23) yer almaktath Bahsedilen kamera (23) vasWasFlile yolcu cihazî(20) üzerinden almian görüntü sürücü cihazlia (10) iletilmektedir. Bu sayede engelli yolcunun durumu ile ilgili görüntü sürücüye istediginde aktarüabilmektedir. Bulus kapsammda sürücü tarafiida bulunan ana cihaz en az bir adet mikrofon içermekte olup araç içerisinde özellikle kabin üzerinde sürücünün sürüs pozisyonunu degistirmeden sesini alabilecek uzakltkta konumlanmßtm. Bulusun tercih edilen yapianmasLnida sürücüye ses aktarmni aracmi dahili speakerlarndan gerçeklesebilecegi gibi kablosuz kulaklik araCJJgEile de gerçeklesebilmektedir. Sekil 2"de bulusun çaILSmaslesürücüden yolcuya bilgi aktarmmu gösteren akLs diyagramnverilmistir. Bulus kapsammida sürücünün konusmasîana cihaz tarafndan alnganmaktadm. Bahsedilen ana cihaz tercihen sürücü cihazmlm (10). Sürücü cihazu (10) ile haberlesme halinde bulunan ses algüama birimi (14) üzerinden algTanan ses; kontrolör (12) vasIasE ile dönüstürme biriminde metine ve/veya ilgili resime dönüstürülerek istemci (client) cihaz olan ve yolcu bölümündeki yolcu cihaana (20) gönderilmektedir. Bulusun tercih edilen yaprlanmasmda sürücü kaynakli? çal @an ses taninlama isleminde konusmada geçen kelimelerin tespiti yapEEdEtan sonra, cihaz üzerinde ya da uzak sunucuda tanmîlîolan görsel anlath ile eslesmektedir. Bulusun tercih edilen yapTanmasmida söz konusu görsel anlatEnlar ana cihaz belleginde adreslenmis olarak saklanmakta olup tanLijnlanan ses paketi ile karsiastmiarak adresten çagrliarak istemci cihaza iletilmektedir. Bulusun tercih edilen yapttanmasnida yolcu bölümünde bulunan cihazlar ana cihazu sunucu olarak kullanmakta ve yalnzca ana cihaz ile bagFmIFbir sekilde çaISmaktadFr. Tercih edilen bir diger yapitanmada istemci cihaz olan yolcu cihazLiJiLn (20) bagtmsüt bir kontrolü bulunmaktad m. Bulusun tercih edilen bir yapLlanmasnda sürücü cihazu(10) ve yolcu cihaszm (20) birbiri ile haberlesmesi cloud üzerinden gerçeklesebilmektedir. Bulusun tercih edilen bir yapüanmasnida sürücünün sesli ifadesi ana cihaz ile iletisim halinde olan ses alglama birimi tarafmidan algflanmaktadW. Ana cihaz tarafndan algüanan ses yazJlJnetine dönüstürülerek istemci cihaza iletilebilmektedir. Bulus kapsammida sürücü ile yolcunun haberlesmesi sîashda özellikle sürücünün sesli komut vermesinin aktive olmasi için bir sistemin sürücü-yolcu tarafmim aktiflestirilmesi gerekmektedir. Bahsedilen aktiflestirme direksiyon üzerinde yer alan iletisim butonu vasîasEile baslatIabilecegi gibi önceden hazm tanEnlanmß sesli komut ile gerçeklestirilebilmektedir. Sekil 3'de bulus ile yolcudan sürücüye veri aktarLmJJiU gösteren akLs diyagrami verilmistir. Bulusun sahip oldugu istemci üzerinden yolcu ile sürücünün haberlesmesinde; istemcinin sahip oldugu panel üzerinde yer alan görsel anlatmlardan ihtiyacma karsüLk geleni seçmesi ya da ihtiyacniLlyazüUolarak anlatmasi ile gerçeklesmektedir. Görsel anlatFma karsfmt gelen ifade ana cihaz üzerinde islenerek sürücüye sesli olarak aktarLlmaktaclm. Bulusun tercih edilen bir yapmanmaslida yolcuya iletilen görsel resim isaret dili olan sekilli ifadelerdir. Bulusun tercih edilen bir yapIanmasmda yolcu cihaznli (20) sahip oldugu kamera (24) ile yolcunun isaret dili ile konusmasi islenmekte ve yazlLl metine dönüstürülmektedir. Bahsedilen yapIanmayE anlatan akS diyagramE sekil 4lde verilmistir. Bahsedilen dönüstürme islemi yolcu cihazniLm (20) bünyesinde bulunan kontrolörde ya da cloudda ya da sürücü cihaz-nin (10) sahip oldugu kontrolör (12) bünyesinde yapElmaktadE. Olusturulan metin sürücü cihazj(10) ile ses verisine dönüstürülmekte ve sürücünün engelli yolcunun isaret dili ile konusmasLanesli olarak duymaSJSaglanmaktad I. Bahsedilen isaret dili tanWnlama sisteminin aktif olmasîdurumunda sürücünün sesli olarak ifade ettigi kelimeler cümle yapBIida isaret dili alfabesinde yolcuya aktarirnaktadît. Bu yapmanmada yolcu cihazmim (20) sahip oldugu yolcu ekrannda (200) otomatik olarak semboller belirmekte ve engelli yolcu ile sürücünün eszamanli? olarak iletisime geçmesi saglanmaktad m. Bulusun tercih edilen bir yapüanmasmida araç içerisinde en az bir adet ses algüama birimi (14) olan mikrofon içeren, ses algTama birimi (14), yolcudan gelen taleplerin sesli olarak sürücüye aktarlmasniisaglayan en az bir adet ses çkLs birimi (13) olan hoparlör, sürücünün konusmasmîyolcuya görsel olarak aktartlmasîlilîsaglayan yolcu ekranmia (200) sahip en az bir adet yolcu cihazD(20), bahsedilen yolcu cihazEüzerinde en az bir adet yolcu metin giris birimi (21), en az bir adet yolcu metin çiks birimi (22), en az bir adet kamera (23) içeren isitme ya da konusma engelli yolcular ile sürücünün sesli olarak iletisime geçmesini saglayan bir sistem. TR TR DESCRIPTION HEARING AND SPEECH IMPAIRED COMMUNICATION SYSTEM TECHNICAL FIELD The invention relates to a system that enables the driver to communicate safely with hearing or speech impaired passengers in vehicles while driving. BACKGROUND ART What if there are hearing or speech impaired passengers in vehicles? In this case, it was very difficult for the driver to communicate with the passengers in question. In such communication situations, the driver's attention may be distracted and this puts the herd in danger. E. In commercially operating public transport vehicles, such as buses, there is no provision that allows hearing or speech impaired passengers to communicate with the host or stewardess. With the development of technology in the known technique, there are applications that make it easier to communicate with hearing or speech impaired people. However, it is not possible for the driver to use these applications in a practical and non-distracting way. In summary, the driver has a problem in communicating with the hearing or speech impaired passenger in the passenger compartment of commercial or passenger vehicles. 1. As a result, all the problems mentioned above have made it necessary to make an innovation in the relevant field. PURPOSE OF THE INVENTION The present invention aims to eliminate the problems mentioned above and to make a technical innovation in the relevant field. The main purpose of the invention is to introduce a system that allows the driver to communicate safely with disabled passengers. Another purpose of the invention was to enable the driver to communicate with the passenger just by speaking while driving. Another purpose of the invention was to enable the driver to communicate easily for both speech and hearing impaired passengers. Another purpose of the invention is to create a system that allows drivers with speech or hearing impairments to communicate safely with passengers. BRIEF DESCRIPTION OF THE INVENTION The present invention, which aims to achieve all the purposes mentioned above and explained in detail below, is a communication system for the hearing and speech impaired. The invention is a method that enables the driver to communicate with a hearing or speech impaired passenger and its feature is to detect the driver's speech, to process the detected voice packet and convert it into a text file and/or to match the voice packet with the mixed picture, to transfer the created text or the selected picture to the client in the passenger compartment and to transmit the passenger's visual (text or image), and/or the passenger selects the picture appropriate to his/her request through the client and/or enters the software, the entered text is transferred to the device in the driver's compartment, the device in the driver's compartment converts the received data into voice data and the driver is notified aloud, the process name is InlarlTilTii. In another preferred embodiment of the invention, the process of converting the sound packet received from the driver's speech primarily involves converting the audio data into text (string) data and matching the image. In another preferred embodiment of the invention, during the conversion process that takes place while the sign chosen by the passenger is transferred to the driver, the text (string) corresponding to the image data is converted into data and then converted into a sound packet. In another preferred embodiment of the invention, the driver and the disabled passenger are visually informed via the said communication sWasFriida, which enables the driver and the disabled passenger to communicate simultaneously. In another preferred embodiment of the invention, the passenger device? With the camera on it, the sign language alphabet used by the disabled passenger when he speaks with sign language is detected and the process of determining the picture appropriate to the request of the said passenger through the client is carried out. In another preferred embodiment of the invention, in the second processing step, the expression in the said sound packet is selected from the sign language alphabet of the picture. In another preferred embodiment of the invention, the pictures from the sign language alphabet coming to the driver device are converted into text or audio files by the controller and the driver is informed aloud. In another preferred embodiment of the invention, the expression in the sound packet mentioned in the process step is mixed with the image source cloud or driver device, which is the sign language alphabet of the image. Using this IUS, the driver activates the communication system with the passenger. The mentioned activation process can be a button on the steering wheel, or if it is recognized, it starts to work with a special voice command. Once the system is activated, the expression spoken by the driver is converted into written text, depending on the driver's preference or the passenger's preference, by voice recognition, and the picture opposite the relevant expression is sent to the passenger panel. For example, the picture with the word restaurant shows the driver saying, "Do you want to eat?" It is automatically transferred to the passenger with the expression. Similarly, if the picture with the expression restaurant is selected by the passenger, the relevant expression is converted into a sound package and transmitted through the speakers in the driver's compartment as the expression "KarnWn Acrktf" etc. The protection scope of the invention is specified in the claims and cannot be limited to what is explained in this brief and detailed explanation for exemplary purposes. It became clear that a person skilled in the art could produce similar structures in the above-mentioned explanations, without being aware of the main theme of the invention. BRIEF DESCRIPTION OF THE DRAWINGS Figure 1A shows a representative picture showing the use of the invention by the passenger. Figure 1B shows a representative picture showing the invention being used by the driver. Figure 2 shows the flow diagram of the invention describing the communication between the driver and the passenger. Figure 3 shows the axis diagram of the invention that provides communication between the passenger and the driver. Figure 4 shows a flow diagram explaining the sign language reading system of the invention. DESCRIPTION OF REFERENCE NUMBERS IN THE FIGURES. Driver device? 100. Driver display 11. Communication type selection unit 12. Controller 13. Audio output unit 14. Audio detection unit. Passenger Device: 200. Passenger display: 21. Passenger text input unit 22. Passenger text input unit 23. Camera 24. Picture input-cm3 unit DETAILED DESCRIPTION OF THE INVENTION In this detailed description, the hearing and speech impaired communication system, which is the subject of the invention, is only used for better understanding of the subject. It is explained with examples that will not create any negative impact. The subject of the invention relates to the system that enables the driver to communicate safely with hearing or speech impaired passengers in vehicles while driving. Figure 1 shows a representative picture showing the device being used by the passenger. The device used on the passenger side preferably consists of a screen with a touch panel. The device in question can be mounted on the headrests of the seats in automobiles and can also be used as a portable device. Aerca can be positioned at the back of the seat in commercial vehicles used to transport passengers. Within the scope of the invention, the system consists of at least one client device on the driver's side and at least one passenger device (20) in the passenger compartment. In the preferred embodiment, the driver device (10), which is the main device in the driver section of the invention, contains at least one sound detection unit (14) and at least one sound output unit (13) near the driver. The said sound detection unit (14) is a microphone in the preferred embodiment of the invention, and the sound output unit (13) is the vehicle's internal speakers or the conversion module connected to the said speakers. The driver device (10) of the invention includes an integrated driver screen (100). Said driver screen](100) allows data entry by touch in the preferred embodiment. Said driver device (10) contains at least one communication type selection unit (11). The type of communication mentioned can be via text (write) or image. The driver device (10) contains at least one controller (12) and carries out the process of detecting and converting the sound into text or deciding to select the relevant image from the database. The passenger device (20) of the invention includes at least one passenger screen (200). Said passenger display (200) provides visual transmission of the statements coming from the driver to the disabled passenger. There is at least one text input unit (21) on the said passenger screen (200). The text input unit (21) vasWasTrick enables the disabled passenger to communicate with the driver via text. The image input-tRFs unit (24) reflecting the text input unit (21) is located on the screen (200). By means of the text input-computer unit (24), the desired picture is selected from the screen and the meaning of the said picture is conveyed to the driver. In a preferred embodiment of the invention, there is at least one camera (23) on the passenger device (20). The image taken by the said camera (23) via the passenger device (20) is transmitted to the driver device (10). In this way, the image of the disabled passenger's condition can be transferred to the driver whenever he wants. Within the scope of the invention, the main device located on the driver's side contains at least one microphone, and it is positioned in the vehicle, especially on the cabin, at a distance that can receive the driver's voice without changing his driving position. In the preferred embodiment of the invention, sound transfer to the driver can be achieved through the vehicle's internal speakers or via wireless headphones. Figure 2 shows the flow diagram showing the operation of the invention and the transfer of information from the driver to the passenger. Within the scope of the invention, the driver's speech is detected by the main device. The said main device is preferably the driver device (10). The sound detected through the sound detection unit (14) communicating with the driver device (10); It is converted into text and/or the relevant image in the conversion unit by the controller (12) and sent to the passenger device (20) in the passenger compartment. In the preferred embodiment of the invention, the words in the speech are detected in the voice recognition process originating from the driver. It matches the visual narration defined on the device or on the remote server. In the preferred embodiment of the invention, the visual narrations in question are stored as addressed in the main device memory and are transmitted to the client device by calling from the address, compared with the defined voice packet. In the preferred embodiment of the invention, the devices located in the passenger compartment use the main device as the server and works only in conjunction with the main device. In another preferred embodiment, there is a downstream control of the passenger device (20), which is the client device. In a preferred embodiment of the invention, the driver device (10) and the passenger device (20) can communicate with each other via the cloud. In a preferred embodiment of the invention, the driver's voice expression is detected by the voice detection unit that is in communication with the main device. The sound detected by the main device can be converted into software and transmitted to the client device. Within the scope of the invention, the driver-passenger side of a system must be activated in order to enable the driver and passenger to communicate, especially the driver's voice command. The said activation can be initiated via the communication button on the steering wheel, or it can be carried out with a predefined voice command. Figure 3 shows the flow diagram showing the data transfer from the passenger to the driver with the invention. In the communication between the passenger and the driver via the client of the invention; This is achieved by the client selecting the one that corresponds to his need from the visual representations on his panel or by explaining his need in writing. The expression that corresponds to the visual expression is processed on the main device and transmitted aloud to the driver. In a preferred method of the invention, the visual image transmitted to the passenger is shaped expressions that are sign language. In a preferred embodiment of the invention, the passenger's sign language speech is processed and converted into written text by the camera (24) equipped with the passenger device (20). The axis diagram explaining the mentioned structuring is given in Figure 4. The said conversion process is carried out in the controller or cloud within the passenger device (20) or within the controller (12) owned by the driver device (10). The created text is converted into voice data by the driver device (10) and the driver's hearing of the disabled passenger's conversation with sign language is provided without any interference. I. If the said sign language recognition system is active, the words spoken by the driver are transferred to the passenger in the sign language alphabet in sentence form. In this process, symbols automatically appear on the passenger screen (200) of the passenger device (20) and the disabled passenger and the driver communicate simultaneously. It is possible to contact as. In a preferred embodiment of the invention, a speaker containing at least one sound detection unit (14) inside the vehicle, a microphone, a sound detection unit (14), and at least one sound output unit (13) that enables the requests from the passenger to be transmitted audibly to the driver, allows the driver to not speak to the passenger. At least one passenger device D (20) with a passenger screen (200) that provides visual transmission, at least one passenger text input unit (21) on said passenger device, at least one passenger text output unit (22), at least one A system that includes a camera (23) and enables the driver to communicate by voice with hearing or speech impaired passengers. TR TR

Claims (2)

ISTEMLER 1. Bulus, isitme ya da konusma engelli yolcu ile sürücünün haberlesmesini saglayan bir yöntem olup özelligi Sürücünün konusmasinin algilanmasi Algilanan ses paketinin islenerek metin verisine dönüstürülmek sureti ile metin paketinin karsiligi olan resim ile eslestirilmesi Olusturulan metinin ya da seçilen resmin yolcu bölümündeki istemciye aktarilmasi . Yolcunun görsel olarak (metin ya da resim) ile bilgilendirilmesi Yolcunun istemci üzerinden talebine uygun resmin belirlenmesi/seçilmesi ve/veya yazili metin girmesi Girilen metinin sürücü bölümündeki cihaza aktarilmasi . Yolcu bölümündeki cihazdan alinan resim verisinin karsiligi olan metin verisine dönüstürülüp ilgili metin verisinin, ses verisine dönüstürmesi ve sürücünün sesli olarak bildirilmesi Islem adimlarinin gerçeklesmesi ile karakterize edilmektedir.1. The invention is a method that enables the driver to communicate with a hearing or speech impaired passenger and its feature is detecting the driver's speech. Processing the detected voice packet and converting it into text data, matching the text packet with the corresponding image. Transferring the created text or selected image to the client in the passenger compartment. Informing the passenger visually (text or picture). Determining/selecting the image appropriate to the passenger's request via the client and/or entering written text. Transferring the entered text to the device in the driver's compartment. It is characterized by the processing steps of converting the image data received from the device in the passenger compartment into its corresponding text data, converting the relevant text data into audio data, and notifying the driver verbally. 2. Sürücü ile engelli yolcunun es zamanli olarak haberlesmesini saglayan, bahsedilen haberlesme sirasinda sürücünün sesli yolcunun görsel olarak bilgilendirilmesini saglayan istem 1'e uygun yöntem. . B islem adiminda bahsedilen ses paketindeki ifadenin karsiligi olan resmin isaret dili alfabesinden seçildigi istem 1'e uygun yöntem. . B islem adiminda bahsedilen ses paketindeki ifadenin karsiligi olan resmin isaret dili alfabesi olan resim kaynagi cloud ya da sürücü cihazi (10) olan istem 1'e uygun yöntem.2. The method according to claim 1, which enables the driver and the disabled passenger to communicate simultaneously, and provides the driver's voice and the passenger to be visually informed during said communication. . The method according to claim 1, in which the picture corresponding to the expression in the sound package mentioned in the B process step is selected from the sign language alphabet. . The method according to claim 1, where the picture source is the cloud or driver device (10), which is the sign language alphabet of the picture corresponding to the expression in the sound packet mentioned in the process step B.
TR2019/22976A 2019-12-31 2019-12-31 HEARING AND SPEAKING DISABLED COMMUNICATION SYSTEM TR201922976A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TR2019/22976A TR201922976A2 (en) 2019-12-31 2019-12-31 HEARING AND SPEAKING DISABLED COMMUNICATION SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TR2019/22976A TR201922976A2 (en) 2019-12-31 2019-12-31 HEARING AND SPEAKING DISABLED COMMUNICATION SYSTEM

Publications (1)

Publication Number Publication Date
TR201922976A2 true TR201922976A2 (en) 2021-07-26

Family

ID=83366295

Family Applications (1)

Application Number Title Priority Date Filing Date
TR2019/22976A TR201922976A2 (en) 2019-12-31 2019-12-31 HEARING AND SPEAKING DISABLED COMMUNICATION SYSTEM

Country Status (1)

Country Link
TR (1) TR201922976A2 (en)

Similar Documents

Publication Publication Date Title
US11955126B2 (en) Systems and methods for virtual assistant routing
US9679557B2 (en) Computer-implemented method for automatic training of a dialogue system, and dialogue system for generating semantic annotations
KR101910383B1 (en) Driver assistance apparatus and vehicle including the same
KR102554934B1 (en) Vehicle including communication system for disabled person and control method of communication system for disabled person
US9552830B2 (en) Vehicle language setting system
CN112441010A (en) System and method for reducing anxiety of vehicle occupants
JP2020060861A (en) Agent system, agent method, and program
TR201922976A2 (en) HEARING AND SPEAKING DISABLED COMMUNICATION SYSTEM
US20200178073A1 (en) Vehicle virtual assistance systems and methods for processing and delivering a message to a recipient based on a private content of the message
US11518398B2 (en) Agent system, agent server, method of controlling agent server, and storage medium
US20220005469A1 (en) Providing Interactive Feedback, on a Spoken Announcement, for Vehicle Occupants
KR102371513B1 (en) Dialogue processing apparatus and dialogue processing method
JP2022175171A (en) Vehicle and vehicle system
US20220201083A1 (en) Platform for integrating disparate ecosystems within a vehicle
JP7192561B2 (en) Audio output device and audio output method
JP2020060623A (en) Agent system, agent method, and program
US20220199081A1 (en) Routing of user commands across disparate ecosystems
US11959764B2 (en) Automated assistant that detects and supplements various vehicle computing device capabilities
JP2018167737A (en) On-vehicle communication device mounted on vehicle to enable communication with user getting in vehicle, communication method and program
JP2019212168A (en) Speech recognition system and information processing device
CN109941210B (en) Vehicle-mounted control device, method, medium, and speaking response method
WO2022239642A1 (en) Information providing device for vehicle, information providing method for vehicle, and information providing program for vehicle
JP2021105770A (en) Conversation assistant apparatus and method
WO2021260821A1 (en) Information processing system for duplicating user's input information and inputting same to another user's agent
US11518399B2 (en) Agent device, agent system, method for controlling agent device, and storage medium