RU2691864C1 - Telecommunication complex - Google Patents

Telecommunication complex Download PDF

Info

Publication number
RU2691864C1
RU2691864C1 RU2018121852A RU2018121852A RU2691864C1 RU 2691864 C1 RU2691864 C1 RU 2691864C1 RU 2018121852 A RU2018121852 A RU 2018121852A RU 2018121852 A RU2018121852 A RU 2018121852A RU 2691864 C1 RU2691864 C1 RU 2691864C1
Authority
RU
Russia
Prior art keywords
hearing
speech
people
person
communication
Prior art date
Application number
RU2018121852A
Other languages
Russian (ru)
Inventor
Анатолий Васильевич Кочергин
Павел Викторович Накоряков
Григорий Иванович Павлов
Ксения Анатольевна Валеева
Original Assignee
Общество с ограниченной ответственностью "РостРесурс-Инклюзия"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "РостРесурс-Инклюзия" filed Critical Общество с ограниченной ответственностью "РостРесурс-Инклюзия"
Priority to RU2018121852A priority Critical patent/RU2691864C1/en
Application granted granted Critical
Publication of RU2691864C1 publication Critical patent/RU2691864C1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/18Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • G10L15/25Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies
    • G10L17/10Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

FIELD: computer equipment.SUBSTANCE: invention relates to computer engineering for processing and transmitting data with correction of spelling errors. Technical result is achieved due to telecommunication complex containing devices for communication of people with hearing and/or speech defect with speaking and hearing person via wireless communication with possibility to send text messages with feedback in real time from one device to another, a built-in speech synthesizer, a keyboard with acknowledgment of incoming messages by vibration of devices, a personal computer equipped with a program for checking spelling of input text, a video camera with a microphone, a projector, an interactive whiteboard, a video telephone communication device in the form of a smartphone or a personal computer.EFFECT: broader communicative function of the language of communication of people with hearing and speech defects with a talking and hearing person by increasing the volume of transmitted information.1 cl, 1 dwg

Description

Изобретение относится к области обработки и передачи данных с корректировкой орфографических ошибок с помощью пособий для общения людей с дефектами слуха и речи с говорящим и слышащим человеком и может быть использовано в образовательном процессе дистанционного обучения студентов с дефектами слуха и речи в режиме реального времени.The invention relates to the field of processing and transmitting data with the correction of spelling errors with the help of tools for communication of people with hearing and speech defects with a speaking and hearing person and can be used in the educational process of distance learning of students with hearing and speech defects in real time.

Известен комплекс «Interpretype» (www.interpretype.com) для общения глухих людей со слышащими, представляющий собой два устройства, предназначенных для обмена текстовыми сообщениями.The “Interpretype” complex (www.interpretype.com) is known for communicating to deaf people with hearing, representing two devices designed for text messaging.

Известен комплекс «UbiDuo» (www.scomm.com), состоящий из двух механически соединенных устройств. После разъединения устройств одно из устройств передается слышащему человеку, второе находится у глухого человека. Затем устанавливается соединение между устройствами с помощью беспроводной связи. Далее происходит обмен текстовыми сообщениями между глухим и слышащим, ввод сообщений производится встроенной в каждое устройство физической клавиатурой, вывод сообщений производится на дисплеи устройств.The famous complex "UbiDuo" (www.scomm.com), consisting of two mechanically connected devices. After the devices are disconnected, one of the devices is transmitted to the hearing person, the second is from the deaf person. Then a connection is established between the devices using a wireless connection. Next, there is an exchange of text messages between the deaf and the hearing, the message is inputted by a physical keyboard built into each device, and messages are displayed on the device displays.

Известен способ общения глухих (слабослышащих) со слышащими, включающий получение информации с характерных жестикуляций пальцев рук и\или мимических движений частей лица (губ, носа, переносицы, глаз) с помощью мини-видеокамеры в виде аудио- и видеосигналов, и передачу ее на персональный компьютер слышащего, которые затем синтезируют с аудио- и видеосигналами и преобразовывают с помощью программного обеспечения телекоммуникационного устройства в текстовый формат и выводят его на экран смартфона и/или персонального компьютера. Для этого слабослышащий набирает информацию в текстовом формате, которую корректируют в соответствии с правилами языка с помощью специального программного обеспечения телекоммуникационного устройства, и отправляет ее на экран в окно обмена сообщений (чат) через беспроводные/ проводные виды связи для считывания слышащим. Причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, наряду с чем весь диалог отображают на экранах в режиме реального времени. Заявка №2016139836 А на изобретение «Способ общения глухих (слабослышащих) со слышащими». - МПК: G06F 17/28, G09B 21/00, G10L 15/26, G10L 21/06. - 10.04.2018).There is a method of communication between the deaf (hearing impaired) and hearing, including obtaining information from the characteristic gestures of the fingers and / or facial movements of parts of the face (lips, nose, nose, eyes) using a mini-video camera in the form of audio and video signals, and transmitting it to the personal computer of the hearing, which are then synthesized with audio and video signals and converted using the software of the telecommunications device into text format and displayed on the screen of the smartphone and / or personal computer. For this, the hearing impaired collects information in text format, which is adjusted in accordance with the rules of the language with the help of special software of the telecommunications device, and sends it to the screen in the messaging window (chat) via wireless / wired communication for reading by the hearing. Moreover, the hearing impaired is notified of the receipt of information by a vibro and / or light signal, and the hearing is signaled by a sound signal, along with which the entire dialogue is displayed on the screens in real time. Application No. 2016139836 A for the invention "Method of communication between the deaf (hearing impaired) and hearing." - IPC: G06F 17/28, G09B 21/00, G10L 15/26, G10L 21/06. - 04/10/2018).

Наиболее близким аналогом, выбранным в качестве прототипа, является программно-аппаратный комплекс для общения слабослышащих, глухих, глухонемых, немых людей со слышащими говорящими людьми, содержащий два устройства, соединенные между собой беспроводной связью, с возможностью отправки с устройства на устройство текстовых сообщений. Устройства выполнены с возможностью синтезирования речи и проговаривания текстовых сообщений первым из устройств, голосового набора сообщений вторым из устройств, и ввода сообщений с помощью встроенной виртуальной клавиатуры в каждом из устройств с подтверждением входящих сообщений вибрацией устройств. Устройства закреплены на общей платформе с возможностью вращения устройств относительно друг друга, снятия с платформы каждого из устройств, разъединения частей платформы вместе с устройствами или использования устройств независимо от платформы. (Патент RU №123556 U1 на полезную модель. Программно-аппаратный комплекс для расширения возможностей общения слабослышащих, глухих, глухонемых, немых людей со слышащими говорящими людьми. - МПК: G06F 17/20. - 27.12.2012).The closest analogue chosen as a prototype is a hardware-software complex for communication of hearing impaired, deaf, deaf-and-dumb, dumb people with hearing speakers, containing two devices interconnected wirelessly, with the ability to send text messages from device to device. The devices are made with the ability to synthesize speech and pronunciation of text messages by the first device, voice dialing messages by the second device, and entering messages using the built-in virtual keyboard in each of the devices with confirmation of incoming messages by device vibration. The devices are mounted on a common platform so that the devices can rotate relative to each other, remove each device from the platform, separate parts of the platform with the devices, or use devices independently of the platform. (Patent RU No. 123556 U1 for a utility model. Hardware-software complex for expanding communication opportunities for hearing-impaired, deaf, deaf-and-dumb, dumb people with hearing talking people. - IPC: G06F 17/20. - 27.12.2012).

Недостатком данного технического решения является ограниченность общения слабослышащих и глухих людей со слышащими, заключающееся в искажении смыслового содержания предложений при переводе на язык жестов и мимики из-за недостаточности коммуникативной функции языка, что не позволяет вести качественный диалог в образовательном процессе и общении со слабослышащими и глухими людьми.The disadvantage of this technical solution is the limited communication of hearing impaired and deaf people with hearing, which consists in distorting the semantic content of sentences when translating gestures and facial expressions into the language due to the lack of communicative function of the language, which does not allow for a qualitative dialogue in the educational process and communication with the hearing impaired and deaf by people.

Основной задачей изобретения является повышение качества общения людей с дефектами слуха и речи со слышащими и говорящими людьми в процессе обучения в режиме реального времени путем увеличения объема передаваемой информации за счет расширения коммуникативной функции языка общения.The main objective of the invention is to improve the quality of communication of people with hearing and speech defects with hearing and speaking people in the process of learning in real time by increasing the amount of information transmitted by expanding the communicative function of the language of communication.

Техническим результатом заявляемого технического решения является расширение коммуникативной функции языка общения людей с дефектами слуха и речи с говорящим и слышащим человеком за счет увеличения объема передаваемой информации.The technical result of the proposed technical solution is the expansion of the communicative function of the language of communication of people with impaired hearing and speech with the person speaking and hearing by increasing the amount of information transmitted.

Указанный технический результат достигается тем, что в телекоммуникационном комплексе, содержащем устройства приема\передачи информации для общения людей с дефектом слуха и/или речи с говорящим и слышащим человеком по телекоммуникационной связи с возможностью отправки с одного устройства на другое текстовых сообщений с обратной связью в режиме реального времени, встроенный в устройство для человека с дефектом слуха и/или речи синтезатор речи для преобразования речи в текст с помощью специальных сервисов распознавания речи или встроенным программным обеспечением, а также ввода текстовых сообщений в каждое из устройств встроенной в них клавиатурой с подтверждением вибрацией устройств для тактильного восприятия входящих сообщений, согласно предложенному техническому решению,This technical result is achieved by the fact that in a telecommunications complex containing information receiving / transmitting devices for communication of people with a hearing and / or speech defect with a talking and hearing person via telecommunications, with the possibility of sending text messages with one device to another real-time built-in device for a hearing impaired person and / or speech speech synthesizer to convert speech to text using special speech recognition services or built-in using this software, as well as entering text messages to each of the devices with a built-in keyboard confirming the tactile perception of incoming messages by vibration, according to the proposed technical solution,

устройство приема\передачи информации для говорящего и слышащего человека включает персональный компьютер, снабженный программным обеспечением для проверки орфографии вводимого текста, и видеокамеру с микрофоном для считывания информации с характерных жестикуляций пальцев рук и/или мимических движений частей лица (губ, носа, переносицы, глаз) и дублирования проговариваемых текстовых сообщений в виде картины, сопровождаемой субтитрами, проектор и интерактивную доску, снабженную звуковыми колонками, соединенные локальной проводной связью, а устройство для человека с дефектом слуха и/или речи содержит видеотелефонное средство связи в виде смартфона или персонального компьютера с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения и дополнительного оповещения человека с дефектом слуха о получении информации световым сигналом, а слышащего - звуковым сигналом;the device receiving / transmitting information for the speaker and the hearing person includes a personal computer equipped with software for checking the spelling of the entered text, and a video camera with a microphone for reading information from characteristic gestures of the fingers and / or facial movements of parts of the face (lips, nose, nose, eyes) ) and duplication of spoken text messages in the form of a picture, accompanied by subtitles, a projector and an interactive whiteboard, fitted with speakers, connected by local wired to the device, and a device for a person with a hearing and / or speech defect contains a videophone communication device in the form of a smartphone or personal computer with the ability to use in them the function of highlighting and repeating a specific picture of pronunciation or the entire dialogue of communication and additional notification of the hearing impaired person a signal, and hearing - a sound signal;

он содержит несколько видеотелефонных средств связи для людей с дефектом слуха и/или речи, связанных телекоммуникационной сетью с устройством приема\передачи информации говорящим и слышащим человеком, причем второе устройство включает программное обеспечение для сортировки очередности входящей информации при одновременном поступлении сигналов от людей с дефектом слуха и/или речи.it contains several video telephony devices for people with hearing and / or speech, connected by a telecommunications network with a device receiving / transmitting information to a speaker and a hearing person, the second device including software for sorting the order of incoming information while receiving signals from people with a hearing defect and / or speech.

Проведенный заявителем анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностями признаков, тождественных всем признакам заявленного телекоммуникационного комплекса, отсутствуют. Следовательно, заявленное техническое решение соответствует условию патентоспособности «новизна».Conducted by the applicant's analysis of the level of technology has allowed to establish that the analogues, characterized by a set of features that are identical to all the characteristics of the stated telecommunications complex, are missing. Therefore, the claimed technical solution meets the condition of patentability "novelty."

Результаты поиска известных решений в данной области техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявляемого технического решения, показали, что они не следуют явным образом из уровня техники. Из определенного заявителем уровня техники не выявлена известность влияния предусматриваемых существенными признаками заявляемого технического решения преобразований на достижение указанного технического результата. Следовательно, заявляемое техническое решение соответствуют условию патентоспособности «изобретательский уровень».Search results known solutions in this field of technology in order to identify signs that match the distinctive features of the prototype features of the proposed technical solution, showed that they do not follow explicitly from the prior art. From the level of technology determined by the applicant, the influence of the transformations envisaged by the essential features of the proposed technical solution to achieve the said technical result has not been revealed. Therefore, the claimed technical solution meets the condition of patentability "inventive step".

Заявленное техническое решение может быть реализовано для ведения обучения студентов в образовательном процессе. Следовательно, заявляемые технические решения соответствуют условию патентоспособности «промышленная применимость».The claimed technical solution can be implemented for teaching students in the educational process. Therefore, the proposed technical solutions meet the condition of patentability "industrial applicability".

На приведенной фигуре показана схема телекоммуникационного комплекса для общения людей с дефектами слуха и речи с говорящим и слышащим человеком.The above figure shows a diagram of a telecommunications complex for communication of people with hearing and speech defects with a person speaking and hearing.

Сущность заявленного телекоммуникационного комплекса заключается в следующем.The essence of the stated telecommunications complex is as follows.

Телекоммуникационный комплекс содержит одно или несколько (n) устройств 1 приема\передачи информации для людей с дефектом слуха и/или речи и одно устройство 2 приема\передачи информации говорящим и слышащим человеком, связанные телекоммуникационной сетью 3 с возможностью отправки с одного устройства на другое текстовых сообщений с обратной связью в режиме реального времени, видеокамеру 4 для считывания информации с характерных жестикуляций пальцев рук и/или мимических движений частей лица (губ, носа, переносицы, глаз) и дублирования проговариваемых текстовых сообщений в виде картины, сопровождаемой субтитрами, микрофон 5, проектор 6 и интерактивную доску 7, снабженную звуковыми колонками 8, соединенные локальной проводной связью 9. Каждое из устройств 1 для людей с дефектом слуха и/или речи содержит видеотелефонное средство связи, выполненное в виде смартфона или персонального компьютера, с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения и дополнительного оповещения человека с дефектом слуха о получении информации световым сигналом. В каждое из устройств 1 встроен синтезатор речи (условно не показан) для преобразования речи в текст с помощью специальных сервисов распознавания речи или встроенным программным обеспечением, а также клавиатура для ввода исходящих текстовых сообщений из каждого из устройств 1 с функцией подтверждения входящих сообщений вибрацией устройства 1 для тактильного их восприятия. Устройство 2 приема\передачи информации говорящим и слышащим человеком включает персональный компьютер 10, с возможностью проверки орфографии вводимого текста, с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения, сортировки очередности входящей информации при одновременном поступлении сигналов от людей с дефектом слуха и/или речи и дополнительного оповещения слышащего человека звуковым сигналом.The telecommunications complex contains one or several (n) devices 1 receiving \ transmitting information for people with hearing and / or speech defects and one device 2 receiving \ transmitting information to a speaker and hearing person connected by a telecommunications network 3 with the ability to send text messages from one device to another messages with real-time feedback, video camera 4 for reading information from characteristic gesticulations of fingers and / or facial movements of parts of the face (lips, nose, nose, eyes) and duplication of bold text messages in the form of a picture, accompanied by subtitles, microphone 5, projector 6 and interactive whiteboard 7 equipped with speakers 8 connected by local wired communication 9. Each of the devices 1 for people with hearing and / or speech defects contains video telephone communication equipment in the form of a smartphone or personal computer, with the possibility of using in them the functions of highlighting and repeating a specific picture of speaking or the entire dialogue of communication and additional notification of a person with a hearing defect about gender teaching information light signal. A speech synthesizer (conventionally not shown) is built into each of devices 1 for converting speech to text using special speech recognition services or firmware, as well as a keyboard for entering outgoing text messages from each of devices 1 with the function of acknowledging incoming messages by vibrating the device 1 for their tactile perception. The device 2 receiving \ transmitting information by the speaker and hearer includes a personal computer 10, with the possibility of checking the spelling of the entered text, with the possibility of using in them the functions of highlighting and repeating a specific picture of speaking or the entire dialogue of communication, sorting the order of incoming information while simultaneously receiving signals hearing and / or speech impairment and additional warning of the hearing person with a sound signal.

Телекоммуникационный комплекс работает следующим образом.Telecommunications complex operates as follows.

Преподаватель по микрофону 5 произносит речь, которую фиксирует мини-видеокамера 4, закрепленные на его теле. При этом микрофоном 5 фиксируют аудио сигнал, а мини-видеокамерой 4 считывают информацию с характерных жестикуляций пальцев рук и/или мимических движений частей лица (губ, носа, переносицы, глаз) и передают их на персональный компьютер 10 преподавателя. С помощью программы RealSpeaker жестикуляции пальцев рук и мимические движения частей лица (губ, носа, переносицы, глаз) синтезируют с аудио- и видеосигналами и преобразовывают их с помощью программного обеспечения 11 устройства 2 говорящего и слышащего человека в текстовый формат, который в виде картины с субтитрами в режиме реального времени по локальной проводной связи 9 выводят на одно из диалоговых окон интерактивной доски 7 и по телекоммуникационной сети 3 на видеотелефон смартфона или персонального компьютера студентов с дефектами речи и слуха. Информация от студентов с дефектами слуха и речи с помощью клавиатуры, встроенной в каждое из устройств 1, поступившая на персональный компьютер (смартфон) студента в виде текста, с помощью программного обеспечения корректируется в соответствии с правилами языка. Далее студент по телекоммуникационной сети 3 отправляет информацию на персональный компьютер 10 преподавателя, которую с помощью проектора 6 отображают на экране компьютера 10 преподавателя и интерактивной доске 7 в окне обмена сообщениями (чате), снабженную звуковыми колонками 8. При одновременном поступлении сигналов от нескольких студентов с ограниченными возможностями здоровья по слуху благодаря специальному программному обеспечению 11 их сортируют в порядке очередности. С помощью функции оповещения смартфонов или персональных компьютеров, как студентов, так и преподавателя, уведомляют о поступлении сообщения в чат, причем студента с дефектом слуха и речи оповещают о получении информации вибро- и световым сигналами, а слышащего - звуковым сигналом. При необходимости пояснения интересующей области сообщения, студент с дефектом речи и слуха использует функцию выделения и повтора всей картины или всего диалога общения на смартфоне или персональном компьютере в режиме реального времени.The teacher on the microphone 5 makes a speech, which is fixed by the mini-video camera 4, attached to his body. In this case, the microphone 5 records the audio signal, and the mini-video camera 4 reads information from characteristic gestures of the fingers and / or facial movements of parts of the face (lips, nose, nose, eyes) and transmits them to the teacher’s personal computer 10. Using the RealSpeaker program, gestures of the fingers and facial movements of the face (lips, nose, nose, eyes) are synthesized with audio and video signals and converted using the software 11 of the device 2 of the speaker and the hearing person into a text format that is in the form of a picture with using real-time subtitles via local wired connection 9 are displayed on one of the dialog boxes of the interactive whiteboard 7 and over the telecommunication network 3 to the videophone of a smartphone or personal computer of students with speech defects and hearing Information from students with impaired hearing and speech using the keyboard embedded in each of the devices 1, received on a student’s personal computer (smartphone) as text, is adjusted using the software in accordance with the rules of the language. Next, the student on the telecommunications network 3 sends information to the teacher’s personal computer 10, which with the help of the projector 6 is displayed on the teacher’s computer screen 10 and the interactive whiteboard 7 in the chat window equipped with speakers 8. When signals from several students arrive simultaneously hearing impaired thanks to special software 11 they are sorted in order of priority. Using the notification function of smartphones or personal computers, both students and the teacher, notify about the arrival of the message in the chat, and the student with a hearing and speech defect is notified of the information received by vibro and light signals, and the hearing one - by a sound signal. If necessary, an explanation of the area of interest of the message, a student with a speech and hearing impairment uses the function of highlighting and repeating the whole picture or the entire dialogue of communication on a smartphone or personal computer in real time.

Предлагаемое изобретение позволяет более качественно общаться людям с дефектами слуха и речи с говорящим и слышащим человеком, как в обычной жизни, так и в процессе образовательного процесса в режиме реального времени, путем ведения диалога в текстовом формате и картины проговаривания без искажения и сокращения смыслового содержания информации за счет расширения коммуникативной функции языка общения.The present invention allows people with hearing and speech defects to communicate more effectively with the person speaking and hearing, both in everyday life and in the educational process in real time, through dialogue in a text format and a pronunciation picture without distorting and reducing the semantic content of information. by expanding the communicative function of the language of communication.

Claims (2)

1. Телекоммуникационный комплекс, содержащий устройства для общения людей с дефектом слуха и/или речи с говорящим и слышащим человеком по беспроводной связи с возможностью отправки с одного устройства на другое текстовых сообщений с обратной связью в режиме реального времени, встроенный синтезатор речи для проговаривания текстовых сообщений устройством для человека с дефектом слуха и/или речи синтезированным голосом и преобразования речи в текст голосовым набором сообщений от устройства для говорящего и слышащего человека посредством программного обеспечения, а также ввода сообщений в каждое из устройств с помощью встроенной в них клавиатуры с подтверждением входящих сообщений вибрацией устройств, отличающийся тем, что устройство для говорящего и слышащего человека дополнительно включает персональный компьютер, снабженный программой проверки орфографии вводимого текста, и видеокамеру с микрофоном для считывания информации с характерных движений пальцев рук и/или мимики частей лица и дублирования проговариваемых текстовых сообщений в виде картины с субтитрами, проектор и интерактивную доску, соединенные локальной проводной связью, а устройство для человека с дефектом слуха и/или речи содержит видеотелефонное средство связи в виде смартфона или персонального компьютера с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения и дополнительного оповещения человека с дефектом слуха о получении информации световым сигналом, а слышащего - звуковым сигналом.1. Telecommunications complex containing devices for communication of people with a hearing and / or speech defect to a talking and hearing person via wireless communication with the ability to send text messages with real-time feedback from one device to another, built-in speech synthesizer for pronouncing text messages a device for a person with a hearing and / or speech defect in a synthesized voice and converting speech into text by voice dialing messages from the device for the speaker and hearer through m software, as well as input messages to each of the devices using their built-in keyboard with confirmation of incoming messages by device vibration, characterized in that the device for the speaker and hearer additionally includes a personal computer equipped with a spelling program for the entered text and a video camera with microphone for reading information from the characteristic movements of the fingers and / or facial expressions of parts of the face and duplication of the pronounced text messages in the form of a picture with subtitles, a projector and an interactive whiteboard connected by a local wired connection, and a device for a person with a hearing and / or speech defect contains a video telephone communication device in the form of a smartphone or personal computer with the ability to use in them the functions of highlighting and repeating a specific picture of speaking or the entire dialogue and additional notification a person with a hearing impairment about receiving information with a light signal, and a hearing impairment with a sound signal. 2. Телекоммуникационный комплекс по п. 1, отличающийся тем, что содержит несколько видеотелефонных средств связи для людей с дефектом слуха и/или речи, связанных телекоммуникационной сетью с устройством для говорящего и слышащего человека, причем второе устройство включает программное обеспечение для сортировки очередности входящей информации при одновременном поступлении сигналов от людей с дефектом слуха и/или речи.2. Telecommunications complex under item 1, characterized in that it contains several video telephone communication facilities for people with hearing and / or speech defects connected by a telecommunications network to a device for a speaker and a hearing person, the second device including software for sorting the order of incoming information while receiving signals from people with hearing and / or speech impairments.
RU2018121852A 2018-06-13 2018-06-13 Telecommunication complex RU2691864C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2018121852A RU2691864C1 (en) 2018-06-13 2018-06-13 Telecommunication complex

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018121852A RU2691864C1 (en) 2018-06-13 2018-06-13 Telecommunication complex

Publications (1)

Publication Number Publication Date
RU2691864C1 true RU2691864C1 (en) 2019-06-18

Family

ID=66947756

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018121852A RU2691864C1 (en) 2018-06-13 2018-06-13 Telecommunication complex

Country Status (1)

Country Link
RU (1) RU2691864C1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
US20020069069A1 (en) * 2000-12-01 2002-06-06 Dimitri Kanevsky System and method of teleconferencing with the deaf or hearing-impaired
US20100231556A1 (en) * 2009-03-10 2010-09-16 Tandberg Telecom As Device, system, and computer-readable medium for an interactive whiteboard system
RU123566U1 (en) * 2012-06-15 2012-12-27 Вячеслав Николаевич Дианов HIGHER RELIABILITY AIRPORT SECURITY SYSTEM
US20130339025A1 (en) * 2011-05-03 2013-12-19 Suhami Associates Ltd. Social network with enhanced audio communications for the Hearing impaired

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
US20020069069A1 (en) * 2000-12-01 2002-06-06 Dimitri Kanevsky System and method of teleconferencing with the deaf or hearing-impaired
US20100231556A1 (en) * 2009-03-10 2010-09-16 Tandberg Telecom As Device, system, and computer-readable medium for an interactive whiteboard system
US20130339025A1 (en) * 2011-05-03 2013-12-19 Suhami Associates Ltd. Social network with enhanced audio communications for the Hearing impaired
RU123566U1 (en) * 2012-06-15 2012-12-27 Вячеслав Николаевич Дианов HIGHER RELIABILITY AIRPORT SECURITY SYSTEM

Similar Documents

Publication Publication Date Title
US10885318B2 (en) Performing artificial intelligence sign language translation services in a video relay service environment
US9111545B2 (en) Hand-held communication aid for individuals with auditory, speech and visual impairments
CN108702580A (en) Hearing auxiliary with automatic speech transcription
JP2005513619A (en) Real-time translator and method for real-time translation of multiple spoken languages
Glasser et al. Deaf, hard of hearing, and hearing perspectives on using automatic speech recognition in conversation
Samonte et al. BridgeApp: An assistive mobile communication application for the deaf and mute
Millett Accuracy of Speech-to-Text Captioning for Students Who are Deaf or Hard of Hearing.
JP2020181022A (en) Conference support device, conference support system and conference support program
RU2691864C1 (en) Telecommunication complex
Pragt et al. Preliminary evaluation of automated speech recognition apps for the hearing impaired and deaf
Wald Hearing disability and technology
Hanson Computing technologies for deaf and hard of hearing users
US11848026B2 (en) Performing artificial intelligence sign language translation services in a video relay service environment
JPWO2014148190A1 (en) Abstract writing support system, information distribution apparatus, terminal device, abstract writing support method, and program
RU2660600C2 (en) Method of communication between deaf (hard-of-hearing) and hearing
Chaikaew et al. Mobile Application for Thai Sign language
US20240233745A1 (en) Performing artificial intelligence sign language translation services in a video relay service environment
JP2020119043A (en) Voice translation system and voice translation method
TWI719699B (en) Artificial intelligence-assisted ways to say good things
Iglesias et al. New communication technologies for inclusive education in and outside the classroom
Hanson Computing technologies for deaf and hard of hearing users
Alzubaidi et al. Discussion-facilitator: towards enabling students with hearing disabilities to participate in classroom discussions
TWI683290B (en) Spoken language teaching auxiliary method and device
EP4386616A1 (en) Virtual communication techniques
JP2002244542A (en) Education system, terminal device for learner, terminal device for teacher, method for remote education by data communication, and medium with education system program stored therein

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200614