RU2660600C2 - Способ общения глухих (слабослышащих) со слышащими - Google Patents
Способ общения глухих (слабослышащих) со слышащими Download PDFInfo
- Publication number
- RU2660600C2 RU2660600C2 RU2016139836A RU2016139836A RU2660600C2 RU 2660600 C2 RU2660600 C2 RU 2660600C2 RU 2016139836 A RU2016139836 A RU 2016139836A RU 2016139836 A RU2016139836 A RU 2016139836A RU 2660600 C2 RU2660600 C2 RU 2660600C2
- Authority
- RU
- Russia
- Prior art keywords
- hearing
- information
- communication
- telecommunication device
- audio
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 17
- 206010048865 Hypoacusis Diseases 0.000 title claims abstract description 8
- 206010011878 Deafness Diseases 0.000 title claims description 12
- 238000000034 method Methods 0.000 title abstract description 13
- 208000032041 Hearing impaired Diseases 0.000 claims abstract description 18
- 230000005236 sound signal Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Information Transfer Between Computers (AREA)
- Telephone Function (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Изобретение относится к области коммуникации людей, в частности людей с ограниченными возможностями здоровья по слуху со слышащими. Техническим результатом является повышение коммуникативности связи между людьми с ограниченными возможностями здоровья по слуху и слышащими в режиме реального времени. В способе обеспечивают получение и передачу информации от слышащего к слабослышащему в виде аудио- и видеосигналов, преобразование их в текст, вывод его на экран, согласно которому получение и передачу информации от слабослышащего к слышащему осуществляют через телекоммуникационное устройство в виде смартфона и/или персонального компьютера, для чего слабослышащий набирает информацию в текстовом формате, которую корректируют в соответствии с правилами языка с помощью специального программного обеспечения телекоммуникационного устройства, и отправляет ее на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания слышащим, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, наряду с этим весь диалог отображают на экранах в режиме реального времени. 1 ил.
Description
Изобретение относится к области коммуникации людей с ограниченными возможностями по слуху со слышащими, для ведения диалога в различных сферах деятельности человека, а также при общении людей в образовательном процессе с инклюзивным образованием (коррекционные школы, высшие учебные заведения).
Известен способ перевода речи на жестовый язык для глухих, заключающийся в получении информации от слышащего к слабослышащему, обработке аудио- и видеосигналов через микрофон и камеру, видоизменении их с помощью преобразователя в текст, вывода его для считывания на компьютер, взаимодействуя с базой видеоданных, в которой помимо самих видео имеются промежуточные видеофрагменты, которые вставляют между последовательностями видео с жестами во время сурдоперевода, в котором переводят транслируемый текст в соответствующие видеофрагменты на жестовом языке, в подаче на компьютер аудио- и видеосигналов, из которых логическим устройством, динамически изменяющим сами сигналы и скорость воспроизведения видеопоследовательностей жестового языка, выводят временную информацию и которые, преобразовывая в цифровой сигнал, подают через радиопередатчик телевизионного сигнала на приемник, в отображении на экране видеофрагментов жестового языка, при этом имеется второй независимый вариант передачи видеопоследовательностей жестового языка, предусматривающий их воспроизведение из видеопамяти или непосредственно с компьютера для потокового вещания, при этом воспроизводят аудиокнигу и преобразовывают аудио- и видеосигналы в цифровой телевизионный сигнал для отображения на экране приемника (Патент CN №102893313 А, МПК: G06F 17/28, G09B 21/009, опубл. 23.01.2013, http://www.google.com.mx/patents/CN102893313A?hl=ru&cl=en или патент US №20130204605 А1, МПК: G06F 17/28, G09B 21/009, опубл. 8.08.2013, http://www.google. com.mx/patents/US 20130204605?hl=ru&cl=en).
Недостатками вышеприведенного способа является сложность процесса, заключающаяся в потере смыслового содержания предложения при переводе на язык жестов, необходимости наличия большого объема оперативной памяти, отсутствии возможности обратной связи при передаче информации от глухого (слабослышащего) к слышащему, что ведет к снижению эффективности передачи информации в образовательном процессе, а в целом, к отсутствию возможности коммуникации людей.
Наиболее близким по технической сущности к заявляемому техническому решению, выбранному в качестве прототипа, является способ и система обеспечения перевода информации на язык жестов или другие языки, заключающиеся в получении информации от слышащего к слабослышащему, обработке аудио- и видеосигналов, преобразовании их в текст и выводе его на экран телекоммуникационного устройства, извлечении соответствующих обработанным сигналам последовательностей видеоклипов с сурдопереводом, отображении их на экране для считывания. При транслировании видеоклипов жестового языка во время паузы выводят промежуточную фигуру человека - аватара в нейтральном положении для их связки, при этом для выполнения всех перечисленных действий используют один и более процессоров (патент US №9282377 В2, МПК G06F 17/28, G09B 21/009, опубл. 8.03.2016, https://www.google.com.mx/patents/US9282377 dq
=US+9282377+B2&hl=ru&sa=X&ved=0ahUKEwih6bGgtJvPAhUFPRoKHT-NBVQQ6AEIHTAA).
Недостатком данного технического решения является низкая эффективность общения слышащих со слабослышащими, заключающаяся в искажении смыслового содержания предложений при переводе на язык жестов, что не позволяет вести диалог в образовательном процессе и общении людей, что, в конечном итоге, снижает качество понимания, а в целом коммуникативность людей.
Основной задачей изобретения является повышение качества понимания в общении
глухих (слабослышащих) со слышащими людьми в форме диалога как в обычной жизни, так и в процессе обучения, в режиме реального времени, не прибегая к сурдопереводу.
Техническим результатом заявляемого технического решения является повышение эффективности общения людей с ограниченными возможностями по слуху со слышащими, без сурдоперевода, в режиме реального времени путем ведении диалога в текстовом формате без искажения и сокращения смыслового содержания информации.
Указанный технический результат достигается тем, что в способе общения глухих (слабослышащих) со слышащими, заключающемся в получении и передаче информации в виде аудио- и видеосигналов через телекоммуникационное устройство на смартфон и/или персональный компьютер, преобразовании их в текст и выводе его на экран, для чего набирающие информацию в текстовом формате корректируют в соответствии с правилами языка с помощью программного обеспечения телекоммуникационного устройства и отправляют на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, согласно которому при передаче информации от слабослышащего и/или к слышащему считывают информацию с характерных жестикуляций рук и мимических движений лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры и передают ее на его персональный компьютер, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, причем используют на смартфоне и/или персональном компьютере функцию выделения определенной картины, при этом весь диалог отображают на экранах в режиме реального времени, а при поступлении сигналов запроса от нескольких слабослышащих, последние сортируют в порядке очередности их обращения.
Для пояснения технической сущности на приведенной фигуре схематично показано общение глухих (слабослышащих) со слышащими предложенным способом.
В соответствии с заявленным изобретением предложенный способ общения глухих (слабослышащих) со слышащими реализуется следующим образом:
Преподаватель произносит речь, которую фиксируют мини-камера с микрофоном, закрепленные на его теле. При этом микрофоном фиксируют голос, а мини-видеокамерой считывают информацию с характерных жестикуляций рук и мимики лица и передают их на персональный компьютер преподавателя в виде аудио- и видеосигнала. При интеграции голоса, а также жестикуляции и мимики в аудио- и видеосигналы используются программы RealSpeaker, которые с помощью программного обеспечения телекоммуникационного устройства преобразовываются в текстовый формат и выводятся в режиме реального времени на одно из диалоговых окон интерактивной доски. С экрана интерактивной дреки глухие (слабослышащие) получают информацию в текстовой форме.
При передаче информации от глухих (слабослышащих) и/или слышащих студентов считывают информацию с характерных жестикуляций рук и мимических движений лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры их персональных компьютеров, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, а затем передают на персональный компьютер (смартфон) студента в виде текста, который при помощи программного обеспечения корректируют в соответствии с правилами языка.
Далее информацию по сети отправляют на персональный компьютер преподавателя, которую с помощью проектора отображают на интерактивной доске в окне обмена сообщениями (чате). При одновременном поступлении сигналов от нескольких студентов с ограниченными возможностями здоровья по слуху благодаря программному обеспечению телекоммуникационного устройства их сортируют в порядке очередности. Причем используют функции выделения и оповещения смартфонов или персональных компьютеров как студентов, так и преподавателя, с помощью которой уведомляют пользователей о поступлении сообщения в чат, причем слабослышащего студента оповещают о получении информации вибро- и световым сигналами, а слышащего - звуковым сигналом. При этом весь диалог отображают на экранах смартфонов или персональных компьютеров в режиме реального времени. Причем, при необходимости пояснения интересующей области на графическом материале глухой (слабослышащий) студент использует функцию выделения на смартфоне или персональном компьютере, при этом всю картину (весь диалог) также отображают в режиме реального времени на экранах инфокоммуникационной системы.
По своим технико-экономическим преимуществам, по сравнению с известными аналогами, заявляемое изобретение позволяет эффективно общаться слабослышащим (глухим) со слышащими, как в обычной жизни, так и в процессе обучения, в режиме реального времени без сурдоперевода путем ведения диалога в текстовом формате и без искажения и сокращения смыслового содержания информации от слышащего к слабослышащему, что, в целом, повышает коммуникативность людей.
Claims (1)
- Способ общения глухих, слабослышащих со слышащими, заключающийся в получении и передаче информации в виде аудио- и видеосигналов через телекоммуникационное устройство на смартфон и/или персональный компьютер, преобразовании их в текст и выводе его на экран, для чего набирающие информацию в текстовом формате корректируют в соответствии с правилами языка с помощью программного обеспечения телекоммуникационного устройства и отправляют на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания слышащим, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, отличающийся тем, что при передаче информации от слабослышащего и/или к слышащему считывают информацию с характерными жестикуляциями рук и мимическими движениями лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры и передают ее на его персональный компьютер, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, причем используют на смартфоне и/или персональном компьютере функцию выделения определенной картины, при этом весь диалог отображают на экранах в режиме реального времени, а при поступлении сигналов запроса от нескольких слабослышащих, последних сортируют в порядке очередности их обращения.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016139836A RU2660600C2 (ru) | 2016-10-10 | 2016-10-10 | Способ общения глухих (слабослышащих) со слышащими |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016139836A RU2660600C2 (ru) | 2016-10-10 | 2016-10-10 | Способ общения глухих (слабослышащих) со слышащими |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2016139836A RU2016139836A (ru) | 2018-04-10 |
| RU2660600C2 true RU2660600C2 (ru) | 2018-07-06 |
Family
ID=61866726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016139836A RU2660600C2 (ru) | 2016-10-10 | 2016-10-10 | Способ общения глухих (слабослышащих) со слышащими |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2660600C2 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2715792C1 (ru) * | 2019-05-13 | 2020-03-03 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ" (КНИТУ-КАИ) | Учебно-демонстрационный модуль и система обучения глухих, немых и глухонемых людей разговорной речи |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03283852A (ja) * | 1990-03-30 | 1991-12-13 | Nec Corp | 電話装置 |
| JPH05130177A (ja) * | 1991-11-06 | 1993-05-25 | Nippon Avionics Co Ltd | ろうあ者用電話機 |
| US20020069069A1 (en) * | 2000-12-01 | 2002-06-06 | Dimitri Kanevsky | System and method of teleconferencing with the deaf or hearing-impaired |
| RU2303332C2 (ru) * | 2001-10-22 | 2007-07-20 | Рикардо ВЬЕРИ | Система отправки текстовых сообщений, преобразованных в речь, через соединение интернет с телефоном и способ ее работы |
| CN2927535Y (zh) * | 2006-01-09 | 2007-07-25 | 黄吉兴 | 一种聋哑人用的电话 |
| US7580977B1 (en) * | 2004-04-29 | 2009-08-25 | Cisco Technology, Inc. | System for using text terminal for the deaf (TTD) devices for internet instant messaging and chat sessions |
| RU123556U1 (ru) * | 2012-03-27 | 2012-12-27 | Василий Анатольевич Киряков | Программно-аппаратный комплекс для общения слабослышащих, глухих, глухонемых, немых людей со слышащими говорящими людьми |
| US20140229154A1 (en) * | 2013-02-08 | 2014-08-14 | Machine Zone, Inc. | Systems and Methods for Multi-User Multi-Lingual Communications |
-
2016
- 2016-10-10 RU RU2016139836A patent/RU2660600C2/ru not_active IP Right Cessation
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03283852A (ja) * | 1990-03-30 | 1991-12-13 | Nec Corp | 電話装置 |
| JPH05130177A (ja) * | 1991-11-06 | 1993-05-25 | Nippon Avionics Co Ltd | ろうあ者用電話機 |
| US20020069069A1 (en) * | 2000-12-01 | 2002-06-06 | Dimitri Kanevsky | System and method of teleconferencing with the deaf or hearing-impaired |
| RU2303332C2 (ru) * | 2001-10-22 | 2007-07-20 | Рикардо ВЬЕРИ | Система отправки текстовых сообщений, преобразованных в речь, через соединение интернет с телефоном и способ ее работы |
| US7580977B1 (en) * | 2004-04-29 | 2009-08-25 | Cisco Technology, Inc. | System for using text terminal for the deaf (TTD) devices for internet instant messaging and chat sessions |
| CN2927535Y (zh) * | 2006-01-09 | 2007-07-25 | 黄吉兴 | 一种聋哑人用的电话 |
| RU123556U1 (ru) * | 2012-03-27 | 2012-12-27 | Василий Анатольевич Киряков | Программно-аппаратный комплекс для общения слабослышащих, глухих, глухонемых, немых людей со слышащими говорящими людьми |
| US20140229154A1 (en) * | 2013-02-08 | 2014-08-14 | Machine Zone, Inc. | Systems and Methods for Multi-User Multi-Lingual Communications |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2715792C1 (ru) * | 2019-05-13 | 2020-03-03 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ" (КНИТУ-КАИ) | Учебно-демонстрационный модуль и система обучения глухих, немых и глухонемых людей разговорной речи |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016139836A (ru) | 2018-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170243582A1 (en) | Hearing assistance with automated speech transcription | |
| US20020095292A1 (en) | Personalized system for providing improved understandability of received speech | |
| Dhanjal et al. | Tools and techniques of assistive technology for hearing impaired people | |
| Hermawati et al. | Assistive technologies for severe and profound hearing loss: Beyond hearing aids and implants | |
| CN103680231B (zh) | 多信息同步编码学习装置及方法 | |
| Devesse et al. | Speech intelligibility of virtual humans | |
| Han et al. | Effects of modality and speaking style on Mandarin tone identification by non-native listeners | |
| Salvi et al. | Smart glass using IoT and machine learning technologies to aid the blind, dumb and deaf | |
| Miura | Narrative review of assistive technologies and sensory substitution in people with visual and hearing impairment | |
| Meyer et al. | Improving art museum accessibility for adults with acquired hearing loss | |
| Nakai et al. | Viewing speech in action: speech articulation videos in the public domain that demonstrate the sounds of the International Phonetic Alphabet (IPA) | |
| RU2660600C2 (ru) | Способ общения глухих (слабослышащих) со слышащими | |
| Wald | Hearing disability and technology | |
| Hudíková et al. | Post-lockdown metamorphoses of television culture | |
| Walker | The importance of high-frequency bandwidth on speech and language development in children: A review of Patricia Stelmachowicz's contributions to pediatric audiology | |
| CN107566863A (zh) | 一种交流信息展示方法、装置及设备、机顶盒 | |
| CN112052358B (zh) | 显示图像的方法、装置、电子设备和计算机可读介质 | |
| Woelders et al. | New developments in low-bit rate videotelephony for people who are deaf | |
| CN208335209U (zh) | 听障生融合教育课堂辅助系统及装置 | |
| Bakken et al. | Smart universities: Assistive technologies for students with hearing impairments | |
| Alzubaidi et al. | Discussion-facilitator: towards enabling students with hearing disabilities to participate in classroom discussions | |
| Soetemans et al. | When (Shared) Space and Time Don’t Matter. Remote Video-Mediated (Synchronous and Asynchronous) Communication in Flemish Sign Language. | |
| Dayana et al. | Recommendations for Developing a Sign Language Recognition Application for Malaysia | |
| RU2691864C1 (ru) | Телекоммуникационный комплекс | |
| Gupta et al. | Video Conferencing with Sign language Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191011 |