KR20150059460A - 스마트 폰에서 구화술을 구현하는 방법 - Google Patents

스마트 폰에서 구화술을 구현하는 방법 Download PDF

Info

Publication number
KR20150059460A
KR20150059460A KR1020130143087A KR20130143087A KR20150059460A KR 20150059460 A KR20150059460 A KR 20150059460A KR 1020130143087 A KR1020130143087 A KR 1020130143087A KR 20130143087 A KR20130143087 A KR 20130143087A KR 20150059460 A KR20150059460 A KR 20150059460A
Authority
KR
South Korea
Prior art keywords
speaker
information
voice
smartphone
transmitted
Prior art date
Application number
KR1020130143087A
Other languages
English (en)
Inventor
홍충식
김상민
Original Assignee
홍충식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍충식 filed Critical 홍충식
Priority to KR1020130143087A priority Critical patent/KR20150059460A/ko
Publication of KR20150059460A publication Critical patent/KR20150059460A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

본 특허는 청력을 잃은 사람이나 공공장소 및 회의실 등에서 스마트 폰으로 상대방과 통화를 해야 하는 상황에서 부득이하게 화자의 목소리를 낼 수 없을 경우, 화자의 입술 모양과 혀의 위치 등을 판독하여 구화술로 전달하고자 하는 내용을 표현하는 기술에 관한 내용이다.
본 고안은 스마트 폰의 송화부 즉 마이크와 인접한 일측부에 화자의 입술 모양과 혀의 위치를 확인하여 입 모양과 혀의 위치에 따른 음성을 유추하는 독순(독화)용 카메라가 위치하고, 화자의 입술과 혀의 모양으로 화자가 표현하는 의미를 상대방에게는 별도로 화자가 미리 저장한 화자의 음성 및 합성된 음성과 문자로 전송 할 수 있도록 구현하는 방법에 관한 특허이다

Description

스마트 폰에서 구화술을 구현하는 방법{Lip Reading Method in Smart Phone}
전기/전자/통신
청각장애에 대한 언어 교수법의 하나인 구화술(구화법)을 통해 청각 장애인이 일반인과 의사 전달을 할 수 있다. 구화술은 입술과 혀의 움직임을 독순(독화)하여 시각적 상대방의 말을 읽고, 표출 언어 면에서 시각, 촉각, 근운동 감각 등을 종합적으로 사용해서 발화를 학습 할 수 있다.
본 고안은 구화술의 독순(독화) 기능을 스마트 폰의 마이크 옆에 부착한 별도의 독순(독화)용 카메라를 이용하여 화자 본인의 입술과 혀의 움직임을 판독하여 스마트 폰을 통하여 미리 저장된 화자의 음성 또는 합성된 음성으로 통화 상대방에게 문자와 음성으로 대화 할 수 있다
아래 기술한 선행 기술과 같이 음성 인식을 위해 입술 모양을 인식하는 기술과 자동차에서 주변 소음에 운전자의 음성을 인식하지 못하는 경우 입술 모양 등으로 운전자의 네비게이션 동작 명령을 인식하는 기술과 입술 모양을 추출하는 기술 등이 존재한다. 아래 기술들은 입술 모양을 인식하기 위한 기술과 기기의 동작을 수행하는 목적으로 인식하는 기술에 대한 고안이다.
본 고안은 스마트 폰을 이용하여 상대방과 대화를 하기 위해서 화자의 주변 상황과 화자의 상태에 따라 직접 음성으로 발성 할 수 없을 경우, 음성이 아닌 입술 모양과 혀의 모양을 인식하여 스마트 폰에서 처리하여 전송하면, 상대방은 음성 및 문자로 전달 받아 서로 대화를 할 수 있도록 고안되었다.
음성 인식을 위한 입술영역 검출 및 이를 이용한 입술 모양 정보 획득방법
(출원번호 : 10-2003-0057475)
입술모양 추출방법 및 그 장치
(출원번호: 10-2006-0014215)
립 리딩을 위한 입술 영역 설정 방법 및 장치
(출원번호 : 10-2009-0000124)
본 고안은 청각 장애인 또는 일반인이 스마트 폰으로 통화를 해야 할 경우, 음성으로 발성을 할 수 없는 상황이나 상태에서 상대방과 대화하기 위해서, 스마트 폰의 마이크 주변 특정 위치에 화자의 입술과 혀의 모양을 인식할 수 있는 카메라가 부착되어 있고, 입술과 혀의 모양에 따른 음운 정보가 스마트 폰의 별도의 메모리에 저장되어 있으며, 화자 또는 샘플 음성에 의한 자음과 모음으로 구성된 음소 정보와 액센트와 음장으로 구성된 운소 정보를 스마트 폰의 별도의 메모리에 저장이 되어 있으며, 화자의 입술과 혀의 모양을 독순(독화)하여 판단되어진 정보를 토대로 음성 및 문자로 상대방에게 전달 할 수 있는 고안이다
본 특허는 청각장애인이 일반인과 스마트 폰으로 전화 통화 및 마주보고 대화할 경우, 스마트 폰에 내장된 구화술을 구현하여, 청각장애인의 입술과 혀의 모양을 인식하여 스마트 폰에서 음성 및 문자로 변환하여 상대방에게 전송하거나, 마주 보는 대화 상태에게 스마트 폰의 스피커를 통해서 청각 장애인의 의사 표현을 바로 전달 할 수 있어 청각장애인의 사회 활동을 적극적으로 영위 할 수 있도록 도움을 준다.
또한, 회의실이나 대중 교통을 이용하는 중에 화자의 음성을 다른 사른 사람들이 듣는 것이 부담스러울 경우와 주변의 소음이 많아 상대방이 화자의 음성을 알아 듣지 못할 것 같은 상황에서 본 기능을 활용하여 화자의 입술과 혀의 모양을 인식하여 스마트 폰에서 음성 및 문자로 변환하여 상대방에게 전달 함으로써, 적시 적소에 따른 의사 전달을 원활하게 할 수 있어 화자 뿐 아니라 주변 사람들에게 방해되지 않고 대화가 가능한 효과가 있다.
도 1 실시예
도 2 블록도
본 특허는 도1, 도2에서와 같이 독순(독화) 기능이 있는 스마트 폰을 이용하여 대화 및 통화상대방과 원활하게 의사를 주고 받을 수 있도록 스마트 폰에서 구화술을 구현하는 방법에 대해서 설명하고 있다.
도1 에서 화자(10)가 스마트 폰(20)으로 통화를 할 때, 화자(10)의 상태가 음성으로 의사를 전달 할 수 없는 경우이거나 주변 상황이 음성으로 의사를 전달 하기에 곤란한 상황일 경우 의사 전달을 하기 위한 스마트 폰에서 구화술을 구현하는 방법이다.
스마트 폰(20)은 마이크(30) 주변의 일측부에 화자의 입술과 혀의 모양을 인식 할 수 있는 독순(독화)용 카메라(40)가 부착이 되어 있고, 화자(10)가 통화 또는 대화를 위해서 스마트 폰(20)을 동작 시키면, 상기 스마트 폰(20)에 내장된 독순(독화)용 카메라(40)가 동작하여, 화자(10) 얼굴의 특정되어진 독순(독화) 영역(50)에서 화자(10)의 입술과 혀의 움직임을 인식하는 과정을 거친다.
도2 는 스마트 폰에서 구화술을 구현하기 위한 스마트 폰(20) 내부 구성도 이다.
독순(독화) 카메라(40)로부터 화자(10)의 입술과 혀의 위치를 인식하여 화자(10)의 의사 전달 내용을 읽는 독순(독화)부(100)가 있고, 화자의(10) 의사 전달 내용을 입술과 혀의 형태로부터 읽은 정보를 독순(독화) 판독부(120)로 전달이 되면, 상기 독순(독화) 판독부(120)는 스마트 폰 내부의 특정 저장공간에 독순(독화) 판독을 위한 화자의(10) 입술과 혀의 모양과 위치에 따른 음운 정보가 저장된 제 1 메모리부(110)의 정보와 비교하여, 화자(10)의 의사 전달 내용을 판독한다.
상기 판독된 의사 전달 내용은 제어부(130)를 통해서 화자(10)가 통화 또는 대화 상대방에게 음성으로 의사를 전달 할 지 문자로 의사를 전달 할지 구분하여 음성 합성부(150) 또는 문자 변환부(170)로 판독된 의사 정보를 전달 한다.
상기 음성 합성부(150)에서는 제어부(130)로부터 전달된 화자(10)의 판독된 의사 정보를 제 2 메모리부(140)에 저장된 특정 음성 정보를 이용하여 화자(10)의 음성으로 음성 합성을 하거나 특정 음성 샘플의 음성으로 합성한다. 상기 제 2 메모리부(140)는 화자(10)가 미리 발성하여 저장한, 자음과 모음으로 발음한 음소 정보와 액센트와 음장으로 구성된 운소 정보가 저장되어 있으며, 또한 상기 화자(10)가 음성 발성을 하기 어려운 경우엔 미리 샘플 음성으로 저장된 음소와 운소 정보가 저장되어 있다.
상기 음성 합성부(150)에서 합성한 음성을 음성 전송부(160)로 전달하여, 화자(10)가 상대방과 마주하고 대화 할 경우엔 화자(10)의 스마트 폰(20)의 스피커를 통해서 화자(10)의 의사를 직접 전달하고, 스마트 폰(20)으로 통화를 할 경우엔 이동통신 망을 이용하여 상대방에게 화자(10)의 의사를 실시간으로 전달 한다.
또한, 문자 변환부(170)에서는 제어부(130)로부터 전달된 판별된 의사 정보를 제 1 메모리부(110)에 저장된 독순(독화) 판독을 위한 입술과 혀의 모양과 위치에 따른 음운 정보와 비교하여 화자의 의사를 음소와 운소로 분류하고 조합하여 문자 정보로 변환 한다.
상기 문자 변환부(170)에서 변환된 문자 정보를 문자 전송부(180)로 전달하여 스마트 폰의 이동 통신망을 통해서 상대방에게 전달한다
10 : 화자
20 : 스마트 폰
30 : 마이크
40 : 독순(독화)용 카메라
50 : 독순(독화) 영역
100 : 독순(독화)부
110 : 제1 메모리부
120 : 독순(독화) 판독부
130 : 제어부
140 : 제2 메모리부
150 : 음성 합성부
160 : 음성 전송부
170 : 문자 변환부
180 : 문자 전송부

Claims (16)

  1. 스마트 폰에서 화자의 상태와 주변 상황에 화자의 의사를 음성이 아닌 입술과 혀의 모양으로 전달 할 수 있는 특징의 스마트 폰에서 구화술을 구현하는 방법
  2. 제1항에서 스마트 폰에는 화자의 입술과 혀의 모양을 판독하기 위한 마이크 주변에 독순(독화)용 카메라가 내장되어 독순(독화)부가 있는 스마트 폰에서 구화술을 구현하는 방법
  3. 제2항에서 스마트 폰에 내장된 독순(독화)부에서 읽혀진 화자의 의사 정보를 독순(독화) 판독부에서 제 1 메모리부의 저장된 정보와 비교하여 판독하는 특징의 스마트 폰에서 구화술을 구현하는 방법
  4. 제3항에서 스마트 폰에는 입술과 혀의 모양과 위치에 따른 음운 정보를 미리 저장한 제1 메모리부가 있는 특징의 스마트 폰에서 구화술을 구현하는 방법
  5. 제4항에서 판독된 화자의 의사 정보는 제어부로 전달 되어 음성으로 전달 할 수 있거나 문자로 전달 할 수 있는 특징의 스마트 폰에서 구화술을 구현하는 방법
  6. 제5항에서 음성으로 화자의 의사 정보가 전송되기 위해서 제어부에서 음성 합성부로 의사 정보가 전달되는 특징의 스마트 폰에서 구화술을 구현하는 방법
  7. 제6항에서 음성 합성부는 제 2 메모리부에 저장된 정보를 이용하여 화자의 의사 정보를특정 음성으로 합성하는 특징의 스마트 폰에서 구화술을 구현하는 방법
  8. 제 7항에서 제 2 메모리부는 화자의 음성을 이용하여 자음과 모음으로 구성된 음소 정보와 악센트와 음장으로 구성된 운소 정보로 구분 및 저장하는 특징의 스마트 폰에서 구화술을 구현하는 방법
  9. 제7항에서 제 2 메모리부는 특정 샘플 음성을 이용하여 자음과 모음으로 구성된 음소 정보와 악센트와 음장으로 구성된 운소 정보로 구분 및 저장하는 특징의 스마트 폰에서 구화술을 구현하는 방법
  10. 제7항에서 음성 합성부에서 합성한 특정 음성 정보를 음성 전송부에 전달하는 특징의 스마트 폰에서 구화술을 구현하는 방법
  11. 제10항에서 음성 전송부를 통해 전달된 화자의 의사 정보는 이동통신 망을 통해 상대방에게 전송되는 특징의 스마트 폰에서 구화술을 구현하는 방법
  12. 제10항에서 음성 전송부를 통해 전달된 화자의 의사 정보는 스마트 폰의 내장 스피커를통해 출력되는 특징의 스마트 폰에서 구화술을 구현하는 방법
  13. 제5항에서 문자로 화자의 의사 정보가 전송되기 위해서 제어부에서 문자 변환부로 의사 정보가 전달되는 특징의 스마트 폰에서 구화술을 구현하는 방법
  14. 제13항에서 문자 변화부로 전달된 화자의 의사 정보는 제 1 메모리부에 저장된 정보와 비교해서 문자로 화자의 의사 정보를 변환하는 특징의 스마트 폰에서 구화술을 구현하는 방법
  15. 제14항에서 문자 변화부에서 변환된 화자의 의사 정보는 문자 전송부로 전달되는 특징의 스마트 폰에서 구화술을 구현하는 방법
  16. 제15항에서 문자 전송부로 전달된 화자의 의사 정보는 이동통신 망을 이용하여 상대방에게 전송되는 특징의 스마트 폰에서 구화술을 구현하는 방법
KR1020130143087A 2013-11-22 2013-11-22 스마트 폰에서 구화술을 구현하는 방법 KR20150059460A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130143087A KR20150059460A (ko) 2013-11-22 2013-11-22 스마트 폰에서 구화술을 구현하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130143087A KR20150059460A (ko) 2013-11-22 2013-11-22 스마트 폰에서 구화술을 구현하는 방법

Publications (1)

Publication Number Publication Date
KR20150059460A true KR20150059460A (ko) 2015-06-01

Family

ID=53490547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130143087A KR20150059460A (ko) 2013-11-22 2013-11-22 스마트 폰에서 구화술을 구현하는 방법

Country Status (1)

Country Link
KR (1) KR20150059460A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178157A (zh) * 2019-12-10 2020-05-19 浙江大学 一种基于音调的级联序列到序列模型的中文唇语识别方法
WO2023080296A1 (ko) * 2021-11-08 2023-05-11 엘지전자 주식회사 Ar 디바이스 및 ar 디바이스 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178157A (zh) * 2019-12-10 2020-05-19 浙江大学 一种基于音调的级联序列到序列模型的中文唇语识别方法
WO2023080296A1 (ko) * 2021-11-08 2023-05-11 엘지전자 주식회사 Ar 디바이스 및 ar 디바이스 제어 방법

Similar Documents

Publication Publication Date Title
EP2842055B1 (en) Instant translation system
US20170243582A1 (en) Hearing assistance with automated speech transcription
EP2574220B1 (en) Hand-held communication aid for individuals with auditory, speech and visual impairments
KR101585793B1 (ko) 스마트 보청기
US20140171036A1 (en) Method of communication
US20190138603A1 (en) Coordinating Translation Request Metadata between Devices
US10453459B2 (en) Interpreting assistant system
CN102740227A (zh) 一种紧急呼叫方法及装置
KR102056330B1 (ko) 통역장치 및 그 방법
JP2019208138A (ja) 発話認識装置、及びコンピュータプログラム
JP2017204067A (ja) 手話会話支援システム
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
JP2010034695A (ja) 音声応答装置及び方法
KR20150059460A (ko) 스마트 폰에서 구화술을 구현하는 방법
KR101609585B1 (ko) 청각 장애인용 이동 통신 단말기
KR101846218B1 (ko) 근거리 무선 통신망을 기반으로 청각 장애인의 음성 대화를 지원하는 청각 장애인용 언어통역 보조장치, 음성합성서버, 음성인식서버, 알람 장치, 강연장 로컬 서버, 및 음성 통화 지원 어플리케이션
KR20160122869A (ko) 로봇 팔을 이용한 언어 변환이 가능한 장치
KR102000282B1 (ko) 청각 기능 보조용 대화 지원 장치
US10936830B2 (en) Interpreting assistant system
KR101410321B1 (ko) 무성음성인식 및 발성장치 및 방법
JP6583193B2 (ja) 音声対話システムおよび音声対話方法
JP2006139138A (ja) 情報端末及び基地局
KR20070122329A (ko) 청각장애우를 위한 통화 음성 문자 변환장치
TWI719699B (zh) 人工智慧輔助說好話的方法
KR20130106235A (ko) 청각장애인을 위한 의사 소통장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination