KR20200065323A - OpenCV와 STT기술을 이용한 청각장애우를 위한 발음 교정 학습 솔루션 - Google Patents

Abstract

본 발명은 발음시 자신의 발음이 어떤 식으로 발음이 되는지 텍스트로 확인하여 부정확한 발음이 발생이 되는 부분을 정확한 발음에 대한 솔루션을 제공하여 사용자의 발음을 교정할 수 있다. 이에 대한 시스템 흐름도를 제안한다.

Description

OpenCV와 STT기술을 이용한 청각장애우를 위한 발음 교정 학습 솔루션{Pronunciation Learning Solutions for the Deaf with OpenCV and STT Technology}

본 발명은 영상처리기술과 음성을 텍스트화하는 알고리즘을 활용한다.

영상분석기술

음성을 텍스트화 하는 기술

발음 교정 분석 기술

본 발명에서 사용되는 기술은 OpenCV와 STT기술로, OpenCV를 통해 사용자의 구강구조만을 파악하여 정확한 발음을 하는 표준 데이터와 비교를 하고, STT기술을 사용하여 발음시 자신의 발음이 어떤 식으로 발음이 되는지 텍스트로 확인하여 부정확한 발음이 발생이 되는 부분을 정확한 발음에 대한 솔루션을 제공하여 사용자의 발음을 교정할 수 있다.

이하에서는 본 발명에 의한 OpenCV와 STT을 이용한 발음 교정 기술의 구성 및 그 작용에 대하여 상세히 설명하고자 한다.

컴퓨터에 카메라와 마이크를 설치하고 이는 발음교정 프로그램에서 작동하게 된다. 원하는 발음에 해당하는 문장을 작성하고, 설정된 문장을 발음하는 동안 카메라는 OpenCV기술을 활용하여, 사용자의 얼굴에서 턱, 입술, 혀의 데이터를 추출하여 표준 데이터와 비교하는 작업을 진행하게 된다. 마이크는 사용자의 발음한 음성의 데이터를 받아와 분석하여 사용자가 교정을 원하는 문장과 사용자가 발음한 문장을 비교하여 데이터를 산출하여 데이터베이스에 결과 데이터를 저장하고, 그 데이터와 사용자의 OpenCV를 통해 얻어낸 구강구조의 데이터와 같이 분석하여 사용자의 발음시 어느 부분에서 문제가 생기는지 확인하고, 그에 맞는 솔루션을 제공하게 된다. 회차를 거듭하여 사용자가 얼마나 교정이 바르게 되었는지도 체크 할 수 있도록 한다.

의사소통에서 가장 중요한 것은 대화이다. 선천적이나 후천적의 청각 장애우들은 대화에서 큰 어려움을 겪고 있다. 그들에게는 수화라는 훌륭한 의사소통 방법이 있지만, 일반인중에 수화를 아는 자는 소수라고 할 정도로 적다. 발음 교정 학습 솔루션을 이용하여 청각 장애우들의 발음 교정을 도와 일상생활에서의 의사소통에서 느끼는 불편함을 줄일 수 있다.

청각장애우가 말을 하면 음성과 입모양을 수신하여 분석한다.
입모양을 분석하여 텍스트화한다.
음성을 분석하여 텍스트화한다.
텍스트화된 2개의 정보를 분석해 일치여부를 판독한다.

컴퓨터에 카메라와 마이크를 설치하고 이는 발음교정 프로그램에서 작동하게 된다. 원하는 발음에 해당하는 문장을 작성하고, 설정된 문장을 발음하는 동안 카메라는 OpenCV기술을 활용하여, 사용자의 얼굴에서 턱, 입술, 혀의 데이터를 추출하여 표준 데이터와 비교하는 작업을 진행하게 된다. 마이크는 사용자의 발음한 음성의 데이터를 받아와 분석하여 사용자가 교정을 원하는 문장과 사용자가 발음한 문장을 비교하여 데이터를 산출하여 데이터베이스에 결과 데이터를 저장하고, 그 데이터와 사용자의 OpenCV를 통해 얻어낸 구강구조의 데이터와 같이 분석하여 사용자의 발음시 어느 부분에서 문제가 생기는지 확인하고, 그에 맞는 솔루션을 제공하게 된다. 회차를 거듭하여 사용자가 얼마나 교정이 바르게 되었는지도 체크 할 수 있도록 한다.

.

Claims (1)

1. 발음교정 시스템 흐름도

Images