KR101702760B1 - 가상 키보드 음성입력 장치 및 방법 - Google Patents

가상 키보드 음성입력 장치 및 방법 Download PDF

Info

Publication number
KR101702760B1
KR101702760B1 KR1020150096892A KR20150096892A KR101702760B1 KR 101702760 B1 KR101702760 B1 KR 101702760B1 KR 1020150096892 A KR1020150096892 A KR 1020150096892A KR 20150096892 A KR20150096892 A KR 20150096892A KR 101702760 B1 KR101702760 B1 KR 101702760B1
Authority
KR
South Korea
Prior art keywords
voice
user
unit
identification
voice data
Prior art date
Application number
KR1020150096892A
Other languages
English (en)
Other versions
KR20170006369A (ko
Inventor
박남태
Original Assignee
박남태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박남태 filed Critical 박남태
Priority to KR1020150096892A priority Critical patent/KR101702760B1/ko
Publication of KR20170006369A publication Critical patent/KR20170006369A/ko
Application granted granted Critical
Publication of KR101702760B1 publication Critical patent/KR101702760B1/ko

Links

Images

Classifications

    • H04M1/72552—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자가 데이터베이스에 저장된 음성명령어의 학습필요성에 의한 불편을 해소하고, 기존 터치스크린 제어방식의 사용자 경험(UX)의 편의성 및 직관성을 그대로 음성제어에 적용하기 위해 디스플레이부에 표시되는 화면상의 실행단위영역별로 할당된 텍스트 기반 음성합성을 통해 생성된 식별음성데이터와 입력되는 사용자의 음성을 비교하여 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 실행신호를 발생시키도록 구성된 음성제어 영상표시 장치 및 이러한 영상표시 장치의 음성제어 방법을 제공함에 그 목적이 있다.

Description

가상 키보드 음성입력 장치 및 방법 {The method of voice input for virtual keyboard on display device}
본 발명은 가상키보드 음성입력 장치 및 가상키보드 음성입력 방법에 관한 것으로서 더욱 상세하게는, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터와 입력되는 사용자의 음성을 비교하여 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키도록 구성된 가상키보드 음성입력 장치 및 이러한 가상키보드 음성입력 장치의 가상키보드 음성입력 방법에 관한 것이다.
최근 다양한 스마트 기기가 출시됨에 따라 영상표시 장치도 다기능화, 고도화되고 영상표시 장치를 제어하기 위한 다양한 입력 방법도 개발되고 있는데, 마우스, 키보드, 터치패드, 버튼식 리모콘 등과 같은 기존의 방법 외에 모션 센싱 리모콘, 터치스크린 등의 입력 방식이 개발되어 선보이고 있다. 이렇게 다양한 입력 방법 중에서도 사용자가 더욱 손쉽게 영상표시 장치를 제어하기 위하여 사용자의 음성을 인식하여 영상표시 장치를 제어하는 음성제어 방식이 근래에 각광을 받고 있다.
근래 많이 사용되는 스마트폰, 태블릿PC, 스마트TV 등에 널리 음성인식을 이용한 음성제어가 적용되고 있으나 이러한 음성제어의 적용이 신규 설치한 애플리케이션에 대한 지원은 거의 이루어지지 않고 있고, 내장된 애플리케이션의 경우에도 사용자가 데이터 베이스에 저장된 음성명령어를 학습해야 하는 불편함 등이 문제점으로 지적되어 왔다. 즉, 사용자의 편의성 측면에서 만족할 만한 수준의 음성제어 방식은 아직까지 선보이지 못하고 있는 실정이다.
본 발명은 특히, 상술된 음성제어 가능한 영상표시 장치에서 사용자의 음성으로 입력을 하는 경우에서 아래와 같은 문제점을 해결하고자 안출되었다.
1. 시스템 기본 언어로의 입력만 가능하다
예를 들면 후술될 도 1, 2, 3의 경우와 같다. 이때, 시스템 기본 언어는 한글이라고 가정한다. 도 1에서 화면 우측 상단의 마이크 모양을 누르고, 도 2의 화면으로 전환이 되었을 때, 사용자가 “아메리칸”이라고 발화했을 경우, 시스템은 음성인식 및 입력의 결과로 도 3의 화면을 제시해 준다. 즉, 검색결과는 “아메리칸”이다.
만약 사용자가 “American"이라고 입력하고 싶었을 경우에는 음성입력이 불가하다.
2. 동음이의어의 경우 입력오류 방지책이 미비하다.
예를 들면 도 4의 경우 사용자가 “이”라고 발음하는 경우,
숫자 “2”를 발화하려는 의도인지, 한글 모음 “ㅣ”를 발화하는 것인지, 한글로 “이”를 발화하려는 것인지, 혹은 도 5의 “e"를 발화하는 것인지 결정하는 것이 쉽지 않아 음성인식 오류의 가능성이 높기 때문에 사용자의 불편을 초래하게 된다.
3. 다양한 부호 (, . ? ! @ 등)의 음성입력이 쉽지 않다.
예를 들면 사용자에게 “,”는 “쉼표” 등 발음할 내용과 입력 내용을 미리 매칭시킨 것을 학습시킨다 하더라도, 사용자가 “쉼표”라고 발화하면, “,”를 입력하고자 함인지, “쉼표”를 입력하고자 함인지 결정하는 것이 쉽지 않다.
사용자가 때로는 “,”를 입력하고 싶은 경우도 있고, 때로는 “쉼표”라고 입력되길 원하는 경우도 있을 수 있기 때문이다.
본 발명은 상술된 문제를 해결하는 가상키보드 음성입력 장치 및 방법을 제공함에 그 목적이 있다.
전술한 과제의 해결을 위해,
본 발명에 따른 가상키보드 음성입력 장치는 디스플레이부를 구비하고 음성제어가 가능한 가상키보드 음성입력 장치로서, 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스가 저장된 메모리부; 사용자의 음성을 입력받는 음성인식부; 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 정보처리부; 및 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 제어부;를 포함하여 구성된 것을 특징으로 하는 가상키보드 음성입력 장치로서, 상기 메모리부에 저장되는 식별음성데이터는 음소 단위인 것을 특징으로 하고, 상기 정보처리부에서 상기 사용자의 음성과 대응되는 식별음성 데이터가 존재하는지 판단시, 수신된 사용자의 음성을 음소단위로 분할하여 비교하는 것을 특징으로 하며, 상기 정보처리부는 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 것을 특징으로 하는 가상키보드 음성입력 장치에 의해 해결된다.
또한, 전술한 과제의 해결을 위해,
본 발명은, 디스플레이부, 메모리부, 음성인식부, 정보처리부 및 제어부를 포함하여 구성된 가상키보드 음성입력 장치에서 수행되는 가상키보드 음성입력 방법으로서, (a) 상기 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계; (b) 상기 음성인식부가 사용자의 음성을 입력받는 단계; (c) 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및 (d) 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;를 포함하여 구성되는 것을 특징으로 하고, 상기 (a)단계에서 메모리부에 저장되는 식별음성데이터는 음소 단위이고, 상기 (c)단계에서 정보처리부에서 상기 사용자의 음성과 대응되는 식별음성 데이터가 존재하는지 판단시, 수신된 사용자의 음성을 음소단위로 분할하여 비교하는 방식으로 수행되며, 상기 정보처리부는 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 것을 특징으로 하는 가상키보드 음성입력 방법에 의해 해결된다.
본 발명에 따른 가상키보드 음성입력 장치 및 가상키보드 음성입력 방법에 의하면 다음과 같은 효과가 있다.
1. 시스템 기본 언어로의 입력뿐만이 아니고 다양한 언어, 숫자, 기호 등을 입력할 수 있다. 도 4, 도 5의 경우처럼 표시되는 화면을 사용자가 발화하는 내용을 기초로 하여 가상 키보드 하나 하나에 입력신호를 발생시켜 입력되는 효과로서 입력이 되도록 하되, 사용자는 평소처럼 이야기 하듯 음성으로 입력할 수 있다.
2. 동음이의어의 경우 입력오류 방지가 가능하다.
도 4, 도 5의 경우 가상 키보드에는 한/영 전환, 기호 전환, 숫자 전환 등의 가상 키보드 자판이 마련되어 있는 일 실시예가 도시 되어 있는 것이고, 경우에 따라, 한/영 전환, 기호 전환, 숫자 전환 등을 한 화면에 표시되도록 설계하는 것등 변형된 실시예가 가능하다.
동음이의어 입력 오류 방지로서,
사용자가 한글 모음 “ㅣ”가 입력되길 원한 다면 가상 키보드의 입력언어 상태를 “한/영 전환” 입력을 통해 한글 입력 상태로 바꾸고 하면 된다.
마찬가지로 사용자가 영어 “e”를 입력하고자 한다면 가상 키보드의 입력언어 상태를 “한/영 전환” 입력을 통해 영어 입력 상태로 바꾸고 발화하여 음성 입력 하면 된다.
기호, 숫자의 경우도 상술한 경우와 동일하게 적용이 가능하다.
또한, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 음성데이터와 입력된 사용자의 음성을 비교하는 방식으로 입력 제어가 수행되도록 해주어 기존 터치스크린 방식의 입력제어 방식을 그대로 음성제어 방식에 적용시켜 줌으로써 간편하고 정확한 음성제어를 구현할 수 있게 해준다.
또한, 기본 내장된 애플리케이션외에도 신규 설치하는 애플리케이션의 경우에도 식별음성 데이터를 자동 생성하고 저장하여 음성제어가 지원이 되도록 해주기 때문에 사용자 편의성이 높다.
또한, 사용자로 하여금 음성명령어를 학습하지 않고도 편리하게 음성제어를 수행할 수 있게 해준다.
또한, 터치스크린 구현 및 조작이 어려운 웨어러블기기, 가상현실 헤드셋(VR기기)등의 터치스크린을 대체하는 인터페이스를 제공할 수 있으며, 최근 모바일 운영체제를 탑재하여 출시되는 빔프로젝터 또한 터치스크린 제어하는 방식의 사용자 경험(UX)으로 제어가 가능하도록 인터페이스를 제공할 수 있다.
또한, TTS를 위한 언어팩의 설치 만으로 다양한 언어의 음성제어를 지원할 수 있다.
[도 1]은 본 발명의 일 실시예에 따른 스마트폰에서 구글 유투브 앱의 검색화면이다.
[도 2]는 [도 1]의 화면에서 음성인식 입력이 실행되었을 때 나타나는 음성수신 대기화면이다.
[도 3]은 [도 2]에서 “아메리칸”이라고 발화하고, 인식하여 검색된 결과화면이다.
[도 4]는 본 발명의 일 실시예에 따른 검색창에 입력할 언어가 한글인 경우의 가상키보드 자판이 실행되는 실시예이다.
[도 5]는 본 발명의 일 실시예에 따른 검색창에 입력할 언어가 영어인 경우의 가상키보드 자판이 실행되는 실시예이다.
[도 6]은 본 발명에 따른 실행과정의 순서도이다.
이하에서는 본 발명에 따른 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법에 관하여 구체적인 실시예와 함께 상세하게 설명하도록 한다.
<가상키보드 음성입력 장치>
본 발명에 따른 가상키보드 음성입력 장치는 디스플레이부를 구비하고 음성제어가 가능한 가상키보드 음성입력 장치로서, 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스가 저장된 메모리부; 사용자의 음성을 입력받는 음성인식부; 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 정보처리부; 및 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 제어부;를 포함하여 구성된 것을 특징으로 하는 가상키보드 음성입력 장치이다.
본 발명의 다른 특징에 의하면, 상기 메모리부에 저장되는 식별음성데이터는 음소 단위인 것을 특징으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 정보처리부에서 상기 사용자의 음성과 대응되는 식별음성 데이터가 존재하는지 판단시, 수신된 사용자의 음성을 음소단위로 분할하여 비교하는 것을 특징으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 정보처리부는 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 것을 특징으로 할 수 있다.
이와 같은 구성을 가지는 본 발명에 따른 가상키보드 음성입력 장치는 종래 널리 사용되고 있는 스마트폰, 태블릿 PC, 스마트 TV, 네비게이션 장치는 물론 스마트 글래스, 스마트 워치 및 가상현실 헤드셋(VR기기)등 웨어러블 기기 등을 포함하여 음성제어가 가능한 모든 영상표시 장치에 구현될 수 있다.
근래 스마트폰, 태블릿PC 등에 적용되어 널리 사용되는 터치스크린 방식은 GUI(Graphic User Interface) 환경에서 직관적인 입력방식으로서 사용자 편의성이 매우 높다.
본 발명은 음성명령어와 특정 실행내용을 1:1로 대응시키는 방식으로 수행되는 기존의 음성제어 방식을 이용하되 터치스크린 방식의 사용자 경험(UX)에 적용하여 음성제어 해준다는 것에 특징이 있다.
또한, 본 발명은 텍스트 기반 음성 합성을 통해 화면상에 표시되는 텍스트를 기준으로 식별음성 데이터를 생성하기 때문에 식별음성 데이터를 미리 저장하거나, 사용자의 음성을 녹취하는 등의 수고를 덜어준다는 점과, 기존 내장된 애플리케이션 외에 신규 다운로드 되어 설치되는 애플리케이션까지 지원하는 것에 특징이 있다.
통상 음성합성 기술에서는 전처리, 형태소 분석, 파서(Parser), 글자/음운변환기, 운율기호 작성, 합성단위 선정 및 휴지 작성, 음소의 지속시간 처리, 기본 주파수 제어, 합성단위 데이타베이스, 합성음 생성(ex. 조음합성방식, 포만트 합성방식, 연결합성 방식 등)등의 과정을 거쳐 보다 자연스러운 음성으로 합성하게 되는데, 본 발명에서 '사용자 발성에 기초한 음성합성 모델링 정보'란 음성인식부에서 사용자의 음성 명령을 수신했을 때 정보처리부 및 메모리부에서 사용자의 음성을 분석하여 상기 음성합성 처리과정에 이용되는 합성 규칙 및 음소 등을 갱신하여 업데이트 하는 정보를 의미한다.
이러한 사용자 발성에 기초한 음성합성 모델링 정보를 이용하여 식별음성 데이터를 생성하게 되면 더욱 더 높은 음성인식률을 제고할 수 있게 된다.
또한, 본 발명에 따른 가상키보드 음성입력시 사용자는 평소처럼 이야기 하듯 음성으로 입력할 수 있다.
또한, 본 발명에 따른 가상키보드 음성입력시 동음이의어의 경우 입력오류 방지가 가능하다.
본 발명에서 상기 실행단위영역이란 아이콘, GUI 입력단위 메뉴 등 디스플레이부를 통해 표시되는 화면상에 입력신호와 실행신호가 발생되는 범위를 의미하며 수많은 픽셀(Pixel)로 구성된 일정 영역으로서 해당 영역상의 어떤 픽셀에 입력신호 또는 실행신호가 발생하더라도 동일한 결과를 가져오는 영역이다. 후술될 실시 예와 도면에서 스마트폰의 디스플레이부에 표시되는 화면상에 각종 어플리케이션의 단축 아이콘 및 메뉴 등의 GUI 입력단위를 예로 들 수 있다.
또한, 본 발명은 식별음성데이터가 텍스트 기반 음성 합성(ex. TTS;Text To Speech)을 통해 생성되는 것을 특징으로 하는데, 통상 TTS(;Text To Speech)기술은 텍스트(Text)를 음성데이터로 합성하여 생성된 음성데이터를 재생하여 사용자에게 글을 읽어주는 듯한 효과를 주는 기술이다. 본 발명에서는 이 때 생성된 음성데이터를 재생하지 않고, 상기 식별음성데이터로 활용하여 새로운 앱을 다운 받는 등 업데이트시 자동으로 식별음성데이터를 갱신하는 데 활용 하는 것이다.
또한, 텍스트 기반 음성합성을 위한 언어팩을 본 발명 음성제어 영상표시 장치에 설치하는 것만으로도 다양한 언어의 음성제어를 지원할 수 있게 된다.
상기 메모리부는 스마트폰, 태블릿PC 등의 음성제어 영상표시 장치에 내장되는 메모리칩으로 구현된다. 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 것인데, 구체적으로 화면상에서 동일한 실행단위영역으로 인정되는 영역별로 부여되는 고유의 좌표정보를 포함하게 된다.
상기 음성인식부는 사용자의 음성을 입력받는 부분으로서 각종 음성제어 영상표시 장치에 내장되는 마이크장치 및 음성인식회로로 구현된다.
상기 정보처리부 및 상기 제어부는 각종 음성제어 영상표시 장치에 내장되는 CPU 및 RAM을 비롯한 제어회로부로 구현된다. 상기 정보처리부는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 역할과, 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 역할을 수행하는데, 구체적으로 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역의 고유 좌표정보를 검출하게 된다. 또한 상기 제어부는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 역할을 수행하는데, 상기 정보처리부에 의해 검출된 좌표정보를 가지는 화면상의 영역에 실행신호를 발생시킨다. 실행신호의 발생 결과는 해당 실행단위영역의 내용에 따라 달라진다. 해당 실행단위영역이 특정 애플리케이션의 단축 아이콘인 경우 그 애플리케이션이 실행될 것이고, 해당 실행단위영역이 가상 키보드 자판의 특정 글자의 가상자판 GUI인 경우 해당 특정 글자가 입력될 것이고, 해당 실행단위영역에 화면전환과 같은 명령이 지정되어 있는 경우 해당 명령이 수행된다.
구체적인 실시예로서, [도 1]에서 화면 우측 상단의 마이크 모양을 누르고, [도 2]의 화면으로 전환이 되었을 때, 사용자가 “아메리칸”이라고 발화했을 경우, 시스템은 음성인식 및 입력의 결과로 [도 3]의 화면을 제시해 준다. 즉, 검색결과는 “아메리칸”이다. 만약 사용자가 “American"이라고 입력하고 싶었을 경우에는 음성입력이 불가하다. 시스템 기본 언어로의 입력만 가능하기 때문이다.
이때, “American"이라고 입력하는 과정을 본 발명의 일 실시예로서 도면과 함께 설명한다.
우선 [도 4], [도 5]의 경우 가상 키보드에는 한/영 전환, 기호 전환, 숫자 전환 등의 가상 키보드 자판이 마련되어 있는 일 실시예가 도시 되어 있는 것이고, 경우에 따라, 한/영 전환, 기호 전환, 숫자 전환 등을 한 화면에 표시되도록 설계하는 것등 변형된 실시예가 가능하다. 영어로 “American”를 입력하고자 한다면 가상 키보드의 입력언어 상태를 “한/영 전환” 입력을 통해 영어 입력 상태로 바꾸고 발화 사용자는 “아메리칸”이라고 발화한다.
메모리부는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별 즉 [도 5]의 영문 QWERTY 자판상 키보드 자판인 GUI별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하고 있는데 구체적으로는 각 실행단위영역별로 음성합성규칙에 따라 음소단위로 식별음성데이터를 할당하고 매핑한 데이터 베이스를 저장하고 있으며, 이때 저장되는 음소단위의 식별음성데이터는 복수 개로 저장되며, 전술한 음성합성규칙에 따라, 후술되는 사용자의 음성을 정보처리부에서 음소단위로 분할하여 비교 판단시 음소단위의 식별음성데이터가 선택되어 사용될 수 있다.
그리고, 음성인식부가 사용자의 음성을 입력받으면,
상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하게 되는데 이때, 상기 정보처리부는 수신된 사용자의 음성을 음소단위로 분할하고, 상기 메모리부의 데이터 베이스에서 비교하는 방식으로 수행하게 된다.
그리하여 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계로 수행된다.
<가상키보드 음성입력 방법>
본 발명은 또한, 디스플레이부, 메모리부, 음성인식부, 정보처리부 및 제어부를 포함하여 구성된 가상키보드 음성입력 장치에서 수행되는 가상키보드 음성입력 방법으로서,
(a) 상기 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계;
(b) 상기 음성인식부가 사용자의 음성을 입력받는 단계;
(c) 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및
(d) 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;를 포함하여 구성되는 것을 특징으로 하는 가상키보드 음성입력 방법을 함께 제공한다.
본 발명의 다른 특징에 의하면, 상기 (a)단계에서 메모리부에 저장되는 식별음성데이터는 음소 단위이고,
상기 (c)단계에서 정보처리부에서 상기 사용자의 음성과 대응되는 식별음성 데이터가 존재하는지 판단시, 수신된 사용자의 음성을 음소단위로 분할하여 비교하는 방식으로 수행되는 것을 특징할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 정보처리부는 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 것을 특징으로 할 수 있다.
상기 (a)단계는 상기 메모리부가 데이터 베이스를 구축하는 단계인데, 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)되게 된다. 구체적으로 화면상에서 동일한 실행단위영역으로 인정되는 영역별로 부여되는 고유의 좌표정보를 포함하게 되며, 상기 식별음성데이터는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 정보처리부에서 텍스트 기반 음성합성을 통해 생성하는 단계를 포함할 수 있다.
이때, 구체적으로는 각 실행단위영역별로 음성합성규칙에 따라 음소단위로 식별음성데이터를 할당하고 매핑한 데이터 베이스를 저장하고 있다.
상기 (b)단계는 상기 음성인식부가 사용자의 음성을 입력받는 단계이다. 본 단계는 상기 가상키보드 음성입력 장치가 음성인식 모드로 전환된 상태에서 이루어지게 된다.
상기 (c)단계는 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계이다. 구체적으로 상기 정보처리부는 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역의 고유 좌표정보를 검출하게 된다. 구체적으로는, 정보처리부는 수신된 사용자의 음성을 음소단위로 분할하여 식별음성데이터와 비교하는 방식으로 수행된다.
상기 (d)단계는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 실행신호를 발생시키는 단계이다. 본 단계에서 상기 제어부는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 실행신호를 발생시키는 역할을 수행하는데, 상기 정보처리부에 의해 검출된 좌표정보를 가지는 화면상의 영역에 실행신호를 발생시킨다. 실행신호의 발생 결과는 해당 실행단위영역에 존재하는 내용에 따라 달라진다. 해당 실행단위영역에 특정 애플리케이션의 단축 아이콘이 존재할 경우 그 애플리케이션이 실행될 것이고, 해당 실행단위영역에 가상 키보드 자판의 특정 글자가 존재할 경우 해당 특정 글자가 입력될 것이고, 해당 실행단위영역에 화면전환과 같은 명령이 지정되어 있는 경우 해당 명령이 수행된다.
본 발명에 따른 실시예는 상기 가상 키보드 자판의 특정 글자가 존재할 경우에 해당되는 것이고, 이에따라 사용자가 자연스럽게 발화하면 화면상 입력 설정된 언어의 자판으로 입력되되 상기, (a) 내지 (d) 단계의 순서로 입력되어, 사용자의 발화의도에 맞는 언어와, 다양한 동음이의어 입력오류 방지 대책이 가능하며, 기호와 언어의 입력오류도 효과적으로 방지하게 된다.
본 발명에 따른 가상키보드 음성입력 장치 및 가상키보드 음성입력 방법은, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 음성데이터와 입력된 사용자의 음성을 비교하는 방식으로 입력 제어가 수행되도록 해주어 기존 터치스크린 방식의 입력제어 방식을 그대로 음성제어 방식에 적용시켜 줌으로써 간편하고 정확한 음성제어를 구현할 수 있게 해주는 기술이라는 점과 텍스트 기반 음성 합성을 통해 화면상에 표시되는 텍스트를 기준으로 식별음성 데이터를 생성하기 때문에 식별음성 데이터를 미리 저장하거나, 사용자의 음성을 녹취하는 등의 수고를 덜어준다는 점과, 기존 내장된 애플리케이션 외에 신규 다운로드 되어 설치되는 애플리케이션까지 지원하는 것을 특징으로 한다.
이상에서 본 발명에 따른 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법에 관하여 구체적인 실시예와 함께 상세하게 설명하였다. 그러나 위의 구체적인 실시예에 의하여 본 발명에 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 다소간의 수정 및 변형이 가능하다. 따라서 본 발명의 청구범위는 본 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.

Claims (7)

  1. 디스플레이부를 구비하고 음성제어가 가능한 가상키보드 음성입력 장치로서,
    상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스가 저장된 메모리부;
    사용자의 음성을 입력받는 음성인식부;
    상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 정보처리부; 및
    상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 제어부;를 포함하여 구성되고,
    상기 정보처리부는 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 것을 특징으로 하는 가상키보드 음성입력 장치.
  2. 제 1항에 있어서,
    상기 메모리부에 저장되는 식별음성데이터는 음소 단위인 것을 특징으로 하는 가상키보드 음성입력 장치.
  3. 제 1항에 있어서,
    상기 정보처리부에서 상기 사용자의 음성과 대응되는 식별음성 데이터가 존재하는지 판단시, 수신된 사용자의 음성을 음소단위로 분할하여 비교하는 것을 특징으로 하는 가상키보드 음성입력 장치.
  4. 삭제
  5. 디스플레이부, 메모리부, 음성인식부, 정보처리부 및 제어부를 포함하여 구성된 가상키보드 음성입력 장치에서 수행되는 가상키보드 음성입력 방법으로서,
    (a) 상기 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계;
    (b) 상기 음성인식부가 사용자의 음성을 입력받는 단계;
    (c) 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및
    (d) 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;를 포함하여 구성되고,
    상기 정보처리부는 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 존재하는 텍스트를 이용하여 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 것을 특징으로 하는 가상키보드 음성입력 방법.
  6. 제 5항에 있어서,
    상기 (a)단계에서 메모리부에 저장되는 식별음성데이터는 음소 단위이고,
    상기 (c)단계에서 정보처리부에서 상기 사용자의 음성과 대응되는 식별음성 데이터가 존재하는지 판단시, 수신된 사용자의 음성을 음소단위로 분할하여 비교하는 방식으로 수행되는 것을 특징으로 하는 것을 특징으로 하는 가상키보드 음성입력 방법.
  7. 삭제
KR1020150096892A 2015-07-08 2015-07-08 가상 키보드 음성입력 장치 및 방법 KR101702760B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150096892A KR101702760B1 (ko) 2015-07-08 2015-07-08 가상 키보드 음성입력 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150096892A KR101702760B1 (ko) 2015-07-08 2015-07-08 가상 키보드 음성입력 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170006369A KR20170006369A (ko) 2017-01-18
KR101702760B1 true KR101702760B1 (ko) 2017-02-03

Family

ID=57992635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150096892A KR101702760B1 (ko) 2015-07-08 2015-07-08 가상 키보드 음성입력 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101702760B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153668B1 (ko) * 2019-10-29 2020-09-09 주식회사 퍼즐에이아이 키보드 매크로 기능을 활용한 자동 음성 인식기 및 음성 인식 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517738B1 (ko) 2014-05-13 2015-05-04 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100554442B1 (ko) * 2003-10-06 2006-02-22 주식회사 팬택앤큐리텔 음성인식 기능을 가진 이동 통신 단말기, 및 이를 위한음소 모델링 방법 및 음성 인식 방법
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR20150043272A (ko) * 2015-04-03 2015-04-22 박남태 영상표시 장치의 음성제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517738B1 (ko) 2014-05-13 2015-05-04 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법

Also Published As

Publication number Publication date
KR20170006369A (ko) 2017-01-18

Similar Documents

Publication Publication Date Title
KR101587625B1 (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
CA2970725C (en) Headless task completion within digital personal assistants
ES2958183T3 (es) Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
US10811005B2 (en) Adapting voice input processing based on voice input characteristics
US9653073B2 (en) Voice input correction
KR20130082339A (ko) 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US10250935B2 (en) Electronic apparatus controlled by a user&#39;s voice and control method thereof
US20140365215A1 (en) Method for providing service based on multimodal input and electronic device thereof
US11947752B2 (en) Customizing user interfaces of binary applications
KR20130018464A (ko) 전자 장치 및 그의 제어 방법
JP2013041579A (ja) 電子装置及びその制御方法
JP2014532933A (ja) 電子装置及びその制御方法
JP2013037689A (ja) 電子装置及びその制御方法
KR101819457B1 (ko) 음성 인식 장치 및 시스템
GB2524877A (en) Non-audible voice input correction
KR20100116462A (ko) 휴대 단말기의 입력 처리 장치 및 방법
JP2017521692A (ja) 音声制御映像表示装置及び映像表示装置の音声制御方法
KR101702760B1 (ko) 가상 키보드 음성입력 장치 및 방법
KR20200042627A (ko) 전자 장치 및 그 제어 방법
KR101517738B1 (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
US9613311B2 (en) Receiving voice/speech, replacing elements including characters, and determining additional elements by pronouncing a first element
KR20110025510A (ko) 전자 기기 및 이를 이용한 음성인식 방법
KR20160055039A (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR20160097467A (ko) 영상표시 장치의 음성제어 방법 및 음성제어 영상표시 장치
KR20160054869A (ko) 사용자 제스처 기반의 번역 서비스 제공 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right