KR20020023294A - 음성인식을 사용하는 사용자 인터페이스 문맥기반 명령제어 방법 - Google Patents

Abstract

본 발명은 음성인식 기능을 그래픽 사용자 인터페이스(GUI:Graphical User Interface) 에 접목하는 방법에 관한 것으로, 더욱 상세하게는 동시에 인식 가능한, 지원 가능한 언어, 자연어 처리능력에 의해 구분되는 복수의 음성인식엔진들을 수용하여 그래픽 사용자 인터페이스의 문맥을 이용하여 음성인식을 통한 사용자 명령 제어를 가능하게 하는 개인용 컴퓨터(PC)용 음성인식과 그래픽 사용자 인터페이스 혼용방법에 관한 것이다.

이를 위하여 본 발명은, 그래픽 사용자 인터페이스의 문맥을 구성하는 부분, 음성인식 가능한 음성인식문맥을 선택 하는 부분, 문맥에 맞도록 음성명령을 제어하는 부분으로 나뉘어진다. 사용자가 입력 포커스를 가지고 있는 그래픽 사용자 인터페이스의 문맥에서 인식 가능한 어휘와 자연어 문장을 사용자의 음성으로 인식하여 사용자 음성의 인식된 결과를 사용자인터페이스와 연결하여 명령을 수행하는 단계로 이루어진 것에 특징이 있다.

Description

음성인식을 사용하는 사용자 인터페이스 문맥기반 명령 제어 방법 {GUI Context based Command and Control Method with Speech recognition}

본 발명은 개인용 컴퓨터 및 개인용 휴대단말장치의 사용자 인터페이스 방법에 관한 것으로, 더욱 상세하게는 그래픽 사용자 인터페이스와 음성인식 사용자 인터페이스를 혼용하여 컴퓨터 사용자로 하여금 쉽게 컴퓨터의 기능을 이용할 수 있도록 하는 개인용 컴퓨터 및 개인용 휴대단말장치용 사용자 인터페이스 구성방법에 관한 것이다.

일반적으로 컴퓨터 사용자가 쉽고 편리하게 컴퓨터의 기능을 사용할 목적으로 마우스나 키보드 등의 입력장치와 함께 사용하고 있다. 그 일례로서 마우스 사용자 인터페이스의 경우는 화면상의 아이콘을 마우스로 두 번 클릭하거나 마우스를 끌거나 이동함으로써 컴퓨터의 기능을 수행한다. 또한 키보드의 경우도 화살표 키를 사용하여 메뉴선택을 하여 컴퓨터의 기능을 수행한다.

음성인식을 사용하는 사용자 인터페이스의 경우에는 별도의 음성인식 명령어를 등록하여 인식된 단어를 사용하여 사용자가 요구하는 기능을 호출한다. 그러나 기존의 음성인식을 사용하는 사용자 인터페이스에 있어 해당 입력 포커스를 가지고 있는 응용프로그램이나 프로그램 대화창의 전환 시 음성인식결과를 전달하는 데 있어 정확하게 음성인식결과를 입력포커스를 가지고 있는 응용프로그램에 전달하지 못하는 문제점을 가지고 있다. 또한 입력 포커스 변경에 대한 음성인식 명령 처리루틴이 복잡한 단점을 가지고 있다.

본 발명은 상기와 같은 단점을 해소하기 위해 음성인식 문맥 전환 모듈과 윈도우 시스템의 이벤트를 가로채는 이벤트 후킹 모듈(Event Hooking module)을 이용하는 방법으로 시스템 배경에서 사용자 인터페이스에 대한 입력포커스의 변화를 조사함으로써 입력 포커스를 가지는 음성인식 요청 응용프로그램을 위한 음성인식 문맥전환이 용이함은 물론, 음성인식 기능을 개발자가 음성인식 기능을 응용프로그램에 간편하게 도입하게 하는 방법을 제공하는 데 본 발명의 목적이 있는 것이다.

이와같은 목적을 달성하기 위한 본 발명은, 음성인식기능을 응용프로그램에 적용함에 있어서, 음성인식 사용자 인터페이스 입력 포커스를 확인하기위한 시스템 이벤트 감시단계, 사용자 입력 포커스 변화에 따른 동적인 음성인식 문맥 전환단계, 상기 단계 후 음성인식 결과에 대한 명령 제어부분을 응용프로그램에 전달하는 단계로 이루어진 것에 특징이 있다.

도 1은 음성인식 사용자 인터페이스 명령 컨트롤 방법의 개략도

도 2는 음성인식 사용자 인터페이스 명령 컨트롤 방법의 전체 블록도

도 3는 음성인식 사용자 인터페이스 명령 컨트롤 방법의 흐름도

도 4은 음성인식 사용자 인터페이스 명령 컨트롤 방법의 프로세스 관계도

<도면의 주요부분에 대한 부호의 설명>

1 : 음성인식 요청 프로그램

2 : 사용자인터페이스 문맥정보

3 : 그래픽 사용자 인터페이스

4 : 이벤트 감시 명령 문맥 제어

5 : 후크 프로시져

6 : 음성인식 엔진

7 : 인식단어 등록

8 : 음성인식 문법

이하 첨부된 도면에 의해 상세히 설명하면 다음과 같다.

도 1은 음성인식 사용자 인터페이스 명령 컨트롤 방법의 개략도이다. 이에 도시된바와 같이 사용자의 발성을 받아들여 음성명령을 응용프로그램에 전달함에 있어서 그래픽 사용자 인터페이스의 입력 포커스에 맞게 전달하는 과정의 개요를 묘사한다.

도 2는 음성인식 사용자 인터페이스 명령 컨트롤 방법의 전체 블록도로서 음성인식을 요청하는 음성인식 요청 응용프로그램(1)과 시스템의 이벤트를 감시하는 이벤트감시 명령 문맥제어부(4)와 음성인식을 처리하는 음성인식엔진부(6)로 구성되어 있다.

음성인식 요청 응용프로그램(1)은 음성명령 처리를 위한 사용자 인터페이스 문맥정보(2)와 그래픽 사용자 인터페이스(3)를 가지며 이벤트 감시 명령 문맥 제어부(4)는 시스템의 사용자 입력 포커스를 지속적으로 감시하기 위한 후크 프로시저(hook procedure)(5)를 포함함으로 사용자 인터페이스의 입력 포커스의 변경을 탐지하여 입력 포커스를 가지게 된 음성인식 요청 응용프로그램(1)에 필요한 음성인식 문맥 변경을 음성인식엔진(6)에 요청하게 된다. 이 요청을 받게 된 음성인식엔진(6)은 이벤트감시 명령 문맥 제어(4)로부터 전달 받은 음성인식 요청 응용프로그램(1)의 사용자 인터페이스 문맥정보(2)에 맞는 음성인식 문법(8)을 동적으로 음성인식 엔진(6)에 적재하여 사용자의 발성을 인식하도록 한다.

사용자가 음성을 발성하면 도3에서 도시된 과정으로 응용 프로그램 명령을 수행한다. 사용자의 음성명령을 처리하기위해 사용자의 음성 발성을 입력받기 전에 미리 도4의 음성인식엔진(6)이 동작하고 있으며 사용자 입력 포커스의 변화를 지속적으로 조사하기위한 이벤트 감시 명령 문맥 제어(4)도 동작하고 있다. 도4에서처럼 사용자 인터페이스의 입력 포커스가 변경되면 음성인식 엔진(6)의 음성인식 문맥을 변경하여 사용자가 음성인식요청 응용프로그램(1)에 부합되는 음성인식명령을 음성인식엔진(6)이 처리할 수 있게 한다. 또한 음성인식엔진(6)이 사용자의 발성을인식 처리하여 얻은 음성인식결과를 도4와 같이 이벤트 감시 문맥제어부(4)를 통해 입력 포커스를 가지고 있는 음성인식 요청 응용프로그램(1)에 도3의 인식결과 통보절차에 따라 전달하게 된다.

이렇게 전달된 음성인식 명령은 음성인식 요청 프로그램(1)의 응용 프로그램 명령처리부로 전달되어 사용자가 음성으로 요청한 명령을 음성인식 요청 응용프로그램(1)이 수행하게 된다.

사용자는 기존의 그래픽 사용자 인터페이스와 병행하여 음성명령을 사용함으로서 편리하게 작업을 수행할 수 있으며 그래픽 사용자 인터페이스를 사용하기 힘든 환경에서도 원하는 작업을 수행할 수 있으며 특히 메뉴 인터페이스와 같이 다단계의 인터페이스 과정을 단축하여 한번에 직접적으로 음성명령을 통해 원하는 기능을 수행 할 수 있다.

이상에서 상술한 바와 같이 본 발명은, 음성인식명령을 그래픽 사용자인터페이스와 혼용하는 방법으로 시스템의 입력 포커스를 감시함으로서 음성명령 문맥을 전환함에 용이함은 물론, 음성인식요청 응용프로그램에 정확하게 명령전달을 하여 응용프로그램에 관련 없는 음성인식결과를 전달하는 현상을 방지하여 음성인식 응용프로그램제작에 있어 편리성과 안정성을 가지게 한다.

Claims (1)

1. 음성인식기능을 그래픽 사용자 인터페이스와 접목하는 방법에 있어서,

   사용자 인터페이스의 입력 포커스를 감시는 단계,

   입력 포커스 변경 시 입력 포커스를 가지는 음성인식 응용프로그램을 위한 음성인식 문맥을 전환하는 단계,

   전환된 음성인식 문맥을 사용한 음성인식 결과를 음성인식 요청 프로그램에 전달하는 단계,

   인식결과를 응용프로그램의 사용자 인터페이스 문맥과 연계하는 단계

   상기 단계 후 사용자의 음성을 입력받아 용용프로그램을 명령하고 제어하는 방법.