KR20030002999A - 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및그 방법 - Google Patents
스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및그 방법 Download PDFInfo
- Publication number
- KR20030002999A KR20030002999A KR1020020031647A KR20020031647A KR20030002999A KR 20030002999 A KR20030002999 A KR 20030002999A KR 1020020031647 A KR1020020031647 A KR 1020020031647A KR 20020031647 A KR20020031647 A KR 20020031647A KR 20030002999 A KR20030002999 A KR 20030002999A
- Authority
- KR
- South Korea
- Prior art keywords
- script
- test
- recognition system
- speech recognition
- voice recognition
- Prior art date
Links
- 238000013515 script Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000008901 benefit Effects 0.000 title description 3
- 238000012360 testing method Methods 0.000 claims abstract description 164
- 230000006870 function Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims abstract description 6
- 230000009977 dual effect Effects 0.000 claims abstract description 4
- 238000010998 test method Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 스크립트 언어에 익숙치 않은 일반 사용자들에게 보다 쉽게 음성인식 서비스를 시험하게 하고, 시험 스크립트도 작성할 수 있도록 해주기 위한 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
또한, 본 발명은, 사용자가 GUI 윈도우 상에서 버튼을 클릭하거나 간단한 텍스트를 입력하기만 하면 자동으로 음성인식 서비스에 대한 시험이 이루어지고, 그 과정에서 시험 스크립트를 자동적으로 생성하도록 하기 위한 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 스크립트 생성기법을 이용한 음성인식 시스템 시험장치에 있어서, 전화망을 통하여 음성 및 DTMF(Dual Tone Multi Frequency) 데이터를 주고 받기 위한 전화망 정합수단; 시험 시나리오를 스크립트 언어 형태로 작성하고 이를읽고 해석하여 상기 전화망 정합수단의 해당 기능을 호출하기 위한 스크립트 구동수단; 상기 스크립트 구동수단으로부터의 구동 과정 중 시험대상 음성인식 시스템으로부터의 응답이 정확한지를 검사하기 위한 결과 검증수단; 및 단일의 스크립트를 수행시키는 프로세스를 하나의 가상사용자로 간주하여 병렬 또는 순차적으로 처리하기 위하여 가상사용자를 구동시키는 가상사용자 구동수단을 포함함.
4. 발명의 중요한 용도
본 발명은 음성인식 시스템 등에 이용됨.
Description
본 발명은 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 기존의 시험장치에서 시험대상 시스템에 종속적인 부분 및 시험 시에 재사용 가능한 전화망 정합부 등을 분리하여 시험 시나리오를 스크립트 언어 형태로 작성하고, 이를 읽어들여 시험을 수행하도록 하기 위한 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
주지된 바와 같이, 음성인식시스템은 사람의 음성을 입력받아 인식기를 통해 인식음성의 결과를 유도해내는 시스템으로, 현재 이러한 인식기술을 이용한 다양한 서비스가 개발되어 상용화되고 있다.
이러한 종래의 음성인식시스템은 주기적으로 음성인식 시스템 및 서비스의 품질이나 성능을 측정해야 하는 바, 그 품질이나 성능을 측정코자 할 때에는 단순히 음성인식 엔진의 인식률만을 측정하는 것으로는 정확한 측정을 하지 못한다.
따라서, 보다 상세한 시험 및 측정을 위하여 시험장치 및 시험대상이 되는 음성인식 시스템에 데이터를 추출할 수 있는 소프트웨어 프로그램을 추가해 왔다.
그러나, 이러한 하드코딩 타입의 시험방법은 작성이 까다로울 뿐만 아니라 적용할 시험대상 시스템 호환성이 떨어지며, 시험장치 자체의 안정화를 위해서 많은 시간이 소요된다.
전화망 상에서 음성인식 서비스 또는 시스템에 대한 품질 및 성능을 측정하려면 사람이 직접 전화를 걸어서 서비스를 이용하는 방법과 별도의 시험장치를 구현하는 방법이 있다. 사람이 직접 수행하는 시험은 다양한 시험사례를 만들 수 있다는 장점이 있으나 다량의 데이터에 의한 시험이나 다수의 사용자에 의한 시험 등은 수행하기가 어렵다.
그러므로, 사람이 직접 수행하는 시험과는 별도로 특별한 시험장치를 구현하여 시험을 수행하게 되는데, 시험대상 시스템 내에 시험장치와 상호 연동할 수 있는 소프트웨어 코드를 삽입하고 시험장치에서는 DTMF(Dual Tone Multi Frequency) 또는 음성파일을 전송하고 시험대상 시스템에서는 DTMF를 송출함으로써 통신하도록 한다(도 1 참조).
지금까지의 음성인식 시스템에 대한 시험장치는 시험을 수행하는 시험장치(100)를 처음부터 소프트웨어적으로 구현해야 했을 뿐만 아니라 시험대상시스템(200)의 내부 프로그램까지 수정해야만 했다. 이하, 전화망에서의 종래의 음성인식 시스템 시험장치의 동작을 상세하게 설명하면 다음과 같다.
도 1 은 종래의 음성인식 시스템 시험장치의 구성도이다.
도 1에 도시된 바와 같이, 종래의 음성인식 시스템 시험장치는, 시험장치(11) 내의 시나리오 시험기와 시험대상 시스템(12) 내의 시험장치 정합부(121)가 약속된 시나리오 대로 데이터를 요청하고 반환할 수 있도록 기존의 시험장치(인식률 시험장치) 및 시험대상 시스템에 추가적으로 프로그래밍되었다.
따라서, 음성인식 서비스 시나리오가 변경되거나 원하는 데이터의 형태가 변하는 경우, 시험장치(11) 뿐만 아니라 시험대상 시스템(12)의 프로그램 모두를 변경해야 하는데, 이러한 프로그램 수정은 매우 어렵고 시간을 많이 요하는 작업이며, 특히 프로그램 수정으로 인하여 발생되는 추가적인 오류들로 인하여 개발 생산성이 매우 저하되는 문제점들이 있다. 또한, 이러한 시험장치를 해당 시험장치 이외의 또 다른 음성인식 시스템에 적용한다는 것은 거의 불가능하였다.
이러한 기존 시험장치의 단점을 보완하고 시험장치의 성능 및 유연성을 높이기 위하여 기존 시험장치의 시험수행기에서 전화망 정합부를 분리해내고, 시나리오 시험기의 기능을 추상화하여 범용 스크립트 언어와 이 언어에 따라 전화망 정합부를 구동할 수 있는 스크립트 구동기를 구성할 수 있는데, 이러한 스크립트 기반 시험방법 역시 스크립트 언어를 이해하고 다양한 시험 시나리오를 작성하는 것이 매우 어려워 음성인식 시스템을 개발한 개발자들과 같이 음성인식 시스템에 대한 이해가 풍부해야 하고, 또한 시험 시나리오 작성을 위한 스크립트 언어도 능통해야만했다.
또한, 기존의 시험장치는 시험대상 시스템마다 별도의 시험장치를 구성하고 이에 대응하는 소프트웨어 코드를 시험대상 시스템에 삽입하는 기존의 시험방법은 구현이 까다로울 뿐만 아니라 호환성이 낮고 재사용이 어려운 단점이 있다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 스크립트 언어에 익숙치 않은 일반 사용자들에게 보다 쉽게 음성인식 서비스를 시험하게 하고, 시험 스크립트도 작성할 수 있도록 해주기 위한 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
또한, 본 발명은, 사용자가 GUI 윈도우 상에서 버튼을 클릭하거나 간단한 텍스트를 입력하기만 하면 자동으로 음성인식 서비스에 대한 시험이 이루어지고, 그 과정에서 시험 스크립트를 자동적으로 생성하도록 하기 위한 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 종래의 음성인식 시스템 시험장치의 구성도.
도 2 는 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험장치의 일실시예 구성도.
도 3 은 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험방법에 대한 일실시예 흐름도.
도 4 는 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험장치의 다른 실시예 구성도.
도 5 는 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험장치의 또 다른 실시예 구성도.
도 6 은 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험 방법에 대한 또 다른 실시예 흐름도.
도 7 은 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 GUI 윈도우 화면을 나타낸 예시도.
* 도면의 주요 부분에 대한 부호의 설명
51 : 시험장치52 : 시험대상 시스템
511 : 가상사용자 구동기512 : 스크립트 구동기
513 : 결과검증기514 : 프로젝트 관리기
515 : 스크립트 편집기516 : 전화망 정합부
517 : GUI 구동기518 : 스크립트 생성기
상기 목적을 달성하기 위한 본 발명은, 스크립트 생성기법을 이용한 음성인식 시스템 시험장치에 있어서, 전화망을 통하여 음성 및 DTMF(Dual Tone MultiFrequency) 데이터를 주고 받기 위한 전화망 정합수단; 시험 시나리오를 스크립트 언어 형태로 작성하고 이를 읽고 해석하여 상기 전화망 정합수단의 해당 기능을 호출하기 위한 스크립트 구동수단; 상기 스크립트 구동수단으로부터의 구동 과정 중 시험대상 음성인식 시스템으로부터의 응답이 정확한지를 검사하기 위한 결과 검증수단; 및 단일의 스크립트를 수행시키는 프로세스를 하나의 가상사용자로 간주하여 병렬 또는 순차적으로 처리하기 위하여 가상사용자를 구동시키는 가상사용자 구동수단을 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 상기 스크립트 구동수단을 통해 시스템 및 서비스에 대한 시험이 진행되는 과정을 스크립트 형태로 작성하여 해당 스크립트를 편집하기 위한 스크립트 편집수단을 더 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 상기 스크립트 구동수단을 통해 처리된 내용들을 프로젝트 데이터 형태로 저장하여 재사용할 수 있도록 편집하기 위한 프로젝트 관리수단을 더 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 상기 스크립트 구동수단으로부터의 호출에 의해 GUI(Graphical User Interface) 화면상에 버튼 클릭 또는 간단한 텍스트를 입력하는 GUI 구동기의 제어에 따라, 사용자가 전화를 사용하는 것과 같은 환경을 시뮬레이션하여 스크립트를 자동 생성하기 위한 스크립트 생성수단을 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 스크립트 생성기법을 이용한 음성인식 시스템 시험방법에 있어서, 음성인식 서비스 시나리오에 따른 시험절차를 표준 스크립트 언어로 작성하는 제 1 단계; 상기 작성된 스크립트 언어를 독취하여 그 순서에 따라 스크립트구동기를 구동시켜 시험을 수행하는 제 2 단계; 및 상기 시험 결과에 따라, 해당 시험 결과값을 기록하는 제 3 단계를 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 상기 스크립트 구동기를 통해 시스템 및 서비스에 대한 시험이 진행되는 과정을 스크립트 형태로 작성하여 해당 스크립트를 편집하는 제 4 단계를 더 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 상기 스크립트 구동기를 통해 처리된 내용들을 프로젝트 데이터 형태로 저장하여 재사용할 수 있도록 편집하는 제 5 단계를 더 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 상기 스크립트 구동기로부터의 호출에 의해 GUI(Graphical User Interface) 화면상에 버튼 클릭 또는 간단한 텍스트를 입력하는 GUI 구동기의 제어에 따라, 사용자가 전화를 사용하는 것과 같은 환경을 시뮬레이션하여 스크립트를 자동 생성하는 제 6 단계를 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 프로세서를 구비한 음성인식 시스템에, 음성인식 서비스 시나리오에 따른 시험절차를 표준 스크립트 언어로 작성하는 제 1 기능; 상기 작성된 스크립트 언어를 독취하여 그 순서에 따라 스크립트 구동기를 구동시켜 시험을 수행하는 제 2 기능; 및 상기 시험 결과에 따라, 해당 시험 결과값을 기록하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 스크립트 프로그래밍에 의한 시험방법에서의 가장 중요한 요소는 시험 시나리오를 표현하는 시험 스크립트를 얼마나 잘 작성하는가에 달려있다. 따라서, 효과적인 시험을 위해서는 스크립트 언어를 숙지하고 있어야 하고 시험대상 시스템도 잘 알고 있어야 한다. 특히, 작성된 시나리오 스크립트를 디버깅하고 수정하기 위해 적지 않은 노력이 투입되어야 한다.
따라서, 본 발명에서는 전문가가 아닌 일반인들도 실제 서비스를 이용하는 것처럼 GUI(Graphical User Interface) 화면상에서 서비스를 이용하면 그 내용을 내부적으로 레코딩하여 스크립트를 작성해 주므로 매우 편리할 뿐만 아니라 실제로 어떻게 동작하는가를 돌려보면서 살펴볼 수 있다.
이를 위하여, 기존의 시험장치에서 시험대상 시스템에 종속적인 부분 및 시험 시에 재사용 가능한 전화망 정합부 등을 분리하여 시험 시나리오를 스크립트 언어 형태로 작성하고 이를 읽어 들여 시험을 수행하는 시험방법 및 장치를 구현할 수 있다. 이와 같은 스크립트 프로그래밍에 의한 음성인식 시스템 시험방법은 시험대상 시스템에의 의존성을 최소화하여 호환성 및 재사용도를 높일 수 있다.
따라서, 이러한 스크립트 기반 시험방법은 음성인식 서비스 시나리오를 표현할 수 있는 스크립트 언어를 사용함으로써, 단순히 인식률이나 다중 호처리와 같은 간단한 시험에서 벗어나 사용자 입장에서의 다양한 시험을 수행할 수 있다. 또한, 이를 이용하면 기 작성된 스크립트를 가공 및 그대로 적용함으로써, 시험대상 시스템 및 시험절차에 익숙치 않은 사용자들도 숙련자들과 거의 동일한 시험을 수행할 수 있다. 여기서, 사용되는 스크립트 언어는 전화망 정합부의 기능과 1:1 매핑되는 기능함수를 가지고 있으며, 간단한 제어구조(if, loop 등)를 포함하고 있어서 음성인식 서비스의 시나리오를 표현할 수 있는 특징이 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 2 는 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험장치의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 음성인식 시스템 시험장치는, 전화망을 통하여 음성 및 DTMF 데이터를 주고 받기 위한 전화망 정합부(214)와, 시험 시나리오를 스크립트 언어 형태로 작성하고 이를 읽고 해석하여 전화망 정합부(214)의 해당 기능을 호출하기 위한 스크립트 구동기(212)와, 스크립트 구동기(212)로부터의 구동 과정 중 시험대상 음성인식 시스템(22)으로부터의 응답이 정확한지를 검사하기 위한 결과 검증기(213)와, 동일한 스크립트를 동시에 여러번 수행시키거나 각기 다른 스크립트들을 동시에 수행시키기 위해, 하나의 스크립트를 수행시키는 프로세스를 하나의 가상사용자로 간주하여 병렬 또는 순차적으로 처리하기 위한 가상사용자 구동기(211)를 구비한다.
도 3 은 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험방법에 대한 일실시예 흐름도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 음성인식 시스템의 시험 과정은, 음성인식 서비스 시나리오에 따른 시험절차를 스크립트 언어로 작성(프로그래밍)하 고(301), 시험장치(21)의 구동, 즉 스크립트 구동기(212)를 실행한다(302).
이어서, 스크립트 구동기(212)는 해당 스크립트를 독취하여 각 라인별로 실행하게 되는데(303), 이때 데이터(음성, DTMF) 송수신을 위해서 전화망정합부(214)를 호출한다(304).
이어서, 전화망 정합부(214)에서 입력 데이터(음성, DTMF)를 시험대상 음성인식 시스템에 송출하고 그 결과값을 전달받아 결과검증기(114)로 넘기면 결과검증기(213)에서는 스크립트에 기술된 예상 결과와 비교하여 시험의 성공여부를 검증하고(305), 검증결과에 따른 해당 시험결과를 파일에 기록한다(306).
더불어, 스크립트 구동기(113)는 계속적으로 스크립트의 라인별로 읽어가면서 상기 과정을 반복하여 수행한다.
도 4 는 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험장치의 다른 실시예 구성도이다.
도 4에 도시된 바와 같이, 본 발명에 따른 음성인식 시스템 시험장치는, 전화망을 통하여 음성 및 DTMF 데이터를 주고 받기 위한 전화망 정합부(416)와, 시험 시나리오를 스크립트 언어 형태로 작성하고 이를 읽고 해석하여 전화망 정합부(416)의 해당 기능을 호출하기 위한 스크립트 구동기(412)와, 스크립트 구동기(412)로부터의 구동 과정 중 시험대상 음성인식 시스템(42)으로부터의 응답이 정확한지를 검사하기 위한 결과 검증기(413)와, 동일한 스크립트를 동시에 여러번 수행시키거나 각기 다른 스크립트들을 동시에 수행시키기 위해, 하나의 스크립트를 수행시키는 프로세스를 하나의 가상사용자로 간주하여 병렬 또는 순차적으로 처리하기 위한 가상사용자 구동기(411)와, 스크립트 구동기(412)를 통해 처리된 내용들을 프로젝트 데이터 형태로 저장하여 재사용할 수 있도록 편집하기 위한 프로젝트 관리부(414)와, 스크립트 구동기(412)를 통해 시스템 및 서비스에 대한 시험이 진행되는 과정을 스크립트 형태로 작성하여 해당 스크립트를 편집하기 위한 스크립트 편집기(415)를 구비한다.
도 5 는 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험장치의 또 다른 실시예 구성도이다.
도 5에 도시된 바와 같이, 본 발명에 따른 음성인식 시스템 시험장치는, 전화망을 통하여 음성 및 DTMF 데이터를 주고 받기 위한 전화망 정합부(516)와, 시험 시나리오를 스크립트 언어 형태로 작성하고 이를 읽고 해석하여 전화망 정합부(516)의 해당 기능을 호출하기 위한 스크립트 구동기(512)와, 스크립트 구동기(512)로부터의 구동 과정 중 시험대상 음성인식 시스템(52)으로부터의 응답이 정확한지를 검사하기 위한 결과 검증기(513)와, 동일한 스크립트를 동시에 여러번 수행시키거나 각기 다른 스크립트들을 동시에 수행시키기 위해, 하나의 스크립트를 수행시키는 프로세스를 하나의 가상사용자로 간주하여 병렬 또는 순차적으로 처리하기 위한 가상사용자 구동기(511)와, 스크립트 구동기(512)를 통해 구동 중 처리된 내용들을 프로젝트 데이터 형태로 저장하여 재사용할 수 있도록 편집하기 위한 프로젝트 관리부(514)와, 스크립트 구동기(512)를 통해 시스템 및 서비스에 대한 시험이 진행되는 과정을 스크립트 형태로 작성하여 해당 스크립트를 편집하기 위한 스크립트 편집기(515)와, 스크립트 구동기(512)로부터의 호출에 의해 GUI 화면상에 버튼 클릭 또는 간단한 텍스트를 입력하기 위한 GUI 구동기(517)와, GUI 구동기(517)의 제어에 따라, 사용자가 전화를 사용하는 것과 같은 환경을 시뮬레이션하여 스크립트를 자동 생성하기 위한 스크립트 생성부(518)를 구비한다.
도 6 은 본 발명에 따른 스크립트 생성기법을 이용한 음성인식 시스템 시험 방법에 대한 또 다른 실시예 흐름도이다.
도 6에 도시된 바와 같이, 본 발명에 따른 음성인식 시스템의 시험 과정은, 음성인식 서비스 시나리오에 따른 시험절차를 스크립트 언어로 작성(프로그래밍)한 후(301), GUI 화면 상에서 버튼 클릭 또는 간단한 텍스트를 입력하여(607) 사용자가 전화를 사용하는 것과 같은 환경을 시뮬레이션하면 스크립트 생성기에서 그에 해당하는 스크립트를 생성한다(608). 이때, 실제 시험이 이루어지는 환경을 그대로 볼 수 있도록 전화망정합부의 기능을 호출하여 시험대상 시스템과 실제로 데이터를 주고 받으면서 시험을 수행하도록 한다(609). 즉, 시험과정을 레코딩하면서 해당 내용을 스크립트 언어로 대신 작성해 주는 것이다.
이러한 시험방법을 위한 시험장치는 상기 도 2 및 도 4의 구성에서 상기 도 5에서 보는 바와 같이 GUI 구동부(517)와 스크립트 생성기(518)가 추가되는 형태로 구성할 수 있다. 한편, 상기 도 6에서의 데이터송수신 과정(609)은 기존의 스크립트 구동부에서 같이 처리하도록 한다.
한편, 시험장치(51)의 구동, 즉 스크립트 구동기(512)를 실행한다(602).
이어서, 스크립트 구동기(512)는 해당 스크립트를 독취하여 각 라인별로 실행하게 되는데(603), 이때 데이터(음성, DTMF) 송수신을 위해서 전화망 정합부(516)를 호출한다(604).
이어서, 전화망 정합부(516)에서 입력 데이터(음성, DTMF)를 시험대상 음성인식 시스템에 송출하고 그 결과값을 전달받아 결과검증기(513)로 넘기면 결과검증기(513)에서는 스크립트에 기술된 예상 결과와 비교하여 시험의 성공여부를 검증하고(605), 검증결과에 따른 해당 시험결과를 파일에 기록한다(606).
더불어, 스크립트 구동기(512)는 계속적으로 스크립트의 라인별로 읽어가면서 상기 과정을 반복하여 수행한다.
상기한 바와 같은 구조를 바탕으로 본 발명의 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 GUI 윈도우 화면에 대해 상세하게 살펴보면 다음과 같다.
먼저, GUI 상에서 사용자의 입력을 처리할 수 있는 윈도우 화면을 보여준다. 전체적인 구성은 전화기제어부(700), DTMF 입력부(701), 음성 입력부(702), 녹음부(703), 그리고 파일관리부(704)로 구성된다.
전화기 제어부(700)는 수화기를 들거나 내려놓는 수화기를 드는 전화걸기 및 전화끊기 버튼, 그리고 재다이얼 및 일시정지 기능을 포함하고, DTMF 입력부(701)는 숫자 0~9 및 *, #를 포함하는 DTMF를 입력하는 기능을 가지며, 음성 입력부(702)는 컴퓨터 내에 기 저장된 음성데이터 파일을 선택하고 전송하기 위한 기능을 제공한다. 녹음부(703)의 음성녹음 기능은 시험에 필요한 음성데이터를 사용자가 직접 녹음하여 컴퓨터에 저장하는 기능이고, 음성듣기는 기 저장된 음성데이터 파일을 열어서 들어보는 것이다. 파일관리부(704)의 파일열기는 생성된 스크립트를 열어서 편집할 수 있도록 하고, 실행버튼은 해당 스크립트를 실행시켜서 시험대상 시스템을 시험하도록 해 준다.
다시 한번 정리해 보면, 전체적인 시험절차는 다음과 같다.
먼저, GUI 화면에서 전화기 제어부(700)의 전화걸기 버튼을 누르고 DTMF 입력부(701)의 숫자버튼을 이용하여 전화번호를 클릭한다. 이때, 입력된 숫자는 음성 입력부(702)의 텍스트 입력창에 나타나며 전송 버튼을 누르면 실제로 전화가 걸게 된다. 즉, 이렇게 되면 실제로 시험대상 시스템 또는 서비스와 연결된다.
스피커를 통하여 서비스 안내멘트를 들으면서 원하는 DTMF를 선택하거나 음성을 송출하면서 시험과정을 수행할 수 있다. DTMF 선택은 DTMF 입력부(701)의 버튼을 클릭하면 되며, 음성을 송출할 때에는 음성 입력부(702)의 음성선택을 눌러서 PC에 저장된 음성파일을 선택한다. 이때, 선택된 파일명이 텍스트 입력창에 나타나게 되며 전송 버튼을 누르면 시험대상 시스템으로 해당 음성이 재생되면서 전송된다.
출할 음성을 새로 녹음하려면 녹음부(703)의 음성녹음 버튼을 눌러서 녹음을 수행하고 그 결과를 파일로 저장하면 되며, 필요 시 음성듣기 버튼을 눌러서 음성이 정확히 녹음되었는가를 확인한다.
상기와 같은 과정을 거쳐서 서비스를 사용하는 절차, 즉 시스템 및 서비스에 대한 시험이 진행되는 과정을 스크립트 형태로 작성하게 되는데, 도구 부의 스크립트 편집 버튼을 누르면 해당 스크립트를 보고 편집할 수 있다. 편집이 완료된 스립트의 경우에는 실행 버튼을 눌러서 스크립트에 레코딩된 바 대로 하나씩 수행하면서 실행시킬 수 있다. 즉 서비스 시나리오의 수행과정을 눈으로 보면서 시험을 수행할 수 있는 것이다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 시험대상 음성인식 서비스를 전화를 이용하여 실제로 사용하는 것처럼 GUI 윈도우 상에서 버튼을 클릭하거나 간단한 텍스트를 입력하기만 하면 자동으로 음성인식 서비스에 대한 시험이 이루어지고, 또한 시험 스크립트도 자동적으로 생성해 준다.
따라서, 시험대상 시스템이나 시험 스크립트 언어에 익숙하지 않은 사용자들도 쉽게 음성인식 서비스를 시험할 수 있으며, 스크립트로 쉽게 작성할 수 있는 효과가 있다.
또한, 한번 작성된 스크립트는 편집부를 활용하여 반복문이나 조건문등을 추가함으로써 보다 복잡하고 체계적인 시험을 수행할 수 있으며, 일단 작성된 스크립트를 사용하여 누구나 동일한 수준의 시험을 수행할 수 있다. 결국, 본 발명은 실제 서비스 이용자들이 서비스를 사용하는 것과 같이 GUI 윈도우를 사용하는 과정에서 자동적으로 음성인식 서비스에 대한 시험이 수행되고 스크립트도 작성됨으로써범용 상용 시험도구로서의 역할을 수행할 수 있으며, 이러한 시험도구의 보급은 결국 전화망에서의 음성인식 서비스의 품질 향상 및 안정도 향상을 가져올 수 있는 효과가 있다.
특히, 이러한 방법 및 장치를 사용하면 GUI 화면 상에서 서비스가 어떻게 동작하는 가를 눈과 귀로 보고 들으면서 살펴볼 수 있으므로 음성인식 서비스 자체 및 시험에 대한 이해를 높일 수 있는 효과가 있다.
Claims (13)
- 스크립트 생성기법을 이용한 음성인식 시스템 시험장치에 있어서,전화망을 통하여 음성 및 DTMF(Dual Tone Multi Frequency) 데이터를 주고 받기 위한 전화망 정합수단;시험 시나리오를 스크립트 언어 형태로 작성하고 이를 읽고 해석하여 상기 전화망 정합수단의 해당 기능을 호출하기 위한 스크립트 구동수단;상기 스크립트 구동수단으로부터의 구동 과정 중 시험대상 음성인식 시스템으로부터의 응답이 정확한지를 검사하기 위한 결과 검증수단; 및단일의 스크립트를 수행시키는 프로세스를 하나의 가상사용자로 간주하여 병렬 또는 순차적으로 처리하기 위하여 가상사용자를 구동시키는 가상사용자 구동수단을 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험장치.
- 제 1 항에 있어서,상기 스크립트 구동수단을 통해 시스템 및 서비스에 대한 시험이 진행되는 과정을 스크립트 형태로 작성하여 해당 스크립트를 편집하기 위한 스크립트 편집수단을 더 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험장치.
- 제 2 항에 있어서,상기 스크립트 구동수단을 통해 처리된 내용들을 프로젝트 데이터 형태로 저장하여 재사용할 수 있도록 편집하기 위한 프로젝트 관리수단을 더 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험장치.
- 제 1 항 또는 제 2 항에 있어서,상기 스크립트 구동수단으로부터의 호출에 의해 GUI(Graphical User Interface) 화면상에 버튼 클릭 또는 간단한 텍스트를 입력하는 GUI 구동기의 제어에 따라, 사용자가 전화를 사용하는 것과 같은 환경을 시뮬레이션하여 스크립트를 자동 생성하기 위한 스크립트 생성수단을 더 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험장치.
- 제 4 항에 있어서,상기 가상사용자 구동수단은,동일한 스크립트를 동시에 여러번 수행시키거나 서로 다른 스크립트들을 동시에 수행시킬 수 있는 것을 특징으로 하는 스크립트 생성기법을 이용한 음성인식 시스템 시험장치.
- 제 5 항에 있어서,상기 스크립트 언어는,상기 전화망 정합수단의 기능과 일대일 매핑되는 기능함수를 포함하여 이루어지며, 제어구조(if, loop 등)를 포함함으로써 음성인식 서비스의 시나리오를 표현할 수 있도록 하는 것을 특징으로 하는 스크립트 생성기법을 이용한 음성인식 시스템 시험장치.
- 스크립트 생성기법을 이용한 음성인식 시스템 시험방법에 있어서,음성인식 서비스 시나리오에 따른 시험절차를 표준 스크립트 언어로 작성하는 제 1 단계;상기 작성된 스크립트 언어를 독취하여 그 순서에 따라 스크립트 구동기를 구동시켜 시험을 수행하는 제 2 단계; 및상기 시험 결과에 따라, 해당 시험 결과값을 기록하는 제 3 단계를 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험방법.
- 제 7 항에 있어서,상기 스크립트 구동기를 통해 시스템 및 서비스에 대한 시험이 진행되는 과정을 스크립트 형태로 작성하여 해당 스크립트를 편집하는 제 4 단계를 더 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험방법.
- 제 8 항에 있어서,상기 스크립트 구동기를 통해 처리된 내용들을 프로젝트 데이터 형태로 저장하여 재사용할 수 있도록 편집하는 제 5 단계를 더 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험방법.
- 제 7 항 또는 제 8 항에 있어서,상기 스크립트 구동기로부터의 호출에 의해 GUI(Graphical User Interface) 화면상에 버튼 클릭 또는 간단한 텍스트를 입력하는 GUI 구동기의 제어에 따라, 사용자가 전화를 사용하는 것과 같은 환경을 시뮬레이션하여 스크립트를 자동 생성하는 제 6 단계를 더 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험방법.
- 제 10 항에 있어서,상기 제 2 단계는,각 라인별로 시험을 수행하기 위하여 스크립트 언어를 독취하는 제 7 단계;데이터(음성, DTMF) 송수신을 위해서 전화망 정합부를 호출하는 제 8 단계;상기 전화망 정합부에서 입력 데이터를 시험대상 음성인식 시스템에 송출하고 그 결과값을 결과검증기로 전달하는 제 9 단계; 및상기 결과검증기를 통해 스크립트에 기술된 예상 결과와 비교하여 시험의 성공여부를 검증하고, 검증결과에 따른 해당 시험결과를 파일에 기록하는 제 10 단계를 포함하는 스크립트 생성기법을 이용한 음성인식 시스템 시험방법.
- 제 11 항에 있어서,상기 스크립트 언어는,상기 전화망 정합부의 기능과 일대일 매핑되는 기능함수를 포함하여 이루어지며, 제어구조(if, loop 등)를 포함함으로써 음성인식 서비스의 시나리오를 표현할 수 있도록 하는 것을 특징으로 하는 스크립트 생성기법을 이용한 음성인식 시스템 시험방법.
- 프로세서를 구비한 음성인식 시스템에,음성인식 서비스 시나리오에 따른 시험절차를 표준 스크립트 언어로 작성하는 제 1 기능;상기 작성된 스크립트 언어를 독취하여 그 순서에 따라 스크립트 구동기를 구동시켜 시험을 수행하는 제 2 기능; 및상기 시험 결과에 따라, 해당 시험 결과값을 기록하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20010038945 | 2001-06-30 | ||
| KR1020010038945 | 2001-06-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20030002999A true KR20030002999A (ko) | 2003-01-09 |
Family
ID=27712827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020031647A KR20030002999A (ko) | 2001-06-30 | 2002-06-05 | 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20030002999A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9349365B2 (en) | 2013-03-14 | 2016-05-24 | Accenture Global Services Limited | Voice based automation testing for hands free module |
| US9772919B2 (en) | 2013-03-14 | 2017-09-26 | Accenture Global Services Limited | Automation of D-bus communication testing for bluetooth profiles |
| CN112306857A (zh) * | 2020-02-24 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于测试应用的方法和装置 |
| CN112365902A (zh) * | 2020-10-16 | 2021-02-12 | 科大讯飞股份有限公司 | 语音处理系统的测试方法及相关设备、存储装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11237971A (ja) * | 1998-02-23 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 音声応答装置 |
| KR20010071517A (ko) * | 1998-06-17 | 2001-07-28 | 존 플레이스 | 지능형 텍스트/음성 합성 |
| JP2001325052A (ja) * | 2000-05-17 | 2001-11-22 | Sharp Corp | エージェント表示装置、エージェント表示方法およびエージェント表示プログラムを記録した記録媒体 |
| JP2002023996A (ja) * | 2000-07-04 | 2002-01-25 | Advanced Media Inc | 音声対応スクリプト動作装置 |
-
2002
- 2002-06-05 KR KR1020020031647A patent/KR20030002999A/ko not_active Application Discontinuation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11237971A (ja) * | 1998-02-23 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 音声応答装置 |
| KR20010071517A (ko) * | 1998-06-17 | 2001-07-28 | 존 플레이스 | 지능형 텍스트/음성 합성 |
| JP2001325052A (ja) * | 2000-05-17 | 2001-11-22 | Sharp Corp | エージェント表示装置、エージェント表示方法およびエージェント表示プログラムを記録した記録媒体 |
| JP2002023996A (ja) * | 2000-07-04 | 2002-01-25 | Advanced Media Inc | 音声対応スクリプト動作装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9349365B2 (en) | 2013-03-14 | 2016-05-24 | Accenture Global Services Limited | Voice based automation testing for hands free module |
| US9772919B2 (en) | 2013-03-14 | 2017-09-26 | Accenture Global Services Limited | Automation of D-bus communication testing for bluetooth profiles |
| CN112306857A (zh) * | 2020-02-24 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于测试应用的方法和装置 |
| CN112365902A (zh) * | 2020-10-16 | 2021-02-12 | 科大讯飞股份有限公司 | 语音处理系统的测试方法及相关设备、存储装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7881440B2 (en) | Method for automatic graphical profiling of a system | |
| US7412034B2 (en) | Multi-protocol, multi-interface communications device testing system | |
| JP3631647B2 (ja) | ソフトウェアテスト方法 | |
| CN111124919A (zh) | 一种用户界面的测试方法、装置、设备及存储介质 | |
| CN108268364A (zh) | 异常事件回放方法、装置及设备 | |
| WO2009062419A1 (fr) | Système et procédé de test | |
| CN112732576B (zh) | 基于用户界面的自动化测试方法、装置及设备 | |
| CN109413678A (zh) | 一种Wi-Fi模块自动测试方法及测试系统 | |
| WO2007061241A1 (en) | Error test method for mobile communication terminals | |
| CN103268289A (zh) | 在移动终端上录制应用测试脚本的方法和系统 | |
| US20070003037A1 (en) | Method and system for automatic generation and testing of voice applications | |
| CN112749083A (zh) | 一种测试脚本生成方法及装置 | |
| CN105760300B (zh) | 一种stk/utk业务的自动化测试方法及测试系统 | |
| CN110322587B (zh) | 驾驶过程中的评价记录方法、装置、设备及存储介质 | |
| CN107038117A (zh) | 一种基于事件处理函数间定义‑引用的web自动化测试方法 | |
| CN102025555A (zh) | Ip多媒体子系统性能测试的方法及装置 | |
| KR20030002999A (ko) | 스크립트 생성기법을 이용한 음성인식 시스템 시험장치 및그 방법 | |
| Bucchiarone et al. | Model-checking plus testing: from software architecture analysis to code testing | |
| CN110837467A (zh) | 软件测试方法、装置以及系统 | |
| CN113934619A (zh) | 基于Robot Framework测试框架的音源测试方法、系统及存储介质 | |
| CN106681899A (zh) | 基于Jmeter的安卓UI自动化测试方法及系统 | |
| CN114327416A (zh) | 应用于开发分支的接口同步方法、装置及电子设备 | |
| Bochmann et al. | Test result analysis and validation of test verdicts | |
| CN115982000B (zh) | 一种全场景语音机器人测试系统、方法、存储介质 | |
| Vyas et al. | AppAmigo: An Efficient Middleware to Record and Control Remote Users' Interactions with Their Smartphone Apps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |