KR20050087312A - 강의내용의 음성인식 방법과 이를 이용한 강의자료 편집시스템 - Google Patents

Abstract

본 발명은 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장하고, 강의자 또는 수강자가 강의자료를 용이하게 편집할 수 있도록 하여, 수강자가 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 하나의 출력장치(예를 들어 스피커 등)를 이용하여 출력할 수 있도록 하여 시스템의 제한을 극복하고, 강의내용을 다양하게 편집할 수 있도록 하여 편의성을 향상시키고, 강의자 및 수강자들에게 강의자료 이용의 효율성을 극대화한 것으로, 음성입력장치를 통하여 강의자의 음성을 입력받는 단계와, 상기 입력받은 음성신호를 비교가능한 신호 데이터로 변환하는 단계와, 상기 변환된 신호 데이터를 저장된 신호 데이터와 비교하는 단계와, 상기 변환된 신호 데이터의 비교결과에 따라 문자 데이터로 변환하는 단계와, 상기 변환된 문자 데이터를 저장된 문자 데이터와 비교하는 단계와, 상기 비교결과 일치할 경우 해당 문자 데이터를 선택하는 단계와, 상기 비교결과 일치하지 않을 경우 유사한 문자 데이터를 선택하는 단계와, 상기 선택된 문자 데이터를 이용하여 문장을 완성하는 단계 및 상기 완성된 문장을 출력하는 단계로 이루어진 것을 특징으로 하는 강의내용의 음성인식 방법과 이를 이용한 강의자료 편집 시스템에 관한 것이다.

Description

강의내용의 음성인식 방법과 이를 이용한 강의자료 편집 시스템{Speech recognition method of lecture contents and lecture data editing system which it uses}

본 발명은 강의내용의 음성인식 방법과 이를 이용한 강의자료 편집 시스템에 관한 것으로, 더욱 상세하게는 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장하고, 강의자 또는 수강자가 강의자료를 용이하게 편집할 수 있도록 함으로써, 수강자가 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 하나의 출력장치(예를 들어 스피커 등)를 이용하여 출력할 수 있도록 하여 시스템의 제한을 극복하고, 강의내용을 다양하게 편집할 수 있도록 하여 편의성을 향상시키고, 강의자 및 수강자들에게 강의자료 이용의 효율성을 극대화 시키도록 한 것이다.

일반적으로, 종래의 강의방식은 강의자가 강의하면서 분필로 칠판에 판서를 하면, 수강자는 강의자의 강의내용을 들으면서 강의자가 판서하는 내용을 필기하는 방식이었으나, 이러한 강의방식은 수강자가 강의내용을 일일이 필기해야 하기 때문에, 강의 내용보다 필기에 집착하여 강의내용전달에 대한 효율성이 떨어지게 되고, 강의자는 판서후에 강의내용을 지워야하기 때문에, 판서와 지우기를 반복하여야만 하는 불편함이 있으며, 분진에 의하여 강의자와 수강자의 건강을 해치게 되는 문제점이 있었다.

상기와 같은 문제점을 해결하고자 하여 선출원 된 것으로, 국내공개특허공보 제2003-28143호 “전자 칠판 기능을 제공하는 디스플레이 장치 및 방법”(이하 ‘인용발명’이라 함)과, 국내등록실용신안공보 제20-306442호 “디지털 전자 칠판을 이용한 멀티미디어 학습장치”(이하 ‘등록고안1’이라 함) 및 국내등록실용신안공보 제20-259569호 “다기능 전자 칠판”(이하 ‘등록고안2’라 함) 등이 있다.

상기 인용발명은 ‘광 센서가 구비된 전자 펜으로 씨알티(CRT : Cathode Ray Tube) 화면을 직접 터치하면서 강의하도록 한 것’이나, 일반적인 칠판 정도의 크기를 갖는 씨알티 화면은 그 제작이 어렵고, 제작한다 하여도 씨알티 화면의 특성상 그 무게와 부피가 현저히 커지게 되므로 공간적인 제약을 받게 되며, 현제 판매되는 씨알티화면으로는 강의하기가 부적합하고, 수강자들이 강의자의 강의내용을 필기해야하는 문제점은 해결하지 못한다.

또한, 등록고안1은 ‘디지털 전자 칠판에 다수의 멀티미디어 학습장치를 동작하여 강의하도록 한 것’이나, 특화된 별도의 멀티미디어 학습장치를 구비해야 하기 때문에, 강의 내용에 따라 각각 다른 학습장치를 필요하게 되어 강의내용에 제약을 받게 되며, 상기 인용발명과 마찬가지로 수강자들이 강의내용을 필기해야 하는 문제점을 갖고 있다.

그리고 등록고안2는 상기 인용발명 및 등록고안1의 문제점을 해결하고자 한 것으로, ‘퍼스널 컴퓨터와 전자칠판이 양방향으로 개통되어 펜마우스를 통해 전자칠판에 판서하면 그 내용이 퍼스널 컴퓨터에 그대로 디스플레이되고 실시간으로 저장되어 필기할 필요가 없으며, 반대로 퍼스널 컴퓨터의 내용이 프로젝터를 통해 전자칠판에 디스플레이 되는 것’이나, 수강자들이 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 서로 다른 출력장치(예를 들어 모니터와 스피커 등)를 이용하여 출력해야 하며, 강의 내용을 편집가능한 디지털 데이터로 변환하기 위해서는 강의자가 강의 내용을 일일이 판서해야만 하고, 강의자의 음성이 잘못 저장될 경우에는 다시 저장을 해야 하는 불편함이 있었다.

따라서 본 발명의 목적은 상기와 같은 종래의 문제점들을 해결하기 위한 것으로, 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장함으로써, 강의자 또는 수강자가 강의자료를 용이하게 편집할 수 있도록 한 강의내용의 음성인식 방법과 이를 이용한 강의자료 편집 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 강의내용의 음성인식 방법은, 음성입력장치를 통하여 강의자의 음성을 입력받는 단계와, 상기 입력받은 음성신호를 비교가능한 신호 데이터로 변환하는 단계와, 상기 변환된 신호 데이터를 저장된 신호 데이터와 비교하는 단계와, 상기 변환된 신호 데이터의 비교결과에 따라 문자 데이터로 변환하는 단계와, 상기 변환된 문자 데이터를 저장된 문자 데이터와 비교하는 단계와, 상기 비교결과 일치할 경우 해당 문자 데이터를 선택하는 단계와, 상기 비교결과 일치하지 않을 경우 유사한 문자 데이터를 선택하는 단계와, 상기 선택된 문자 데이터를 이용하여 문장을 완성하는 단계 및 상기 완성된 문장을 출력하는 단계로 이루어진 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 음성인식 방법을 이용한 강의자료 편집 시스템은, 스크린을 지지하며 설치된 프레임의 일측에 펜마우스의 이동 및 동작을 감지하는 감지모듈이 설치된 전자칠판과, 상기 전자칠판의 스크린에 강의내용을 디스플레이 하는 프로젝터 및 강의자의 음성을 수신받는 마이크가, 상기 감지모듈에 의해 감지된 펜마우스의 위치 및 동작을 결정하며 강의를 위한 응용프로그램 및 강의내용이 저장되는 피씨와 데이터의 송수신이 가능하도록 구성되되, 상기 피씨는, 마이크로 입력된 강의자의 음성을 분석하는 음성인식프로그램이 포함되어 구성되며, 강의자료와 판서내용은 스크린의 투사부에 디스플레이하고, 강의자의 음성을 분석한 문자 데이터는 스크린의 인식부에 디스플레이하는 것을 특징으로 한다.

이하에서 상기한 본 발명의 바람직한 실시 예를 첨부된 도면을 참고하여 상세히 설명하도록 한다.

도 1은 본 발명에 의한 강의내용의 음성인식 방법의 흐름도로서, 마이크 등의 음성입력장치를 통하여 강의자의 음성을 입력(S101)받게 되면, 상기 강의자의 음성이 음성입력장치에 입력되면서 음성신호와 더불어 잡음신호가 입력된다.

따라서 상기 음성입력장치에 입력되는 신호는 필터링하여 잡음신호를 제거함으로써, 강의자의 음성신호를 얻을 수 있게 된다.

또한, 상기 필터링된 신호는 아날로그 신호이므로, 샘플링 및 양자화(Quantization)를 거쳐 비교가능한 신호 데이터, 즉 디지털 데이터로 변환(S102)한다.

여기서, 상기 샘플링이란 연속적인 신호를 이산화하여 처리한 것을 말하며, 상기 양자화란 아날로그 신호를 디지털화하여 표본화시켜주는데 있어서 각 신호의 레벨을 이진법으로 표시한 것이다.

상기와 같이 변환된 신호 데이터를 저장된 신호 데이터와 비교(S103)하여 문자 데이터로 변환(S104)하되, 상기 저장된 신호와의 비교는 음소별, 음절별 또는 단어별로 비교가 가능하며, 상기 변환된 문자 데이터는 저장된 문자 데이터와 비교(S105)하여, 일치되는 문자 데이터를 선택(S106)한다.

만약, 상기 문자 데이터의 비교결과 해당 문자 데이터와 일치되는 문자 데이터가 없을 경우에는 유사한 문자 데이터를 선택(S107)하게 되는데, 음절수나 초성의 일치 등의 우선순위를 정하여 선택하게 되며, 상기 선택방법은 당업자의 요구에 따라 다양하게 적용할 수 있다.

상기와 같이 선택된 문자 데이터를 연속적으로 배열하여 문장을 완성(S108)하며, 상기 완성된 문장은 강의내용을 저장하는 데이터베이스에 저장됨과 동시에 외부 출력장치로 출력(S109)된다.

도 2는 본 발명에 의한 음성신호 처리방법에 대한 그래프로서, 음성입력장치로 입력되는 신호는 강의자의 음성신호 F(x)와, 외부잡음 및 음성입력장치 내부의 기계적 잡음인 n(x)가 합성되어 입력된다.

상기 잡음신호 n(x)는 주로 고주파신호이므로, 저대역 통과 필터(LPF : Low Pass Filter)를 사용하여 고주파 잡음신호를 제거하면 강의자의 음성신호인 F(x)만 출력된다.

이때, 상기 음성신호 F(x)는 아날로그 신호이므로, 저장용량의 제한 및 비교의 용이성 등에 의하여 디지털 신호로 변환해야 하며, ΔT의 샘플링주기와 L1, L2, L3 … Ln의 양자화 레벨에 의하여 디지털 신호 D(x)로 변환되며, 상기 샘플링주기는 샘플링주파수의 역수이고, 상기 샘플링주파수는 샘플링하려는 주파수의 2배에 해당하는 주파수를 선택(나이키스트 이론)한다.

즉, 가청 주파수인 20Hz～22kHz를 샘플링하기 위해서는 최대 주파수 22kHz의 두배인 44kHz의 주파수로 샘플링해야 하며, 주로 이보다 약간 높은 44.1kHz로 샘플링하게 된다.

도 3a 및 3b는 본 발명에 의한 음성신호 매칭의 일예를 나타낸 블록도로서, 상기 도 2와 같이 변환된 디지털 신호 D(x)중에 일부분인 D1을 저장된 신호 데이터인 a1, a2, a3 … an과 비교하여, 일치되는 신호(a3)를 검색한 후, 상기 일치된 신호(a3)와 매칭된 단어인 ‘특’(D2)을 상기 D1의 문자 데이터로 변환한다.

상기와 같은 방법은 음절단위의 변환으로, 사용가능한 음절을 모두 저장하기 위해서는 많은 저장용량을 필요로 하게 된다.

따라서 바람직하게는 도 3b에 나타난 바와 같이 D1을 음소단위로 구분한 후, 이를 저장된 자음(b1)(b3) 및 모음(b2) 신호와 비교하고, 그에 따른 문자(c1)(c2)(c3)를 선택한 후, 이를 조합하여 원하는 단어인 ‘특’(D2)을 변환한다.

도 4는 본 발명에 의한 오류데이터 보정의 일예를 나타낸 블록도로서, 상기 도 3a 및 도 3b와 같이 변환된 문자데이터는 음소 및 음절의 구분과 조합 과정에서 발생하는 인식의 오류로 인하여 잘못된 변환데이터(E)가 생성될 수 있다.

이러한 오류데이터(E)는 유사한 문자 데이터로 변환하게 되는데, 예를 들어 상기 오류데이터(E)가 ‘특커’라는 문자일 경우, 먼저 저장된 단어들로부터 이음절의 단어들을 검색하고, 둘째로는 초성인 ‘ㅌ’이 일치되는 단어를 검색하며, 마지막으로 초성, 중성, 종성의 구분에 의하여 가장 많은 부분이 일치되는 단어를 선택하게 된다.

즉, 예시된 특유(f1)은 두 번째 음절인 ‘유’와 ‘커’의 비교에 있어 두 부분의 음소에 오류가 있고, 특허(f2)의 경우에는 두 번째 음절의 초성인 ‘ㅋ’과 ‘ㅎ’의 한 부분의 음소에 오류가 있으며, 특화(f3)의 경우에는 ‘커’와 ‘화’가 틀린 부분이 된다.

따라서 오류데이터인 ‘특커’(E)는 가장 유사한 특허(D3)로 변환되는 것이다.

상기와 같은 오류데이터는 상기 샘플링 주파수와 양자화 레벨의 개수가 클수록 작아지나 데이터의 양이 많아지게 되므로, 본 발명이 적용되는 목적에 의하여 당업자의 요구에 따라 적절히 조절하도록 함은 물론이다.

도 5는 음성인식을 이용한 강의자료 편집 시스템의 구성도로서, 상기와 같은 음성인식프로그램 및 강의를 위한 응용프로그램이 저장된 피씨(50)와 인식된 음성과 강의자료를 디스플레이 하는 프로젝터(40) 및 전자칠판(10)은 케이블(60)에 의하여 공유기(70)를 거쳐 데이터를 송수신하며, 강의자는 펜마우스(20)를 이용하여 판서를 하고 마이크(80)를 통해 강의내용을 피씨(50)로 전송하게 된다.

상기 전자칠판(10)은 인식된 음성의 문자데이터가 출력되는 인식부(R)와 강의자료가 출력되는 투사부(T)가 디스플레이 되는 스크린(12)과, 상기 스크린(12)을 감싸며 지지하는 프레임(11)으로 구성되며, 상기 프레임(11)의 일측에는 상기 펜마우스(20)의 위치를 감지하기 위한 감지모듈(30)을 설치하되, 상기 감지모듈(30)에는 적외선 센서(32)와 일정거리만큼 이격된 서로 다른 두개의 초음파 수신기(31)(31')가 내장되며, 상기 펜마우스(20)에는 초음파 송신기(도시하지 않음)가 설치된다.

상기 펜마우스(20)가 스크린(12)상에서 동작하게 되면, 상기 감지모듈(30)의 각 센서들은 펜마우스(20)의 동작을 감지하여 그 결과를 공유기(70)를 거쳐 피씨(50)로 전송하며, 상기 피씨(50)는 수신된 펜마우스의 위치 및 동작을 분석하여 응용프로그램에 적용하고, 그 결과를 공유기(70)를 통해 프로젝터(40)로 전송한다.

상기 프로젝터(40)는 상기 결과를 스크린(12)의 투사부(T)에 디스플레이하며, 상기 디스플레이 되는 데이터는 피씨(50)에 저장된다.

또한, 상기 마이크(80)를 통해 입력된 강의자의 음성신호는 피씨(50)에 저장된 음성인식프로그램에 의하여 분석되어, 상기 프로젝터(40)를 통해 스크린(12)의 인식부(R)로 디스플레이 되며, 상기 투사부(T)에 디스플레이 되는 내용과 인식부(R)에 디스플레이 되는 내용은 서로 매칭되어 연동하도록 된다.

즉, 도 6a 및 도 6b에 나타난 바와 같이 감지모듈(30)에 의해 감지된 펜마우스(20)의 위치가 스크린(12)의 투사부(12) 상단블럭(t1)에 위치할 경우에 상기 피씨(50)는 상기 상단블럭(t1)에 대한 강의자의 강의내용이 분석된 데이터(r1)를 인식부(R)의 상단에 출력한다.

이후, 강의자의 강의가 계속됨에 따라 상기 펜마우스(20)의 위치가 세 번째 블록(t3)에 위치하게 되면, 상기 상단블럭(t1)에 대한 강의자의 강의내용이 분석된 데이터(r1)가 인식부(R)의 상부로 스크롤 되어 사라지며, 상기 세 번째 블럭(t3)에 대한 강의자의 강의내용이 분석된 데이터(r3)가 인식부(R)의 상단에 출력된다.

이는 강의자의 판서내용보다 음성에 의한 강의내용이 많음으로 인하여 발생하는 강의자와 수강자의 불편함을 제거하기 위한 것으로, 강의할 때와 더불어 강의내용의 재생시에도 동일하게 적용된다.

또한, 강의자는 별도의 판서를 하지 않고서도, 도 6c에 나타난 바와 같이, 강의자의 음성이 분석되어 디스플래이 되는 인식부(R)에서 원하는 강의 내용(b)을 펜마우스(20)로 선택하여 투사부(T)로 이동시킴으로써, 판서를 한 것과 같은 효과를 얻을 수 있다.

즉, 상기 피씨(50)는 인식부(R)에서 선택되어 투사부(T)로 이동된 블록(b)에 대해서는 판서한 것과 동일하게 저장하며, 이와 같은 편집방법으로 인하여 강의 내용을 일일이 판서하지 않아도 되도록 한 것이다.

상기 본 발명은 당업자의 요구에 따라 기본 개념을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다.

상술한 바와 같이 본 발명에 따르면, 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장함으로써, 수강자가 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 하나의 출력장치(예를 들어 스피커 등)를 이용하여 출력할 수 있도록 하여 시스템의 제한을 극복하고, 강의내용을 다양하게 편집할 수 있도록 하여 편의성을 향상시키고, 강의자 및 수강자들에게 강의자료 이용의 효율성을 극대화 시키는 효과가 있다.

도 1은 본 발명에 의한 강의내용의 음성인식 방법의 흐름도.

도 2는 본 발명에 의한 음성신호 처리방법에 대한 그래프.

도 3a 및 3b는 본 발명에 의한 음성신호 매칭의 일예를 나타낸 블록도.

도 4는 본 발명에 의한 오류데이터 보정의 일예를 나타낸 블록도.

도 5는 음성인식을 이용한 강의자료 편집 시스템의 구성도.

도 6a 내지 도 6c는 음성인식을 이용한 강의자료 편집 시스템의 사용상태도.

* 도면의 주요부분에 대한 부호의 설명 *

10 : 전자칠판 11 : 프레임

12 : 스크린 20 : 펜마우스

30 : 감지모듈 31, 31' : 초음파 수신기

32 : 적외선 센서 40 : 프로젝터

50 : 피씨 60 : 케이블

70 : 공유기 80 : 마이크

R : 인식부 T : 투사부

Claims (7)

1. 음성입력장치를 통하여 강의자의 음성을 입력받는 단계(S101)와,

   상기 입력받은 음성신호를 비교가능한 신호 데이터로 변환하는 단계(S102)와,

   상기 변환된 신호 데이터를 저장된 신호 데이터와 비교하는 단계(S103)와,

   상기 변환된 신호 데이터의 비교결과에 따라 문자 데이터로 변환하는 단계(S104)와,

   상기 변환된 문자 데이터를 저장된 문자 데이터와 비교하는 단계(S105)와,

   상기 비교결과 일치할 경우 해당 문자 데이터를 선택하는 단계(S106)와,

   상기 비교결과 일치하지 않을 경우 유사한 문자 데이터를 선택하는 단계(S107)와,

   상기 선택된 문자 데이터를 이용하여 문장을 완성하는 단계(S108) 및

   상기 완성된 문장을 출력하는 단계(S109)로 이루어진 것을 특징으로 하는 강의내용의 음성인식 방법.
2. 제 1항에 있어서,

   상기 입력받은 음성신호를 비교가능한 신호 데이터로 변환하는 단계(S102)는, 입력받은 음성신호를 필터링한 후 샘플링과 양자화를 하는 단계로 이루어진 것을 특징으로 하는 강의내용의 음성인식 방법.
3. 제 1항에 있어서,

   상기 유사한 문자 데이터를 선택하는 단계(S107)는,

   음절수의 일치, 음절의 일치, 초성의 일치를 우선순위로 하여 비교한 후, 가장 오류가 적은 문자를 선택하는 것을 특징으로 하는 강의내용의 음성인식 방법.
4. 스크린(12)을 지지하며 설치된 프레임(11)의 일측에 펜마우스(2)의 이동 및 동작을 감지하는 감지모듈(30)이 설치된 전자칠판(10)과,

   상기 전자칠판(10)의 스크린(12)에 강의내용을 디스플레이 하는 프로젝터(40) 및 강의자의 음성을 수신받는 마이크(8)가,

   상기 감지모듈(3)에 의해 감지된 펜마우스(2)의 위치 및 동작을 결정하며, 강의를 위한 응용프로그램 및 강의내용이 저장되는 피씨(5)와 데이터의 송수신이 가능하도록 구성되되,

   상기 피씨(50)는, 마이크(8)로 입력된 강의자의 음성을 분석하는 음성인식프로그램이 포함되어 구성되며, 강의자료와 판서내용은 스크린(12)의 투사부(T)에 디스플레이하고, 강의자의 음성을 분석한 문자 데이터는 스크린(12)의 인식부(R)에 디스플레이하는 것을 특징으로 하는 음성인식을 이용한 강의자료 편집 시스템.
5. 제 4항에 있어서,

   상기 피씨(50)에 저장된 음성인식프로그램은,

   청구항 1항의 방법을 수행하도록 이루어진 것을 특징으로 하는 음성인식을 이용한 강의자료 편집 시스템.
6. 제 4항에 있어서,

   상기 피씨(50)는,

   스크린(12)의 투사부(T)에 디스플레이되는 강의자료 및 판서내용과,

   스크린(12)의 인식부(R)에 디스플레이되는 문자 데이터를 매칭시켜 저장하는 것을 특징으로 하는 음성인식을 이용한 강의자료 편집 시스템.
7. 제 4항에 있어서,

   상기 피씨(50)는,

   인식부(R)에 디스플레이된 문자 데이터중에 펜마우스(20)에 의해 선택되어 투사부(T)로 이동된 데이터를 판서내용에 포함하여 저장하는 것을 특징으로 하는 음성인식을 이용한 강의자료 편집 시스템.