KR100597453B1 - 음성 및 문자 인식을 이용한 강의자료 편집 방법 - Google Patents

Abstract

본 발명은 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장함과 동시에 음성으로 분석된 데이터에 오류가 발생할 경우 이를 판서하여 수정할 수 있도록 하여, 수강자가 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 하나의 출력장치(예를 들어 스피커 등)를 이용하여 출력할 수 있도록 하여 시스템의 제한을 극복하고, 강의내용을 다양하게 편집할 수 있도록 하여 편의성을 향상시키고, 보다 정확한 강의자료의 저장과 강의자 및 수강자들에게 강의자료 이용의 효율성을 극대화 시키도록 한 것으로, 음성을 입력받아 분석하여 디지털 데이터로 변환하는 단계와, 상기 변환된 디지털 데이터를 저장된 데이터와 비교하여 문장을 완성하는 단계와, 상기 완성된 문장을 출력하는 단계와, 출력된 문장 중에 오류가 발생된 부분을 선택받아 삭제하는 단계와, 상기 삭제된 부분에 수정하고자 하는 문자정보를 입력받는 단계와, 상기 입력받은 문자정보를 분석하여 해당 문자를 선택하는 단계 및 선택된 문자를 출력하여 문장을 완성하는 단계로 이루어진 것을 특징으로 하는 음성 및 문자 인식을 이용한 강의자료 편집 방법에 관한 것이다.

음성인식, 문자인식, 강의자료, 편집,

Description

음성 및 문자 인식을 이용한 강의자료 편집 방법{Lecture data editing method using speech and character recognition}

도 1은 본 발명에 의한 음성 및 문자 인식을 이용한 강의자료 편집 방법의 흐름도.

도 2는 본 발명에 의한 음성 인식 방법의 일예를 나타낸 블록도.

도 3은 본 발명에 의한 음성 및 문자 인식을 이용한 강의자료 편집 시스템의 구성도.

도 4는 본 발명에 의한 문자 인식을 이용한 강의자료 편집 방법의 일예를 나타낸 블록도.

도 5는 본 발명에 의한 문자 인식 방법의 일예를 나타낸 블록도.

* 도면의 주요부분에 대한 부호의 설명 *

10 : 전자칠판 11 : 프레임

12 : 스크린 20 : 펜마우스

30 : 감지모듈 31, 31' : 초음파 수신기

32 : 적외선 센서 40 : 프로젝터

50 : 피씨 60 : 케이블

70 : 공유기 80 : 마이크

R : 인식부 T : 투사부

본 발명은 음성 및 문자 인식을 이용한 강의자료 편집 방법에 관한 것으로, 더욱 상세하게는 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장함과 동시에 음성으로 분석된 데이터에 오류가 발생할 경우 이를 판서하여 수정할 수 있도록 함으로써, 수강자가 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 하나의 출력장치(예를 들어 스피커 등)를 이용하여 출력할 수 있도록 하여 시스템의 제한을 극복하고, 강의내용을 다양하게 편집할 수 있도록 하여 편의성을 향상시키고, 보다 정확한 강의자료의 저장과 강의자 및 수강자들에게 강의자료 이용의 효율성을 극대화 시키도록 한 것이다.

일반적으로, 종래의 강의방식은 강의자가 강의하면서 분필로 칠판에 판서를 하면, 수강자는 강의자의 강의내용을 들으면서 강의자가 판서하는 내용을 필기하는 방식이었으나, 이러한 강의방식은 수강자가 강의내용을 일일이 필기해야 하기 때문에, 강의 내용보다 필기에 집착하여 강의내용전달에 대한 효율성이 떨어지게 되고, 강의자는 판서후에 강의내용을 지워야하기 때문에, 판서와 지우기를 반복하여야만 하는 불편함이 있으며, 분진에 의하여 강의자와 수강자의 건강을 해치게 되는 문제점이 있었다.

상기와 같은 문제점을 해결하고자 하여 선출원 된 것으로, 국내공개특허공보 제2003-28143호 “전자 칠판 기능을 제공하는 디스플레이 장치 및 방법”(이하 ‘인용발명’이라 함)과, 국내등록실용신안공보 제20-306442호 “디지털 전자 칠판을 이용한 멀티미디어 학습장치”(이하 ‘등록고안1’이라 함) 및 국내등록실용신안공보 제20-259569호 “다기능 전자 칠판”(이하 ‘등록고안2’라 함) 등이 있다.

상기 인용발명은 ‘광 센서가 구비된 전자 펜으로 씨알티(CRT : Cathode Ray Tube) 화면을 직접 터치하면서 강의하도록 한 것’이나, 일반적인 칠판 정도의 크기를 갖는 씨알티 화면은 그 제작이 어렵고, 제작한다 하여도 씨알티 화면의 특성상 그 무게와 부피가 현저히 커지게 되므로 공간적인 제약을 받게 되며, 현제 판매되는 씨알티화면으로는 강의하기가 부적합하고, 수강자들이 강의자의 강의내용을 필기해야하는 문제점은 해결하지 못한다.

또한, 등록고안1은 ‘디지털 전자 칠판에 다수의 멀티미디어 학습장치를 동작하여 강의하도록 한 것’이나, 특화된 별도의 멀티미디어 학습장치를 구비해야 하기 때문에, 강의 내용에 따라 각각 다른 학습장치를 필요하게 되어 강의내용에 제약을 받게 되며, 상기 인용발명과 마찬가지로 수강자들이 강의내용을 필기해야 하는 문제점을 갖고 있다.

그리고 등록고안2는 상기 인용발명 및 등록고안1의 문제점을 해결하고자 한 것으로, ‘퍼스널 컴퓨터와 전자칠판이 양방향으로 개통되어 펜마우스를 통해 전자칠판에 판서하면 그 내용이 퍼스널 컴퓨터에 그대로 디스플레이되고 실시간으로 저장되어 필기할 필요가 없으며, 반대로 퍼스널 컴퓨터의 내용이 프로젝터를 통해 전자칠판에 디스플레이 되는 것’이나, 수강자들이 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 서로 다른 출력장치(예를 들어 모니터와 스피커 등)를 이용하여 출력해야 하며, 강의 내용을 편집가능한 디지털 데이터로 변환하기 위해서는 강의자가 강의 내용을 일일이 판서해야만 하고, 강의자의 음성이 잘못 저장될 경우에는 다시 저장을 해야 하는 불편함이 있었다.

따라서 본 발명의 목적은 상기와 같은 종래의 문제점들을 해결하기 위한 것으로, 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장함으로써, 강의자 또는 수강자가 강의자료를 용이하게 편집할 수 있도록 하며, 음성으로 분석된 데이터에 오류가 발생할 경우 이를 판서하여 수정할 수 있도록 함으로써, 보다 정확한 강의자료의 저장 및 활용이 가능하도록 한 음성 및 문자 인식을 이용한 강의자료 편집 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 음성 및 문자 인식을 이용한 강의자료 편집 방법은, 음성을 입력받아 분석하여 디지털 데이터로 변환하는 단계와, 상기 변환된 디지털 데이터를 저장된 데이터와 비교하여 문장을 완성하는 단계와, 상기 완성된 문장을 출력하는 단계와, 출력된 문장 중에 오류가 발생된 부분을 선택받아 삭제하는 단계와, 상기 삭제된 부분에 수정하고자 하는 문자정보를 입력받는 단계와, 상기 입력받은 문자정보를 분석하여 해당 문자를 선택하는 단계 및 선택된 문자를 출력하여 문장을 완성하는 단계로 이루어진 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 음성 및 문자 인식을 이용한 강의자료 편집 시스템은, 스크린을 지지하며 설치된 프레임의 일측에 펜마우스의 이동 및 동작을 감지하는 감지모듈이 설치된 전자칠판과, 상기 전자칠판의 스크린에 강의내용을 디스플레이 하는 프로젝터 및 강의자의 음성을 수신받는 마이크가, 상기 감지모듈에 의해 감지된 펜마우스의 위치 및 동작을 결정하며, 강의를 위한 응용프로그램 및 강의내용이 저장되는 피씨와 데이터의 송수신이 가능하도록 구성되되, 상기 피씨는, 마이크로 입력된 강의자의 음성을 분석하는 음성인식프로그램 및 문자인식프로그램이 포함되어 구성되며, 강의자료와 판서내용은 스크린의 투사부에 디스플레이하고, 음성인식프로그램에 의하여 강의자의 음성을 분석한 문자 데이터와 문자인식프로그렘에 의하여 상기 펜마우스로부터 입력받은 수정데이터를 분석한 문자 데이터는 스크린의 인식부에 디스플레이하게 되는 것이다.

이하에서 상기한 본 발명의 바람직한 실시 예를 첨부된 도면을 참고하여 상세히 설명하도록 한다.

도 1은 본 발명에 의한 음성 및 문자 인식을 이용한 강의자료 편집 방법의 흐름도로서, 마이크 등의 음성입력장치를 통하여 강의자의 음성을 입력받게 되면, 상기 음성입력장치에 입력되는 음성신호를 필터링하여 잡음신호를 제거하고, 샘플링 및 양자화(Quantization)를 거쳐 디지털 데이터로 변환(S101)한다.

여기서, 상기 샘플링이란 연속적인 신호를 이산화하여 처리한 것을 말하며, 상기 양자화란 아날로그 신호를 디지털화하여 표본화시켜주는데 있어서 각 신호의 레벨을 이진법으로 표시한 것이다.

상기와 같이 변환된 디지털 데이터를 저장된 신호 데이터와 비교하여 문자 데이터로 변환하되, 상기 저장된 신호와의 비교는 음소별, 음절별 또는 단어별로 비교가 가능하며, 상기 변환된 문자 데이터는 저장된 문자 데이터와 비교하여, 일치되는 문자 데이터를 선택하고, 상기와 같이 선택된 문자 데이터를 연속적으로 배열하여 문장을 완성(S102)한다.

이때, 상기 문자 데이터의 비교결과 해당 문자 데이터와 일치되는 문자 데이터가 없을 경우에는 유사한 문자 데이터를 선택하게 되는데, 음절수나 초성의 일치 등의 우선순위를 정하여 선택하게 되며, 상기 선택방법은 당업자의 요구에 따라 다양하게 적용할 수 있다.

상기와 같이 완성된 문장은 강의내용을 저장하는 데이터베이스에 저장함과 동시에 외부 출력장치로 출력(S103)한다.

상기 출력장치중에 전자칠판에 디스플레이하는 프로젝터로부터 출력된 문장을 강의자가 확인하고, 상기 출력된 문장 중에 오류가 발생되었을 경우 펜마우스를 이용하여 이를 선택하면, 상기 펜마우스에 의하여 선택된 단어를 삭제(104)시키게 된다.

이 후, 강의자가 펜마우스를 이용하여 삭제된 부분에 원하는 단어를 판서하게 되면, 펜마우스로의 위치데이터를 입력(S105)받게 된다.

상기 펜마우스로 입력된 위치데이터를 화상정보로 인식하여 이를 문자인식 프로그램에 의하여 인식(S106)하며, 상기 문자인식은 입력된 화상정보를 초중종성으로 구분한 후, 다시 획을 구분하여 저장된 음소데이터와 매칭시켜 단어를 완성하며, 상기 문자인식의 방법은 당업자의 요구에 따라 다양하게 적용될 수 있다.

상기와 같이 수정된 문자를 강의내용을 저장하는 데이터베이스에 저장함과 동시에 외부 출력장치로 출력하여 문장을 완성(S107)하게 된다.

도 2는 본 발명에 의한 음성 인식 방법의 일예를 나타낸 블록도로서, 마이크 등의 음성입력장치를 통해 입력된 음성신호는 저장된 음성신호 데이터인 A1, A2, A3 ...... An과 비교하게 된다.

이때, 상기 음성신호 데이터는 각각 해당 음성신호에 따른 문자데이터와 매칭이 되어 있으며, 입력된 음성신호와 일치되는 음성신호(A3)를 식별한 후, 일치된 신호(A3)와 매칭된 단어인 ‘특허’(D3)를 검색하여 입력된 음성신호를 문자 데이터로 변환한다.

상기와 같은 방법은 음절단위의 변환으로, 사용가능한 음절을 모두 저장하기 위해서는 많은 저장용량을 필요로 하게 된다.

따라서 바람직하게는 음소단위의 음성신호 데이터와 그에 따른 문자를 매칭하여 저장하고 입력된 음성신호를 음소단위로 구분한 후, 이를 저장된 데이터와 비교하여 변환할 수도 있다.

또한, 음성신호를 문자로 변환할 경우 발생되는 오류에 대하여 이를 보정할 수 있는 방법을 추가로 포함할 수 있으며, 이와 같은 오류데이터는 상기 샘플링 주파수와 양자화 레벨의 개수가 클수록 작아지나 데이터의 양이 많아지게 되므로, 본 발명이 적용되는 목적에 의하여 당업자의 요구에 따라 적절히 조절하도록 함은 물론이다.

도 3은 본 발명에 의한 음성 및 문자 인식을 이용한 강의자료 편집 시스템의 구성도로서, 상기와 같은 음성인식프로그램과 하기할 문자인식프로그램 및 강의를 위한 응용프로그램이 저장된 피씨(50)와, 인식된 음성과 강의자료를 디스플레이 하는 프로젝터(40) 및 전자칠판(10)은 케이블(60)에 의하여 공유기(70)를 거쳐 데이터를 송수신하며, 강의자는 펜마우스(20)를 이용하여 판서를 하고 마이크(80)를 통해 강의내용을 피씨(50)로 전송하게 된다.

상기 전자칠판(10)은 인식된 음성의 문자데이터가 출력되는 인식부(R)와 강의자료가 출력되는 투사부(T)가 디스플레이 되는 스크린(12)과, 상기 스크린(12)을 감싸며 지지하는 프레임(11)으로 구성되며, 상기 프레임(11)의 일측에는 상기 펜마우스(20)의 위치를 감지하기 위한 감지모듈(30)을 설치하되, 상기 감지모듈(30)에는 적외선 센서(32)와 일정거리만큼 이격된 서로 다른 두개의 초음파 수신기(31)(31')가 내장되며, 상기 펜마우스(20)에는 초음파 송신기(도시하지 않음)가 설치된다.

상기 펜마우스(20)가 스크린(12)상에서 동작하게 되면, 상기 감지모듈(30)의 각 센서들은 펜마우스(20)의 동작을 감지하여 그 결과를 공유기(70)를 거쳐 피씨(50)로 전송하며, 상기 피씨(50)는 수신된 펜마우스의 위치 및 동작을 분석하여 응용프로그램에 적용하고, 그 결과를 공유기(70)를 통해 프로젝터(40)로 전송한다.

상기 프로젝터(40)는 상기 결과를 스크린(12)의 투사부(T)에 디스플레이하며, 상기 디스플레이 되는 데이터는 피씨(50)에 저장된다.

또한, 상기 마이크(80)를 통해 입력된 강의자의 음성신호는 피씨(50)에 저장된 음성인식프로그램에 의하여 분석되어, 상기 프로젝터(40)를 통해 스크린(12)의 인식부(R)로 디스플레이 되며, 상기 투사부(T)에 디스플레이 되는 내용과 인식부(R)에 디스플레이 되는 내용은 서로 매칭되어 연동하도록 한다.

상기 출력장치 중에 전자칠판(10)에 디스플레이하는 프로젝터(40)로부터 출력된 문장을 강의자가 확인하고, 상기 출력된 문장 중에 오류가 발생되었을 경우 도 4에 나타난 바와 같이 펜마우스(20)를 이용하여 이를 선택하면, 상기 펜마우스(20)에 의하여 선택된 단어를 삭제시키게 된다.

즉, 출력된 다수의 단어를 별도의 블록(B1)(B2)(B3)으로 지정하고, 상기 다수의 블록(B1)(B2)(B3)에서 삭제해야할 단어(B2)를 펜마우스에 의해 선택하면, 해당 단어가 포함된 블록(B2)의 저장위치를 확인하여 이를 삭제함과 동시에 그 결과를 출력하고, 단어가 삭제된 블록(B2)에 원하는 단어를 필기하게 되면 이를 저장된 문자인식 프로그램에 의해 인식하여 그 결과를 출력하게 된다.

여기서, 필기문자는 인쇄문자와 달리 기계적인 치수로 그 형상을 엄격히 규정하기 어렵기 때문에, 필기문자의 인식기준으로는 문자를 구성하는 특징적인 선을 명확하게 구별할 수 있을 것, 자연스러운 형태일 것 등이 선택될 수 있으며, 상기와 같이 특정한 블록(B2)내에 필기하도록 크기의 제한을 병행할 수 있다.

도 5는 본 발명에 의한 문자 인식 방법의 일예를 나타낸 블록도로서, 강의자가 펜마우스(20)를 이용하여 삭제한 블록(B2)에 원하는 문자를 판서를 하게 되면, 판서된 문자는 음소별루 구분되어 진다.

즉, 블록(b2)에 판서된 문자의 첫 번째 음절은 초성(b1), 중성(b2), 종성(b3)으로 구분되고, 두 번재 음절은 초성(b4)과 중성(b5)으로 구분되어 각각 인식하게 된다.

이때, 구분된 음소의 인식방법의 일예로는 해당 음소(b1)를 획으로 구분하여 각각의 획에 따른 시작점(S1)(S2)(S3)와 끝점(E1)(E2)(E3) 및 꺽인점(M2)을 추출하여 해당 포인트를 잇는 직선을 설정하여 인식한 후, 저장된 데이터와 비교하여 가장 근사한 데이터와 매칭하도록 하여 필기한 음소를 결정하고, 상기와 같이 결정된 음소들을 결합하여 단어를 완성한다.

또한, 상기 구분된 음소의 인식방법의 다른 예로는 특정한 블록(b5)에 포함된 음소를 선택하고, 해당 블록(b5)을 일정한 크기의 단위블록(ub)으로 분할한 후, 해당 단위블록(ub)에 획이 존재하면 ‘1’로, 존재하지 않으면 ‘0’으로 설정하고, 이 값을 저장된 데이터와 비교하여 가장 근사한 데이터와 매칭하도록 하여 필기한 음소를 결정하고, 상기와 같이 결정된 음소들을 결합하여 단어를 완성하게 되는 것이다.

상기와 같은 음소의 인식방법은 상기한 방법에 제한하지 않음은 물론이며, 당업자의 요구에 따라 기본 개념을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다.

상술한 바와 같이 본 발명에 따르면, 강의자가 판서하는 내용과 더불어 강의자의 강의하는 음성을 분석하여 디지털 데이터로 저장함으로써, 수강자가 저장된 강의 자료를 재생할 경우 판서된 내용과 음성으로 저장된 강의 내용을 하나의 출력장치(예를 들어 스피커 등)를 이용하여 출력할 수 있도록 하여 시스템의 제한을 극복하고, 강의내용을 다양하게 편집할 수 있도록 하여 편의성을 향상시키고, 음성으로 분석된 데이터에 오류가 발생할 경우 이를 판서하여 수정할 수 있도록 함으로써, 보다 정확한 강의자료의 저장과 강의자 및 수강자들에게 강의자료 이용의 효율성을 극대화 시키는 효과가 있다.

Claims (2)

1. 음성을 입력받아 피씨에 저장된 음성인식프로그램에서 분석하여 디지털 데이터로 변환하는 단계(S101)와,

   상기 변환된 디지털 데이터를 저장된 데이터와 비교하여 문자인식프로그램에 의해 문장을 완성하는 단계(S102)와,

   상기 완성된 문장을 출력하는 단계(S103)와,

   출력된 문장 중에 오류가 발생된 부분을 선택받아 피씨에 저장된 프로그램에 의해 삭제하는 단계(S104)와,

   상기 삭제된 부분에 수정하고자 하는 문자정보를 피씨의 문자인식프로그램에 의해 입력받는 단계(S105)와,

   상기 입력받은 문자정보를 피씨에서 분석하여 해당 문자를 선택하는 단계(S106) 및

   선택된 문자를 피씨에서 출력하여 문장을 완성하는 단계(S107)로 이루어진 것을 특징으로 하는 음성 및 문자 인식을 이용한 강의자료 편집 방법.
2. 삭제

Images