KR20030013154A - 다채널로 입력되는 실시간 음성인식 방법 - Google Patents

Abstract

본 발명은 여러 채널을 통해 입력되는 음성을 인식할 수 있는 방법에 관한 것으로, 본 발명에 따른 다채널로 입력되는 실시간 음성인식 방법은, 음성인식 서버에서 시스템에 컴 프로세서를 생성하면, 상기 생성된 컴 프로세서에서 상기 음성인식 서버에 할당된 채널의 수 만큼 쓰레드를 생성하는 단계; 상기 음성인식 서버에서 클라이언트의 연결요청 메시지를 수신하고, 상기 컴 프로세서가 연결 응답 메시지를 클라이언트로 전송하여, 상기 음성인식 서버와 클라이언트가 연결되는 단계; 상기 연결된 클라이언트로부터 음성인식을 요구하는 데이터가 다수의 채널을 통해 수신되는 단계; 상기 음성인식 서버의 컴 프로세서에서 음성데이터가 수신되는 채널의 수만큼의 쓰레드를 활성화시키고, 상기 각 채널로 수신된 음성데이터를 정해진 단위크기로 분할하는 단계; 상기 활성화된 쓰레드에 하나의 채널을 각각 할당하여, 분할된 데이터를 차례로 전송하여 음성인식을 하도록 하는 단계; 상기 각각의 쓰레드에서 전송된 음성데이터를 처리하여 음성인식 결과를 컴 프로세서로 전송하고, 상기 컴 프로세서에서 인식결과를 클라이언트로 전송하는 단계를 포함하여 구성되는 것을 특징으로 한다.

이 같은 본 발명에 의하면, 여러 채널을 통하여 동시에 입력되는 음성데이터를 음성인식 서버가 인식하는데 있어서, 종래에는 순차적으로 각 채널의 모든 데이터를 처리하고, 다음 채널의 데이터를 처리하는 방법을 사용하여 나중에 음성데이터를 전송한 채널에서 대기하는 시간이 길어지는 불편함이 있었던 것을, 각 채널별로 수신되는 음성데이터를 일정크기로 분할하고, 할당된 쓰레드에서 분할된 데이터를 처리하여 결과를 클라이언트에 전달함으로써 여러 채널을 통해 한꺼번에 음성데이터가 입력되어도 각 채널마다 실시간으로 음성인식 처리를 할 수 있도록 하는 효과가 기대된다.

Description

다채널로 입력되는 실시간 음성인식 방법{Method of real time voice cognition from the plural channel}

본 발명은 음성인식 서버가 클라이언트로부터 전송되는 음성을 처리하는 방법에 관한 것으로, 특히 다수의 채널로부터 입력되는 음성 데이터를 실시간으로 음성인식을 하여 음성요구 채널의 대기시간을 효과적으로 단축할 수 있는 다채널로 입력되는 실시간 음성인식 방법에 관한 것이다.

음성인식 서버는 클라이언트로부터의 음성데이터를 다수의 채널을 통해 수신하여 음성데이터를 인식하는 기능을 수행할 수 있는 서버이다.

종래의 음성인식 서버에서 다수의 채널로부터 수신되는 음성데이터를 처리하는 것은 순차적으로 먼저 전송된 채널의 음성데이터를 분석하여 실행하고, 다음 순서의 음성데이터를 처리하는 방식을 이용하였다.

도 1은 종래의 음성인식 네트워크의 서버와 클라이언트간의 데이터의 흐름을 나타낸 흐름도이다.

도 1을 참조하면, 음성데이터를 전송하는 클라이언트(10)와, 일정개수의 채널을 통해서 상기 클라이언트(10)로부터의 음성데이터를 수신하고 음성인식처리를 하는 음성인식 서버(20)로 구성되며, 만약 클라이언트(10)에서 4개의 채널을 이용하여 도 1에 도시된 순서 ①-②-③-④로 음성데이터가 음성인식 서버(10)로 전송되면(S11), 상기 음성인식 서버(20)는 먼저 도착하는 채널 1의 음성데이터가 모두 수신되었는가를 확인하여(S12), 모든 데이터가 수신되었을때, 음성인식을 하고 그 결과를 클라이언트(10)에 전송한다(S13).

그리고, 다음번 채널 2의 음성데이터가 모두 수신되었는가를 확인하고(S14), 모두 수신된 데이터를 음성인식하여 결과를 클라이언트(10)로 전송하는(S15) 과정을 되풀이하여 순차적으로 수신되는 채널의 음성데이터를 인식하게 된다(S16~S17).

예를 들어 상기 클라이언트(10)가 '아버지 안녕하세요'라는 음성데이터를 채널 1을 통하여 전송하고, 뒤이어 '어머니도 안녕하시지요'라는 데이터를 채널 2를 통해 전송하였다면, 상기 음성인식 서버는 채널 1의 '아버지 안녕하세요'라는 음성데이터를 모두 수신할 때까지 대기하고, 모든 데이터가 수신되면 수신된 음성데이터를 인식하여 결과를 클라이언트로 전송하고, 다음번 채널의 '어머니도 안녕하시지요'라는 데이터가 모두 도착할 때까지 대기하여 음성인식을 하는 것이다. 이때, 채널 1 또는 채널 2로부터의 데이터를 모두 수신했다는 판단은 사전에 약속된 명령어를 클라이언트 사용자가 키보드 등을 이용하여 입력할 수 있고(예; 엔터키를 누르거나, 스페이스바를 누르는 동작), 음성인식 결과로는 클라이언트의 컴퓨터 화면에 글자가 나타나거나, 스피커를 통하여 음성 출력 등을 하는 등의 결과로 나타낼 수 있다.

그러나, 종래의 음성인식 방법은 상기 클라이언트(10)로부터 여러 채널을 통하여 긴 문장의 음성데이터가 수신될 경우 나중에 수신되기 시작한 채널의 데이터는 앞서 수신된 음성데이터가 인식될 때까지 오랜 시간을 기다려야 하는 문제가 있다.

따라서, 종래의 방법으로 음성인식을 하게되면 실시간적으로 음성인식의 결과를 알 수 없고, 음성인식의 결과가 띄엄띄엄 확인될 수 있는 문제가 있다.

상기와 같은 문제를 해결하기 위해서, 본 발명은 음성인식서버가 순차적으로 먼저 전송되는 음성데이터를 처리하던 종래의 방식과 달리 처리할 수 있는 데이터의 크기를 일정하게 정의하여 각 채널로부터 수신되는 데이터를 단위크기로 분할하여 각각의 쓰레드에서 음성인식 처리를 하여 인식결과를 각각의 채널을 통해 클라이언트로 전송해 줌으로써 대기하는 시간을 줄일 수 있도록 하는 실시간 음성인식 네트워크 서버 구현 방법을 제공함에 그 목적이 있다.

도 1은 종래의 음성인식 서버와 클라이언트간의 데이터의 흐름을 나타낸 흐름도.

도 2는 본 발명의 실시 예에 따른 다채널로 입력되는 실시간 음성인식 방법의 시스템 구성을 나타낸 블록도.

도 3은 본 발명의 실시 예에 따른 다채널로 입력되는 실시간 음성인식 방법의 시스템간의 동작순서에 따른 데이터 흐름을 나타낸 흐름도.

도 4는 본 발명의 실시 예에 따른 다채널로 입력되는 실시간 음성인식 방법의 구성요소간의 데이터 흐름을 나타낸 흐름도.

<도면의 주요부분의 간단한 설명>

10 : 클라이언트20 : 음성인식 서버

21 : 컴 프로세서22-1~22-n : 쓰레드

본 발명에 따른 다채널로 입력되는 실시간 음성인식 방법은,

음성인식 서버에서 시스템에 컴 프로세서를 생성하면, 상기 생성된 컴 프로세서에서 상기 음성인식 서버에 할당된 채널의 수 만큼 쓰레드를 생성하는 단계;

상기 음성인식 서버에서 클라이언트의 연결요청 메시지를 수신하고, 상기 컴 프로세서가 연결 응답 메시지를 클라이언트로 전송하여, 상기 음성인식 서버와 클라이언트가 연결되는 단계;

상기 연결된 클라이언트로부터 음성인식을 요구하는 데이터가 다수의 채널을 통해 수신되는 단계;

상기 음성인식 서버의 컴 프로세서에서 음성데이터가 수신되는 채널의 수만큼의 쓰레드를 활성화시키고, 상기 각 채널로 수신된 음성데이터를 정해진 단위크기로 분할하는 단계;

상기 활성화된 쓰레드에 하나의 채널을 각각 할당하여, 분할된 데이터를 차례로 전송하여 음성인식을 하도록 하는 단계;

상기 각각의 쓰레드에서 전송된 음성데이터를 처리하여 음성인식 결과를 컴 프로세서로 전송하고, 상기 컴 프로세서에서 인식결과를 클라이언트로 전송하는 단계를 포함하여 구성되는 것을 특징으로 한다.

상기와 같이 구성되는 본 발명에 다른 다채널로 입력되는 실시간 음성인식 방법을 첨부된 도면을 참조하여 설명하면 다음과 같다.

도 2는 본 발명의 실시 예에 따른 다채널로 입력되는 실시간 음성인식 방법의 시스템 구성을 나타낸 블록도이다.

도 2를 참조하면, 음성데이터를 전송하는 클라이언트(10)와, 일정개수의 채널을 통해서 상기 클라이언트(10)로부터의 음성데이터를 수신하고 음성인식처리를 하는 음성인식 서버(20)로 구성된다.

또한, 상기 음성인식 서버(20)는 클라이언트로부터 전송되는 음성을 단위분량만큼 나누어 처리할 수 있도록 하는 컴 프로세서(21)와, 상기 컴 프로세서(21)가 각 채널로부터 수신되는 음성데이터를 일정한 기준크기로 분할한 후, 분할된 음성데이터를 각각 처리하기 이해 생성하는 다수의 쓰레드(22-1~22-n)를 포함하여 구성되며, 상기 컴 프로세서(21)와 다수의 쓰레드(22-1~22-n)는 음성인식 서버에 소프트웨어적인 프로그램으로 추가 구성되며 상기 음성인식 서버의 구동시에 자동적으로 생성되도록 프로그램 된다.

상기와 같이 구성되는 클라이언트와 음성인식 서버간이 데이터흐름에 대하여 자세히 설명하면 다음과 같다.

도 3은 본 발명의 실시 예에 따른 실시간 음성인식 서버 구현방법의 시스템간의 동작순서에 따른 데이터 흐름을 나타낸 흐름도이다.

도 3을 참조하면, 클라이언트(10)에서 여러 채널을 통하여 동시에 음성데이터를 상기 음성인식 서버(20)로 전송하면(S101), 상기 음성인식 서버(20)의 컴 프로세서(21)에서 각각의 음성데이터를 미리 정의된 크기로 나누고(S102), 음성데이터가 수신된 채널의 수만큼의 쓰레드(22-1~22-n)를 활성화시킨다(S103).

상기 쓰레드(22-1~22-n)의 활성화가 끝나면, 컴 프로세서(21)는 각 채널별로 미리 분할된 데이터중에서 첫번째 데이터를 각 채널별로 할당된 쓰레드(22-1~22-n)로 전송하고(S104), 쓰레드(22-1~22-n)로부터 음성인식결과를 수신하여, 각 클라이언트(10)로 알린다(S105).

첫번째 분할 데이터의 처리가 끝나면, 각 채널별로 분할된 두번째 데이터를 각각의 쓰레드(22-1~22-n)로 전송하여(S106), 처리결과를 수신하여 클라이언트로 전송하는(S107) 과정을 모든 분할된 데이터를 인식처리할 때까지 반복하게 된다.

또한, 모든 데이터를 처리한 채널에 할당된 쓰레드(22-1~22-n)는 비활성화시키게 된다(S108).

상기와 같이 음성데이터를 채널별로 할당된 쓰레드에서 지정된 크기만큼 처리하는 방식을 사용하면 각 채널별로 대기시간이 길지 않고 실시간으로 계속하여 음성인식을 할 수 있다.

상기 음성인식 서버의 컴 프로세서(21)와, 쓰레드(22-1~22-n)와 클라이언트 (10)간의 데이터 흐름을 좀더 자세히 설명하면 다음과 같다.

도 4는 본 발명의 실시 예에 따른 실시간 음성인식 서버 구현방법의 구성요소간의 데이터 흐름을 나타낸 흐름도이다.

도 4를 참조하면, 음성인식 서버(20)가 구동되면, 컴 프로세서(21)가 생성되고, 상기 음성인식 서버(20)에 할당된 채널이 수만큼의 쓰레드(2-1~220n)가 생성된다(S201).

본 발명이 실시 예에 따른 설명에서 채널의 수를 5이라고 하고, 쓰레드를 5개(22-1~22-5)만들었다고 가정한다.

상기와 같이 5개의 쓰레드(22-1~22-5)를 생성하면, 상기 음성인식 서버(20)의 컴 프로세서(21)로 클라이언트(10)로부터 연결요청 신호가 수신되면(S202). 상기 클라이언트(10)의 연결요청 신호를 수신한 컴 프로세서(21)는 그에 대한 연결응답 신호를 상기 클라이언트(10)로 전송한다(S203).

상기와 같이 음성인식 서버(20)와 클라이언트(10)가 연결되고, 상기 클라이언트가 음성인식을 위한 음성데이터를 3개의 채널(채널1, 채널2, 채널3)을 통하여 각각 전송하였다면(S204), 상기 컴 프로세서(21)는 수신된 3개의 채널의 음성 데이터를 미리 정의된 기준 크기로 분할하고(S205), 3개의 쓰레드(22-1~22-3)에 이벤트가 있음을 알려 활성화시킨다(S206). 이때, 상기 기준 크기는 음성인식 서버(20)에 일정한 값으로 프로그램 되며, 음성인식 서버(20) 관리자가 임의로 바꿀 수 있도록 되어 있다.

상기와 같이 3개의 쓰레드(22-1~22-3)가 활성화되면, 상기 컴 프로세서(21)는 상기 3개의 채널(채널1~채널3)로부터 수신하여 분할한 음성데이터 중에서 첫번재 데이터를 각 채널별로 차례차례 쓰레드(22-1~22-3)로 전송하고(S207), 각 쓰레드(22-1~22-3)로부터 음성인식 결과를 수신하여, 클라이언트(10)로 전송한다 (S208).

그리고, 두번째 분할된 음성 데이터를 각 쓰레드(22-1~22-3)로 전송하여(S209), 음성인식 결과를 수신하여 클라이언트(10)로 전송하는(S210) 과정을 모든 데이터를 처리할 때까지 반복하게 된다.

즉 채널1로 수신된 데이터를 예를 들면, 상기 컴 프로세서(20)가 채널 1로부터 수신된 음성데이터를 데이터1~데이터 3으로 기준크기에 맞게 분할하고, 쓰레드(22-1)에 먼저 데이터1을 전송하여 음성인식결과를 수신하고, 다음으로 데이터 2를 쓰레드(22-1)로 전송하여 음성인식 결과를 수신하는 절차를 거쳐 채널1로부터 수신된 모든 음성데이터를 처리하도록 하는 것이다.

또한, 상기 데이터 3에대한 처리까지 모두 마치면, 컴 프로세서(21)는 쓰레드(22-1)을 비활성화 시킨다(S211).

마찬가지로, 다른 채널을 통하여 수신된 음성데이터 역시 할당된 쓰레드에서 차례로 처리되어 음성인식 결과를 클라이언트로 보내는 것이다.

상기와 같은 방식으로 음성인식을 하게되면, 모든 채널로부터 한꺼번에 음성데이터를 수신하였다고 해도, 각 채널에 할당된 쓰레드에서 차례로 음성데이터를 처리하므로 각 채널마다 실시간으로 음성인식 처리결과를 알 수 있는 것이다.

이상에서 설명한 바와 같이, 본 발명에 따른 다채널로 입력되는 실시간 음성인식 방법은, 종래에 음성인식 서버에서 여러 채널로부터 수신되는 음성데이터를 처음에 데이터 전송을 시작한 채널부터 하나의 채널마다 순차적으로 음성인식을 하여 마지막으로 데이터 전송을 시작한 채널의 경우 앞선 채널의 모든 데이터가 처리될 때까지 기다려야 했던 것을, 각 채널마다 하나의 쓰레드를 할당하고, 각 채널로부터 수신되는 데이터를 기준크기로 분할하여 각각의 쓰레드에서 처리할 수 있도록 하여 여러 채널로부터 수신되는 음성 데이터라도 실시간적으로 처리할 수 있어서, 대기하는 시간이 최소화 되도록 하는 효과가 있다.

Claims (2)

1. 음성인식 서버에서 시스템에 컴 프로세서를 생성하면, 상기 생성된 컴 프로세서에서 상기 음성인식 서버에 할당된 채널의 수 만큼 쓰레드를 생성하는 단계;

   상기 음성인식 서버에서 클라이언트의 연결요청 메시지를 수신하고, 상기 컴 프로세서가 연결 응답 메시지를 클라이언트로 전송하여, 상기 음성인식 서버와 클라이언트가 연결되는 단계;

   상기 연결된 클라이언트로부터 음성인식을 요구하는 데이터가 다수의 채널을 통해 수신되는 단계;

   상기 음성인식 서버의 컴 프로세서에서 음성데이터가 수신되는 채널의 수만큼의 쓰레드를 활성화시키고, 상기 각 채널로 수신된 음성데이터를 정해진 단위크기로 분할하는 단계;

   상기 활성화된 쓰레드에 하나의 채널을 각각 할당하여, 분할된 데이터를 차례로 전송하여 음성인식을 하도록 하는 단계;

   상기 각각의 쓰레드에서 전송된 음성데이터를 처리하여 음성인식 결과를 컴 프로세서로 전송하고, 상기 컴 프로세서에서 인식결과를 클라이언트로 전송하는 단계를 포함하는 다채널로 입력되는 실시간 음성인식 방법.
2. 제 1항에 있어서, 상기 활성화된 쓰레드에 할당된 채널에서 수신된 음성데이터를 모두 처리하면, 해당 쓰레드를 비활성화시키는 것을 특징으로 하는 다채널로입력되는 실시간 음성인식 방법.