KR20000043616A

KR20000043616A - 음성 인식 화상 전화 통신 장치

Info

Publication number: KR20000043616A
Application number: KR1019980060018A
Authority: KR
Inventors: 서문환
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1998-12-29
Filing date: 1998-12-29
Publication date: 2000-07-15

Abstract

본 발명은 화상 전화 통신 장치에 관한 것으로서, 특히 화상 전화 통신 시스템에서 화상 정보와 함께 음성 정보를 음성 인식하고 문자 코드로 전송하고 상대방 화상 전화기의 모니터를 통하여 디스플레이시키는 음성 인식 화상 전화 통신 장치에 관한 것이다.

본 발명에 의하면 화상 전화 통신 시스템에서 음성 인식을 통하여 송화자의 음성 신호의 송신과 더불어 음성 신호를 인식하여 문자 신호로 변환시켜 송신하고, 수신측에서 수신되는 음성 인식된 문자 신호를 화상 신호와 함께 모니터에 디스플레이시킴으로써, 상대방의 음성 신호를 모니터에 디스플레이되는 문자 신호로 감지할 수 있으므로 청각 장애자도 화상 전화 시스템을 이용하여 용이하게 통화할 수 있는 효과가 있다.

Description

음성 인식 화상 전화 통신 장치

일반적으로 화상 전화기는 송신측에서 카메라에 의하여 촬영된 송신자의 영상 데이터와 마이크를 통한 음성 데이터를 모뎀을 통하여 전송하고, 수신측에서 모뎀으로 수신된 영상 데이터 및 음성 데이터를 복조하고, 각각 영상 신호 처리 수단 및 음성 신호 처리 수단을 통하여 신호 처리한 후에 수신된 송신자의 화상신호는 모니터에 디스플레이하고, 음성 신호는 스피커를 통하여 출력하여 상대방의 영상을 보면서 음성 통화를 하였다.

그러나, 청각 장애자가 화상 전화기를 이용하는 경우에, 송신자의 화상신호는 모니터를 통하여 볼 수 있으나, 스피커를 통하여 출력되는 음성 신호는 청취할 수 없으므로 실질적으로 화상 통신을 할 수 없는 문제점이 있었다.

본 발명이 이루고자 하는 기술적 과제는 상술한 문제점을 해결하기 위하여 화상 전화 통신 시스템에서 음성 인식을 통하여 송화자의 음성 신호의 송신과 더불어 음성 신호를 인식하여 문자 신호로 변환시켜 송신함으로써 사용자의 선택에 따라서 음성 정보를 문자 정보로 디스플레이시키기 위한 음성 인식 화상 전화 통신 장치를 제공하는데 있다.

도 1은 본 발명에 의한 음성 인식 화상 전화 통신 장치의 구성도이다.

도 2는 본 발명에 의한 음성 인식 화상 전화 통신 장치의 송신측에서의 동작 상태의 흐름을 도시한 것이다.

도 3은 본 발명에 의한 음성 인식 화상 전화 통신 장치의 수신측에서의 동작 상태의 흐름을 도시한 것이다.

상기 기술적 과제를 달성하기 위하여 본 발명에 의한 음성 인식 화상 전화 통신 장치는 전화 라인을 통하여 음성 데이터, 화상 데이터 및 음성 인식 문자 데이터를 송/수신하기 위하여 변/복조를 실행하는 모뎀, 상기 모뎀과 연결되어, 송신되는 음성 데이터, 화상 데이터, 음성 인식 문자 데이터들을 소정의 프로토콜을 통해 전송할 수 있는 패킷 데이터로 압축하고, 수신되는 패킷 데이터는 패킷 처리 전의 상태로 복구시켜 각 데이터들을 분리하여 출력시키기 위한 패킷 처리부, 상기 패킷 처리부와 연결되어, 상기 화상 데이터를 부/복호화시키기 위한 비디오 코덱, 상기 비디오 코덱에서 복호된 화상 데이터를 신호처리한 송/수화자의 화상 신호와, 음성 인식 디스플레이 제어 신호에 따라서 상기 패킷 처리부에서 출력되는 음성 인식 문자 데이터에 상응하는 문자 신호를 발생시키고, 상기 송/수화자의 화상 신호와 상기 문자 신호를 합성하여 모니터에 디스플레이시키기 위한 비디오 신호처리부, 상기 패킷 처리부와 연결되어, 상기 음성 데이터를 부/복호화시키기 위한 오디오 코덱, 상기 오디오 코덱과 연결되어, 상기 부호화된 음성 데이터의 패턴을 분석하여 음성 인식 문자 데이터로 변환시키기 위한 음성 인식 처리부, 상기 오디오 코덱에서 출력되는 복호된 음성신호를 신호처리하여 스피커를 통하여 출력시키고, 마이크로부터 입력되는 오디오 신호를 증폭한 후 디지털신호로 변환시키기 위한 오디오신호처리부 및 음성 인식 모드가 설정된 경우에 음성 인식 디스플레이 제어 신호를 발생시키며, 송/수신 모드에 따라서 상기 구성 블록들의 송수신 동작을 제어하기 위한 시스템제어부를 포함함을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시 예에 대하여 상세히 설명하기로 한다.

도 1에 도시된 바와 같이, 본 발명에 의한 음성 인식 화상 전화 통신 장치는 카메라(101), A/D변환부(102), 비디오 코덱(103), 마이크(104), 스피커(105), 오디오 신호처리부(106), 오디오 코덱(107), 음성 인식 처리부(108), 패킷 처리부(109), 비디오 신호처리부(110), 모니터(111), 모뎀(112), 시스템 제어부(113), 메모리(114), 입력 수단(115)을 구비한다.

첫 번째로, 송신측에서의 화상 통화 장치의 송신 동작을 도 2의 흐름도를 중심으로 설명하기로 한다.

단계201에서는, 입력 수단(115)을 통하여 사용자가 화상 전화 통화를 실행하고자 하는 전화 번호를 입력하면, 시스템 제어부(113)는 모뎀(112)을 제어하여 상대방 전화 번호로 전화 걸기를 시도한다.

단계202에서는, 모뎀(112)을 통해 전화 걸기를 시도하여 상대방 통화로에 접속되는지를 판단한다.

단계203에서는, 단계202의 판단 결과 상대방 통화로에 접속된 경우에, 시스템 제어부(113)는 카메라(101)를 촬영 모드로 전환시켜 송화자를 촬영하게 제어하고, 모니터(111)를 동작시킨다.

단계204에서는, 카메라(101)에 의하여 촬영된 송화자의 화상 신호를 A/D변환부(102)에 의하여 디지털 화상 신호로 변환시키고, 비디오 코덱(103)에 의하여 부호화하여 패킷 처리부(109)로 출력한다.

단계205에서는, 단계204의 화상 데이터 처리와 동시에 마이크(104)를 통하여 입력되는 송화자의 음성 신호를 오디오 신호처리부(106)에서 증폭, 노이즈 제거 등의 오디오 신호처리를 실행하고, 아날로그 음성 신호를 샘플링하여 디지털 음성 신호로 변환시킨다. 그리고 나서, 오디오 코덱(107)에 의하여 부호화시킨 다음에 패킷 처리부(108)로 출력한다.

단계206에서는, 음성 인식 처리부(108)에 의하여 오디오 코덱(107)에서 부호화된 음성 데이터를 메모리(114)에 일시 저장시킨 다음에, 메모리(114)로부터 부호화된 음성 데이터를 읽어내고, 이들의 패턴을 분석하여 대응되는 문자 코드를 메모리(114)의 해당 테이블에서 찾아내어 패킷 처리부(109)로 출력한다.

음성 인식 처리부(108)에서 음성 인식된 문자 코드를 전송하는 방법은, 최대 표시 문장 범위 내에서 변환된 문자 데이터가 일정 시간을 초과한 경우에 현재까지 변환된 문자 데이터를 패킷 처리부(109)로 전송하는 방법과, 실제로 인식된 문자를 실시간으로 변환해서 패킷 처리부(109)로 전송하는 2가지 방법이 있다.

단계207에서는, 패킷 처리부(109)에 의하여 비디오 코덱(103) 및 오디오 코덱(107)으로부터 입력되는 부호화된 화상 신호 및 음성 신호를 입력하고, 이와 더불어 음성 인식 처리부(108)로부터 입력되는 음성 인식 문자 데이터를 입력하여, 수신측에서 화상 신호, 음성 신호 및 음성 인식 문자 데이터를 분리할 수 있게 설정된 소정의 통신 프로토콜을 통해 전송할 수 있는 패킷 데이터를 구성한다.

단계208 및 단계209에서는, 패킷 처리부(109)로부터 입력되는 패킷 데이터를 모뎀(111)에 의하여 전화 라인을 통하여 전송할 수 있게 변조한 후에, 전화 라인을 통하여 수신측으로 전송한다.

두 번째로, 수신측에서의 화상 통화 장치의 수신 동작을 도 3의 흐름도를 중심으로 설명하기로 한다.

단계301에서는, 수신측에서 송신측의 통화 요구에 응하여 통화로가 접속되었는지를 시스템 제어부(113)에서 모뎀(112)을 통하여 판단한다.

단계302에서는, 단계301의 판단 결과 통화로가 접속된 경우에, 모뎀(112)으로 전송되어 수신된 신호를 복조한다.

단계303에서는, 모뎀(112)에서 복조한 신호를 패킷 처리부(109)에서 패킷 처리 전의 상태로 복구시킨 다음에 화상 데이터, 음성 데이터, 음성 인식 문자 데이터를 분리시킨다.

단계305에서는, 패킷 처리부(109)에서 분리되어 출력되는 부호화된 음성 데이터를 오디오 코덱(107)에서 복호화시킨다.

단계306에서는, 오디오 신호처리부(106)에 의하여 복호된 음성 데이터를 D/A변환에 의하여 아날로그 음성 신호로 변환시키고, 증폭 및 노이즈 제거 등의 오디오 신호 처리를 실행시킨 다음에 스피커(105)로 출력한다.

단계307에서는, 단계305 및 단계306의 실행과 동시에 패킷 처리부(109)에서 분리되어 출력되는 부호화된 화상 데이터를 비디오 코덱(103)에서 복호화시킨다.

단계304에서는, 위의 단계307을 실행하면서 음성 인식 모드가 설정되어 있는지를 시스템 제어부(113)에 의하여 판단한다.

단계309에서는, 단계304의 판단 결과 음성 인식 모드가 설정되어 있는 경우에, 위의 단계303에서 분리된 음성 인식 문자 데이터에 상응하는 온 스크린 디스플레이 음성 인식 문자 신호를 비디오 신호처리부(110) 내의 문자신호발생기에서 발생시킨다.

단계308에서는, 단계304의 판단 결과 음성 인식 모드가 설정되어 있지 않은 경우에, 비디오 신호처리부(110)에 의하여 복호된 화상 데이터를 D/A변환에 의하여 아날로그 화상 신호로 변환시키고, R, G, B 신호로 규격을 변환시킨 다음에 모니터(111)로 출력한다.

그러나, 만일 단계304의 판단 결과 음성 인식 모드가 설정되어 있는 경우에는 비디오 처리부(110)에서 신호 처리된 화상 신호와 단계309에서 처리된 온 스크린 디스플레이 음성 인식 문자 신호를 합성하여, 송/수화자의 화상 신호 위에 음성 인식된 문자 신호를 온 스크린 디스플레이 처리하여 모니터(111)로 출력한다.

이와 같은 동작에 의하여 음성 인식 모드에서는 모니터(111)를 통하여 상대방의 화상과 더불어 상대방 음성 신호를 인식하여 변환시킨 문자 신호를 온 스크린 디스플레이 화면 처리함으로써, 상대방의 음성신호를 문자로 확인하면서 상대방과 화상 통화를 실행할 수 있게 되었다.

상술한 바와 같이, 본 발명에 의하면 화상 전화 통신 시스템에서 음성 인식을 통하여 송화자의 음성 신호의 송신과 더불어 음성 신호를 인식하여 문자 신호로 변환시켜 송신하고, 수신측에서 수신되는 음성 인식된 문자 신호를 화상 신호와 함께 모니터에 디스플레이시킴으로써, 상대방의 음성 신호를 모니터에 디스플레이되는 문자 신호로 감지할 수 있으므로 청각 장애자도 화상 전화 시스템을 이용하여 용이하게 통화할 수 있는 효과가 있다.

Claims

전화 라인을 통하여 음성 데이터, 화상 데이터 및 음성 인식 문자 데이터를 송/수신하기 위하여 변/복조를 실행하는 모뎀;

상기 모뎀과 연결되어, 송신되는 음성 데이터, 화상 데이터, 음성 인식 문자 데이터들을 소정의 프로토콜을 통해 전송할 수 있는 패킷 데이터로 압축하고, 수신되는 패킷 데이터는 패킷 처리 전의 상태로 복구시켜 각 데이터들을 분리하여 출력시키기 위한 패킷 처리부;

상기 패킷 처리부와 연결되어, 상기 화상 데이터를 부/복호화시키기 위한 비디오 코덱;

상기 비디오 코덱에서 복호된 화상 데이터를 신호처리한 송/수화자의 화상 신호와, 음성 인식 디스플레이 제어 신호에 따라서 상기 패킷 처리부에서 출력되는 음성 인식 문자 데이터에 상응하는 문자 신호를 발생시키고, 상기 송/수화자의 화상 신호와 상기 문자 신호를 합성하여 모니터에 디스플레이시키기 위한 비디오 신호처리부;

상기 패킷 처리부와 연결되어, 상기 음성 데이터를 부/복호화시키기 위한 오디오 코덱;

상기 오디오 코덱과 연결되어, 상기 부호화된 음성 데이터의 패턴을 분석하여 음성 인식 문자 데이터로 변환시키기 위한 음성 인식 처리부;

상기 오디오 코덱에서 출력되는 복호된 음성신호를 신호처리하여 스피커를 통하여 출력시키고, 마이크로부터 입력되는 오디오 신호를 증폭한 후 디지털신호로 변환시키기 위한 오디오신호처리부; 및

음성 인식 모드가 설정된 경우에 음성 인식 디스플레이 제어 신호를 발생시키며, 송/수신 모드에 따라서 상기 구성 블록들의 송수신 동작을 제어하기 위한 시스템제어부를 포함함을 특징으로 하는 음성 인식 화상 전화 통신 장치.
제1항에 있어서, 상기 음성 인식 처리부는 최대 표시 문장 내에서 변환된 문자 데이터가 일정 시간을 초과한 경우에 현재까지 변환된 문자 데이터를 상기 패킷 처리부로 전송함을 특징으로 하는 음성 인식 화상 전화 통신 장치.
제1항에 있어서, 상기 음성 인식 처리부는 실제로 인식된 문자를 실시간으로 변환해서 상기 패킷 처리부로 전송함을 특징으로 하는 음성 인식 화상 전화 통신 장치.