KR20010008073A - 음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어번역 단말장치 - Google Patents

음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어번역 단말장치 Download PDF

Info

Publication number
KR20010008073A
KR20010008073A KR1020000065692A KR20000065692A KR20010008073A KR 20010008073 A KR20010008073 A KR 20010008073A KR 1020000065692 A KR1020000065692 A KR 1020000065692A KR 20000065692 A KR20000065692 A KR 20000065692A KR 20010008073 A KR20010008073 A KR 20010008073A
Authority
KR
South Korea
Prior art keywords
translation
data
voice
language
language translation
Prior art date
Application number
KR1020000065692A
Other languages
English (en)
Inventor
윤영준
Original Assignee
조용범
주식회사 유니소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조용범, 주식회사 유니소프트 filed Critical 조용범
Priority to KR1020000065692A priority Critical patent/KR20010008073A/ko
Publication of KR20010008073A publication Critical patent/KR20010008073A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation
    • G06F40/47Machine-assisted translation, e.g. using translation memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 전체 시스템의 운영 및 제어를 담당하는 MPU 수단과, 언어 인식 및 언어 번역을 위한 각종 데이터들을 담고있는 데이터 베이스(DB) 공간으로서 사용되며, MPU 수단이 실행하기 위한 명령어들 또는 실행 프로그램이 저장되어 있는 기억 수단과, 음성 데이터의 입력 및 음성 인식된 데이터의 번역 결과 데이터의 출력을 담당하는 입출력 수단과, 음성 인식 및 언어 번역을 가능하게 하기 위해 ASIC으로 구현한 음성 인식 및 언어 번역 수단을 구비하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치에 관한 것이다.
또한, 무선 인터넷 및 무선 음성 통화를 수행하기 위한 모뎀 수단과, 번역 단말장치와 컴퓨터를 연결하여 상호간에 데이터를 주고 받기 위해서 사용하는 인터페이스 수단을 더 포함하는 것을 특징으로 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치에 관한 것이다.

Description

음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어 번역 단말장치{Potable multi-language translator}
본 발명은 사용자의 음성 인식을 통해 다국어 번역 기능을 제공하는 휴대용 다국어 번역 단말장치에 관한 것으로서, 구체적으로는 음성 인식 기능 및 언어 번역 기능을 휴대용 단말장치에 내장하여 시간 및 공간적 제약없이 언제 어디서든지 원하는 단어 또는 문장을 자국어로서 조회할 수 있도록 구현한 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치에 관한 것이다.
더욱 상세하게는 자국어로서 의미를 알고자 하는 외국어를 음성으로 입력하면 자체적으로 내장된 음성 인식 기능에 의해 인식된 음성를 판독하고 언어 번역 기능에 의해 단말장치에 내장된 DB(Data Base)를 검색하여 입력된 음성을 번역함으로써 사용자의 자국어를 음성 또는 문자로 출력하도록 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치에 관한 것이다.
또한, 단말장치의 저장 용량이 한정되어 있음을 고려하여 단말장치에 내장된 DB에서 검색이 불가능한 단어 및 문장은 무선 데이터 통신을 이용하여 원격지에 있는 대용량의 음성 인식 및 번역 서버로 전송하고, 번역 서버로부터 판독된 자국어 데이터를 다운 로드받아 사용자에게 번역 서비스를 제공함으로써 음성 인식 및 번역에 소요되는 시간과 전력을 줄이고 음성 인식 및 번역의 성공률을 높여 보다 질적으로 우수한 번역 서비스를 제공하도록 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치에 관한 것이다.
국제화 시대의 도래로 인하여 개인의 활동 영역은 종전 자국 중심에서 벗어나 전세계로 확장되고 있으며 이러한 현상은 교통 수단의 발달, 정보 통신 기술의 발달로 인하여 한층 더 심화되고 있다.
이러한 개인 활동 영역의 국제화에 가장 큰 걸림돌은 언어에 대한 장벽일 것이다. 그 중 일반 해외 여행객의 언어 장벽이 가장 큰 문제로 대두되고 있다.
현재 정보와 컴퓨터 기술의 발달에 따라 언어 번역 기능을 전자적으로 제공하는 소프트웨어는 이미 출시된 것이 많이 있으나 이러한 기존의 자동 언어 번역 시스템은 주로 테스크탑용으로 제작된 것으로서 컴퓨터 시스템을 기본으로 하여 소프트웨어로서 구성되어 있기 때문에 이를 이용하기 위해서는 시간적, 공간적 제약이 심하였다.
따라서, 외국인이 한국에서 활동하는 폭은 주로 영어 및 일어 등을 사용할 수 있는 호텔이나 쇼핑 센터와 현지 여행 가이드가 안내하는 곳으로 한정되어 있는 것이 현실이다. 이는 해외 여행자의 여행의 폭을 좁히는 결과를 초래할 수 있다.
언어에 대한 장벽은 비단 외국인 여행자의 활동의 폭을 좁히는 것뿐만 아니라 외국인 여행자에게 불편을 초래하게 되고, 의도하지 않은 오해와 좋지 않은 인상을 심어 줄 수 도 있다. 이러한 언어에 대한 장벽은 여행자의 소비 심리를 위축시켜 관광 수익의 악화를 초래하는 문제점으로 대두되고 있다.
따라서, 외국 관광객이 국내에서 겪는 가장 큰 어려움 중의 하나인 언어 소통의 어려움을 덜어주는 동시에 간편하게 휴대할 수 있도록 하여 종래의 단점이 제거된 새로운 형태의 번역 단말장치가 요구되고 있는 실정이다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 음성 인식 기능 및 언어 번역 기능을 휴대용 단말장치에 내장하여 시간 및 공간적 제약없이 언제 어디서든지 원하는 단어 또는 문장을 자국어로서 조회할 수 있도록 구현함으로써 외국 관광객이 국내에서 겪는 가장 큰 어려움 중의 하나인 언어 소통의 어려움을 덜어주어 관광객이 자유롭게 현지를 여행할 수 있도록 한 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치를 제공함을 목적으로 한다.
본 발명의 다른 목적은 자국어로서 의미를 알고자 하는 외국어를 음성으로 입력하면 자체적으로 내장된 음성 인식 기능에 의해 인식된 음성를 판독하고 언어 번역 기능에 의해 단말장치에 내장된 DB(Data Base)를 검색하여 입력된 음성을 번역함으로써 사용자의 자국어를 음성 또는 문자로 출력하도록 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치를 제공함을 목적으로 한다.
본 발명의 또 다른 목적은 단말장치의 저장 용량이 한정되어 있음을 고려하여 단말장치에 내장된 DB에서 검색이 불가능한 단어 및 문장은 무선 데이터 통신을 이용하여 원격지에 있는 대용량의 음성 인식 및 번역 서버로 전송하고, 번역 서버로부터 판독된 자국어 데이터를 다운 로드받아 사용자에게 번역 서비스를 제공함으로써 음성 인식 및 번역에 소요되는 시간과 전력을 줄이고 음성 인식 및 번역의 성공률을 높여 보다 질적으로 우수한 번역 서비스를 제공하도록 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치를 제공함을 목적으로 한다.
본 발명의 다른 목적은 단말장치에 내장된 언어 번역 기능 이외에 인터넷 접속 기능 및 음성 전자 우편 기능 등 각종 부가적인 서비스를 제공하고, 위급한 상황에서는 주변의 경찰서 및 소방서에 신고할 수 있는 기능을 제공하여 외국인 관광객들이 국내에서 활동할 수 있는 폭을 확대시킴과 동시에 외국인 관광객들의 안전한 여행을 가능하게 해주도록 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치를 제공함을 목적으로 한다.
도 1은 본 발명의 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치의 외관에 대한 개략적인 모식도.
도 2는 본 발명의 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치의 구성도.
도 3 내지 도 4는 본 발명의 휴대용 다국어 번역 단말장치를 무선 통신망을 통하여 번역 서버에 접속할 경우의 전체적인 블럭도.
도 5는 본 발명의 음성 인식 및 언어 번역 수단인 ASIC의 내부 기능 블럭도.
도 6 내지 11은 본 발명의 음성 인식 및 언어 번역 수단인 ASIC의 내부 기능 세부도.
도 12a 내지 도 12b는 본 발명의 휴대용 다국어 번역 단말장치를 사용하여 음성 인식 및 번역 기능을 수행하는 경우의 동작 흐름도.
〈도면의 주요부분의 부호의 설명〉
1,11,21 : 휴대용 번역 단말장치 2 : 무선 통신망
3,12,23 : 번역 서버 22 : WAP 게이트웨이
12-1,23-1 : 시스템 제어 프로그램 12-2,23-2 : 번역 DB
12-3,23-3 : 음성인식 DB 101 : 음성신호 입력 블럭
102 : 임시취득데이터저장 및 데이터 전처리 블럭
103 : 외부버스 인터페이스 블럭 104 : 음성인식결과 출력큐
105 : 음성 인식 블럭 106 : 언어번역결과 출력큐
107 : 언어번역 처리 블럭 108 : 인터럽트 처리 블럭
109 : DB 검색 엔진 110 : 외부메모리 인터페이스블럭
이러한 목적을 달성하기 위한 본 발명의 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치는,
전체 시스템의 운영 및 제어를 담당하는 MPU 수단과, 언어 인식 및 언어 번역을 위한 각종 데이터들을 담고있는 데이터 베이스(DB) 공간으로서 사용되며, MPU 수단이 실행하기 위한 명령어들 또는 실행 프로그램이 저장되어 있는 기억 수단과, 음성 데이터의 입력 및 음성 인식된 데이터의 번역 결과 데이터의 출력을 담당하는 입출력 수단과, 음성 인식 및 언어 번역을 가능하게 하기 위해 ASIC으로 구현한 음성 인식 및 언어 번역 수단을 구비하는 것을 특징으로 한다.
또한, 무선 인터넷 및 무선 음성 통화를 수행하기 위한 모뎀 수단과, 번역 단말장치와 컴퓨터를 연결하여 상호간에 데이터를 주고 받기 위해서 사용하는 인터페이스 수단을 더 포함하는 것을 특징으로 한다.
또한, 본 발명에서의 음성 인식 및 언어 번역 수단은 디지털화 된 음성 신호를 순수한 음성 데이터로 재조합하는 음성신호 입력 블럭과, 블럭 단위의 음성 데이터를 취득한 후 음성 데이터를 임시 저장하고, 음성 데이터의 좌/우 자리이동 연산 수행하는 것에 의해 음성 데이터의 전처리를 수행하는 임시 취득 데이터 저장 및 데이터 전처리 블럭과, 다양한 연산 조작을 수행하여 음성 데이터를 분석하고 특징을 추출하고, 추출된 음성 데이터의 특징 및 패턴에 따라 DB를 검색하여 색인 정보를 추출한 후 추출한 인덱스 정보를 실제 기억공간 주소로 변환하여 DB를 검색하고, 해당 인덱스 정보에 저장된 특징 및 패턴 데이터가 일치하면 인덱스 정보에 따른 문자 데이터를 인출하는 음성 인식 블럭과, 음성 인식되어 문자로 전환된 데이터를 임시로 저장하는 음성인식 결과 출력 큐와, 음성인식 결과 출력 큐 및 언어 번역 결과 출력 큐에 임시로 저장된 데이터를 마이크로프로세서로 전달하거나, 음성인식 결과 출력 큐에 임시로 저장된 데이터를 ASIC 내부의 버스를 통하여 언어 번역 처리 블럭으로 전달하는 외부 버스 인터페이스 블럭과, 음성 인식 블럭에서 번역의 결과로 전달된 문자 데이터를 외부에 설치된 언어 사전 데이터 베이스(DB)를 검색하여 번역 과정 전체를 관리하는 언어 번역 처리 블럭과, 언어 번역 처리 블럭에 의해 번역된 번역 데이터를 임시로 저장하는 언어 번역 결과 출력 큐와, 언어 번역 처리 블럭에서 생성된 인덱스 정보를 기반으로 하여 외부에 설치된 사전 DB를 검색할 수 있는 물리적인 주소를 생성하고, 일정한 범위 내에서 주소를 자동으로 생성하는 기능을 내장하여 사전 DB를 무작위로 검색하는 DB 검색 엔진과, 각각의 기억 수단의 물리적 특성에 적합한 인터페이스를 구현하는 외부 메모리 인터페이스 블럭과, 음성의 인식과 언어 번역과 관련한 전반적인 흐름의 상태, 동작 이상 유무 여부에 따라 마이크로프로세서가 개입하도록 요구하는 인터럽트 처리 블럭을 구비하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 관하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치의 외관에 대한 개략적인 모식도이다.
휴대용 기기는 기본적으로 저장 공간의 제약이 심하며 소비 전력의 최소화를 위하여 내부 데이터 처리속도를 낮추어야 하는 등의 여러 가지 제약 사항이 많기 때문에 고속의 데이터 처리 능력과 대용량의 참조 데이터를 필수로 하는 자동 언어 번역 기능을 구현하려면 적절한 하드웨어와 소프트웨어와의 데이터 처리량의 분담과 원격 데이터 전송 등의 기능을 필수로 내장하고 있어야 한다.
또한, 자체적으로 코드분할 다중접속 통신 모듈(code-division multiple access;이하 CDMA라 함)과 음성 인식 및 언어 번역을 위한 전용 주문형 집적회로(application-specific integrated circuit;이하 ASIC이라 함) 및 관련 내장 소프트웨어를 탑재하여 기본적으로 무선 음성 통신은 물론, 무선 인터넷 접속 기능을 지원하며, 마이크를 통하여 입력된 사람의 음성을 인식하고 번역하는 기능을 탑재한다. 이에 의하여, 음성 인식 기능과 무선 인터넷 접속 기능을 접목할 경우, 사용자는 음성 인식 기능을 이용하여 인터넷상의 특정 URL을 음절 단위로 입력하여 특정 홈페이지로 접속할 수 있고, 별도로 마련된 키(Key)를 이용하여 특정 홈페이지로 직접 접속하는 핫 키(Hot Key) 기능을 이용하여 무선 인터넷을 사용할 수 있다. 이러한 인터넷의 사용이 가능함에 의해 국내를 관광하는 외국인 관광객에게 무선 인터넷을 이용하여 특정 문화재 및 관광지의 소개를 자세하게 외국어로 할 수 있어서 외국 관광객에게 관광지를 사전 답사할 수 있는 효과를 줄 수 있다
또한, 번역된 결과를 LCD 화면에 출력하는 것은 물론, TTS(Text-To-Speech) 기능을 이용하여 스피커(Speaker)를 통하여 음성 출력할 수 있다.
본 발명의 무선 인터넷 접속이 가능하고 언어 인식 및 언어 번역 기능이 내장되어 있는 번역 단말장치의 외관상의 특징을 살펴보면, 사용자가 쉽게 소지하고 다닐 수 있으며, 음성의 인식과 번역된 정보를 다시 음성으로 합성하는 것이 용이하도록 하기 위하여 막대형 외관으로 전체적 형상을 구현하고, 양 끝단에 각각 마이크로폰과 스피커가 위치하도록 한다. 본 발명에서는 마이크로폰과 스피커 이외에도 이어-마이크폰을 연결할 수 있는 단자가 별도로 구성되어 있는데, 이것은 사용자가 본 발명의 단말장치를 단순한 무선 음성 전화기로서 사용할 때 사용의 편리성을 위한 것이다. 또한, 사용자 인터페이스는 직사각형 형태의 칼라 그래픽(Color Graphic) LCD를 사용하고 있고, 입력 장치로서 터치 스크린(Touch Screen)과 핫 키(Hot Key)를 비롯한 다수의 입력 버튼(Button)이 구비되어 있다.
무선 인터넷을 지원하기 위해서 회로상에 CDMA 무선 데이터 통신 모뎀을 구현할 수도 있지만, 경우에 따라서는 PCMCIA 버스나 기타 다양한 형태의 확장 버스를 통해서 CDMA 무선 데이터 모뎀에 연결하여 사용할 수 있도록 설계될 수 있음은 주지의 사실이다.
도 2는 본 발명의 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치의 전체적인 블럭도이다.
먼저, MPU(Main Processing Unit;10)는 중앙 처리 장치로서 전체 시스템의 운영 및 제어를 담당하며, 일반적으로 32비트급 이상의 고성능 RISC형 Embeded 마이크로 프로세서가 사용된다. 본 시스템에서 음성 인식과 번역 기능을 보완 및 보조하기 위해 MPU(10)에 음성 인식과 번역을 위한 업무 처리 부하의 일부분을 담당하게 할 수 있다.
기억 수단(30)은 NAND Flash/ Code ROM(Read Only Memeory)/ SDRAM으로 구성되며, 이들 모두 시스템의 기억장치들로서 각각의 부분들은 사용되는 목적에 따라 구분된다.
먼저, NAND Flash는 속도가 느린 반면, 읽고 쓰기가 가능하면서도 전원이 인가되지 않아도 기록된 데이터가 소멸되지 않고 일반적으로 저장 용량이 상대적으로 크다는 특징 때문에 프로그램을 담아두기 위한 저장공간으로 사용하거나, 언어 인식 및 언어 번역을 위한 각종 데이터들을 담고있는 데이터 베이스(Data Base) 공간으로서 사용된다. 즉, 일반 컴퓨터 시스템에서 2차 기억장치의 대표격인 HDD(Hard Disk Drive)와 같은 역할을 수행한다고 볼 수 있다.
반면에, Code ROM은 MPU가 실행하기 위한 명령어들, 혹은 실행 프로그램이 저장되어 있는 공간으로서 MPU의 어드레스 버스(Address Bus)와 데이터 버스(Data Bus), 제어신호(Control signal)들을 통하여 고속으로 MPU가 실행할 명령어들을 인출한다.
Code ROM은 전원이 인가되지 않았을 경우에도 저장되어 있는 데이터가 소멸되지 않고, 고속으로 동작할 수 있기 때문에 주로 기본 입출력 프로그램(BIOS), 운영체제(Operating System)의 핵심 부분과 사용자 인터페이스 등을 위치시킨다.
SDRAM은 MPU가 임시 저장공간으로서 사용하는 기억장치로서 MPU가 각종 업무 처리를 수행하기 위한 일시 기억공간으로 사용되거나 NAND Flash에 저장되어 있는 응용 프로그램을 읽어들여 MPU가 수행할 수 있도록 하기 위한 응용 프로그램 실행 영역으로 사용된다. 또한, 본 발명에서 SDRAM은 고속으로 데이터를 입출력 할 수 있으며, 가격대 저장용량이 비교적 우수하기 때문에 시스템의 주 기억장치로서 사용된다.
CDMA 모뎀 수단(40)은 무선 인터넷 및 무선 음성 통화를 수행하기 위한 것으로서, RF 입출력단과 CDMA 모뎀 칩(Modem Chip), 그리고 각종 필터와 PLL(Phase Locked Loop) 회로, 전원 관리 회로 등으로 구성된다.
그러나, CDMA 모뎀 수단(40)은 경우에 따라서 PCMCIA 슬롯(Slot)에 장착되는 형태로도 설계 될 수 있는데, 이것은 CDMA 방식의 무선 모뎀이 서비스 제공 사업자에 따라 다른 번호를 부여받도록 되어 있기 때문에 다른 번호로의 전환이나 확장이 가능하도록 하기 위한 것이다. 또한, 사용자의 편의를 위해 RF LAN, 유선 모뎀 등 다양한 형태의 주변장치 및 통신 모듈을 장착할 수 있도록 하기 위하여 범용성이 높은 PCMCIA 방식의 버스 슬롯(Bus Slot)을 사용할 수도 있다.
본 발명에서 번역 단말장치(1)와 컴퓨터(3)간의 인터페이스 수단(50)으로 사용되는 USB 포트와 RS232C 규격의 직렬 데이터 통신은 일반 PC, 혹은 노트북(Note Book) 컴퓨터 등과 연결하여 데이터를 주고 받기 위해서 사용되며, 본 발명에 의한 단말장치(1)의 USB 포트는 슬레이브 노드(Slave Node)로 설정되어 사용된다. 따라서 USB를 이용한 다른 주변 장치나 입출력 장치를 연결할 경우에는 PC 및 노트북 컴퓨터 등과 같은 USB의 호스트(Host)가 먼저 연결되어 있어야 한다.
본 발명에서의 입출력 수단(60)은 화면 출력장치로 사용하는 터치 스크린(Touch Screen)과 스피커 및 LCD 디스플레이를 구비하고, 음성 입력 장치로 사용하는 마이크로폰을 구비한다. 여기서, 메인 출력장치로 사용되는 LCD 디스플레이(20)는 별도의 블럭으로 구분하여 설명하기로 한다.
터치 스크린과 LCD 디스플레이(Display;20)는 칼라 STN 및 TFT 방식의 LCD를 사용하며, Back Light는 EL 방식, 혹은 CCFL방식을 사용하여 저소비 전력으로 높은 휘도를 얻을 수 있도록 한다.
또한, 터치 스크린은 비교적 저렴하면서도 견고하고 접촉되는 물체의 특성에 영향을 받지않는 저항 접촉 방식의 터치 스크린을 사용한다. 저항 접촉 방식의 터치 스크린은 정확한 위치의 판별을 위하여 X축 및 Y축의 전압 인가 및 임시 절연 상태를 만들어 주기 위한 MOSFET 등 스위칭 소자를 이용한 별도의 회로를 구성해 주어야 하고, 또한 정밀한 A/D(Analog-To-Digital) 변환 회로를 이용하여 접촉한 부위에서 만들어지는 전압을 측정해야 한다. 그리고, 필기체 인식과 전자 필기서명(Sign-Up) 기능을 지원하기 위해서 터치 스크린에서 데이터를 취득하는 데이터 취득 비율은 초당 1,000회 이상 실시한다. 또한, 현재 취득한 전압 데이터가 최근 취득한 전압 데이터들과 비교해 보아서 많은 차이가 있으면 터치 스크린이 조작되는 것으로 간주하여 마이크로프로세서가 유효한 데이터로 인정하여 내부의 입력 동작을 비롯한 위치 계산 등의 조작을 착수하도록 인터럽트를 발생시키는 역할도 터치 스크린 인터페이스(Interface) 회로에서 수행한다.
마이크로폰(Microphone)은 사용자의 음성을 아날로그의 전기 신호로 변환하기 위하여 사용되며, 스피커는 TTS(Test-to-Speach) 기능의 구현을 위하여 사용된다.
마이크로폰에서 사용자의 음성을 인식하기 위해서는 잡음 특성 및 지향성과 설치의 용이함 등을 고려하여 설치 위치 및 기구 부분이 설계되어야 하는데, 본 발명에서는 마이크와 스피커를 장치의 서로 반대 극상 위치에 위치하도록 하여 반향 효과를 줄이고 상대방에게 청취 및 녹음가 용이하도록 하기 위한 것이다.
마이크로폰 인터페이스 회로는 PCM(Pulse Code Modulation)을 기반으로 하는 방식으로 아날로그 상태의 음성 신호를 디지털 신호로 변환하는 역할을 수행한다. 일반적으로 음성 데이터를 디지털 정보로 샘플링(Sampling)하는 비율은 초당 8,000회 정도만 해도 무난하지만, 음성 인식의 효율을 높이기 위해 초당 16,000회, 혹은 그 이상의 음성 데이터를 취득하여 음성 인식 및 번역 전용 ASIC으로 전송하는 역할을 한다.
스피커 인터페이스(Speaker interface) 회로는 PCM 상태로 입력되는 디지털 상태의 음성신호를 아날로그 신호로 변환하고, HPF(High Pass Filter)를 사용하여 잡음 성분인 고주파 신호를 제거하며, 스피커를 구동시킬만한 전력을 생성하기 위하여 전류 증폭하는 기능을 포함한다.
본 발명에 의한 전원 회로(Power Management Block;미도시)에서는 고성능 마이크로프로세서와 각종 회로들이 필요로하는 전력을 충분히 공급하기 위하여 충방전이 가능한 고용량의 1-Cell 형태의 리튬이온 전지나 리튬이온 폴리머 전지를 사용한다. 전지를 사용하기 위해서는 충전 관리 회로와 3.6V의 전지 출력 전압을 1.8V, 2.5V, 3.3V 및 5V 등 회로상 필요한 다양한 전압을 발생하는 회로 구성이 필요하다. 또한, 이러한 계열의 전지의 특성은 과충전이 되었을 경우, 화재 및 폭발의 위험성이 있기 때문에 신뢰성이 높은 과충전 방지 보호회로가 반드시 추가되어야 한다.
마지막으로 본 발명의 단말장치(1)에서의 음성 인식 및 언어 번역을 가능하게 하는 음성 및 언어 번역 수단(70)으로서의 ASIC은 다른 단말장치와 차별화되는 기본적인 사양인 음성 인식과 음성 번역 기능을 지원하기 위한 하드웨어 장치로서 구현된다.
본 발명에서는 인식과 음성 번역 기술을 ASIC을 이용하여 구현하지만, 고성능 마이크로프로세서를 기본적으로 장착하고 있기 때문에 음성 인식 및 번역 과정에서 일부의 역할, 혹은 전체를 소프트웨어를 이용하여 구현할 수도 있다.
단, 본 발명에서 ASIC(70)을 이용하는 이유는 마이크로프로세서가 아무리 고성능이라고 하더라도 기본 운영 체제의 실행, 인터넷 접속 기능의 지원 등을 비롯한 각종 다양한 소프트웨어를 실행해야하는 등 일반적으로 업무 처리 부하가 높기 때문에 상대적으로 많은 연산 동작을 필요로하는 음성 인식 및 언어 번역 기능에 대한 처리 부담까지 담당할 경우, 지나친 업무 처리 부하로 인한 심각한 처리속도의 저하, 시스템 동작 이상, 전력의 과다 소모 등의 치명적인 부작용을 수반할 수 있으므로, 마이크로프로세서의 업무처리 부하를 경감하기 위한 차원에서 별도의 ASIC을 사용하는 것이다. 또한, 내장 기억용량의 한계 등 한정된 자원을 가지고 음성 인식과 번역을 수행하기에 많은 문제가 수반되기 때문에 이를 해결하기 위해서도 별도의 ASIC을 사용하는 것이다.
도 3 내지 도 4는 본 발명의 휴대용 다국어 번역 단말장치를 무선 통신망을 통하여 번역 서버에 접속할 경우의 전체적인 블럭도이다.
일반적으로 단말장치에 저장할 수 있는 DB의 용량에는 한계가 있기 때문에 음성 인식이나 언어의 번역에 실패할 수도 있다. 이러한 경우, 본 발명에서 사용자는 자체 내장한 무선 CDMA 모뎀을 이용하여 번역 및 인식 서비스를 원격지에 있는 고성능의 서버와 대용량의 DB를 이용하여 보다 완전하게 제공 받을 수 있는 것이다.
즉, 본 발명의 번역 단말장치(11,21)는 음성 인식과 언어 번역 기능을 완벽하게 지원하게 하기 위해서 단말장치에 내장된 DB 이외에도 원격으로 전용 음성 인식 및 번역 서버와 대용량의 DB를 관리한다.
도 3을 참조하여 WAP 브라우저가 탑재된 번역 단말장치를 이용한 무선 통신망 아키텍쳐에 적용한 경우를 살펴보면, 무선 통신망 WAP(Wireless Application Protocol) 아키텍쳐에서는 WAP 브라우저가 탑재된 번역 단말장치(21)와 인터넷 WAP 서버(23) 사이에 WAP 프락시라고 불리우는 WAP 게이트웨이(22)를 두고 있으며, WAP 게이트웨이의 주요한 역할은 WAP 프로토콜과 인터넷 TCP/IP 프로토콜을 중간에서 호환적으로 변환시켜 주는 역할을 한다.
즉, 클라이언트인 휴대용 번역 단말장치(21)의 인터넷 서비스 요구는 WAP 게이트웨이(22)를 거쳐서 이루어지고, WAP 게이트웨이(22)는 WAP 프로토콜을 인터넷 환경에 맞는 HTTP 프로토콜로 변환시킨 후 요구 받은 음성 인식 및 번역 서비스를 인터넷 유선망을 통해 해당 WAP 서버(23)에 요구하게 된다.
음성 인식 및 번역 서비스를 요구받은 WAP 서버(23)는 시스템 제어 프로그램(23-1)의 제어에 의해 음성 인식 DB(23-3) 및 번역 DB(23-2)를 검색하여 다시 WAP 게이트웨이(22)를 통해 번역 단말장치(21)의 사용자가 요구한 서비스에 대한 응답을 전송하고, WAP 게이트웨이(22)는 번역 단말장치(21)에 WAP 프로토콜에 의한 응답 내용을 전송함으로써 사용자는 번역 단말장치(21)의 LCD를 통해 번역 서비스를 받을 수 있다.
도 4를 참조하여 ME(Mobile Explorer) 브라우저가 탑재된 번역 단말장치를 이용한 무선 통신망 아키텍쳐에 적용한 경우를 살펴보면, 이 경우에는 앞서 설명한 WAP 아키텍쳐와는 달리 이미 인터넷에서 사용되고 있는 기존의 HTML 컨텐츠를 사용할 수가 있어 별도의 WAP 게이트가 불필요하고, WEB 서버(12)에 바로 음성 인식 및 번역 서비스를 요구하면 WEB 서버(12)는 시스템 제어 프로그램(12-1)의 제어에 의해 음성 인식 DB(12-3) 및 번역 DB(12-2)를 검색하여 번역 단말장치(11)로 사용자가 요구한 번역 서비스를 제공한다.
도 5 내지 도 11을 참조하여 음성 인식 및 언어 번역 수단인 ASIC의 내부 기능 블럭도를 좀 더 구체적으로 살펴보면 다음과 같다.
먼저, 음성신호 입력 블록(Voice Signal Interface;101)은 PCM 방식으로 디지털화 된 음성 신호를 순수한 음성 데이터로 재조합하는 블럭으로서, 도 6을 참조하여 살펴보면 PCM 방식의 입력은 기본적으로 직렬 데이터 통신 방식이기 때문에 내부에서 병렬로 데이터를 처리하기 위해서는 데이터의 변환이 필요하다. 여기에 직렬로 입력되는 데이터의 경계를 알려주기 위한 동기화 신호(Synch Signal), 스테레오 입력 신호 처리를 위한 몇가지의 제어신호들과의 연동을 위한 회로들로 블럭이 구성된다.
도 7을 통하여 살펴본 임시 취득 데이터 저장 및 데이터 전처리 블럭(102)은 일단 병렬 데이터로 변환된 음성 정보들은 본격적인 처리에 앞서 전처리 과정을 거치게 된다. 전처리 과정은 먼저 입력된 개별 음성 신호들을 일정한 시간 간격으로 구분하는 데이터 블럭화 과정을 거치게 된다. 이것은 음성데이터가 연속해서 입력되기 때문에 음성의 특성 및 패턴 등을 분석하기 위해서는 일정한 단위로 데이터들을 구분하여 연산할 필요가 있기 때문이다. 물론, 이것은 음성 인식을 위한 알고리즘과 하드웨어 구성, 소프트웨어의 역할 등에 따라 필요할 경우도 있고 필요하지 않을 수도 있다. 또한, 취득한 음성 데이터가 전반적으로 약하거나 너무 강할 경우에도 일정한 수준으로 가감해주어야 할 필요가 있으므로 음성 데이터를 왼쪽, 혹은 오른쪽으로 자리옮김 연산을 수행해 준다.
도 8을 참조하면 음성 인식 블럭(Voice Recognition Block;105)을 통한 음성인식 방법은 어떠한 방식으로 데이터를 처리하는가에 따라 매우 다양한 형태의 하드웨어의 구성이 존재 할 수 있으며, 그와 연동한 소프트웨어의 구성과 역할 또한 매우 다양하게 구성할 수 있다.
본 발명은 음성 인식을 위한 특정 알고리즘을 지정하여 한정하는 것이 목적이 아니기 때문에 구현할 수 있는 음성 인식을 위한 하드웨어 블럭의 바람직한 실시예만을 기술하기로 한다.
음성인식을 수행하기 위한 기본적인 하드웨어 구성으로서 두 개의 승산기와 논리산술 유닛(Arithmetic-Logic Unit)이 있으며, 연산 과정 동안의 데이터를 임시로 저장하고 상수 및 기타 연산에 필요한 정보들을 임시로 저장하는 역할로서 RFU(Register File Unit), 그리고 연산의 처리과정의 흐름 제어를 위한 CSMU(Control State Machine Unit), 다른 블럭들과의 인터페이스를 위한 IOCU(Input-Output Control Unit) 등으로 구성된다. HMM(Hidden Markov Model) 등과 같은 음성 인식을 위한 다양한 알고리즘은 CSMU의 제어에 의해 MAU와 RFU의 반복적인 연산 과정을 통해 구현된다.
음성 인식을 위한 각종 계수(Coefficient)들은 일단 외부에 설치된 ROM 또는 플래쉬 메모리(Flash Memory) 등에 영구적으로 보존되며, 시스템에 전원이 인가되면 자동적으로 IOCU에 의해 내부의 RFU의 계수 저장 기억공간으로 복사된다. 이때, 일련의 과정을 제어하는 것은 CSMU가 담당한다. 또한, 음성 신호의 입력을 순서에 따라 연산하고 RFU의 임시로 할당된 위치에 저장하며, 다시 다음의 연산 과정에 임시로 저장된 값을 연산에 입력하는 등의 모든 연산 과정도 CSMU가 담당한다.
도 9를 참조하여 살펴본 음성인식 결과 출력 큐(Voice Recognition Result Queue;104)에서는 인식된 음성을 문자 데이터로 출력하는데, 문자로 전환된 데이터를 임시로 저장하는데 사용되는 일종의 FIFO(First-In-First-Out) 메모리(Memory)로 구성된다. 큐(104)에 임시로 저장된 데이터는 외부 버스 인터페이스 블럭(External Bus Interface Block;103)을 통하여 마이크로프로세서로 전달되거나, ASIC 내부의 버스를 통하여 언어 번역 처리 블럭(107)으로 전달된다.
도 10과 같이 언어 번역 처리 블럭(Language Translation Processing Block;107)은 음성 인식 블럭(105)에서 번역의 결과로 전달된 문자 데이터를 외부에 설치된 언어 사전 데이터 베이스(Data Base)를 참조하여 번역 과정 전체를 관리하는 역할을 담당한다. 인식된 문자열을 번역하는 것은 문자열의 특성을 파악해서 중요 단어와 문법에 따른 특징을 파악하는 것을 먼저 수행해야 한다. 또한, 문자열이 미리 등록된 예약어인가를 확인하고 예약어일 경우에는 즉시 사전의 색인(Index)를 정보를 생성하여 사전 DB의 정보를 인출한다. 예약어가 아닌 경우에는 중요 단어를 파악하여 사전을 참조할 수 있는 색인 정보를 먼저 생성하고 나머지 문법에 맞는 구문들을 파악하여 부가 색인 정보(Subindex)를 생성한다. 여기서, 부가 색인 정보라고 하는 것은 미리 언어 사전 DB를 구성할 때, 중요 단어를 중심으로 각종 변형들에 따라 별도의 색인 정보를 할당해 놓는데, 이때 중요 단어의 색인을 바탕으로하여 변형들에 대한 색인을 변위의 형태로 나타내기 때문에 부가 색인 정보라고 명명한 것이다. 따라서, 중요 단어의 색인 정보가 "XXXX"이라고 하면 부가 색인 정보를 "XXXX"를 기반으로 변위만을 나타내므로 필요한 정보를 "XX"라고 하면 총 부가 색인 정보는 "XXXX XX"이 되는 것이다. 부가 색인 정보 자체는 중요 단어에 대한 정보에 포함되어 저장된다.
결국, 문자를 외국어로 번역하는 것은 외부에 설치된 사전 DB의 용량과 다양성에 따라서 번역 가능 및 번역 결과의 품질이 결정된다.
언어 번역 처리 블럭(107)에 의해 번역된 번역 데이터는 언어 번역 결과 출력 큐(106)로 전송되어 큐(106)에 임시로 저장되고, 임시 저장된 데이터는 외부 버스 인터페이스 블럭(103)을 통하여 마이크로프로세서로 전달된다.
언어 번역 처리블록(107)은 DB 색인정보 생성 유닛과 번역 정보 결정 유닛, 임시 번역 결과 저장 레지스터 등으로 구성되어 있다.
DB 검색 엔진(Data Base Serach Engine;109)은 도 11에서와 같이 언어 번역 처리 블럭(107)에서 생성된 인덱스 정보를 기반으로 하여 외부에 설치된 사전 DB를 탐색할 수 있는 물리적인 주소를 생성하고, 인출된 정보가 올바른 정보인가를 평가하는 역할을 담당한다. 또한, 일정한 범위 내에서 주소를 자동으로 생성하는 기능을 내장하여 사전을 무작위로 탐색하는 기능도 제공한다.
외부 메모리 인터페이스 블럭(External Memory Interface Block;110)은 사전 데이터가 다양한 형태의 기억장치에 저장될 수 있으므로, 각 기억장치의 물리적, 혹은 구동 방식 특성에 적합한 인터페이스를 구현하기 위해 존재한다.
본 발명에 의한 언어 사전 DB는 기억 수단(30)인 NAND Flash Memory는 물론, 일반적인 PROM(Programmable ROM)에 저장하는 것을 기본적인 사양으로 하고 있기 때문에 주소 정보의 출력과 데이터의 입출력, 각 기억장치 소자의 특성에 따른 각종 제어신호와 제어신호가 인가되는 시차 등을 정확하게 제어하기 위해서 내부에 기억장치 인터페이스를 제어하기 위한 CSM(Control State Machine)이 설계되어 있다.
인터럽트 처리 블럭(Interrupt Handling Block;108)은 음성의 인식과 언어 번역과 관련한 전반적인 흐름의 상태, 동작 이상 유무 여부에 따라 마이크로프로세서가 개입하도록 요구하는 역할을 한다.
인터럽트 요구 신호가 발생되는 요건은 주로 음성 인식이 완료되었거나, 음성 인식이 실패하였을 경우, 언어 번역이 완료되었거나, 언어 번역에 실패하였을 경우, 사전에 찾는 문자열이 존재 하지 않을 경우, 외부 기억장치에 이상이 감지 되었을 경우, 내부 큐(Queue)가 용량이 초과될 경우 등이다.
인터럽트 요구 신호가 발생되면 마이크로프로세서는 큐에서 정보를 읽어들이거나 LCD 디스플레이에 현재의 문제 상태를 문자 및 음성으로 통보하는 등 오류 내용 및 현재의 상태를 사용자에게 알리는 역할을 수행한다.
도 12a 내지 도 12b는 본 발명의 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치를 사용하여 음성 인식 및 번역 기능을 수행하는 경우의 동작 흐름도이다.
본 발명은 기본적으로 사용자가 음성 인식 및 번역 기능의 기동 여부를 결정해 주어야만 해당하는 동작이 기동하도록 되어 있다. 즉, 사용자가 음성 인식 기능을 사용하고자 한다면, 특수 기능 버튼(Button)으로 할당되어 있는 음성 인식 기능 개시 버튼을 조작하여 음성 인식 기능을 개시한다(S1).
사용자가 버튼을 조작하고 마이크를 사람의 입에 근접하여 음성 데이터를 녹음하면, 시스템은 자동적으로 음성 인식 과정을 거쳐 인식된 결과를 출력한다. 음성 인식된 결과는 미리 번역 단말장치 내부의 DB에 저장되어 있는 예약어일 경우에 한해서 즉시 결과를 LCD 화면에 출력한다.
음성 인식 과정은 단말장치 자체 DB에 내장된 단문이나 특정 단어 중심의 예약어를 인식하는 것을 기본으로 한다.
먼저, 블럭 단위의 음성 데이터를 취득한 후 음성 데이터를 임시 저장하고, 음성 데이터의 좌/우 자리이동 연산 수행하는 것에 의해 음성 데이터의 전처리를 수행한다(S2~S3). 그 후, HMM 방식 등 다양한 연산 조작을 수행하여 음성 데이터를 분석하고 특징을 추출한다(S4).
추출된 음성 데이터의 특징 및 패턴(혹은 심볼)에 따라 DB를 검색하여 색인 정보를 추출(예: 특징 번호 "A" -〉 "A"에 해당하는 색인 정보 생성)한 후 추출한 인덱스 정보를 실제 기억공간 주소로 변환하여 DB를 검색한다(S5~S6). 해당 인덱스 정보에 저장된 특징 및 패턴 데이터가 일치하는가를 조사하여(S7) 일치하면 인덱스 정보에 따른 문자 기호를 인출하고(S13~S14), 일치하지 않으면 인식 실패인지를 체크한다(S8).
인식에 실패한 경우에는 인터럽트 처리 요구신호를 발생한 후 인식 동작을 종료하고(S10~S11), 인식에 실패한 경우가 아닌 경우에는 다음 인덱스 정보를 생성한 다음 DB 검색 단계로 이동하여 음성 인식 과정을 반복 수행한다(S9).
만약, 인식에 실패하거나 인식한 결과가 단말장치 내부의 자체 DB에 내장되어 있는 예약어가 아닐 경우, 즉 DB에서 일치된 정보를 찾지 못하였을 경우, 사용자는 무선 데이터 통신을 이용하여 음성 인식 및 번역 서버로 녹음된 음성 데이터를 전송하여 보다 높은 수준의 음성 인식 서비스를 제공 받을 수 있다(S12).
이어서, 번역 단말장치 내부의 자체 DB에 저장되어 있는 예약어일 경우에는 음성 인식된 결과를 번역 단말장치를 통해 다른 언어로 번역할 수 있으며 사용자가 번역 원한다면, 특수 기능 버튼 중 번역 동작의 개시를 지시하는 번역 개시 버튼 조작을 통하여 번역 동작을 수행한다.
즉, 언어 번역 기능은 일단 음성이 인식되어 문자화된 데이터를 추출하는 과정이 완료된 후에 사용자의 요구에 따라서 동작을 개시한다. 음성 인식이 종료되면 사용자에게 인식이 종료되었음을 알리면서 문자 데이터를 LCD 화면에 출력한다. 사용자는 인식이 올바르게 되었음을 확인하고 특수 기능 버튼 중에서 번역 개시 버튼을 누르면 번역 조작이 개시된다(S15).
번역은 음성 인식 단계에서 추출된 문자 데이터를 기본으로 단말장치(1) 내부의 자체 DB를 검색해서 가장 적절한 단어를 선택하여 번역된 단어를 선출한다(S16~S17). 선출된 단어들은 자체적으로 부가적인 정보들을 가지고 있으며, 이들 정보에 의해 번역의 최종 단계에서 어순, 어감 등 문법적인 조작이 가해져서 최종 번역된 데이터가 출력된다(S19~S20).
부가적인 정보들은 단어의 의미는 물론, 태와 어감, 서술어와의 연결시 적절성 등 각종 문법적인 조작이 가능하도록 단말장치 DB에 단어와 함께 저장되는 보조 정보들이다. 소정의 번역 알고리즘은 기공지된 알고리즘이 적용되므로 이에 대한 상세한 설명은 생략하기로 한다.
또한, 번역을 위한 일련의 처리 과정도 번역 단말장치(1) 내부의 자체 DB에 저장되어 있는 정보를 먼저 참조하여 번역 조작을 수행하게 되는데, 이때 단말장치 내부의 자체 DB에 저장되어 있지 않은 문자열이 입력되었을 경우, 사용자는 무선 데이터 통신을 이용하여 원격지의 음성 인식 및 번역 서버에 음성 인식된 결과를 전송하므로서 보다 우수한 번역 서비스를 제공 받을 수 있다(S18).
이상 설명한 내용을 통해 당업자라면 본 발명의 기술적 사상을 일탈하지 않는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 첨부한 도면과 명세서의 상세한 설명에 기재된 내용으로 한정되는 것은 아니다.
상술한 바와 같이 본 발명에 의하면, 음성 인식 기능 및 언어 번역 기능을 휴대용 단말장치에 내장하여 시간 및 공간적 제약없이 언제 어디서든지 원하는 단어 또는 문장을 자국어로서 조회할 수 있도록 구현함으로써 외국 관광객이 국내에서 겪는 가장 큰 어려움 중의 하나인 언어 소통의 어려움을 덜어주어 관광객이 자유롭게 현지를 여행할 수 있도록 하는 효과가 있다.
본 발명에 의하면, 단말장치의 저장 용량이 한정되어 있음을 고려하여 단말장치에 내장된 DB에서 검색이 불가능한 단어 및 문장은 무선 데이터 통신을 이용하여 원격지에 있는 대용량의 음성 인식 및 번역 서버로 전송하고, 번역 서버로부터 판독된 자국어 데이터를 다운 로드받아 사용자에게 번역 서비스를 제공함으로써 음성 인식 및 번역에 소요되는 시간과 전력을 줄이고 음성 인식 및 번역의 성공률을 높여 보다 질적으로 우수한 번역 서비스를 제공하도록 하는 탁월한 효과가 있다.
또한, 본 발명은 단말장치에 내장된 언어 번역 기능 이외에 인터넷 접속 기능 및 음성 전자 우편 기능 등 각종 부가적인 서비스를 제공하고, 위급한 상황에서는 주변의 경찰서 및 소방서에 신고할 수 있는 기능을 제공하여 외국인 관광객들이 국내에서 활동할 수 있는 폭을 확대시킴과 동시에 외국인 관광객들의 안전한 여행을 가능하게 해준다.

Claims (5)

  1. 휴대용 다국어 번역 단말장치에 있어서,
    전체 시스템의 운영 및 제어를 담당하는 MPU 수단(10)과, 언어 인식 및 언어 번역을 위한 각종 데이터들을 담고있는 데이터 베이스(DB) 공간으로서 사용되며, MPU 수단(10)이 실행하기 위한 명령어들 또는 실행 프로그램이 저장되어 있는 기억 수단(30)과, 음성 데이터의 입력 및 음성 인식된 데이터의 번역 결과 데이터의 출력을 담당하는 입출력 수단(60)과, 음성 인식 및 언어 번역을 가능하게 하기 위해 ASIC으로 구현한 음성 인식 및 언어 번역 수단(70)을 구비하는 것을 특징으로 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치.
  2. 휴대용 다국어 번역 단말장치에 있어서,
    전체 시스템의 운영 및 제어를 담당하는 MPU 수단(10)과, 언어 인식 및 언어 번역을 위한 각종 데이터들을 담고있는 데이터 베이스(DB) 공간으로서 사용되며, MPU 수단(10)이 실행하기 위한 명령어들 또는 실행 프로그램이 저장되어 있는 기억 수단(30)과, 무선 인터넷 및 무선 음성 통화를 수행하기 위한 모뎀 수단(40)과, 번역 단말장치(1)와 컴퓨터(3)를 연결하여 상호간에 데이터를 주고 받기 위해서 사용하는 인터페이스 수단(50)과, 음성 데이터의 입력 및 음성 인식된 데이터의 번역 결과 데이터의 출력을 담당하는 입출력 수단(60)과, 음성 인식 및 언어 번역을 가능하게 하기 위해 ASIC으로 구현한 음성 인식 및 언어 번역 수단(70)을 구비하는 것을 특징으로 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 음성 인식 및 언어 번역 수단(70)은
    디지털화 된 음성 신호를 순수한 음성 데이터로 재조합하는 음성신호 입력 블럭(101)과,
    블럭 단위의 음성 데이터를 취득한 후 음성 데이터를 임시 저장하고, 음성 데이터의 좌/우 자리이동 연산 수행하는 것에 의해 음성 데이터의 전처리를 수행하는 임시 취득 데이터 저장 및 데이터 전처리 블럭(102)과,
    다양한 연산 조작을 수행하여 음성 데이터를 분석하고 특징을 추출하고, 추출된 음성 데이터의 특징 및 패턴에 따라 DB를 검색하여 색인 정보를 추출한 후 추출한 인덱스 정보를 실제 기억공간 주소로 변환하여 DB를 검색하고, 해당 인덱스 정보에 저장된 특징 및 패턴 데이터가 일치하면 인덱스 정보에 따른 문자 데이터를 인출하는 음성 인식 블럭(105)과,
    음성 인식되어 문자로 전환된 데이터를 임시로 저장하는 음성인식 결과 출력 큐(104)와,
    상기 음성인식 결과 출력 큐(104) 및 언어 번역 결과 출력 큐(106)에 임시로 저장된 데이터를 마이크로프로세서로 전달하거나, 상기 음성인식 결과 출력 큐(104)에 임시로 저장된 데이터를 ASIC 내부의 버스를 통하여 언어 번역 처리 블럭(107)으로 전달하는 외부 버스 인터페이스 블럭(103)과,
    음성 인식 블럭(105)에서 번역의 결과로 전달된 문자 데이터를 외부에 설치된 언어 사전 데이터 베이스(DB)를 검색하여 번역 과정 전체를 관리하는 언어 번역 처리 블럭(107)과,
    상기 언어 번역 처리 블럭(107)에 의해 번역된 번역 데이터를 임시로 저장하는 언어 번역 결과 출력 큐(106)와,
    상기 언어 번역 처리 블럭(107)에서 생성된 인덱스 정보를 기반으로 하여 외부에 설치된 사전 DB를 검색할 수 있는 물리적인 주소를 생성하고, 일정한 범위 내에서 주소를 자동으로 생성하는 기능을 내장하여 사전 DB를 무작위로 검색하는 DB 검색 엔진(109)과,
    각각의 기억 수단의 물리적 특성에 적합한 인터페이스를 구현하는 외부 메모리 인터페이스 블럭(110)과,
    음성의 인식과 언어 번역과 관련한 전반적인 흐름의 상태, 동작 이상 유무 여부에 따라 마이크로프로세서가 개입하도록 요구하는 인터럽트 처리 블럭(108)을 구비하는 것을 특징으로 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치.
  4. 제 1 항 또는 제 2 항에 있어서, 상기 기억 수단(30)은 언어 인식 및 언어 번역을 위한 각종 데이터들을 담고있는 데이터 베이스(DB) 공간으로서 사용되는 낸드 플래쉬 메모리와, 상기 MPU(10) 수단이 실행하기 위한 명령어들 또는 실행 프로그램이 저장되어 있는 공간으로서 사용되는 코드 롬(Code ROM)과, 상기 MPU 수단(10)이 각종 업무 처리를 수행하기 위한 일시 기억공간으로 사용되거나 낸드 플레쉬 메모리에 저장되어 있는 응용 프로그램을 읽어들여 상기 MPU(10)가 수행할 수 있도록 하기 위한 응용 프로그램 실행 영역으로 사용되는 SDRAM을 포함하는 것을 특징으로 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 입출력 수단(60)을 구성하는 입력 수단은 마이크로폰이고, 출력 수단은 스피커, LCD 디스플레이(20) 또는 터치 스크린인 것을 특징으로 하는 음성 인식 및 번역 전용 ASIC을 이용한 휴대용 다국어 번역 단말장치.
KR1020000065692A 2000-11-07 2000-11-07 음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어번역 단말장치 KR20010008073A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000065692A KR20010008073A (ko) 2000-11-07 2000-11-07 음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어번역 단말장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000065692A KR20010008073A (ko) 2000-11-07 2000-11-07 음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어번역 단말장치

Publications (1)

Publication Number Publication Date
KR20010008073A true KR20010008073A (ko) 2001-02-05

Family

ID=19697518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000065692A KR20010008073A (ko) 2000-11-07 2000-11-07 음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어번역 단말장치

Country Status (1)

Country Link
KR (1) KR20010008073A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464428B1 (ko) * 2002-08-12 2005-01-03 삼성전자주식회사 음성 인식 장치
US7593853B2 (en) 2004-09-07 2009-09-22 Lg Electronics Inc. Baseband modem for speech recognition and mobile communication terminal using the same
WO2009151509A2 (en) * 2008-04-24 2009-12-17 Nuance Communications, Inc. Multilingual asynchronous communications of speech messages recorded in digital media files
CN106528547A (zh) * 2016-11-09 2017-03-22 王东宇 一种翻译机的翻译方法
KR20180101943A (ko) 2017-03-06 2018-09-14 한남대학교 산학협력단 무선개인통신망 기반 다국어 번역 시스템 및 방법
KR20190001692A (ko) * 2017-06-28 2019-01-07 포항공과대학교 산학협력단 아식칩과 스마트폰을 구비하는 실시간 음성인식 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995016968A1 (fr) * 1993-12-15 1995-06-22 Jean Gachot Procede et dispositif pour transformer un premier message vocal dans une premiere langue, en un second message dans une seconde langue predeterminee
US5526259A (en) * 1990-01-30 1996-06-11 Hitachi, Ltd. Method and apparatus for inputting text
KR19980085450A (ko) * 1997-05-29 1998-12-05 윤종용 음성인식 및 자동 번역 통신 단말장치
KR19990037776A (ko) * 1999-01-19 1999-05-25 고정현 음성인식자동번역및통역장치
KR20000049417A (ko) * 2000-02-29 2000-08-05 이만균 음성 인터넷 명령어 처리방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526259A (en) * 1990-01-30 1996-06-11 Hitachi, Ltd. Method and apparatus for inputting text
WO1995016968A1 (fr) * 1993-12-15 1995-06-22 Jean Gachot Procede et dispositif pour transformer un premier message vocal dans une premiere langue, en un second message dans une seconde langue predeterminee
KR19980085450A (ko) * 1997-05-29 1998-12-05 윤종용 음성인식 및 자동 번역 통신 단말장치
KR19990037776A (ko) * 1999-01-19 1999-05-25 고정현 음성인식자동번역및통역장치
KR20000049417A (ko) * 2000-02-29 2000-08-05 이만균 음성 인터넷 명령어 처리방법 및 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464428B1 (ko) * 2002-08-12 2005-01-03 삼성전자주식회사 음성 인식 장치
US7593853B2 (en) 2004-09-07 2009-09-22 Lg Electronics Inc. Baseband modem for speech recognition and mobile communication terminal using the same
WO2009151509A2 (en) * 2008-04-24 2009-12-17 Nuance Communications, Inc. Multilingual asynchronous communications of speech messages recorded in digital media files
WO2009151509A3 (en) * 2008-04-24 2010-02-18 Nuance Communications, Inc. Multilingual asynchronous communications of speech messages recorded in digital media files
US8594995B2 (en) 2008-04-24 2013-11-26 Nuance Communications, Inc. Multilingual asynchronous communications of speech messages recorded in digital media files
CN106528547A (zh) * 2016-11-09 2017-03-22 王东宇 一种翻译机的翻译方法
KR20180101943A (ko) 2017-03-06 2018-09-14 한남대학교 산학협력단 무선개인통신망 기반 다국어 번역 시스템 및 방법
KR20190001692A (ko) * 2017-06-28 2019-01-07 포항공과대학교 산학협력단 아식칩과 스마트폰을 구비하는 실시간 음성인식 장치
US11183177B2 (en) 2017-06-28 2021-11-23 Postech Academy-Industry Foundation Real-time voice recognition apparatus equipped with ASIC chip and smartphone

Similar Documents

Publication Publication Date Title
US11138971B2 (en) Using context to interpret natural language speech recognition commands
CN104380375B (zh) 用于从对话中提取信息的设备
US7275049B2 (en) Method for speech-based data retrieval on portable devices
US20080114747A1 (en) Speech interface for search engines
KR20040076213A (ko) 언어 번역용 방법 및 시스템
JP2002342212A (ja) 情報アクセス方法、情報アクセスシステムおよびプログラム
US10770060B2 (en) Adaptively learning vocabulary for completing speech recognition commands
JP2004310748A (ja) ユーザ入力に基づくデータの提示
CN101295298A (zh) 翻译系统、翻译系统的控制方法以及对译数据生成方法
JP2002116796A (ja) 音声処理装置、音声処理方法及び記憶媒体
TW200925937A (en) Inquiry-oriented user input apparatus and method
EP3550449A1 (en) Search method and electronic device using the method
JPH07222248A (ja) 携帯型情報端末における音声情報の利用方式
US10540445B2 (en) Intelligent integration of graphical elements into context for screen reader applications
CN109063166A (zh) 一种语音查询方法及装置、用户设备
JP2005249829A (ja) 音声認識を行うコンピュータネットワークシステム
KR20010008073A (ko) 음성 인식 및 번역 전용 에이직을 이용한 휴대용 다국어번역 단말장치
WO2014161301A1 (zh) 一种终端控制方法、装置和终端
KR100689059B1 (ko) 인터넷 컨텐츠를 tts 변환하여 개인정보처리기로제공하는 네트워크 동기화 시스템 및 그 방법
KR100836159B1 (ko) 반자동 번역 서비스 제공 시스템 및 방법
KR20050052943A (ko) 여행자용 키워드 기반 음성번역 시스템 및 그 방법
KR20140004841A (ko) 스마트 단말장치에서 터치조작을 통한 전자문서 추가정보 삽입 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP2014199476A (ja) 機械翻訳装置、機械翻訳方法およびプログラム
WO2021218750A1 (en) System and method for translating sign language
WO2002099786A1 (en) Method and device for multimodal interactive browsing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application