KR20050054007A

KR20050054007A - Method for implementing translation function in mobile phone having camera of cam function

Info

Publication number: KR20050054007A
Application number: KR1020030087276A
Authority: KR
Inventors: 김태형
Original assignee: 삼성전자주식회사
Priority date: 2003-12-03
Filing date: 2003-12-03
Publication date: 2005-06-10

Abstract

본 발명은 이동 통신 단말기에 구비된 캠코더 기능의 카메라를 이용하여 변환하고자 하는 영문장의 입력이 용이하게 이루어지도록 함으로써 사용자의 편의성을 향상시킬 수 있는 번역 기능을 구현하는 방법을 제공한다. 이를 위해 본 발명은 사용자로부터 직접 번역할 영문장을 입력받는 번역 기능을 수행하기 위한 일반 영한 번역 모드와 캠코더 기능의 카메라로부터 입력된 영문장 영상을 문자 데이터로 변환시키는 문자 인식 기능을 통한 번역 기능의 수행을 위한 문자 인식 영한 번역 모드를 구비함을 특징으로 한다. 또한 본 발명은 개인이 일상적으로 휴대하고 다니는 이동 통신 단말기에 번역 언어용 데이터베이스를 부가할 수 있도록 하여 영문장 번역과 발음 청취를 가능하게 함을 특징으로 한다.The present invention provides a method for implementing a translation function to improve the user's convenience by easily inputting the English text to be converted using a camera function of a camcorder function provided in the mobile communication terminal. To this end, the present invention provides a translation function through a general English-Korean translation mode for performing a translation function of receiving an English text to be directly translated from a user, and a text recognition function for converting an English text image input from a camera of a camcorder function into text data. Character recognition for performing English to English translation mode is characterized in that it comprises. In addition, the present invention is characterized in that it is possible to add a database for the translation language to a mobile communication terminal that a person carries on a daily basis to enable translation of English sentences and listening to pronunciation.

Description

TECHNICAL MODE FOR IMPLEMENTING TRANSLATION FUNCTION IN MOBILE PHONE HAVING CAMERA OF CAM FUNCTION}

본 발명은 이동 통신 단말기에 관한 것으로, 특히 이동 통신 단말기에서 카메라를 구비하여 입력된 문자를 인식한 후, 인식한 문자를 번역하여 표시하는 이동 통신 단말기에서 번역 기능을 구현하는 방법에 관한 것이다. The present invention relates to a mobile communication terminal, and more particularly, to a method of implementing a translation function in a mobile communication terminal that translates and displays a recognized character after recognizing a character inputted with a camera in the mobile communication terminal.

국제 사회와의 교류가 전지구적으로 확대되면서 우리나라에서도 이전보다 더 많은 정보와 자원의 해외교류가 활발해졌다. 이러한 상황으로 인하여 외국인과의 의사소통과 정보의 교류에 있어서 많은 불편함이 발생하였다. 이러한 추세에 따라 정보화 사회에서 직장인 및 수험생들에게 가장 많은 관심을 받고 있는 분야는 외국어 분야일 것이다. 이에 따라, 간편한 번역 방법의 필요성이 제기되었다. 또한 이러한 이유로 실생활에서 외국어를 접할 경우 다양한 방법으로 이에 도움을 줄 수 있는 장치 및 방법들이 개발되고 있다. 이러한 방법들의 일 예로서 최근에는 전화 또는 마이크를 통하여 컴퓨터에 전달된 사람의 음성으로부터 특징을 추출 분석하여 미리 입력된 데이터베이스에서 가장 근접한 텍스트를 찾아내는 음성인식 기술과, 미리 입력된 문장을 음성으로 바꾸어 주는 문자-음성 변환 기술 등 컴퓨터 기술의 발달로 다양한 휴대용 번역 장치들이 개발되어질 수 있는 기반이 마련되어졌다.As exchanges with the international community have expanded globally, overseas exchange of more information and resources has been more active in Korea. This situation has caused a lot of inconvenience in communication and exchange of information with foreigners. According to this trend, the field of most interest in office workers and examinees in the information society will be foreign language. Accordingly, there is a need for a simple translation method. For this reason, devices and methods have been developed that can help in a variety of ways when encountering a foreign language in real life. As an example of such methods, a voice recognition technology that extracts and analyzes features from a human voice transmitted to a computer through a telephone or a microphone and finds the nearest text from a pre-entered database, and converts a pre-sent sentence into a voice. With the development of computer technology such as text-to-speech technology, various portable translation devices can be developed.

이러한 기술을 바탕으로 한 종래 기술의 한 예로서 음성 또는 문자 형태로 수신하거나 입력된 언어를 사용자가 원하는 다른 언어의 번역된 음성 또는 문자로 출력 및 송신하는 이동 통신 단말기를 이용한 번역 장치가 있다. 이러한 이동 통신 단말기는 장/탈착할 수 있는 번역 데이터를 출력하는 번역 메모리 카드를 구비하며, 사용자로부터 입력되는 번역 요구된 음성데이터 및 문자데이터를 번역 메모리 카드에 요구되는 문자코드로 변환 송출하고, 이를 통해 번역 메모리 카드로부터 출력된 번역 데이터를 음성 출력 또는 문자 출력에 필요한 데이터로 변환하여 스피커로 출력함을 특징으로 한다. 이러한 방법은 대화 장소에서 바로 입력한 음성 또는 문자를 번역된 음성 또는 문자로 출력하는 효과가 있다. 여기에 개시된 기술에서는 무선으로 수신하거나 사용자로부터 입력되는 번역 요구된 음성 데이터 또는 문자 데이터를 이동 통신 단말기에 구비된 번역 장치를 통해 번역 기능을 구현한 이동 통신 단말기를 이용한 번역 장치를 제공함에 있다.As an example of the prior art based on the above technology, there is a translation apparatus using a mobile communication terminal that outputs and transmits a language received or inputted in a voice or text form as a translated voice or text in another language desired by a user. Such a mobile communication terminal has a translation memory card for outputting translation data that can be inserted / removed. The mobile communication terminal converts and transmits the translation requested voice data and text data into a character code required for the translation memory card. By converting the translation data output from the translation memory card to the data necessary for audio output or text output through the speaker characterized in that the output. This method has an effect of outputting a voice or text input directly at a conversation place as a translated voice or text. The present disclosure provides a translation apparatus using a mobile communication terminal that implements a translation function through a translation device provided in a mobile communication terminal for translation-requested voice data or text data received wirelessly or input from a user.

상기한 바와 같이 종래에는 이동 통신 단말기에서 번역하고자 하는 음성 또는 문장을 번역 메모리 카드에 요구되는 문자 코드로 변환 송출하고, 번역 메모리카드로부터 출력된 번역 데이터를 음성 출력 또는 문자 출력에 필요한 데이터로 변환하여, 스피커를 통해 음성 출력하거나 표시부를 통해 문자출력하거나 무선부를 퉁해 송수신하였다. 하지만 이러한 방법은 이동 통신 단말기가 번역하고자 하는 음성 또는 문자 데이터를 무선으로 수신한 경우 또는 이동 통신 단말기를 통해 사용자로부터 직접 번역하고자 하는 음성이 입력되는 경우에만 가능하다. 따라서, 사용자가 번역하고자 하는 긴 영 문장을 음성 입력 이외의 방식으로 입력할 경우에는 어려움이 있었다. As described above, conventionally, a mobile communication terminal converts and transmits a voice or sentence to be translated into a character code required for a translation memory card, and converts translation data output from the translation memory card into data required for voice output or character output. For example, voice was output through the speaker, text was output through the display unit, or transmitted and received through the wireless unit. However, this method is possible only when the mobile communication terminal receives voice or text data to be translated wirelessly or when a voice to be translated directly from the user is input through the mobile communication terminal. Therefore, when the user inputs a long English sentence to be translated in a manner other than voice input, there is a difficulty.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출한 것으로서, 캠코더 기능의 카메라를 구비한 이동 통신 단말기에서 사용자가 키입력부를 통한 문장 또는 단어를 입력시킬 필요없이 변환하고자 하는 번역할 문장 영상의 입력을 용이하게 하고, 입력된 문장의 번역문을 실시간으로 표시하여 사용자의 편의성을 향상시킬 수 있는 이동 통신 단말기에서 번역 기능 구현 방법을 제공하는데 있다.Accordingly, the present invention has been made to solve the above problems, the input of the sentence image to be translated to the user does not need to input a sentence or word through the key input unit in a mobile communication terminal having a camera with a camcorder function The present invention provides a method for implementing a translation function in a mobile communication terminal that can facilitate the display and improve the user's convenience by displaying the translated sentences of the input sentences in real time.

또한 본 발명의 다른 목적은 이동 통신 단말기에 부착된 카메라의 캠코더 기능을 이용하여 번역할 문장 영상을 정교하게 인식하게 하고, 별도의 회로 추가가 필요없는 문자 인식 기능의 프로그램을 통해 입력된 문장 영상을 문자 데이터로 변환하고, 변환된 문자 데이터에 대응하여 번역 언어 데이터 베이스를 저장하고 있는 메모리부를 검색하여 그 결과로 번역된 문장의 뜻을 표시하고, 번역된 문장의 발음 청취를 가능하게 하여 이동 통신 단말기에서 번역 기능 구현 방법을 제공하는데 있다.In addition, another object of the present invention is to accurately recognize the sentence image to be translated using the camcorder function of the camera attached to the mobile communication terminal, and the sentence image input through the program of the character recognition function that does not require additional circuitry Converts to text data, searches the memory unit for storing the translated language database corresponding to the converted text data, displays the meaning of the translated sentences as a result, and enables the user to listen to the pronunciation of the translated sentences. Provides a way to implement the translation function.

이와 같은 목적을 달성하기 위한 본 발명은, 캠코더 기능의 카메라가 구비된 이동 통신 단말기에서 번역 기능을 구현하는 방법에 있어서, 사용자로부터 문자 인식 기능을 이용한 번역 모드가 선택된 경우 상기 캠코더 기능의 카메라를 구동하고 번역할 문장 영상을 추출하기 위한 영역 설정을 사용자로부터 조절받기 위한 화면을 표시하는 과정과, 상기 카메라로부터 촬영된 동영상 프레임을 상기 화면에 표시하면서 상기 화면을 통해 표시되는 동영상 비디오 프레임 중 문장을 인식하기 위해 한 프레임을 추출하는 과정과, 상기 추출된 프레임의 문장 영상을 문자 인식 기능을 이용하여 문자 데이터로 변환하고, 상기 변환한 문자 데이터를 번역 언어용 데이터베이스를 이용하여 번역한 후 그 결과를 표시하는 과정을 포함함을 특징으로 한다.In order to achieve the above object, the present invention provides a method of implementing a translation function in a mobile communication terminal equipped with a camera of a camcorder function, wherein when a translation mode using a text recognition function is selected by a user, the camera of the camcorder function is driven. And displaying a screen for adjusting an area setting for extracting a sentence image to be translated from a user, and recognizing a sentence of a moving image video frame displayed through the screen while displaying a moving image frame captured by the camera on the screen. Extracting a frame, converting the sentence image of the extracted frame into text data using a character recognition function, translating the converted text data using a database for translation language, and displaying the result It is characterized by including the process.

특히 본 발명의 실시 예에 따라 캠코더 기능의 카메라로 입력된 단어 영상은 문자 인식 기능을 이용하여 실시간으로 문자 데이터로 변환되는데, 여기서 문자 인식 기능이란 후술하는 바와 같다. 문자 인식 기능은 OCR(Optical Character Reader)에 의해 수행되는데, OCR(Optical Character Reader)이란 광학식 문자 판독기를 말하며 문서에 인자된 문자를 광학적으로 판독하는 장치를 말한다. 이러한 문자 인식 기능은 원리적으로는 예컨대,“1”자를 수십 개의 모눈으로 분할하여 특정한 모눈의 흑백 또는 자획형상 특징에 의해 문자를 판독한다. 그러나 현재 실용적으로 대상이 되는 문자는 대개가 특정형의 타이프 문자로 인자한 숫자 및 알파벳에 한하며, 손으로 쓴 문자를 판독하는 것은 드물다. 하지만 임의의 활자에 의한 인자나 자유롭게 손으로 쓴 문자를 판독할 수 있는 장치도 개발되고 있다. 한편, 본 발명의 실시 예에 따라 이동 통신 단말기는 별도의 추가 회로 없이 이미지의 글자를 인식하기 위한 OCR(Optical Character Reader)를 소프트웨어적으로 구현하여 문자인식 기능을 수행한다. In particular, the word image input to the camera of the camcorder function according to an embodiment of the present invention is converted into the character data in real time using the character recognition function, where the character recognition function is as described later. The character recognition function is performed by an optical character reader (OCR). An optical character reader (OCR) refers to an optical character reader and an apparatus for optically reading a character printed on a document. This character recognition function, in principle, reads a character by, for example, dividing "1" into dozens of grids by the black and white or stroke-shaped features of a particular grid. However, the characters that are currently practically practical are generally limited to numbers and alphabets printed by specific type characters, and it is rare to read handwritten characters. However, devices have been developed that can read arguments by arbitrary type or freely written characters. Meanwhile, according to an embodiment of the present invention, the mobile communication terminal implements a character recognition function by implementing an optical character reader (OCR) for recognizing characters of an image without any additional circuitry.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the same elements in the figures are represented by the same numerals wherever possible. In addition, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.

도 1은 본 발명의 실시 예에 따른 캠코더 기능의 카메라를 장착한 이동 통신 단말기의 사시도이다. 통상적으로, 도 1에 도시된 바와 같이 서브바디(20)면상에는 스피커(140)가 위치하게 되며, 스피커(140)의 하측에는 데이터를 표시하는 표시 장치인 표시부(150)를 구비한다. 그리고 메인바디(10)에는 표시부(150)에 데이터를 입력시키기 위한 입력 수단인 다수의 키버튼을 갖는 키입력부(160)가 설치되며, 그 상측에는 본 발명이 적용되는 캠코더 기능의 카메라(180)가 설치되고, 그 하측에는 상대방에게 음성을 전달하기 위한 마이크로폰(170)이 설치된다. 1 is a perspective view of a mobile communication terminal equipped with a camera having a camcorder function according to an embodiment of the present invention. Typically, as shown in FIG. 1, the speaker 140 is positioned on the surface of the subbody 20, and the display unit 150, which is a display device for displaying data, is provided below the speaker 140. In addition, the main body 10 is provided with a key input unit 160 having a plurality of key buttons as input means for inputting data to the display unit 150, and the camera 180 having a camcorder function to which the present invention is applied. Is installed, the microphone 170 for transmitting the voice to the other side is installed.

본 발명의 실시 예에 따라 문자 인식 기능을 이용하여 번역 기능을 제공하기 위한 이동 통신 단말기의 내부 구성 블록도는 도 2에 도시된 바와 같다. 2 is a block diagram illustrating an internal configuration of a mobile communication terminal for providing a translation function using a text recognition function according to an embodiment of the present invention.

도 2에서 베이스밴드 처리부(Baseband Processor)(110)와 RF모듈(Radio Frequency module)(120)과 음성처리부(Voiceband Signal Processor)(130)와 표시부(150)와 키입력부(160)와 카메라(180)와 메모리부(190)에 연결되는 제어부(100)는 통상적인 전화 통화나 데이터 통신, 무선 인터넷 접속을 위한 프로토콜에 따라 음성 신호 및 데이터 처리를 하고 이동 통신 단말기의 각 부분을 제어하며, 후술하는 바와 같이 본 발명의 실시 예에 따라 문자 인식 기능을 이용하여 번역 기능을 처리한다. 즉, 제어부(100)는 이러한 번역 기능과 관련된 이동 통신 단말기의 각 구성요소를 제어한다. 2, a baseband processor 110, an RF module 120, a voiceband signal processor 130, a display unit 150, a key input unit 160, and a camera 180 are illustrated in FIG. 2. And the control unit 100 connected to the memory unit 190 perform voice signals and data processing according to a protocol for a conventional telephone call, data communication, or wireless Internet connection, and control each part of the mobile communication terminal. As described above, the translation function is processed using the character recognition function. That is, the controller 100 controls each component of the mobile communication terminal associated with this translation function.

이러한 본 발명의 실시 예에 따른 제어 과정을 수행하기 위해 사용자로부터 번역 기능 수행을 위한 키입력이 있으면 제어부(100)는 영한 번역 선택 모드로 전환하도록 제어한다. 이에 따라 제어부(100)는 선택 가능한 영한 번역 모드들의 항목을 표시부(150)를 통해 표시한다. 그리고, 제어부(100)는 영한 번역 선택 모드에서 표시된 여러 가지 번역 모드 항목들 중 사용자로부터의 선택에 따라, 해당 번역 모드로 전환하도록 제어한다. 여기서의 번역 모드는 사용자로부터 검색할 단어를 키입력부(160)를 통해 직접 입력받거나 다운로드받은 번역할 문장을 메모리부로부터 로드하여 번역 기능을 수행하기 위한 일반 영한 번역 모드와 캠코더 기능의 카메라로부터 입력된 영상을 문자 데이터로 변환시키는 문자 인식 기능을 통한 번역 기능의 수행을 위한 문자 인식 번역 모드로 나뉜다.If there is a key input for performing a translation function from the user in order to perform the control process according to the embodiment of the present invention, the controller 100 controls to switch to the English-English translation selection mode. Accordingly, the control unit 100 displays the items of selectable English-Korean translation modes through the display unit 150. Then, the controller 100 controls to switch to the corresponding translation mode according to a selection from the user among various translation mode items displayed in the English-Korean translation selection mode. The translation mode herein is a general English-English translation mode for performing a translation function by directly inputting a word to be searched from a user through the key input unit 160 or by loading a downloaded sentence to be translated from a memory unit, and inputted from a camera of a camcorder function. It is divided into a text recognition translation mode for performing a translation function through a text recognition function for converting an image into text data.

우선, 일반 번역 모드가 선택되는 경우에는 제어부(100)는 사용자의 선택에 따라 사용자로부터 번역할 문장을 직접 입력받거나 다운로드 받은 문장을 메모리부(190)로부터 로드하여 번역 기능을 구동할 수 있다. 먼저, 일반 번역 모드에서 사용자로부터 번역할 문장을 직접 입력받는 경우에는 사용자로부터의 키입력에 대응하는 키입력 데이터가 키입력부(160)를 통해 제어부(100)로 입력되며, 이에 따라 제어부(100)는 입력된 키입력 데이터에 대한 번역 기능을 수행한다. 한편, 일반 번역 모드에서 다운로드 받은 문장을 로드하는 경우에는 미리 다운로드 받아 메모리부(190)에 저장되어 있는 번역할 문장을 표시부(150)를 통해 표시하고, 번역 기능을 실행하기 위한 키입력부(160)를 통한 소정의 키입력이 있는 경우 제어부(100)는 로드된 문장에 대한 번역 기능을 수행한다. 여기서의 번역 기능은 제어부(100)가 사용자로부터 직접 입력된 번역할 문장 또는 메모리부(190)로부터 로드된 번역할 문장을 이루는 각 단어를 번역 언어용 데이터베이스를 저장하고 있는 메모리부(190)를 이용하여 검색하고 검색된 결과를 문장 구조에 맞추어서 조사를 적절하게 삽입하여 재배열함으로써 번역된 문장을 생성함으로써 이루어진다. 여기서 제어부(100)는 이와 같은 번역 과정을 통해 생성된 결과인 번역된 문장을 표시부(150)를 통해 출력한다.First, when the general translation mode is selected, the control unit 100 may directly input a sentence to be translated from the user or load the downloaded sentence from the memory unit 190 according to the user's selection to drive the translation function. First, when a sentence to be translated is directly input from a user in the general translation mode, key input data corresponding to a key input from the user is input to the controller 100 through the key input unit 160, and accordingly, the controller 100 is input. Performs a translation function on the input key input data. On the other hand, in the case of loading the downloaded sentence in the normal translation mode to display the sentence to be downloaded in advance and stored in the memory unit 190 via the display unit 150, the key input unit 160 for executing the translation function If there is a predetermined key input through the control unit 100 performs a translation function for the loaded sentence. Here, the translation function may include a memory unit 190 in which the control unit 100 stores a database for translation language for each word forming a sentence to be translated or a sentence to be loaded which is loaded from the memory unit 190. Searched and the searched results in accordance with the sentence structure to insert the search appropriately and rearrange to generate a translated sentence. Herein, the control unit 100 outputs the translated sentence, which is a result generated through the translation process, through the display unit 150.

한편, 문자 인식 번역 모드가 선택되는 경우에는 제어부(100)는 캠코더 기능의 카메라(180)를 구동한다. 그리고 제어부(100)는 사용자로부터 이동키를 통해 정교하게 촬영되는 영문장 영상을 캠코더 기능의 카메라(180)로부터 입력받는다. 여기서 촬영되는 영문장 영상은 실시간으로 촬영되는 동영상이기 때문에 제어부(100)는 영문장 영상의 문장을 문자 데이터로 인식하기 위해 동영상 비디오 프레임의 한 프레임인 정지 영상을 추출한다. 그리고 제어부(100)는 추출된 정지 영상을 문자 인식 기능을 통해 문자 데이터로 변환하도록 제어한다. 이와 같이 문자 인식 번역 모드에서의 번역 기능은 제어부(100)가 문자 인식 기능을 통해 변환된 문자 데이터를 번역 언어용 데이터 베이스를 저장하는 메모리부(190)를 이용하여 번역하여 그 결과를 표시부(150)를 통해 출력함으로써 이루어진다. On the other hand, when the character recognition translation mode is selected, the controller 100 drives the camera 180 of the camcorder function. In addition, the controller 100 receives an English text image captured by the user through the moving key from the camera 180 of the camcorder function. Since the captured English text image is a video captured in real time, the controller 100 extracts a still image, which is one frame of the video video frame, to recognize a sentence of the English text image as text data. The controller 100 controls to convert the extracted still image into text data through a text recognition function. As described above, in the text recognition translation mode, the translation function of the control unit 100 translates the text data converted through the text recognition function using the memory unit 190 that stores the database for the translation language, and displays the result. By outputting

전술한 바와 같이 본 발명의 실시 예에 따라 제어부(100)는 캠코더 기능의 카메라(180)를 통해 사용자로부터 영문장 영상 촬영을 위한 폭조절이 이루어질 때마다 촬영된 동영상 비디오 프레임의 한 프레임씩 계속적으로 추출하고, 추출된 영문장 영상을 문자 인식 기능을 통해 문자 데이터로 실시간으로 변환하고, 변환된 문자 데이터를 번역 기능 데이터 베이스를 저장하는 메모리부(190)를 이용하여 번역하여 그 결과인 번역된 문장을 표시부(150)를 통해 출력한다.As described above, according to an exemplary embodiment of the present invention, the controller 100 continuously performs one frame of the video video frame that is photographed every time the width control for photographing the English text is made from the user through the camera 180 of the camcorder function. The extracted sentences are converted into text data in real time through a text recognition function, and the translated texts are translated using a memory unit 190 that stores a translation function database. It is output through the display unit 150.

그리고 RF모듈(120)은 안테나(ANT)를 통해 기지국과 RF신호를 송/수신하는데, 수신되는 RF신호를 IF(Intermediate Frequency)신호로 변환하여 베이스밴드 처리부(110)로 출력하고, 베이스밴드 처리부(110)로부터 입력하는 IF신호를 RF신호로 변환하여 송신한다. 여기서 베이스밴드 처리부(110)는 제어부(100)와 RF모듈 (120)간의 인터페이스를 제공하는 BAA(Baseband Analog ASIC)로서, 제어부(100)로부터 인가되는 베이스밴드의 디지털신호를 아날로그 IF신호로 변환하여 RF모듈(120)에 인가하며, RF모듈(120)로부터 인가되는 아날로그 IF신호를 베이스밴드의 디지털신호로 변환하여 제어부(100)에 인가한다. 그리고 제어부(100)와 연결된 음성처리부(Voiceband Signal Processor)(130)는 스피커(SPK)(140) 및 마이크로폰(MIC)(170)과 접속되며, 마이크로폰(MIC)(170)으로부터 수신되는 음성신호를 데이터화하여 제어부(100)로 출력하고, 제어부(100)로부터 입력되는 음성데이터를 스피커(SPK)(140)를 통해 가청음으로 변환하여 출력한다. 특히 본 발명의 실시 예에 따라 스피커(140)는 제어부(100)의 제어하에 사용자로부터 번역된 문장의 발음 청취를 위한 키입력이 있으면 번역된 문장에 해당하는 발음을 출력한다. 또한 본 발명의 다른 실시 예에 따라 외국어 발음 학습이 가능하도록 번역하고자 입력한 영문장의 발음 청취를 위한 키입력이 있으면 영문장에 해당하는 발음을 출력한다.The RF module 120 transmits / receives an RF signal with a base station through an antenna ANT. The RF module 120 converts the received RF signal into an IF (Intermediate Frequency) signal and outputs it to the baseband processor 110. The baseband processor The IF signal input from 110 is converted into an RF signal and transmitted. The baseband processor 110 is a baseband analog ASIC (BAA) that provides an interface between the controller 100 and the RF module 120. The baseband processor 110 converts a baseband digital signal applied from the controller 100 into an analog IF signal. Applied to the RF module 120, and converts the analog IF signal applied from the RF module 120 to a digital signal of the baseband and applied to the control unit 100. The voice signal processor 130 connected to the controller 100 is connected to a speaker (SPK) 140 and a microphone (MIC) 170, and receives a voice signal received from the microphone (MIC) 170. Data is output to the controller 100, and the voice data input from the controller 100 is converted into an audible sound through the speaker (SPK) 140 and output. In particular, if there is a key input for listening to pronunciation of the translated sentence from the user under the control of the controller 100, the speaker 140 outputs a pronunciation corresponding to the translated sentence. In addition, according to another embodiment of the present invention, if there is a key input for listening to the pronunciation of the English text inputted for translation so that foreign language pronunciation learning can be performed, the pronunciation corresponding to the English text is output.

그리고 표시부(150)는 제어부(100)의 제어에 따라 각종 정보 및 이동 통신 단말기의 상태를 표시한다. 또한, 표시부(150)는 제어부(100)의 제어하에 본 발명의 실시 예에 따라 사용자에 의해 영한 번역 선택 모드로 전환시 선택 가능한 번역 모드들의 항목을 표시한다. 그리고 표시부(150)는 제어부(100)의 제어하에 영문장의 번역 결과로 번역된 문장을 표시한다.The display unit 150 displays various types of information and the state of the mobile communication terminal under the control of the controller 100. In addition, the display unit 150 displays items of translation modes that can be selected when the user switches to the English translation selection mode by the user under the control of the control unit 100. In addition, the display unit 150 displays the sentence translated as the translation result of the English text under the control of the controller 100.

그리고 키입력부(160)는 숫자키들을 포함한 각종 키들을 구비하여 사용자에 의해 입력되는 키입력 데이터를 제어부(100)에 제공한다. 또한 제어부(100)와 연결되는 카메라(180)는 캠코더 기능을 구비하며, 실시간으로 동영상 데이터를 입력받는다. 특히, 본 발명의 실시 예에 따라 카메라(180)는 번역하고자 하는 영문장 영상에 대한 데이터를 입력받는다.In addition, the key input unit 160 includes various keys including numeric keys to provide the control unit 100 with key input data input by the user. In addition, the camera 180 connected to the controller 100 has a camcorder function and receives video data in real time. In particular, according to an embodiment of the present invention, the camera 180 receives data about an English-language image to be translated.

그리고 제어부(100)와 연결되는 메모리부(190)는 이동 통신 단말기의 동작 제어 시 필요한 다수의 프로그램과 정보를 저장하기 위한 롬(ROM : Read Only Memory) 및 램(RAM : Random Access Memory), 음성 메모리 등으로 이루어진다. 또한 본 발명의 실시 예에 따라 메모리부(190)는 제어부(100)의 제어에 따라 사용자에 의해 촬영된 동영상 비디오 프레임의 한 프레임에 해당하는 영문장 영상 데이터와 번역 기능을 수행하기 위한 번역 언어 데이터베이스를 저장하고 있다. In addition, the memory unit 190 connected to the control unit 100 includes a read only memory (ROM), a random access memory (RAM), and a voice for storing a plurality of programs and information necessary for controlling the operation of the mobile communication terminal. Memory, etc. In addition, according to an embodiment of the present invention, the memory unit 190 is a translation language database for performing a translation function and the English text image data corresponding to one frame of the video frame video taken by the user under the control of the controller 100 Is saving.

이어, 이러한 영한 번역 기능을 수행하기 위한 이동 통신 단말기의 제어 과정은 도 3을 참조하여 설명한다. 도 3은 본 발명의 실시 예에 따른 영한 번역 기능을 수행하기 위한 이동 통신 단말기의 제어흐름도이다. Next, a control process of the mobile communication terminal for performing the English-Korean translation function will be described with reference to FIG. 3. 3 is a control flowchart of a mobile communication terminal for performing an English-English translation function according to an embodiment of the present invention.

먼저 제어부(100)는 (300)단계에서 현재 이동 통신 단말기의 모드를 영한 번역 선택 모드로 전환하는 사용자로부터의 키입력에 따라 영한 번역 선택 모드를 수행한다. 그리고 제어부(100)는 영한 번역 선택 모드를 수행함에 따라 (305)단계로 진행하여 선택 가능한 영한 번역 모드들의 항목을 도 4(a) 및 도 5(a)에 도시된 바와 같이 표시부(150)를 통해 표시한다. 여기서 제어부(100)는 표시된 번역 모드 항목들 중 사용자로부터 어느 하나의 선택을 위한 키입력이 있는지 판단한다. 이 때 제어부(100)는 (310)단계에서 사용자로부터 선택된 영한 번역 모드가 문자 인식 기능의 영한 번역 모드인지의 여부를 판단한다. First, in step 300, the control unit 100 performs the English-English translation selection mode according to a key input from a user who switches the mode of the current mobile communication terminal to the English-English translation selection mode. In addition, as the controller 100 performs the English-Korean translation selection mode, the controller 100 proceeds to step 305 to display the items of the selectable English-Korean translation modes as shown in FIGS. 4A and 5A. Display through. Herein, the controller 100 determines whether there is a key input for selecting one of the displayed translation mode items from the user. At this time, the control unit 100 determines whether the English-Korean translation mode selected by the user in step 310 is the English-Korean translation mode of the character recognition function.

만약 선택된 영한 번역 모드가 문자 인식 기능의 영한 번역 모드인 경우 제어부(100)는 (315)단계로 진행하여 문자 인식 영한 번역 모드에 따른 해당 기능을 수행하고, 선택된 영한 번역 모드가 문자 인식 영한 번역 모드가 아닌 경우 제어부(100)는 (345)단계로 진행하여 사용자에 의해 일반 영한 번역 모드가 선택되었는지의 여부를 판단한다. 여기서 일반 영한 번역 모드란 일반적인 키입력을 통한 번역 기능을 수행하는 모드를 말하며, 문자 인식 영한 번역 모드란 캠코더 기능의 카메라로부터 입력된 영상을 문자 데이터로 변환시키는 문자 인식 기능을 통한 번역 기능의 수행하는 모드를 말한다.If the selected English-Korean translation mode is the English-Korean translation mode of the character recognition function, the control unit 100 proceeds to step 315 to perform the corresponding function according to the text recognition English-Korean translation mode, and the selected English-Korean translation mode is the character recognition English-Korean translation mode. If not, the control unit 100 proceeds to step 345 to determine whether or not the general English translation mode is selected by the user. Here, the general English-Korean translation mode refers to a mode for performing a translation function through a general key input, and the character recognition English-Korean translation mode refers to a translation function through a text recognition function for converting an image input from a camera of a camcorder function into text data. Say the mode.

먼저 선택된 영한 번역 모드가 문자 인식 영한 번역 모드가 아닌 경우를 살펴보면, 제어부(100)는 (345)단계로 진행하여 사용자에 의해 일반 영한 번역 모드가 선택되었는지의 여부를 판단한다. 만약 도 4(a)와 같이 도시된 바와 같이 사용자에 의해 일반 영한 번역 모드가 선택된 경우, 제어부(100)는 (350)단계에서 사용자의 선택에 의해 도 4(b)에 도시된 바와 같은 화면을 통해 사용자로부터 직접 번역하고자 하는 영문장을 입력받거나 미리 다운로드 받은 번역할 영문장을 메모리부(190)로부터 로드한다. 이와 같이 사용자로부터 입력된 영문장 또는 메모리부(190)로부터 로드한 영문장을 화면에 표시한다. 다시 말하면, 일반 영한 번역 모드에서의 번역할 영문장은 사용자로부터 키입력부(160)를 통해 직접 입력되거나 미리 다운로드 받아 저장되어 있는 메모리부(190)로부터 로드된다. First, when the selected English-Korean translation mode is not the character recognition English-Korean translation mode, the control unit 100 proceeds to step 345 to determine whether the general English-Korean translation mode is selected by the user. If the general English-English translation mode is selected by the user as shown in FIG. 4 (a), the control unit 100 displays the screen as shown in FIG. 4 (b) by the user's selection in step 350. The English text to be translated directly from the user is input or the English text to be translated is downloaded from the memory unit 190. In this way, the English text input from the user or the English text loaded from the memory unit 190 is displayed on the screen. In other words, the English text to be translated in the general English-Korean translation mode is loaded directly from the memory 190 which is directly input from the user through the key input unit 160 or downloaded and stored in advance.

이어, 제어부(100)는 사용자로부터 번역하고자 하는 영문장의 입력을 완료하여 번역 기능을 구동하기 위한 도 4(b)에 도시된 바와 같은 “확인”키 등의 소프트 키입력이 있는지 판단한다. 또는 메모리부(190)로부터 영문장을 로드하여 번역 기능을 구동하기 위한 소정의 키입력이 있는지 판단한다. 이러한 키입력을 통해 제어부(100)는 (355)단계에서 입력된 또는 로드된 영문장의 번역 기능 구동을 위한 소정의 키입력이 있는지 판단한다. 그리고나서 제어부(100)는 (360)단계로 진행하여 인식된 영문장에 따라 번역 언어 데이터베이스를 저장하고 있는 메모리부(190)를 검색하고, 그 결과로 번역된 문장을 표시한다. Subsequently, the controller 100 determines whether there is a soft key input such as a “confirmation” key as shown in FIG. 4 (b) for driving the translation function by completing the input of the English text to be translated from the user. Alternatively, it is determined whether there is a predetermined key input for driving the translation function by loading the English text from the memory 190. Through such key input, the controller 100 determines whether there is a predetermined key input for driving the translation function of the English text input or loaded in operation 355. Then, the control unit 100 proceeds to step 360 to search the memory unit 190 storing the translation language database according to the recognized English text, and displays the translated sentences as a result.

한편, 도 5(a)에 도시된 바와 같이 선택된 영한 번역 모드가 문자 인식 영한 번역 모드인 경우를 살펴보면, 제어부(100)는 (315)단계로 진행하여 캠코더 기능의 카메라(180)를 이용하여 도 5(b)에 도시된 바와 같이 번역하고자 하는 영문장 영상을 촬영하기 위한 메뉴 화면을 표시한다. 그리고 제어부(100)는 (320)단계로 진행하여 번역하고자 하는 영문장 영상의 정교한 인식을 위해 도 5(b)에 도시된 바와 같이 사용자로부터 이동키 등을 통해 상하/좌우폭을 조절받는다. Meanwhile, referring to the case where the selected English-Korean translation mode is the character recognition English-Korean translation mode as shown in FIG. 5 (a), the control unit 100 proceeds to step 315 using the camera 180 of the camcorder function. As shown in 5 (b), a menu screen for capturing an English text image to be translated is displayed. In addition, the control unit 100 proceeds to step 320 to adjust the upper / lower / left / right widths by moving keys, etc., from the user, as illustrated in FIG. 5 (b) for precise recognition of the English text image to be translated.

여기서 제어부(100)는 (325)단계로 진행하여 사용자에 의해 폭 조절된 영문장 영상만을 문자 데이터로 인식하기 위해 캠코더 기능의 카메라(180)를 통해 실시간으로 촬영되는 동영상 비디오 프레임의 한 프레임만을 추출한다. 그리고나서 제어부(100)는 (330)단계로 진행하여 추출할 영문장 영상이 더 있는지를 묻는 메시지를 표시한다. 이때 만약 사용자로부터 추출할 영문장 영상이 더 있다는 선택에 해당하는 소정의 키입력이 있는 경우 추출한 영문장 영상을 임시로 메모리부(190)에 저장하고, 다시 (320)단계로 되돌아가 앞서 촬영한 영문장 영상에 이어서 해당 영문장 영상을 추출하는 과정을 반복한다. 그리고나서 사용자로부터 영문장 영상 추출을 완료하는 소정의 키입력이 있는 경우 제어부(100)는 (335)단계로 진행하여 추출되어 메모리부(190)에 임시로 저장되어 있는 여러 개의 비디오 프레임을 하나의 영상으로 재조합한다. 그리고 제어부(100)는 (340)단계로 진행하여 재조합된 영문장 영상을 문자 인식 기능을 이용해 문자 데이터로 변환하여 번역하고자 하는 문장으로 인식한다.In this case, the control unit 100 proceeds to step 325 and extracts only one frame of a video video frame captured in real time through the camera 180 of the camcorder function in order to recognize only the English text image adjusted by the user as text data. do. Then, the control unit 100 proceeds to step 330 and displays a message asking whether there are more English text images to extract. At this time, if there is a predetermined key input corresponding to the selection that there are more English text images to be extracted from the user, the extracted English text images are temporarily stored in the memory unit 190, and the process returns to step 320 again to capture the previous images. Following the English text image, the process of extracting the English text image is repeated. Then, when there is a predetermined key input to complete the extraction of the English text image from the user, the control unit 100 proceeds to step 335 to extract a plurality of video frames temporarily stored in the memory unit 190 as one. Recombine to the image. In operation 340, the controller 100 converts the recombined English text image into text data using a text recognition function to recognize the text to be translated.

이와 같이 영문장 영상을 문장으로 인식하고 난 후, 제어부(100)는 사용자로부터 영한 번역 기능의 구동을 위한 도 5(b)에 도시된 “번역”에 해당하는 소정의 키입력이 있는지 판단한다. 여기서 영한 번역 구동을 위한 소정의 키입력이 있는 경우 제어부(100)는 (360)단계로 진행하여 번역 언어 데이터베이스를 저장하고 있는 메모리부(190)내의 문자와 대비하여 번역할 문장 내의 문자가 어떠한 문자에 해당되는지를 인식한 후 번역할 문장내의 문자가 어떠한 의미를 가지고 있는지를 확인한다. 이와 같이 번역할 문장을 번역 기능 데이터 베이스를 저장하는 메모리부(190)내의 번역 언어와 대비하여 번역 데이터로 번역하여 그 결과를 표시부(150)를 통해 출력함으로써 이루어진다.After recognizing the English text image as a sentence as described above, the controller 100 determines whether there is a predetermined key input corresponding to "translation" shown in FIG. 5 (b) for driving the English-English translation function from the user. In this case, when there is a predetermined key input for driving the English-Korean translation, the control unit 100 proceeds to step 360 and the character in the sentence to be translated is compared to the character in the memory unit 190 storing the translation language database. After recognizing that the word is true, it checks what the characters in the sentence to translate have. In this way, the sentence to be translated is translated into translation data in preparation for the translation language in the memory unit 190 storing the translation function database, and the result is output through the display unit 150.

한편, 본 발명의 실시 예에 따른 이동 통신 단말기는 부가적인 특징으로 발음 청취 기능을 제공한다. 따라서, 제어부(100)는 도 4(b) 및 도 5(b)에 도시된 바와 같이 번역된 문장을 표시하고 난 후, (365)단계로 진행하여 사용자로부터 발음 청취를 위한 도 4(b) 및 도 5(b)에 도시된 “발음”에 해당하는 소프트 키와 같은 소정의 키입력이 있는지 판단한다. 만약 사용자로부터 발음 청취를 위한 소정의 키입력이 있는 경우 제어부(100)는 (370)단계로 진행하여 메모리부(190)로부터 영문장의 발음 정보를 추출하여 이를 음성신호로 변환하여 스피커(140)로 출력한다. 이와 같은 발음 청취 기능은 사용자로 하여금 영문장에 대한 원어민 발음 청취를 가능하게 하거나 번역된 문장을 구술하는 발음 청취를 가능하게 하기 위한 것으로 사용자의 필요에 따라 선택적으로 호출하여 청취하도록 하는 것이다.On the other hand, the mobile communication terminal according to an embodiment of the present invention provides a pronunciation listening function as an additional feature. Therefore, the controller 100 displays the translated sentences as shown in FIGS. 4 (b) and 5 (b), and then proceeds to step 365 to listen to the user's pronunciation in FIG. 4 (b). And it is determined whether there is a predetermined key input, such as a soft key corresponding to the "pronounced" shown in Figure 5 (b). If there is a predetermined key input for the user to listen to the pronunciation, the control unit 100 proceeds to step 370 to extract the pronunciation information of the English text from the memory unit 190 and converts it into a voice signal to the speaker 140. Output The pronunciation listening function is to allow the user to listen to a native speaker's pronunciation of the English text or to listen to a pronunciation dictating the translated sentence.

특히 본 발명의 실시 예에 따라 이동 통신 단말기에서 사용자로 하여금 번역된 문장을 단문 메시지 서비스(SMS :Short Message Service)를 이용하여 다른 이동 통신 단말기 또는 단문 메시지 서비스를 제공하는 해당 웹사이트로 전송할 수 있도록 한다. 또한, 외국어 학습 차원에서 사용자로 하여금 인식된 영문장의 발음을 음성 사서함을 이용하여 자신의 음성 사서함으로 전송할 수 있도록 한다. In particular, according to an embodiment of the present invention, a user may transmit a translated sentence to another mobile communication terminal or a corresponding web site providing a short message service by using a short message service (SMS). do. In addition, in order to learn a foreign language, a user can transmit a pronunciation of a recognized English sentence to his or her own voice mailbox using a voice mailbox.

상술한 바와 같이 본 발명은 항상 휴대하고 다니는 이동 통신 단말기의 메모리부에 번역 언어용 데이터베이스를 구축한 것으로서 이동 통신 단말기의 기본 기능 이외에 사용자가 캠코더 기능의 카메라를 통해 입력한 영문장에 대한 내용을 표시할 수 있도록 한 영한 번역 기능을 구현함으로써 별도로 번역 장치를 소지하지 않아도 되는 효과가 있다. 또한, 본 발명은 이동 통신 단말기에 구비된 캠코더 기능의 카메라를 이용함으로써 문자 데이터의 입력이 용이하게 이루어지도록 함으로써 사용상의 편의성을 향상시킬 수 있는 효과가 있다. As described above, the present invention builds a database for translation languages in a memory unit of a mobile communication terminal that is always carried, and displays contents of an English text input by a user of a camcorder function in addition to the basic function of the mobile communication terminal. By implementing the English-Korean translation function, the user does not need to have a translation device. In addition, the present invention has an effect that it is possible to improve the ease of use by making it easy to input text data by using a camera of the camcorder function provided in the mobile communication terminal.

도 1은 본 발명의 실시 예에 따른 캠코더 기능의 카메라를 장착한 이동 통신 단말기의 사시도,1 is a perspective view of a mobile communication terminal equipped with a camera function of a camcorder according to an embodiment of the present invention;

도 2는 본 발명의 실시 예에 따른 이동 통신 단말기의 내부 구성 블록도,2 is a block diagram illustrating an internal configuration of a mobile communication terminal according to an embodiment of the present invention;

도 3은 본 발명의 실시 예에 따른 영한 번역 기능을 수행하기 위한 이동 통신 단말기의 제어흐름도,3 is a control flowchart of a mobile communication terminal for performing an English-Korean translation function according to an embodiment of the present invention;

도 4는 본 발명의 실시 예에 따른 일반 영한 번역 모드를 선택할 경우 화면 예시도,4 is an exemplary screen when a general English-Korean translation mode is selected according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따른 문자 인식 기능의 영한 번역 모드를 선택할 경우 화면 예시도.5 is an exemplary view of the screen when selecting the English-English translation mode of the character recognition function according to an embodiment of the present invention.

Claims

A method of implementing a translation function in a mobile communication terminal equipped with a camera having a camcorder function,

Displaying a screen for adjusting a region setting for driving a camera of the camcorder function and extracting a sentence image to be translated when the user selects a translation mode using a character recognition function;

Extracting one frame to recognize a sentence of the moving picture video frame displayed through the screen while displaying the moving picture frame photographed by the camera on the screen;

Converting the extracted sentence image into text data using a character recognition function, translating the converted text data using a database for translation language, and displaying the result .

The method of claim 1, wherein the extraction process,

Adjusting the upper, lower, left, and right widths through a predetermined key input for precise photographing of the sentence image from the user;

And extracting a sentence image when a region setting for extracting a sentence image to be translated is made according to the adjustment from the user.

The method of claim 1, wherein the displaying process comprises:

Displaying the translated sentence when there is translation language information about the text data as a result of the search;

Determining whether there is a key input for outputting a pronunciation of the text data from the user;

And converting the pronunciation information of the text data into a voice signal and outputting it to a speaker when there is a key input for outputting the pronunciation.

The method of claim 1,

Transmitting the pronunciation information of the text data to a voice mailbox;

Translating the converted text data and transmitting the result using a short message service.