KR20050106588A

KR20050106588A - The electronic dictionary pmp of image processing by digital camera

Info

Publication number: KR20050106588A
Application number: KR1020050098884A
Authority: KR
Inventors: 안성준
Original assignee: 안성준
Priority date: 2005-10-20
Filing date: 2005-10-20
Publication date: 2005-11-10
Also published as: KR100746755B1

Abstract

본 발명은 문자 인식 기능을 통해 전자사전 기능을 갖는 Portable Multimedia Player (이하 PMP) 및 그 제어 방법에 관한 것입니다.The present invention relates to a portable multimedia player (hereinafter referred to as PMP) having an electronic dictionary function through a character recognition function and a control method thereof.

접사(接寫)가 가능한 디지털 카메라가 장착된 PMP로 영상을 촬영하여 이를 문자로 처리하는 문자 인식 어플리케이션 알고리즘을 내장하고, 상기 인식된 문자와 PMP 의 특정 메모리에 상주해 있는 사전(辭典)의 DataBase (이하 DB)를 비교 검색하여 그 올바른 값을 표시 부를 통해 출력해 주는 것을 특징으로 합니다. 또한 상기 문자 인식 알고리즘에서 문자 인식률을 높이기 위해 여백을 기준으로 단어 단위로 자동 구분하여 부분 촬영하는 알고리즘과 상기 알고리즘이 특정 단축키 입력에 의해 다중 작업(이하 멀티 테스킹)으로 동작하는 알고리즘을 특징으로 합니다.A built-in character recognition application algorithm that captures an image with a PMP equipped with a close-up digital camera and processes it into a character, and has a dictionary DataBase resident in a specific memory of the recognized character and the PMP. It compares and searches (DB) and prints out the correct value through the display. In addition, the character recognition algorithm is characterized by an algorithm that automatically photographs and partially photographs by word based on margins to increase the character recognition rate, and the algorithm operates by multi-tasking (hereinafter referred to as multi-tasking) by inputting a specific shortcut key. .

따라서 본 발명을 통하여 PMP로 음악 및 영상을 감상하다가 전자사전 모드 키를 입력하여 디지털 카메라로 피사체의 글자를 비추면, 이를 분석하여 내장된 사전의 정보로 표시해 줄 수가 있어 외국어 단어 등 어학을 공부할 때 매우 유용하게 사용 할 수 있습니다.Therefore, while listening to music and video on the PMP through the present invention by inputting the electronic dictionary mode key to illuminate the letters of the subject with a digital camera, it can be analyzed and displayed as information of the built-in dictionary when studying a language, such as foreign language words Very useful to use.

Description

P.M.P having electronic dictionary function through character recognition and its control method {The Electronic dictionary PMP of image processing by Digital camera}

본 발명은 디지털 카메라(CCD 또는 CMOS 방식 등의 디지털 이지지 캡쳐 장치)가 구비되어 이에 의해 촬영된 영상을 문자로 인식시키고 이를 사전의 DB 와 연동시켜 전자사전 기능을 갖는 PMP에 관한 것입니다. The present invention relates to a PMP equipped with a digital camera (a digital easy capture device such as a CCD or CMOS method) to recognize the image taken by the character and interlocked with the DB of the dictionary to have an electronic dictionary function.

PMP 라 함은 Portable Multimedia Player 의 약자로 MPEG 압축 기반의 MP3음악에서 이미지 및 동영상 컨텐츠까지 이르는 다양한 멀티미디어파일들을 휴대하면서 재생시킬 수 있는 기기를 말합니다. 이러한 기기는 특히 젊은 층이 휴대폰 다음으로 많이 휴대하는 것으로 점차 다양한 부가 기능 등이 첨가되다 보니 임베디드 시스템(CPU , 메모리 , 보조 기억 장치 , 기타 주변기기 등으로 구성되며 이하 자세한 설명 생략) 기반으로 설계되어 다중 작업(이하 멀티 테스킹)이 가능해 지고 있습니다. 이러한 점을 이용하여 자판을 구비한 전자 사전이 휴대용 MP3 플레이어와 컨버젼(conversion) 되는 형태를 지향하기도 하고, 다양한 멀티미디어 파일을 재생할 수 있게 OS 기반의 PDA 형태를 취하여 사전 기능을 내장하고 있는 기기도 있습니다. PMP stands for Portable Multimedia Player and is a device that can play and play various multimedia files ranging from MPEG compression based MP3 music to image and video contents. These devices are designed to be based on embedded systems (composed of CPU, memory, auxiliary memory, and other peripherals, and will not be described in detail below). Work (hereinafter multitasking) is enabled. In this way, the electronic dictionary equipped with keyboard is aimed to be converted into a portable MP3 player, and some devices have a built-in dictionary function by taking an OS-based PDA to play various multimedia files. .

하지만 이러한 기기들에서 어학 학습을 위해 사전 기능을 구현하려면 기본적으로 자판을 통해 문자를 입력시킨 후 그것을 사전 DB 와 비교하여 올바른 값을 표시부에 호출하는 형태를 취해야 하므로 사용자가 단어를 일일이 타이핑하기란 여간 불편한게 아닙니다. 이를 개선하기 위한 여러 가지 시도가 있는데 앞서 출원 등록된 특허를 통해 언급하고 문제점을 분석하면 다음과 같습니다. However, in order to implement a dictionary function for language learning in these devices, the user basically inputs a character through a keyboard and compares it with the dictionary DB, and calls the correct value on the display part. It's not uncomfortable. There are several attempts to improve this. The above-mentioned patents are mentioned and analyzed.

특허 출원 10-2000-0079202 와 특허 출원 10-2002-0008597 에서는 기본 구비되거나 부착할 수 있는 스캐너를 통해 이동 통신 단말기(이하 휴대폰)에 문자를 인식시킨 후 메모리에 내장된 전자사전 기능을 구현함으로써 타이핑의 번거로움을 해결하고 있으며, 특허 출원 10-2003-0078160 은 기존의 휴대폰에 국한된 상기 기능을 음악 감상용 단말기에 접목시키고자 하였습니다. 하지만 스캐너라는 센서는 일정한 스피드와 방향으로 피사체를 훑어내려 가야되는데 손에 들고다니는 휴대용 기기의 경우 구동부가 스테핑 모터가 아닌 사람의 손이므로 정밀 스캐닝(scanning)이 힘들기 때문에 오류가 많이 발생하게 됩니다. 따라서 문자 인식률이 현저히 떨어지고 스캐닝 센서 부 보다 큰 다양한 크기의 글자인 경우엔 부적합하게 됩니다.In patent application 10-2000-0079202 and patent application 10-2002-0008597, a character is recognized in a mobile communication terminal (hereinafter referred to as a mobile phone) through a scanner that can be installed or attached, and then implemented by implementing an electronic dictionary function embedded in a memory. The patent application 10-2003-0078160 attempts to integrate the above functions limited to the existing mobile phone to the terminal for listening to music. However, a sensor called a scanner needs to sweep the subject at a constant speed and direction. In the case of a handheld device, the driving part is not a stepping motor but a person's hand. Therefore, a lot of errors occur because precision scanning is difficult. As a result, the character recognition rate drops considerably and is unsuitable for characters of various sizes larger than the scanning sensor.

또한 특허 출원 10-2002-0056958에서는 휴대폰 문자 인식 장치에 있어서, 장착된 디지털 카메라를 이용하여 문자를 입력하는 것을 특징으로 하고 있으며, 이를 이용하여 전자 명함 첩 등을 예로 들고 있습니다. 하지만 디지털 카메라가 장착된 이동 통신 단말기와 PDA에 국한시키고 있고, 촬영된 피사체에 적혀 있는 모든 문자를 기존의 프로그램되어 있는 문자 정보와 매칭(matching)시킬 경우 가독성이 현저히 떨어지고, 특히 문자일 경우 이름 등으로 인식하고 숫자는 전화 번호 등으로 판단하는 단계를 특징으로 하는 것은 본 발명과의 제어 방법 및 용도와 다릅니다. In addition, the patent application 10-2002-0056958 is characterized in that the character input device using a digital camera in the mobile phone character recognition device, using the electronic business card book, etc. are used as an example. However, it is limited to mobile communication terminals and PDAs equipped with digital cameras, and when all the characters written on the photographed subjects are matched with the existing programmed character information, readability is remarkably reduced, especially in case of characters, names, etc. It is different from the control method and use with the present invention characterized by the step of recognizing and determining the number as a telephone number.

본 발명은 상기와 같은 불편함을 해결하고 휴대하기 편하면서도 사용자가 원하는 단어를 빠른 문자 인식 방법을 통해 PMP에서 전자 사전 기능을 구현하는 것을 특징으로 합니다.The present invention is characterized in that the electronic dictionary function is implemented in the PMP through the quick character recognition method to solve the inconveniences and easy to carry while the user wants words.

특히 멀티미디어 감상 시에 전자 사전 기능을 멀티 테스킹으로 수행할 수 있는 것과 상기 인식된 문자를 사전 특성에 맞게 단어 단위로 구분하여 부분 촬영을 통해 문자 인식률을 높이고 이를 정확히 매칭시키는 방법을 통해 더욱 편리하고 빠른 PMP 전자사전 기능을 제공하는데 있습니다. In particular, it is more convenient to perform the electronic dictionary function by multi-tasking while watching multimedia, and to classify the recognized characters into word units according to the characteristics of the dictionary to increase the character recognition rate and accurately match them by partial photographing. It is to provide fast PMP electronic dictionary function.

본 발명이 상기와 같은 목적을 달성하기 위하여 디지털 카메라가 장착된 PMP로 영상을 촬영하여 이를 문자로 처리하는 문자 인식 알고리즘을 내장하고, 상기 인식된 문자와 PMP의 특정 메모리에 상주해 있는 사전(辭典)의 DB를 비교 검색하여 그 올바른 값을 표시부를 통해 출력해 주는 것을 특징으로 합니다. 또한 상기 문자 인식 알고리즘에서 문자 인식률을 높이기 위해 여백을 기준으로 단어 단위로 자동 구분하여 부분 촬영하는 알고리즘과 상기 알고리즘이 특정 단축키 입력에 의해 멀티 테스킹으로 동작하는 알고리즘을 특징으로 합니다.In order to achieve the above object, the present invention incorporates a character recognition algorithm for capturing an image with a PMP equipped with a digital camera and processing the image into a character, and residing in a specific memory of the recognized character and the PMP. Compare and search the DB of) and output the correct value through the display. In addition, the character recognition algorithm is characterized by an algorithm that automatically divides by part of word based on margins to increase the character recognition rate, and the algorithm operates by multi-tasking by inputting a specific shortcut key.

본 발명의 상세 설명을 돕기 위해 첨부한 각 도면의 설명은 다음과 같습니다.Description of the accompanying drawings to help explain the present invention in detail.

먼저 도 1은 본 발명의 일실시 예에 따른 전체적인 흐름의 순서도 이며, 각 구성에 대해 설명하면 다음과 같습니다. (101)은 본 발명을 수행하기 위한 단축키 입력 단계 , (102)는 본 발명을 수행할 총체적인 알고리즘이 내장된 전자사전 어플리케이션(프로그램) 호출 단계 , (103)은 근접 촬영하기 위한 카메라 접사 모드 조정 단계 , (104)는 해상도를 높이기 위한 피사체 포커싱 , (105)는 여백을 기준으로 단어를 구분 하는 단계 , (106) 해당 이미지 촬영 , (107)은 문자 인식 알고리즘에 의해 이미지의 문자를 인식하는 단계 , (108)은 인식된 텍스트 문자를 사전 DB 와 매칭 하는 단계 , (109)는 LCD(Liquid Crystal Display) 등의 표시 부에 올바른 값을 출력하는 단계 등으로 구성됩니다.First, Figure 1 is a flow chart of the overall flow according to an embodiment of the present invention, each configuration will be described as follows. Reference numeral 101 denotes a shortcut key input step for carrying out the present invention, 102 an electronic dictionary application (program) call step incorporating a comprehensive algorithm for carrying out the present invention, and 103 a camera macro mode adjustment step for close-up photography. , 104, focusing on a subject to increase resolution, 105, dividing words based on a margin, 106, capturing an image, 107, recognizing characters of an image by a character recognition algorithm, (108) consists of matching the recognized text characters with the dictionary DB, and (109) consists of outputting the correct value to the display part such as liquid crystal display (LCD).

도 2는 도 1의 (105) 단계 알고리즘이 수행되는 것을 설명하기 위한 일실시 예를 도시한 것이며, 각 구성에 대해 설명하면 다음과 같습니다. (201)은 디지털 카메라로 입력하고자 하는 단어의 일부에 포커싱하는 단편적인 모습 , (202)는 LCD 화면 , (203)은 단어와 단어 사이의 여백을 구분하는 상,하,좌,우 등의 기준 선의 모습 등으로 구성됩니다.FIG. 2 illustrates an embodiment for explaining that the step 105 algorithm of FIG. 1 is performed, and each configuration will be described below. 201 is a fragmentary figure focusing on a part of a word to be input by a digital camera, 202 is an LCD screen, and 203 is a criterion of up, down, left, right to distinguish a space between words. It consists of the appearance of lines, etc.

본 발명의 바람직한 일실시 예를 첨부한 도면 도 1, 도 2 에서 나열한 구성원들을 각각 연계하여 상세히 설명하면 다음과 같습니다. 1 and 2 attached to the preferred embodiment of the present invention will be described in detail with reference to each of the members listed in FIG.

먼저 PMP로 멀티미디어 파일을 재생하고 있는 것을 도 1의‘시작’으로 가정하겠습니다. 멀티미디어 감상 도중 PMP 에 구비된 특정 단축키 입력(101)을 통해 본 발명의 문자인식에 의한 전자사전 모드로 진행할 총체적인 어플리케이션을 호출(102)하게 됩니다. 이때 재생되던 멀티미디어 파일은 백그라운드에서 지속적으로 수행되는 멀티 테스킹 형태이어야 바람직합니다. 상기 어플리케이션을 호출하면 기 장착된 디지털 카메라가 구동되고 상기 카메라는 근거리 촬영을 위한 접사 모드(103)로 전환하게 됩니다. 이후 사용자가 촬영하고자 하는 피사체의 위치를 포커싱(104)하면, 글자와 글자 사이의 여백을 자동으로 분석하여 이를 기준으로 단어 단위로 구분(105)하게 됩니다. 이 단계는 도 2를 참조하여 더욱 상세히 설명하겠습니다. 일례로 (201)처럼 사용자가 문서상의 'supply' 라는 단어를 포커싱하면 PMP에 구비된 LCD 부(202)에 적당한 크기로 확대되어 실시간으로 표시됩니다. 이때는 원하고자 하는 단어의 길이 및 피사체 포커싱 거리에 따라 크기가 일정하지 않으므로 문자를 정형화되게 구분하기 힘들어 인식이 불가능할 수도 있습니다. 따라서 이를 해결하고자 가운데로 포커싱된 'supply' 단어를 기준으로 글자와 글자 사이에 존재하는 상,하,좌,우 각각의 여백(203)을 분석하여 이를 구분 짓고 나머지 불필요한 영역은 자동으로 초점을 흐리게 하거나 삭제시켜야 바람직합니다. 이는 보통 활자체가 많이 쓰이는 정형화된 문서에서 단어와 단어 사이의 간격에‘공란’을 이용하거나 문장과 문장 사이의 간격에‘개행’을 이용하여 작성하기 때문에 충분히 가능한 원리입니다. 따라서 원래 인식 시키고자 하는 필요한 단어만을 쉽게 구분하여 추출할 수 있게 됩니다. 다시 도 1을 참조하여, 이렇게 구분된 단어를 사용자가 확인한 후 촬영 신호키를 입력하여 이미지를 부분 촬영(106) 하게 됩니다. 촬영된 이미지는 글자 수가 상대적으로 적은 단어이므로 문자 인식률을 현저히 높일 수 있고, 변환 동작을 더욱 빠르게 합니다. 따라서 형태소 분리 등의 다양한 원리에 따라 컴퓨터에서 사용하는 텍스트(Text) 문자로 인식(107) 시키게 됩니다. 이와 같은 문자 인식은 다양한 방법이 있으므로 여기에서는 자세한 설명을 생략하겠습니다. 이와 같이 인식된 문자를 사전 DB 와 매칭(108)을 시켜 해당하는 올바른 값을 LCD등의 표시 부에 출력(109)하게 되면 사용자는 PMP 로 쉽고 빠르게 전자사전 기능을 구현하게 됩니다. 상기 단계 등이 종료되면 다시 백그라운드에서 재생되던 멀티미디어 재생 어플리케이션으로 돌아와야 바람직합니다. First, suppose that the multimedia file is played by PMP. During the multimedia viewing, a specific hotkey input (101) provided in the PMP calls the overall application to proceed to the electronic dictionary mode by the character recognition of the present invention (102). At this time, the multimedia file played should be in the form of multi-tasking that is continuously performed in the background. When the application is called, the pre-installed digital camera is driven and the camera switches to the macro mode 103 for near field shooting. After focusing (104) the position of the subject to be photographed by the user, the margin between letters and letters is automatically analyzed and classified based on the word unit (105). This step will be described in more detail with reference to FIG. For example, if the user focuses on the word 'supply' on the document as shown in (201), it is enlarged to a suitable size on the LCD unit 202 provided in the PMP and displayed in real time. In this case, since the size is not constant according to the length of the word and the focusing distance of the subject, it may be difficult to distinguish the letters in a standardized manner, which may make it impossible to recognize them. Therefore, to solve this problem, it analyzes and separates the margins 203 of each of the letters between letters based on the word 'supply' focused on the center and separates the remaining unnecessary areas automatically. Or delete it. This is usually possible because you use 'blank' for the spacing between words and 'newline' for the spacing between words in sentences. Therefore, you can easily distinguish and extract only the words you want to recognize. Referring back to FIG. 1, the user confirms the words thus divided and enters a photographing signal key to partially photograph the image (106). Since the captured image is a word with a relatively small number of characters, it can significantly increase the character recognition rate and make the conversion operation faster. Therefore, according to various principles such as stemming, it is recognized as text character used in computer (107). Since there are various methods for character recognition like this, detailed descriptions will be omitted here. When the recognized characters are matched with the dictionary DB (108) and the correct value is output (109) on the LCD, the user can easily and quickly implement the electronic dictionary function with PMP. When the above steps are finished, it is desirable to return to the multimedia playback application that was playing in the background.

이상 본 실시 예에서는 회로 구성(Logic Design) 방식에 대해서는 언급하지 않았으나 이는 통상적인 전자회로 구성에서 사용하는 방법이 많아 특화된 것이 아닌 관계로 위에서 제시한 순서도 대로 프로그램이 구현되도록 회로를 구성 할 수 있는 지식을 가진 자는 본 발명의 기술적 사상을 일탈하지 않는 범위에서 누구나 응용 및 수정이 가능합니다. 따라서 , 본 발명의 기술적 범위는 첨부한 도면과 명세서의 상세한 설명에 기재된 내용으로 한정되는 것은 아닙니다.In the present embodiment, the logic design method is not mentioned, but since the method is used in the general electronic circuit configuration, it is not specialized, so the circuit can be configured to implement the program in the above-described flowchart. Anyone having the right to apply and modify can be used without departing from the spirit of the present invention. Therefore, the technical scope of the present invention is not limited to the contents described in the accompanying drawings and the detailed description of the specification.

본 발명은 문자 인식 기능을 통해 전자사전 기능을 갖는 PMP 및 그 제어 방법에 관한 것입니다.The present invention relates to a PMP having an electronic dictionary function through a character recognition function and a control method thereof.

접사(接寫)가 가능한 디지털 카메라가 장착된 PMP로 영상을 촬영하여 이를 문자로 처리하는 문자 인식 알고리즘을 내장하고, 상기 인식된 문자와 PMP 의 특정 메모리에 상주해 있는 사전(辭典)의 DB를 비교 검색하여 그 올바른 값을 표시 부를 통해 출력해 주는 것을 특징으로 합니다. 또한 상기 문자 인식 알고리즘에서 문자 인식률을 높이기 위해 여백을 기준으로 단어 단위로 자동 구분하여 부분 촬영하는 알고리즘과 상기 알고리즘이 특정 단축키 입력에 의해 멀티 테스킹으로 동작하는 알고리즘을 특징으로 합니다.Built-in character recognition algorithm that captures images with a PMP equipped with a close-up digital camera and processes them into characters, and builds a database of the recognized characters and the dictionary that resides in a specific memory of the PMP. Compare and search for the correct value through the display. In addition, the character recognition algorithm is characterized by an algorithm that automatically divides by part of word based on margins to increase the character recognition rate, and the algorithm operates by multi-tasking by inputting a specific shortcut key.

따라서 본 발명을 통하여 PMP로 음악 및 영상을 감상하다가 전자사전 모드 키를 입력하여 디지털 카메라로 피사체의 글자를 비추면, 이를 분석하여 내장된 사전의 정보로 표시해 줄 수가 있어 외국어 단어 등 어학을 공부할 때 매우 유용하게 사용할 수 있습니다.Therefore, while listening to music and video on the PMP through the present invention by inputting the electronic dictionary mode key to illuminate the letters of the subject with a digital camera, it can be analyzed and displayed as information of the built-in dictionary when studying a language, such as foreign language words Very useful.

도 1 은 본 발명의 일실시 예에 따른 전체적인 흐름의 순서도 입니다.1 is a flow chart of the overall flow according to an embodiment of the present invention.

도 2 는 본 발명의 단어 구분 단계의 예를 설명하기 위하여 도시한 것입니다.2 is a diagram illustrating an example of the word division step of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

(101) : 단축키 입력 단계 , (102) : 전자사전 어플리케이션 호출 단계 , (103) : 카메라 접사 모드 단계 , (104) : 피사체 포커싱 , (105) : 단어 구분 단계 , (106) : 이미지 촬영 단계 , (107) : 문자를 인식 단계 , (108) : 사전 DB 와 매칭 단계 , (109) : 표시 부 출력 단계 (101): hotkey input step, (102): electronic dictionary application step, (103): camera macro mode step, (104): subject focusing step, (105): word classification step, (106): image shooting step, (107): character recognition step, 108: dictionary DB and matching step, 109: display unit output step

(201) : 단어 일부를 포커싱하는 모습 , (202) : LCD 화면 , (203) : 여백 기준선 201: Focusing part of a word, 202: LCD screen, 203: Margin baseline

Claims

In the PMP having an electronic dictionary function and the control method through the character recognition function,

Calling the electronic dictionary application with multi-tasking when the PMP inputs a specific hot key provided while playing the multimedia (102);

In step 103, the digital camera is automatically switched to the macro mode in the called electronic dictionary application.

Focusing (104) a subject by the driven digital camera macro mode;

Dividing a word from the focused subject (105);

Photographing an image in units of the separated words (106);

Recognizing the photographed image as text characters for a computer (107);

Matching the recognized word with a dictionary DB (108);

PMP having an electronic dictionary function and a control method through a character recognition function, characterized by outputting the correct information on the matched word to the display unit (109)

The method of claim 1,

The method of distinguishing words from the focused subject includes automatically analyzing top, bottom, left, and right margins based on a character located in the center of the screen;

PMP having an electronic dictionary function and its control method through a character recognition function characterized in that the unnecessary character is automatically excluded from photographing based on the analyzed margin