KR20100114190A - Touch screen string recognition system of camera reflex and the method - Google Patents
Touch screen string recognition system of camera reflex and the method Download PDFInfo
- Publication number
- KR20100114190A KR20100114190A KR1020090032603A KR20090032603A KR20100114190A KR 20100114190 A KR20100114190 A KR 20100114190A KR 1020090032603 A KR1020090032603 A KR 1020090032603A KR 20090032603 A KR20090032603 A KR 20090032603A KR 20100114190 A KR20100114190 A KR 20100114190A
- Authority
- KR
- South Korea
- Prior art keywords
- string
- image
- character
- displaying
- region
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
Abstract
Description
본 발명은 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 촬영된 카메라의 영상을 터치스크린 장치를 이용하여 특정 문자열 위를 손가락으로 문질러 사용자가 인식을 원하는 문자열 위치를 지정하고, 이를 통해 문자열 영역을 추출하여 해당 문자열을 인식하며, 인식된 결과를 다시 촬영된 카메라 영상 위에 디스플레이 하는 기술에 관한 것이다.The present invention relates to a string recognition system and method of a camera image through a touch screen, and more particularly, to a string position desired by a user by rubbing a finger over a specific string using a touch screen device. The present invention relates to a technology for designating a character string, extracting a character string region, recognizing the character string, and displaying the recognized result on the photographed camera image.
카메라를 이용한 문자 입력이란, 카메라를 통해 촬영한 영상에서 나타난 글자를 추출하고 인식한 결과를 입력하는 기법을 일컫는다. 카메라를 이용한 문자 입력은 키보드로 일일이 해당 문자를 지적하지 않아도 된다는 점과, 입력 방법이 단순하여 필요 동작이 많지 않다는 점, 그리고, 버튼이나 키보드에 나타나지 않는 외국어 등을 쉽게 입력할 수 있다.Character input using a camera refers to a technique of inputting a result of extracting and recognizing characters that appear in an image photographed through a camera. Character input using a camera does not have to point out the corresponding characters on the keyboard, the input method is simple and there are not many necessary actions, and a button or a foreign language that does not appear on the keyboard can be easily input.
이러한 카메라를 이용한 문자 입력 기술은 기존에 명함, 사전 검색어 등 단수한 배경을 가진 정형화된 문자의 입력으로 사용되었다. 하지만 간판, 표지판과 같은 자영 영상 내 문자열은 다양한 색상과 배경의 복잡함 등으로 인식하고자 하는 문자열의 추출이 어렵다.Such a text input technology using a camera has been used as input of standardized text with a simple background such as a business card and a dictionary search word. However, it is difficult to extract strings to be recognized in the self-portrait video such as signs and signs due to the complexity of various colors and backgrounds.
일반적으로 영상에서의 문자열 추출은, 먼저 색상정보와 경계정보 등을 이용하여 영상 전체를 글자 후보 영역으로 선택하고, 이 선택된 영역에서 글자 후보 영역의 모양과 상대적인 위치관계를 고려하여 실제 글자 영역을 추정하는 방식을 사용한다.In general, extracting character strings from an image first selects the entire image as a character candidate region using color information and boundary information, and estimates the actual character region in consideration of the shape and positional relationship of the character candidate region in the selected region. Use the way.
그러나, 글자 주변 배경이 복잡한 경우에는 여러 가지 문제점이 발생하는데, 사람이 글자 영역을 추정하는 일은 주변부 물체와 상황을 인식하는, 즉 문맥을 기반으로 하는 의사결정을 하여야 하기 때문에 현재의 컴퓨터 능력으로는 사람이 수행하는 것과 동일하게 정확한 결과를 얻기 힘들며, 다수의 오류를 야기한다.However, when the background of letters is complicated, various problems occur. In order to estimate the area of letters, it is necessary to use a computer based on current computer ability because it is necessary to recognize surrounding objects and situations, that is, make a decision based on context. It's hard to get the exact same results as a person does, and it causes a lot of errors.
예를 들어, 빌딩을 배경으로 하는 영상에서는 빌딩의 유리창이 'ㅁ' 모양과 유사하여 글자 영역으로 추정된다거나, 창틀에서 '1'과 닮은 영역이 자주 나타나는 등에 오류 발생이 빈번하다. 이렇게 긍정오류(false positive)가 나타나는 것을 방지하기 위해 글자의 모양을 보다 엄격하게 제한할 경우에는 실제 글자 영역마저 제거되는 부작용이 발생하는 문제점이 있다.For example, in an image with a background of a building, an error occurs frequently such that the glass window of the building is similar to the shape of 'ㅁ' and is estimated as a letter area, or an area similar to '1' appears frequently in the window frame. In order to prevent the appearance of false positives, if the shape of the letter is more strictly restricted, there is a problem in that the actual letter area is removed.
뿐만 아니라, 기존의 방법들을 통해 자연 영상 속의 문자열을 인식하기 위해서는 복잡한 배경과 많은 문자 후보들을 처리하기 위해 많은 연산 수행이 필요하게 된다. 또한, 다양한 문자열의 형태를 처리하기 위해서는 많은 계산량이 요구된다. 예를 들면, 기울어진 문자열이나 여러 행으로 나누어진 문자열을 처리하기 위해서는 추가적인 연산처리가 뒤따르며, 이 경우 종종 휴대용 카메라 장치의 극히 제한된 시스템 자원으로 인해 실시간 처리를 저해하는 문제점이 발생한다.In addition, in order to recognize a character string in a natural image through existing methods, a lot of computation is required to process a complicated background and many character candidates. In addition, a large amount of computation is required to process various types of strings. For example, in order to process a slanted string or a string divided into several lines, additional computational processing is followed, and in this case, a problem that hinders real-time processing is often caused by extremely limited system resources of the portable camera device.
본 발명은 상기와 같은 문제점을 해소하고자 안출된 것으로서, 본 발명의 목적은, 카메라에 의한 촬영영상을 터치스크린을 기반으로 특정 문자열 위를 손가락으로 문질러 사용자가 인식을 원하는 문자열 위치를 지정하고, 이를 통해 문자열 영역을 추출하여 해당 문자열로부터 인식한 문자 데이터를 촬영영상 상부에 디스플레이시킴에 있다.The present invention has been made to solve the above problems, an object of the present invention, by specifying the position of the string that the user wants to rub the finger on a specific string on the touch screen based on the image captured by the camera, By extracting the character string region through the display, the character data recognized from the character string is displayed on the captured image.
이러한 기술적 과제를 달성하기 위한 본 발명의 터치스크린을 통한 카메라 영상의 문자열 인식 시스템은, 카메라를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이하고, 문자열 영상 상측에 가해지는 압력신호(문자열 지정신호)와 대응하도록 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 하는 영역 입출력수단과, 문자열 영상의 색상을 R, G, B로 분류하여 소벨 마스크(sobel mask)를 통해 촬영영상과 문자열 영상간의 경계값을 기준으로 문자열 영역을 추출하고, 이를 이진화하여 이진화 문자열을 생성하는 문자열 영역 출력수단과, 광학 문자 판독기(OCR)를 통해 이진화 문자열을 각각 문자 데이터로 변환하는 문자 인식수단, 및 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이하는 결과 표시수단을 포함한다.In order to achieve the above technical problem, a string recognition system of a camera image through a touch screen according to the present invention receives and displays a captured image including a string image through a camera, and applies a pressure signal (a string designation signal) to an upper side of the string image. Area I / O means to display the preset pixel line on the upper part of the string image, and classify the color of the string image into R, G, and B to determine the boundary value between the captured image and the string image through a sobel mask. A string region output means for extracting a character string region based on a reference, and binarizing the character string region, a character recognition means for converting a binary character string into character data through an optical character reader (OCR), and a photographed image and a string image. In addition to displaying, character data is superimposed on the upper part of the character string image. It includes a vector result display means.
또한, 영역 입출력수단은, 픽셀라인이 디스플레이 되는 좌표를 문자열 위치정보로 추출하는 것을 특징으로 한다.In addition, the region input and output means is characterized in that to extract the coordinates of the pixel line is displayed as character string position information.
또한, 문자열 영역 출력수단은, 문자열 지정신호에 따라 디스플레이된 픽셀라인의 하단에 위치한 상기 문자열 영상의 색상을 R, G, B로 분류하고, R, G, B 각각을 소벨 마스크 기법을 통해 촬영영상과 문자열 영상간의 경계(edge)값을 추출하고, 가장 작은 경계값을 가지는 픽셀들을 추출하여 문자열 영역으로 도출하는 것을 특징으로 한다.In addition, the string region output unit classifies the color of the string image located at the lower end of the displayed pixel line according to the character string designation signal into R, G, and B, and captures each of the R, G, and B images using the Sobel mask technique. And extracting an edge between the character string image and the string image, and extracting pixels having the smallest edge value into the character string region.
또한, 결과 표시수단은, 기 설정된 모드에 따라 문자 데이터를 각각 상이하게 디스플레이하며, 모드는, 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 함과 동시에 문자 데이터와 글상자의 픽셀을 차등지어 디스플레이하는 제1 모드와, 촬영영상과 문자열 영상간의 경계를 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이하는 제2 모드, 및 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이하는 제3 모드를 포함하는 것을 특징으로 한다.Also, the result display means displays the text data differently according to the preset mode, and the mode inserts the text data into the preset text box and displays the text data together with the text box at coordinates corresponding to the string position information. Displaying a first mode for differentially displaying text data and pixels of a text box, a second mode for displaying pixels different from pixels of the captured image and the string image along a boundary between the captured image and the string image, and displaying the captured image; At the same time, it comprises a third mode for displaying the text data on the lower end of the image rather than the region.
그리고, 문자 데이터의 픽셀값은 '200' 내지 '255', 바람직하게는 '255'이며, 글상자의 픽셀값은 '0' 내지 '55', 바람직하게는 '0'인 것을 특징으로 한다.The pixel value of the character data is '200' to '255', preferably '255', and the pixel value of the text box is '0' to '55', preferably '0'.
이하, 상술한 시스템을 기반으로 하는 본 발명의 터치스크린을 통한 카메라 영상의 문자열 인식 방법은, 영역 입출력수단이 카메라를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이하는 (a) 단계와, 영역 입출력수단이 문자열 지정신호에 따라 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 함과 아울러 픽셀라인의 좌표를 문자열 위치정보로 추출하는 (b) 단계와, 문자열 영역 추출 수단이 문자열 영상에 포함된 문자열 영역을 추출하여 이진화 문자열을 생성하는 (c) 단계와, 문자 인식수단이 광학 문자 판독기를 통해 이진화 문자열을 각각 문자 데이터로 변환하는 (d) 단계, 및 결과 표시수단이 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이하는 (e) 단계를 포함한다.Hereinafter, a method of recognizing a character string of a camera image through a touch screen of the present invention based on the above-described system includes: (a) receiving and displaying a photographed image including a character string image by a region input / output unit and a region; (B) the input / output means displaying the predetermined pixel line on the upper part of the character string image according to the character string designation signal and extracting coordinates of the pixel line as character string position information; and the character string region including the character string region extraction means in the character string image. (C) extracting the digitized string to generate the binarized character string; and (d) the character recognition means converts the binarized character string into the character data through the optical character reader, and the result display means displays the photographed image and the string image. And (e) displaying the text data by superimposing the text data on the upper part of the character string image.
또한, (c) 단계는, 문자열 영역 추출수단이 문자열 영상의 색상을 R, G, B로 분류하는 (c-1) 단계와, 문자열 영역 추출수단이 R, G, B 각각을 소벨 마스크(sobel mask) 기법을 통해 촬영영상과 문자열 영상의 경계(edge)값을 추출하는 (c-2) 단계와, 문자열 영역 추출수단이 경계값 중에 가장 작은 경계값을 갖는 픽셀들을 문자열 영역으로 추출하는 (c-3) 단계, 및 문자열 영역 추출수단이 문자열 영역들을 이진화하여 이진화 문자열을 생성하는 (c-4) 단계를 포함한다.In addition, in step (c), the step of extracting the color of the character string image into R, G, and B is performed by the character string extracting means, and the character string extracting means uses a sobel mask for each of R, G, and B. (c-2) extracting edge values of the captured image and the string image through a mask technique; and extracting pixels having the smallest edge value among the boundary values into the string region by the string region extracting means. Step (3-4), and the string region extracting means binarizes the string regions to generate a binarized string.
그리고, (e) 단계의 문자 데이터 디스플레이는, 결과 표시수단이 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 하되, 문자 데이터와 글상자의 픽셀을 서로 차등지어 디스플레이하는 (e-1) 단계와, 결과 표시수단이 촬영영상과 문자열 영상간의 경계를 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이하는 (e-2) 단계, 및 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이하는 (e-3) 단계 중에 어느 하나의 단계를 통해 디스플레이하는 것을 특징으로 한다.In the text data display of step (e), the result display means inserts the text data into a preset text box and displays the text data together with the text box at coordinates corresponding to the location information of the text box. (E-1) displaying differentially, the result display means displaying pixels different from pixels of the captured image and the string image along the boundary between the captured image and the string image, and displaying the captured image At the same time, the character data is displayed through any one of the steps (e-3) of displaying the character data on the lower end of the image rather than the area of the photographed image.
상기와 같은 본 발명에 따르면, 문자열 영상을 포함하는 촬영영상을 입력받아 터치스크린 기반의 압력신호(문자열 지정신호)를 통해 사용자가 인식을 원하는 문자열 위치를 지정하고, 이를 통해 문자열 영역을 추출하여 해당 문자열로부터 인식한 문자 데이터를 촬영영상의 문자열 영상 상부에 디스플레이시킴으로써, 기울어진 문자열 등 다양한 형태의 문자열들에 대한 인식을 직관적이고 간단하게 제공하는 효과가 있다.According to the present invention as described above, by receiving a photographed image including a string image, the user designates the position of the string that the user wants to recognize through a touch screen-based pressure signal (string designation signal), and extracts the string region through the string. By displaying the character data recognized from the character string on the upper part of the character string image of the photographed image, there is an effect of providing an intuitive and simple recognition of various character strings such as a slanted character string.
또한, 문자열 지정신호에 의해 추출된 문자열 영역을 대상으로 연산을 수행함으로써, 문자열 인식에 따른 연산 수행을 최소화함은 물론 제한된 휴대용 장치에서도 실시간 문자열 인식을 제공하는 효과가 있다.In addition, by performing the operation on the string region extracted by the string designation signal, it is possible to minimize the computational performance according to the string recognition and to provide real-time string recognition even in limited portable devices.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, terms and words used in the present specification and claims are to be interpreted in accordance with the technical idea of the present invention based on the principle that the inventor can properly define the concept of the term in order to explain his invention in the best way. It should be interpreted in terms of meaning and concept. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.
도 1 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템(S)을 나타낸 구성도이고, 도 2 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템(S)의 구성요소들 간에 관계를 나타낸 도면인바, 영역 입 출력수단(100), 문자열 영역 추출수단(200), 문자 인식수단(300), 및 결과 표시수단(400)을 포함하여 구성된다.1 is a block diagram showing a character string recognition system (S) of the camera image through the touch screen according to the present invention, Figure 2 is a component of the character string recognition system (S) of the camera image through the touch screen according to the present invention A diagram showing the relationship between the bar, the region input and output means 100, the character string region extraction means 200, the character recognition means 300, and the result display means 400 is configured.
도 1 및 도 2 를 참조하면, 영역 입출력수단(100)은 사용자의 조작에 의한 키 입력신호에 의해 카메라(C)를 통해 인식 대상 문자열 영상(이하, '문자열 영상')을 포함하는 촬영영상을 입력받아 디스플레이하고, 사용자 조작에 의해 문자열 영상 상측에 가해지는 압력신호(이하, '문자열 지정신호')에 대응하도록 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 한다.1 and 2, the region input / output means 100 captures a photographed image including a character string image (hereinafter, referred to as a “string image”) through a camera C by a key input signal by a user's manipulation. The pixel line is input and displayed, and a preset pixel line is displayed on the upper part of the string image so as to correspond to a pressure signal (hereinafter, a 'string designation signal') applied to the upper side of the string image by a user's manipulation.
구체적으로, 영역 입출력수단(100)에 디스플레이 되는 문자열 영상은, 도 3 및 도 4 에 도시된 바와 같이, 사용자가 손가락으로 줄을 긋듯이 문질러 발생하는 압력, 즉, 문자열 지정신호에 따라 지정되며, 이때, 입력받는 문자열 지정신호와 대응하는 위치의 문자열 영상의 상부에 기 설정된 픽셀라인을 디스플레이하고, 아울러 픽셀라인이 디스플레이 되는 좌표를 문자열 위치정보로 추출한다.Specifically, as shown in FIGS. 3 and 4, the character string image displayed on the region input / output means 100 is designated according to the pressure generated by the user rubbing with a finger, that is, the character string designation signal. At this time, a predetermined pixel line is displayed on the upper part of the character string image corresponding to the input character string designation signal, and the coordinates on which the pixel line is displayed are extracted as character string position information.
또한, 영역 입출력수단(100)은 지정된 문자열을 철회하는 문자열 지정 취소신호를 입력받아 상기 문자열 지정신호를 입력받기 이전의 영상 즉, 상기 촬영영상을 출력한다.In addition, the area input / output means 100 receives a character string designation cancel signal for retracting the designated character string and outputs an image before receiving the character string designation signal, that is, the photographed image.
상술한 바와 같이 복잡한 자연 영상에 포함된 문자열을 터치스크린을 기반으로 간단한 조작에 의해 지정해줌에 따라 적은 연산 수행을 통해 문자열을 인식하는 장점이 있다.As described above, the character string included in the complex natural image is designated by a simple operation based on the touch screen, and thus there is an advantage of recognizing the character string with less computation.
문자열 영역 추출수단(200)은 영역 입출력수단(100)으로부터 촬영영상, 문자열 영상, 픽셀라인, 및 문자열 위치정보를 인가받아 문자열 영상에 포함된 문자열 영역을 추출하고, 이를 이진화하여 이진화 문자열을 생성한다.The string region extracting unit 200 receives the captured image, the string image, the pixel line, and the string position information from the region input /
여기서, 문자열 영역 추출은, 상기 문자열 지정신호에 따라 문자열 영상의 상부에 디스플레이된 픽셀라인의 하단에 위치한 상기 문자열 영상의 색상을 문자열 위치정보를 참조하여 R, G, B로 분류하고, R, G, B 각각에 대해 소벨 마스크(sobel mask) 기법을 통해 촬영영상과 문자열 영상간의 경계(edge)값을 추출한다.Here, the character string region extraction may classify the color of the character string image located at the lower end of the pixel line displayed on the upper part of the character string image into R, G, and B according to the character string designation signal. For each B, an edge value between the captured image and the string image is extracted by using a sobel mask technique.
이후, 문자열 영상의 각 픽셀에 대하여 R, G, B 경계값 중 최대(max)값을 취함으로써, 가장 작은 경계값을 가지는 픽셀들을 도출하여 문자열 영역으로 추출한다. 여기서, 소벨 마스크 기법이란, 픽셀과 픽셀사이의 기울기를 계산하여 경계값을 추출하는 영상인식 기법 중에 하나이다.Subsequently, by taking the maximum value of the R, G, and B boundary values for each pixel of the string image, pixels having the smallest boundary value are derived and extracted into the string region. Here, the Sobel mask technique is one of image recognition techniques for extracting a boundary value by calculating a slope between pixels.
문자 인식수단(300)은 문자열 영역 추출수단(200)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 이진화 문자열을 인가받고, 내부에 구비된 광학 문자 판독기(OCR: Optical Character Reader)(310)를 통해 이진화 문자열을 각각 문자 데이터로 변환한다.The
결과 표시수단(400)은 문자 인식수단(300)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 문자 데이터를 인가받아 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이 한다.The result display means 400 receives the captured image, the string image, the string position information, and the character data from the character recognition means 300, displays the captured image and the string image, and superimposes the character data on the upper part of the string image. Display.
이때, 문자 데이터는, 사용자의 조작에 의한 기 설정된 모드에 따라 각각 상이하게 디스플레이 되는데, 제1 모드는, 도 5 에 도시된 바와 같이, 각각의 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 하며, 동시에 문자 데이터와 글상자의 픽셀을 차등지어 디스플 레이 한다.In this case, the text data is displayed differently according to a preset mode by a user's operation. In the first mode, as shown in FIG. 5, each text data is inserted into a preset text box and the text box is displayed. Together, it displays the coordinates corresponding to the string position information, and simultaneously displays the character data and the pixels of the text box.
예를 들면, 문자 데이터의 픽셀값은 '200' 내지 '255', 바람직하게는 '255'로 설정될 수 있고, 글상자의 필셀값은 '0' 내지 '55', 바람직하게는 '0'으로 설정될 수 있으나, 본 발명이 이에 국한되는 것은 아니며, 각각의 픽셀값은 사용자의 조작에 따라 변경이 가능하다.For example, the pixel value of the character data may be set to '200' to '255', preferably '255', and the pixel value of the text box is '0' to '55', preferably '0'. The present invention is not limited thereto, and each pixel value may be changed according to a user's manipulation.
또한, 제2 모드는, 결과 표시수단(400)이 각각의 문자 데이터를 디스플레이 하되, 촬영영상과 문자열 영상간의 경계 즉, 외주연을 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이 한다.In addition, in the second mode, the result display means 400 displays the respective character data, and displays pixels different from pixels of the captured image and the string image along a boundary between the captured image and the string image, that is, the outer periphery.
그리고, 제3 모드는, 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 촬영영상 하단부에 문자 데이터를 디스플레이 한다.In the third mode, the captured image is displayed and text data is displayed at the lower end of the captured image instead of the region of the captured image.
이하, 도 6 을 참조하여 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법에 대해 살펴본다.Hereinafter, a method of recognizing a string of a camera image through a touch screen according to the present invention will be described with reference to FIG. 6.
먼저, 영역 입출력수단(100)이 사용자의 조작에 의한 키 입력신호에 의해 카메라(C)를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이 한다(S10).First, the area input / output means 100 receives and displays a captured image including a string image through a camera C by a key input signal by a user's manipulation (S10).
이어서, 영역 입출력수단(100)이 사용자의 조작에 의한 문자열 지정신호에 따라 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 함과 아울러 픽셀라인의 좌표를 문자열 위치정보로 추출한다(S20).Subsequently, the area input / output means 100 displays a predetermined pixel line on the upper part of the string image according to a character string designation signal by a user's manipulation, and extracts coordinates of the pixel line as character string position information (S20).
뒤이어, 문자열 영역 추출수단(200)이 영역 입출력수단(100)으로부터 촬영영 상, 문자열 영상, 픽셀라인, 및 문자열 위치정보를 인가받아 문자열 영상에 포함된 문자열 영역을 추출하여 이진화 문자열을 생성한다(S30).Subsequently, the string region extracting unit 200 receives the photographing image, the string image, the pixel line, and the string position information from the region input /
뒤미처, 문자 인식수단(300)이 문자열 영역 추출수단(200)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 이진화 문자열을 인가받고, 내부에 구비된 광학 문자 판독기(310)를 통해 이진화 문자열을 각각 문자 데이터로 변환한다(S40).Afterwards, the
그리고, 결과 표시수단(400)이 문자 인식수단(300)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 문자 데이터를 인가받아 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이 한다(S50).The result display means 400 receives the captured image, the string image, the string position information, and the character data from the character recognition means 300 to display the captured image and the string image, and to display the character data on the upper part of the string image. The display is overlaid (S50).
한편, 도 7 을 참조하여 제S30 단계를 세부적으로 살피면, 문자열 영역 추출수단(200)이 상기 문자열 지정신호에 따라 문자열 영상의 상부에 디스플레이된 픽셀라인의 하단에 위치한 상기 문자열 영상의 색상을 문자열 위치정보를 참조하여 R, G, B로 분류한다(S31).Meanwhile, referring to step S30 in detail with reference to FIG. 7, the string region extracting unit 200 displays the color of the string image located at the bottom of the pixel line displayed on the upper portion of the string image according to the string designation signal. The information is classified into R, G, and B with reference to the information (S31).
이어서, 문자열 영역 추출수단(200)이 문자열 영상의 R, G, B 각각에 대해 소벨 마스크(sobel mask) 기법을 통해 촬영영상과 문자열 영상의 경계(edge)값을 추출한다(S32).Subsequently, the string region extracting unit 200 extracts an edge value between the photographed image and the string image for each of R, G, and B of the string image through a sobel mask technique (S32).
뒤이어, 문자열 영역 추출수단(200)이 문자열 영상의 각 픽셀에 대하여 R, G, B 경계값 중 최대(max)값을 취함으로써, 가장 작은 경계값을 가지는 픽셀들을 문자열 영역으로 추출한다(S33).Subsequently, the character string region extracting unit 200 extracts the pixels having the smallest boundary value into the character string region by taking the maximum value of the R, G, and B boundary values for each pixel of the character string image (S33). .
그리고, 문자열 영역 추출수단(200)이 추출된 문자열 영역들을 이진화하여 이진화 문자열을 생성한다.(S34).Then, the string region extraction unit 200 binarizes the extracted string regions to generate a binarized string (S34).
한편, 도 8 을 참조하면, 제S50 단계의 문자 데이터 디스플레이는 사용자의 조작에 의한 기 설정된 모드에 따라 크게 세 가지로 나뉘어 디스플레이 된다.Meanwhile, referring to FIG. 8, the character data display of step S50 may be divided into three types according to a preset mode by a user's operation.
먼저, 제1 모드는, 결과 표시수단(400)이 각각의 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 하며, 동시에 문자 데이터와 글상자의 픽셀을 서로 차등지어 디스플레이 한다(S50a).First, in the first mode, the result display means 400 inserts each character data into a preset text box and displays the text data along with the text box at coordinates corresponding to the location information of the text box. The differential display is performed (S50a).
또한, 제2 모드는, 결과 표시수단(400)이 각각의 문자 데이터를 디스플레이 하되, 촬영영상과 문자열 영상간의 경계 즉, 외주연을 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이 한다(S50b).In addition, in the second mode, the result display means 400 displays the respective character data, and displays pixels different from pixels of the captured image and the string image along a boundary between the captured image and the string image, that is, the outer periphery (S50b). ).
그리고, 제3 모드는, 결과 표시수단(400)이 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이 한다(S50c).In the third mode, the
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.As described above and described with reference to a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, it is a deviation from the scope of the technical idea It will be understood by those skilled in the art that many modifications and variations can be made to the invention without departing from the scope of the invention. Accordingly, all such suitable changes and modifications and equivalents should be considered to be within the scope of the present invention.
도 1 은 본 발명의 터치스크린을 통한 카메라 영상의 문자열 인식 시스템을 나타낸 순서도.1 is a flowchart illustrating a string recognition system of a camera image through a touch screen of the present invention.
도 2 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 구성요소들간 관계를 나타낸 도면.2 is a view showing the relationship between the components of the character string recognition system of the camera image via the touch screen according to the present invention.
도 3 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 촬영영상, 문자열 영상, 문자열 지정신호, 및 픽셀라인을 디스플레이한 예시도.3 is an exemplary view showing a photographed image, a string image, a string designation signal, and a pixel line of a string recognition system of a camera image through a touch screen according to the present invention;
도 4 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 촬영영상, 문자열 영상, 문자열 지정신호, 및 픽셀라인을 디스플레이한 또 다른 예시도.4 is another exemplary view of displaying a captured image, a string image, a string designation signal, and a pixel line of a string recognition system of a camera image through a touch screen according to the present invention;
도 5 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 촬영영상, 문자열 영상, 글상자, 및 문자 데이터를 디스플레이한 예시도.5 is an exemplary view showing a photographed image, a string image, a text box, and text data of a string recognition system of a camera image through a touch screen according to the present invention;
도 6 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법.을 나타낸 순서도.6 is a flowchart illustrating a method of recognizing a character string of a camera image through a touch screen according to the present invention.
도 7 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법.의 제S30 단계의 세부과정을 나타낸 순서도.7 is a flowchart illustrating a detailed process of step S30 of the method for recognizing a string of a camera image through a touch screen according to the present invention.
도 8 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법.의 제S50 단계의 세부과정을 나타낸 순서도.8 is a flowchart illustrating a detailed process of step S50 of the method for recognizing a string of a camera image through a touch screen according to the present invention.
** 도면의 주요 부분에 대한 부호의 설명 **** Description of symbols for the main parts of the drawing **
S: 터치스크린을 통한 카메라 영상의 문자열 인식 시스템S: String Recognition System of Camera Image through Touch Screen
C: 카메라 100: 영역 입출력수단C: camera 100: area input / output means
200: 문자열 영역 추출수단 300: 문자 인식수단200: character string extraction means 300: character recognition means
310: 광학 문자 판독기(OCR) 400: 결과 표시수단310: optical character reader (OCR) 400: result display means
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090032603A KR101044652B1 (en) | 2009-04-15 | 2009-04-15 | Touch screen string recognition system of camera reflex and the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090032603A KR101044652B1 (en) | 2009-04-15 | 2009-04-15 | Touch screen string recognition system of camera reflex and the method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100114190A true KR20100114190A (en) | 2010-10-25 |
KR101044652B1 KR101044652B1 (en) | 2011-06-29 |
Family
ID=43133415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090032603A KR101044652B1 (en) | 2009-04-15 | 2009-04-15 | Touch screen string recognition system of camera reflex and the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101044652B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013032241A1 (en) * | 2011-08-31 | 2013-03-07 | Samsung Electronics Co., Ltd. | Schedule managing method and apparatus using optical character reader |
US8504350B2 (en) | 2009-09-11 | 2013-08-06 | Electronics And Telecommunications Research Institute | User-interactive automatic translation device and method for mobile device |
CN104609274A (en) * | 2015-02-04 | 2015-05-13 | 郭剑辉 | People-falling-prevention device for vertical elevator and vertical elevator preventing people falling |
KR20200053877A (en) * | 2018-11-09 | 2020-05-19 | 코닉오토메이션 주식회사 | IoT supporting apparatus for measuring equipment that is difficult to implement IoT function |
KR20200123988A (en) * | 2019-04-23 | 2020-11-02 | 주식회사 비포에이 | Apparatus for processing caption of virtual reality video content |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010032070A1 (en) | 2000-01-10 | 2001-10-18 | Mordechai Teicher | Apparatus and method for translating visual text |
KR100667156B1 (en) * | 2004-12-10 | 2007-01-12 | 한국전자통신연구원 | Apparatus and method for character recognition by selecting character region in camera document image captured by portable camera |
KR100700141B1 (en) * | 2005-11-01 | 2007-03-28 | 엘지전자 주식회사 | A Method for Recognizing Name Card in Mobile Phone |
KR100772581B1 (en) | 2006-06-20 | 2007-11-02 | 삼성전자주식회사 | Dictionary report providing apparatus having camera part and providing method thereof |
-
2009
- 2009-04-15 KR KR1020090032603A patent/KR101044652B1/en not_active IP Right Cessation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8504350B2 (en) | 2009-09-11 | 2013-08-06 | Electronics And Telecommunications Research Institute | User-interactive automatic translation device and method for mobile device |
WO2013032241A1 (en) * | 2011-08-31 | 2013-03-07 | Samsung Electronics Co., Ltd. | Schedule managing method and apparatus using optical character reader |
KR20130024280A (en) * | 2011-08-31 | 2013-03-08 | 삼성전자주식회사 | Method and apparatus for managing schedule using optical character reader |
US9412032B2 (en) | 2011-08-31 | 2016-08-09 | Samsung Electronics Co., Ltd. | Schedule managing method and apparatus using optical character reader |
CN104609274A (en) * | 2015-02-04 | 2015-05-13 | 郭剑辉 | People-falling-prevention device for vertical elevator and vertical elevator preventing people falling |
KR20200053877A (en) * | 2018-11-09 | 2020-05-19 | 코닉오토메이션 주식회사 | IoT supporting apparatus for measuring equipment that is difficult to implement IoT function |
KR20200123988A (en) * | 2019-04-23 | 2020-11-02 | 주식회사 비포에이 | Apparatus for processing caption of virtual reality video content |
Also Published As
Publication number | Publication date |
---|---|
KR101044652B1 (en) | 2011-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101304084B1 (en) | Gesture-based selective text recognition | |
Maggi et al. | A fast eavesdropping attack against touchscreens | |
US7403656B2 (en) | Method and apparatus for recognition of character string in scene image | |
US10671892B1 (en) | Apparatuses, methods, and systems for 3-channel dynamic contextual script recognition using neural network image analytics and 4-tuple machine learning with enhanced templates and context data | |
US8175380B2 (en) | Apparatus and method for improving text recognition capability | |
US20170124719A1 (en) | Method, device and computer-readable medium for region recognition | |
US8965125B2 (en) | Image processing device, method and storage medium for storing and displaying an electronic document | |
CN105303156B (en) | Character detection device, method, and program | |
WO2014137806A2 (en) | Visual language for human computer interfaces | |
KR101044652B1 (en) | Touch screen string recognition system of camera reflex and the method | |
JP6325401B2 (en) | Information processing apparatus, image changing method, and program | |
JP2013171309A (en) | Character segmentation method, and character recognition device and program using the same | |
KR101160968B1 (en) | String recognition system and method using color information and outline information | |
CN110134924B (en) | Overlapping text component extraction method and device, text recognition system and storage medium | |
Foong et al. | Text signage recognition in Android mobile devices | |
JP5857634B2 (en) | Word space detection device, word space detection method, and computer program for word space detection | |
KR100619715B1 (en) | Document image photograph method for mobile communication device and word extraction method from the document image | |
KR20100048436A (en) | The system for extracting character using marker | |
JP5039659B2 (en) | Character recognition method and character recognition device | |
US10235776B2 (en) | Information processing device, information processing method, and information processing program | |
WO2017088478A1 (en) | Number separating method and device | |
Priyakumari et al. | Text Identification from Input Images Using Support Vector Machine Algorithm and Its Method for Product Label Reading System | |
JP2019021085A (en) | Image processing program, image processing method, and image processing device | |
JP6805375B2 (en) | Information processing equipment, information processing methods and information processing programs | |
JP6553239B2 (en) | INFORMATION PROCESSING APPARATUS, IMAGE MODIFICATION METHOD, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140521 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |