KR101044652B1 - 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법 - Google Patents

터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR101044652B1
KR101044652B1 KR1020090032603A KR20090032603A KR101044652B1 KR 101044652 B1 KR101044652 B1 KR 101044652B1 KR 1020090032603 A KR1020090032603 A KR 1020090032603A KR 20090032603 A KR20090032603 A KR 20090032603A KR 101044652 B1 KR101044652 B1 KR 101044652B1
Authority
KR
South Korea
Prior art keywords
string
image
character
character string
displaying
Prior art date
Application number
KR1020090032603A
Other languages
English (en)
Other versions
KR20100114190A (ko
Inventor
김진형
정제현
김기응
이성훈
석재현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090032603A priority Critical patent/KR101044652B1/ko
Publication of KR20100114190A publication Critical patent/KR20100114190A/ko
Application granted granted Critical
Publication of KR101044652B1 publication Critical patent/KR101044652B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법에 관한 것으로서, 카메라를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이하고, 문자열 영상 상측에 가해지는 압력신호(문자열 지정신호)와 대응하도록 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 하는 영역 입출력수단과, 문자열 영상의 색상을 R, G, B로 분류하여 소벨 마스크(sobel mask)를 통해 촬영영상과 문자열 영상간의 경계값을 기준으로 문자열 영역을 추출하고, 이를 이진화하여 이진화 문자열을 생성하는 문자열 영역 출력수단과, 광학 문자 판독기(OCR)를 통해 이진화 문자열을 각각 문자 데이터로 변환하는 문자 인식수단, 및 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이하는 결과 표시수단을 포함한다.
터치스크린, 카메라, 촬영영상, 문자열, 영역, 터치스크린, 압력, 픽셀, 경계, 이진화, OCR, 문자 데이터, 디스플레이

Description

터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법{TOUCH SCREEN STRING RECOGNITION SYSTEM OF CAMERA REFLEX AND THE METHOD}
본 발명은 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 촬영된 카메라의 영상을 터치스크린 장치를 이용하여 특정 문자열 위를 손가락으로 문질러 사용자가 인식을 원하는 문자열 위치를 지정하고, 이를 통해 문자열 영역을 추출하여 해당 문자열을 인식하며, 인식된 결과를 다시 촬영된 카메라 영상 위에 디스플레이 하는 기술에 관한 것이다.
카메라를 이용한 문자 입력이란, 카메라를 통해 촬영한 영상에서 나타난 글자를 추출하고 인식한 결과를 입력하는 기법을 일컫는다. 카메라를 이용한 문자 입력은 키보드로 일일이 해당 문자를 지적하지 않아도 된다는 점과, 입력 방법이 단순하여 필요 동작이 많지 않다는 점, 그리고, 버튼이나 키보드에 나타나지 않는 외국어 등을 쉽게 입력할 수 있다.
이러한 카메라를 이용한 문자 입력 기술은 기존에 명함, 사전 검색어 등 단수한 배경을 가진 정형화된 문자의 입력으로 사용되었다. 하지만 간판, 표지판과 같은 자영 영상 내 문자열은 다양한 색상과 배경의 복잡함 등으로 인식하고자 하는 문자열의 추출이 어렵다.
일반적으로 영상에서의 문자열 추출은, 먼저 색상정보와 경계정보 등을 이용하여 영상 전체를 글자 후보 영역으로 선택하고, 이 선택된 영역에서 글자 후보 영역의 모양과 상대적인 위치관계를 고려하여 실제 글자 영역을 추정하는 방식을 사용한다.
그러나, 글자 주변 배경이 복잡한 경우에는 여러 가지 문제점이 발생하는데, 사람이 글자 영역을 추정하는 일은 주변부 물체와 상황을 인식하는, 즉 문맥을 기반으로 하는 의사결정을 하여야 하기 때문에 현재의 컴퓨터 능력으로는 사람이 수행하는 것과 동일하게 정확한 결과를 얻기 힘들며, 다수의 오류를 야기한다.
예를 들어, 빌딩을 배경으로 하는 영상에서는 빌딩의 유리창이 'ㅁ' 모양과 유사하여 글자 영역으로 추정된다거나, 창틀에서 '1'과 닮은 영역이 자주 나타나는 등에 오류 발생이 빈번하다. 이렇게 긍정오류(false positive)가 나타나는 것을 방지하기 위해 글자의 모양을 보다 엄격하게 제한할 경우에는 실제 글자 영역마저 제거되는 부작용이 발생하는 문제점이 있다.
뿐만 아니라, 기존의 방법들을 통해 자연 영상 속의 문자열을 인식하기 위해서는 복잡한 배경과 많은 문자 후보들을 처리하기 위해 많은 연산 수행이 필요하게 된다. 또한, 다양한 문자열의 형태를 처리하기 위해서는 많은 계산량이 요구된다. 예를 들면, 기울어진 문자열이나 여러 행으로 나누어진 문자열을 처리하기 위해서는 추가적인 연산처리가 뒤따르며, 이 경우 종종 휴대용 카메라 장치의 극히 제한된 시스템 자원으로 인해 실시간 처리를 저해하는 문제점이 발생한다.
본 발명은 상기와 같은 문제점을 해소하고자 안출된 것으로서, 본 발명의 목적은, 카메라에 의한 촬영영상을 터치스크린을 기반으로 특정 문자열 위를 손가락으로 문질러 사용자가 인식을 원하는 문자열 위치를 지정하고, 이를 통해 문자열 영역을 추출하여 해당 문자열로부터 인식한 문자 데이터를 촬영영상 상부에 디스플레이시킴에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 터치스크린을 통한 카메라 영상의 문자열 인식 시스템은, 카메라를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이하고, 문자열 영상 상측에 가해지는 압력신호(문자열 지정신호)와 대응하도록 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 하는 영역 입출력수단과, 문자열 영상의 색상을 R, G, B로 분류하여 소벨 마스크(sobel mask)를 통해 촬영영상과 문자열 영상간의 경계값을 기준으로 문자열 영역을 추출하고, 이를 이진화하여 이진화 문자열을 생성하는 문자열 영역 출력수단과, 광학 문자 판독기(OCR)를 통해 이진화 문자열을 각각 문자 데이터로 변환하는 문자 인식수단, 및 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이하는 결과 표시수단을 포함한다.
또한, 영역 입출력수단은, 픽셀라인이 디스플레이 되는 좌표를 문자열 위치정보로 추출하는 것을 특징으로 한다.
또한, 문자열 영역 출력수단은, 문자열 지정신호에 따라 디스플레이된 픽셀라인의 하단에 위치한 상기 문자열 영상의 색상을 R, G, B로 분류하고, R, G, B 각각을 소벨 마스크 기법을 통해 촬영영상과 문자열 영상간의 경계(edge)값을 추출하고, 가장 작은 경계값을 가지는 픽셀들을 추출하여 문자열 영역으로 도출하는 것을 특징으로 한다.
또한, 결과 표시수단은, 기 설정된 모드에 따라 문자 데이터를 각각 상이하게 디스플레이하며, 모드는, 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 함과 동시에 문자 데이터와 글상자의 픽셀을 차등지어 디스플레이하는 제1 모드와, 촬영영상과 문자열 영상간의 경계를 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이하는 제2 모드, 및 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이하는 제3 모드를 포함하는 것을 특징으로 한다.
그리고, 문자 데이터의 픽셀값은 '200' 내지 '255', 바람직하게는 '255'이며, 글상자의 픽셀값은 '0' 내지 '55', 바람직하게는 '0'인 것을 특징으로 한다.
이하, 상술한 시스템을 기반으로 하는 본 발명의 터치스크린을 통한 카메라 영상의 문자열 인식 방법은, 영역 입출력수단이 카메라를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이하는 (a) 단계와, 영역 입출력수단이 문자열 지정신호에 따라 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 함과 아울러 픽셀라인의 좌표를 문자열 위치정보로 추출하는 (b) 단계와, 문자열 영역 추출 수단이 문자열 영상에 포함된 문자열 영역을 추출하여 이진화 문자열을 생성하는 (c) 단계와, 문자 인식수단이 광학 문자 판독기를 통해 이진화 문자열을 각각 문자 데이터로 변환하는 (d) 단계, 및 결과 표시수단이 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이하는 (e) 단계를 포함한다.
또한, (c) 단계는, 문자열 영역 추출수단이 문자열 영상의 색상을 R, G, B로 분류하는 (c-1) 단계와, 문자열 영역 추출수단이 R, G, B 각각을 소벨 마스크(sobel mask) 기법을 통해 촬영영상과 문자열 영상의 경계(edge)값을 추출하는 (c-2) 단계와, 문자열 영역 추출수단이 경계값 중에 가장 작은 경계값을 갖는 픽셀들을 문자열 영역으로 추출하는 (c-3) 단계, 및 문자열 영역 추출수단이 문자열 영역들을 이진화하여 이진화 문자열을 생성하는 (c-4) 단계를 포함한다.
그리고, (e) 단계의 문자 데이터 디스플레이는, 결과 표시수단이 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 하되, 문자 데이터와 글상자의 픽셀을 서로 차등지어 디스플레이하는 (e-1) 단계와, 결과 표시수단이 촬영영상과 문자열 영상간의 경계를 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이하는 (e-2) 단계, 및 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이하는 (e-3) 단계 중에 어느 하나의 단계를 통해 디스플레이하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 문자열 영상을 포함하는 촬영영상을 입력받아 터치스크린 기반의 압력신호(문자열 지정신호)를 통해 사용자가 인식을 원하는 문자열 위치를 지정하고, 이를 통해 문자열 영역을 추출하여 해당 문자열로부터 인식한 문자 데이터를 촬영영상의 문자열 영상 상부에 디스플레이시킴으로써, 기울어진 문자열 등 다양한 형태의 문자열들에 대한 인식을 직관적이고 간단하게 제공하는 효과가 있다.
또한, 문자열 지정신호에 의해 추출된 문자열 영역을 대상으로 연산을 수행함으로써, 문자열 인식에 따른 연산 수행을 최소화함은 물론 제한된 휴대용 장치에서도 실시간 문자열 인식을 제공하는 효과가 있다.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
도 1 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템(S)을 나타낸 구성도이고, 도 2 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템(S)의 구성요소들 간에 관계를 나타낸 도면인바, 영역 입 출력수단(100), 문자열 영역 추출수단(200), 문자 인식수단(300), 및 결과 표시수단(400)을 포함하여 구성된다.
도 1 및 도 2 를 참조하면, 영역 입출력수단(100)은 사용자의 조작에 의한 키 입력신호에 의해 카메라(C)를 통해 인식 대상 문자열 영상(이하, '문자열 영상')을 포함하는 촬영영상을 입력받아 디스플레이하고, 사용자 조작에 의해 문자열 영상 상측에 가해지는 압력신호(이하, '문자열 지정신호')에 대응하도록 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 한다.
구체적으로, 영역 입출력수단(100)에 디스플레이 되는 문자열 영상은, 도 3 및 도 4 에 도시된 바와 같이, 사용자가 손가락으로 줄을 긋듯이 문질러 발생하는 압력, 즉, 문자열 지정신호에 따라 지정되며, 이때, 입력받는 문자열 지정신호와 대응하는 위치의 문자열 영상의 상부에 기 설정된 픽셀라인을 디스플레이하고, 아울러 픽셀라인이 디스플레이 되는 좌표를 문자열 위치정보로 추출한다.
또한, 영역 입출력수단(100)은 지정된 문자열을 철회하는 문자열 지정 취소신호를 입력받아 상기 문자열 지정신호를 입력받기 이전의 영상 즉, 상기 촬영영상을 출력한다.
상술한 바와 같이 복잡한 자연 영상에 포함된 문자열을 터치스크린을 기반으로 간단한 조작에 의해 지정해줌에 따라 적은 연산 수행을 통해 문자열을 인식하는 장점이 있다.
문자열 영역 추출수단(200)은 영역 입출력수단(100)으로부터 촬영영상, 문자열 영상, 픽셀라인, 및 문자열 위치정보를 인가받아 문자열 영상에 포함된 문자열 영역을 추출하고, 이를 이진화하여 이진화 문자열을 생성한다.
여기서, 문자열 영역 추출은, 상기 문자열 지정신호에 따라 문자열 영상의 상부에 디스플레이된 픽셀라인의 하단에 위치한 상기 문자열 영상의 색상을 문자열 위치정보를 참조하여 R, G, B로 분류하고, R, G, B 각각에 대해 소벨 마스크(sobel mask) 기법을 통해 촬영영상과 문자열 영상간의 경계(edge)값을 추출한다.
이후, 문자열 영상의 각 픽셀에 대하여 R, G, B 경계값 중 최대(max)값을 취함으로써, 가장 작은 경계값을 가지는 픽셀들을 도출하여 문자열 영역으로 추출한다. 여기서, 소벨 마스크 기법이란, 픽셀과 픽셀사이의 기울기를 계산하여 경계값을 추출하는 영상인식 기법 중에 하나이다.
문자 인식수단(300)은 문자열 영역 추출수단(200)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 이진화 문자열을 인가받고, 내부에 구비된 광학 문자 판독기(OCR: Optical Character Reader)(310)를 통해 이진화 문자열을 각각 문자 데이터로 변환한다.
결과 표시수단(400)은 문자 인식수단(300)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 문자 데이터를 인가받아 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이 한다.
이때, 문자 데이터는, 사용자의 조작에 의한 기 설정된 모드에 따라 각각 상이하게 디스플레이 되는데, 제1 모드는, 도 5 에 도시된 바와 같이, 각각의 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 하며, 동시에 문자 데이터와 글상자의 픽셀을 차등지어 디스플 레이 한다.
예를 들면, 문자 데이터의 픽셀값은 '200' 내지 '255', 바람직하게는 '255'로 설정될 수 있고, 글상자의 필셀값은 '0' 내지 '55', 바람직하게는 '0'으로 설정될 수 있으나, 본 발명이 이에 국한되는 것은 아니며, 각각의 픽셀값은 사용자의 조작에 따라 변경이 가능하다.
또한, 제2 모드는, 결과 표시수단(400)이 각각의 문자 데이터를 디스플레이 하되, 촬영영상과 문자열 영상간의 경계 즉, 외주연을 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이 한다.
그리고, 제3 모드는, 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 촬영영상 하단부에 문자 데이터를 디스플레이 한다.
이하, 도 6 을 참조하여 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법에 대해 살펴본다.
먼저, 영역 입출력수단(100)이 사용자의 조작에 의한 키 입력신호에 의해 카메라(C)를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이 한다(S10).
이어서, 영역 입출력수단(100)이 사용자의 조작에 의한 문자열 지정신호에 따라 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 함과 아울러 픽셀라인의 좌표를 문자열 위치정보로 추출한다(S20).
뒤이어, 문자열 영역 추출수단(200)이 영역 입출력수단(100)으로부터 촬영영 상, 문자열 영상, 픽셀라인, 및 문자열 위치정보를 인가받아 문자열 영상에 포함된 문자열 영역을 추출하여 이진화 문자열을 생성한다(S30).
뒤미처, 문자 인식수단(300)이 문자열 영역 추출수단(200)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 이진화 문자열을 인가받고, 내부에 구비된 광학 문자 판독기(310)를 통해 이진화 문자열을 각각 문자 데이터로 변환한다(S40).
그리고, 결과 표시수단(400)이 문자 인식수단(300)으로부터 촬영영상, 문자열 영상, 문자열 위치정보, 및 문자 데이터를 인가받아 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 문자 데이터를 문자열 영상 상부에 중첩시켜 디스플레이 한다(S50).
한편, 도 7 을 참조하여 제S30 단계를 세부적으로 살피면, 문자열 영역 추출수단(200)이 상기 문자열 지정신호에 따라 문자열 영상의 상부에 디스플레이된 픽셀라인의 하단에 위치한 상기 문자열 영상의 색상을 문자열 위치정보를 참조하여 R, G, B로 분류한다(S31).
이어서, 문자열 영역 추출수단(200)이 문자열 영상의 R, G, B 각각에 대해 소벨 마스크(sobel mask) 기법을 통해 촬영영상과 문자열 영상의 경계(edge)값을 추출한다(S32).
뒤이어, 문자열 영역 추출수단(200)이 문자열 영상의 각 픽셀에 대하여 R, G, B 경계값 중 최대(max)값을 취함으로써, 가장 작은 경계값을 가지는 픽셀들을 문자열 영역으로 추출한다(S33).
그리고, 문자열 영역 추출수단(200)이 추출된 문자열 영역들을 이진화하여 이진화 문자열을 생성한다.(S34).
한편, 도 8 을 참조하면, 제S50 단계의 문자 데이터 디스플레이는 사용자의 조작에 의한 기 설정된 모드에 따라 크게 세 가지로 나뉘어 디스플레이 된다.
먼저, 제1 모드는, 결과 표시수단(400)이 각각의 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 하며, 동시에 문자 데이터와 글상자의 픽셀을 서로 차등지어 디스플레이 한다(S50a).
또한, 제2 모드는, 결과 표시수단(400)이 각각의 문자 데이터를 디스플레이 하되, 촬영영상과 문자열 영상간의 경계 즉, 외주연을 따라 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이 한다(S50b).
그리고, 제3 모드는, 결과 표시수단(400)이 촬영영상을 디스플레이 함과 동시에 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이 한다(S50c).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
도 1 은 본 발명의 터치스크린을 통한 카메라 영상의 문자열 인식 시스템을 나타낸 순서도.
도 2 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 구성요소들간 관계를 나타낸 도면.
도 3 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 촬영영상, 문자열 영상, 문자열 지정신호, 및 픽셀라인을 디스플레이한 예시도.
도 4 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 촬영영상, 문자열 영상, 문자열 지정신호, 및 픽셀라인을 디스플레이한 또 다른 예시도.
도 5 는 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 시스템의 촬영영상, 문자열 영상, 글상자, 및 문자 데이터를 디스플레이한 예시도.
도 6 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법.을 나타낸 순서도.
도 7 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법.의 제S30 단계의 세부과정을 나타낸 순서도.
도 8 은 본 발명에 따른 터치스크린을 통한 카메라 영상의 문자열 인식 방법.의 제S50 단계의 세부과정을 나타낸 순서도.
** 도면의 주요 부분에 대한 부호의 설명 **
S: 터치스크린을 통한 카메라 영상의 문자열 인식 시스템
C: 카메라 100: 영역 입출력수단
200: 문자열 영역 추출수단 300: 문자 인식수단
310: 광학 문자 판독기(OCR) 400: 결과 표시수단

Claims (8)

  1. 터치스크린을 통한 카메라 영상의 문자열 인식 시스템에 있어서,
    상기 카메라를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이하고, 상기 문자열 영상 상측에 가해지는 압력신호(문자열 지정신호)와 대응하도록 상기 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 하되, 상기 픽셀라인이 디스플레이 되는 좌표를 문자열 위치정보로 추출하는 영역 입출력수단;
    상기 문자열 영상의 색상을 R, G, B로 분류하여 소벨 마스크(sobel mask)를 통해 상기 촬영영상과 문자열 영상간의 경계값을 기준으로 문자열 영역을 추출하고, 이를 이진화하여 이진화 문자열을 생성하는 문자열 영역 출력수단;
    광학 문자 판독기(OCR)를 통해 상기 이진화 문자열을 각각 문자 데이터로 변환하는 문자 인식수단; 및
    상기 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 상기 문자 데이터를 상기 문자열 영상 상부에 중첩시켜 디스플레이하는 결과 표시수단; 을 포함하되,
    상기 문자열 영역 출력수단은, 상기 문자열 지정신호에 따라 디스플레이된 픽셀라인의 하단에 위치한 상기 문자열 영상의 색상을 R, G, B로 분류하고, 상기 R, G, B 각각을 소벨 마스크 기법을 통해 상기 촬영영상과 문자열 영상간의 경계(edge)값을 추출하고, 가장 작은 경계값을 가지는 픽셀들을 추출하여 문자열 영역으로 도출하는 것을 특징으로 하는 터치스크린을 통한 카메라 영상의 문자열 인식 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 결과 표시수단은,
    기 설정된 모드에 따라 상기 문자 데이터를 각각 상이하게 디스플레이하며, 상기 모드는, 상기 문자 데이터를 기 설정된 글상자에 삽입하여 글상자와 함께 문자열 위치정보와 부합하는 좌표에 디스플레이 함과 동시에 상기 문자 데이터와 글상자의 픽셀을 차등지어 디스플레이하는 제1 모드;
    상기 촬영영상과 문자열 영상간의 경계를 따라 상기 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이하는 제2 모드; 및
    상기 촬영영상을 디스플레이 함과 동시에 상기 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이하는 제3 모드; 를 포함하는 것을 특징으로 하는 터치스크린을 통한 카메라 영상의 문자열 인식 시스템.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서,
    상기 문자 데이터의 픽셀값은 '200' 내지 '255'이며, 글상자의 픽셀값은 '0' 내지 '55'인 것을 특징으로 하는 터치스크린을 통한 카메라 영상의 문자열 인식 시스템.
  6. 터치스크린을 통한 카메라 영상의 문자열 인식 방법에 있어서,
    (a) 영역 입출력수단이 상기 카메라를 통해 문자열 영상을 포함하는 촬영영상을 입력받아 디스플레이하는 단계;
    (b) 상기 영역 입출력수단이 문자열 지정신호에 따라 상기 문자열 영상 상부에 기 설정된 픽셀라인을 디스플레이 함과 아울러 상기 픽셀라인의 좌표를 문자열 위치정보로 추출하는 단계;
    (c) 문자열 영역 추출수단이 상기 문자열 영상에 포함된 문자열 영역을 추출하여 이진화 문자열을 생성하는 단계;
    (d) 문자 인식수단이 광학 문자 판독기를 통해 상기 이진화 문자열을 각각 문자 데이터로 변환하는 단계; 및
    (e) 결과 표시수단이 상기 촬영영상 및 문자열 영상을 디스플레이 함과 아울러, 상기 문자 데이터를 상기 문자열 영상 상부에 중첩시켜 디스플레이하는 단계; 를 포함하되,
    상기 (c) 단계는, 상기 문자열 영역 추출수단이 상기 문자열 영상의 색상을 R, G, B로 분류하는 (c-1)단계; 문자열 영역 추출수단이 상기 R, G, B 각각을 소벨 마스크(sobel mask) 기법을 통해 상기 촬영영상과 문자열 영상의 경계(edge)값을 추출하는 (c-2) 단계; 상기 문자열 영역 추출수단이 상기 경계값 중에 가장 작은 경계값을 갖는 픽셀들을 문자열 영역으로 추출하는 (c-3) 단계; 및 상기 문자열 영역 추출수단이 상기 문자열 영역들을 이진화하여 이진화 문자열을 생성하는 (c-4) 단계; 를 포함하고,
    상기 (e) 단계의 문자 데이터 디스플레이는, 상기 결과 표시수단이 상기 문자 데이터를 기 설정된 글상자에 삽입하여 상기 글상자와 함께 상기 문자열 위치정보와 부합하는 좌표에 디스플레이 하되, 상기 문자 데이터와 글상자의 픽셀을 서로 차등지어 디스플레이하는 (e-1) 단계; 상기 결과 표시수단이 상기 촬영영상과 문자열 영상간의 경계를 따라 상기 촬영영상 및 문자열 영상의 픽셀과 상이한 픽셀을 디스플레이하는 (e-2) 단계; 및 상기 촬영영상을 디스플레이 함과 동시에 상기 촬영영상의 영역이 아닌 하단부에 문자 데이터를 디스플레이하는 (e-3) 단계; 중에 어느 하나의 단계를 통해 디스플레이하는 것을 특징으로 하는 터치스크린을 통한 카메라 영상의 문자열 인식 방법.
  7. 삭제
  8. 삭제
KR1020090032603A 2009-04-15 2009-04-15 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법 KR101044652B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090032603A KR101044652B1 (ko) 2009-04-15 2009-04-15 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090032603A KR101044652B1 (ko) 2009-04-15 2009-04-15 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100114190A KR20100114190A (ko) 2010-10-25
KR101044652B1 true KR101044652B1 (ko) 2011-06-29

Family

ID=43133415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090032603A KR101044652B1 (ko) 2009-04-15 2009-04-15 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101044652B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101263332B1 (ko) 2009-09-11 2013-05-20 한국전자통신연구원 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법
KR101870773B1 (ko) * 2011-08-31 2018-06-26 삼성전자 주식회사 광학식 문자 판독기를 이용한 스케줄 관리 방법 및 장치
CN105905744B (zh) * 2015-02-04 2018-10-02 郭剑辉 一种垂直电梯防人坠落装置及防人坠落的垂直电梯
KR102143650B1 (ko) * 2018-11-09 2020-08-11 코닉오토메이션 주식회사 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치
KR102261597B1 (ko) * 2019-04-23 2021-06-07 주식회사 비포에이 Vr 영상 콘텐츠의 자막 처리 기기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010032070A1 (en) 2000-01-10 2001-10-18 Mordechai Teicher Apparatus and method for translating visual text
KR20060065197A (ko) * 2004-12-10 2006-06-14 한국전자통신연구원 휴대형 카메라로 획득한 문자영상의 문자영역선택을 통한문자인식 장치 및 그 방법
KR100700141B1 (ko) * 2005-11-01 2007-03-28 엘지전자 주식회사 이동통신 단말기의 명함인식방법
KR100772581B1 (ko) 2006-06-20 2007-11-02 삼성전자주식회사 카메라부를 구비하는 휴대 단말과 그의 사전 정보 제공방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010032070A1 (en) 2000-01-10 2001-10-18 Mordechai Teicher Apparatus and method for translating visual text
KR20060065197A (ko) * 2004-12-10 2006-06-14 한국전자통신연구원 휴대형 카메라로 획득한 문자영상의 문자영역선택을 통한문자인식 장치 및 그 방법
KR100700141B1 (ko) * 2005-11-01 2007-03-28 엘지전자 주식회사 이동통신 단말기의 명함인식방법
KR100772581B1 (ko) 2006-06-20 2007-11-02 삼성전자주식회사 카메라부를 구비하는 휴대 단말과 그의 사전 정보 제공방법

Also Published As

Publication number Publication date
KR20100114190A (ko) 2010-10-25

Similar Documents

Publication Publication Date Title
US7403656B2 (en) Method and apparatus for recognition of character string in scene image
Ryan et al. An examination of character recognition on ID card using template matching approach
Maggi et al. A fast eavesdropping attack against touchscreens
US8175380B2 (en) Apparatus and method for improving text recognition capability
KR101304084B1 (ko) 제스처 기반의 선택적인 텍스트 인식
US8965125B2 (en) Image processing device, method and storage medium for storing and displaying an electronic document
CN105303156B (zh) 字符检测装置、方法及程序
Semary et al. Currency recognition system for visually impaired: Egyptian banknote as a study case
KR101044652B1 (ko) 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법
JP6325401B2 (ja) 情報処理装置、画像変更方法及びプログラム
Shivakumara et al. New gradient-spatial-structural features for video script identification
Goel et al. Raspberry pi based reader for blind people
KR101962872B1 (ko) 손동작 추적을 이용한 스마트 인식 시스템 및 방법
KR101160968B1 (ko) 색상 정보 및 외곽선 정보를 이용한 문자열 인식 시스템 및 그 방법
CN110134924B (zh) 重叠文本组件提取方法和装置、文本识别系统及存储介质
JP2010186246A (ja) 画像処理装置、方法、及び、プログラム
KR100619715B1 (ko) 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그문서 영상에서의 단어 추출방법
Ma et al. Mobile camera based text detection and translation
KR101012729B1 (ko) 마커를 이용한 문자열 추출 시스템 및 그 방법
Nor et al. Image segmentation and text extraction: application to the extraction of textual information in scene images
KR101048399B1 (ko) 문자 검출 방법 및 장치
JP2013097561A (ja) 単語間空白検出装置、単語間空白検出方法及び単語間空白検出用コンピュータプログラム
JP5039659B2 (ja) 文字認識方法及び文字認識装置
JP2019021085A (ja) 画像処理プログラム、画像処理方法及び画像処理装置
WO2017088478A1 (zh) 数字分离方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140521

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee