KR101012729B1 - 마커를 이용한 문자열 추출 시스템 및 그 방법 - Google Patents

마커를 이용한 문자열 추출 시스템 및 그 방법 Download PDF

Info

Publication number
KR101012729B1
KR101012729B1 KR1020080107587A KR20080107587A KR101012729B1 KR 101012729 B1 KR101012729 B1 KR 101012729B1 KR 1020080107587 A KR1020080107587 A KR 1020080107587A KR 20080107587 A KR20080107587 A KR 20080107587A KR 101012729 B1 KR101012729 B1 KR 101012729B1
Authority
KR
South Korea
Prior art keywords
character
marker
image
color
pixel
Prior art date
Application number
KR1020080107587A
Other languages
English (en)
Other versions
KR20100048436A (ko
Inventor
김진형
김이결
김기응
권영희
이성훈
민경민
석재현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020080107587A priority Critical patent/KR101012729B1/ko
Publication of KR20100048436A publication Critical patent/KR20100048436A/ko
Application granted granted Critical
Publication of KR101012729B1 publication Critical patent/KR101012729B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Character Input (AREA)

Abstract

본 발명은 마커를 이용한 문자열 추출 시스템 및 그 방법에 관한 것으로서, 사용자가 원하는 문자열 위에 마커를 위치시키고, 카메라를 통해 입력되는 영상으로부터 문자열을 추출하여 인식함으로써, 인식한 문자 데이터를 영상 표시수단의 해당 글자 전면에 표시함과 아울러, 영상 하단에 텍스트로 표시하는 마커를 이용한 문자열 추출 시스템 및 그 방법을 제공함에 그 특징적인 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 카메라를 통해 입력되는 영상과 상기 영상 전면에 마커를 표시하는 영상 표시수단; 사용자가 추출하고자 하는 문자를 인식하도록 하기 위하여, 상기 영상 표시수단에 마커를 표시하도록 하는 마커 표시수단; 상기 입력된 영상의 정보 및 마커의 위치정보를 이용하여, 마커가 위치한 영역의 글자와 상기 글자를 포함하는 문자열을 추출하는 문자열 추출수단; 및 상기 문자열 추출수단으로부터 이진화된 영상을 입력받아 문자 데이터로 변환하는 문자 인식수단; 을 포함하는 것을 특징으로 한다.
마커, 문자열, 색상 정보

Description

마커를 이용한 문자열 추출 시스템 및 그 방법{THE SYSTEM FOR EXTRACTING CHARACTER USING MARKER}
본 발명은 문자열 추출 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 영상 표시수단에 표시된 마커를 사용자가 추출하고자 하는 문자열 영역위에 두고 촬영함으로써, 취득하는 영상 정보와 마커의 위치 정보를 이용하여, 영상에서의 문자열을 추출하는 시스템 및 그 방법에 관한 것이다.
카메라를 이용한 문자 입력 기술은 기존에 명함, 사전 검색어 등 단순한 배경을 가진 정형화된 문자의 입력으로 사용되었다. 하지만 간판, 표지판과 같은 자연 영상 속의 문자열은 다양한 색상과 배경의 복잡함 등으로 인식하고자 하는 문자열의 추출이 어렵다는 문제를 가지고 있다.
기존의 방법에서는 문자열을 추출하기 위해 먼저 색상정보와 경계정보 등을 이용하여 영상 전체를 글자 후보 영역으로 분리를 하고, 글자 후보 영역의 모양과 상대적인 위치 관계를 고려하여 실제 글자 영역을 추정하는 방식을 사용한다.
그러나, 이러한 방법은 글자 주변 배경이 복잡한 경우에는 문제점을 나타낸다. 예를 들어, 빌딩을 배경으로 하는 글자 영상에서는 빌딩의 유리창이 'ㅁ' 모양 과 유사하여 글자 영역으로 쉽게 추정되어 버리고, 창틀에서는 '1'과 닮은 영역이 쉽게 나타난다. 이렇게 긍정오류(false positive)가 나타나는 것을 방지하기 위해 글자의 모양을 보다 엄격하게 제한할 경우에는 실제 글자 영역마저 제거되는 부작용이 발생한다. 사람이 글자 영역을 추정하는 일은 주변부 물체와 상황을 인식하는, 즉 context에 기반한 매우 어려운 일로 현재의 방법으로는 사람과 같은 정확한 결과를 얻기 어렵다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 사용자가 원하는 문자열 위에 마커를 위치시키고, 카메라를 통해 입력되는 영상으로부터 문자열을 추출하여 인식함으로써, 인식한 문자 데이터를 영상 표시수단의 해당 글자 전면에 표시함과 아울러, 영상 하단에 텍스트로 표시하는 마커를 이용한 문자열 추출 시스템 및 그 방법을 제공함에 그 특징적인 목적이 있다.
본 발명은 마커를 이용한 문자열 추출 시스템에 관한 것으로서, 카메라를 통해 입력되는 영상과 상기 영상 전면에 마커를 표시하는 영상 표시수단; 사용자가 추출하고자 하는 문자를 인식하도록 하기 위하여, 상기 영상 표시수단에 마커를 표시하도록 하는 마커 표시수단; 상기 입력된 영상의 정보 및 마커의 위치정보를 이용하여, 마커가 위치한 영역의 글자와 상기 글자를 포함하는 문자열을 추출하는 문자열 추출수단; 및 상기 문자열 추출수단으로부터 이진화된 영상을 입력받아 문자 데이터로 변환하는 문자 인식수단; 을 포함하는 것을 특징으로 한다.
한편, 본 발명은 마커를 이용한 문자열 추출 방법에 관한 것으로서, (a) 영상 표시수단이 카메라를 통해 입력되는 영상 정보에 마커를 표시하는 과정; (b) 마커 표시수단이 사용자의 촬영 버튼 누름에 따라 입력되는 영상 정보 및 마커의 위치정보를 저장하는 과정; (c) 문자열 추출수단이 상기 (b) 과정을 통해 저장된 영상 정보 및 마커의 위치정보를 이용하여, 마커가 위치한 영역의 글자와 상기 글자 를 포함하는 문자열을 추출하는 과정; (d) 문자 인식수단이 상기 (c) 과정으로부터 이진화된 영상을 입력받아 문자 데이터로 변환하는 과정; 및 (e) 상기 영상 표시수단이 상기 (d) 과정을 통해 변환된 문자 데이터를 해당 글자의 전면에 표시하고, 텍스트 박스를 통해 인식 결과를 텍스트로 표시하는 과정; 을 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 다양한 색상의 자연영상에서 나타나는 글자를 대상으로 문자열을 지적하는 마커를 사용함으로써, 명함 또는 책 단어를 인식하는 기존의 글자 인식 시스템과 달리, 사용자의 편의성과 결과의 정확성을 높일 수 있는 효과가 있다.
또한 본 발명에 따르면, 사용자는 마커에 위치한 글자가 인식된다는 사실을 알고 있으므로, 항상 마커를 글자에 위치시키려는 행동을 취하게 된다. 따라서, 마커에 포함되어 있거나, 그 주변에 있는 글자 후보 영역만을 상대적으로 비교함으로써, 실제 글자 영역을 얻을 수 있는 효과가 있다.
그리고 본 발명에 따르면, 자연 영상에서 글자를 인식하여 쉽게 문자를 인식할 수 있는 있는 바, 외국어 번역 서비스와 같은 응용이 가능한 효과가 있다.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 마커를 이용한 문자열 추출 시스템 및 그 방법에 관하여 도 1 내지 도 9 를 참조하여 설명하면 다음과 같다.
도 1 은 본 발명에 따른 마커를 이용한 문자열 추출 시스템(S)(이하, '문자열 추출 시스템')을 개념적으로 도시한 구성도로서, 영상을 입력받는 카메라(C)가 부착된 문자열 추출 시스템(S)은 전체적으로 영상 표시수단(100), 마커 표시수단(200), 문자열 추출수단(300) 및 문자 인식수단(400)를 포함하여 이루어진다.
영상 표시수단(100)은 카메라(C)를 통해 입력되는 영상과, 상기 영상 전면에 마커를 표시하며, 문자 인식수단(400)을 통해 변환된 문자 데이터를 해당 글자의 전면에 표시한다.
마커 표시수단(200)은 사용자가 추출하고자 하는 문자를 인식하도록 하기 위하여, 영상 표시수단(100)에 마커를 표시하도록 하는 기능을 수행한다. 이때, 마커는 도 2 에 도시된 바와 같이 테두리로 표시되는 원형 또는 사각형의 표시그림으로서, 최초에는 영상 표시수단(100)의 중앙에 고정되어 있다.
여기서, 마커 표시수단(200)은 도 3 에 도시된 바와 같이, 마커의 크기를 확대 또는 축소시키는 마커 조작부(210)를 포함함과 아울러, 촬영 버튼을 포함한 촬영 조작부(220) 및 사용자의 촬영 버튼의 누름에 따른 영상 정보 및 마커의 위치정보를 저장하는 정보 저장부(230)를 포함한다.
한편, 사용자는 카메라(C)를 이동시킴으로써, 자신이 추출하고자 하는 문자에 마커를 위치시킬 수 있으며, 영상 표시수단(100)을 통해 촬영된 영상 정보와 마커의 위치정보를 확인할 수 있다.
문자열 추출수단(300)은 입력된 영상 정보 및 마커의 위치정보를 이용하여, 마커가 위치한 영역의 글자와 상기 글자를 포함하는 문자열을 추출하는 기능을 수행하는 바, 도 4 에 도시된 바와 같이 픽셀 샘플링부(310), 클러스터 지정부(320), 글자 후보 클러스터 지정부(330), 글자 후보 색상 추출부(340), 글자 픽셀 판단부(350), 실제 글자 색상 선택부(360) 및 후처리부(370)를 포함한다.
구체적으로, 픽셀 샘플링부(310)는 마커 영역 내부의 각 픽셀의 색상을 R, G, B로 나누고, R, G, B 각각에 대하여 소벨(sobel) 방법을 이용하여 경계(edge)값을 추출한다. 이후, 각 픽셀에 대하여 R, B, G의 경계값 중 최대(max)값을 취함으로써, 3×3 크기의 윈도우 안에서 가장 작은 경계값을 가지는 픽셀을 선택하여 샘플링한다.
여기서, 소벨(sobel) 방법이란, 픽셀과 픽셀사이의 기울기를 계산하여 경계값을 추출하는 것으로서, 보통 마스크 연산(일반적으로 3×3마스크)을 수행하며, 가로와 세로의 기울기를 구하여 더한 것이 sobel edge detection 값이 된다.
클러스터 지정부(320)는 각각의 샘플링된 픽셀들에 대하여 평균이동(mean shift) 방법을 이용하여 가장 픽셀 밀도가 높은 점을 추출함으로써, 같은 위치에 모인 픽셀들을 하나의 클러스터로 지정한다. 즉, 하나의 클러스터에는 색상정 보(R,G,B)에 따라 비슷한 색상을 가지는 픽셀들이 모이게 된다.
여기서, 평균이동(mean shift) 방법은, 영상의 특징 공간을 분석하여 확률적으로 가장 높은 밀도 영역을 찾는 것으로서, 지역적인 밀도가 최대인 mean shift 벡터를 따라 클러스터의 중심점을 변경함으로써, 클러스터를 분할하는 것을 말한다.
글자 후보 클러스터 지정부(330)는 각각의 클러스터에 속하는 픽셀들이 이루는 두께 및 픽셀의 개수 정보를 이용하여 글자 후보 클러스터로 지정한다.
즉, 글자 후보 클러스터 지정부(330)는 각각의 클러스터에 대하여, 픽셀들이 이루는 두께의 변화, 바람직하게 두께의 표준편차가 임계값(threshold) 이하인 클러스터들을 추출하고, 추출된 각각의 클러스터의 픽셀 개수를 계산하여 픽셀의 개수가 많은 순서대로, 소정개수의(2개 내지 3개) 클러스터를 선택하여, 이를 글자 후보 클러스터로 지정하고, 임계값 이상인 클러스터는 글자 성분(component)에서 제외된다.
도 5 는 글자를 이루는 픽셀들의 두께를 보이는 일예시도로서, (A)는 본 발명에서와 같이 두께의 변화가 적은 모습을 보이고 있으나, (B) 및 (C)는 각 픽셀의 두께 변화가 큰 모습을 보이고 있다.
글자 후보 색상 추출부(340)는 상기 글자 후보 클러스터 지정부(330)를 통해 지정된 각각의 글자 후보 클러스터에서 평균값을 구함으로써, 글자 후보 색상을 추출한다.
글자 픽셀 판단부(350)는 각각의 글자 후보 색상에 대한, 주변 영역의 픽셀 들이 글자 픽셀인지 여부를 판단하는 기능을 수행하는 바, 색상거리 계산모듈(351) 및 글자 픽셀 판단모듈(352)를 포함한다.
색상거리 계산모듈(351)은 주변 영상의 픽셀들과 각 글자 후보 색상과의 색상 거리(color distance)(D)를 계산한다.
글자 후보 색상이 RGB 색상공간에서 (R0,G0,B0) 값을 가질때, 다음의 [수식 1 ] 내지 [수식 5] 를 통해 설명하면 다음과 같다.
[수식 1]
Figure 112008075756798-pat00001
여기서, L은 밝기 : 작으면 검은색, 크면 흰색.
[수식 2]
Figure 112008075756798-pat00002
여기서, C는 색상의 채도(chroma): 회색인 정도(값이 작으면 회색, 크면 원색).
[수식 3]
Figure 112008075756798-pat00003
여기서, H는 색상(Hue) 값 : 적색, 청색인 정도.
[수식 4]
Figure 112008075756798-pat00004
여기서, Q는 색상 공간을 변화시키기 위한 관계식, k 는 사용자가 지정하는 파라미터.
각 픽셀이 가지는 색상이(R1,G1,B1)일 때, L1, C1, H1 으로 정의되며, 주변 영역의 각 픽셀과 글자 후보 색상과의 색상거리(D)는, 다음의 [수식 5] 와 같이 나타낼 수 있다.
[수식 5]
Figure 112008075756798-pat00005
이때, 색상거리(D)는 1차원 값을 가지므로 글자 후보 색상의 개수와 같은 색상거리 영상을 얻을 수 있으며, 이러한 색상거리 영상은 흑백영상으로 표현된다.
상술한 방법을 통해 각각의 픽셀에 대한 글자 후보 색상과의 색상거리 값을 알 수 있었다. 이에 따라, 글자 픽셀 판단모듈(352)은 주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값과 임계값(threshold)을 비교함으로써, 임계값 이상인지 여부를 판단하고, 이상일 경우 해당 픽셀을 글자 픽셀로 결정하며, 미만일 경우 해당 픽셀을 배경픽셀로 결정한다.
이때, 임계값(p(x,y))은, p(x,y) 주변의 70×70에 있는 모든 픽셀의 색상거리 평균(m)과 표준편차(s)에 의해서 결정된다. 즉, 앞서 색상거리 계산을 통해 만들어진 색상거리 영상에서 각 픽셀에 대해 70×70 크기의 윈도우 내부의 픽셀이 만드는 히스토그램(histogram)을 구하고, 이 히스토그램의 평균(m)과 표준편차(s)가 만드는 [수식 6] 을 통해 [수식 7] 과 같은 관계식을 통해 임계값(threshold)을 결정하게 된다.
[수식 6]
Figure 112008075756798-pat00006
[수식 7]
Figure 112008075756798-pat00007
이후, 글자 픽셀 판단부(350)는 영상 전체가 아닌, 처음 마커의 영역에서 상하 좌우 방향으로 영역을 확대함으로써, 글자픽셀로 결정된 픽셀들이 하나의 연결성분(connected component)을 이루도록 한다.
도 6 은 원영상(A)과, 각각의 글자 후보 색상(B),(C)에서 나타나는 세 개의 연결성분을 보이는 일예시도로서, 도 6 에 나타낸 바와 같이 각각의 글자 후보 색상이 가로 방향의 세 개의 연결성분(connected component)을 갖게 될 경우, 글자 후보 색상 중, 실제 글자 색상을 결정하게 된다.
이에 따라, 실제 글자 색상 선택부(360)는 글자 후보 색상이 가진 연결성분(connected component)에 대해서, 수평정렬(horizontal alignment), 높이(height) 및 두께(thickness) 측정을 통해, 하나의 글자 후보 색상을 선택하여 실제 글자 색상으로 결정함으로써, 문자열 추출을 종료한다.
구체적으로, 실제 글자 색상 선택부(360)는 각각의 글자 후보 색상안에서 각 연결성분(connected component)이 수평 방향으로 나열된 정도, 높이가 비슷한 정 도, 두께 변화가 적은 정도를 측정하여, 소정 개수의 글자 후보 색상 중, 하나를 선택하여 실제 글자 색상으로 결정한다.
즉, 수평방향으로 직선정렬 되어 있으며, 높이가 비슷하며, 두께의 변화가 적은 연결성분(connected component)이 포함된 글자 후보 색상이, 실제 글자 색상으로 선택됨으로써, 문자열 추출이 완료된다.
후처리부(370)는 추출된 문자열에서 실제 글자 색상의 연결성분(connected component)에 비해 크기가 작은 성분 또는 성분 내부에 비어있는 홀 등의 노이즈를 제거하고, 영상을 이진화 한다.
그리고, 문자 인식수단(400)은 광학 문자 판독(optical character reader: OCR) 기능을 통해 이진화된 영상을 입력받아 문자 데이터로 변환한다.
앞서 서술한 바와 같이, 영상 표시수단(100)은 도 7 에 도시된 바와 같이 문자 인식수단(400)을 통해 변환된 문자 데이터를 해당 글자의 전면에 표시한다. 여기서, 문자 데이터는 검은색으로 표시하고, 문자데이터의 뒤에 흰색 사각 배경을 두어 글자를 잘 보이도록 한다.
문자 데이터의 크기는 영상을 가리지 않도록, 작게 하는 것이 좋으므로 20pixel 정도의 가로 길이를 가지도록 한다. 본 실시예에서, 문자 데이터의 색과 크기 및 사각 배경 등에 관하여 구체적으로 기재하였으나, 본 발명이 이에 한정되지 않는다.
그리고, 영상 표시수단(100)은 영상 하단에 텍스트 박스(110)를 구성하여, 인식 결과를 텍스트로도 표시한다.
상술한 구성을 갖는 본 발명에 따른 문자열 추출 시스템(S)을 이용한 문자열 추출 방법에 관하여 설명하면 다음과 같다.
도 8 은 본 발명에 따른 문자열 추출 방법에 관한 전체 흐름도로서, 도시된 바와 같이, 영상 표시수단(100)이 카메라(C)를 통해 입력되는 영상 정보에 마커를 표시하는 과정(S100), 마커 표시수단(200)의 촬영 조작부(220)가 사용자의 촬영 버튼 누름에 따라 입력되는 영상 정보 및 마커의 위치정보를 저장하는 과정(S200), 문자열 추출수단(300)이 저장된 영상 정보 및 마커의 위치정보를 이용하여, 마커가 위치한 영역의 글자와 상기 글자를 포함하는 문자열을 추출하는 과정(S300), 문자 인식수단(400)이 광학 문자 판독 기능을 통해 이진화된 영상을 입력받아 문자 데이터로 변환하는 과정(S400) 및 영상 표시수단(100)이 문자 인식수단(400)을 통해 변환된 문자 데이터를 해당 글자의 전면에 표시하고, 텍스트 박스(110)를 통해 텍스트로 표시하는 과정(S500)을 포함하여 이루어진다.
도 9 는 본 발명에 따른 제 S300 과정의 세부 흐름도로서, 도시된 바와 같이 문자열 추출수단(300)의 픽셀 샘플링부(310)는 마커 영역 내부의 각 픽셀의 색상을 R, G, B로 나누고, R, G, B 각각에 대하여 소벨(sobel) 방법을 이용하여 경계(edge)값을 추출한 후, 각 픽셀에 대하여 세 개의 R, G, B 경계값 중 최대값을 취함으로써, 가장 작은 경계값을 가지는 픽셀을 선택하여 샘플링한다(S310).
클러스터 지정부(320)는 각각의 샘플링된 픽셀들에 대하여 평균이동(mean shift) 방법을 이용하여 가장 픽셀 밀도가 높은 점을 추출함으로써, 같은 위치에 모인 픽셀들을 하나의 클러스터로 지정한다(S320).
이후, 글자 후보 클러스터 지정부(330)는 각각의 클러스터에 속하는 픽셀들이 이루는 두께 및 픽셀의 개수 정보를 이용하여 글자 후보 클러스터로 지정하며(S330), 글자 후보 색상 추출부(340)는 상기 글자 후보 클러스터 지정부(330)를 통해 지정된 각각의 글자 후보 클러스터에서 평균값을 구함으로써, 글자 후보 색상을 추출한다(S340).
글자 픽셀 판단부(350)의 색상거리 계산모듈(351)은 주변 영상의 픽셀들과 각 글자 후보 색상과의 색상 거리(color distance)를 계산하고(S350), 글자 픽셀 판단모듈(352)은 주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값과 임계값(threshold)을 비교함으로써, 임계값보다 이상인지 여부를 판단한다(S360).
제 S360 단계의 판단결과, 주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값이 임계값 이상일 경우, 글자 픽셀 판단모듈(352)은 해당 픽셀을 글자 픽셀로 결정한다(S370).
실제 글자 색상 선택부(360)는 글자 후보 색상이 가진 연결성분(connected component)에 대해서, 수평정렬(horizontal alignment), 높이(height) 및 두께(thickness) 측정을 통해, 하나의 글자 후보 색상을 선택하여 실제 글자 색상으로 결정함으로써, 문자열 추출을 종료한다(S380).
후처리부(370)는 추출된 문자열에서 실제 글자 색상의 연결성분(connected component)에 비해 크기가 작은 성분 또는 성분 내부에 비어있는 홀 등의 노이즈를 제거하고, 영상을 이진화 한다(S390).
한편, 제 S360 단계의 판단결과, 주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값이 임계값 미만일 경우 글자 픽셀 판단모듈(352)은 해당 픽셀을 배경픽셀로 결정한다(S370a).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
도 1 은 본 발명에 따른 마커를 이용한 문자열 추출 시스템을 개념적으로 도시한 구성도.
도 2 는 본 발명에 따른 영상 표시수단에 마커가 표시된 모습을 보여주는 일예시도.
도 3 은 본 발명에 따른 마커 표시수단에 관한 세부 구성도.
도 4 는 본 발명에 따른 문자열 추출수단에 관한 세부 구성도.
도 5 는 본 발명에 따른 글자를 이루는 픽셀들의 두께를 보이는 일예시도.
도 6 은 본 발명에 따른 원영상(A)과, 각각의 글자 후보 색상(B),(C)에서 나타나는 세 개의 연결성분을 보이는 일예시도.
도 7 은 본 발명에 따른 영상 표시수단을 통해 해당 글자의 전면에 문자 데이터를 보여주는 일예시도.
도 8 은 본 발명에 따른 문자열 추출 방법에 관한 전체 흐름도.
도 9 는 본 발명에 따른 문자열을 추출하는 과정(S300)에 관한 세부 흐름도.
** 도면의 주요 부분에 대한 부호의 설명 **
S: 마커를 이용한 문자열 추출 시스템
100: 영상 표시수단 200: 마커 표시수단
300: 문자열 추출수단 400: 문자 인식수단
210: 마커 조작부 220: 촬영 조작부
230: 정보 저장부 310: 픽셀 샘플링부
320: 클러스터 지정부 330: 글자 후보 클러스터 지정부
340: 글자 후보 색상 추출부 350: 글자 픽셀 판단부
360: 실제 글자 색상 선택부 370: 후처리부

Claims (12)

  1. 영상을 입력받는 카메라(C)가 부착된 문자열 추출 시스템(S)에 있어서,
    상기 카메라(C)를 통해 입력되는 영상과 상기 영상 전면에 마커를 표시하는 영상 표시수단;
    사용자가 추출하고자 하는 문자를 인식하도록 하기 위하여, 상기 영상 표시수단에 마커를 표시하도록 하는 마커 표시수단;
    상기 입력된 영상의 정보 및 마커의 위치정보를 이용하여, 마커가 위치한 영역의 글자와 상기 글자를 포함하는 문자열을 추출하는 문자열 추출수단; 및
    상기 문자열 추출수단으로부터 이진화된 영상을 입력받아 문자 데이터로 변환하는 문자 인식수단; 을 포함하되,
    상기 문자열 추출수단은, 마커 영역 내부의 각 픽셀의 색상을 R, G, B로 나누고, R, G, B 각각에 대하여 경계값을 추출한 후, 각 픽셀에 대하여 R, B, G의 경계값 중 최대값을 취함으로써, 3×3 크기의 윈도우 안에서 가장 작은 경계값을 가지는 픽셀을 선택하여 샘플링하는 픽셀 샘플링부;
    각각의 샘플링된 픽셀들에 대하여 평균이동 방법을 이용하여 가장 픽셀 밀도가 높은 점을 추출함으로써, 같은 위치에 모인 픽셀들을 하나의 클러스터로 지정하는 클러스터 지정부;
    각각의 클러스터에 속하는 픽셀들이 이루는 두께 및 픽셀의 개수 정보를 이용하여 글자 후보 클러스터로 지정하는 글자 후보 클러스터 지정부;
    상기 글자 후보 클러스터 지정부를 통해 지정된 각각의 글자 후보 클러스터에서 평균값을 구함으로써, 글자 후보 색상을 추출하는 글자 후보 색상 추출부;
    각각의 글자 후보 색상에 대한, 주변 영역의 픽셀들이 글자 픽셀인지 여부를 판단하는 글자 픽셀 판단부;
    글자 후보 색상이 가진 연결성분에 대해서, 수평정렬(horizontal alignment), 높이(height) 및 두께(thickness) 측정을 통해, 하나의 글자 후보 색상을 선택하여 실제 글자 색상으로 결정함으로써, 문자열 추출을 종료하는 실제 글자 색상 선택부; 및
    상기 추출된 문자열에서 실제 글자 색상의 연결성분에 비해 크기가 작은 성분 또는 성분 내부에 비어있는 홀을 포함하는 노이즈를 제거하고, 영상을 이진화하는 후처리부; 를 포함하는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  2. 제 1 항에 있어서,
    상기 영상 표시수단은,
    상기 문자 인식수단을 통해 변환된 문자 데이터를 해당 글자의 전면에 표시하며, 영상 하단에 텍스트 박스를 구성하여 텍스트로 표시하는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  3. 제 1 항에 있어서,
    상기 마커 표시수단은,
    마커의 크기를 확대 또는 축소시키는 마커 조작부;
    촬영 버튼을 포함한 촬영 조작부; 및
    사용자의 촬영 버튼의 누름에 따른 영상 정보 및 마커의 위치정보를 저장하는 정보 저장부; 를 포함하는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 글자 후보 클러스터 지정부는,
    각각의 클러스터에 대하여, 픽셀들이 이루는 두께의 표준편차가 임계값 이하인 클러스터들을 추출하고, 추출된 각각의 클러스터의 픽셀 개수를 계산하여 픽셀의 개수가 많은 순서대로, 소정개수의 클러스터를 선택하여, 이를 글자 후보 클러스터로 지정하는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  6. 제 1 항에 있어서,
    상기 글자 픽셀 판단부는,
    주변 영상의 픽셀들과 각 글자 후보 색상과의 색상 거리(D)를 계산하는 색상거리 계산모듈; 및
    주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값과 임계값을 비교함으로써, 임계값 이상인지 여부를 판단하고, 이상일 경우 해당 픽셀을 글자 픽셀로 결정하며, 미만일 경우 해당 픽셀을 배경픽셀로 결정하는 글자 픽셀 판단모듈; 을 포함하는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  7. 제 1 항에 있어서,
    상기 글자 픽셀 판단부는,
    영상 전체가 아닌, 처음 마커의 영역에서 상하 좌우 방향으로 영역을 확대함으로써, 글자픽셀로 결정된 픽셀들이 하나의 연결성분을 이루도록 하는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  8. 제 1 항에 있어서,
    상기 실제 글자 색상 선택부는,
    각각의 글자 후보 색상안에서 각 연결성분이 수평 방향으로 나열된 정도, 높이가 비슷한 정도, 두께 변화가 적은 정도를 측정하여, 소정 개수의 글자 후보 색상 중, 하나를 선택하여 실제 글자 색상으로 결정하는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  9. 제 1 항에 있어서,
    상기 마커는, 테두리로 표시되는 원형 또는 사각형의 표시그림으로서, 최초에는 영상 표시수단에 고정되어 있는 것을 특징으로 하는 마커를 이용한 문자열 추출 시스템.
  10. 영상을 입력받는 카메라(C)가 부착된 문자열 추출 시스템을 이용한 문자열 추출 방법에 있어서,
    (a) 영상 표시수단이 카메라(C)를 통해 입력되는 영상 정보에 마커를 표시하는 과정;
    (b) 마커 표시수단이 사용자의 촬영 버튼 누름에 따라 입력되는 영상의 정보 및 마커의 위치정보를 저장하는 과정;
    (c) 문자열 추출수단이 상기 (b) 과정을 통해 저장된 영상 정보 및 마커의 위치정보를 이용하여, 마커가 위치한 영역의 글자와 상기 글자를 포함하는 문자열을 추출하는 과정;
    (d) 문자 인식수단이 상기 (c) 과정으로부터 이진화된 영상을 입력받아 문자 데이터로 변환하는 과정; 및
    (e) 상기 영상 표시수단이 상기 (d) 과정을 통해 변환된 문자 데이터를 해당 글자의 전면에 표시하고, 텍스트 박스를 통해 인식 결과를 텍스트로 표시하는 과정; 을 포함하되,
    상기 (c) 과정은,
    (c-1) 상기 문자열 추출수단이 마커 영역 내부의 각 픽셀의 색상을 R, G, B로 나누고, R, G, B 각각에 대하여 경계값을 추출한 후, 각 픽셀에 대하여 세 개의 R, G, B 경계값 중 최대값을 취함으로써, 3×3 크기의 윈도우 안에서 가장 작은 경계값을 가지는 픽셀을 선택하여 샘플링하는 단계;
    (c-2) 상기 문자열 추출수단이 각각의 샘플링된 픽셀들에 대하여 평균이동 방법을 이용하여 가장 픽셀 밀도가 높은 점을 추출함으로써, 같은 위치에 모인 픽셀들을 하나의 클러스터로 지정하는 단계;
    (c-3) 상기 문자열 추출수단이 각각의 클러스터에 속하는 픽셀들이 이루는 두께 및 픽셀의 개수 정보를 이용하여 글자 후보 클러스터로 지정하는 단계;
    (c-4) 상기 문자열 추출수단이 상기 (c-3) 단계를 통해 지정된 각각의 글자 후보 클러스터에서 평균값을 구함으로써, 글자 후보 색상을 추출하는 단계;
    (c-5) 상기 문자열 추출수단이 주변 영상의 픽셀들과 각 글자 후보 색상과의 색상 거리를 계산하는 단계;
    (c-6) 상기 문자열 추출수단이 주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값과 임계값을 비교함으로써, 임계값보다 큰 지 여부를 판단하는 단계;
    (c-7) 상기 (c-6) 단계의 판단결과, 주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값이 임계값 이상일 경우, 상기 문자열 추출수단이 해당 픽셀을 글자 픽셀로 결정하는 단계;
    (c-8) 상기 문자열 추출수단이 글자 후보 색상이 가진 연결성분에 대해서, 수평정렬(horizontal alignment), 높이(height) 및 두께(thickness) 측정을 통해, 하나의 글자 후보 색상을 선택하여 실제 글자 색상으로 결정함으로써, 문자열 추출을 종료하는 단계; 및
    (c-9) 상기 문자열 추출수단이 상기 (c-8) 단계를 통해 추출된 문자열에서 실제 글자 색상의 연결성분에 비해 크기가 작은 성분 또는 성분 내부에 비어있는 홀을 포함하는 노이즈를 제거하고, 영상을 이진화하는 단계; 를 포함하는 것을 특징으로 하는 마커를 이용한 문자열 추출 방법.
  11. 삭제
  12. 제 10 항에 있어서,
    (c-10) 상기 (c-6) 단계의 판단결과, 주변 영역 각각의 픽셀이 갖는 글자 후보 색상과의 색상거리 값이 임계값 미만일 경우, 상기 문자열 추출수단이 해당 픽셀을 배경픽셀로 결정하는 단계; 를 더 포함하는 것을 특징으로 하는 마커를 이용한 문자열 추출 방법.
KR1020080107587A 2008-10-31 2008-10-31 마커를 이용한 문자열 추출 시스템 및 그 방법 KR101012729B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080107587A KR101012729B1 (ko) 2008-10-31 2008-10-31 마커를 이용한 문자열 추출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080107587A KR101012729B1 (ko) 2008-10-31 2008-10-31 마커를 이용한 문자열 추출 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100048436A KR20100048436A (ko) 2010-05-11
KR101012729B1 true KR101012729B1 (ko) 2011-02-09

Family

ID=42275200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080107587A KR101012729B1 (ko) 2008-10-31 2008-10-31 마커를 이용한 문자열 추출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101012729B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417901B1 (ko) * 2012-06-12 2014-07-10 주식회사 인지소프트 모바일 카메라를 이용한 위치기반 플레이트 인식 방법 및 이를 제공하는 모바일 디바이스
KR101388196B1 (ko) * 2012-11-12 2014-04-23 재단법인대구경북과학기술원 모바일 단말기의 카메라 기반 필기 인식 방법 및 그 장치
KR102053067B1 (ko) * 2018-03-12 2019-12-06 주식회사 한글과컴퓨터 폰트 결정 장치 및 이의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021120A (ko) * 2001-09-05 2003-03-12 가부시키가이샤 히타치세이사쿠쇼 휴대 장치 및 전송 시스템
KR100411697B1 (ko) * 1995-12-13 2004-03-30 가부시끼가이샤 히다치 세이사꾸쇼 문자판독방법및주소판독방법
KR20070078509A (ko) * 2006-01-27 2007-08-01 노틸러스효성 주식회사 지로 장표 수납기의 문자인식방법
KR100759165B1 (ko) * 2005-01-31 2007-09-14 가시오 히타치 모바일 커뮤니케이션즈 컴퍼니 리미티드 휴대단말, 휴대단말을 이용한 문자판독방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411697B1 (ko) * 1995-12-13 2004-03-30 가부시끼가이샤 히다치 세이사꾸쇼 문자판독방법및주소판독방법
KR20030021120A (ko) * 2001-09-05 2003-03-12 가부시키가이샤 히타치세이사쿠쇼 휴대 장치 및 전송 시스템
KR100759165B1 (ko) * 2005-01-31 2007-09-14 가시오 히타치 모바일 커뮤니케이션즈 컴퍼니 리미티드 휴대단말, 휴대단말을 이용한 문자판독방법
KR20070078509A (ko) * 2006-01-27 2007-08-01 노틸러스효성 주식회사 지로 장표 수납기의 문자인식방법

Also Published As

Publication number Publication date
KR20100048436A (ko) 2010-05-11

Similar Documents

Publication Publication Date Title
EP1382017B1 (en) Image composition evaluation
KR101617681B1 (ko) 히스토그램들을 갖는 다중 층 연결 요소들을 사용하는 텍스트 검출
US8175380B2 (en) Apparatus and method for improving text recognition capability
JP5456159B2 (ja) 背景から前景の頭頂部を分離するための方法および装置
EP2367138B1 (en) Image attribute discrimination apparatus, attribute discrimination support apparatus, image attribute discrimination method, attribute discrimination support apparatus controlling method, and control program
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
KR101461233B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
JP4713107B2 (ja) 景観中文字列認識方式および装置
US8565491B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
CN108564079B (zh) 一种便携式字符识别装置及方法
KR20110129158A (ko) 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템
CN110910394B (zh) 影像模组的解像力测量方法
KR101012729B1 (ko) 마커를 이용한 문자열 추출 시스템 및 그 방법
JP2008067321A (ja) データ登録管理装置
JP5027201B2 (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
KR101044652B1 (ko) 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법
JP5929282B2 (ja) 画像処理装置及び画像処理プログラム
KR101160968B1 (ko) 색상 정보 및 외곽선 정보를 이용한 문자열 인식 시스템 및 그 방법
JP2010186246A (ja) 画像処理装置、方法、及び、プログラム
JP5538969B2 (ja) 画像目標検出装置および画像目標検出方法
JP5441669B2 (ja) 画像処理装置及びその制御方法
JP2014071556A (ja) 画像処理装置、画像処理方法、及びプログラム
KR100619715B1 (ko) 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그문서 영상에서의 단어 추출방법
JP5708305B2 (ja) 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
JP4312185B2 (ja) ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee