KR101023389B1

KR101023389B1 - 문자 인식 성능을 향상시키기 위한 장치 및 방법

Info

Publication number: KR101023389B1
Application number: KR1020090014842A
Authority: KR
Inventors: 김상호; 오상욱; 오윤제; 황성택
Original assignee: 삼성전자주식회사
Priority date: 2009-02-23
Filing date: 2009-02-23
Publication date: 2011-03-18
Also published as: KR20100095835A; EP2221746A3; EP2221746B1; US20100215261A1; US8175380B2; EP2221746A2

Abstract

본 발명은 이동 통신 단말기에 장착된 카메라를 이용한 문자 인식의 성능을 향상시키기 위한 방법을 제안한다. 이를 위해 본 발명은 입력 영상에서 문자색과 문자 배경색을 구별한 후 문자 이외의 영역을 문자 배경색으로 단일화함으로써 문자 영역과 이를 둘러싼 배경 영역을 정교하게 분리할 수 있는 영상 전처리 과정으로 이루어진다. 본 발명에서는 촬영 환경에 적응적인 영상 전처리 방법을 제안함으로써 촬영 환경이 다양하게 변할지라도 안정적인 문자 인식 성능을 기대할 수 있다.

문자 인식, 전처리

Description

문자 인식 성능을 향상시키기 위한 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING PERFORMANCE OF CHARACTER RECOGNITION}

본 발명은 실시간 문자 인식을 위한 문자 영역 추출 장치 및 방법에 관한 것으로, 특히 자동으로 문자 영역을 추출한 후 문자 인식의 성능을 향상시키기 위한 장치 및 방법에 관한 것이다.

최근 카메라 기술의 발달로 인하여 PDA(Personal Digital Assistants)나 휴대폰 등과 같은 이동 통신 단말기에 카메라 기능을 내장시켜 정보 획득의 수단으로 활용할 수 있게 되었다. 이러한 이동 통신 단말기에 장착된 카메라를 이용한다면 실시간으로 입력되는 영상으로부터 어떠한 형태의 문자 정보도 쉽게 획득할 수 있으며, 입력된 영상으로부터 문자를 인식 및 처리함으로써 손쉽게 문자 인식 결과를 얻을 수 있다. 이러한 문자 인식 방법은 종래에 종이 문서를 스캐닝한 후 이를 인식하여 텍스트 파일이나 전자 문서의 형태로 변환하였던 방법과 달리 종이 문서뿐만 아니라 스캐너로 입력이 불가능한 문자들도 손쉽게 획득 가능하다는 점이 기존의 스캐너 기반 문자 인식과 차별화된다.

상기한 바와 같이 카메라를 이용한 문자 인식 방법은, 입력 대상 문자들이 기록되어있는 매체에 상관없이 문자 획득 및 인식이 가능할 뿐만 아니라 휴대가 용이한 이동 통신 단말기에서도 활용할 수 있기 때문에 최근 활발히 연구되고 있는 문자 인식 분야 중의 하나이다. 이러한 활용의 한 예로써, 이동 통신 단말기에 구비된 카메라로 전화번호 및 데이터와 같은 문자를 인식하는 기능이 있는데, 이를 OCR(Optical Character Recognition) 기능이라 한다.

이하, 일반적인 문자 인식 과정을 도 1을 참조하여 살펴보면 다음과 같다. 도 1을 참조하면, 100단계에서 문자 인식을 위한 영상 촬영이 시작되면 110단계에서 입력 영상을 그레이 영상으로 변환함으로써 그레이 데이터를 획득 등 문자 인식에서 사용 가능한 영상으로 변환하거나 필요한 처리를 하게 된다. 그리고나서 120단계에서 변환된 영상에 대해서는 문자 인식을 위해 적응적 이진화, 문자 기울기 보정 및 개별 문자 분리 등의 영상 전처리(image preprocessing)를 수행하게 된다. 이후 각 개별 문자는 130단계에서 주어진 크기로 변환되는 정규화 과정을 거치게 되며, 140단계에서 정규화된 개별 문자 영상마다 그 문자를 대표할 수 있는 특징(feature)을 추출하게 된다. 이어, 150단계에서 추출된 특징을 기반으로 미리 저장된 각 문자별 특징과 비교하여 가장 유사한 특징을 가지는 문자를 입력된 개별 문자의 인식 결과로 판단하게 된다. 이후 잘못 인식되거나 인식에 실패한 문자들을 수정하거나 제거할 수 있는 인식 후처리 과정을 수행한다.

카메라를 이용한 문자 인식의 경우에는 인식하고자 하는 문자 영상의 입력을 용이하게 하고, 실시간으로 입력된 문자를 인식한 결과를 표시할 수 있다는 점에서 손쉽게 문자 인식이 가능한 이점이 있다. 그러나 이러한 문자 인식의 경우 스캐너를 통한 문자 인식 방법과 달리 주변 조명의 영향을 많이 받기 때문에 여러 가지 이미지 전, 후처리 기능이 중요한 요소로 구성되게 된다. 또한 일반적으로 카메라 영상 문자 인식은 제한되지 않은 환경에서의 문자 입력 및 인식 대상이 되는 문자 종류의 다양성 등으로 인하여 카메라 문자 인식에 대한 안정된 인식 성능을 보장할 수 없다는 문제점이 있다.

게다가 종래의 명함 인식이나 기타 문자 인식과 같은 기술은 주로 문자와 배경의 구분이 비교적 뚜렷하고 배경의 구성이 심플하며 또한 문자색이 더 어둡고 배경 바탕색이 더 밝은 경우에 있어서 사용되고 있은 기술이다. 그러나 실제 인식하고자 하는 문자 영상은 매우 다양할 수 있으며, 특히 배경이 균일하지 않거나 문자색이 더 밝고, 배경 바탕색이 더 어두운 경우가 빈번하다. 예를 들면, 중국어로 쓰인 간판 문자 영상의 경우, 바탕색은 빨간색이고 문자색은 노란색인 경우가 매우 많으며, 일반적으로 도로나 건물의 표지판에도 어두운 바탕에 밝은 글자의 영상 문자가 매우 흔한 경우이다. 이러한 반전 문자의 경우 문자 인식이 제대로 수행되지 않는 경우가 있으며 이에 따라 촬영된 문자 영상의 반전 여부를 신속하게 판단한 후 필요에 따라 반전처리를 수행하기 위해서는 기존의 문자 인식에 사용된 것과는 다른 기술이 필요하다. 즉, 불균일한 배경에 둘러싸인 문자 단어 및 배경에 비해 밝은 글자로 된 영상 문자를 인식하여 처리할 수 있는 이미지 전처리 기술이 필요하다.

따라서 카메라 입력 문자 영상에 포함된 문자에 대한 인식의 성능을 높이기 위해서는 카메라 특성 및 촬영 환경에 적응적인 전처리와 인식된 문자가 올바르게 인식되었는지 확인하고 오인식된 경우 그것을 보정할 수 있는 후처리 기능이 필요하게 된다.

따라서 본 발명은, 카메라를 구비한 이동 통신 단말기에서 문자 영역을 정교하게 추출한 후 추출된 문자 영역에서의 문자를 인식하는 성능을 향상시키기 위한 장치 및 방법을 제공한다.

또한 본 발명은 카메라를 구비한 이동 통신 단말기에서 문자와 배경을 정확하게 구분할 수 있는 입력 영상에 대한 효과적인 전처리 기능을 제안함으로써 문자 인식 성능을 향상시키기 위한 장치 및 방법을 제공한다.

상술한 바를 달성하기 위한 본 발명은, 카메라가 구비된 이동 통신 단말기에서 문자 인식 성능을 향상시키기 위한 장치에 있어서, 입력 영상에 문자가 존재하는지 판단하고, 문자가 존재하는 경우 문자색 및 상기 문자를 둘러싼 문자배경색을 결정하고, 문자 영역 이외의 배경 영역을 결정된 문자배경색으로 단일화하는 문자 영역 검출부와, 상기 단일화된 배경을 가지는 문자 영상의 반전 여부를 판단하고, 반전 문자 영상일 경우 반전 처리하는 반전 처리부와, 상기 반전 처리부로부터의 반전 문자 영상 또는 상기 단일화된 배경을 가지는 문자 영상으로부터 문자를 인식한 후 인식 결과를 출력하는 문자 인식부를 포함함을 특징으로 한다.

또한 본 발명은, 카메라가 구비된 이동 통신 단말기에서 문자 인식 성능을 향상시키기 위한 방법에 있어서, 입력 영상에 문자가 존재하는지 판단하는 과정과, 문자가 존재하는 경우 문자색 및 상기 문자를 둘러싼 문자배경색을 결정하는 과정과, 문자 영역 이외의 배경 영역을 결정된 문자배경색으로 단일화하는 과정과, 상기 단일화된 배경을 가지는 문자 영상으로부터 문자를 인식한 후 인식 결과를 출력하는 과정을 포함함을 특징으로 한다.

본 발명은 이동 통신 단말기에 장착된 카메라를 이용하여 실시간 이미지를 촬영하면서, 그 이미지 안에 포함된 문자 영역을 자동 검출하여 문자 영역과 이를 둘러싼 배경 영역을 분리하는 이미지 전처리의 기술적인 방법을 제공함으로써, 오인식을 줄이고 문자 인식 성능 결과를 향상시킬 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

상기한 바와 같은 기능이 구현된 문자 인식 장치의 구성요소 및 그 동작을 도 2를 참조하여 살펴보기로 한다. 도 2를 참조하면, 문자 인식 장치(200)는 문자 판독 프로그램이 내장되어 있어서 입력된 영상을 분석하고 영역을 분리하여 분리된 영상을 근거로 문자를 인식하는 기능을 수행한다. 이러한 기능을 제공하기 위해 문자 인식 장치(200)는 크게 영상 전처리부(210), 전자 사전(240) 및 문자 인식부(250)를 포함한다.

먼저, 영상 전처리부(210)는 카메라로 촬영되는 실시간 영상이 입력되면 그 입력된 영상에서 문자 영역을 검출하는 문자 영역 검출부(220) 및 문자색이 배경색보다 밝은 경우의 반전 문자를 처리하기 위한 반전 처리부(230)를 포함한다. 이때, 입력 영상에서 블러, 잡음, 조명, 그림자, 반사 등을 제거하고 기울기를 조절하는 등에 필요한 구성부는 영상 전처리부(210)내에 구현될 수 있으며, 내부적으로 구현된 각 구성부에서의 동작은 당업자에게 명백하므로 그 상세한 설명은 생략하기로 한다.

문자 영역 검출부(220)는 입력 영상에 대해 문자가 존재하는지의 여부를 판단한 후 문자가 존재할 경우 그 입력 영상에서 문자 영역과 배경 영역을 구분한다. 여기서, 문자 인식 부분의 지정은 사용자 가이드 마커를 이용한다. 예를 들면, 사용자가 사용자 가이드 마커를 이용하여 카메라 프리뷰(preview) 영상 내에서 그 사용자 가이드 마커를 이동시킴으로써 사용자가 현재 원하는 문자 인식 부분을 지정할 수 있도록 한다. 이에 따라 사용자가 원하는 문자 인식 부분에 사용자 가이드 마커(user guide marker)를 위치시키면, 문자 영역 검출부(220)는 그 사용자 가이드 마커가 가리키는 위치에서의 문자 존재 여부를 판단한다. 이때, 사용자 가이드 마커의 이동에 따라 도면부호 20에 지시되는 바와 같이 자동으로 단어 단위의 블록이 지정될 수 있으며, 블록 지정 방법은 이에 한정되지 않는다.

만일 그 입력 영상에 문자가 존재하는 경우 문자 영역 검출부(220)는 그 입력 영상에서 문자 영역과 배경 영역을 구분한다. 여기서, 배경 영역은 문자 이외의 영역을 의미하는데, 이러한 배경 영역은 문자를 직접 둘러싼 문자 배경 영역과 그 문자 영역과 직접 관련이 없는 간접 배경 영역으로 이루어진다. 이러한 문자 영역과 배경 영역을 구분하기 위해 문자 영역 검출부(220)는 우선 문자색(text color)과 문자 영역을 둘러싼 문자배경의 색(text-background color)을 구별한 후 문자 주위의 배경을 단일화한다. 구체적으로, 문자 영역 검출부(220)는 문자 배경색을 바탕으로 주요한 문자 배경 영역을 추출하고, 문자를 직접 둘러싼 주요한 배경이 아닌 간접 배경을 제거하고, 그 간접 배경 영역의 색을 주요한 문자 배경 영역의 색으로 단일화한다. 이와 같이 문자 영역 이외의 배경 영역을 단순화함으로써 불균 일한 배경에 문자가 둘러싸여 있을지라도 정교하게 문자만을 추출하는 것이 가능하게 된다.

반전 처리부(230)는 단일화된 배경 영역의 색과 문자색을 바탕으로 문자색이 그 배경 영역의 색보다 더 밝은지를 판단하고, 문자색이 더 밝을 경우 단일화된 배경을 가지는 문자 영상의 명암을 반전처리한다.

전자 사전(240)은 문자 인식부(250)와의 전자 사전 연동 기능을 제공하기 위한 수단으로, 인식된 문자에 대한 번역 데이터를 저장한다.

문자 인식부(250)는 문자를 추출하는 과정을 수행한다. 예를 들면, 문자의 추출은 배경 및 문자를 분리하고 크기, 형태 및 폰트를 정규화하고, 문자 특징 벡터의 추출, 특징 벡터를 이용한 문자 인식, 사전 정보를 이용한 오인식 문자 보정 등으로 이루어진다. 문자 인식부(250)는 인식 결과 데이터로서 전자 사전(240)과 연동하여 인식된 문자에 대한 표시 및 번역 결과를 출력할 수 있다. 이에 따라 실시간으로 검출된 문자 영역(40)에 대한 인식 결과가 출력될 수 있다. 본 발명에서는 실시간 문자 영역 검출 기술을 적용함으로써 실시간으로 인식된 문자에 대해 매칭되는 전자 사전(240)의 검색 결과를 이용한 응용서비스의 일 예로서 예컨대, 번역 결과가 표시되는 영상(30)이 출력되는 경우를 예시하고 있다.

상기와 같은 구성을 가지는 문자 인식 장치(200)는 문자와 배경을 구분하고, 문자색과 배경색을 자동적으로 구별하여 해당 인식 대상 문자 영역을 검출하고, 배경색이 더 밝을 경우와 문자색이 더 밝은 경우를 능동적으로 판단한다. 이에 따라 본 발명에 따른 문자 인식 장치(200)는 문자 영상에 대한 적절한 전처리 기능을 수 행함으로써 문자 인식 성능을 보다 더 향상시킬 수 있으며, 특히, 이동 통신 단말기에서의 실시간 문자 영상 인식을 실행할 때에 상기와 같은 영상 전처리 기술은 매우 중요한 역할을 하게 된다.

위와 같은 영상 전처리를 위해 이하 설명되는 본 발명의 주요한 기술적 특징을 크게 다음과 같은 3단계로 나눌 수 있다. 첫번째 단계는 카메라로 촬영되는 실시간 문자 영상에서 문자색과 문자 배경색을 구별하기 위해 입력된 문자 영상을 분석하는 단계이다. 두번째 단계는 첫번째 단계의 결과를 바탕으로 문자 배경색을 근거로 문자 영역 이외의 영역들을 그 문자 배경색으로 단일화하는 단계이다. 세번째 단계는 입력 문자 영상의 반전 여부를 판단하여 반전 문자 영상일 경우 반전하는 단계이다. 이러한 영상 전처리 과정을 통해 본 발명에서는 보다 높은 문자 인식 성능을 얻을 수 있게 된다.

이하, 본 발명의 실시예에 따른 문자 인식 과정을 도 3을 참조하여 설명하기로 한다.

도 3을 참조하면, 문자 인식 장치는 300단계에서 프리뷰 영상이 입력되면 305단계에서 그 프리뷰 영상 내에 문자가 존재하는지의 여부를 판단한다. 직관적으로 사용자가 프리뷰 영상 상에서 사용자 가이드 마커를 인식하고자 하는 문자 영역에 위치시킬 것임은 예측 가능한 사항이지만, 본 발명에서 문자 존재 여부의 판단을 위한 구체적인 동작은 도 4에서 구체적으로 설명하기로 한다.

문자 인식 장치는 310단계에서 만일 문자가 존재할 경우 315단계에서 문자색 및 문자 배경색을 판단한다. 본 발명에서는 문자색 및 문자 배경색을 결정하기 위 해 사용자 가이드 마커를 기준으로 정의된 미리 정해진 크기의 센터 블록(center block)과, 상하 스캐닝을 위한 무빙 블록(moving block)을 이용한다. 무빙 블록의 스캐닝을 통해 히스토그램을 구한 후 이를 분석하여 문자 배경 색상을 결정하고, 문자색은 센터 블록의 히스토그램 분석을 통해 결정하는데, 이에 대한 구체적인 설명은 도 5를 참조하여 후술하기로 한다. 이때, 무빙 블록의 스캐닝을 통해 히스토그램뿐만 아니라 에지도 획득함으로써 문자 배경 색상을 구하는데 사용할 수 있다.

이어 문자 인식 장치는 320단계에서 문자 배경색을 근거로 문자 배경 영역을 판단한다. 구체적으로, 문자 배경색과 같은 색상을 가지는 배경 영역들의 블랍(blobs)들을 획득한 후, 그 블랍들 중 문자 영역과 인접한 블랍을 유효한 문자 배경 영역으로 결정한다. 이에 대한 구체적인 설명은 도 7을 참조하여 후술하기로 한다. 그리고나서 문자 인식 장치는 325단계에서 문자 주위의 문자 배경을 단일화한 후 330단계에서 문자 배경색을 가지고 다른 문자 배경 영역 즉, 간접 배경 영역을 채운다. 이어 335단계에서 문자색의 반전이 필요한지의 여부를 판단한다. 판단 결과 반전이 필요한 경우 340단계에서 입력 영상을 반전한 후 345단계에서 단일 배경색을 가지는 문자를 인식하게 된다. 이와 같이 본 발명에서는 문자 영역 이외의 영역들을 균일하게 만든 후에 문자 인식을 수행하기 때문에 오인식을 줄임과 동시에 문자 인식 성능을 향상시킬 수 있다. 게다가 단일화된 배경을 가지는 문자를 인식할 때 문자 영상의 반전 여부를 판단하고, 필요한 경우 반전처리를 수행함으로써 문자인식 성능을 보다 향상시킬 수 있다.

한편, 본 발명에서 문자 존재 여부의 판단을 위한 과정을 도 4를 참조하여 설명하기로 한다. 도 4를 참조하면, 프리뷰 영상이 입력되면 문자 인식 장치는 400단계에서 소벨 에지 검출(sobel edge detection) 및 색공간 양자화(color space quantization)를 수행한다. 문자의 존재 여부를 검색하기 위한 특징적 정보인 에지 및 히스토그램을 산출하기 위해 소벨 에지 검출 및 색공간 양자화를 수행한다.

일반적으로 사용자가 프리뷰 영상에서 문자가 있는 곳에 사용자 가이드 마커를 위치시킬 것임은 예측 가능한 사항이기 때문에 사용자 가이드 마커를 중심으로 한 일정 부분에 대해서만 문자가 존재하는지를 판단하면 된다. 이를 위해 문자 인식 장치는 410단계에서 프리뷰 영상에서 사용자 가이드 마커를 기준으로 한 미리 정해진 크기의 센터 블록을 설정한다. 그리고나서 420단계에서 센터 블록내에서 에지 및 히스토그램을 획득한다. 예를 들어, 도 6(a)에서와 같이 사용자 가이드 마커(600)가 위치한 입력 영상에서 소벨 에지 검출을 통해 얻어지는 영상은 도 6(b)의 도면부호 625에 의해 지시되는 바와 같다. 이러한 에지 영상(625)에서 센터 블록의 에지는 도면부호 620에 의해 지시되는 바와 같다.

여기서, 문자의 존재 여부를 판단할 때에는 획득한 에지만을 이용한다. 획득한 히스토그램은 향후 문자색 및 문자배경색을 구하는데 이용된다. 따라서 문자 인식 장치는 430단계에서 그 센터 블록에서 영상 처리를 통해 획득한 에지수를 카운트한 후, 440단계에서 그 에지 수가 임계값 이상이 되는지를 판단한다. 에지 수가 임계값 이상이 아닐 경우에는 도 3의 300단계로 되돌아가 영상을 다시 입력받는다. 이와 달리 에지 수가 임계값 이상이 되면 문자 인식 장치는 450단계에서 프리뷰 영상 내에 문자가 존재한다고 판단하게 된다.

도 4에서와 같은 방법으로 문자가 존재한다고 판단하게 되면 문자색 및 문자배경색을 결정하게 된다. 이를 구체적으로 설명하기 위해 도 5를 참조하면, 문자 인식 장치는 500단계에서 센터 블록 주위에 m×n 크기의 무빙 블록을 설정한다. 예를 들어, 도 6(a)에서와 같이 입력 영상에 사용자 가이드 마커(600)를 위치시키게 되면 도 6(b)의 양자화된 영상(615)에서 무빙 블록(610)이 센터 블록 주위에서 상하로 스캐닝을 시작하게 된다. 문자 인식 장치는 505단계에서 이러한 무빙 블록을 이용하여 업다운 스캔을 수행하고, 이에 따라 510단계에서 무빙 블록에서 히스토그램과 에지를 획득하게 된다. 이어, 문자 인식 장치는 515단계에서 획득한 히스토그램을 분석하여 무빙 블럭 내의 픽셀들에 대한 색상값과 에지 개수를 산출한다. 문자 인식 장치는 520단계에서 산출된 색상값과 에지 개수가 각각 임계값 이상인지를 판단하고, 임계값 이상의 색상값이나 에지 개수가 산출되지 않는다면 무빙 블록의 업다운 스캔은 계속되지만, 임계값 이상이 되면 525단계에서 산출된 색상값을 문자 배경색으로 결정한다.

위와 같은 방법으로 문자 배경색이 결정되면 문자 인식 장치는 530단계에서 센터 블록의 히스토그램 분석을 수행하고 535단계에서 그 분석 결과를 이용하여 문자색을 결정한다. 예를 들어, 도 6(c)에서는 센터 블록에서의 히스토그램을 보여주는데, 센터 블록에는 문자와 문자를 직접적으로 둘러싼 주요 문자 배경이 위치하므로 색을 나타내는 x축 상에 2개의 피크가 나타나게 된다. 이에 따라 2개의 피크는 각각 문자색과 문자배경색을 나타냄을 알 수 있는데, 문자 배경색이 일단 구해지면 문자색은 센터 블록내의 히스토그램 분석을 통해 결정되는 것이다. 만일 무빙 블록 이 도 6(b)의 도면부호 617에 의해 지시되는 곳에 위치할 경우에는 무빙 블록 내에는 문자색에 대한 피크는 나타나지 않을 것이며 문자배경색에 대한 하나의 피크만이 나타난다.

한편, 도 5에서와 같은 방법으로 문자색 및 문자 배경색이 결정되면 문자만을 정교하게 검출하기 위해 문자 이외의 영역을 즉, 배경을 전체적으로 균일하게 만들기 위한 단순화하는 과정을 수행하게 된다. 여기서 입력 문자 영상은 크게 문자가 존재하는 문자 영역, 문자를 직접 둘러싸고 있는 문자 배경 영역 및 문자 영역과는 직접 관계가 없는 간접 배경 영역으로 구성된다. 특히 본 발명에서는 간접 배경 영역을 문자 배경 영역의 색으로 채움으로써 단일화된 배경으로부터 문자를 인식하기 때문에 문자 인식에 대한 더 높은 인식 성능을 얻을 수 있게 된다. 이러한 과정을 도 7을 참조하여 설명하기로 한다.

도 7을 참조하면, 문자 인식 장치는 700단계에서 양자화된 영상에서 문자 배경색을 사용함으로써 그 문자 배경색과 같은 색상을 가지는 문자 배경 영역들에 해당하는 블랍(blobs)들을 획득한다. 그리고나서 710단계에서 위치 및 크기 기반의 블랍들 분석을 수행한 후 720단계에서 블랍들 중 문자 배경 블랍을 검색한다. 이러한 검색을 통해 730단계에서 문자 배경 영역을 결정하게 된다. 즉, 블랍들 중 문자 영역과 인접한 블랍을 유효한 문자 배경 영역으로 결정한다. 이를 구체적으로 설명하기 위해 도 8을 참조하면, 양자화된 영상에서 문자 배경색의 블랍들(800)을 모으면, 도 8(a)에서와 같이 그 수집된 블랍이 문자 배경에 해당한다. 그 중에서도 문자 영역과 인접한 블랍을 유효한 문자 배경 영역으로 선택하게 되면, 도 8(b)에서 와 같이 단일화된 문자 배경이 나타나게 된다. 그리고나서 그 문자 배경색으로 문자 배경 영역 이외의 영역인 나머지 문자 배경영역(non-text-background region) 즉, 간접 배경 영역을 채우면 그 나머지 문자 배경영역이 제거되면서 도 8(c)에서와 같이 문자와 단일화된 배경의 최종 문자 영상을 얻을 수 있게 된다.

이러한 최종 문자 영상을 얻게 되면 그 문자 영상에 대해 전자 사전과의 연동을 통해 문자 인식 결과를 제공해줄 수 있게 된다. 이때, 문자 영상의 반전 여부를 확인한 후 반전 영상일 경우에는 반전 처리 후에 문자 인식을 수행하여 문자 인식 결과를 출력한다. 이와 같이 본 발명에 따르면, 문자 영역을 둘러싼 배경 영역으로부터 문자 영역만을 검출하기 위해 문자 이외의 영역을 단순화함으로써 문자 인식 성능을 높일 수 있으며, 특히 반전 영상의 경우에도 문자 인식이 가능한 이점이 있다.

도 1은 종래의 일반적인 문자 인식 과정을 나타내는 흐름도,

도 2는 본 발명의 일실시예에 따른 문자 인식 장치의 내부블록 구성도,

도 3은 본 발명의 일실시예에 따른 문자 인식 과정을 나타내는 흐름도,

도 4는 상기 도 3에서의 문자 존재 판단 과정에 대한 상세 흐름도,

도 5는 상기 도 3에서의 문자색 및 문자 배경색 판단 과정에 대한 상세 흐름도,

도 6은 상기 도 5의 과정을 설명하기 위한 예시도,

도 7은 상기 도 3에서의 문자 배경 영역 판단 과정에 대한 상세 흐름도,

도 8은 상기 도 7의 과정을 설명하기 위한 예시도.

Claims

카메라가 구비된 이동 통신 단말기에서 문자 인식 성능을 향상시키기 위한 장치에 있어서,

입력 영상에 문자가 존재하는지 판단하고, 문자가 존재하는 경우 문자색 및 상기 문자를 둘러싼 문자배경색을 결정하고, 문자 영역 이외의 배경 영역을 결정된 문자배경색으로 단일화하는 문자 영역 검출부와,

상기 단일화된 배경을 가지는 문자 영상의 반전 여부를 판단하고, 반전 문자 영상일 경우 반전 처리하는 반전 처리부와,

상기 반전 처리부로부터의 반전 문자 영상 또는 상기 단일화된 배경을 가지는 문자 영상으로부터 문자를 인식한 후 인식 결과를 출력하는 문자 인식부를 포함함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 장치.
제1항에 있어서, 상기 문자 영역 검출부는,

상기 입력 영상에서 사용자에 의해 이동가능한 사용자 가이드 마커를 중심으로 미리 정해진 크기의 센터 블록을 설정하고, 설정된 센터 블록내에서 획득한 에지수가 임계값 이상일 경우 문자가 존재한다고 판단함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 장치.
제2항에 있어서, 상기 문자 영역 검출부는,

상기 센터 블록 주위에 미리 정해진 크기의 무빙 블록을 설정하고, 상기 무빙 블록의 스캐닝을 통해 히스토그램 및 에지를 구한 후, 상기 히스토그램 분석을 통해 산출된 색상값 및 에지 개수를 이용하여 상기 문자배경색을 결정함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 장치.
제2항에 있어서, 상기 문자 영역 검출부는,

상기 센터 블록의 히스토그램을 구하고, 상기 센터 블록의 히스토그램 분석을 통해 상기 문자색을 결정함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 장치.
제1항에 있어서, 상기 문자 영역 검출부는,

상기 문자배경색과 같은 색상을 가지는 블랍(blobs)들을 획득하고, 위치 및 크기 기반의 블랍들 분석을 수행한 후 상기 블랍들 중 문자 배경 블랍을 검색함으로써 문자 배경 영역을 결정하고, 상기 문자 배경 영역 이외의 영역을 상기 문자배경색으로 단일화함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 장치.
제1항에 있어서,

문자에 대한 번역 데이터를 저장하며, 상기 문자 인식부와 연동하여 인식된 문자에 대한 번역 결과를 제공하는 전자 사전을 더 포함함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 장치.
카메라가 구비된 이동 통신 단말기에서 문자 인식 성능을 향상시키기 위한 방법에 있어서,

입력 영상에 문자가 존재하는지 판단하는 과정과,

문자가 존재하는 경우 문자색 및 상기 문자를 둘러싼 문자배경색을 결정하는 과정과,

문자 영역 이외의 배경 영역을 결정된 문자배경색으로 단일화하는 과정과,

상기 단일화된 배경을 가지는 문자 영상으로부터 문자를 인식한 후 인식 결과를 출력하는 과정을 포함함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 방법.
제7항에 있어서,

상기 단일화된 배경을 가지는 문자 영상의 반전 여부를 판단하는 과정과,

반전 문자 영상일 경우 상기 문자 인식 이전에 상기 반전 문자 영상을 반전 처리하는 과정을 더 포함함을 특징으로 하는 문자 인식 성능을 향상시키기 위한 방법.
제7항에 있어서, 상기 문자가 존재하는지 판단하는 과정은,

상기 입력 영상에서 사용자에 의해 이동가능한 사용자 가이드 마커를 중심으로 미리 정해진 크기의 센터 블록을 설정하는 과정과,

설정된 센터 블록내에서 획득한 에지수가 임계값 이상일 경우 문자가 존재한다고 판단하는 과정임을 특징으로 하는 문자 인식 성능을 향상시키기 위한 방법.
제9항에 있어서, 상기 문자를 둘러싼 문자배경색을 결정하는 과정은,

상기 센터 블록 주위에 미리 정해진 크기의 무빙 블록을 설정하는 과정과,

상기 무빙 블록의 스캐닝을 통해 히스토그램 및 에지를 구하는 과정과,

상기 무빙 블록의 히스토그램 분석을 통해 산출된 색상값과 에지 개수를 이용하여 상기 문자배경색을 결정하는 과정임을 특징으로 하는 문자 인식 성능을 향상시키기 위한 방법.
제9항에 있어서, 상기 문자색을 결정하는 과정은,

상기 센터 블록의 히스토그램을 구하는 과정과,

상기 센터 블록의 히스토그램 분석을 통해 상기 문자색을 결정함을 특징으로 문자 인식 성능을 향상시키기 위한 방법.
제7항에 있어서, 상기 문자 영역 이외의 배경 영역을 결정된 문자배경색으로 단일화하는 과정은,

상기 문자배경색과 같은 색상을 가지는 블랍(blobs)들을 획득하는 과정과,

위치 및 크기 기반의 블랍들 분석을 수행한 후 상기 블랍들 중 문자 배경 블랍을 검색하는 과정과,

상기 검색을 통해 문자 배경 영역을 결정하고, 결정된 문자 배경 영역 이외의 영역을 상기 문자배경색으로 단일화하는 과정임을 특징으로 하는 문자 인식 성능을 향상시키기 위한 방법.