KR102167433B1

KR102167433B1 - 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치 및 그 방법

Info

Publication number: KR102167433B1
Application number: KR1020190044195A
Authority: KR
Inventors: 김계경; 강상승; 김재홍
Original assignee: 한국전자통신연구원
Priority date: 2019-04-16
Filing date: 2019-04-16
Publication date: 2020-10-19

Abstract

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치 및 그 방법이 개시된다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 다중 문자가 포함된 영상을 획득하고, 상기 다중 영상을 전처리하여 다중 문서 영상을 획득하는 다중 문서 영상 생성부, 상기 다중 문서 영상으로부터 문자 블럽을 추출하고 상기 문자 블럽의 구조를 분석하며 상기 문자 블럽으로부터 문자를 검출하는 문자 영역 검출부, 상기 문자로부터 위치 변화 문자 영상, 크기 변화 문자 영상, 각도 변화 문자 영상 및 잡음 변화 문자 영상을 획득하는 다중 패턴 문자 영상 생성부, 그리고 상기 위치 변화 문자 영상, 크기 변화 문자 영상, 각도 변화 문자 영상 및 잡음 변화 문자 영상에 대한 학습 데이터셋을 생성하고, 상기 영상들에 대하여 정규화 및 훈련을 수행하는 문자 검출 및 인식기 학습부를 포함할 수 있다.

Description

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치 및 그 방법{APPARATUS FOR AUTOMATIC CHARACTER GENERATION BASED ON MULTI-PATTERN CHARACTER IMAGE RECOGNITION AND METHOD THEREOF}

본 발명은 다중 패턴 문자 영상을 자동으로 생성하는 것을 기반으로 하여 문자를 인식하는 장치 및 그 방법에 관한 것이다.

실제 환경에서 획득한 문서 영상은 배경이 복잡하고 조명이 다양하다. 뿐만 아니라, 문서 영상을 획득할 때 문서가 놓인 각도 변화로 인해 문서 영상의 일부가 왜곡 또는 변형된 형태로 획득되는 경우가 발생할 수 있다.

이에 따라, 문서 구조와 활자체가 매우 다양하기 때문에 배경으로부터 문자 영역 검출 및 인식이 매우 어렵다.

한국공개특허공보 제10-2019-0015064호 (2019.02.13)

본 발명의 기술적 과제는 배경으로부터 문자 영역을 쉽게 검출하고 인식을 용이하게 하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치 및 방법을 제공하는 것이다.

본 발명의 실시예에 따르면, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치가 제공된다. 상기 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는, 다중 문자가 포함된 영상을 획득하고, 상기 다중 영상을 전처리하여, 다중 문서 영상을 획득하는 다중 문서 영상 생성부, 상기 다중 문서 영상으로부터 문자 블럽을 추출하고, 상기 문자 블럽의 구조를 분석하며, 상기 문자 블럽으로부터 문자를 검출하는 문자 영역 검출부, 상기 문자로부터 위치 변화 문자 영상, 크기 변화 문자 영상, 각도 변화 문자 영상 및 잡음 변화 문자 영상을 획득하는 다중 패턴 문자 영상 생성부, 그리고 상기 위치 변화 문자 영상, 크기 변화 문자 영상, 각도 변화 문자 영상 및 잡음 변화 문자 영상에 대한 학습 데이터셋을 생성하고, 상기 영상들에 대하여 정규화 및 훈련을 수행하는 문자 검출 및 인식기 학습부을 포함할 수 있다.

본 발명의 실시예에 따르면, 다양한 배경, 조명 환경 및 문서 영상이 가지는 다양한 형태의 구조, 사용자의 문서 영상 획득 환경 변화에 덜 민감하게 문자 영역을 검출하고 검출된 문자 영상을 기반으로 다중 패턴 문자 영상을 자동으로 생성하여 문자 검출 및 인식 학습에 활용할 수 있다.

또한, 본 발명의 실시예에 따르면, 문자 영역 자동 추출 및 각종 다양한 문서 영상 전반에 걸친 문자 인식 성능을 개선할 수 있다.

또한, 본 발명의 실시예에 따르면, 수작업을 통한 문서 디지털화 및 문서 검색에 소요되는 작업 시간 및 인건비를 경감시킬 수 있는 문자 인식 시스템에 응용할 수 있다.

도 1은 본 발명에 따른 실제 환경에서 획득한 문서 영상에 대한 다중 패턴 문자 영상 자동 생성 기반 문자 인식 방법 및 장치를 도시한다.
도 2는 본 발명의 실시예에 따른 다중 영상 전처리에 의한 다중 문서 영상 생성의 예를 도시한다.
도 3은 본 발명의 실시예에 따른 다중 패턴 문자 영상 생성 데이터 셋의 예를 도시한다.
도 4는 본 발명의 실시예에 따른 다중 패턴 문자 영상을 이용한 문자 영역 검출 및 인식기 학습 과정을 도시한다.
도 5는 실제 환경에서 획득한 문서 영상을 인식 대상으로 선정하여 문자 검출 및 인식기를 이용하여 문자 검출 및 인식하는 것을 나타낸 것이다.
도 6는 본 발명의 실시예에 따른 컴퓨터 시스템(600)을 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

최근 각종 공공 기관 및 금융 기관 등 에서 보유하고 있는 방대한 문서를 디지털화 하려는 움직임이 활발하지만 문서양이 워낙 방대하여 수작업으로 문서를 디지털화 하는데 수 십 년의 시간이 요구되므로, 방대한 각종 문서에서 문자 정보를 자동으로 검출, 인식. 저장 및 검색할 수 있는 문자 인식 기술이 요구된다.

하지만, 국내에는 다양한 종류의 문서 영상에서 문자 영역을 자동으로 검출하여 인식하는 상용 솔루션이 제대로 개발되어 있지 않기 때문에 상기 제시한 문제를 해결하기 위하여 국외 상용 제품에 의존하고 있는 실정이다.

그러나, 국외 상용 문자 인식 솔루션 제품도 각종 다양한 문서 종류에 대해 안정적인 문자 검출과 문자 인식 성능을 나타내는 기술이 제공되고 있지 않아 유형별 문서 영상 인식 기술이 개발되어 문서 디지털화에 적용되고 있다.

각종 금융권이나 공공 기관에서 다양한 종류의 문서 영상에 대해 문서 디지털화를 위한 문자 인식 기술 수요가 증가함에 따라 각종 문서 영상에 대한 문서 디지털화에 대한 기술 개발 투자가 활발히 이루어지고 있다.

상기 언급한 각 기관에서 보유하고 있는 각종 문서 영상은 다양한 문서 구조와 활자체 및 사용자 마다 다양한 문서 정보 취득 방법에 의해 문서 영상을 획득하여 보관하고 있기 때문에 이러한 실제 환경에서 획득한 각종 형태의 문서 영상에 대해 안정적인 문자 검출과 인식 성능을 나타내는 문자 인식 솔루션은 제공되지 못하고 있다.

사용자마다 다양한 문서 영상 획득 조건, 인식 대상 문서 종류의 다양성은 문자 검출과 인식 성능을 상당히 저하시킨다. 특히, 다양하고 복잡한 배경, 조명 변화, 문서 획득 각도 변화, 문서 구조 및 활자체의 다양한 변화는 문서 영상에서 문자 영역 검출 및 인식 오류를 흔히 발생시킨다.

상기 기술된 실제 환경에서의 문자 영역 검출 및 인식에 대한 문제점을 해결하기 위하여, 본 발명에서는 다양한 문서 영상으로부터 다중 패턴 문자 영상을 자동으로 생성하는 방법 및 문자 영역 검출기를 학습하여 문자 영역 검출 오탐율과 인식 성능을 개선할 수 있는 방법에 대하여 제안하였다.

먼저, 문서 영상 내에 포함된 문자 영역의 위치를 정확히 추정하기 위하여 다양한 배경, 조명, 각도, 활자체를 변화시켜가면서 획득한 문서 영상에 대해 각종 영상 전처리를 이용하여 문자 영역을 검출한다. 검출된 문자 영상에 대해서 문자 영상의 위치, 크기, 각도를 일정 범위 내에서 변형시켜가면서 문자 영상을 생성한다.

또한, 잡음이 섞인 문자 영역도 자동으로 생성하여 다중 패턴 문자 영상을 생성한다. 생성된 다중 패턴 문자 영상을 문자 영역 검출 및 인식을 위한 학습 영상으로 사용함으로써 실환경 문서 영상에서의 문자 검출 및 인식 성능을 향상시킬 수 있도록 한다.

따라서, 본 발명에서는 실제 환경에서 제공되는 다양한 형태의 각종 문서나 복잡 배경 또는 조명 변화에도 안정적인 문자 영역 검출 및 인식 결과를 도출할 수 있는 문자 인식 시스템을 이용하여 각종 문서에서의 문자 영역 검출, 편집, 분류, 인식, 검색의 자동화 및 사용자 편의 제공을 위한 서비스 등에 활용할 수 있는 문자 인식 기술을 제공한다.

배경이나 조명 영향을 제거하거나 최소화하여 문자 영역 부분을 정확하게 추출할 수 있는 영상 전처리 기술, 추출된 문자 영역의 기하학적 위치 변화, 크기 변화, 각도 변화에 따른 다중 문자 영상 생성 및 잡음이 섞인 다중 패턴 문자 영상을 기반으로 하여 문자 영역을 자동으로 검출 및 인식할 수 있는 문자 영역 검출 인식 결합 방법을 제안하였다.

본 발명은 다양한 환장에서 획득한 문서 영상 또는 다양한 형태의 문서 양식에 대해서 다중 패턴 문자 영상 생성 및 문자 영역 검출을 효과적으로 수행할 수 있는 문자 인식 기술에 관한 것으로써 기존의 상용 문자 인식 시스템과의 문자 검출 및 인식 성능 비교 분석을 통하여 실제 현장에서 획득한 문서 영상 인식에 효과적인 시스템인 것을 확인하였다.

즉, 본 발명은 실제 환경에서 획득한 각종 문서 영상으로부터 문자 영역을 검출하여 다중 패턴 문자 영상을 자동으로 생성함으로써 복잡하고 다양한 배경으로부터 문자 영역을 효율적으로 검출하고 인식할 수 있는 문자 인식 기술에 관한 것이다.

다중 패턴 문자 영상 자동 생성은 검출된 문자 영상으로부터 다중 패턴의 문자 영상을 자동으로 생성하는 것으로써, 문자 영역의 상/하/좌/우 화소 이동, 크기 및 각도 변화에 따른 문자 영상의 기하학적 변형과 각종 잡음이 포함된 다중 문자 패턴 영상을 자동으로 생성하는 것이다.

문자 영역 자동 검출은 다양한 배경, 조명 크기, 활자체 등 환경 요소들을 다양하게 변화시켜가면서 획득한 문서 영상에서 추출한 문자 영역에 대해 상/하/좌/우 문자 영역 이동, 기하학적인 변형 및 다양한 조명 환경하에서 획득한 잡음 영상에 의해 생성된 다중 문자 패턴을 이용하여 문자 영역을 검출할 수 있는 문자 영역 검출 기능과 문자 인식을 동시에 수행할 수 있는 학습 단계를 포함하여 수행된다.

입력된 문서 영상에서 각종 영상 전처리 기술을 이용하여 문자 영역을 추출한 다음, 상/하/좌/우 각 방향으로 일정 크기의 화소를 이동시켜가면서 한 문자 영역에 대해 다중 문자 영상을 추출하고, 각종 잡음이 섞인 다중 문자 영상과 일정 각도 이내의 상/하/좌/우 문자 영상의 기하학적인 변형 및 크기 변화를 통해 생성된 다중 패턴 문자 영상을 학습용 문자 패턴 영상으로 자동 생성하여 문자 영역 검출 및 인식기 학습용 문자 영상 셋으로 사용하여 학습한 다음 실제 환경 문서 영상에 대한 문자 영역 검출 및 인식을 수행하도록 하였다.

또한, 본 발명은 복잡한 환경적인 요인으로부터 문자 영역 검출 및 인식을 효과적으로 수행하기 위하여 다양한 환경적인 요소를 반영하여 문자 영역 데이터를 자동으로 생성하여 문자 영역 검출 및 인식 결합기를 학습함으로써, 다양한 배경, 조명, 문서 각도 변화 및 다양한 문서 구조나 활자체에 영향을 덜 받으면서 효과적으로 문자 영역을 검출하고 인식할 수 있는 기술에 관한 것이다.

종래 기술의 문제점을 해결할 수 있는 방안으로써, 실제 환경에서 각종 다양한 문서 종류, 복잡한 배경, 조명 조건을 가진 문서 영상을 획득하여 각종 영상 전처리 기술을 결합하여 문자 영역을 검출하고, 문자 영역의 상/하/좌/우 각 방향에 대한 일정 화소 이동, 기하학적인 크기 및 각도 변형과 잡음을 생성 추가하여 다중 패턴 문자 영상을 생성한다.

또한, 이렇게 생성된 다중 패턴 문자 영상을 기반으로 문자 영역 검출 인식기를 학습함으로써 실제 환경에서 획득한 다양한 형태의 문서 영상에 대한 문자 검출을 효과적으로 수행하여 문자 검출 오류로 인한 문자 인식 성능 저하 문제를 해결하도록 하였다.

최근 딥러닝에 의한 문자 인식 기술이 개발되고 있으나 한글 문자 인식의 경우, 획 손실 없이 정확한 문자 영역 추출이 문자 인식기의 성능을 좌우하기 때문에 기존의 딥러닝을 이용한 물체 인식 적용으로 해결되지 않는 정확한 문자 영역 검출과 인식 기술에 대하여 본 발명에서 제안하였다.

본 발명은 실제 다양한 환경에서 획득한 각종 문서 영상이나 문자 형태 변화에 유연하게 적용할 수 있는 문자 영역 검출 및 인식 기술에 관한 것으로써, 다양한 형태의 각종 문서를 대상으로 문자 영역을 추출하고 그 추출된 문자 영역을 기반으로 다중 패턴 문자 영상을 자동으로 생성하고 문자 영역 검출기 학습에 이용함으로써 다양한 문자 영역을 수작업으로 데이터베이스화 하는데 드는 시간 및 인력 활용 경비를 절감할 수 있을 뿐만 아니라, 실제 환경에서 획득한 문서 영상에 대한 문자 영역 오검출로 인한 오탐율을 저하시키고 문자 인식 성능을 향상시킬 수 있는 문자 영역 자동 검출 및 인식 기술에 관한 것이다.

상기 목적을 달성하기 위하여 본 발명의 실제 환경에서 획득한 다양한 형태의 문서 영상에서 문자 영역을 추출하여 다중 패턴 문자 영상을 구성하고 문자 영역을 정확하게 추출할 수 있는 문자 영역 자동 검출 및 인식 결합 시스템을 제안한다.

각종 문서 입력 장비로 획득한 문서 영상 또는 영상으로 저장된 각종 문서 영상에서 각종 영상 전처리를 이용하여 문자 영역 검출이 용이한 문서 영상으로 변환하는 영상 전처리부, 종래 방법인 기하학적 블럽 분석 방법을 이용하여 문자 영역을 자동으로 검출하는 문자 영역 검출부, 문자 영상 위치, 크기, 각도 및 각종 잡음을 이용하여 다중 패턴 문자 영상을 자동으로 생성하는 다중 패턴 문자 영상 자동 생성부, 각종 다중 패턴 문자 영상을 기반으로 문자 검출 및 인식을 효과적으로 수행할 수 있도록 학습하는 문자 영역 검출 인식기 학습부, 학습된 문자 검출 및 인식기를 이용하여 다양한 문서 영상에 대해 문자 영역을 자동으로 검출하여 인식 결과를 저장하는 문자 인식 결과 자동 저장부로 구성된다.

이하, 도 1 내지 도 6을 참조하여, 본 발명의 실시예에 따른 다중 패턴 문자 영상 자동 생성 기반의 문자 인식 장치 및 그 방법에 대해 설명한다.

도 1은 본 발명에 따른 실제 환경에서 획득한 문서 영상에 대한 다중 패턴 문자 영상 자동 생성 기반 문자 인식 방법 및 장치를 도시한다.

S01 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 다중 입력 센서를 이용하여 각종 문서 영상을 획득한다.

S02 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 주변 배경 및 조명 영향을 최소화하기 위해 다중 문서 영상을 획득한다.

S03 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 다중 영상 전처리를 적용한다.

S04 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 검출이 용이한 다중 문서 영상을 생성한다. 이때, 문자 영역에 해당되지 않은 영역을 잡음 영역으로 간주하여 잡음 제거를 수행한다.

S05 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 인식 대상 문서 영상에서 문자 블럽을 추출한다.

S06 단계에서, 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 블럽의 기하학적 구조를 분석한다.

S07 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 영상 블럽 분할 및 결합 방법을 적용하여 문자 영역을 검출한다. 문자 영역 검출을 위해 수직 에지 성분 검출 과정도 수행한다.

S08 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 위치 변화 문자 영상을 획득한다.

S09 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 크기 변화 문자 영상을 획득한다.

S10 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 각도 변화 문자 영상을 획득한다.

S11 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 잡음 변화 문자 영상을 획득한다.

S12 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 앞에서 획득한 문자 영상들을 이용하여 학습 데이터셋을 생성한다.

S13 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자정규화를 수행한다.

S14 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 검출 및 인식기를 학습시킨다.

S15 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 인식 대상 문서 영상에 대한 문자 검출을 수행할 때 상위에서 처리한 영상 전처리, 블럽 구조 분석 및 에지 성분 검출을 통해 문자 후보 블럽들을 추출한다.

S16 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 블럽 구조를 분석한다.

S17 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 후보 블럽들을 검출한다.

S18 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 후보 블록들의 결합 및 분할을 통해 문자 영역에 해당되는 문자를 추출하여 정규화를 수행한다.

S19 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 후보 영역에 대한 인식 결과를 도출함에 있어서 인식 신뢰도에 대한 임계치를 선정한다.

S20 단계에서, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 영역 검출 및 인식기에 대한 인식 결과를 도출한다.

도 2는 본 발명의 실시예에 따른 다중 영상 전처리에 의한 다중 문서 영상 생성의 예를 도시한다.

도 2에 도시된 바와 같이, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 다중 문서 영상에서 문자 영역을 정확하게 추출하기 위하여 국소 적응적 이진화, 미분 필터, 잡음 제거 영상 개선, 모폴로지 등 다중 영상 전처리를 수행하여 인식하기 용이한 다중 문서 영상을 생성한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 배경과 문자 영역 명도 변화가 반대로 생성된 문서 영상을 고려하여 영상 전처리를 수행한다.

도 3은 본 발명의 실시예에 따른 다중 패턴 문자 영상 생성 데이터 셋의 예를 도시한다.

도 3에 도시된 바와 같이, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 영역 검출 방법을 이용하여 자동으로 문자 영역을 검출한 다음 위치, 크기, 각도 및 잡음을 가하여 다중 패턴 문자 영상을 생성한다.

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 상/하/좌/우 방향으로 검출된 문자 영상 영역을 대상으로 화소를 일정 거리만큼 이동시키면서 문자를 검출한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 일정 범위 이내의 크기 변화, 각도 변화 및 잡음을 생성시키면서 도 2에서 생성된 문서 영상을 대상으로 다중 패턴 문자를 생성한다.

도 4는 본 발명의 실시예에 따른 다중 패턴 문자 영상을 이용한 문자 영역 검출 및 인식기 학습 과정을 도시한다.

도 4에 도시된 바와 같이, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 다중 문자 영상 샘플로부터 문자 영역 검출 및 인식기를 학습한다.

도 5는 실제 환경에서 획득한 문서 영상을 인식 대상으로 선정하여 문자 검출 및 인식기를 이용하여 문자 검출 및 인식하는 것을 나타낸 것이다.

도 5에 도시된 바와 같이, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 인식 대상 문서 영상에서 문자 영역을 검출하고 인식하며, 문자 영역 검출 및 인식기를 통해 문자 영역을 검출하고, 문자 영역 인식 결과를 디스플레이할 수 있다.

도 6는 본 발명의 실시예에 따른 컴퓨터 시스템(600)을 나타내는 도면이다.

본 발명의 실시예에 따른 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치(100)는 도 6과 같은 컴퓨터 시스템(600)으로 구현될 수 있다. 그리고 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치(100)의 각 구성 요소도 도 6와 같은 컴퓨터 시스템(600)으로 구현될 수 있다.

컴퓨터 시스템(600)은 버스(620)를 통해 통신하는 프로세서(610), 메모리(630), 사용자 인터페이스 입력 장치(660), 사용자 인터페이스 출력 장치(650), 그리고 저장 장치(660) 중 적어도 하나를 포함할 수 있다.

프로세서(610)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(630) 또는 저장 장치(660)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 프로세서(610)는 상기 도 1 내지 도 3에서 설명한 기능들 및 방법을 구현하도록 구성될 수 있다.

메모리(630) 및 저장 장치(660)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(630)는 ROM(read only memory)(631) 및 RAM(random access memory)(632)를 포함할 수 있다. 본 발명의 실시예에서 메모리(630)는 프로세서(610)의 내부 또는 외부에 위치할 수 있고, 메모리(630)는 이미 알려진 다양한 수단을 통해 프로세서(610)와 연결될 수 있다.

따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 본 발명의 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.

상기한 바와 같이, 본 발명에서는 실제 환경에서 획득한 문서 영상에서 다중 패턴 문자 영상을 자동으로 생성하고 문자 영역을 자동으로 검출하고 인식하는 방법을 제안한다.

먼저, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 실제 환경에서 다양한 문서 영상을 획득한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 도 2와 같이 입력 센서를 이용하여 문서 영상을 획득한다. 그 다음, 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 실제 환경에서의 문서는 형태, 종류 및 활자체가 다양하고 문서 영상 획득 환경 조건도 다양하기 때문에 다양한 문서 종류 및 환경 조건에서 다중 문서 영상을 획득한다.

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 복잡 배경, 조명 영향, 각도 변화 및 잡음 영역이 섞인 문자 영역을 검출하기 위하여 각종 영상 전처리를 수행하여 문자 영역 검출이 용이한 문서 영상을 생성하는 것이다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문서 영상을 획득하는 과정에서 복잡 배경이 포함되거나 주변 조명 영향은 문자 영역을 추출하는데 있어서 문자 영역 검출 및 인식 오류의 주요 원인으로 작용하기 때문에 복잡 배경과 조명 영향을 최소화 하기 위하여 각종 영상 전처리를 결합하여 수행한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 영역에 해당하는 문자 블럽들을 추출하기 위하여 문서 영상에서 일정 크기 이내의 수직 에지 성분이 많이 나타나는 블럽을 검출하여 문자 후보 영역으로 검출한다.

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 후보 영역으로부터 문자 영역을 검출하고 다중 패턴 문자 영상을 생성하는 것이다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 종래의 블럽 기반 문자 영역 검출 기술을 이용하여 한 개의 문자 영역에 해당하는 문자 영역을 검출한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 영역의 위치 정보로부터 상·하·좌·우 방향으로 화소를 일정 거리만큼 이동시키면서 다중 문자 영상을 생성한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 영역의 크기 정보로부터 스케일 변화를 적용하여 다중 문자 영상을 생성한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 문자 영역의 상·하·좌·우 각도 변화를 적용하여 다중 문자 영상을 생성한다. 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 그 세 번째 단계에서 생성한 다중 패턴 문자 영상에 대해 각종 잡음을 생성하여 다중 패턴 문자 영상을 생성한다.

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 생성된 다중 패턴 문자 영상을 이용하여 문자 영역 검출 및 인식기를 학습시킨다.

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치는 인식 대상 문서 영상을 입력 센서로 획득하여 영상 전처리를 거쳐 문자 영역 검출기로 문자 영역을 검출한 다음 문자 인식 과정을 수행한다.

본 발명은 실제 환경에서 획득한 문서 영상에서 문자 영역을 검출하고 검출된 문자 영상으로부터 다중 패턴 문자 영상을 생성하여 문자 영역 검출을 위한 학습용 데이터 셋으로 사용함으로써 문자 영역 오검출로 발생하는 인식 단계에서의 성능 저하를 개선할 수 있도록 한다. 입력된 문서 영상에서 종래의 문자 블럽의 기하학적 분석을 통해 문자 영역을 검출하고, 검출된 문자 영역으로부터 위치, 크기, 각도, 잡음 등을 변화시켜 다중 패턴 문자 영상을 생성한다. 생성된 다중 패턴 문자 영상을 학습용 데이터 셋으로 구성하여 문자 영역 검출 및 인식기를 학습한 다음, 각종 실제 환경에서 획득한 문서 영상에 대해서 문자 영역 검출 및 인식을 수행한다. 실제 환경에서의 배경이나 조명 영향은 문자 인식 시스템의 인식 성능을 저하시키는 요인으로 작용하기 때문에 인식률을 저하시키는 주변 환경 요인을 최소화하는 영상 전처리, 다중 패턴 문자 영상 자동 생성 및 문자 영역 검출 및 인식기 학습을 통해 종래의 실 환경 문자 인식 성능을 향상시킬 수 있도록 한다.

상기에 설명한 바와 같이, 본 발명은 실제 환경에서 획득한 문서 영상을 대상으로 문자 영역에 해당하는 문자를 추출하고 추출된 각종 문자 영상을 위치, 크기, 각도 및 잡음을 변화시켜 다중 문자 패턴 영상으로 자동 생성하여 생성된 문자 영역 데이터 셋을 학습 데이터 셋으로 구성한 다음 문자 영역 검출 및 인식을 동시에 수행할 수 있는 문자인식기를 학습하여 문자 영역 검출 및 인식을 효과적으로 수행할 수 있는 실환경 기반 문서 영상 인식 시스템에 관한 것이다. 실제 환경에서 문서 영상 인식을 수행하는 과정에서 문서의 다양한 구조나 폰트 크기 또는 복잡 배경, 조명 영향 등의 요인은 문자 인식 성능을 현저히 저하시키게 됨으로 문자 인식 시스템의 현장 적용을 어렵게 만들어 왔다. 본 발명에서는 문자 영역 오검출 및 문자 변형으로 인한 문자 인식 시스템의 인식 성능을 저하시키는 요인으로부터 문자 인식 성능을 개선하기 위하여 먼저, 인식률을 저하시키는 주변 환경 요인을 최소화하는 영상 전처리, 다중 패턴 문자 영상 생성, 배경으로부터 문자 영역 선택을 위한 블럽 구조 분석 및 수직 에지 분석, 다중 패턴 문자 영상을 이용한 문자 검출 및 인식기 학습을 통해 인식 성능이 개선된 실환경 문자 인식 시스템을 제안하였다. 기존 문자 인식 시스템에서 주요 오류 원인이 되는 복잡 배경으로부터 문자 영역 분할 문제를 해결하고 또한, 다양한 환경에서 획득한 문서 영상의 효과적인 인식을 위하여 다양한 문서 양식 및 다양한 패턴의 문자 영상을 자동으로 생성하여 학습하는 방법을 이용함으로써, 실제 환경에서 제공되는 문서 영상에 대한 인식률을 개선하고 기존 문자 인식 시스템과의 성능 비교 분석을 통해 본 발명의 문자 인식 시스템을 실제 현장에서 획득한 다양한 문서 인식에 활용할 수 있도록 하였다.

본 발명에서는 기존의 복잡 배경 문서 영상에서의 문자 영역 분할 성능과 인식 성능을 현저히 개선시켰으며 또한, 문자 영역 검출 및 인식 결합 방법 도입을 통해 실환경에서 획득한 문서 영상에 대한 문자 인식 시스템의 활용도를 증대할 수 있도록 하였다. 현장 기반 데이터베이스 생성 및 인식 시스템 구현을 통해 보다 안정적이고 신뢰성 있는 문자 인식 결과를 사용자에게 제공할 수 있도록 하여 국외 상용 문자 인식 시스템보다 안정적인 인식 성능을 나타내는 문자 인식 시스템을 구현하여 고품질의 서비스를 사용자에게 제공할 수 있는 장점이 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치로서,
다중 문자가 포함된 문서 영상들을 전처리하여, 다중 문서 영상을 획득하는 다중 문서 영상 생성부;
상기 다중 문서 영상으로부터 문자 블럽을 추출하고, 상기 문자 블럽의 구조를 분석하며, 상기 문자 블럽으로부터 문자 후보 영역을 검출하는 문자 영역 검출부;
검출된 상기 문자 후보 영역에 대해 상하좌우 각 방향으로 위치를 이동시켜 위치 변화 문자 영상을 생성하고, 상기 문자 후보 영역에 대해 크기를 변화시켜 크기 변화 문자 영상을 생성하며, 상기 문자 후보 영역에 대해 각도를 변화시켜 각도 변화 문자 영상을 생성하고, 상기 위치 변화 문자 영상, 상기 크기 변화 문자 영상 및 상기 각도 변화 문자 영상으로부터 잡음을 생성하여 잡음 변화 문자 영상을 생성하는 다중 패턴 문자 영상 생성부; 및
상기 위치 변화 문자 영상, 상기 크기 변화 문자 영상, 상기 각도 변화 문자 영상 및 상기 잡음 변화 문자 영상을 포함하는 다중 패턴 문자 영상을 학습 데이터셋으로 사용하여 문자 인식을 위한 문자 검출 및 인식기에 대해 학습을 수행하는 문자 검출 및 인식기 학습부
를 포함하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치.
삭제
제1항에서,
상기 문자 영역 검출부에 의해 인식 대상 문서로부터 검출된 문자 후보 영역을 입력 받아 상기 문자 검출 및 인식기가 출력하는 인식 결과를 토대로, 상기 인식 대상 문서로부터 문자를 인식하는 문자 인식부
를 더 포함하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치.
제3항에서,
상기 문자 인식부는 인식 신뢰도에 대한 임계치를 선정하고, 상기 임계치를 이용하여 상기 인식 결과로부터 상기 문자를 인식하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치.
제1항에서,
상기 다중 문서 영상 생성부는 문자 영역에 해당되지 않은 영역을 잡음 영역으로 간주하고 잡음 제거를 수행하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치.
다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치의 문자 인식 방법으로서,
문자가 포함된 문서 영상들로부터 문자 후보 영역을 검출하는 단계;
상기 문자 후보 영역에 대해 위치를 변화시켜 위치 변화 문자 영상을 생성하는 단계;
상기 문자 후보 영역에 대해 크기를 변화시켜 크기 변화 문자 영상을 생성하는 단계;
상기 문자 후보 영역에 대해 각도를 변화시켜 각도 변화 문자 영상을 생성하는 단계;
상기 위치 변화 문자 영상, 상기 크기 변화 문자 영상, 상기 각도 변화 문자 영상으로부터 잡음을 생성하여 잡음 변화 문자 영상을 생성하는 단계;
위치 변화 문자 영상, 상기 크기 변화 문자 영상, 상기 각도 변화 문자 영상 및 상기 잡음 변화 문자 영상을 포함하는 다중 패턴 문자 영상을 기반으로 문자 검출 및 인식을 수행할 수 있도록 문자 검출 및 인식기를 학습시키는 단계; 및
학습된 상기 문자 검출 및 인식기를 이용하여 인식 대상 문서로부터 문자를 인식하는 단계
를 포함하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치의 문자 인식 방법.
삭제
제6항에서,
상기 인식 대상 문서로부터 문자를 인식하는 단계는
상기 인식 대상 문서로부터 문자 후보 블럽들을 추출하는 단계;
상기 문자 후보 블럽들의 결합 및 분할을 통해 문자 후보 영역을 추출하는 단계; 및
추출된 상기 문자 후보 영역으로부터 상기 학습된 문자 검출 및 인식기를 이용하여 상기 문자를 인식하는 단계를 포함하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치의 문자 인식 방법.
제6항에서,
상기 문자 후보 영역을 검출하는 단계는 상기 문서 영상들 각각에 대해 영상 전처리를 수행하는 단계를 포함하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치의 문자 인식 방법.
제6항에서,
상기 문자 후보 영역을 검출하는 단계는
상기 문서 영상들 각각으로부터 문자 블럽들을 추출하는 단계; 및
상기 문자 블럽들의 결합 및 분할을 통해 상기 문자 후보 영역을 추출하는 단계를 포함하는 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치의 문자 인식 방법.