KR20160146355A - 이미지 내의 텍스트를 검출하는 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른 이미지 내의 텍스트 검출 장치는, 복수의 픽셀들이 행렬 형태로 배치된 이미지를 획득하는 단계, 에지 검출 (edge detection) 알고리즘을 이용하여 이미지 내의 에지 픽셀들을 검출하는 단계, 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합인 픽셀 스팬들 (pixel spans) 을 추출하는 단계, 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭 (blob) 을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

이미지 내의 텍스트를 검출하는 방법 및 장치 {METHOD AND DEVICE FOR DETECTING TEXT IN IMAGE}

본 발명은 이미지 내의 텍스트를 검출하는 방법 및 장치에 관한 것으로서, 보다 구체적으로는, 픽셀 스팬을 노드로 이용하여 블롭을 생성함으로써 이미지 내의 텍스트를 보다 빠르게 그리고 정확하게 검출할 수 있는 이미지 내의 텍스트를 검출하는 방법 및 장치에 관한 것이다.

근래에 들어, 이미지 내에 포함된 한글, 영어, 숫자 등을 인식하여 편집 가능하게 텍스트로 표시해주는 광학 문자 인식 (OCR: Optical Character Recognition) 서비스가 널리 이용되고 있다. 특히, 스마트폰이 빠르게 보급됨에 따라, 스마트폰에 탑재된 카메라로 촬영된 이미지 내에서 문자를 인식하여 디스플레이에 표시하여 주는 OCR 어플리케이션이 널리 이용되고 있다.

이러한 OCR 어플리케이션은 스마트폰의 카메라로 명함을 촬영하는 경우에 매우 유용할 수 있다. 왜냐하면, 사용자가 명함을 분실할 우려로부터 벗어날 수 있을 뿐 아니라, 사용자가 명함 내에 포함된 문자열을 한 문자씩 입력할 필요 없이 디스플레이에 표시된 상기 문자열을 복사하여 주소록에 저장하기만 하면 고객 정보를 쉽게 관리할 수 있기 때문이다. 이러한 장점을 적극적으로 활용하여 최근에는 주소록 어플리케이션과 연동하는 OCR을 이용한 명함 인식 어플리케이션이 등장하였다. 이러한 어플리케이션은 고객의 성함, 이메일 주소, 휴대폰 번호, 회사의 직위 같은 명함 내에 포함된 수많은 정보들을 인식하여 분류하고, 주소록의 각 영역에 자동으로 저장해주는 기능을 수행한다. 결과적으로, 사용자는 카메라로 명함을 촬영하기만 하여 명함 내에 포함된 고객의 정보들을 자동으로 저장할 수 있는 것이다.

텍스트를 포함하는 이미지, 예를 들어 명함 이미지에 대한 OCR을 수행하기 위해서는 먼저 이미지 내에 존재하는 텍스트 후보 영역, 소위 블롭 (blob) 을 검출하는 것이 필요하다. 종래에는 이미지 내의 텍스트를 검출하기 위해서 SWT (Stroke Width Transform) 알고리즘을 주로 이용하였다. SWT 알고리즘은 텍스트는 일반적으로 직선, 곡선, 고리 모양으로 이루어져 있고, 획 내에서 굵기 변화가 거의 없다는 점을 이용하여, 이미지 내부에 존재하는 요소들의 획폭의 크기가 일정하다면 텍스트로 간주하는 알고리즘을 말한다. SWT는 별도의 학습 과정 없이 이미지 내의 텍스트를 검출할 수 있다는 장점이 있지만, 연산이 복잡하여 이미지 내의 텍스트를 검출해내는데 시간이 많이 소요된다는 단점이 있다.

이러한 단점을 극복하기 위해서, 이미지 내의 텍스트를 검출하기 위한 새로운 알고리즘으로서 MSER (Maximally Stable External Region) 알고리즘이 소개되었다. MSER 알고리즘은 강도 (intensity) 가 주변에 인접한 픽셀들과 상이한 픽셀들의 집합 영역을 블롭으로 검출하는 알고리즘을 말한다. MSER 알고리즘은 가장 우수한 영역 검출 알고리즘 중 하나로 전처리로서 블롭을 찾는데 널리 사용되고 있다. MSER 알고리즘은 SWT 알고리즘에 비해 빠르게 블롭을 검출할 수 있다는 장점이 있으나, 티클이나 노이즈를 블롭으로 검출하는 등 정확도가 다소 부족한 단점이 있다.

이에, 텍스트를 포함하는 이미지, 예를 들어 명함 이미지 내의 블롭을 빠르게 그리고 정확하게 검출할 수 있는 새로운 방법 및 장치가 요구되고 있는 실정이다.

본 발명이 해결하고자 하는 과제는, 이미지 내에 존재하는 복수의 블롭을 신속하게 검출할 수 있는 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제는, 노이즈가 존재하는 이미지에서도 복수의 블롭을 높은 정확도로 검출할 수 있는 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제는, 텍스트를 포함하는 이미지에 대한 광학 문자 인식 (OCR) 을 빠르고 정확하게 수행할 수 있는 장치 및 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 이미지 내의 텍스트 검출 장치는, 복수의 픽셀들이 행렬 형태로 배치된 이미지를 획득하는 단계, 에지 검출 (edge detection) 알고리즘을 이용하여 이미지 내의 에지 픽셀들을 검출하는 단계, 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합인 픽셀 스팬들 (pixel spans) 을 추출하는 단계, 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭 (blob) 을 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 특징에 따르면, 이미지 내의 에지 픽셀들을 검출하는 단계 이전에, 이미지에 대해 양방향 필터링 (bilateral filtering) 을 수행하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 블롭을 생성하는 단계는 MSER (Maximally Stable External Region) 알고리즘을 이용하여 수행될 수 있다.

본 발명의 또 다른 특징에 따르면, 블롭을 구성하는 픽셀 스팬들 중 행 또는 열을 따라 돌출된 픽셀 스팬을 검출하는 단계, 돌출된 픽셀 스팬의 밝기 분산을 확인하는 단계, 및 돌출된 픽셀 스팬의 밝기 분산에 기초하여 돌출된 픽셀 스팬을 개선 (refinement) 할지 여부를 결정하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 돌출된 픽셀 스팬을 개선할지 여부를 결정하는 단계는, 돌출된 픽셀 스팬의 전 영역에서 밝기 분산이 균일하지 않은 경우, 돌출된 픽셀 스팬을 개선하는 것으로 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 돌출된 픽셀 스팬을 개선할지 여부를 결정하는 단계는, 돌출된 픽셀 스팬이 포함된 블롭 내의 다른 픽셀 스팬의 밝기 분산과 돌출된 픽셀 스팬의 밝기 분산이 상이한 경우, 돌출된 픽셀 스팬을 개선하는 것으로 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 돌출된 픽셀 스팬을 개선하는 것으로 결정함에 따라, 이행성 (transivity) 규칙을 적용하여 돌출된 픽셀 스팬을 개선하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상호 연결된 두 개의 블롭을 하나의 블롭으로 재조합하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 이미지의 가장자리에 위치하는 블롭을 제거하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 이미지 내에서 종횡비 (aspect ratio) 가 2.5 이상인 블롭을 제거하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 서로 다른 두 개의 블롭을 비교하여 하나의 블롭 내부에 나머지 블롭이 배치되는 경우, 나머지 블롭을 제거하는 단계를 더 포함할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 이미지 내의 텍스트 검출 장치는, 복수의 픽셀들이 행렬 형태로 배치된 이미지를 획득하는 이미지 획득부, 에지 검출 알고리즘을 이용하여 이미지 내의 에지 픽셀들을 검출하는 에지 픽셀 검출부, 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합인 픽셀 스팬을 추출하는 픽셀 스팬 추출부, 및 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭을 생성하는 블롭 생성부를 포함하는 것을 특징으로 한다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 명령어 세트들을 저장하는 컴퓨터 판독가능매체는, 명령어 세트들은, 컴퓨팅 장치에 의해 실행되는 경우에 컴퓨팅 장치로 하여금, 복수의 픽셀들이 행렬 형태로 배치된 이미지를 획득하도록 하고, 에지 검출 알고리즘을 이용하여 이미지 내의 에지 픽셀들을 검출하도록 하고, 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합인 픽셀 스팬을 추출하도록 하고, 그리고 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭을 생성하도록 한다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 이미지 내에 존재하는 복수의 블롭을 신속하게 검출할 수 있는 효과가 있다.

본 발명은 노이즈가 존재하는 이미지에서도 복수의 블롭을 높은 정확도로 검출할 수 있는 효과가 있다.

본 발명은 텍스트를 포함하는 이미지에 대한 광학 문자 인식 (OCR) 을 빠르고 정확하게 수행할 수 있는 효과가 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 내의 텍스트 검출 장치의 전체 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 내의 텍스트 검출 방법에 관한 흐름도이다.
도 3은 텍스트를 포함하는 이미지에서 픽셀 스팬을 추출하는 예시적인 모습을 나타내는 도면이다.
도 4a 및 도 4b는 행을 따라 돌출되는 픽셀 스팬을 갖는 블롭들을 도시하는 도면이다.
도 5는 상호 연결된 두 개의 블롭을 하나의 블롭으로 재조합하는 모습을 나타내는 도면이다.
도 6은 이미지의 가장자리에 위치하는 블롭, 및 블롭들 중 종횡비가 매우 높은 블롭을 제거하는 모습을 나타내는 도면이다.
도 7은 하나의 블롭 내부에 다른 블롭이 배치될 때에, 다른 블롭을 제거하는 모습을 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른, 이미지 내의 텍스트 검출 장치의 전체 구성을 개략적으로 나타내는 블록도이다.

도 1을 참조하면, 이미지 내의 텍스트 검출 장치 (100) 는, 이미지 획득부 (110), 에지 픽셀 검출부 (120), 픽셀 스팬 추출부 (130), 블롭 생성부 (140), 단어 구성부 (150), 이진화 처리부 (160), 제어부 (170) 및 메모리 (180) 를 포함하여 구성된다.

이미지 획득부 (110) 는 대상물에 대한 이미지를 획득하는 기능을 수행한다. 바람직하게는, 본 발명의 이미지 획득부 (110) 는 휴대용 통신 기기에 탑재될 수 있는 CCD 카메라를 포함할 수 있으나, 반드시 이에 한정되는 것은 아니고, 이미지 획득 기능을 수행할 수 있는 본 기술분야의 모든 촬영 기기를 포함할 수 있다.

이미지는 디지털 형태로 획득되며 행렬 형태로 배열된 복수의 픽셀들을 포함한다. 픽셀들은 바람직하게는 정사각형 형태로 구성될 수 있으나, 반드시 이에 한정되지는 않는다. 이미지는 바람직하게는 텍스트를 포함하는 명함 이미지일 수 있으나, 반드시 이에 한정되지는 않는다.

에지 픽셀 검출부 (120) 는 에지 검출 (edge detection) 알고리즘을 이용하여 이미지 내의 에지 픽셀들을 검출하는 역할을 한다. 에지 검출 알고리즘은 이미지 내의 픽셀들의 x 방향 밝기 변화율, 그리고 y 방향 밝기 변화율을 측정하여 변화율이 큰 지점을 에지로 검출하는 알고리즘이다. 에지 픽셀 검출부 (120) 는 에지 검출 알고리즘을 이용하여 이미지 내에서 밝기 및 색상 변화율이 큰 지점의 픽셀들을 에지 픽셀들로 지정할 수 있다.

픽셀 스팬 추출부 (130) 는 픽셀 스팬들 (pixel spans) 을 추출하는 역할을 한다. 픽셀 스팬들은 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합을 의미한다. 픽셀 스팬들은 동일한 행에서 검출될 수도 있고, 동일한 열에서 검출될 수도 있으나, 이하의 상세한 설명에서는 설명의 편의를 위해 동일한 행에서 검출되는 것으로 상정한다.

블롭 생성부 (140) 는 픽셀 스팬들 각각을 노드로 이용해서, 픽셀 스팬들을 그룹화하여 블롭 (blob) 들을 생성하는 역할을 한다. 블롭은 상술한 바와 같이, 텍스트 후보 영역을 지칭한다. 하나의 블롭은 이미지 내의 하나의 획에 대응되는 것이 바람직하나, 반드시 이에 한정되지는 않는다. 블롭 생성부 (140) 는 동일한 속성을 가지며 상호 연결된 픽셀 스팬들로 하나의 블롭을 구성한다. 동일한 속성은 이미지가 컬러 이미지일 경우에는 색상을, 이미지가 그레이 이미지일 경우에는 밝기를 의미할 수 있다. 블롭 생성부 (140) 는 블롭을 생성하기 위해서 다양한 알고리즘을 이용할 수 있으며, 바람직하게는 MSER (Maximally Stable External Region) 알고리즘을 이용할 수 있다.

단어 구성부 (150) 는 블롭들을 조합하여 단어로 구성하는 역할을 한다. 단어는 해당 언어를 규정하는 문법에 비추어 볼 때에 일정한 의미를 가지고 있는 말의 최소 단위를 지칭한다. 단어 구성부 (150) 는 블롭들을 단어로 조합하기 위해서 블롭들의 중심점을 추출하고 중심점들 간의 거리를 계산할 수 있다.

이진화 처리부 (160) 는 이미지에 대한 이진화 처리를 수행한다. 여기서 이진화 처리란 이미지 내에 나타나는 모든 픽셀들이 흑 또는 백으로만 표시되도록 처리하여 데이터 양을 감소시키는 것을 의미한다. 여기서, 이진화 처리부 (160) 는 이미지의 일부 또는 전부에 대한 이진화 처리를 수행하기 위해 다양한 방법을 이용할 수 있으나, 바람직하게는 기설정된 임계값 (threshold-value) 을 기준으로 픽셀들을 흑 또는 백으로 표시하는 “Otsu threshold” 알고리즘을 이용하여 이미지의 일부 또는 전부에 대한 이진화 처리를 수행할 수 있다.

제어부 (170) 는 이미지 획득부 (110), 에지 픽셀 검출부 (120), 픽셀 스팬 추출부 (130), 블롭 생성부 (140), 단어 구성부 (150), 이진화 처리부 (160), 및 메모리 (180) 의 데이터의 흐름을 제어하는 기능을 수행한다. 제어부 (170) 는 외부로부터의 또는 이미지 내의 텍스트 검출 장치 (100) 의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 이미지 획득부 (110), 에지 픽셀 검출부 (120), 픽셀 스팬 추출부 (130), 블롭 생성부 (140), 단어 구성부 (150), 이진화 처리부 (160), 및 메모리 (180) 에서 각각 고유 기능이 수행되도록 제어한다. 제어부 (170) 는 양방향 필터링, 및 블롭의 개선 작업, 텍스트로 적합하지 아니한 블롭을 제거하는 작업을 수행할 수도 있다.

메모리 (180) 에는 이미지 내의 텍스트 검출 방법을 수행하기 위한 데이터들이 저장된다. 예를 들어, 메모리 (180) 에는 획득된 이미지, 변환된 이미지, 이미지 내에서 검출된 블롭, 텍스트를 검출하기 위한 알고리즘 등이 저장된다. 메모리 (180) 는 램 (RAM; random access memory), 롬 (ROM; read-only memory), 자기 디스크 (magnetic disk) 장치, 광 디스크 (optical disk) 장치, 플래시 메모리 등을 포함할 수 있으나, 반드시 이에 제한되는 것은 아니다.

도 2는 본 발명의 일 실시예에 따른 이미지 내의 텍스트 검출 방법에 관한 흐름도이다. 이하에서는 도 3 내지 도 7을 참조하여, 도 2의 이미지 내의 텍스트 검출 방법을 설명한다.

먼저, 이미지 획득부에 의해 이미지가 획득된다 (S202).

이미지를 획득하는 방법은 특별하게 제한되지 않는다. 이미지는 디지털 카메라의 촬영에 의해서 획득될 수도 있고, 데이터 다운로드에 의해서도 획득될 수 있다.

다음으로, 이미지에 대해 양방향 필터링 (bilateral filtering) 을 수행할 수 있다 (S204).

양방향 필터링에 의해서 텍스트들의 구조가 유지되면서 이미지 내의 노이즈가 제거될 수 있으며, 이에 따라 이후의 단계들이 보다 빠르게 진행될 수 있다. 이미지에 대한 양방향 필터링을 수행할 때에 텍스트들의 구조를 유지하기 위해서, 임계값을 보수적으로 설정할 수 있다.

다음으로, 에지 검출 알고리즘을 이용하여 이미지 내의 에지 픽셀들을 검출한다 (S206).

예를 들어, 양방향 필터링된 이미지 내의 픽셀들의 x 방향 밝기 및 색상 변화율, 그리고 y 방향 밝기 및 색상 변화율을 측정하여 변화율이 큰 지점의 픽셀들을 에지 픽셀들로서 검출할 수 있다.

다음으로, 이미지 내에서 픽셀 스팬들을 추출할 수 있다 (S208).

상술한 바와 같이, 픽셀 스팬은 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합을 의미한다. 도 3은 텍스트를 포함하는 이미지에서 픽셀 스팬을 추출하는 예시적인 모습을 나타내는 도면이다. 도 3을 참조하면, 이미지 내의 n 번째 행에 존재하는 5 개의 픽셀 스팬들 (320a, 320b, 320c, 320d, 320e) 이 추출된다. 보다 구체적으로, n 번째 행에서 서로 인접한 제1 에지 픽셀 (310a) 과 제2 에지 픽셀 (310b) 사이에 존재하는 픽셀들의 집합인 제1 픽셀 스팬 (320a) 이 추출되고, n 번째 행에서 서로 인접한 제2 에지 픽셀 (310b) 과 제3 에지 픽셀 (310c) 사이에 존재하는 픽셀들의 집합인 제2 픽셀 스팬 (320b) 이 추출되고, n 번째 행에서 서로 인접한 제3 에지 픽셀 (310c) 과 제4 에지 픽셀 (310d) 사이에 존재하는 픽셀들의 집합인 제3 픽셀 스팬 (320c) 이 추출되고, n 번째 행에서 서로 인접한 제4 에지 픽셀 (310d) 과 제5 에지 픽셀 (310e) 사이에 존재하는 픽셀들의 집합인 제4 픽셀 스팬 (320d) 이 추출되고, n 번째 행에서 서로 인접한 제5 에지 픽셀 (310e) 과 제6 에지 픽셀 (310f) 사이에 존재하는 픽셀들의 집합인 제5 픽셀 스팬 (320f) 이 추출된다. 이러한 픽셀 스팬들 (320a, 320b, 320c, 320d, 320e) 각각은 노드로서 추후에 블롭들을 생성하는데 이용될 수 있다.

다음으로, 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭을 생성한다 (S210).

이미지에서 텍스트를 구성하는 하나의 획 내부에 존재하는 픽셀들은 실질적으로 동일한 속성을 가지며, 서로 연결되어 있다. 이미지 내의 텍스트가 가지는 위와 같은 특징을 이용하여 단계 210에서는 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭을 생성한다. 상술한 바와 같이, 동일한 속성은 밝기 또는 색상일 수 있으며, 픽셀 스팬들을 그룹화하여 블롭을 생성하기 위해서 MSER 알고리즘을 이용할 수 있다.

단계 210에서는 픽셀 스팬들 각각을 노드로 이용해서 그룹화를 수행할 수 있다. 예를 들어, 하나의 픽셀 스팬의 중앙 지점 픽셀을 상기 픽셀 스팬을 대표하는 하나의 노드로 지정하고, 이러한 노드들이 어떠한 형태로 연결되어 있는지에 대한 그룹화를 수행할 수 있다. 이러한 그룹화가 완료되면 이미지 내에서 픽셀 스팬들이 어떠한 방식으로 서로 연결되어 있는지에 대해 그래프 형태로 나타낼 수 있을 것이다.

하나의 행, 예를 들어 n 번째 행에는 픽셀들보다 훨씬 적은 수로 픽셀 스팬이 존재한다. 따라서, 픽셀 스팬들 각각을 노드로 이용하여 블롭을 생성하는 경우, 픽셀들 각각을 노드로 이용하여 블롭을 생성하는 것보다 훨씬 빠르게 블롭이 생성될 수 있다.

그리고, 기존의 알고리즘, 예를 들어 픽셀들 각각을 노드로 이용하는 MSER 알고리즘에 의하면, 이미지 내에 티클이 존재하는 경우, 티클을 나타내는 픽셀이 주변 픽셀과 다른 속성을 가지게 되므로, 티클을 나타내는 픽셀을 블롭으로 생성하게 된다. 이러한 속성 때문에 기존의 알고리즘은 이미지 내의 블롭을 정확하게 검출하지 못하는 문제점이 있었다.

그러나, 본 발명에 따르면, 이미지 내의 티클에 대한 픽셀에 픽셀 스팬이 추출되더라도, 상기 픽셀 스팬과 동일한 속성을 가지며 상호 연결된 픽셀 스팬이 없기 때문에, 상기 픽셀 스팬은 자연스럽게 제거될 수 있고, 블롭들을 생성하는 소스로서 기능하지 않을 수 있다. 따라서, 본 발명에서는 이미지 내의 블롭들을 보다 정확하게 찾아낼 수 있고, 부정확하게 검출된 블롭들을 찾아내고 제거하는데 시간을 소요할 필요가 없다.

다음으로, 블롭의 돌출된 픽셀 스팬을 개선하는 작업을 수행할 수 있다 (S212).

예를 들어, 단계 206에서 이미지 내에 존재하는 에지 픽셀을 검출하지 못한 경우, 에지 픽셀을 검출하지 못한 행의 픽셀 스팬이 잘못 추출되기 때문에, 블롭을 구성하는 일부 픽셀 스팬이 비정상적으로 상기 행을 따라 돌출될 수 있다. 단계 212에서는 블롭의 비정상적으로 행을 따라 돌출된 픽셀 스팬을 개선하는 작업을 수행할 수 있다. 이에 대해서는, 도 4a 및 도 4b를 참조하여 상세하게 설명한다.

도 4a 및 도 4b는 행을 따라 돌출되는 픽셀 스팬을 갖는 블롭들을 도시하는 도면이다.

도 4a 및 도 4b를 참조하면, 블롭 (410, 420) 을 구성하는 일부 픽셀 스팬 (412, 422) 이 행을 따라 돌출되어 있는 것을 확인할 수 있다. 여기서, 도 4a의 블롭 (410) 은 텍스트 “ㄴ”의 형상을 가지는 것으로서, 정상적으로 행을 따라 돌출된 픽셀 스팬 (412) 을 갖는다. 그러나, 도 4b의 블롭 (420) 은 단계 206에서 이미지 내의 에지 픽셀을 검출하지 못함에 따라 비정상적으로 행을 따라 돌출된 픽셀 스팬 (422) 을 갖는다. 도 4a와 도 4b에 도시된 바와 같이, 블롭은 정상적으로 돌출된 픽셀 스팬을 가질 수도 있고, 비정상적으로 돌출된 픽셀 스팬을 가질 수도 있기 때문에, 돌출된 픽셀 스팬이 정상적으로 돌출된 것인지, 아니면 (에지 픽셀 검출 과정에서의 실패에 의해) 비정상적으로 돌출된 것인지 확인할 필요가 있다. 단계 212에서는 돌출된 픽셀 스팬의 오류 여부를 확인하기 위해서, 돌출된 픽셀 스팬의 밝기 분산을 확인한다. 그 결과, 돌출된 픽셀 스팬의 전 영역에서 밝기 분산이 균일하지 않은 경우, 돌출된 픽셀 스팬이 비정상적으로 돌출된 것으로 보고, 돌출된 픽셀 스팬을 개선한다. 이는 정상적인 텍스트에 대응되는 픽셀 스팬 내부는 균일한 밝기 분산을 가질 것이라는 매우 높은 가능성에 근거한 판단이다. 구현 방법에 따라서는, 돌출된 픽셀 스팬이 포함된 블롭 내의 다른 픽셀 스팬의 밝기 분산과 돌출된 픽셀 스팬의 밝기 분산이 상이한 경우, 돌출된 픽셀 스팬이 비정상적으로 돌출된 것으로 보고, 돌출된 픽셀 스팬을 개선한다. 이는 하나의 획을 구성하는 하나의 블롭 내에서는 밝기 분산이 일정할 것이라는 매우 높은 가능성에 근거한 판단이다.

도 4a의 돌출된 픽셀 스팬 (412) 은 정상적으로 돌출된 것이기 때문에, 돌출된 픽셀 스팬 내부 (412) 가 균일한 밝기 분산을 가진다. 그러나, 도 4b의 돌출된 픽셀 스팬 (422) 은 (에지 픽셀 검출 과정에서의 실패에 의해) 비정상적으로 돌출된 것이기 때문에, 돌출된 픽셀 스팬 (422) 내부가 균일한 밝기 분산을 가지지 않는다. 따라서, 단계 212에서는 도 4a의 돌출된 픽셀 스팬 (412) 에 대해서는 별도의 개선 작업을 수행하지 않고, 도 4b의 돌출된 픽셀 스팬 (422) 에 대해서만 별도의 개선 작업을 수행할 수 있다.

비정상적으로 돌출된 픽셀 스팬을 개선하기 위해서 이행성 (transivity) 규칙을 이용할 수 있다. 이행성 규칙은 에지 픽셀들이 하나의 라인을 따라 일정하게 이어져 있을 것이라는 가정에 의한 규칙이다. 이러한 이행성 규칙을 이용하여 돌출된 픽셀 스팬이 포함된 행에서 돌출된 픽셀 스팬을 제거하고, 에지 픽셀을 재검출하고, 해당 픽셀 스팬을 포함하는 블롭을 다시 생성한다.

다음으로, 상호 연결된 두 개의 블롭을 하나의 블롭으로 재조합할 수 있다 (S214).

도 5는 상호 연결된 두 개의 블롭을 하나의 블롭으로 재조합하는 모습을 나타내는 도면이다.

도 5에 도시된 바와 같이, 이미지 촬영 시에 그림자가 존재했던 경우, 하나의 획을 구성하는 텍스트가 다른 밝기를 가지는 두 개의 블롭 (510, 520) 으로 분리되어 생성될 수 있다. 이미지 내부에 존재하는 텍스트를 보다 정확하게 추출하기 위해서는 이러한 오류를 바로잡을 필요가 있다. 단계 214에서는 명함 이미지와 같은 텍스트 이미지 내부에서 상호 연결된 두 개의 블롭은 하나의 획을 구성할 것이라는 매우 높은 가능성에 기인하여, 상호 연결된 두 개의 블롭을 하나의 블롭으로 재조합한다. 도 5를 참조하면, 다른 밝기를 가지나 서로 연결된 두 개의 블롭 (510, 520) 이 하나의 블롭 (530) 으로 재조합되는 것을 확인할 수 있다. 이때에, 재조합된 블롭 (530) 의 밝기는 인접한 블롭의 밝기를 참조하여 재설정될 수 있다.

다음으로, 텍스트로 적합하지 아니한 블롭들을 제거하는 작업을 수행할 수 있다 (S216).

단계 216에서는 텍스트로 적합하지 아니한 블롭들을 제거하기 위해서, 예를 들어 이하의 3가지 작업을 수행할 수 있다.

먼저, 이미지의 가장자리에 위치하는 블롭들을 제거하는 작업를 수행할 수 있다. 이러한 작업은 명함 이미지와 같은 텍스트 이미지의 가장자리에는 텍스트가 존재하지 않을 것이며, 이미지의 가장자리에 존재하는 블롭은 노이즈일 것이라는 매우 높은 가능성에 근거하여 수행된다.

다음으로, 블롭들 중 종횡비 (aspect ratio) 가 매우 높은 블롭, 예를 들어 2.5 이상인 블롭을 제거하는 작업을 수행할 수 있다. 이러한 작업은 대부분의 텍스트는 2 이하의 종횡비를 가지기 때문에, 매우 높은 종횡비, 2.5 이상의 종횡비를 가지는 블롭은 텍스트가 아니라 노이즈일 것이라는 매우 높은 가능성에 근거하여 수행된다.

도 6을 참조하면, 이미지의 가장자리에 위치하는 블롭 (610), 및 블롭들 중 종횡비가 매우 높은 블롭 (620, 630) 이 제거되는 것을 확인할 수 있다.

다음으로, 서로 다른 두 개의 블롭들을 비교하여 하나의 블롭 내부에 나머지 블롭이 배치되는 경우, 나머지 블롭을 제거하는 작업을 수행할 수 있다.

도 7은 하나의 블롭 내부에 다른 블롭이 배치될 때에, 다른 블롭을 제거하는 모습을 나타내는 도면이다.

앞서 설명한 단계 202 내지 214에서는 에지 픽셀 사이의 픽셀 스팬에 기인하여 작업을 수행하기 때문에, “ㅁ” 또는 “O”과 같은 폐쇄형 (closed) 텍스트에 대한 블롭은, 도 7에 도시된 바와 같이, 외부 블롭 (710) 과 내부 블롭 (720) 으로 나누어져 추출된다. 여기서, 실제의 텍스트를 의미하는 블롭은 외부 블롭 (710) 이기 때문에, 단계 216에서는 외부 블롭 (710) 내부에 배치된 내부 블롭 (720) 을 제거하는 작업을 수행할 수 있다.

다음으로, 블롭들을 단어로 구성할 수 있다 (218).

돌출된 픽셀 스팬을 개선하고, 텍스트로 적합하지 아니한 블롭들을 최종적으로 제거하여 도출된 블롭들은 이미지 내의 실제 텍스트와 매우 유사한 형상을 갖는다. 단계 218에서는 획으로 간주될 수 있는 블롭들을 단어로 재조합하는 작업을 수행한다. 이러한 작업은, 블롭의 외접원을 중심을 모두 찾은 후에, 그 중심점이 매우 가까운 블롭들끼리 연결하여, 단어를 생성하는 작업을 포함할 수 있다. 나아가, 단계 218에서는 단어의 중심점이 수평으로 적절한 거리를 가진다는 점을 이용하여, 도출된 단어들을 문장으로 재조합하는 작업을 수행할 수 있다.

다음으로, 이미지에 대한 이진화 작업을 수행할 수 있다 (220).

단계 202 내지 218을 통하여 이미지 내에서 텍스트가 존재하는 영역이 검출되었기 때문에, 영역별로 이미지의 이진화를 수행한다. 이진화는 주어진 데이터를 k개의 클러스터로 묶는 알고리즘인 k-수단 클러스터링 (k-means clustering) 알고리즘을 이용하여 수행될 수 있다. 여기서, 이진화를 수행하는 것이기 때문에 k는 2로 설정한다. 이러한 작업에 의해서 텍스트가 존재하는 영역들 각각은 두 개의 클러스터 중 하나에 속하게 될 수 있다.

종래에는 이미지 내의 텍스트를 검출하기 위해서 획폭을 측정하는 SWT 알고리즘, 또는 모든 픽셀을 노드로 이용하는 MSER 알고리즘을 이용하였기 때문에, 이미지 내의 블롭을 신속하게 그리고 정확하게 검출하지 못하는 문제점이 있었다.

그러나, 본 발명에 따른 이미지 내의 텍스트 검출 방법은, 텍스트 후보 영역인 블롭을 검출하기 위해서 픽셀들의 집합인 픽셀 스팬을 노드로서 이용하기 때문에, 기존의 알고리즘에 비해서 보다 신속하게 그리고 정확하게 블롭을 검출할 수 있다.

본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

본 명세서에서, 각 블록은 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링 되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상으로 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 이미지 내의 텍스트 검출 장치
110: 이미지 획득부
120: 에지 픽셀 검출부
130: 픽셀 스팬 추출부
140: 블롭 생성부
150: 단어 구성부
160: 이진화 처리부
170: 제어부
180: 메모리

Claims (13)

1. 복수의 픽셀들이 행렬 형태로 배치된 이미지를 획득하는 단계;
   에지 검출 (edge detection) 알고리즘을 이용하여 상기 이미지 내의 에지 픽셀들을 검출하는 단계;
   상기 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합인 픽셀 스팬들 (pixel spans) 을 추출하는 단계;
   상기 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭 (blob) 을 생성하는 단계를 보함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
2. 제1 항에 있어서,
   상기 이미지 내의 에지 픽셀들을 검출하는 단계 이전에, 상기 이미지에 대해 양방향 필터링 (bilateral filtering) 을 수행하는 단계를 더 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
3. 제1 항에 있어서,
   상기 블롭을 생성하는 단계는 MSER (Maximally Stable External Region) 알고리즘을 이용하여 수행되는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
4. 제1 항에 있어서,
   상기 블롭을 구성하는 픽셀 스팬들 중 행 또는 열을 따라 돌출된 픽셀 스팬을 검출하는 단계;
   상기 돌출된 픽셀 스팬의 밝기 분산을 확인하는 단계; 및
   상기 돌출된 픽셀 스팬의 밝기 분산에 기초하여 상기 돌출된 픽셀 스팬을 개선 (refinement) 할지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
5. 제4 항에 있어서,
   상기 돌출된 픽셀 스팬을 개선할지 여부를 결정하는 단계는, 상기 돌출된 픽셀 스팬의 전 영역에서 밝기 분산이 균일하지 않은 경우, 상기 돌출된 픽셀 스팬을 개선하는 것으로 결정하는 단계를 포함하는, 이미지 내의 텍스트 검출 방법.
6. 제4 항에 있어서,
   상기 돌출된 픽셀 스팬을 개선할지 여부를 결정하는 단계는, 상기 돌출된 픽셀 스팬이 포함된 블롭 내의 다른 픽셀 스팬의 밝기 분산과 상기 돌출된 픽셀 스팬의 밝기 분산이 상이한 경우, 상기 돌출된 픽셀 스팬을 개선하는 것으로 결정하는 단계를 포함하는, 이미지 내의 텍스트 검출 방법.
7. 제4 항에 있어서,
   상기 돌출된 픽셀 스팬을 개선하는 것으로 결정함에 따라, 이행성 (transivity) 규칙을 적용하여 상기 돌출된 픽셀 스팬을 개선하는 단계를 더 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
8. 제1 항에 있어서,
   상호 연결된 두 개의 블롭을 하나의 블롭으로 재조합하는 단계를 더 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
9. 제1 항에 있어서,
   상기 이미지의 가장자리에 위치하는 블롭을 제거하는 단계를 더 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
10. 제1 항에 있어서,
    상기 이미지 내에서 종횡비 (aspect ratio) 가 2.5 이상인 블롭을 제거하는 단계를 더 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
11. 제1 항에 있어서,
    서로 다른 두 개의 블롭을 비교하여 하나의 블롭 내부에 나머지 블롭이 배치되는 경우, 상기 나머지 블롭을 제거하는 단계를 더 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 방법.
12. 복수의 픽셀들이 행렬 형태로 배치된 이미지를 획득하는 이미지 획득부;
    에지 검출 알고리즘을 이용하여 상기 이미지 내의 에지 픽셀들을 검출하는 에지 픽셀 검출부;
    상기 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합인 픽셀 스팬을 추출하는 픽셀 스팬 추출부; 및
    상기 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭을 생성하는 블롭 생성부를 포함하는 것을 특징으로 하는, 이미지 내의 텍스트 검출 장치.
13. 명령어 세트들을 저장하는 컴퓨터 판독가능매체로서,
    상기 명령어 세트들은, 컴퓨팅 장치에 의해 실행되는 경우에 상기 컴퓨팅 장치로 하여금,
    복수의 픽셀들이 행렬 형태로 배치된 이미지를 획득하도록 하고,
    에지 검출 알고리즘을 이용하여 상기 이미지 내의 에지 픽셀들을 검출하도록 하고,
    상기 이미지 내의 동일한 행 또는 열에서 서로 인접한 에지 픽셀들 사이에 위치하는 픽셀들의 집합인 픽셀 스팬을 추출하도록 하고, 그리고
    상기 픽셀 스팬들 각각을 노드로 이용해서, 동일한 속성을 가지며 상호 연결된 픽셀 스팬들을 그룹화하여 블롭을 생성하도록 하는, 컴퓨터 판독가능 매체.

Images