KR102275413B1

KR102275413B1 - 플로우 문서를 생성하기 위한 이미지 문서 컴포넌트 검출 및 추출 기법

Info

Publication number: KR102275413B1
Application number: KR1020167024910A
Authority: KR
Inventors: 밀란 세섬; 이반 부지크
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-03-11
Filing date: 2015-03-09
Publication date: 2021-07-08
Also published as: EP3117369B1; KR20160132842A; US20150262007A1; CN106104570B; EP3117369A1; TW201543378A; US9355313B2; CN106104570A; WO2015138268A1

Abstract

이미지 문서로부터 플로우 문서를 생성하기 위해 이미지 문서의 하나 이상의 컴포넌트가 검출 및 추출될 수 있다. 이미지 문서의 컴포넌트들은 텍스트, 하나 이상의 경로, 및 하나 이상의 이미지를 포함할 수 있다. 텍스트는 광학 문자 인식(OCR)을 이용해서 검출될 수 있으며, 이미지 문서는 이진화될 수 있다. 검출된 텍스트는 경로들의 검출을 가능하게 하기 위해 이진화된 이미지 문서로부터 추출되고, 그 후에 이미지들의 검출을 가능하게 하기 위해 이진화된 이미지 문서로부터 추출될 수 있다. 일부 예들에서, 텍스트 및 경로들과 마찬가지로 이미지들은 이진화된 이미지 문서로부터 추출될 수 있다. 추출된 텍스트, 경로들, 및/또는 이미지들은 데이터 저장소에 저장될 수 있고, 다양한 판독 경험에 보다 우수한 적응성성을 제공하고 또한 편집가능한 문서들을 제공할 수 있는 플로우 문서를 생성하기 위해 검색될 수 있다.

Description

플로우 문서를 생성하기 위한 이미지 문서 컴포넌트 검출 및 추출 기법{DETECTING AND EXTRACTING IMAGE DOCUMENT COMPONENTS TO CREATE FLOW DOCUMENT}

광학 문자 인식(OCR; Optical character recognition) 기술은 PDF와 같은 이미지 문서로부터 텍스트를 추출하는 데 사용될 수 있다. OCR은 텍스트 라인들, 각 라인에서의 단어들, 바운딩 박스(a bounding box), 및 각 단어에 대한 텍스트를 검출할 수 있다. 문단, 테이블, 열, 및 각주와 같은 이미지 문서의 복잡한 레이아웃 요소들 및 속성들이 인식될 수 있고, 이미지 문서는 예를 들어 DOCX(Open XML Format Document file) 또는 HTML(HyperText Markup Language)와 같은 임의의 플로우 문서에 대해 번호순으로 나열될 수 있다.

이미지 문서가 플로우 문서로 변환되는 다수의 이미지들을 포함하고 있으면, 주요 문서 속성들의 세트를 기반으로 하는 섹션들을 검출하기 위해 추가적인 분석이 필요할 수 있다. 이미지 문서를 플로우 문서로 변환하는 데 사용되는 현재의 기술은 변환시에 플로우를 유지하기 보다는 시각적 사실성(visual fidelity) 매칭에 초점이 맞추어져 있을 수 있다. 그 결과, 플로우 문서는 각 페이지 끝의 섹션 나누기(a section break), 및 인식불가능한 섹션 속성들을 포함할 수 있다.
선행기술의 예시는 미국 특허출원 공개공보 제2009/110288호에서 찾을 수 있다.

본 개요는 상세한 설명에 추가로 설명되는 개념들의 선택을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구대상의 중요한 특징들 또는 필수적인 특징들을 배타적으로 식별하기 위한 것이 아니라, 청구대상의 범위의 결정을 돕기 위한 것으로 의도된다.

실시예들은 이미지 문서로부터 플로우 문서를 생성하기 위해 이미지 문서의 하나 이상의 컴포넌트의 검출 및 추출에 관한 것이다. 이미지 문서의 컴포넌트들은 예를 들어 텍스트, 하나 이상의 경로, 및 하나 이상의 이미지를 포함할 수 있다. 이미지 문서의 텍스트가 OCR을 이용하여 검출될 수 있고, 이미지 문서는 이진화될 수 있다. 검출된 텍스트는 하나 이상의 경로를 검출하기 위해 이진화된 이미지 문서로부터 추출될 수 있고, 그 후에 하나 이상의 경로는 하나 이상의 이미지의 검출을 가능하게 하기 위해 이진화된 이미지 문서로부터 추출될 수 있다. 일부 예들에서, 텍스트 및 경로들과 마찬가지로, 이미지들은 이진화된 이미지 문서로부터 추출될 수 있다. 추출된 텍스트, 경로들, 및/또는 이미지들은, 다양한 판독 경험에 보다 우수한 적응성을 제공하고 또한 편집가능한 문서들을 제공할 수 있는 플로우 문서를 생성하기 위해, 인출가능 데이터 저장소에 저장될 수 있다.

이들 및 다른 특징들과 이점들은 이하의 상세한 설명을 읽고 또한 관련된 도면을 검토함으로써 자명해질 것이다. 앞서의 일반적인 설명 및 이하의 상세한 설명 모두가 예시적인 것이며 청구되는 측면들을 제한하는 것이 아님을 이해해야 한다.

도 1은 이미지 문서의 하나 이상의 컴포넌트의 검출 및 추출이 구현될 수 있는 예시적인 네트워크화된 환경을 도시하는 개념도를 포함한다.
도 2는 예시적인 이미지 문서를 도시한다.
도 3은 이진화된 이미지 문서의 예를 도시한다.
도 4는 추출된 텍스트를 갖는 이진화된 이미지 문서의 예를 도시한다.
도 5는 이진화된 이미지 문서 내에서 하나 이상의 이미지를 검출하도록 개발된 하나 이상의 테이블의 예를 도시한다.
도 6은 실시예들이 구현될 수 있는 예시적인 컴퓨팅 동작 환경의 블록도이다.
도 7은 실시예들에 따라 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 방법의 논리 흐름도를 도시한다.

간단하게 상기한 바와 같이, 예시적인 이미지 문서는 텍스트, 하나 이상의 이미지, 및 하나 이상의 경로를 포함할 수 있으며, 여기서 경로들은 예를 들어 단락 경계, 테이블 경계, 언더라인, 및 텍스트 경계와 같은 레이아웃 요소들을 나타낼 수 있다. OCR을 이용하여 이미지 문서의 텍스트가 검출될 수 있고, 이미지 문서는 이진화될 수 있다. 검출된 텍스트는 하나 이상의 경로를 검출하기 위해 이진화된 이미지 문서로부터 추출될 수 있고, 하나 이상의 경로는 그 후에 하나 이상의 이미지의 검출이 가능하게 되도록 이진화된 이미지 문서로부터 추출될 수 있다. 일부 예에서, 텍스트 및 경로들과 마찬가지로, 이미지들은 이진화된 이미지 문서로부터 추출될 수 있다. 추출된 텍스트, 경로들, 및/또는 이미지들은, 다양한 판독 경험에 보다 우수한 적응성을 제공하고 또한 편집가능한 문서를 제공할 수 있는 플로우 문서를 생성하기 위해, 인출가능 데이터 저장소에 저장될 수 있다.

이하의 상세한 설명에서, 상세한 설명의 일부를 형성하고 있으며 특정 실시예들 또는 예들의 예로써 도시되어 있는 첨부 도면들을 참조한다. 본 발명의 정신 또는 범위에서 벗어나지 않고서 이들 측면들은 결합될 수 있고, 다른 측면들이 이용될 수 있으며, 또한 구조적인 변경들이 이루어질 수 있다. 따라서, 이하의 상세한 설명은 제한적인 의미로 취해지지 않아야 하고, 본 발명의 범위는 첨부된 청구항들 및 그 등가물들에 의해 정의된다.

일부 실시예들은 퍼스널 컴퓨터 상의 오퍼레이팅 시스템에서 실행중인 애플리케이션 프로그램과 함께 실행되는 프로그램 모듈들의 일반적인 맥락으로 설명될 것이지만, 당업자는 다른 프로그램 모듈과 결합하여 측면들이 구현될 수도 있음을 인지할 것이다.

일반적으로, 프로그램 모듈들은 루틴, 프로그램, 컴포넌트, 데이터 구조, 및 특정한 작업들을 수행하거나 특정한 추상 데이터 타입들을 구현하는 다른 타입의 구조를 포함한다. 게다가, 당업자는 핸드헬드 디바이스, 다중 프로세서 시스템, 마이크로 프로세서 기반의 또는 프로그래밍 가능한 전자 제품, 미니 컴퓨터, 메인프레임 컴퓨터, 및 비슷한 컴퓨팅 디바이스를 포함해서 다른 컴퓨터 시스템 구성들로 실시예들이 실시될 수 있음을 이해할 것이다. 또한, 통신 네트워크를 통해 링크되어 있는 원격 프로세싱 디바이스들에 의해 작업들이 수행될 수 있는 분산형 컴퓨팅 환경에서 실시예들이 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 장치의 양쪽에 위치될 수 있다.

일부 실시예들은 컴퓨터-구현 프로세스(방법), 컴퓨팅 시스템, 혹은 컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체와 같은 제조 물품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능한 컴퓨터 저장 매체일 수 있고, 컴퓨터 또는 컴퓨팅 시스템으로 하여금 예시적인 프로세스(들)를 수행하게 하는 명령어를 포함하는 컴퓨터 프로그램을 인코딩하는 컴퓨터 저장 매체일 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 메모리 디바이스이다. 컴퓨터 판독가능 저장 매체는 예를 들어 휘발성 컴퓨터 메모리, 비휘발성 메모리, 하드 드라이브, 플래시 드라이브, 플로피 디스크, 또는 컴팩트 디스크, 및 유사한 하드웨어 매체 중 하나 이상을 통해 구현될 수 있다.

본 명세서 전반에 걸쳐, "플랫폼"의 용어는 이미지 문서로부터 플로우 문서를 생성하기 위해 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위한 소프트웨어 및 하드웨어 컴포넌트의 결합일 수 있다. 플랫폼의 예들은 복수의 서버 상에서 실행되는 호스트 서비스(a hosted service), 단일 컴퓨팅 디바이스에서 실행되는 애플리케이션, 및 유사한 시스템들을 포함하지만 이로 제한되지는 않는다. "서버"의 용어는 네트워크화된 환경에서 통상적으로 하나 이상의 소프트웨어 프로그램들을 실행하는 컴퓨팅 디바이스를 일반적으로 지칭한다. 그러나, 서버는 네트워크 상의 서버로 간주되는 하나 이상의 컴퓨팅 디바이스들에서 실행되는 가상 서버(소프트웨어 프로그램들)로서 구현될 수 있다. 이 기술들 및 예시적인 동작들에 대한 보다 상세한 것은 이하에 제공된다.

도 1은 일부 실시예들에 따라 이미지 문서의 하나 이상의 컴포넌트의 검출 및 추출이 구현되는 예시적인 네트워크화된 환경을 도시하는 개념도를 포함한다.

도면 100에 증명된 바와 같이, 하나 이상의 사용자들(102, 104, 106)은 클라우드 기반 네트워크(110) 상에서 컴포넌트 검출 애플리케이션(112)과 같은 애플리케이션에 액세스할 수 있다. 컴포넌트 검출 애플리케이션(112)은 원격 서버에서 호스팅될 수 있고, 클라우드 기반 네트워크(110) 상에서 사용자의 클라이언트 디바이스를 통해 액세스될 수 있다. 컴포넌트 검출 애플리케이션(112)의 로컬 버전은 또한 사용자의 클라이언트 디바이스에서 국부적으로 호스팅될 수 있고, 로컬 컴포넌트 검출 애플리케이션(112)과 연관된 데이터는 클라우드 기반 네트워크(110) 상에서 검색될 수 있다. 몇몇의 예시적인 클라이언트 디바이스들은 데스크탑 컴퓨터(132), 랩탑 컴퓨터(134), 스마트폰(136), 자동차 전화, 이동 전화, 태블릿, 및/또는 가정 자동화 디바이스를 포함할 수 있다.

클라우드 기반 네트워크(110)와 같은 네트워크 상에서 구현될 수 있는 예시적인 컴포넌트 검출 애플리케이션(112)은 이미지 문서의 하나 이상의 컴포넌트, 예를 들어 텍스트, 하나 이상의 이미지, 및 레이아웃 요소들을 나타내는 하나 이상의 경로의 검출을 가능하게 할 수 있다. 이미지 문서의 수신시에, 컴포넌트 검출 애플리케이션(112)은 OCR를 이용해서 텍스트를 검출할 수 있고, 또한 이미지 문서를 이진화할 수 있다. 검출된 텍스트는 이미지 문서의 경로들을 검출하기 위해 이진화된 이미지 문서로부터 추출될 수 있고, 그런 다음에 그 경로들은 이미지들을 검출하도록 추출될 수 있다. 일부 예들에서, 텍스트 및 경로들과 마찬가지로 이미지들은 이진화된 이미지 문서로부터 추출될 수 있다. 추출된 텍스트, 경로들, 및/또는 이미지들은 데이터 저장소(116)와 같은 데이터 저장소에 저장될 수 있고, 또한 다양한 판독 경험에 보다 우수한 적응성을 제공하며 또한 편집가능 문서들을 제공할 수 있는 플로우 문서를 생성하기 위해 검색될 수 있다. 컴포넌트 검출 애플리케이션(112)과 연관된 상이한 타입들의 데이터, 예를 들어 소프트웨어 데이터, 애플리케이션 데이터, 및 다른 유사한 데이터는 컴포넌트 검출 애플리케이션(112)으로부터 수신될 수 있고, 또한 사용자의 클라이언트 디바이스와 상호 작용할 수 있다.

컴포넌트 검출 애플리케이션(112)과 연관된 데이터는 컴포넌트 검출 애플리케이션(112)과 연관된 데이터 저장소(116)에서 호스팅될 수 있다. 데이터 저장소(116)는 클라우드 기반 네트워크(110)와 같은 네트워크를 가로질러 개개의 클라이언트 디바이스들에서 국부적으로 실행되는 애플리케이션들을 포함해서 컴포넌트 검출 애플리케이션(112)에 의해 요청되는 데이터를 검색 및 저장할 수 있다. 실시예에서, 사용자가 사용자의 클라이언트 디바이스로부터 네트워크 상에서 컴포넌트 검출 애플리케이션(112)과 상호작용하면, 요청은 컴포넌트 검출 애플리케이션(112)에 전송되어, 요청 응답 및 요청 충족을 위해 데이터를 검색할 수 있다. 예시적인 요청들은 이미지 문서로부터 플로우 문서를 생성하기 위한 요청을 포함할 수 있으며, 여기서 이미지 문서로부터 하나 이상의 검출 및/또는 추출된 컴포넌트들은 데이터 저장소(116)로부터 검색될 수 있다.

도 1에서의 예시적인 시스템은 특정한 서버들, 클라이언트 디바이스들, 애플리케이션들, 및 상호작용들을 이용해서 설명되었다. 실시예들은 이러한 예시적인 구성에 따른 시스템으로 한정되지 않는다. 이미지 문서로부터 플로우 문서를 생성하기 위해 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 플랫폼은, 보다 적은 또는 보다 많은 컴포넌트들을 이용해서 다른 작업들을 수행하는 구성들로 구현될 수 있다. 또한, 이미지 문서로부터 플로우 문서를 생성하기 위해 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 플랫폼은, 본 명세서에서 설명된 원리를 이용하는 유사한 방식으로 구현될 수 있다.

도 2는 일부 실시예들에 따라 예시적인 이미지 문서를 도시한다.

도면 200에 도시된 바와 같이, 이미지 문서의 컴포넌트들은 텍스트(202), 하나 이상의 이미지(204, 206), 및 하나 이상의 경로를 포함할 수 있다. 이미지들(204, 206)은 사진, 챠트, 그래프, 및 다른 유사한 그래픽 요소를 포함할 수 있다. 몇몇의 이미지 문서들에서, 이미지들(204, 206)은 채색될 수 있다. 예컨대, 도 2에 도시된 바와 같이, 제 1 이미지(204)는 빨강색일 수 있고, 제 2 이미지(206)는 파랑색일 수 있다. 이미지 문서의 경로들은 예를 들어 단락 경계(208), 테이블 경계(210), 언더라인(212), 및 텍스트 경계와 같은 기본적인 요소들을 나타낼 수 있다. 이미지 문서의 나머지 컴포넌트들은 무관한 것으로 간주될 수 있다. 단어들 및 경로들이 이진화된 이미지 문서로부터 제거되면, 이진화된 이미지 문서에 남아있는 컴포넌트들로부터 이미지들이 검출된다. 배경이 밝은 색(예를 들어, 노랑색)을 갖으면, 배경은 이진화된 이미지 상에서 흰색으로 변할 수 있고 재구성되지 않을 수 있다. 배경이 어두운 색(예를 들어, 검은색)을 가지면, 배경은 이진화된 이미지 상에서 검게 될 수 있고, 입력 이미지의 그 부분은 이미지로서 재구성될 수 있다.

클라이언트 디바이스를 통해 사용자로부터 도면 200의 예시적인 이미지 문서와 같은 이미지 문서를 수신하면, 컴포넌트 검출 애플리케이션은 이미지 문서로부터 텍스트(202)를 검출할 수 있다. OCR 엔진은 이미지 문서의 텍스트를 검출하기 위해 OCR을 이용할 수 있고, 여기서 인지된 텍스트, 바운딩 박스, 그림 문자들(glyphs)의 어레이, 및 하나 이상의 베이스라인 포인트가 검출된 텍스트 내 각 단어에 대해 결정될 수 있다. OCR 엔진은 검출된 텍스트 내 각 단어에 대해 바운딩 박스들을 통합할 수 있다. 예컨대, 각 단어에 대해, 베이스라인 포인트들에 기초하여 상승(ascent) 및 하강(descent)이 계산될 수 있으며, 상승은 베이스라인 포인트들 위 단어의 가장 높은 문자의 높이이고, 하강은 베이스라인 포인트들 아래 단어의 가장 높은 문자의 높이이다. 그 후에 단어들은 폰트 계통 및 사이즈에 따라 여러 클러스터들로 나누어질 수 있다. 각 클러스터에 대해, 최대 상승 및 하강이 계산될 수 있고, 각 단어에 대해, 베이스라인 포인트들에 따라 바운딩 박스가 재계산될 수 있다.

수신된 이미지 문서가 회전되면, OCR 엔진에 의해 각도가 검출될 수 있으며, 또한 검출된 각도가 예를 들어 1도보다 크면, OCR 엔진은 텍스트 검출 이전에 이미지 문서를 0도로 회전시킬 수 있다. 검출된 각도가 1도보다 적으면, OCR의 효율성을 저하시킬 수 있기 때문에 OCR 엔진은 이미지 문서를 회전시키지 않을 수 있다. 여기서 제공된 회전 예들은 예시를 위한 것이다. 구현 세부사항에 따라 다른 회전 임계치들이 정의될 수 있다.

도 3은 일부 실시예들에 따라 이진화된 이미지 문서의 예를 도시한다.

도면 300에 도시된 바와 같이, 이미지 문서의 이진화는, 이미지 문서의 관련 컴포넌트들이 검은색 픽셀(302)로서 표시되고 이미지 문서의 비관련 컴포넌트들이 흰색 픽셀(304)로서 표시되는 이미지를 생성할 수 있다. 이미지 문서의 관련 컴포넌트들은 텍스트, 하나 이상의 이미지, 및 하나 이상의 경로를 포함할 수 있다. 이미지 문서의 비관련 컴포넌트들은 텍스트, 이미지들 및/또는 경로들의 부분이 아닌 배경을 포함할 수 있다.

검은색 및 흰색 픽셀로 이루어진 이미지를 생성하기 위해 이진화의 Sauvola 방법이 사용될 수 있다. Sauvola 방법은 텍스트, 경로들, 및 이미지들과 같은 이미지 문서 콘텐츠들에 따라 알고리즘 선택 및 적응을 위해 급속 이미지 표면 분석을 사용할 수 있다. 예컨대, 이미지 콘텐츠는 텍스트 콘텐츠와는 상이한 타입의 분석을 받을 수 있다. 알고리즘 타입 및 매개 변수화(parameterization)에 대한 필요성을 선택하는 데, 또한 필요하다면 이진화 프로세스를 가이드하기 위해 이미지 문서의 각각의 픽셀 또는 모든 n번째 픽셀에 대한 임계값을 계산 및 제안하는 데 콘텐츠들이 사용될 수 있다. 노이즈와 같은 열화는 그 열화를 걸러내는 각 알고리즘 구조 내에서 관리될 수 있다.

도 4는 일부 실시예들에 따라 추출된 텍스트를 갖는 이진화된 이미지 문서의 예를 도시한다.

이미지 문서의 이진화 후에, 이미지 문서로부터 이전에 검출된 텍스트는 도면 400에 도시된 바와 같이 추출되어 데이터 저장소에 저장될 수 있다. 이미지 문서로부터의 텍스트는 OCR을 이용해서 이전에 검출되었고, 여기서 "Heading"과 같은 인지된 텍스트(404), 바운딩 박스(406), 그림 문자들의 어레이, 및 하나 이상의 베이스라인 포인트는 도 2에 논의된 바와 같이 검출된 텍스트 내 각 단어에 대해 결정될 수 있었다. 텍스트 추출의 프로세스는 플로우 구성(402)에 의해 도시될 수 있다.

인지된 텍스트(404)는 검출된 텍스트의 각 단어에 대해 베이스라인 포인트들(408) 위에서 바운딩 박스(406)를 배경 색상으로 채색함으로써 이진화된 이미지 문서로부터 추출될 수 있다. 배경 색상은 각 단어에 대해 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 결정될 수 있다. 예컨대, 바운딩 박스를 둘러싸고 있는 흰색 픽셀들보다 검은색 픽셀들의 개수가 더 많으면, 배경 색상은 검은색일 수 있다. 이와 달리, 바운딩 박스를 둘러싸고 있는 검은색 픽셀들보다 흰색 픽셀들의 개수가 더 많으면, 배경 색상은 흰색일 수 있다. 플로우 구성(402)에서, 바운딩 박스(406)를 둘러싸고 있는 검은색 픽셀들보다 흰색 픽셀들의 개수가 더 많기 때문에 바운딩 박스(406)는 베이스라인 포인트들(408) 위에서 흰색으로 채색될 있어, 배경 색상은 흰색이다.

문자 g, y, p, 및 j, 구두점(punctuation) 요소들, 및 언더라인들과 같은 레이아웃 요소들의 아래쪽 부분들과 같은, 인지된 텍스트(404)의 일부 부분들은, 410으로 도시된 바와 같이 베이스라인 포인트들(408) 아래에 있기 때문에 추출되지 않을 수 있다. 또한 이진화된 이미지 문서로부터의 다른 노이즈가 존재할 수 있고, 여기서 노이즈는 인지된 텍스트가 아니며 또한 이미지 문서의 경로들 또는 이미지들의 관련 컴포넌트들이 아닌 이진화된 이미지 문서 내에 존재하는 하나 이상의 검은색 픽셀이다. 긍정 오류(false positive)의 경로들 및 이미지들이 검출되지 못하도록 노이즈는 이진화된 이미지 문서로부터 제거될 수 있다.

검출된 텍스트가 추출되고 노이즈가 제거되면, 이진화된 이미지 내 하나 이상의 경로는 하나 이상의 알고리즘을 이용해서 검출될 수 있다. 경로들은 수직 및/또는 수평일 수 있으며, 예를 들어 단락 경계, 테이블 경계, 언더라인, 및 텍스트 경계와 같은, 이미지 문서의 기본 요소들을 나타낼 수 있다. 이진화된 이미지 문서 내 픽셀들의 각 열에서, 수직 경로들은 연속적인 검은색 픽셀들의 어레이들로서 검출될 수 있고, 이미지 문서 내 픽셀들의 각 행에서, 수평 경로들은 연속적인 검은색 픽셀들의 어레이들로서 검출될 수 있다. 검출된 초기의 수직 및/또는 수평 경로들은, 경로들이 긍정 오류를 포함할 수 있기 때문에, 경로들의 예비 세트일 수 있다. 제 1 긍정 오류 세트를 제거하기 위해, 이미지 문서에 비해 낮은 높이를 갖는 수직 경로들 및 이미지 문서에 비해 작은 폭을 갖는 수평 경로들은 세트로부터 폐기될 수 있다. 제 2 긍정 오류 세트를 제거하기 위해, 비선형의 수직 및/또는 수평 경로들은 폐기될 수 있다. 또한, 이미지 문서의 기본적인 요소들로서 검출되지 않은 경로들은 제 3 긍정 오류 세트로서 폐기될 수 있다.

도 2와 관련해서 예시적인 회전 시나리오에서 설명한 바와 같이, 수신된 이미지 문서가 회전되면, OCR 엔진에 의해 각도가 검출될 수 있고, 또한 검출된 각도가 1도보다 크면, OCR 엔진은 텍스트 검출 이전에 0도로 이미지를 회전시킬 수 있다. 검출된 각도가 1도보다 작으면, OCR 정확도를 저하시킬 수 있으므로 OCR 엔진은 이미지를 회전시키지 않을 수 있다. 그러나, 심지어 약간의 각도가 이미지 문서의 하나 이상의 이미지를 검출 및 추출하는 능력을 저하시킬 수 있으므로, 회전 각도는 경로 검출에 따라 결정될 수 있다. 이진화된 이미지 문서의 회전 각도는 OCR에 의해 검출된 하나 이상의 라인들을 이용하거나 또는 하나 이상의 검출된 경로를 이용함으로써 결정될 수 있다.

제 1 실시예에서, 이진화된 이미지 문서의 회전 각도는 검출된 경로들을 이용해서 결정될 수 있다. 검출된 수직 경로들은 수직 연결 컴포넌트들과 결합될 수 있고, 검출된 수평 경로들은 수평 연결 컴포넌트들과 결합될 수 있다. 예컨대, 2개의 수평 경로들이 서로 접촉해 있으면, 그것들은 동일한 수평 연결 컴포넌트들에 결합될 수 있다. 이미지 문서에 비해 높이가 너무 낮은 수직 연결 컴포넌트들, 및/또는 폭이 너무 작은 수평 연결 컴포넌트들은 폐기될 수 있다. 예컨대, 이미지 문서의 절반의 폭보다 작은 폭을 갖는 수평 연결 컴포넌트는 폐기될 수 있다. 비선형의 수직 및/또는 수평 연결 컴포넌트들 역시 폐기될 수 있다. 연결 컴포넌트들의 선형성을 검증하기 위해, 연결 컴포넌트들에 대한 바운딩 박스 내에서 제 1 및 제 2 선형 임계치가 확립될 수 있다. 예컨대, (left, right, top, bottom)가 연결 컴포넌트에 대한 바운딩 박스이면, 선형 임계치들은 바운딩 박스 내 다음의 포인트들 [(left, (top+bottom)/2), ((left+right)/2, bottom)] 및 [((left+right)/2, top), (right, (top+bottom)/2)]에서 확립될 수 있다. 제 2 선형 임계치 위에 그리고 제 1 선형 임계치 아래에 검은색 픽셀들이 있고, 또한 연결 컴포넌트가 라인이 아니면, 그 연결 컴포넌트는 폐기될 수 있다.

상기한 바와 같이 폐기되지 않은 수직 및/또는 수평 연결 컴포넌트들에 있어서, 회전 각도는 하나 이상의 알고리즘을 이용해서 계산될 수 있다. 예컨대, (left, right, top, bottom)가 연결 컴포넌트의 바운딩 박스이면, 알고리즘은 left와 동일한 바운딩 박스의 왼쪽을 갖는 연결 컴포넌트에서의 모든 경로들을 찾을 수 있다. 이들 경로들 중에서, 위쪽 및 아래쪽 경로(최저 높이의 위쪽을 갖는 경로 및 최고 높이의 아래쪽을 갖는 경로)를 찾아서 위쪽 및 아래쪽 경로의 중간으로서 연결 컴포넌트의 왼쪽 포인트를 결정한다. 유사한 알고리즘을 이용해서, 연결 컴포넌트의 오른쪽 포인트가 계산될 수 있다. 연결 컴포넌트의 회전 각도는 연결 컴포넌트의 왼쪽 및 오른쪽 포인트 사이 라인의 경사도일 수 있다.

제 2 실시예에서, 이진화된 이미지 문서의 회전 각도는 OCR에 의해 검출된 하나 이상의 라인들을 이용해서 결정될 수 있다. 검출된 라인들은 이미지 문서의 동일 라인에 있으며 서로 떨어져 있지 않은 단어들의 세트들일 수 있다. 검출된 라인들은, 각 OCR 라인을 보고서 각 라인에서의 첫 번째 및 마지막 단어를 고려함으로써 회전 각도를 결정하는 데 사용될 수 있다. 예컨대, OCR 라인에서의 첫 번째 단어가 바운딩 박스 (left 1, right 1, top 1, bottom 1)를 갖고 마지막 단어가 바운딩 박스 (left 2, right 2, top 2, bottom 2)를 가지면, OCR 라인에서의 회전 각도는 포인트 (left 1, (top 1+bottom 1)/2) 및 (right 2, (top 2+bottom 2)/2) 사이 라인의 경사도일 수 있다. 다수 OCR 라인들의 경사도는 다수의 잠재적 회전 각도들을 결정하기 위해 계산될 수 있다. 최종 회전 각도는 결정된 모든 잠재적 회전 각도들의 어레이에서의 가장 공통의 각도로서 결정될 수 있다.

제 1 또는 제 2 실시예에서, 결정된 회전 각도가 0도와는 상이하면, 이진화된 이미지는 0도의 각도를 달성하기 위해 결정된 회전 각도에 기초하여 회전될 수 있다. 이진화된 이미지 문서의 회전 후에, 이전에 검출된 텍스트의 바운딩 박스들은 마찬가지로 결정된 회전 각도에 기초하여 회전될 수 있으며, 상기한 바와 같이 이진화된 이미지 문서로부터 제거될 수 있다.

회전 각도가 결정되었고 및/또는 상기한 단계들이 반복되었으면, 검출된 경로들은 텍스트 추출 프로세스와 유사한 방식으로 이진화된 이미지 문서로부터 추출될 수 있으며, 또한 추출된 텍스트와 동일한 데이터 저장소에 저장될 수 있다. 예컨대, 경로의 바운딩 박스를 배경 색상으로 채색함으로써 경로가 추출될 수 있고, 여기서 배경 색상은 각 경로에 대한 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 결정될 수 있다. 이때, 언더라인에 대한 경로가 이미 검출되어 있고 추출될 수 있기 때문에, 410과 같은 베이스라인 아래의 단어의 바운딩 박스의 나머지 콘텐츠는 각 단어에 대해 추출될 수 있다. 경로 추출 후에, 텍스트 및 경로들이 아닌 검은색 픽셀들만이 이진화된 이미지 문서에 남아 있을 수 있다. 이들 검은색 픽셀들 중 일부는 비관련 노이즈일 수 있고, 검은색 픽셀들 중 일부는 이미지들의 관련 컴포넌트들일 수 있다.

도 5는 이진화된 이미지 문서 내에서 하나 이상의 이미지를 검출하기 위해 개발된 하나 이상의 테이블에 대한 예를 도시한다.

도 4와 관련해서 앞서 설명한 바와 같이, 텍스트 및 경로들이 아닌 검은색 픽셀들은 경로 추출 다음에 이진화된 이미지 문서에 남아 있을 수 있다. 이들 검은색 픽셀들 중 일부는 비관련 노이즈일 수 있고, 검은색 픽셀들 중 일부는 이미지들의 관련 컴포넌트들일 수 있다. 이미지들의 관련 컴포넌트들인 이진화된 이미지 문서 상의 하나 이상의 연결 컴포넌트를 결정하기 위해 알고리즘이 채택될 수 있다. 연결 컴포넌트가 너무 작으면, 예를 들어 연결 컴포넌트의 영역이 이미지 문서 상의 평균적인 문자의 영역보다 작으면, 컴포넌트는 노이즈로서 폐기될 수 있다. 그러나, 몇몇의 이미지 문서들에서, 이미지를 함께 생성하는 서로 나란히 있는 소형 연결 컴포넌트들이 다수 존재할 수 있다. 그 결과, 결정되는 연결 컴포넌트들은 이미지들을 검출하기 위해 이미지들의 관련 컴포넌트들을 결정하도록 결집될 수 있다.

결집된 컴포넌트들은 도면 500에 도시된 바와 같이 하나 이상의 테이블을 개발하는 데 사용될 수 있고, 여기서 인지되는 테이블들은 이진화된 이미지 문서 상의 검출된 이미지들을 표현할 수 있다. 각 테이블은 제 1 셀(502), 제 2 셀(504), 제 3 셀(506), 및 제 4 셀(508)과 같은 하나 이상의 셀을 포함할 수 있다. 제 1 셀(502) 및 제 2 셀(504)과 같은 인지된 테이블들로부터의 셀들은, 상이한 셀들로부터 대상물들의 취합을 막기 위해서 가장 작은 셀로부터 가장 큰 셀로 처리될 될 수 있다. 또한, 하나의 셀 내의 셀들, 예를 들어 제 1 셀(502) 내부의 셀(510)이 처리될 수 있다. 일부 실시예들에서, 처리된 셀들은 텍스트 및 경로 추출 프로세스와 유사한 방식으로 추출될 수 있다. 예컨대, 셀의 바운딩 박스를 배경 색상으로 채색함으로써 셀이 추출될 수 있고, 여기서 배경 색상은 각 경로에 대한 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 결정될 수 있다. 이미지들을 표현하는 인지된 셀들이 추출되면, 추출된 텍스트 및 경로들과 동일한 데이터 저장소에 저장될 수 있다. 그 후에, 이미지 문서로부터 추출된 텍스트, 경로들, 및/또는 이미지들을 이용해서 이미지 문서로부터 플로우 문서를 생성하기 위해, 추출된 텍스트, 경로들, 및/또는 이미지들은 데이터 저장소로부터 검색될 수 있다.

도 1 내지 도 5의 예들은 서버들, 애플리케이션들, 및 상호작용들을 포함한 특정 플랫폼들을 갖고서 설명되었다. 실시예들은 이러한 예시적인 구성들에 따른 시스템들로 한정되지 않는다. 이미지 문서로부터 플로우 문서를 생성하기 위한 이미지 문서에서의 컴포넌트 검출 및 추출은 여기서 설명한 원리들을 이용하는 유사한 방식으로 서버들, 애플리케이션들, 및 상호작용들을 포함한 다른 타입들의 플랫폼들을 이용하는 구성들로 구현될 수 있다.

도 6 및 관련 설명은 실시예들이 구현될 수 있는 적절한 컴퓨팅 환경에 대한 간단하고 일반적인 설명을 제공하기 위한 것이다. 도 6을 참조하면, 실시예들에 따른 애플리케이션을 위한 예시적인 컴퓨팅 동작 환경의 블록도, 예를 들어 컴퓨팅 디바이스(600)가 도시되어 있다. 기본적인 구성에서, 컴퓨팅 디바이스(600)는 몇몇 예들에서 터치 및 제스처 검출 능력을 포함할 수 있는 무선 통신 능력을 갖는 휴대용 컴퓨팅 디바이스일 수 있으며, 또한 적어도 하나의 프로세싱 유닛(602) 및 시스템 메모리(604)를 포함할 수 있다. 또한, 컴퓨팅 디바이스(600)는 실행 프로그램들에서 협력하는 다수의 프로세싱 유닛들을 포함할 수 있다. 컴퓨팅 디바이스의 정확한 구성 및 타입에 따라, 시스템 메모리(604)는 (RAM과 같은) 휘발성, (ROM, 플래시 메모리, 등과 같은) 비휘발성 또는 둘의 일부 조합일 수 있다. 시스템 메모리(604)는, 통상, 플랫폼의 동작을 제어하기에 적합한 오퍼레이팅 시스템(606), 예를 들어 워싱턴 레드먼드의 MICROSOFT CORPORATION로부터의 WINDOWS®, WINDOWS MOBILE®, 또는 WINDOWS PHONE® 오퍼레이팅 시스템을 포함한다. 또한, 시스템 메모리(604)는 컴포넌트 검출 애플리케이션(622), 및 경로 검출 모듈(624)과 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수 있다.

컴포넌트 검출 애플리케이션(622)은 추출되어 컴포넌트 검출 애플리케이션(622)과 연관된 데이터 저장소에 저장될 수 있는 텍스트, 하나 이상의 경로, 및/또는 하나 이상의 이미지를 이미지 문서로부터 검출할 수 있다. 추출된 텍스트, 경로들, 및/또는 이미지들을 이용해서 이미지 문서로부터 플로우 문서를 생성하기 위해, 추출된 텍스트, 경로들, 및/또는 이미지들은 데이터 저장소로부터 검색될 수 있다. 경로 검출 모듈(624)은 하나 이상의 경로를 검출하는 것뿐만 아니라 검출된 경로들을 이용해서 이미지 문서의 회전 각도를 결정하는 것을 도울 수 있다. 컴포넌트 검출 애플리케이션(622) 및 경로 검출 모듈(624)은 호스트 서비스의 통합 모듈 또는 별도의 애플리케이션일 수 있다. 이러한 기본적인 구성은 점선 608 내의 그 컴포넌트들로 도 6에 도시되어 있다.

컴퓨팅 디바이스(600)는 추가적인 특징들 또는 기능을 갖을 수 있다. 예컨대, 컴퓨팅 디바이스(600)는 또한 예를 들어 자기 디스크, 광 디스크, 또는 테이프와 같은 (제거가능한 및/또는 제거불가능한) 추가적인 데이터 저장 디바이스들을 포함할 수 있다. 이러한 추가적인 저장장치는 제거가능한 저장장치(609) 및 제거불가능한 저장장치(610)로 도 6에 도시되어 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 제거가능 및 제거불가능한 매체를 포함할 수 있다. 시스템 메모리(604), 제거가능한 저장장치(609) 및 제거불가능한 저장장치(610)는 컴퓨터 판독가능 저장 매체의 모든 예들이다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기 저장 디바이스들, 혹은 원하는 정보를 저장하는 데 사용될 수 있으며 컴퓨팅 디바이스(600)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이로 제한되진 않는다. 임의의 이러한 컴퓨터 판독가능 저장 매체는 컴퓨팅 디바이스(600)의 일부일 수 있다. 컴퓨팅 디바이스(600)는 또한 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 제스터를 검출하기 위한 광학 캡처 디바이스, 및 유사한 입력 디바이스들과 같은 입력 디바이스(들)(612)를 갖을 수 있다. 디스플레이, 스피커, 프린터, 및 다른 타입의 출력 디바이스들과 같은 출력 디바이스(들)(614) 역시 포함될 수 있다. 이들 디바이스들은 당업계에서 잘 알려져 있어 여기서 길게 설명될 필요가 없다.

일부 실시예들은 통신 모듈, 메모리 디바이스, 및 프로세서를 포함하는 컴퓨팅 디바이스로 구현될 수 있으며, 여기서 프로세서는 상기한 바와 같은 방법 또는 유사한 것들을 메모리 디바이스에 저장된 명령어과 관련해서 실행시킨다. 다른 실시예들은 상기한 방법 또는 유사한 것들을 실행하기 위해 저장된 명령어를 갖는 컴퓨터 판독가능 메모리 디바이스로서 구현될 수 있다. 하드웨어의 다양한 구현예로서의 메모리 디바이스의 예들이 위에서 설명된다.

컴퓨팅 디바이스(600)는 디바이스로 하여금 예를 들어 분산형 컴퓨팅 환경에서의 유선 또는 무선 네트워크, 위성 링크, 셀룰러 링크, 단거리 네트워크, 및 유사한 메카니즘들을 통해서 다른 디바이스들(618)과 통신하도록 하게 하는 통신 연결부(616)를 포함할 수도 있다. 다른 디바이스들(618)은 통신 애플리케이션, 웹 서버, 및 유사한 디바이스를 실행하는 컴퓨터 디바이스(들)를 포함할 수 있다. 통신 연결부(들)(616)는 통신 매체의 하나의 예이다. 통신 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 내부에 포함할 수 있다. 제한적이지 않은 예로서, 통신 매체는 유선 네트워크 또는 다이렉트-유선 연결부와 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다.

실시예들은 또한 방법들을 포함한다. 이 방법들은 본 명세서에서 설명된 구조들을 포함해서 임의 개수의 방식들로 구현될 수 있다. 이러한 한가지 방식은 본 명세서에서 설명된 타입의 디바이스들의 기계 동작들에 의한 것이다.

다른 선택적인 방식은 일부를 수행하는 하나 이상의 인간 오퍼레이터들과 함께 수행되어야 하는 방법들의 개개의 동작들 중 하나 이상을 위한 것이다. 이들 인간 오퍼레이터들은 서로 함께 위치될 필요가 없지만, 각각은 프로그램의 일부를 수행하는 기계하고만 같이 있을 수 있다.

도 7은 실시예들에 따라 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 방법의 프로세스(700)에 대한 논리 흐름도를 도시한다. 프로세스(700)는 서버 또는 다른 시스템 상에서 구현될 수 있다.

프로세스(700)는 컴포넌트 검출 애플리케이션에서 이미지 문서가 수신되는 동작 710으로 시작한다. 이미지 문서는 텍스트, 하나 이상의 경로, 및 하나 이상의 이미지를 포함할 수 있다. 동작 720에서, 이미지 문서의 텍스트는 OCR를 채택해서 검출될 수 있고, 여기서 인지된 텍스트, 바운딩 박스, 그림 문자들의 어레이, 및 하나 이상의 베이스라인 포인트는 검출된 텍스트 내 각 단어에 대해 결정될 수 있다.

동작 730에서, 이미지 문서는 이진화될 수 있고, 검출된 텍스트는 하나 이상의 알고리즘을 이용해서 이미지 문서의 경로들을 검출하기 위해 추출될 수 있다. 이미지 문서를 이진화함으로써, 이미지 문서의 관련 컴포넌트들이 검은색 픽셀들일 수 있고 이미지 문서의 비관련 컴포넌트들이 흰색 픽셀들일 수 있도록 이미지를 생성할 수 있다. 관련 컴포넌트들은 텍스트, 경로들, 및 이미지들을 포함할 수 있고, 비관련 컴포넌트들은 경로들로 표현되는 레이아웃 요소들이 아닌 텍스트 및/또는 이미지들 사이의 배경을 포함할 수 있다. 검출된 텍스트는 경로들의 검출을 가능하게 하기 위해 이진화된 이미지로부터 추출될 수 있고, 여기서 추출된 텍스트는 데이터 저장소에 저장될 수 있다. 예컨대, 텍스트는 검출된 텍스트의 각 단어에 대한 바운딩 박스를 배경 색상으로 채색함으로써 추출될 수 있고, 여기서 배경 색상은 각 단어에 대한 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 결정될 수 있다. 검출된 경로들은 수직 및/또는 수평일 수 있다. 이진화된 이미지 문서 내 픽셀들의 각 열에서, 수직 경로들은 연속적인 검은색 픽셀들의 어레이들로서 검출될 수 있고, 이미지 문서 내 픽셀들의 각 행에서, 수평 경로들은 연속적인 검은색 픽셀들의 어레이들로서 검출될 수 있다. 경로들이 긍정 오류를 포함할 수 있으므로, 검출된 초기의 수직 및/또는 수평 경로들은 경로들의 예비 세트일 수 있다. 긍정 오류를 제거하기 위해, 이미지 문서에 비해 높이가 낮은 수직 경로들 및 폭이 좁은 수평 경로들은 비선형 수직 및/또는 수평 경로들과 함께 세트로부터 폐기될 수 있다.

그 후에, 동작 740에서, 검출된 경로들은 이미지들을 검출하기 위해 텍스트 추출 프로세스와 유사한 프로세스에서 추출될 수 있고, 여기서 추출된 경로들은 추출된 텍스트와 동일한 데이터 저장소에 저장될 수 있다. 예컨대, 경로들은 각각의 검출된 경로에 대한 바운딩 박스를 배경 색상으로 채색함으로써 추출될 수 있으며, 여기서 배경 색상은 각 경로에 대한 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 결정될 수 있다. 경로 추출 다음에, 텍스트 및 경로들이 아닌 검은색 픽셀들은 이진화된 이미지 문서에 남아 있을 수 있다. 이들 검은색 픽셀들 중 일부는 비관련 노이즈일 수 있고, 검은색 픽셀들 중 일부는 이미지들의 관련 컴포넌트들일 수 있다. 이미지들의 관련 컴포넌트들을 검출하기 위해 이진화된 이미지 문서 상에서 하나 이상의 연결 컴포넌트를 결정하는 데 알고리즘이 채택될 수 있다. 연결 컴포넌트가 너무 작으면, 예를 들어 연결 컴포넌트의 영역이 이미지 문서 상의 평균적인 문자의 영역보다 작으면, 컴포넌트는 노이즈로서 폐기될 수 있다. 그러나, 몇몇의 이미지 문서들에서, 이미지를 함께 생성하는 서로 나란히 있는 다수의 소형 연결 컴포넌트들이 존재할 수 있다. 그 결과, 결정되는 연결 컴포넌트들은 이미지들의 관련 컴포넌트들을 검출하도록 취합될 수 있다. 취합된 컴포넌트들은 하나 이상의 테이블을 개발하는 데 사용될 수 있으며, 인지된 테이블들은 이진화된 이미지 문서 상의 이미지들을 표현할 수 있다. 각 테이블은 이미지들의 컴포넌트들을 표현하는 하나 이상의 셀을 포함할 수 있고, 인지된 테이블들로부터의 셀들은 이미지들을 검출하기 위해 가장 작은 셀로부터 가장 큰 셀로 처리될 수 있다.

선택적인 동작 750에서, 인지된 테이블들의 셀들은 텍스트 및 경로 추출과 유사한 프로세스에서 추출될 수 있으며, 여기서 추출된 이미지들은 텍스트 및 경로들과 동일한 데이터 저장소에 저장될 수 있다. 예컨대, 셀은 그 셀의 바운딩 박스를 배경 색상으로 채색함으로써 추출될 수 있고, 여기서 배경 색상은 각 경로에 대한 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 결정될 수 있다. 이때, 이미지 문서의 관련 컴포넌트들, 예를 들어, 인지된 테이블들에서 셀들로 표현되는 텍스트, 경로들, 및 이미지들이 검출 및 추출되었다. 그 후에, 데이터 저장소에 저장되는 추출된 컴포넌트들은, 추출된 텍스트, 경로들, 및/또는 이미지들을 이용해서 플로우 문서를 생성하기 위해 검색 및 사용될 수 있다.

프로세스 700에 포함된 동작들은 예시를 위한 것이다. 이미지 문서의 하나 이상의 컴포넌트의 검출 및 추출은, 여기서 설명된 원리들을 이용하는 동작들의 상이한 순서로 구현될 수 있을 뿐만 아니라, 더 적거나 추가적인 단계들을 갖는 유사한 프로세스들로 구현될 수도 있다.

일부 실시예들에 의하면, 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법들이 제공된다. 예시적인 방법은 텍스트, 하나 이상의 경로, 및 하나 이상의 이미지를 포함하는 이미지 문서를 수신하는 단계와, 이미지 문서의 텍스트를 검출하는 단계와, 하나 이상의 알고리즘을 이용해서 경로들의 검출을 가능하게 하기 위해 이미지 문서를 이진화하는 단계를 포함할 수 있으며, 여기서 검출된 텍스트는 경로들의 검출 이전에 이진화된 이미지 문서로부터 추출될 수 있다. 또한, 예시적인 방법은 알고리즘들을 이용해서 이미지들의 검출을 가능하게 하기 위해 이진화된 이미지 문서로부터 검출된 경로들을 추출하는 단계와, 이진화된 이미지 문서로부터 검출된 이미지들을 추출하는 단계를 포함할 수 있다.

다른 실시예들에서, 이미지 문서의 텍스트를 검출하는 단계는 이미지 문서의 텍스트를 검출하기 위해 광학 문자 인식(OCR)을 채택하는 단계를 포함할 수 있으며, 여기서 각 단어에 대해 인식된 텍스트, 바운딩 박스, 그림 문자들의 어레이, 및 하나 이상의 베이스라인 포인트는 검출된 텍스트 내에서 결정될 수 있다. 이미지 문서를 이진화하는 단계는 이미지를 생성하는 단계를 포함할 수 있으며, 여기서 이미지 문서의 텍스트, 경로들, 및 이미지들은 생성된 이미지에서 검은색 픽셀들로서 표시될 수 있다. Sauvola 이진화 방법은 이미지 문서를 이진화하는 데 사용될 수 있다. 알고리즘들을 이용한 이미지들의 검출은 이진화된 이미지 문서 상에서 하나 이상의 연결 컴포넌트를 결정하는 단계 - 연결 컴포넌트는 하나 이상의 터칭(touching) 픽셀들일 수 있음 - 와, 이미지들을 검출하기 위해 연결 컴포넌트들을 취합하는 단계와, 검출된 컴포넌트들을 표현하기 위해 취합된 컴포넌트들로부터 하나 이상의 테이블을 개발하는 단계를 포함할 수 있고, 테이블들 내의 하나 이상의 셀은 검출된 이미지들의 하나 이상의 컴포넌트를 표현할 수 있다.

다른 실시예들에서, 이진화된 이미지 문서로부터 검출된 이미지를 추출하는 단계는 테이블들 내의 각 셀에 대한 바운딩 박스를 배경 색상으로 채색하는 단계를 포함할 수 있다. 이진화된 이미지 문서로부터 텍스트를 추출하는 단계는 검출된 텍스트 내의 각 단어에 대한 베이스라인 위 바운딩 박스를 배경 색상으로 채색하는 단계를 포함할 수 있다. 이진화된 이미지 문서로부터 하나 이상의 검출된 경로를 추출하는 단계는 각 검출된 경로에 대한 바운딩 박스를 배경 색상으로 채색하는 단계를 포함할 수 있다. 배경 색상은 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 결정될 수 있고, 여기서 바운딩 박스를 둘러싸고 있는 흰색 픽셀들보다 검은색 픽셀들의 개수가 더 많이 카운팅되면 배경 색상은 검은색일 수 있고, 바운딩 박스를 둘러싸고 있는 검은색 픽셀들보다 흰색 픽셀들의 개수가 더 많이 카운팅되면 배경 색상은 흰색일 수 있다. 경로들의 검출 이전에 이진화된 이미지 문서로부터 노이즈가 제거될 수 있고, 상기 노이즈는 이미지 문서의 텍스트, 경로들, 및 이미지들이 아닌 이진화된 이미지 문서에 존재하는 하나 이상의 검은색 픽셀들일 수 있다. 이진화된 이미지 문서의 회전 각도는 검출된 경로들 또는 OCR로부터 검출된 하나 이상의 라인들을 이용해서 결정될 수 있고, 이진화된 이미지 문서는 결정된 회전 각도에 기초해 회전될 수 있다.

몇몇의 예들에 의하면, 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 컴퓨팅 디바이스들이 설명된다. 예시적인 컴퓨팅 디바이스는 명령어를 저장하는 메모리 및 그 메모리에 결합된 프로세서를 포함할 수 있고, 프로세서는 메모리에 저장된 명령어에 따라 컴포넌트 검출 애플리케이션을 실행한다. 컴포넌트 검출 애플리케이션은 텍스트, 하나 이상의 경로, 및 하나 이상의 이미지를 포함하는 이미지 문서를 수신하고, 이미지 문서로부터 텍스트를 검출하기 위해 OCR을 채택하고, 하나 이상의 알고리즘을 이용해서 이미지 문서 내 경로들의 검출을 가능하기 위해 이미지 문서를 이진화하도록 구성될 수 있으며, 이미지 문서로부터 검출된 텍스트는 경로들의 검출 이전에 추출될 수 있다. 컴포넌트 검출 애플리케이션은 알고리즘들을 이용해서 이미지들의 검출을 가능하게 하기 위해 이진화된 이미지 문서 상에서 검출된 경로들을 추출하고, 이진화된 이미지 문서로부터 검출된 이미지들을 추출하도록 또한 구성될 수 있다.

다른 예들에서, 검출된 경로들은 수직 경로들 및 수평 경로들일 수 있고, 수직 경로들은 이진화된 이미지 문서에서의 픽셀들의 하나 이상의 열 내의 연속적인 검은색 픽셀들의 어레이들로서 검출될 수 있고, 수평 경로들은 이진화된 이미지 문서에서의 픽셀들의 하나 이상의 행 내의 연속적인 검은색 픽셀들의 어레이들로서 검출될 수 있다. 추출된 텍스트, 추출된 경로들, 및 추출된 이미지들은 데이터 저장소에 저장될 수 있고, 추출된 텍스트, 경로들, 및 이미지들을 이용해서 이미지 문서로부터 플로우 문서를 생성하기 위해 데이터 저장소로부터 검색된다.

일부 실시예들에 의하면, 이미지 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 저장된 명령어를 갖는 컴퓨터 판독가능 메모리 디바이스가 설명된다. 예시적인 명령어는 텍스트, 하나 이상의 경로, 및 하나 이상의 이미지를 포함하는 이미지 문서를 수신하는 것과, 이미지 문서로부터 텍스트를 검출하기 위해 OCR을 채택하는 것과, 하나 이상의 알고리즘을 이용해서 이미지 문서 내 경로들의 검출을 가능하기 위해 이미지 문서를 이진화하는 것을 포함할 수 있으며, 검출된 텍스트는 경로들의 검출 이전에 이진화된 이미지 문서로부터 추출될 수 있다. 또한, 예시적인 명령어는 검출된 경로들을 이용해서 이진화된 이미지 문서의 회전 각도를 결정하는 것 - 이진화된 이미지 문서는 결정된 회전 각도에 기초하여 회전될 수 있음 - 과, 알고리즘들을 이용해서 이미지들의 검출을 가능하게 하기 위해 이진화된 이미지 문서 상에서 검출된 경로들을 추출하는 것과, 이진화된 이미지 문서로부터 검출된 이미지들을 추출하는 것을 포함할 수 있다.

다른 실시예들에서, 예시적인 명령어는 회전 각도를 결정하기 위해 검출된 경로들을 연결 컴포넌트들에 결합하는 것을 더 포함할 수 있으며, 검출된 경로들은 따로따로 결합되는 수직 경로들 및 수평 경로들일 수 있다. 예시적인 명령어는 이미지 문서와 비교해서 높이가 낮은 수직 경로들로부터 연결 컴포넌트들을 폐기하고, 이미지 문서와 비교해서 폭이 좁은 수평 경로들로부터의 연결 컴포넌트들을 폐기하는 것과, 선형이 아닌 수직 경로들 및 수평 경로들로부터 연결 컴포넌트들을 폐기하는 것을 더 포함할 수 있다.

전술한 설명, 예들 및 데이터는 실시예들의 구성의 제조 및 사용에 대한 완벽한 설명을 제공한다. 구조적 특징들 및/또는 방법론적 동작들에 대한 특유의 언어로 청구대상이 설명되었지만, 첨부된 청구범위에서 정의된 청구대상이 상기한 특정 특징들 또는 동작들로 반드시 제한되는 것이 아님을 이해해야 한다. 또한, 상기한 특정 특징들 및 동작들은 청구항들 및 실시예들을 구현하는 예시적인 형태로서 개시된다.

Claims

이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법으로서,
이미지 형식을 갖는 상기 문서를 수신하는 단계- 상기 문서의 콘텐츠는 텍스트, 하나 이상의 경로 및 하나 이상의 이미지를 포함함 -와,
이미지 형식을 갖는 상기 문서의 콘텐츠 내에서 상기 텍스트를 검출하는 단계와,
이미지 형식을 갖는 상기 문서를 이진화하는 단계와,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠로부터 상기 검출된 텍스트를 추출하는 단계와,
이미지 형식을 갖는 상기 문서의 콘텐츠 내에서 상기 하나 이상의 경로를 검출하는 단계- 상기 하나 이상의 경로는 이미지 형식을 갖는 상기 문서의 콘텐츠의 기본 요소를 나타냄 -와,
각 검출된 경로에 대한 바운딩 박스(a bounding box)를 배경 색상으로 채색함으로써 이미지 형식을 갖는 상기 이진화된 문서로부터 상기 하나 이상의 검출된 경로를 추출하고 상기 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 상기 배경 색상을 결정하는 단계와,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠로부터 상기 하나 이상의 이미지를 검출하는 단계와,
이미지 형식을 갖는 상기 이진화된 문서로부터 상기 하나 이상의 검출된 이미지를 추출하는 단계를 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 1 항에 있어서,
이미지 형식을 갖는 상기 문서의 상기 텍스트를 검출하는 단계는,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠에 대해 광학 문자 인식(OCR)을 이용하는 단계를 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 2 항에 있어서,
상기 검출된 텍스트에서의 각 단어에 대해 인식된 텍스트, 바운딩 박스, 그림 문자들(glyphs)의 어레이 및 하나 이상의 베이스라인 포인트를 결정하는 단계를 더 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 1 항에 있어서,
이미지 형식을 갖는 상기 문서를 이진화하는 단계는 이미지를 생성하는 단계를 포함하되,
이미지 형식을 갖는 상기 문서의 상기 텍스트, 상기 하나 이상의 경로 및 상기 하나 이상의 이미지는 상기 생성된 이미지에서 검은색 픽셀들로서 표시되는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 4 항에 있어서,
이미지 형식을 갖는 상기 문서를 이진화하는데 Sauvola 이진화 방법이 사용되는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 1 항에 있어서,
하나 이상의 알고리즘을 이용하는 상기 하나 이상의 이미지의 검출은,
이미지 형식을 갖는 상기 이진화된 문서 상에서 하나 이상의 연결된 컴포넌트(connected components)를 결정하는 단계- 연결된 컴포넌트는 하나 이상의 터칭(touching) 픽셀임 -와,
상기 하나 이상의 이미지를 검출하기 위해 상기 연결된 컴포넌트들을 취합하는(aggregating) 단계와,
상기 하나 이상의 검출된 컴포넌트를 나타내기 위해 상기 취합된 컴포넌트들로부터 하나 이상의 테이블을 구성하는 단계- 상기 하나 이상의 테이블 내의 하나 이상의 셀은 상기 하나 이상의 검출된 이미지의 하나 이상의 컴포넌트를 나타냄 -를 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 6 항에 있어서,
이미지 형식을 갖는 상기 이진화된 문서로부터 상기 하나 이상의 이미지를 추출하는 단계는,
상기 하나 이상의 테이블 내의 각 셀에 대한 바운딩 박스를 배경 색상으로 채색하는 단계를 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 1 항에 있어서,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠로부터 상기 텍스트를 검출하는 단계는,
상기 검출된 텍스트 내의 각 단어에 대한 베이스라인 위의 바운딩 박스를 배경 색상으로 채색하는 단계를 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 1 항에 있어서,
상기 바운딩 박스 주변에서 검은색 픽셀의 수가 흰색 픽셀의 수보다 많은 경우, 상기 배경 색상은 검은색이고, 상기 바운딩 박스 주변에서 흰색 픽셀의 수가 검은색 픽셀의 수보다 많은 경우, 상기 배경 색상은 흰색인,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 1 항에 있어서,
상기 하나 이상의 경로의 검출 이전에 이미지 형식을 갖는 상기 이진화된 문서로부터 노이즈를 제거하는 단계를 더 포함하되,
상기 노이즈는 이미지 형식의 상기 문서의 상기 텍스트, 상기 하나 이상의 경로 및 상기 하나 이상의 이미지가 아닌, 이미지 형식을 갖는 상기 이진화된 문서 내에 존재하는 하나 이상의 검은색 픽셀인,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
제 1 항에 있어서,
OCR로부터 검출된 하나 이상의 라인 및 상기 하나 이상의 검출된 경로 중 하나를 이용하여, 이미지 형식을 갖는 상기 이진화된 문서의 회전 각도를 결정하는 단계와,
상기 결정된 회전 각도에 기초하여, 이미지 형식을 갖는 상기 이진화된 문서를 회전시키는 단계를 더 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위해 컴퓨팅 디바이스 상에서 적어도 부분적으로 실행되는 방법.
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 컴퓨팅 디바이스로서,
명령어를 저장하는 메모리와,
상기 메모리에 결합되고, 상기 메모리에 저장된 상기 명령어에 따라 컴포넌트 검출 애플리케이션을 실행하는 프로세서를 포함하되,
상기 컴포넌트 검출 애플리케이션은,
이미지 형식을 갖는 상기 문서를 수신하고- 상기 문서의 콘텐츠는 텍스트, 하나 이상의 경로 및 하나 이상의 이미지를 포함함 -,
광학 문자 인식(OCR)을 이용하여, 이미지 형식을 갖는 상기 문서의 콘텐츠 내에서 상기 텍스트를 검출하고,
이미지 형식을 갖는 상기 문서를 이진화하고,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠로부터 상기 검출된 텍스트를 추출하고,
이미지 형식을 갖는 상기 문서의 콘텐츠 내에서 상기 하나 이상의 경로를 검출하고- 상기 하나 이상의 경로는 이미지 형식을 갖는 상기 문서의 콘텐츠의 기본 요소를 나타냄 -,
각 검출된 경로에 대한 바운딩 박스를 배경 색상으로 채색함으로써 이미지 형식을 갖는 상기 이진화된 문서로부터 상기 하나 이상의 검출된 경로를 추출하고 상기 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 상기 배경 색상을 결정하고,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠로부터 상기 하나 이상의 이미지를 검출하며,
이미지 형식을 갖는 상기 이진화된 문서로부터 상기 하나 이상의 검출된 이미지를 추출하도록 구성된,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 컴퓨팅 디바이스.
제 12 항에 있어서,
상기 하나 이상의 검출된 경로는 수직 경로 및 수평 경로인,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 컴퓨팅 디바이스.
제 13 항에 있어서,
상기 수직 경로는 이미지 형식을 갖는 상기 이진화된 문서 내 픽셀들의 하나 이상의 열에서 연속적인 검은색 픽셀들의 어레이로서 검출되고, 상기 수평 경로는 이미지 형식을 갖는 상기 이진화된 문서 내 픽셀들의 하나 이상의 행에서 연속적인 검은색 픽셀들의 어레이로서 검출되는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 컴퓨팅 디바이스.
제 12 항에 있어서,
상기 추출된 텍스트, 상기 하나 이상의 추출된 경로, 및 상기 하나 이상의 추출된 이미지는 데이터 저장소에 저장되고, 상기 추출된 텍스트, 상기 하나 이상의 추출된 경로, 및 상기 하나 이상의 추출된 이미지를 사용하여 이미지 형식을 갖는 상기 문서로부터 플로우 문서를 생성하기 위해 상기 데이터 저장소로부터 인출되는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하는 컴퓨팅 디바이스.
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위한 명령어를 저장한 컴퓨터 판독가능 메모리 디바이스로서,
상기 명령어는
이미지 형식을 갖는 상기 문서를 수신하는 것- 상기 문서의 콘텐츠는 텍스트, 하나 이상의 경로 및 하나 이상의 이미지를 포함함 -과,
광학 문자 인식(OCR)을 이용하여, 이미지 형식을 갖는 상기 문서의 콘텐츠 내에서 상기 텍스트를 검출하는 것과,
이미지 형식을 갖는 상기 문서를 이진화하는 것과,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠로부터 상기 검출된 텍스트를 추출하는 것과,
이미지 형식을 갖는 상기 문서의 콘텐츠 내에서 상기 하나 이상의 경로를 검출하는 것- 상기 하나 이상의 경로는 이미지 형식을 갖는 상기 문서의 콘텐츠의 기본 요소를 나타냄 -과,
상기 하나 이상의 검출된 경로를 이용하여, 이미지 형식을 갖는 상기 이진화된 문서의 회전 각도를 결정하는 것과,
상기 결정된 회전 각도에 기초하여, 이미지 형식을 갖는 상기 이진화된 문서를 회전시키는 것과,
각 검출된 경로에 대한 바운딩 박스를 배경 색상으로 채색함으로써 이미지 형식을 갖는 상기 이진화된 문서로부터 상기 하나 이상의 검출된 경로를 추출하고 상기 바운딩 박스를 둘러싸고 있는 검은색 및 흰색 픽셀들의 개수를 카운팅함으로써 상기 배경 색상을 결정하는 것과,
이미지 형식을 갖는 상기 이진화된 문서의 콘텐츠로부터 상기 하나 이상의 이미지를 검출하는 것과,
이미지 형식을 갖는 상기 이진화된 문서로부터 상기 하나 이상의 검출된 이미지를 추출하는 것을 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위한 명령어를 저장한 컴퓨터 판독가능 메모리 디바이스.
제 16 항에 있어서,
상기 명령어는 상기 회전 각도를 결정하기 위해 상기 하나 이상의 검출된 경로를 연결된 컴포넌트들로 결합하는 것을 더 포함하되, 상기 하나 이상의 검출된 경로는 별개로 결합되는 수직 경로 및 수평 경로인,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위한 명령어를 저장한 컴퓨터 판독가능 메모리 디바이스.
제 17 항에 있어서,
상기 명령어는
이미지 형식을 갖는 상기 문서에 비해 높이가 작은 상기 연결된 컴포넌트들을 상기 수직 경로에서 제거하고, 이미지 형식을 갖는 상기 문서에 비해 폭이 작은 상기 연결된 컴포넌트들을 상기 수평 경로에서 제거하는 것과,
선형이 아닌 상기 연결된 컴포넌트들을 상기 수직 경로 및 상기 수평 경로로부터 제거하는 것을 포함하는,
이미지 형식을 갖는 문서의 하나 이상의 컴포넌트를 검출 및 추출하기 위한 명령어를 저장한 컴퓨터 판독가능 메모리 디바이스.