KR101417903B1 - 모바일 카메라를 이용한 영수증 인식 방법 및 시스템 - Google Patents

Abstract

본 발명은 모바일 카메라를 이용한 영수증 인식 방법 및 시스템이 개시된다. 모바일 카메라를 이용한 영수증 인식 방법은, 영수증을 모바일 카메라로 촬영하는 단계; 촬영된 영수증 영상을 메모리에 저장하는 단계; 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 단계; 그 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 단계; 그 상품명 라인으로부터 상품명 데이터베이스 검색어를 추출하는 단계; 및 추출된 검색어를 이용하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 단계를 포함한다.
본 발명에 의하면, 모바일 카메라 촬영시 영수증의 구겨짐, 접힘, 문자 끊어짐, 문자 흐림, 문자 지워짐 같은 영수증 자체 특성으로 인한 인식률 저하를 해소할 수 있다. 또한 모바일 환경에서 사용자의 사용습관에 따라 스냅 오토, 스냅 터치 및 프리뷰 캡쳐 방식을 선택적으로 사용할 수 있게 함으로써, 사용자에게 편리성을 제공하고 영수증 입력 처리 시간을 단축할 수 있다.

Description

모바일 카메라를 이용한 영수증 인식 방법 및 시스템{Method and system for recognizing receipt based on mobile camera}

본 발명은 영수증 인식 기술에 관한 것으로서, 특히 모바일 카메라를 이용한 영수증 인식 방법 및 시스템에 관한 것이다.

영수증 인식이란 모바일 카메라를 통해 영수증에 포함된 구매 일자, 상품 항목, 금액, 총금액 등의 문자열을 추출하여 가공할 수 있는 데이터 값으로 인식하는 것을 말한다.

현재 국내에서 사용되는 영수증은 E마트, GS 슈퍼마켓, 홈플러스의 3 가지를 예로 들 수 있다. 이러한 영수증의 특성은 영수증 유형별로 포함된 문자열의 종류가 다양하며, 필드간 영역을 침범하는 케이스가 존재한다. 대상의 재질과 환경적 요소에 따른 반사(reflection) 및 그림자(shadow)가 발생할 수 있다. 촬영환경에 따른 기울어짐(skew) 및 원근법(perspective), 흔들림(shake)가 발생할 수 있고, 구겨짐, 접힘, 휘어짐, 문자 끊어짐, 문자 흐림, 문자 지워짐과 같이 인식 대상 자체의 결함이 발생할 수도 있다.

이러한 영수증의 특성으로 인해 종래에는 스캐너를 통해 영수증을 인식하였다. 즉, 스캐너를 통해 영수증 이미지를 스캔하여 획득한 영수증 이미지 영상을 컴퓨터에 저장하고, 키보드 입력 방식을 통해 영수증 내의 정보를 입력하였다.

따라서, 모바일 카메라를 이용하여 영수증을 촬영하여 인식할 경우에는 상술한 촬영환경에 따른 영수증의 기울어짐(skew), 영상의 원근법(perspective), 영상의 흔들림(shake) 등이 발생되거나, 모바일 카메라 촬영시 영수증의 구겨짐, 접힘, 휘어짐, 문자 끊어짐, 문자 흐림, 문자 지워짐과 같은 영수증 자체의 특성에 문제가 있을 경우 그리고 영수증 재질과 환경적 요소에 따른 반사(reflection) 및 그림자(shadow) 등에 대한 처리 기술이 적용되지 않아 영수증 인식률이 저하되는 문제가 있다.

본 발명이 해결하고자 하는 과제는 상술한 모바일 카메라를 이용하여 영수증을 인식할 때 발생할 수 있는 문제점을 해결하고 영수증의 인식률을 높이고 처리시간을 단축할 수 있는, 모바일 카메라를 이용한 영수증 인식 방법 및 시스템을 제공하는 것이다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 방법은, 모바일 카메라를 이용한 영수증 인식 방법에 있어서, 상기 영수증을 모바일 카메라로 촬영하는 단계; 촬영된 영수증 영상을 메모리에 저장하는 단계; 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 단계; 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 단계; 상기 상품명 라인으로부터 상품명 데이터베이스 검색어를 추출하는 단계; 및 상기 추출된 검색어를 이용하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 단계를 포함한다.

상기 텍스트 라인 추출은 사용자 인터페이스를 통해 제공되는 인식 메뉴가 선택되면 수행되는 것을 특징으로 한다.

본 발명에 의한 모바일 카메라를 이용한 영수증 인식방법은 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 단계를 더 구비하고, 이 때 상기 데이터베이스 검색은 상기 검출된 코드 라인으로부터 상품명 고유코드를 인식하고, 상기 상품명 고유 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하는 것을 특징으로 한다.

본 발명에 의한 모바일 카메라를 이용한 영수증 인식방법은 상기 상품명 라인을 추출한 후 상품명 위치정보를 출력하고, 상기 추출된 상품명 라인을 사용자 인터페이스를 통해 디스플레이하는 단계를 더 포함하고, 상기 디스플레이된 상품명 라인을 사용자가 선택하면 상기 선택된 상품명 라인에 대해 상품명을 인식하고, 사용자에 의해 선택되지 않은 상품명 라인에 대해서는 상품명을 인식하지 않는 단계를 포함하는 것을 특징으로 한다.

본 발명에 의한 모바일 카메라를 이용한 영수증 인식방법은, 모바일 카메라를 이용한 영수증 인식 방법에 있어서, 상기 영수증을 모바일 카메라의 프리뷰(preview)로 촬영하는 단계; 촬영된 프리뷰 영수증 영상을 메모리에 저장하는 단계; 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 단계; 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하여 저장하는 단계; 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하여 저장하는 단계; 상기 저장된 상품명 라인과 코드 라인이 이전 프레임의 상품명 라인과 코드 라인과 비교하여 출력 유무를 결정하는 단계; 및 상기 출력유무에서 출력하기로 결정되면, 상기 코드라인의 코드를 인식하고, 상기 인식된 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 단계를 포함한다.

본 발명에 의한 모바일 카메라를 이용한 영수증 인식방법은 모바일 카메라를 이용한 영수증 인식 방법에 있어서, 상기 영수증을 스냅 오토(snap auto), 스냅 터치(snap touch) 및 프리뷰 캡쳐(preview capture) 세 가지 촬영방식 중 하나를 선택하여 모바일 카메라로 촬영하는 단계; 상기 스냅 오토 또는 스냅 터치 촬영방식이 선택된 경우, 촬영된 영수증 영상을 메모리에 저장하는 단계; 및 상기 저장된 영수증 영상의 상품명을 인식하는 단계를 포함하고, 상기 스냅 오토 촬영방식이 선택된 경우, 상기 영수증 영상의 상품명 인식 단계는 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인과, 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 단계; 상기 코드라인의 코드를 검색어로 하여 상품명 데이터베이스를 검색하여 상품명을 인식하는 단계를 포함하고, 상기 스냅 터치 촬영방식이 선택된 경우, 상기 영수증 영상의 상품명 인식 단계는 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인과, 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 단계; 상기 상품명 라인을 추출한 후 상품명 위치정보를 출력하고, 상기 추출된 상품명 라인을 사용자 인터페이스를 통해 디스플레이하는 단계; 및 상기 디스플레이된 상품명 라인을 사용자가 선택하면 상기 선택된 상품명 라인에 대해서만 상품명을 인식하는 단계를 구비하고, 상기 프리뷰 캡쳐 촬영방식이 선택된 경우, 상기 영수증 영상의 상품명 인식 단계는 프리뷰 캡쳐 방식으로 촬영된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 단계; 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인과, 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하여 저장하는 단계; 상기 저장된 상품명 라인과 코드 라인이 이전 프레임의 상품명 라인과 코드 라인과 비교하여 출력 유무를 결정하는 단계; 및 출력하기로 결정되면, 상기 코드라인의 코드를 상품명 데이터베이스 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 단계를 포함한다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 시스템은, 모바일 카메라를 이용한 영수증 인식 시스템에 있어서, 영수증을 촬영하는 모바일 카메라; 상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 영수증 이미지 매니저; 상기 저장된 영수증 영상을 로드하여 영수증 인식을 시작하게 하는 영수증 인식메뉴를 제공하는 사용자 인터페이스부; 상기 저장된 영수증 영상을 분석하는 영수증 분석부; 및 상기 분석된 영수증을 인식하는 영수증 인식부를 포함하고, 상기 영수증 이미지 매니저는 상기 사용자 인터페이스부에서 제공하는 인식메뉴가 선택되면 상기 저장된 영수증 영상을 상기 영수증 분석부로 전달하고, 상기 영수증 분석부는 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부; 및 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부를 구비하고, 상기 영수증 인식부는 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 코드라인 검출부; 및 상기 코드라인의 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 DB검색부를 포함한다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 시스템은, 모바일 카메라를 이용한 영수증 인식 시스템에 있어서, 영수증을 촬영하는 모바일 카메라; 상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 분석정보 매니저; 상기 저장된 영수증 영상을 로드하여 영수증 인식을 시작하게 하는 영수증 인식메뉴를 제공하는 사용자 인터페이스부; 상기 저장된 영수증 영상을 분석하는 영수증 분석부; 및 상기 분석된 영수증을 인식하는 영수증 인식부를 포함하고, 상기 영수증 분석부는 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부; 및 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부를 구비하고, 상기 영수증 인식부는 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 코드라인 검출부; 상기 코드라인의 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하는 DB검색부; 상기 검색된 상품명을 후처리하는 후처리부를 포함하고, 상기 사용자 인터페이스부는 상기 상품명 라인 추출부에서 추출된 상품명 라인을 디스플레이하고, 상기 분석정보 매니저는 상기 사용자 인터페이스부에서 제공하는 인식메뉴가 선택되면 상기 저장된 영수증 영상을 상기 영수증 분석부로 전달하여 영상분석이 이루어지게 하고, 상기 영수증 분석부에서 텍스트 라인이 추출되면 텍스트 라인 정보를 저장하며, 상기 사용자 인터페이스부를 통해 상기 디스플레이된 상품명 라인이 선택되면 상기 선택된 상품명라인 정보를 상기 영수증 인식부로 전달하여 영수증 인식이 수행되게 하는 것을 특징으로 한다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 시스템은, 모바일 카메라를 이용한 영수증 인식 시스템에 있어서, 카메라 프리뷰 상태에서 영수증을 촬영하는 모바일 카메라; 상기 프리뷰 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부; 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부; 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 코드라인 검출부; 상기 검출된 상품명 라인과 코드 라인을 저장하고, 상기 프리뷰 영상의 현재 프레임의 상품명 라인과 코드라인 정보를 이전 프레임의 상품명 라인과 코드 라인과 비교하여 출력 유무를 결정하는 인식결과 매니저; 상기 비교결과 출력하기로 결정되면, 상기 코드라인은 인식하여 상기 인식된 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 DB검색부를 포함한다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 시스템은, 모바일 카메라를 이용한 영수증 인식 시스템에 있어서, 상기 영수증을 스냅오토(snap auto), 스냅터치(snap touch) 및 프리뷰 캡쳐(preview capture) 세 가지 촬영방식 중 하나를 선택하게 하는 촬영방식 메뉴를 제공하는 사용자 인터페이스부; 상기 사용자 인터페이스부로부터 선택된 촬영방식으로 상기 영수증을 촬영하는 모바일 카메라; 상기 스냅오토 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하는 스냅오토 영수증 인식부; 상기 스냅 터치 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하는 스냅 터치 영수증 인식부; 및 상기 프리뷰 캡쳐 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하는 프리뷰 캡쳐 영수증 인식부를 포함하고, 상기 스냅오토 영수증 인식부는 상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 영수증 이미지 매니저; 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인과, 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 제1영수증 분석부; 및 상기 코드라인의 코드를 검색어로 하여 상품명 데이터베이스를 검색하여 상품명을 인식하는 제1영수증 인식부를 구비하고, 상기 스냅 터치 영수증 인식부는 상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 분석정보 매니저; 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 제2영수증 분석부; 및 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하고, 상기 코드라인의 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 제2영수증 인식부를 구비하고, 상기 사용자 인터페이스부는 상기 추출된 상품명 라인을 디스플레이하고, 상기 분석정보 매니저는 상기 제2영수증 분석부에서 텍스트 라인이 추출되면 텍스트 라인 정보를 저장하며, 상기 사용자 인터페이스부를 통해 상기 디스플레이된 상품명 라인이 선택되면 상기 선택된 상품명라인 정보를 상기 제2영수증 인식부로 전달하여 영수증 인식이 수행되게 하며, 상기 프리뷰 캡쳐 영수증 인식부는 프리뷰 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부; 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부; 상기 상품명 라인과 코드 라인을 저장하고, 상기 프리뷰 영상의 현재 프레임의 상품명 라인과 코드라인 정보를 이전 프레임의 상품명 라인과 코드 라인과 비교하여 출력 유무를 결정하는 인식결과 매니저; 및 상기 비교결과 출력하기로 결정되면, 상기 코드라인을 인식하여 상기 인식된 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 DB검색부를 포함하는 것을 특징으로 한다.

본 발명에 따른 카메라를 이용한 영수증 인식 방법 및 시스템에 의하면, 모바일 카메라 촬영시 영수증의 구겨짐, 접힘, 문자 끊어짐, 문자 흐림, 문자 지워짐 같은 영수증 자체 특성으로 인한 인식률 저하를 해소할 수 있다.

또한 모바일 환경에서 사용자의 사용습관에 따라 스냅 오토, 스냅 터치 및 프리뷰 캡쳐 방식을 선택적으로 사용할 수 있게 함으로써, 사용자에게 편리성을 제공하고 영수증 입력 처리 시간을 단축할 수 있다.

또한 모바일 커머스(commerce)와 연계하여 사용자 구매패턴, 최저가 비교 정보 등으로 활용함으로써 모바일 광고사업이나 모바일 커머스 관련 응용 솔루션으로도 활용가능하다.

도 1은 본 발명에 의한 스냅 오토 방식을 이용하여 영수증을 인식하는 시스템의 일실시예에 대한 구성을 블록도로 나타낸 것이다.
도 2는 본 발명에 의한 스냅 터치 방식을 이용하여 영수증을 인식하는 시스템의 일 실시예에 대한 구성을 블록도로 나타낸 것이다.
도 3은 본 발명에 의한 프리뷰 캡쳐 방식을 이용하여 영수증을 인식하는 시스템의 일 실시예에 대한 구성을 블록도로 나타낸 것
도 4은 스냅 오토, 스냅 터치, 프리뷰 캡쳐 방식의 3가지 촬영방식을 제공하고 이 중에서 사용자가 선택하면 선택된 방식에 의해 영수증을 인식하는, 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 시스템의 일 실시예에 대한 구성을 블록도로 나타낸 것이다.
도 5는 본 발명에 의한 스냅 오토 방식을 이용하여 영수증을 인식하는 방법에 대한 일 실시예를 흐름도로 나타낸 것이다.
도 6은 본 발명에 의한 스냅 터치 방식을 이용하여 영수증을 인식하는 방법에 대한 일 실시예를 흐름도로 나타낸 것이다.
도 7은 본 발명에 의한 프리뷰 캡쳐 방식을 이용하여 영수증을 인식하는 방법에 대한 일 실시예를 흐름도로 나타낸 것이다.
도 8은 스냅 오토, 스냅 터치, 프리뷰 캡쳐 방식의 3가지 촬영방식을 제공하고 이 중에서 사용자가 선택하면 선택된 방식에 의해 영수증을 인식하는, 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 방법의 일 실시예를 흐름도로 나타낸 것이다.
도 9는 스냅 오토 방식으로 영수증을 인식하는 동작 시나리오에 대한 일 예를 나타낸 것이다.
도 10은 스냅 터치 방식으로 영수증을 인식하는 동작 시나리오에 대한 일 예를 나타낸 것이다.
도 11은 프리뷰 캡쳐 방식으로 영수증을 인식하는 동작 시나리오에 대한 일 예를 나타낸 것이다.
도 12는 명도 영상에 대해 전역적 이진화 및 지역적 이진화를 적용한 영상을 나타내고 있다.
도 13은 본 발명에서 적용하고 있는 멀티 윈도우 이진화의 일 예를 설명하기 위한 것으로서, gray image에 대해 윈도우 사이즈를 5, 10, 20일 경우 및 멀티윈도우 이진화를 적용했을 경우의 이미지를 나타내고 있다.
도 14는 기울어짐, perspective 및 빛 반사처리를 나타내고 있다.
도 15는 빛 반사 처리 알고리즘을 흐름도로 나타낸 것이다.

이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

영수증 인식은 영수증에 영상에 대해 전처리를 수행한 후, 인식 대상을 추출하고, 추출된 인식대상에 대해 인식을 수행하고 인식된 영상을 후처리한다.

상기 전처리에는 영수증의 기울어짐(skew) 보정, 원근법(perspective) 처리, 조명차이 보정 및 지역적 이진화를 요소기술로 한다.

그리고 상기 인식 대상 추출은 문자열 추출 및 관심영역 내의 문자열 선택을 포함한다.

상기 인식에는 과분할과 내부 세그먼트(internal segmentation), 윤곽선 방향 특징 및 LDC(Linear Discrimination Classifier) 분류기를 포함한다.(설명보완 필요)

후처리는 불필요한 prefix/postfix를 제거하고 상품 데이터베이스에서 확률기반 검색을 수행한다.

본 발명에 의한 영수증 인식 방법 및 시스템에서는 영수증 촬영방식으로 스냅 오토(snap auto), 스냅 터치(snap touch) 및 프리뷰 캡쳐(preview capture) 촬영 방식를 제공한다.

스냅 오토는 촬영 후 일정영역 값을 자동으로 추출한 후 인식한다. 사용자는 영수증의 전체 또는 부분을 적절한 크기로 촬영한다. 제품 라이브러리(library)에서는 촬영된 이미지를 보정하고 영수증의구조분석을통해구매날짜, 상품명, 수량, 금액 등 영수증에 포함된 모든 항목을 추출한다. 제품 라이브러리의 인식 부분에서는 추출된 모든 항목을 인식하고 내재 또는 서버 DB와의 매칭을 통해 상품의 카테고리를 분류하고 문자의 끊김/지워짐 등에 의해 발생된 정확하지 못한 상품명을 복원한다.

스냅터치는 촬영 후 사용자가 일정 영역 값을 터치 한 것에 대해서만 인식한다. 사용자는 영수증의 전체 또는 부분을 적절한 크기로 촬영한다. 사용자는 전체 이미지 또는 부분 이미지를 보면서 원하는 영역을 터치 드로우(touch-draw)한다. 제품 라이브러리에서는 촬영된 이미지를 보정하고 사용자가 터치 드로우 한 영역을 대상으로 구조분석을 수행하여 영수증의 모든 영역을 추출한다. 제품 라이브러리의 인식부분에서는 추출된 항목들을 인식하고 데이터베이스와의 매칭을 통해 정확한 상품명을 출력한다. 선택한 항목을 사용자가 검증함으로써 처리를 완료시키고 해당 데이터를 전송한다.

프리뷰 캡쳐는 카메라 프리뷰 환경에서 항목을 선택하면 인식한다. 사용자는 모바일 카메라의 프리뷰(preview) 환경에서 원하는 항목에 초점(focus)를 두고 터치한다. 제품 라이브러리에서는 캡쳐된(captured) 이미지를 보정하고 해당 라인의 항목들을 추출한다. 제품 라이브러리의 인식 부분에서는 추출된 영수증의 항목들을 인식하고 데이터베이스와의 매칭을 통해 정확한 데이터를 제시한다. 사용자가 데이터를 검증함으로써 처리가 완료되고 전송한다.

도 1은 본 발명에 의한 스냅 오토 방식을 이용하여 영수증을 인식하는 시스템의 일실시예에 대한 구성을 블록도로 나타낸 것으로서, 모바일 카메라(100), 영수증 이미지 매니저(110), 사용자 인터페이스부(120), 영수증 분석부(130) 및 영수증 인식부(140)를 포함하여 이루어진다.

모바일 카메라(100)는 인식하고자 하는 영수증을 촬영하며, 통상적으로 모바일 단말기에 내장된 카메라로서, 바람직하게는 스마트 폰에 내장된 카메라가 이에 해당한다고 할 수 있다.

영수증 이미지 매니저(110)는 상기 촬영된 영수증 영상을 메모리(115)에 저장하고 관리한다. 예를 들어 영수증 이미지 매니저(110)는 촬영된 영상을 엔진 단의 메모리에 저장할 수 있으며, 안드로이드 동작 방식에서는 java단(힙(?) 메모리)보다 엔진 단에서 이용 가능한 허용 메모리가 많기 때문에 엔진 단에 촬영된 영수증 영상을 저장하는 것이 바람직하다. 그리고 메모리 사용량을 줄이기 위해 버퍼로 저장하며 버퍼를 배열로 관리하는 것이 바람직하다.

사용자 인터페이스부(120)는 상기 저장된 영수증 영상을 로드(load)하여 영수증 인식을 시작하게 하는 영수증 인식메뉴를 제공한다. 즉, 사용자는 영수증이 촬영된 후, 영수증 인식을 하고자 할 때 사용자 인터페이스부(120)에서 제공하는 인식메뉴를 클릭하거나 인식버튼을 누름으로써 영수증 분석부(130)가 영수증 인식을 시작하게 할 수 있다.

영수증 분석부(130)는 영수증 분석 시작 명령을 받으면, 상기 저장된 영수증 영상을 분석하며, 텍스트 라인 추출부(132) 및 상품명 라인 추출부(136)를 구비하고, 초벌 인식부(134)를 더 구비할 수도 있다.

사용자 인터페이스부(120)에서 제공하는 인식메뉴가 선택되면 상기 저장된 영수증 영상을 영수증 분석부(130)로 전달된다.

텍스트 라인 추출부(132)는 상기 영수증 영상을 수신하여 영수증 영상에서 텍스트에 해당하는 부분과 텍스트가 아닌 부분으로 분류하여 텍스트에 해당하는 부분으로 이루어지는 텍스트 라인들을 추출한다. 예를 들어, 영수증 영상을 픽셀별로 처리하여 픽셀 값이 임계값보다 크면 텍스트에 해당하는 것으로 판단하고, 픽셀값이 임계값보다 이하이면 텍스트에 해당하지 않는 것으로 판단함으로써, 영수증에서 텍스트에 해당하는 영역을 추출한다. 본 발명에서는 이를 위해 본 발명에 최적화된 이진화 기술을 적용한다. 본 발명에 적용되는 상기 이진화 기술은 후술하기로 한다.

초벌 인식부(134)는 상기 추출된 텍스트 라인으로부터 상품명 라인을 파악할 수 있을 정도로만 최소한의 인식을 수행한다. 즉, 영수증 인식 처리시간을 단축하기 위해 텍스트 라인들 중에서 상품명 라인을 파악할 수 있을 정도의 최소한의 숫자 또는 문자를 인식한다. 예를 들어, 통상적으로 상품명을 판단하는 가장 큰 정보는 상품명 앞쪽에 있는 순서 번호이므로, 각 라인에 대해서 순서번호가 존재할 가능성이 높은 부분만을 인식할 수 있다.

상품명 라인 추출부(136)는 상기 초벌 인식된 결과를 바탕으로 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출한다. 예를 들어 01, 001 형태의 번호유형을 판단하며, 오인식을감안하기위해오인식패턴을추가할수있으며, 순서 번호의 영역 형태 정보도 이용하여 상품명을 판단할 수 있다.

영수증 인식부(140)는 상기 분석된 영수증을 인식하며, 코드라인 검출부(142), DB 검색부(144)를 구비하며 후처리부(146)를 더 구비할 수 있다.

코드라인 검출부(142)는 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출한다. 국내 영수증의 경우 바코드가 상품명 아래 라인에 존재한다. 추출된 상품명 아래 라인을 조사하여 바코드 형태의 특징이 있는 라인을 찾는다. 바코드는 자리수가 13, 8, 6 개로 일정한 것이 특징이므로 이러한 정보를 이용하여 코드라인을 검출한다. 또한 오인식을감안하기위해오인식패턴을추가할수도있다.

DB검색부(144)는 상기 코드라인의 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식한다. 이는 영수증 인식 처리시간을 단축하기 위해 상품명을 모두 인식하지 않고 상품명/상품코드 데이터베이스에 있는 것은 검색된 내용을 그대로 인식된 상품명으로 이용한다. 상품명/상품코드 데이터베이스 검색은 바코드로 상품명을 찾는다. 이를 위해 바코드를 구성요소 별로 나누어 데이터 베이스를 구축하는 것이 바람직하며, 정확한 검색을 위해 인식된 결과에 따라 검색에 사용되는 요소를 선별하여 검색하는 것이 바람직하다.

후처리부(146)는 추출된 상품명에 대해서 불필요한 부분을 제거한다. 예를 들어 '레쓰비 에스프레소 240 ml'로 인식되었다면, 이를 '레쓰비 에스프레소'로 용량정보(240 ml)를 제거하거나 순서번호를 제거하는 등 불필요한 부분을 제거한다. 또한 상품에 사용되는 주요 단어로 구성되어 있는 단어 데이터베이스를 이용하여 오인식을보정할수있다. 도 9는 스냅 오토 방식으로 영수증을 인식하는 동작 시나리오에 대한 일 예를 나타낸 것이다.

도 2는 본 발명에 의한 스냅 터치 방식을 이용하여 영수증을 인식하는 시스템의 일 실시예에 대한 구성을 블록도로 나타낸 것으로서, 모바일 카메라(200), 분석정보 매니저(210), 영수증 분석부(220), 사용자 인터페이스부(230) 및 영수증 인식부(240)를 포함하여 이루어진다.

모바일 카메라(200)는 인식하고자 하는 영수증을 촬영하며, 통상적으로 모바일 단말기에 내장된 카메라로서, 바람직하게는 스마트 폰에 내장된 카메라가 이에 해당한다고 할 수 있다.

분석정보 매니저(210)는 상기 촬영된 영수증 영상을 메모리(115)에 저장하고 관리한다.

사용자 인터페이스부(230)는 상기 저장된 영수증 영상을 로드(load)하여 영수증 인식을 시작하게 하는 영수증 인식메뉴를 제공한다. 즉, 사용자는 영수증이 촬영된 후, 영수증 인식을 하고자 할 때 사용자 인터페이스부(230)에서 제공하는 인식메뉴를 클릭하거나 인식버튼을 누름으로써 영수증 분석부(220)가 영수증 인식을 시작하게 할 수 있다.

영수증 분석부(220)는 상기 저장된 영수증 영상을 분석하며, 텍스트라인 추출부(222), 초벌인식부(224) 및 상품명 라인 추출부(226)를 구비한다.

텍스트라인 추출부(222)는 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출한다. 예를 들어, 영수증 영상을 픽셀별로 처리하여 픽셀 값이 임계값보다 크면 텍스트에 해당하는 것으로 판단하고, 픽셀값이 임계값보다 이하이면 텍스트에 해당하지 않는 것으로 판단함으로써, 영수증에서 텍스트에 해당하는 영역을 추출한다. 본 발명에서는 이를 위해 본 발명에 최적화된 이진화 기술을 적용한다.

초벌인식부(224)는 상기 추출된 텍스트 라인으로부터 상품명 라인을 파악할 수 있을 정도로만 최소한의 인식을 수행한다. 즉, 영수증 인식 처리시간을 단축하기 위해 텍스트 라인들 중에서 상품명 라인을 파악할 수 있을 정도의 최소한의 숫자 또는 문자를 인식한다.

상품명 라인 추출부(226)는 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출한다. 예를 들어 01, 001 형태의 번호유형을 판단하며, 오인식을감안하기위해오인식패턴을추가할수있으며, 순서 번호의 영역 형태 정보도 이용하여 상품명을 판단할 수 있다.

영수증 인식부(240)는 상기 분석된 영수증을 인식하며, 코드라인 검출부(242), DB검색부(244) 및 후처리부(246)를 구비한다.

코드라인 검출부(242)는 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출한다. 국내 영수증의 경우 바코드가 상품명 아래 라인에 존재한다. 추출된 상품명 아래 라인을 조사하여 바코드 형태의 특징이 있는 라인을 찾는다. 바코드는 자리수가 13, 8, 6 개로 일정한 것이 특징이므로 이러한 정보를 이용하여 코드라인을 검출한다. 또한 오인식을감안하기위해오인식패턴을추가할수도있다.

DB검색부(244)는 상기 코드라인의 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색한다.

후처리부(246)는 추출된 상품명에 대해서 불필요한 부분을 제거한다. 예를 들어 '레쓰비 에스프레소 240 ml'로 인식되었다면, 이를 '레쓰비 에스프레소'로 용량정보(240 ml)를 제거하거나 순서번호를 제거하는 등 불필요한 부분을 제거한다. 또한 상품에 사용되는 주요 단어로 구성되어 있는 단어 데이터베이스를 이용하여 오인식을보정할수있다.

사용자 인터페이스부(230)는 상품명 라인 추출부(226)에서 추출된 상품명 라인을 디스플레이한다.

분석정보 매니저(210)는 사용자 인터페이스부(230)에서 제공하는 인식메뉴가 선택되면 상기 저장된 영수증 영상을 영수증 분석부(220)로 전달하여 영상분석이 이루어지게 하고, 영수증 분석부(220)에서 텍스트 라인이 추출되면 텍스트 라인 정보를 메모리(215)에 저장하며, 사용자 인터페이스부(230)를 통해 상기 디스플레이된 상품명 라인이 선택되면 상기 선택된 상품명라인 정보를 영수증 인식부(240)로 전달하여 영수증 인식이 수행되게 한다. 도 10은 스냅 터치 방식으로 영수증을 인식하는 동작 시나리오에 대한 일 예를 나타낸 것이다.

도 3은 본 발명에 의한 프리뷰 캡쳐 방식을 이용하여 영수증을 인식하는 시스템의 일 실시예에 대한 구성을 블록도로 나타낸 것으로서, 모바일 카메라(300), 텍스트라인 추출부(310), 상품명 라인 추출부(320), 코드라인 추출부(330), 인식결과 매니저(340), 코드라인 인식부(350), DB검색부(360), 후처리부(370)을 포함하여 이루어진다.

모바일 카메라(300)는 카메라 프리뷰 상태에서 영수증을 촬영한다. 바람직하게는 카메라 프리뷰 상태에서 화면을 영수증의 상품명에 맞추면 상품명을 촬영하며, 촬영된 상품명에 대해서는 실시간 처리가 이루어지게 한다.

텍스트 라인 추출부(310)는 상기 프리뷰 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출한다.

상품명 라인 추출부(320)는 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출한다.

코드라인 검출부(330)는 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출한다.

인식결과 매니저(430)는 상기 검출된 상품명 라인과 코드 라인(바코드 이미지)을 저장하고, 상기 프리뷰 영상의 현재 프레임의 상품명 라인과 코드라인 정보를 이전 프레임의 상품명 라인과 코드 라인과 비교하여 출력 유무를 결정한다. 이는 garbage 결과를 출력하지 않기 위한 것으로서, 같은 결과가 반복하여 인식되면 사용자가 동일한 곳을 화면 중심에 맞추어 촬영하고 있는 것이라고 보고 결과를 출력하기 위함이다. 그리고 인식결과 매니저(340)는 가장 최근에 출력된 결과를 저장하는데, 이는 동일한 상품을 반복해서 출력하지 않도록 하기 위해 사용된다. 그리고 상기 바코드 이미지는 출력이 결정된 경우 상품명 인식을 위해 사용된다.

DB검색부(360)는 상기 비교결과 출력하기로 결정되면, 상기 코드라인은 인식하여 상기 인식된 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식한다.

후처리부(370)는 추출된 상품명에 대해서 불필요한 부분을 제거한다. 예를 들어 '레쓰비 에스프레소 240 ml'로 인식되었다면, 이를 '레쓰비 에스프레소'로 용량정보(240 ml)를 제거하거나 순서번호를 제거하는 등 불필요한 부분을 제거한다. 또한 상품에 사용되는 주요 단어로 구성되어 있는 단어 데이터베이스를 이용하여 오인식을보정할수있다. 도 11은 프리뷰 캡쳐 방식으로 영수증을 인식하는 동작 시나리오에 대한 일 예를 나타낸 것이다.

도 4은 스냅 오토, 스냅 터치, 프리뷰 캡쳐 방식의 3가지 촬영방식을 제공하고 이 중에서 사용자가 선택하면 선택된 방식에 의해 영수증을 인식하는, 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 시스템의 일 실시예에 대한 구성을 블록도로 나타낸 것으로서, 사용자 인터페이스부(400), 모바일 카메라(410), 스냅오토 영수증 인식부(420), 스냅 터치 영수증 인식부(430) 및 프리뷰 캡쳐 영수증 인식부(440)를 포함하여 이루어진다.

사용자 인터페이스부(400)는 상기 영수증을 스냅 오토(snap auto), 스냅 터치(snap touch) 및 프리뷰 캡쳐(preview capture) 세 가지 촬영방식 중 하나를 선택하게 하는 촬영방식 메뉴를 제공한다.

모바일 카메라(410)는 사용자 인터페이스부(400)로부터 선택된 촬영방식으로 상기 영수증을 촬영한다.

스냅오토 영수증 인식부(420)는 상기 스냅 오토 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하며, 모바일 카메라(410)에 의해 촬영된 영상에 대해, 도 1에 도시된 사용자 인터페이스부(120, 영수증 이미지 매니저(110), 영수증 분석부(130) 및 영수증 인식부(140)를 구비한다. 도 1에 도시된 사용자 인터페이스부(120, 영수증 이미지 매니저(110), 영수증 분석부(130) 및 영수증 인식부(140)의 동작은 상술하였으므로 여기서는 생략한다.

스냅 터치 영수증 인식부(430)는 상기 스냅 터치 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하며, 모바일 카메라(410)에 의해 촬영된 영상에 대해, 도 2에 도시된 분석정보 매니저(210), 영수증 분석부(220), 사용자 인터페이스부(230) 및 영수증 인식부(240)를 구비한다. 도 2에 도시된 분석정보 매니저(210), 영수증 분석부(220), 사용자 인터페이스부(230) 및 영수증 인식부(240)의 동작은 상술하였으므로 여기서는 생략한다.

프리뷰 캡쳐 영수증 인식부(440)는 상기 프리뷰 캡쳐 촬영방식이 선택된 경우 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하며, 도 3에 도시된 모바일 카메라(300), 텍스트 라인 추출부(310), 상품명 라인 추출부(320), 코드라인 추출부(330), 인식결과 매니저(340), 코드라인 인식부(350), DB 검색부(360)를 구비한다. 도 3에 도시된 모바일 카메라(300), 텍스트 라인 추출부(310), 상품명 라인 추출부(320), 코드라인 추출부(330), 인식결과 매니저(340), 코드라인 인식부(350), DB 검색부(360)의 동작은 상술하였으므로 여기서는 생략한다.

도 5는 본 발명에 의한 스냅 오토 방식을 이용하여 영수증을 인식하는 방법에 대한 일 실시예를 흐름도로 나타낸 것으로서, 도 1과 도 5를 참조하여 본 발명에 의한 스냅 오토 방식을 이용하여 영수증을 인식하는 방법과 그 시스템의 동작을 설명하기로 한다.

모바일 카메라(100)가 상기 영수증을 촬영하면, 영수증 이미지 매니저(110)는 촬영된 영수증 이미지를 메모리(115)에 저장한다.(S500단계) 여기서, 상기 저장된 영수증 영상으로부터 빛 반사를 검출하여 반사광 영역이 소정의 임계값 이상일 경우 촬영을 다시 하게 하거나 촬영을 중단시킬 수도 있다.

사용자 인터페이스부(120)에서 제공하는 인식메뉴가 사용자에 의해 선택되면(S510단계), 텍스트라인 추출부(132)는 이진화 기술을 이용하여 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출한다.(S520단계) 상기 텍스트라인 추출은 영수증 영상 데이터를 서로 다른 크기를 갖는 복수의 윈도우를 사용하여 각 윈도우에 해당하는 영역 별로 수행된다. 이 때 상기 복수의 윈도우는 문서분석을 위한 제1윈도우, 전역적 경향을 반영하기 위한 제2윈도우 및 문자 구조의 상세함을 얻기 위한 제3윈도우를 포함하는 것이 바람직하다. 또한 텍스트 라인을 추출은 모바일 카메라 촬영시 발생되는 영수증 영상의 기울어짐(skew), 원근법(perspective), 흔들림에 대한 보정을 한 후에 수행되는 것이 바람직하다.

상품명 라인 추출부(136)는 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출한다.(S530단계)

여기서, 텍스트 라인을 추출한 후 초벌인식을 한 후, 상품명 라인을 추출할 수 있다. 즉, 초벌인식부(134)가 상기 추출된 텍스트 라인으로부터 상품명 라인을 파악할 수 있을 정도로만 최소한의 인식을 수행한다. 이는 영수증 인식 처리시간을 단축하기 위한 것으로서, 텍스트 라인들 중에서 상품명 라인을 파악할 수 있을 정도의 최소한의 숫자 또는 문자를 인식한다. 이 때, 상품명 라인 추출부(136)는 초벌 인식된 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출한다.

상품명 라인이 추출되면, 코드라인 검출부(142)가 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 추출한다.(S540단계) 국내 영수증의 경우 바코드가 상품명 아래 라인에 존재하므로, 추출된 상품명 아래 라인을 조사하여 바코드 형태의 특징이 있는 라인을 찾는다. 바코드는 자리수가 13, 8, 6 개로 일정한 것이 특징이므로 이러한 정보를 이용하여 코드라인을 검출한다.

코드라인이 검출되면, DB 검색부(144)는 상기 코드라인의 코드를 검색어로 하여 상품명/상품코드 데이터베이스를 검색하여 상품명을 인식한다.(S550단계) 이는 영수증 인식 처리시간을 단축하기 위해 상품명을 모두 인식하지 않고 상품명/상품코드 데이터베이스에 있는 것은 검색된 내용을 그대로 인식된 상품명으로 이용한다. 상품명/상품코드 데이터베이스 검색은 바코드로 상품명을 찾는 것이 바람직하다.

그리고, 후처리부(246)는 추출된 상품명에 대해서 불필요한 부분을 제거할 수도 있다. 상기 후처리를 통해 예를 들어 '레쓰비 에스프레소 240 ml'로 인식되었다면, 이를 '레쓰비 에스프레소'로 용량정보(240 ml)를 제거하거나 순서번호를 제거하는 등 불필요한 부분을 제거한다.

도 6은 본 발명에 의한 스냅 터치 방식을 이용하여 영수증을 인식하는 방법에 대한 일 실시예를 흐름도로 나타낸 것으로서, 도 2와 도 6을 참조하여 본 발명에 의한 스냅 터치 방식을 이용하여 영수증을 인식하는 방법과 그 시스템의 동작을 설명하기로 한다.

모바일 카메라(200)가 상기 영수증을 촬영하면, 정보분석 매니저(210)는 촬영된 영수증 이미지를 메모리(215)에 저장한다.(S600단계) 여기서, 상기 저장된 영수증 영상으로부터 빛 반사를 검출하여 반사광 영역이 소정의 임계값 이상일 경우 촬영을 다시 하게 하거나 촬영을 중단시킬 수도 있다.

사용자 인터페이스부(230)에서 제공하는 인식메뉴가 사용자에 의해 선택되면(S610단계), 텍스트라인 추출부(222)는 이진화 기술을 이용하여 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출한다.(S620단계) 상기 텍스트라인 추출은 영수증 영상 데이터를 서로 다른 크기를 갖는 복수의 윈도우를 사용하여 각 윈도우에 해당하는 영역 별로 수행된다. 이 때 상기 복수의 윈도우는 문서분석을 위한 제1윈도우, 전역적 경향을 반영하기 위한 제2윈도우 및 문자 구조의 상세함을 얻기 위한 제3윈도우를 포함하는 것이 바람직하다. 또한 텍스트 라인을 추출은 모바일 카메라 촬영시 발생되는 영수증 영상의 기울어짐(skew), 원근법(perspective), 흔들림에 대한 보정을 한 후에 수행되는 것이 바람직하다.

상품명 라인 추출부(226)는 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하고, 상품명 라인의 위치정보를 출력한다.(S630단계)

여기서, 텍스트 라인을 추출한 후 초벌인식을 한 후, 상품명 라인을 추출할 수 있다. 즉, 초벌인식부(224)가 상기 추출된 텍스트 라인으로부터 상품명 라인을 파악할 수 있을 정도로만 최소한의 인식을 수행한다. 이는 영수증 인식 처리시간을 단축하기 위한 것으로서, 텍스트 라인들 중에서 상품명 라인을 파악할 수 있을 정도의 최소한의 숫자 또는 문자를 인식한다. 이 때, 상품명 라인 추출부(226)는 초벌 인식된 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출한다.

상기 상품명 라인을 추출한 후 상품명 위치정보가 출력되면, 상기 추출된 상품명 라인을 사용자 인터페이스부(230)를 통해 디스플레이한다.(S640단계)

상기 디스플레이된 상품명 라인이 사용자에 의해 선택되면, 상기 선택된 상품명 라인에 상품명을 인식한다.(S650 단계)

상기 상품명 인식은 다음과 같이 이루어지는 것이 바람직하다. 코드라인 검출부(242)가 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 추출한다. 국내 영수증의 경우 바코드가 상품명 아래 라인에 존재하므로, 추출된 상품명 아래 라인을 조사하여 바코드 형태의 특징이 있는 라인을 찾는다. 바코드는 자리수가 13, 8, 6 개로 일정한 것이 특징이므로 이러한 정보를 이용하여 코드라인을 검출한다.

코드라인이 검출되면, DB 검색부(244)는 상기 코드라인의 코드를 검색어로 하여 상품명/상품코드 데이터베이스를 검색하여 상품명을 인식한다. 이는 영수증 인식 처리시간을 단축하기 위해 상품명을 모두 인식하지 않고 상품명/상품코드 데이터베이스에 있는 것은 검색된 내용을 그대로 인식된 상품명으로 이용한다. 상품명/상품코드 데이터베이스 검색은 바코드로 상품명을 찾는 것이 바람직하다. 그리고 후처리부(246)는 추출된 상품명에 대해서 불필요한 부분을 제거할 수도 있다.

도 7은 본 발명에 의한 프리뷰 캡쳐 방식을 이용하여 영수증을 인식하는 방법에 대한 일 실시예를 흐름도로 나타낸 것으로서, 도 3과 도 7을 참조하여 본 발명에 의한 프리뷰 캡쳐 방식을 이용하여 영수증을 인식하는 방법과 그 시스템의 동작을 설명하기로 한다.

모바일 카메라의 프리뷰(preview) 상태에서 상기 영수증을 촬영하여 저장한다.(S700단계)

텍스트라인 추출부(310)는 이진화 기술을 이용하여 상기 촬영된 프리뷰 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출한다.(S710단계)

상기 텍스트라인 추출은 영수증 영상 데이터를 서로 다른 크기를 갖는 복수의 윈도우를 사용하여 각 윈도우에 해당하는 영역 별로 수행된다. 이 때 상기 복수의 윈도우는 문서분석을 위한 제1윈도우, 전역적 경향을 반영하기 위한 제2윈도우 및 문자 구조의 상세함을 얻기 위한 제3윈도우를 포함하는 것이 바람직하다. 또한 텍스트 라인을 추출은 모바일 카메라 촬영시 발생되는 영수증 영상의 기울어짐(skew), 원근법(perspective), 흔들림을 보정한 후에 수행되는 것이 바람직하다.

상품명 라인 추출부(320)는 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하여 메모리(345)에 저장하고, 코드라인 검출부(330)는 상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 추출하여 메모리(345)에 저장한다.(S720단계) 국내 영수증의 경우 바코드가 상품명 아래 라인에 존재하므로, 추출된 상품명 아래 라인을 조사하여 바코드 형태의 특징이 있는 라인을 찾는다. 바코드는 자리수가 13, 8, 6 개로 일정한 것이 특징이므로 이러한 정보를 이용하여 코드라인을 검출한다.

인식결과 매니저(340)는 상기 저장된 상품명 라인과 코드 라인을 이전 프레임의 상품명 라인과 코드 라인과 비교하여(S730 단계), 출력 유무를 결정한다.(S740 단계)

상기 출력유무에서 출력하기로 결정되면, 코드라인 인식부(350)는 상기 코드라인의 코드를 인식하고, DB검색부(360)는 상기 인식된 코드를 검색어로 하여 상품명/상품코드 데이터베이스(365)를 검색하여(S750단계), 상품명을 인식한다. (S760단계)

도 8은 스냅 오토, 스냅 터치, 프리뷰 캡쳐 방식의 3가지 촬영방식을 제공하고, 이 중에서 사용자가 선택하면 선택된 방식에 의해 영수증을 인식하는 본 발명에 의한 모바일 카메라를 이용한 영수증 인식 방법의 일 실시예를 흐름도로 나타낸 것으로서, 도 4과 도 8을 참조하여 본 발명에 의한 모바일 카메라를 이용한 영수증을 인식하는 방법과 그 시스템의 동작을 설명하기로 한다.

사용자 인터페이스부(400)를 통해 상기 영수증을 스냅 오토(snap auto), 스냅 터치(snap touch) 및 프리뷰 캡쳐(preview capture) 세 가지 촬영방식 중 하나를 선택할 수 있는 메뉴를 제공한다.(S800단계)

사용자 인터페이스부(400)를 통해 사용자에 의해 상기 세 가지 촬영방식 중 하나가 선택되면(S810단계), 상기 선택된 촬영방식으로 영수증을 촬영하여 영수증을 분석 및 인식한다. 즉, 스냅오토 방식이 선택되면 도 5를 참조하여 설명한 스냅오토 방식으로 영수증을 촬영, 분석 및 인식한다.(S820단계) 스냅터치 방식이 선택되면 도 6을 참조하여 설명한 스냅터치 방식으로 영수증을 촬영, 분석 및 인식한다.(S830단계) 프리뷰 캡쳐 방식이 선택되면 도 7을 참조하여 설명한 프리뷰 캡쳐 방식으로 영수증을 촬영, 분석 및 인식한다.(S820단계) 도 5, 도6 및 도 7은 상술하였으므로 여기서는 구체적인 설명을 생략하기로 한다.

본 발명에 의한 영수증 인식 방법 및 시스템에서는 촬영환경에서 발생될 수 있는 반사(reflection)와 그림자(shadow) 등의 요소들을 멀티 윈도우 이진화 기법을 적용하여 해결한다. 이진화 방법에는 전역적 이진화 및 지역적 이진화가 있다.

전역적 이진화는 단일 임계값을 사용해서 전체 영상을 이진화하는 것으로서, 임계치 수동지정, 임계치 자동 결정이 있으며, 조명의 변화가 작은 영상에 적합하고, 처리속도가 빠른다. 지역적 이진화는 각 픽셀마다 적정한 임계값을 자동으로 설정하고, 조명변화, 저화질 영상에 강하고, 처리속도가 느리며 파라미터에 영향을 받는다. 도 12는 명도 영상에 대해 전역적 이진화 및 지역적 이진화를 적용한 영상을 나타내고 있다.

본 발명에 의한 멀티 윈도우 이진화 기술은 개선된 지역적 이진화를 수행하며, 3가지 크기의 윈도우 즉, 문서 분석을 위한 윈도우, 전역적 경향을 반영하기 위한 큰 윈도우 및 문자 구조의 상세함을 얻기 위한 작은 윈도우를 사용한다.

상기 멀티 윈도우 이진화 기술은 기존 지역적 이진화보다 속도가 빠르고, 화질 변화에 대한 적응력이 뛰어나며, 문자 인식 성능을 최적화할 수 있다. 도 13은 본 발명에서 적용하고 있는 멀티 윈도우 이진화의 일 예를 설명하기 위한 것으로서, gray image에 대해 윈도우 사이즈를 5, 10, 20일 경우 및 멀티윈도우 이진화를 적용했을 경우의 이미지를 나타내고 있다.

모바일 카메라 촬영 시 발생될 수 있는 기울어짐(skew)와 perspective 등의 사용자 습관적 요소들은 취득된 영상 속 인식대상의 skew 및 perspective를 검출하여 보정한다. 즉, 기울어짐은 0도에서 40도까지 기울어짐을 검출하고 보정한다. 기울어짐에 따른 인식 성능을 최소화한다. Perspective는 0도에서 80도까지 perspective 검출 및 보정을 수행하며, perspective에 따른 인식 성능 저하를 최소화한다. 빛 반사를 검출하여 사용자가 촬영시 회피하는 방안을 활용한다. 도 14는 기울어짐, perspective 및 빛 반사처리를 나타내고 있다. 그리고 도 15는 빛 반사 처리 알고리즘을 흐름도로 나타낸 것이다.

본 발명에서는 전체 영수증의 구조분석 결과를 토대로 추가적인 영역을 추출한다. 즉, 추출된 영역에서 날짜, 가격, 수량, 총 금액 정보를 인식할 수 있다. 또한 상품명의 잘림(문자 끊어짐), 문자 흐림, 문자 지워짐과 같이 부정확한 정보를 서버 또는 내재된 DB 매핑을 통해 후처리하여 정확한 정보로 제공할 수 있다.

한편, 본 발명에서 제공되는 세가지 촬영방식 즉, snap auto, snap touch 및 preview capture 에 대해 사용편리성, 처리 효율성 및 영수증 인식성능 측면에서 비교 설명하기로 한다.

먼저, 사용 편리성 측면에서, Snap auto 촬영방식은 적은 횟수의 촬영으로 가능하고 사용자 조작이 최소로 가능하며, 긴 영수증, 다량의 식품 구성인 경우 가장 편리하지만, 영수증 왜곡에 대해 촬영 동작을 불편하다. Snap touch 촬영방식은 적은 횟수의 촬영으로 가능하며, 식품명 개수 만큼 터치 드로우 조작을 해야 한다. Preview capture 촬영방식은 여러 번의 캡쳐를 필요로 하며, 식품명 개수만큼 카메라 포커싱(focusing)이 필요하며, 긴 영수증, 다량의 식품 구성인 경우 가장 불편하며, 영수증의 왜곡에 대해 촬영 동작은 편리하다.

다음으로, 처리 효율성 측면에서, snap auto는 응답시간이 길고, 긴 영수증, 소량의 식품 구성인 경우 가장 비효율적이다. 불필요한 영수증 구조분석, 인식, DB 매칭 등에서 비식품류 상품명 인식에 많은 시간이 소요된다. Snap touch는 snap auto보다 응답시간이 상대적으로 빠르고, snap auto보다 상대적으로 효율적이며, 비식품류 상품명 처리시간이 최소이다. Preview capture는 응답시간이 가장 빠르고, 긴 영수증, 소량의 식품 구성인 경우 가장 효율적이며, 비 식품류 상품명 처리 시간이 없다.

마지막으로 영수증 인식 성능 측면에서, snap auto는 영수증의 왜곡에 의해 인식 성능이 낮으며, 인식 성능이 상대적으로 낮다.

Snap touch 는 영수증의 왜곡에 의한 인식성능이 낮고, 인식 성능이 상대적으로 낮다. Preview capture는 영수증 왜곡을 최소화할 수 있고, 인식 성능이 상대적으로 높다.

한편, 본 발명에 의한 영수증 인식 방법 및 시스템은 데이터 입력 자동화 및 통계자동화 시스템을 통해 재무관리 시스템에 활용 가능하다. 예를 들어, 모바일 오피스의 재무관리 시스템, 가계부, 차계부, 기타 재무관련 응용 솔루션에 적용할 수 있다.

재무관리 시스템에서는 다음과 같이 적용할 수 있다. 영수증을 촬영했을 때 항목, 금액, 날짜 등의 정보를 재무/화계 시스템에 자동으로 입력하고, 영수증 이미지를 함께 등록함으로써 내부에서는 영수증 정보 입력에 소비되는 시간을 줄이고, 외부에서는 직원들이 사용한 비용을 실시간으로 등록함으로써, 재무 관리를 효율적으로 할 수 있다. 모바일 오피스 환경에서는 외부에 근무하는 직원이 늘어나게 되며 이는 재무관리에 어려움이 발생되므로 이러한 시스템을 통해 이러한 문제를 보완할 수 있다.

한편, 모바일 커머스와 연계하여 사용자의 구매패턴 및 최저가 비교정보 등에도 활용할 수 있다. 예를 들어 11번가, G마켓 등의 모바일커머스, 모바일 광고사업, 기타 모바일 커머스 관련 응용 솔루션에 적용할 수 있다.

구체적으로 모바일 커머스 및 광고시스템에서는 다음과 같이 활용할 수 있다.모바일 카메라로 촬영한 영수증의 구매 항목과 구매 가격, 구매 날짜 등의 정보를 추출하고, 이를 인식하여 텍스트로 변환하여 가계부의 출금 기록 내역을 자동으로 입력하며, 입력된 정보를 바탕으로 사용자의 소비 패턴을 분석 후 커머스와 연동하여 동일 제품의 최저가 상품을 비교하여 구매하는 서비스와 함께 사용자의 나이, 성별, 지역, 소비 패턴 정보를 바탕으로 사용자에 맞춤형 광고를 노출하는 광고 시스템을 구축할 수 있다.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100, 200, 300,410 : 모바일 카메라 110 : 영수증 이미지 매니저
120, 230, 400 : 사용자 인터페이스부 130, 220 : 영수증 분석부
132, 222, 310 : 텍스트 라인 추출부 134, 224 : 초벌 인식부
136, 226, 320 : 상품명 라인 추출부 140, 240 : 영수증 인식부
142, 242, 330 : 코드라인 검출부 144, 244, 360 : DB검색부
146, 246, 370 : 후처리부 210 : 정보분석 매니저
350 : 코드라인 인식부 420 : 스냅오토 영수증 인식부
430 : 스냅터치 영수증 인식부 440 : 프리뷰 캡쳐 영수증 인식부

Claims (10)

1. 모바일 카메라를 이용한 영수증 인식 방법에 있어서,
   (a) 상기 영수증을 모바일 카메라로 촬영하는 단계;
   (b) 촬영된 영수증 영상을 메모리에 저장하는 단계;
   (c) 상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 단계;
   (d) 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 단계;
   (e) 상기 상품명 라인으로부터 상품명 데이터베이스 검색어를 추출하는 단계;
   (f) 상기 추출된 검색어를 이용하여 상기 상품명 데이터베이스를 검색하여 상품명을 인식하는 단계; 및
   (g) 상기 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 단계를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 방법.
2. 제1항에 있어서, 상기 텍스트 라인 추출은
   사용자 인터페이스를 통해 제공되는 인식 메뉴가 선택되면 수행되는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 방법.
3. 제1항에 있어서, 상기 (d)단계는
   상기 상품명 근처에 있는 상품명 고유 코드로 이루어지는 코드 라인을 검출하는 단계를 더 구비하고,
   상기 데이터베이스 검색은
   상기 검출된 코드 라인으로부터 상품명 고유코드를 인식하고, 상기 상품명 고유 코드를 검색어로 하여 상기 상품명 데이터베이스를 검색하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 방법.
4. 제1항에 있어서,
   상기 상품명 라인을 추출한 후 상품명 위치정보를 출력하고, 상기 추출된 상품명 라인을 사용자 인터페이스를 통해 디스플레이하는 단계를 더 포함하고,
   상기 디스플레이된 상품명 라인을 사용자가 선택하면 상기 선택된 상품명 라인에 대해 상기 (e) 단계 및 (f) 단계를 수행하여 상품명을 인식하고, 사용자에 의해 선택되지 않은 상품명 라인에 대해서는 상품명을 인식하지 않는 단계를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 방법.
5. 모바일 카메라를 이용한 영수증 인식 방법에 있어서,
   상기 영수증을 모바일 카메라의 프리뷰(preview)로 촬영하는 단계;
   촬영된 프리뷰 영수증 영상을 메모리에 저장하는 단계;
   상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 단계;
   상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하여 저장하는 단계;
   상기 저장된 상품명 라인이 이전 프레임의 상품명 라인과 비교하여 출력 유무를 결정하는 단계; 및
   상기 출력유무에서 출력하기로 결정되면, 상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 단계를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 방법.
6. 모바일 카메라를 이용한 영수증 인식 방법에 있어서,
   상기 영수증을 스냅 오토(snap auto), 스냅 터치(snap touch) 및 프리뷰 캡쳐(preview capture) 세 가지 촬영방식 중 하나를 선택하여 모바일 카메라로 촬영하는 단계;
   상기 스냅 오토 또는 스냅 터치 촬영방식이 선택된 경우, 촬영된 영수증 영상을 메모리에 저장하는 단계; 및
   상기 저장된 영수증 영상의 상품명을 인식하는 단계를 포함하고,
   상기 스냅 오토 촬영방식이 선택된 경우, 상기 영수증 영상의 상품명 인식 단계는
   상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 검출하는 단계를 포함하고,
   상기 스냅 터치 촬영방식이 선택된 경우, 상기 영수증 영상의 상품명 인식 단계는
   상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 검출하는 단계;
   상기 상품명 라인을 추출한 후 상품명 위치정보를 출력하고, 상기 추출된 상품명 라인을 사용자 인터페이스를 통해 디스플레이하는 단계; 및
   상기 디스플레이된 상품명 라인을 사용자가 선택하면 상기 선택된 상품명 라인에 대해서만 상품명을 인식하는 단계를 구비하고,
   상기 프리뷰 캡쳐 촬영방식이 선택된 경우, 상기 영수증 영상의 상품명 인식 단계는
   프리뷰 캡쳐 방식으로 촬영된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 단계;
   상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 검출하여 저장하는 단계;
   상기 저장된 상품명 라인이 이전 프레임의 상품명 라인과 비교하여 출력 유무를 결정하는 단계; 및
   출력하기로 결정되면, 상기 촬영된 영수증 영상의 상품명을 인식하는 단계를 포함하고,
   스냅 오토, 스냅 터치 및 프리뷰 캡쳐 중 어느 하나의 방식으로 촬영된 상기 영수증 영상의 상품명 인식 단계는
   상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 단계를 더 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 방법.
7. 모바일 카메라를 이용한 영수증 인식 시스템에 있어서,
   영수증을 촬영하는 모바일 카메라;
   상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 영수증 이미지 매니저;
   상기 저장된 영수증 영상을 로드하여 영수증 인식을 시작하게 하는 영수증 인식메뉴를 제공하는 사용자 인터페이스부;
   상기 저장된 영수증 영상을 분석하는 영수증 분석부; 및
   상기 분석된 영수증을 인식하는 영수증 인식부를 포함하고,
   상기 영수증 이미지 매니저는
   상기 사용자 인터페이스부에서 제공하는 인식메뉴가 선택되면 상기 저장된 영수증 영상을 상기 영수증 분석부로 전달하고,
   상기 영수증 분석부는
   상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부; 및
   상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부를 구비하고,
   상기 영수증 인식부는
   상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 후처리부를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 시스템.
8. 모바일 카메라를 이용한 영수증 인식 시스템에 있어서,
   영수증을 촬영하는 모바일 카메라;
   상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 분석정보 매니저;
   상기 저장된 영수증 영상을 로드하여 영수증 인식을 시작하게 하는 영수증 인식메뉴를 제공하는 사용자 인터페이스부;
   상기 저장된 영수증 영상을 분석하는 영수증 분석부; 및
   상기 분석된 영수증을 인식하는 영수증 인식부를 포함하고,
   상기 영수증 분석부는
   상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부; 및
   상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부를 구비하고,
   상기 영수증 인식부는
   상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 후처리부를 포함하고,
   상기 사용자 인터페이스부는 상기 상품명 라인 추출부에서 추출된 상품명 라인을 디스플레이하고,
   상기 분석정보 매니저는
   상기 사용자 인터페이스부에서 제공하는 인식메뉴가 선택되면 상기 저장된 영수증 영상을 상기 영수증 분석부로 전달하여 영상분석이 이루어지게 하고, 상기 영수증 분석부에서 텍스트 라인이 추출되면 텍스트 라인 정보를 저장하며, 상기 사용자 인터페이스부를 통해 상기 디스플레이된 상품명 라인이 선택되면 상기 선택된 상품명라인 정보를 상기 영수증 인식부로 전달하여 영수증 인식이 수행되게 하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 시스템.
9. 모바일 카메라를 이용한 영수증 인식 시스템에 있어서,
   카메라 프리뷰 상태에서 영수증을 촬영하는 모바일 카메라;
   상기 프리뷰 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부;
   상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부;
   상기 검출된 상품명 라인을 저장하고, 상기 프리뷰 영상의 현재 프레임의 상품명 라인 정보를 이전 프레임의 상품명 라인과 비교하여 출력 유무를 결정하는 인식결과 매니저;
   상기 비교결과 출력하기로 결정되면, 상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 후처리부를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 시스템.
10. 모바일 카메라를 이용한 영수증 인식 시스템에 있어서,
    상기 영수증을 스냅오토(snap auto), 스냅터치(snap touch) 및 프리뷰 캡쳐(preview capture) 세 가지 촬영방식 중 하나를 선택하게 하는 촬영방식 메뉴를 제공하는 사용자 인터페이스부;
    상기 사용자 인터페이스부로부터 선택된 촬영방식으로 상기 영수증을 촬영하는 모바일 카메라;
    상기 스냅오토 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하는 스냅오토 영수증 인식부;
    상기 스냅 터치 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하는 스냅 터치 영수증 인식부; 및
    상기 프리뷰 캡쳐 촬영방식이 선택된 경우, 상기 촬영된 영수증 영상을 분석하고 영수증을 인식하는 프리뷰 캡쳐 영수증 인식부를 포함하고,
    상기 스냅오토 영수증 인식부는
    상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 영수증 이미지 매니저;
    상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 검출하는 제1영수증 분석부; 및
    상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 후처리부를 구비하고,
    상기 스냅 터치 영수증 인식부는
    상기 촬영된 영수증 영상을 메모리에 저장하고 관리하는 분석정보 매니저;
    상기 저장된 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들과, 상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 제2영수증 분석부; 및
    상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 후처리부를 구비하고,
    상기 사용자 인터페이스부는 상기 추출된 상품명 라인을 디스플레이하고,
    상기 분석정보 매니저는 상기 제2영수증 분석부에서 텍스트 라인이 추출되면 텍스트 라인 정보를 저장하며, 상기 사용자 인터페이스부를 통해 상기 디스플레이된 상품명 라인이 선택되면 상기 선택된 상품명라인 정보를 상기 제2영수증 인식부로 전달하여 영수증 인식이 수행되게 하며,
    상기 프리뷰 캡쳐 영수증 인식부는
    프리뷰 영수증 영상으로부터 텍스트인 것과 텍스트 아닌 것으로 분류하여 텍스트 인 것으로 이루어지는 텍스트 라인들을 추출하는 텍스트 라인 추출부;
    상기 텍스트라인들 중 상품명에 해당하는 텍스트 라인인 상품명 라인을 추출하는 상품명 라인 추출부;
    상기 상품명 라인을 저장하고, 상기 프리뷰 영상의 현재 프레임의 상품명 라인 정보를 이전 프레임의 상품명 라인과 비교하여 출력 유무를 결정하는 인식결과 매니저; 및
    상기 비교결과 출력하기로 결정되면, 상기 추출된 상품명에 대해 상품명 이외의 부분을 제거하고, 상품명에 포함된 단어에 대해 데이터베이스를 구축한 단어 데이터베이스를 이용하여 상품명에 포함된 단어를 검색어로 하여 상기 단어 데이터베이스를 검색하여 상품명에 포함된 단어에 대한 오인식을 보정하는 후처리부를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 영수증 인식 시스템.

Images