KR101417901B1 - 모바일 카메라를 이용한 위치기반 플레이트 인식 방법 및 이를 제공하는 모바일 디바이스 - Google Patents

Abstract

모바일 카메라를 이용한 위치기반 플레이트 인식 방법 및 모바일 디바이스가 개시된다. 그 위치기반 플레이트 인식 방법은, 모바일 카메라를 이용한 위치기반 플레이트 인식 방법에 있어서, 모바일 카메라의 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성하는 단계; 프리뷰 이미지에서 텍스트 영역을 추출하는 단계; 및 텍스트 영역의 텍스트를 인식하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 평균 1초 이내의 빠른 시간에 위치기반 플레이트의 인식 결과를 화면에 출력할 수 있으며, 고층건물 밀집 지역에서도 오차 거리 없이 정확하게 현재 위치를 표시할 수 있다. 또한 모바일 카메라를 통해 인식한 특정 건물 정보를 통해 해당 건물의 층별 업체 정보와 부동산 정보 등을 제공할 수 있다.

Description

모바일 카메라를 이용한 위치기반 플레이트 인식 방법 및 이를 제공하는 모바일 디바이스{Method and mobile device for recognizing plate based on position using mobile camera}

본 발명은 인식 기술에 관한 것으로서, 특히 모바일 카메라를 이용한 위치기반 플레이트(plate) 인식 방법 및 시스템에 관한 것이다.

먼저, 본 명세서에서 사용되는 용어의 정의를 하면, 지도상의 위치를 표시할 수 있는 위치 정보를 가지고 있는 개체를 위치기반 플레이트라 하고, 상기 위치기반 플레이트로부터 문자열을 추출하여 가공할 수 있는 데이터 값으로 인식하는 것을 위치기반 플레이트 인식이라 한다.

종래의 위치기반 서비스(Location-Based Service)의 위치정보 취득 방법은 GPS를 통한 현재 위치 검색과 키보드 입력을 통한 DB 매핑으로 현재 위치를 검색하고 있다. 이러한 GPS를 활용한 위치기반 서비스는 고층 건물이 밀집되어 있는 지역에서는 작동이 불량하고 현재 위치에 대한 거리가 100 미터 정도의 오차가 발생한다. 그리고 GPS 신호와 와이파이(Wi-Fi), 3G/4G 등의 네트워크가 원활하지 않을 경우 위치 정보를 수신하지 못한다. 또한 GPS는 현재의 위치정보만 가지고 있기 때문에 특정 건물의 상세 정보를 제공하지 못한다.

본 발명이 해결하고자 하는 과제는 상술한 종래의 위치기반 서비스의 단점을 해결하고 고층건물이 밀집한 지역에서도 오차 거리 없이 정확하게 현재 위치를 표시하고 신속하게 위치기반 플레이트의 인식결과를 화면에 출력할 수 있는, 모바일 카메라를 이용한 위치기반 플레이트 인식 방법 및 모바일 디바이스를 제공하는 것이다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 카메라를 이용한 위치기반 플레이트 인식 방법은, 모바일 카메라를 이용한 위치기반 플레이트 인식 방법에 있어서, (a) 모바일 카메라의 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성하는 단계; (b) 상기 프리뷰 이미지에서 텍스트 영역을 추출하는 단계; 및 (c) 상기 텍스트 영역의 텍스트를 인식하는 단계를 포함하는 것을 특징으로 한다.

상기 모바일 카메라를 이용한 위치기반 플레이트 인식 방법은, 상기 (c) 단계에서 인식된 텍스트를 저장하는 단계; 소정의 시간 간격을 두고 상기 (a)단계 내지 상기 (c) 단계를 한 번 더 수행하여 인식된 텍스트를 상기 저장된 텍스트와 비교하는 단계; 상기 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, 상기 인식된 텍스트를 이용하여 위치기반 플레이트 데이터베이스를 검색하는 단계; 상기 검색 결과를 상기 위치기반 플레이트에 대한 인식결과로 획득하는 단계를 포함하는 것을 특징으로 한다.

상기 (b)단계는 (b1) 상기 프리뷰 이미지를 역상 처리하는 단계; (b2) 상기 역상 처리된 이미지를 이진화하여 연결성분(connected component)들을추출하는 단계; (b3) 상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택하는 단계; (b4) 상기 선택된 후보 별로, 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출하여 저장하는 단계; (b5) 역상처리 되지 않은 상기 프리뷰 이미지를 이진화하여 연결성분들을 추출한 후 상기 (b3)단계 및 (b4)단계를 수행하는 단계; 및 (b6) 상기 (b4) 단계와 (b5) 단계에서 가장 점수가 높은 후보에 대해 추출된 텍스트 영역들을 상기 위치기반 플레이트의 텍스트 영역으로 결정하는 단계를 포함하는 것을 특징으로 한다.

상기 (c) 단계는 상기 프리뷰 이미지를 이진화 하는 단계; 상기 텍스트 영역에서 텍스트를 인식하는 단계; 및 상기 인식된 텍스트에서 특수문자를 제거하고 분리된 한글을 재결합하는 단계를 포함하는 것을 특징으로 한다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 카메라를 이용한 위치기반 플레이트 인식 모바일 디바이스는 위치기반 플레이트를 인식하는 모바일 디바이스에 있어서, 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성하는 모바일 카메라; 및 상기 프리뷰 이미지에서 텍스트 영역을 추출하여 상기 텍스트 영역의 텍스트를 인식하는 위치기반 플레이트 인식 소프트웨어를 저장하고 있는 저장부; 및 상기 위치기반 플레이트 인식 소프트웨어를 실행하는 프로세서를 포함한다.

상기 위치기반 플레이트 인식 소프트웨어는 상기 프리뷰 이미지에서 텍스트 영역을 추출하는 텍스트 영역 추출 모듈; 및 상기 텍스트 영역의 텍스트를 인식하는 텍스트 인식 모듈을 포함하는 것을 특징으로 한다.

본 발명에 의한 모바일 카메라를 이용한 위치기반 플레이트 인식 모바일 디바이스는 인식된 텍스트를 저장하는 텍스트 저장부 및 위치기반 플레이트들의 텍스트를 저장하고 있는 위치기반 플레이트 데이터 베이스를 더 구비하고, 상기 위치기반 플레이트 인식 소프트웨어는 상기 모바일 카메라에 의해 소정의 시간 간격을 두고 새로 생성된 프리뷰 이미지에 대해 상기 텍스트 영역 추출모듈에 의해 텍스트 영역이 추출되고, 상기 텍스트 인식모듈에 의해 상기 추출된 텍스트 영역으로부터 텍스트가 인식되면, 상기 인식된 텍스트와 상기 저장된 텍스트와 비교하는 텍스트 비교 모듈; 상기 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, 상기 인식된 텍스트를 검색어로 하여 상기 위치기반 플레이트 데이터베이스를 검색하여 상기 위치기반 플레이트에 대한 인식결과로 획득하는 DB검색 모듈을 더 포함하는 것을 특징으로 한다.

상기 텍스트영역 추출모듈은 상기 프리뷰 이미지를 역상 처리하는 역상 처리 모듈; 상기 역상 처리된 이미지를 이진화하여 연결성분(connected component)들을추출하는연결성분추출모듈; 상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택하는 기준후보 선택 모듈; 상기 선택된 후보 별로, 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출하는 역상 텍스트 영역 후보 추출 모듈; 역상처리 되지 않은 상기 프리뷰 이미지에 대해 상기 연결성분 추출 모듈에 의해 이진화 및 연결성분들이 추출되고, 상기 기준후보 선택 모듈에 의해 기준후보가 선택되면, 상기 선택된 후보 별로 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출하는 비역상 텍스트 영역 후보 추출 모듈; 및 상기 역상 텍스트 영역 후보 추출 모듈 및 비역상 텍스트 영역 추출모듈에 의해 점수화된 기준 후보들 중 가장 점수가 높은 기준 후보에 상응하는 텍스트 영역들을 상기 위치기반 플레이트의 텍스트 영역으로 결정하는 텍스트영역 결정모듈을 포함하는 것을 특징으로 한다.

상기 텍스트 인식 모듈은 상기 프리뷰 이미지를 이진화 하는 이진화 모듈; 상기 이진화된 프리뷰 이미지에 대해 상기 추출된 텍스트 영역의 텍스트를 인식하는 텍스트영역 텍스트 인식 모듈; 및 상기 인식된 텍스트에서 특수문자를 제거하고 분리된 한글을 재결합하는 후처리 모듈을 포함하는 것을 특징으로 한다.

본 발명에 따른 모바일 카메라를 이용한 위치기반 플레이트 인식 방법 및 모바일 디바이스에 의하면, 위치기반 플레이트, 예를 들어 건물번호판, 도로명판 등을 신속하게 인식하여 사용자에게 제공할 수 있다. 평균 1초 이내에 위치기반 플레이트의 인식 결과를 화면에 출력할 수 있다.

그리고 위치기반 플레이트가 위치정보를 가지고 있으므로 고층건물 밀집 지역에서도 오차 거리 없이 정확하게 현재 위치를 표시할 수 있다.

또한 본 발명에 따른 모바일 카메라를 이용한 위치기반 플레이트 인식 방법 및 모바일 디바이스에 의하면, 모바일 카메라를 통해 인식한 특정 건물 정보를 통해 해당 건물의 층별 업체 정보와 부동산 정보 등을 제공할 수 있다.

도 1은 본 발명에 의한 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스의 구성을 블록도로 나타낸 것이다.
도 2는 위치기반 플레이트 인식 소프트웨어의 구성을 기능 블록도로 나타낸 것이다.
도 3은 텍스트 영역 추출모듈의 구성을 보다 상세하게 나타낸 기능 블록도이다.
도 4는 위치기반 플레이트 인식 소프트웨어를 하드웨어로 구현할 경우에 대한, 위치기반 플레이트 인식 시스템의 구성에 대한 일 실시예를 블록도로 나타낸 것이다.
도 5는 텍스트영역 추출부의 보다 세부적인 구성을 블록도로 나타낸 것이다.
도 6은 본 발명에 의한 모바일 카메라를 이용한 위치기반 플레이트 인식 방법에 대한 일실시예를 흐름도로 나타낸 것이다.
도 7은 도 6의 텍스트 영역 추출 과정을 보다 상세한 흐름도로 나타낸 것이다.
도 8은 도 6의 텍스트 영역 추출 과정을 보다 상세한 흐름도로 나타낸 것이다.
도 9는 본 발명에 의한 위치기반 플레이트 인식방법에 사용되는, 용도에 따라 구분되는 4개의 건물번호판을 나타낸 것
도 10은 상기 4개의 건물번호판을 본 발명에 의한 위치기반 플레이트 인식 방법에 의해 인식하는 처리 과정을 흐름도로 나타낸 것이다.
도 11은 도 10의 텍스트영역 후보 추출과 점수화 과정을 보다 상세히 설명하는 흐름도이다.
도 12는 도로명 데이터베이스 매칭 부분을 보다 자세하게 설명하는 흐름도이다.
도 13은 위치기반 플레이트 촬영방식으로서 프리뷰 캡쳐(preview capture) 촬영 방식을 나타낸 것이다.
도 14는 명도 영상에 대해 전역적 이진화 및 지역적 이진화를 적용한 영상을 나타내고 있다.
도 15는 본 발명에서 적용하고 있는 멀티 윈도우 이진화의 일 예를 설명하기 위한 것
도 16은 본 발명이 적용될 수 있는 위치기반 플레이트의 예를 나타낸 것으로서, 위치기반 플레이트는 다양한 형태, 색상, 폰트 스타일을 가지고 있다.
도 17은 위치기반 플레이트 인식을 통한 위치기반 서비스(Location-Based Service) 적용의 일 예로 현 위치 및 새주소 정보를 제공하는 스마트 폰 화면을 나타낸 것이다.
도 18은 본 발명을 활용한 위치 기반 모바일 오피스 시스템을 나타내는 스마트 폰 화면을 나타낸 것이다.

이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명에 의한 위치기반 플레이트 인식은 플레이트 영상에 대해 전처리를 수행한 후, 인식 대상을 추출하고, 추출된 인식대상에 대해 인식을 수행하고 인식된 영상을 후처리한다.

상기 전처리에는 위치기반 플레이트의 기울어짐(skew) 보정, 원근법(perspective) 처리, 조명차이 보정 및 지역적 이진화를 요소기술로 한다. 그리고 상기 인식 대상 추출은 문자열 추출 및 관심영역 내의 문자열 선택을 포함한다. 상기 인식에는 과분할과 내부 세그먼트(internal segmentation), 윤곽선 방향 특징 및 LDC(Linear Discrimination Classifier) 분류기를 포함한다. 후처리는 특수문자 제거 및 분리된 한글 결합 후 재인식을 수행한다.

본 발명에 의한 위치기반 플레이트 인식 방법 및 모바일 디바이스는 위치기반 플레이트 촬영방식으로 도 13에서와 같이 프리뷰 캡쳐(preview capture) 촬영 방식를 제공한다.

도 1은 본 발명에 의한 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스의 구성을 블록도로 나타낸 것으로서, 모바일 카메라(100), 프로세서(110) 및 저장부(120)를 포함하여 이루어지며, 위치기반 플레이트 데이터베이스(140) 및 텍스트 저장부(130)를 더 포함하는 것이 바람직하다.

모바일 카메라(100)는 프리뷰 상태에서 인식하고자 하는 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성한다. 모바일 카메라(100)는 통상적으로는 모바일 디바이스에 내장된 카메라로서, 바람직하게는 스마트 폰에 내장된 카메라가 이에 해당한다고 할 수 있다.

저장부(130)는 상기 프리뷰 이미지에서 텍스트 영역을 추출하여 상기 텍스트 영역의 텍스트를 인식하는 위치기반 플레이트 인식 소프트웨어(125)를 저장하며, 스마트 폰의 메모리가 저장부(130)로 사용될 수 있다.

프로세서(110)는 모바일 디바이스에 탑재되어, 상기 위치기반 플레이트 인식 소프트웨어(125)를 실행한다.

텍스트 저장부(130)는 위치기반 플레이트의 인식된 텍스트를 저장하며, 모바일 디바이스의 메모리가 텍스트 저장부로 사용될 수 있다.

위치기반 플레이트 데이터베이스(140)는 위치기반 플레이트들의 텍스트를 데이터베이스화하여 저장하고 있다. 예를 들어, 위치기반 플레이트 데이터베이스(140)는 도 16에 나타나 있는 바와 같이 각종 위치기반 플레이트를 데이터 베이스화한 것이다.

도 2는 위치기반 플레이트 인식 소프트웨어(125)의 구성을 기능 블록도로 나타낸 것으로서, 텍스트영역 추출 모듈(200) 및 텍스트 인식모듈(210)을 포함하고, 텍스트 비교모듈(220) 및 데이터베이스 검색모듈(230)을 더 포함하는 것이 바람직하다. 상기 모듈들은 프로그램의 기능 모듈을 나타낸다.

텍스트영역 추출 모듈(200)은 모바일 카메라에 의해 촬영된 상기 프리뷰 이미지에서 텍스트 영역을 추출한다.

텍스트 인식모듈(210)은 텍스트영역 추출모듈(200)에서 추출된 상기 텍스트 영역에 있는 텍스트를 인식한다.

텍스트 비교모듈(220)은 상기 모바일 카메라에 의해 소정의 시간 간격, 바람직하게는 한 프레임의 시간 간격을 두고 새로 생성된 프리뷰 이미지에 대해 텍스트 영역 추출모듈(200)이 텍스트 영역이 추출하고, 텍스트 인식모듈(210)이 상기 추출된 텍스트 영역의 텍스트를 인식하면, 상기 인식된 텍스트와 상기 저장된 텍스트와 비교한다. 이렇게 하는 것은 모바일 카메라가 프리뷰 상태에서 위치기반 플레이트를 촬영하기 때문에, 사용자가 인식하고자 하는 위치기반 플레이트를 정확하게 특정하기 위함이다.

DB검색 모듈(230)은 텍스트 비교모듈(220)에서의 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, 상기 인식된 텍스트를 검색어로 이용하여 위치기반 플레이트 데이터베이스(230)를 검색하여 상기 위치기반 플레이트에 대한 인식결과로 획득한다.

도 3은 텍스트 영역 추출모듈(200)의 구성을 보다 상세하게 나타낸 기능 블록도를 나타낸 것으로서, 프리뷰 이미지 입력모듈(300), 역상처리 모듈(310), 연결성분 추출모듈(315), 기준후보 선택모듈(320), 역상 텍스트 영역 후보 검출 모듈(330), 비역상 텍스트 영역 후보 검출모듈(340) 및 텍스트 영역 결정모듈(350)를 포함하여 이루어진다.

프리뷰 이미지 입력모듈(300)은 모바일 카메라(100)가 촬영한 프리뷰 이미지를 수신한다. 역상처리 모듈(310)은 입력된 프리뷰 이미지를 역상 처리한다. 도 9에 도시된 TYPE 1은 건물번호인 '179'를 역상 처리하면, TYPE 3과 같이 179가 색깔있는 형태로 된다. 상기 역상 처리를 하는 이유는 프리뷰 이미지가 도 9에 도시된 TYPE 1과 TYPE 3과 같이 서로 달라 TYPE 1, 2와 같이 배경이 색깔이 있고, 건물번호는 색깔이 없을 때 이진화 작업을 하면 건물번호가 인식되지 않을 수도 있기 때문이다.

연결성분 추출모듈(315)은 상기 역상 처리된 이미지를 이진화하여 연결성분(connected component, CC)들을 추출한다. 연결성분은 프리뷰 이미지를 이진화하면 0과 1로 나타낼 수 있는데, 이 때 1로 표시된 픽셀들이 연결된 것을 연결성분이라 한다. 따라서 텍스트의 크기가 크면 연결성분은 크고, 텍스트의 크기가 작으면 연결성분 크기도 작다.

기준후보 선택모듈(320)은 상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택한다. 일 예로 도 9와 같은 건물 번호판을 인식할 경우, 프리뷰 이미지 크기에 대한 상기 연결성분들의 높이 비율의 최소값과 최대값의 범위에 속하는 연결성분들을 구하면 건물번호 연결성분 후보들이 된다.

역상 텍스트 영역 후보 검출 모듈(330)은 상기 선택된 기준 후보 별로, 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출한다.

비역상 텍스트 영역 후보 검출모듈(340)은 역상처리 되지 않은 상기 프리뷰 이미지에 대해 상기 연결성분 추출 모듈에 의해 이진화 및 연결성분들이 추출되고, 상기 기준후보 선택 모듈에 의해 기준후보가 선택되면, 상기 선택된 후보 별로 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출한다.

텍스트 영역 결정모듈(350)은 역상 텍스트 영역 후보 추출 모듈(330) 및 비역상 텍스트 영역 추출모듈(340)에 의해 점수화된 기준 후보들 중 가장 점수가 높은 기준 후보에 상응하는 텍스트 영역들을 상기 위치기반 플레이트의 텍스트 영역으로 결정한다.

역상 테스트 영역 추출 모듈(330) 및 비역상 텍스트 영역 추출 모듈(340)은 상기 위치기반 플레이트가 건물 번호판일 경우, 상기 기준 후보 각각에 대해 건물번호 영역, 한글 및 영문 도로명 영역을 추출한다.

텍스트 인식 모듈(210)은 이진화 모듈(212), 텍스트영역 텍스트 인식모듈(214) 및 후처리 모듈(216)를 구비한다. 이진화모듈(212)는 상기 프리뷰 이미지를 이진화 한다. 텍스트영역 텍스트 인식 모듈(214)는 상기 이진화된 프리뷰 이미지에 대해 상기 추출된 텍스트 영역의 텍스트를 인식한다. 후처리모듈(216)는 상기 인식된 텍스트에서 특수문자를 제거하고 분리된 한글을 재결합한다. 분리된 한글을 재결합한다는 것은 예를 들어 도로명이 '세종로'인데, 이 중에서 '종'이라는 글자가 '조' 'ㅇ' 과 같이 분리되어 인식될 경우, 이를 '종'으로 결합하는 것을 말한다.

한편, 본 발명에 의한 위치기반 플레이트 인식 소프트웨어는 하드웨어로도 구현가능하다. 도 4는 위치기반 플레이트 인식 소프트웨어를 하드웨어로 구현할 경우에 대한, 위치기반 플레이트 인식 시스템의 구성에 대한 일실시예를 블록도로 나타낸 것으로서, 모바일 카메라(400), 텍스트 영역 추출부(405) 및 텍스트 인식부(410)를 포함하고, 텍스트 저장부(440), 텍스트 비교부(420), DB검색부(430) 및 위치기반 플레이트 데이터베이스(450)를 더 구비하는 것이 바람직하다.

모바일 카메라(400)는 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성한다.

텍스트 영역 추출부(405)는 상기 프리뷰 이미지에서 텍스트 영역을 추출한다.

텍스트 인식부(410)는 상기 텍스트 영역의 텍스트를 인식하며, 이진화부(412), 텍스트영역 텍스트 인식부(414) 후처리부(416)를 포함한다. 이진화부(412)는 상기 프리뷰 이미지를 이진화한다. 텍스트영역 텍스트 인식부(414)는 상기 이진화된 프리뷰 이미지에 대해 상기 추출된 텍스트 영역의 텍스트를 인식한다. 후처리부(416)는 상기 인식된 텍스트에서 특수문자를 제거하고 분리된 한글을 재결합한다.

텍스트 저장부(440)는 후처리부(416)를 통해 출력되는 인식된 텍스트를 저장한다.

텍스트 비교부(420)는 모바일 카메라(400)에 의해 소정의 시간 간격을 두고 새로 생성된 프리뷰 이미지에 대해 텍스트 영역 추출부(405)에 의해 텍스트 영역이 추출되고, 텍스트 인식부(410)에 의해 상기 추출된 텍스트 영역으로부터 텍스트가 인식되면, 상기 인식된 텍스트와 상기 저장된 텍스트와 비교한다. 상기 소정의 시간 간격은 상기 모바일 카메라의 프리뷰 상태에서 위치기반 플레이트를 촬영하는 프레임 단위인 것이 바람직하다.

위치기반 플레이트 데이터 베이스(450)는 위치기반 플레이트들의 텍스트를 데이터 베이스화하여 저장하고 있다.

DB검색부(430)는 상기 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, 상기 인식된 텍스트를 검색어로 하여 위치기반 플레이트 데이터베이스(450)를 검색하여 상기 위치기반 플레이트에 대한 인식결과로 획득한다.

도 5는 텍스트영역 추출부(405)의 보다 세부적인 구성을 블록도로 나타낸 것으로서, 역상처리부(510), 연결성분 추출부(515), 기준후보 선택부(520) 및 역상 텍스트 영역 후보 검출부(530), 비역상 텍스트 영역 후보 검출부(540) 및 텍스트 영역 결정부(550)를 포함하여 이루어진다.

역상처리부(510)는 프리뷰 입력 이미지 입력부(500)로부터 입력된 프리뷰 이미지를 역상 처리한다.

연결성분 추출부(515)는 상기 역상 처리된 이미지를 이진화하여 연결성분(connected component)들을 추출한다.

기준후보 선택부(520)는 상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택한다.

역상 텍스트 영역 후보 추출부(530)는 상기 선택된 후보 별로, 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출한다.

비역상 텍스트 영역 후보 추출부(540)는 역상처리 되지 않은 상기 프리뷰 이미지에 대해 상기 연결성분 추출부에 의해 이진화 및 연결성분들이 추출되고, 상기 기준후보 선택부에 의해 기준후보가 선택되면, 상기 선택된 후보 별로 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출한다.

텍스트영역 결정부(550)는 역상 텍스트 영역 후보 추출부(530) 및 비역상 텍스트 영역 추출부(540)에 의해 점수화된 기준 후보들 중 가장 점수가 높은 기준 후보에 상응하는 텍스트 영역들을 상기 위치기반 플레이트의 텍스트 영역으로 결정한다.

역상 테스트 영역 추출부(530) 및 비역상 텍스트 영역 추출부(540)는 상기 위치기반 플레이트가 건물 번호판일 경우, 상기 기준 후보 각각에 대해 건물번호 영역, 한글 및 영문 도로명 영역을 추출한다.

도 6은 본 발명에 의한 위치기반 플레이트 인식 방법에 대한 일실시예를 흐름도로 나타낸 것이다. 그리고 도 7은 도 6의 텍스트 영역 추출을 보다 상세한 흐름도로 나타낸 것이고, 도 8은 도 6의 위치기반 플레이트의 텍스트 인식을 보다 상세한 흐름도로 나타낸 것이다.

도 1 내지 도 3과 도 6 내지 도 8을 참조하여 본 발명에 의한 위치기반 플레이스 인식 방법 및 모바일 디바이스 동작을 설명하기로 한다.

먼저, 모바일 카메라의 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성한다.(S600단계)

텍스트 영역 추출 모듈(200)은 상기 프리뷰 이미지에서 텍스트 영역을 추출한다.(S620단계) 그리고 나서 텍스트 인식 모듈(210)은 상기 텍스트 영역의 텍스트를 인식한다.(S630단계)

한편, 보다 확실한 텍스트 인식을 위해 이전에 저장된 텍스트와 현재 인식된 텍스트를 비교하여 유사한지 체크하는 것이 바람직하다.(S650단계)

유사도를 체크하여 유사하지 않으면 텍스트 비교 모듈(220)은 소정의 시간 간격으로, 상기 S600단계 내지 상기 S640단계를 한 번 더 수행하여 인식된 텍스트를 상기 저장된 텍스트와 비교한다.(S660단계) 상기 소정의 시간 간격은 상기 모바일 카메라의 프리뷰 상태에서 위치기반 플레이트를 촬영하는 프레임 단위인 것이 바람직하다.

만일 유사하면, 즉 상기 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, DB검색모듈(230)은 상기 인식된 테스트를 이용하여 위치기반 데이터 베이스(250)를 검색하여 결과값을 위치기반 플레이트의 텍스트로 획득한다.(S670단계)

도 7은 상기 S620단계의 텍스트 영역 추출 과정을 보다 상세한 흐름도로 나타낸 것이다.

먼저, 역상처리모듈(310)은 모바일 카메라의 프리뷰 상태에서 촬영된 프리뷰 이미지를 역상 처리한다.(S700단계) 연결성분 추출부(315)는 상기 역상 처리된 이미지를 이진화하여 연결성분(connected component)들을 추출한다.(S710단계) 기준후보 선택모듈(320)은 상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택한다.(S720단계)

역상 텍스트 영역 후보 검출 묘듈(330)은 상기 선택된 후보 별로, 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출하여 저장한다.(S730단계)

역상 처리된 이미지인 경우, 역상처리 안된 프리뷰 이미지에 대해서도 S710단계 내지 S730단계를 수행한다. 따라서 역상처리된 이미지인 경우(S740단계), 역상 처리되지 않은 프리뷰 이미지를 입력하여(S750단계), 이진화하여 연결성분들을 추출한 후(S710단계), 상기 S720단계 내지 S730단계를 수행한다.

상기 역상 처리된 이미지에 대해 추출된 기준 후보별 점수와 역상처리되지 않은 이미지에 대해 추출된 기준 후보별 점수를 서로 비교하여, 가장 점수가 높은 기준 후보를 결정하고, 상기 결정된 기준후보에 대해 추출된 텍스트 영역들을 상기 위치기반 플레이트의 텍스트 영역으로 결정한다.(S760단계)

상기 텍스트 영역은 상기 위치기반 플레이트가 건물 번호판일 경우, 상기 기준 후보 각각에 대해 건물번호 영역, 한글 및 영문 도로명 영역을 추출하는 것이 바람직하다.

도 8은 S630단계의 텍스트 영역 추출 과정을 보다 상세한 흐름도로 나타낸 것이다. 이진화모듈(212)는 프리뷰 이미지를 이진화하고(S800단계), 텍스트 영역 텍스트 인식모듈(214)는 상기 텍스트 영역에서 텍스트를 인식한다.(S810단계) 그리고 나서 후처리모듈(216)은 상기 인식된 텍스트에서 특수문자를 제거하고 분리된 한글을 재결합하는 후처리를 수행한다.(S820단계)

그리고 보다 확실한 텍스트 인식을 위해 이전에 저장된 텍스트와 현재 인식된 텍스트를 비교하여 유사한지 체크한다. (S870단계) 즉, 기존 인식결과 중에서 현재 인식된 텍스트와 유사한 인식 결과가 있는지 유사도를 체크한다.

유사도 체크 결과, 유사한 것이 없으면 현재 인식된 결과를 저장하고, 소정의 시간 간격을 두고, 예를 들어 다음 프레임의 프리뷰 이미지를 생성하여(S845단계), 도 7에서 설명한 텍스트 영역을 구하고, S800 단계 내지 S820단계를 수행하여 인식된 텍스트를 상기 저장된 텍스트와 비교한다.(S870단계) 만일 유사하면, 즉 상기 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, 상기 인식된 테스트를 이용하여 위치기반 데이터 베이스를 검색하여 결과값을 위치기반 플레이트의 텍스트로 획득한다.(S850단계)

한편, 본 발명에 의한 위치기반 플레이트 인식 방법 중 건물 번호판 이미지로부터 도로명과 건물번호를 추출하여 인식하는 예를 상세히 설명하기로 한다.

도 9는 본 발명에 의한 위치기반 플레이트 인식방법에 사용되는, 용도에 따라 구분되는 4개의 건물번호판을 나타낸 것으로서, TYPE 1은 일반용 건물번호판으로서 오각형 형태를 가지며, TYPE 2도 일반용 건물번호판으로서 사각형 형태를 가진다. TYPE 3은 문화재용 건물 번호판을 나타내며, TYPE 4는 관공서용 건물 번호판을 나타낸 것이다.

도 10은 상기 4개의 건물번호판을 본 발명에 의한 위치기반 플레이트 인식 방법에 의해 인식하는 처리 과정을 흐름도로 나타낸 것이다.

도 11은 도 10의 텍스트영역 후보 추출과 점수화 과정을 보다 상세히 설명하는 흐름도이다. 도 12는 도로명 데이터베이스 매칭 부분을 보다 자세하게 설명하는 흐름도이다. 도 10 내지 도 12를 참조하며, 본 발명에 의한 위치기반 플레이트 인식 방법에 의해 도 9에 도시한 4개의 건물번호판을 인식하는 처리 과정을 설명하기로 한다.

도 10은 크게는 텍스트 영역을 추출하는 과정과 추출된 텍스트 영역의 텍스트를 인식 및 후처리하는 과정으로 나타낼 수 있다.

먼저 텍스트 영역을 추출하는 과정은 다음과 같이 이루어질 수 있다. 모바일 카메라의 프리뷰 상태에서 촬영된 프리뷰 이미지를 입력 이미지로 받아들여(S1000단계), 역상 처리 모듈(310)이 역상처리한다.(S1005단계) 그리고 나서 연결성분 추출모듈(315)가 역상처리된 이미지를 이진화하여 연결성분(connected component, CC)을 추출한다.(S1010단계) 도 9에 나타낸 건물번호판에 대해서 텍스트 영역의 추출의 기준이 될 연결성분 후보를 결정한다. 이를 위해, 상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택한다. 이렇게 하면 건물번호 연결성분(CC)들이 크기가 가장 크므로, 기준 후보들이 될 것이다. 일 예로 프리뷰 이미지 크기에 대한 상기 연결성분들의 높이 비율의 최소값과 최대값의 범위에 속하는 연결성분들을 구하면 건물번호 '1','7','9'가 추출된 연결 성분들 중 기준 후보들이 된다.

이렇게 하여, 건물번호 연결성분(connected component, CC) 후보들이 추출되면, 건물번호 연결성분 별로 텍스트 영역 후보를 추출하고 점수화(Scoring)를 한다.(S1020단계) 이렇게 하여 각 건물번호 연결성분 별로 텍스트 영역을 추출하고 점수화를 한 후, 상기 추출된 텍스트 영역 후보들을 저장한다.(S1025단계) 모든 건물번호 CC 후보에 대해 텍스트 영역 후보를 추출하고 점수화하여 저장한 후(S1030단계)에는 역상 처리하지 않은 프리뷰 이미지에 대해서도 상기 S1010 내지 S1030 단계를 수행한 후, 최종적으로 점수가 가장 높은 기준 후보에 상응하는 텍스트 영역 후보를 인식대상이 되는 텍스트 영역으로 선택한다.(S1045단계)

위치기반 플레이트의 텍스트영역이 결정되면, 프리뷰 이미지를 이진화하고(S1050단계), 텍스트 영역에 있는 건물번호 및 도로명을 인식한다(S1055단계). 그리고 나서 후처리로서 특수문자는 제거하고(S1060단계) 분리된 한글을 결합하고 텍스트를 재인식한다(S1065단계).

이렇게 텍스트가 인식되면 이전의 인식결과 중 유사한 결과가 있는지 체크하여(S1070단계), 유사한 결과가 존재하면 인식된 텍스트를 검색어로 하여 도로명 DB를 검색하고 그 결과를 위치기반 플레이트의 인식 결과로 획득한다.(S1080단계)

만일 S1070단계에서 유사한 결과가 존재하지 않으면 이를 인식결과 히스토리로서 저장부에 저장한 후(S1075단계), 모바일 카메라에 의해 소정 시간 후에 생성된 프리뷰 이미지를 입력으로 하여(S1000단계), S1005 내지 S1045단계를 수행한 후, S1050 단계 내지 S1065단계를 수행한다. 이렇게 수행하여 생성된 인식결과를 S1070단계 내지 1080단계를 수행하여 최종적인 위치기반 플레이트의 텍스트로 인식한다.

도 11은 도 10의 텍스트 영역 후보 추출 및 점수화 과정을 보다 상세하게 설명하는 흐름도이다.

추출된 건물번호 CC 후보(S1100단계)에 대해 입력 이미지가 역상인지 체크하고(S1105단계), 역상이면 인식대상을 TYPE 1 번호판으로 가정하여(S1110단계), S1130 단계 내지 S1170 단계를 수행하고, 또한 인식대상을 TYPE 2 번호판으로 가정하여(S1115단계) 각각 S1130 단계 내지 S1170 단계를 수행한다.

그리고 역상이 아니면, 인식대상을 TYPE 3 번호판으로 가정하여(S1120단계) S1130 단계 내지 S1170 단계를 수행하고, 인식대상을 TYPE 4 번호판으로 가정하여(S1125단계) 각각 S1130 단계 내지 S1170 단계를 수행한다.

S1130단계에서는 한글 및 영문 도로명 영역에 존재하는 연결성분(CC) 개수를 파악하고, SS1140에서는 텍스트 영역 후보 점수를 계산한다. 텍스트영역 후보 점수는 상기 건물번호 연결성분에 상응하는 한글 도로명 영역에 있는 연결성분 개수와 영문 도로명 영역에 있는 연결성부 개수를 합하여 구한다. 예를 들어 건물번호 연결성분이 2이 경우는 건물번호 2를 중심으로 건물번호 2의 폭에 해당하는 수직 방향의 한글 도로명 영역과 영문 도로명 영역의 연결성분의 개수를 구한다.

이렇게 건물번호 연결성분에 대해 점수화가 이루어지면, 건물번호 영역을 추출한다.(S1150단계) 건물번호 영역은 건물번호 연결성분 주변에 있는 연결성분들을 병합함으로써 추출된다. 또한 한글 및 영문 도로명 영역을 추출한다.(S1160단계) 이는 한글 도로명 영역은 한글 도로명 내의 연결성분을 병합 및 확장하고, 영문 도로명 영역은 영문 도로명 내의 연결성분을 병합 및 확장함으로써 이루어질 수 있다. 이렇게 텍스트 영역이 추출되면 텍스 영역을 검증한다.(S1170단계) 상기 텍스트 영역 검증은 보다 확실하게 텍스트 영역을 추출하기 위한 것으로서, 예를 들어 텍스트 영역에 연결성분이 없을 경우에는 점수를 낮추거나, 텍스트 영역이 미리 정해진 형태, 예를 들어 한글 도로명, 영문도로명, 건물번호 형태로 되어 있어야 하지만 이와 다를 때에도 점수를 낮추는 등의 작업을 한다.

이렇게 하여 건물번호 연결성분 별로 텍스트 영역 후보가 결정되면 텍스트 영역 후보를 저장한다.(S1180단계)

도 12는 위치기반 플레이트 데이터 베이스, 예를 들어 도로명 데이터 베이스를 검색 및 매칭하여 인식결과를 개선하는 것을 보다 상세히 설명하는 흐름도이다.

텍스트 영역의 인식결과에서(S1200단계), 도로명을 추출한다.(S1205단계) 카테고리 "-길" 관련 도로명이 있는지 체크하여(S1210단계), 있으면 카테고리 "-길"을 검색한다.(S1215단계) 만일 상기 인식결과에서 카테고리 "-길"관련 도로명이 없으면, 카테고리 "-로"관련 도로명이 있는지 체크하여(S1220단계) 있으면 카테고리 "-로"를 검색한다.(S1225단계) 상기 S1215단계 및 S1225단계에서 검색결과가 존재하는지 체크하여(S1230단계) 존재하면 검색결과를 반영하고(S1240단계), 존재하지 않으면 카테고리 +길 관련 도로명이 있는지 체크하여(S1250단계) 있으면 카테고리 "+길"을 검색한다.(S1260단계)

한편, S1220단계에서 카테고리 "-로"관련 도로명이 없으면, 기타 카테고리를 검색하고(S1270단계), 검색결과를 존재하면 검색결과를 반영하여 최종 검색결과로 한다. S1260단계와 S1270단계에서 검색 결과가 존재하지 않으면 S1200단계에서의 검색결과를 최종 검색결과로 출력한다.

한편, 본 발명에 의한 이진화 기술은 본 발명에 의한 위치기반 플레이트 인식 방법 및 모바일 디바이스에서는 촬영환경에서 발생될 수 있는 반사(reflection)와 그림자(shadow) 등의 요소들을 멀티 윈도우 이진화 기법을 적용하여 해결할 수 있다. 이진화 방법에는 전역적 이진화 및 지역적 이진화가 있다.

전역적 이진화는 단일 임계값을 사용해서 전체 영상을 이진화하는 것으로서, 임계치 수동지정, 임계치 자동 결정이 있으며, 조명의 변화가 작은 영상에 적합하고, 처리속도가 빠른다. 지역적 이진화는 각 픽셀마다 적정한 임계값을 자동으로 설정하고, 조명변화, 저화질 영상에 강하고, 처리속도가 느리며 파라미터에 영향을 받는다. 도 14는 명도 영상에 대해 전역적 이진화 및 지역적 이진화를 적용한 영상을 나타내고 있다.

본 발명에 의한 멀티 윈도우 이진화 기술은 개선된 지역적 이진화를 수행하며, 3가지 크기의 윈도우 즉, 문서 분석을 위한 윈도우, 전역적 경향을 반영하기 위한 큰 윈도우 및 문자 구조의 상세함을 얻기 위한 작은 윈도우를 사용한다.

상기 멀티 윈도우 이진화 기술은 기존 지역적 이진화보다 속도가 빠르고, 화질 변화에 대한 적응력이 뛰어나며, 문자 인식 성능을 최적화할 수 있다. 도 15는 본 발명에서 적용하고 있는 멀티 윈도우 이진화의 일 예를 설명하기 위한 것으로서, gray image에 대해 윈도우 사이즈를 5, 10, 20일 경우 및 멀티윈도우 이진화를 적용했을 경우의 이미지를 나타내고 있다.

그리고, 도 16은 본 발명이 적용될 수 있는 위치기반 플레이트의 예를 나타낸 것으로서, 위치기반 플레이트는 다양한 형태, 색상, 폰트 스타일을 가지고 있다.

또한 상기 위치기반 플레이트는 대상의 재질과 환경적 요소에 따른 반사 및 그림자가 발생할 수 있으며, 그 밖의 scene-text 영상에서 발생될 수 있는 다양한 환경적 변수를 포함할 수 있다.

본 발명에 의한 위치기반 플레이트 인식 방법 및 모바일 디바이스를 활용하면, 지도상의 현재 위치를 표시하여 전송할 수 있고, 특정 건물 내 입점한 업체 및 상가를 검색할 수 있으며, 특정 건물의 부동산 정보(부동산 시세, 등기부 등본 열람 등)도 검색 가능하다. 그리고 주변 정보 예를 들어 주변 길 정보, 주변행사 정보 및 주변 건물 정보 등을 검색할 수 있다.

도 17은 위치기반 플레이트 인식을 통한 위치기반 서비스(Location-Based Service) 적용의 일 예로 현 위치 및 새주소 정보를 제공하는 스마트 폰 화면을 나타낸 것으로서, 현 위치 새주소 정보 시스템, 주변 새주소 정보 시스템으로 활용할 수 있다. 네이버나 다음 등의 지도 서비스에 적용가능한다.

도 18은 본 발명을 활용한 위치 기반 모바일 오피스 시스템을 나타내는 스마트 폰 화면을 나타낸 것으로서, 현 위치 주변 거래처 위치정보 시스템, 거래처 등록 시스템, 영업관리(배송관리) 시스템, 기타 모바일 커머스 관련 응용 솔루션에 적용 가능하다.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100, 400 : 모바일 카메라 110 : 프로세서 120 : 저장부
125 : 위치기반 플레이트 인식 소프트웨어
130, 240, 440: 텍스트 저장부
140, 250, 450 : 위치기반 플레이트 데이터베이스
200 : 텍스트 영역 추출 모듈 210 : 텍스트 인식 모듈
212 : 이진화 모듈 214 : 텍스트 영역 텍스트 인식 모듈
216 : 후처리 모듈 220 : 텍스트 비교 모듈
230 : DB검색 모듈 300 : 프리뷰 이미지 입력 모듈
310 : 역상 처리 모듈 315 : 연결성분 추출모듈
320 : 기준후보 선택모듈 330 : 역상 텍스트 영역 후보 검출 모듈
340 : 비역상 텍스트 영역 후보 검출 모듈
350 : 텍스트 영역 결정 모듈
405 : 텍스트 영역 추출부 410 : 텍스트 인식부
412 ; 이진화부 414 : 텍스트 영역 텍스트 인식부
416 : 후처리부 420 : 텍스트 비교부
430 : DB검색부 500 : 프리뷰 이미지 입력부
510 : 역상처리부 515 ; 연결성분 추출부
520 : 역상 텍스트 영역 후보 검출부
540 : 비역상 텍스트 영역 후보 검출부
550 : 텍스트 영역 결정부

Claims (13)

1. 삭제
2. 지도상의 위치를 표시할 수 있는 위치 정보를 가지는 객체를 위치기반 플레이트라 할 때, 모바일 카메라를 이용한 위치기반 플레이트 인식 방법에 있어서,
   (a) 모바일 카메라의 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성하는 단계;
   (b) 상기 프리뷰 이미지에서 텍스트 영역을 추출하는 단계; 및
   (c) 상기 텍스트 영역의 텍스트를 인식하는 단계를 포함하고,
   상기 (c) 단계는,
   인식된 텍스트를 저장하는 단계;
   소정의 시간 간격을 두고 상기 (a)단계 내지 상기 (c) 단계를 한 번 더 수행하여 인식된 텍스트를 상기 저장된 텍스트와 비교하는 단계;
   상기 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, 상기 인식된 텍스트를 이용하여 위치기반 플레이트 데이터베이스를 검색하는 단계; 및
   상기 검색 결과를 상기 위치기반 플레이트에 대한 인식결과로 획득하는 단계를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트 인식 방법.
3. 제2항에 있어서, 상기 소정의 시간 간격은
   상기 모바일 카메라의 프리뷰 상태에서 위치기반 플레이트를 촬영하는 프레임 단위인 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트 인식 방법.
4. 지도상의 위치를 표시할 수 있는 위치 정보를 가지는 객체를 위치기반 플레이트라 할 때, 모바일 카메라를 이용한 위치기반 플레이트 인식 방법에 있어서,
   (a) 모바일 카메라의 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성하는 단계;
   (b) 상기 프리뷰 이미지에서 텍스트 영역을 추출하는 단계; 및
   (c) 상기 텍스트 영역의 텍스트를 인식하는 단계를 포함하고,
   상기 (b)단계는
   (b1) 상기 프리뷰 이미지를 역상 처리하는 단계;
   (b2) 상기 역상 처리된 이미지를 이진화하여 연결성분(connected component)들을 추출하는 단계;
   (b3) 상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택하는 단계;
   (b4) 상기 선택된 후보 별로, 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출하여 저장하는 단계;
   (b5) 역상처리 되지 않은 상기 프리뷰 이미지를 이진화하여 연결성분들을 추출한 후 상기 (b3)단계 및 (b4)단계를 수행하는 단계; 및
   (b6) 상기 (b4) 단계와 (b5) 단계에서 가장 점수가 높은 후보에 대해 추출된 텍스트 영역들을 상기 위치기반 플레이트의 텍스트 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트 인식 방법.
5. 제4항에 있어서,
   상기 (b4) 단계의 텍스트 영역 추출은
   상기 위치기반 플레이트가 건물 번호판일 경우, 상기 기준 후보 각각에 대해 건물번호 영역, 한글 및 영문 도로명 영역을 추출하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트 인식 방법.
6. 지도상의 위치를 표시할 수 있는 위치 정보를 가지는 객체를 위치기반 플레이트라 할 때, 모바일 카메라를 이용한 위치기반 플레이트 인식 방법에 있어서,
   (a) 모바일 카메라의 프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성하는 단계;
   (b) 상기 프리뷰 이미지에서 텍스트 영역을 추출하는 단계; 및
   (c) 상기 텍스트 영역의 텍스트를 인식하는 단계를 포함하고,
   상기 (c) 단계는
   상기 프리뷰 이미지를 이진화 하는 단계;
   상기 텍스트 영역에서 텍스트를 인식하는 단계; 및
   상기 인식된 텍스트에서 특수문자를 제거하고 분리된 한글을 재결합하는 단계를 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트 인식 방법.
7. 삭제
8. 지도상의 위치를 표시할 수 있는 위치 정보를 가지는 객체를 위치기반 플레이트라 할 때, 위치기반 플레이트를 인식하는 모바일 디바이스에 있어서,
   프리뷰 상태에서 상기 위치기반 플레이트를 촬영하여 프리뷰 이미지를 생성하는 모바일 카메라;
   상기 프리뷰 이미지에서 텍스트 영역을 추출하여 상기 텍스트 영역의 텍스트를 인식하는 위치기반 플레이트 인식 소프트웨어를 저장하고 있는 저장부; 및
   상기 위치기반 플레이트 인식 소프트웨어를 실행하는 프로세서;를 포함하고,
   상기 위치기반 플레이트 인식 소프트웨어는:
   상기 프리뷰 이미지에서 텍스트 영역을 추출하는 텍스트 영역 추출 모듈; 및
   상기 텍스트 영역의 텍스트를 인식하는 텍스트 인식 모듈;을 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스.
9. 제8항에 있어서,
   인식된 텍스트를 저장하는 텍스트 저장부 및
   위치기반 플레이트들의 텍스트를 저장하고 있는 위치기반 플레이트 데이터 베이스를 더 구비하고,
   상기 위치기반 플레이트 인식 소프트웨어는
   상기 모바일 카메라에 의해 소정의 시간 간격을 두고 새로 생성된 프리뷰 이미지에 대해 상기 텍스트 영역 추출모듈에 의해 텍스트 영역이 추출되고, 상기 텍스트 인식모듈에 의해 상기 추출된 텍스트 영역으로부터 텍스트가 인식되면, 상기 인식된 텍스트와 상기 저장된 텍스트와 비교하는 텍스트 비교 모듈;
   상기 비교결과 상기 저장된 텍스트와 인식된 텍스트가 소정의 유사도를 만족하면, 상기 인식된 텍스트를 검색어로 하여 상기 위치기반 플레이트 데이터베이스를 검색하여 상기 위치기반 플레이트에 대한 인식결과로 획득하는 DB검색 모듈을 더 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스.
10. 제9항에 있어서, 상기 소정의 시간 간격은
    상기 모바일 카메라의 프리뷰 상태에서 위치기반 플레이트를 촬영하는 프레임 단위인 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스.
11. 제8항에 있어서, 상기 텍스트영역 추출모듈은
    상기 프리뷰 이미지를 역상 처리하는 역상 처리 모듈;
    상기 역상 처리된 이미지를 이진화하여 연결성분(connected component)들을 추출하는 연결성분 추출 모듈;
    상기 프리뷰 이미지 크기에 대한 상기 연결성분의 크기 비율이 소정의 범위에 속하는 연결성분들을 상기 위치기반 플레이트의 텍스트 영역 검출에 기준이 될 후보들로 선택하는 기준후보 선택 모듈;
    상기 선택된 후보 별로, 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출하는 역상 텍스트 영역 후보 추출 모듈;
    역상처리 되지 않은 상기 프리뷰 이미지에 대해 상기 연결성분 추출 모듈에 의해 이진화 및 연결성분들이 추출되고, 상기 기준후보 선택 모듈에 의해 기준후보가 선택되면, 상기 선택된 후보 별로 상기 선택된 각 후보 주위의 연결성분 개수를 점수화하고 텍스트 영역들을 추출하는 비역상 텍스트 영역 후보 추출 모듈; 및
    상기 역상 텍스트 영역 후보 추출 모듈 및 비역상 텍스트 영역 추출모듈에 의해 점수화된 기준 후보들 중 가장 점수가 높은 기준 후보에 상응하는 텍스트 영역들을 상기 위치기반 플레이트의 텍스트 영역으로 결정하는 텍스트영역 결정모듈을 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스.
12. 제11항에 있어서, 상기 역상 테스트 영역 추출 모듈 및 비역상 텍스트 영역 추출 모듈은
    상기 위치기반 플레이트가 건물 번호판일 경우, 상기 기준 후보 각각에 대해 건물번호 영역, 한글 및 영문 도로명 영역을 추출하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스.
13. 제8항에 있어서, 상기 텍스트 인식 모듈은
    상기 프리뷰 이미지를 이진화 하는 이진화 모듈;
    상기 이진화된 프리뷰 이미지에 대해 상기 추출된 텍스트 영역의 텍스트를 인식하는 텍스트영역 텍스트 인식 모듈; 및
    상기 인식된 텍스트에서 특수문자를 제거하고 분리된 한글을 재결합하는 후처리 모듈을 포함하는 것을 특징으로 하는 모바일 카메라를 이용한 위치기반 플레이트를 인식하는 모바일 디바이스.

Images