KR102239564B1 - 행정구역별 오브젝트 인식방법 및 그 시스템 - Google Patents

행정구역별 오브젝트 인식방법 및 그 시스템 Download PDF

Info

Publication number
KR102239564B1
KR102239564B1 KR1020190055480A KR20190055480A KR102239564B1 KR 102239564 B1 KR102239564 B1 KR 102239564B1 KR 1020190055480 A KR1020190055480 A KR 1020190055480A KR 20190055480 A KR20190055480 A KR 20190055480A KR 102239564 B1 KR102239564 B1 KR 102239564B1
Authority
KR
South Korea
Prior art keywords
region
binarization
target
recognition
area
Prior art date
Application number
KR1020190055480A
Other languages
English (en)
Other versions
KR20200131368A (ko
Inventor
위영철
Original Assignee
주식회사 핀그램
주식회사 큐램
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀그램, 주식회사 큐램 filed Critical 주식회사 핀그램
Priority to KR1020190055480A priority Critical patent/KR102239564B1/ko
Priority to US15/930,682 priority patent/US20200364487A1/en
Publication of KR20200131368A publication Critical patent/KR20200131368A/ko
Application granted granted Critical
Publication of KR102239564B1 publication Critical patent/KR102239564B1/ko

Links

Images

Classifications

    • G06K9/72
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • G06K9/00416
    • G06K9/38
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M17/00Prepayment of wireline communication systems, wireless communication systems or telephone systems
    • H04M17/10Account details or usage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M17/00Prepayment of wireline communication systems, wireless communication systems or telephone systems
    • H04M17/10Account details or usage
    • H04M17/106Account details or usage using commercial credit or debit cards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/24Accounting or billing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Image Analysis (AREA)

Abstract

행정구역별 오브젝트 인식방법 및 그 시스템이 개시된다. 상기 방법은 오브젝트 인식시스템이 오브젝트가 표시된 이미지에 기초하여 상기 오브젝트에 상응하는 대상 행정구역을 판단하는 단계, 상기 오브젝트 인식시스템이 판단한 상기 대상 행정구역에 대해 미리 설정된, 상기 오브젝트에서 인식할 인식대상 오브젝트가 표시된 상대적 위치를 판단하는 단계, 및 상기 오브젝트 인식시스템이 판단된 상기 상대적 위치에 표시된 상기 인식대상 오브젝트의 인식을 수행하는 단계를 포함한다.

Description

행정구역별 오브젝트 인식방법 및 그 시스템{System and method for object recognition different by administrative area}
본 발명은 오브젝트 인식시스템 및 그 방법에 관한 것이다. 보다 상세하게는 특정 형태를 갖는 오브젝트의 위치(외곽선)를 보다 효과적으로 검출할 수 있는 시스템 및 그 방법에 관한 것이다.
또한 지역적 이진화를 통해 조명의 영향을 많이 받는 오브젝트의 특성 또는 전체 이미지의 영역별로 이미지 특성이 상이한 환경에 강인한 오브젝터 검출이 가능한 오브젝트 인식 시스템 및 그 방법에 관한 것이다.
또한 동일한 종류의 오브젝트(예컨대, 면허증 등)이라 하더라도 행정구역별로 형식(예컨대, 크기, 색, 정보의 표시 위치)이 다른 오브젝트가 존재하는데, 이러한 경우에도 인식성능이 상대적으로 높은 인식 방법 및 그 시스템에 관한 것이다.
다양한 분야에서 이미지에 존재하는 오브젝트를 인식하는 필요가 강화되고 있다.
오브젝트 인식은 오브젝트 검출을 통해 이미지 상에 검출하고자 하는 오브젝트가 존재하는지를 판단할 수 있을 뿐 아니라, 검출된 오브젝트에 표시된 유의미한 정보를 인식하고자 하는 서비스에서도 그 필요성이 요구된다.
예컨대 금융카드(예컨대, 신용카드, 체크카드 등)에 표시된 카드번호, 차량의 번호판 인식 등의 서비스에 있어서 촬용된 이미지 상에서 인식하고자 하는 정보를 보다 빠르고 정확하게 인식하기 위해서는 우선적으로 해당 오브젝트가 이미지 상에서 어디에 있는지를 검출하는 것이 효과적일 수 있다.
즉, 이미지에 표시된 유의미한 정보를 인식하기 위해 이미지 자체에 대해 OCR(Optical Character Recognition) 등을 수행하는 것에 비해, 대상 오브젝트의 위치를 정확히 파악한 후 소정의 방식으로 OCR을 수행하는 경우 더욱 정확도가 높은 정보인식이 가능하다.
따라서 보다 효과적으로 오브젝트의 위치(오브젝트의 외곽선들)을 검출할 수 있는 방법이 요구된다.
또한, 검출된 오브젝트에 표시된 소정의 인식대상 오브젝트(예컨대, 금융카드에 표시된 텍스트 등)를 인식할 때에는 소전의 전처리를 통해 이진화가 수행되고, 이러한 이진화를 통해 인식대상 오브젝트에 대한 인식이 수행될 수 있는데 이러한 이진화를 효과적으로 수행할 수 있는 시스템 및 그 방법이 요구된다.
또한, 오브젝트의 종류에 따라 동일한 오브젝트라 하더라도 행정구역별로 서로 다른 형식(예컨대, 크기, 색, 정보의 표시위치 등)이 다른 경우가 존재하는데, 이러한 경우에도 필요한 정보를 정확하게 인식하기 위한 방법 및 그 시스템이 요구된다.
한국공개특허 10-2015-007011377 "카드에 양각된 문자들의 검출"
본 발명이 이루고자 하는 기술적인 과제는 정확하고 상대적으로 빠른 속도로 오브젝트를 검출할 수 있는 방법 및 그 시스템을 제공하는 것이다.
또한 오브젝트의 인식 성능(오브젝트에 표시된 정보의 인식을 포함함)을 높일 수 있는 방법 및 그 시스템을 제공하는 것이다.
또한 행정구역별로 오브젝트의 형식이 다른 경우에도 인식성능을 높일 수 있는 방법 및 그 시스템을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 행정구역들별로 서로 다른 형식을 가지는 오브젝트를 인식하기 위한 방법은 오브젝트 인식시스템이 오브젝트가 표시된 이미지에 기초하여 상기 오브젝트에 상응하는 대상 행정구역을 판단하는 단계, 상기 오브젝트 인식시스템이 판단한 상기 대상 행정구역에 대해 미리 설정된, 상기 오브젝트에서 인식할 인식대상 오브젝트가 표시된 상대적 위치를 판단하는 단계, 및 상기 오브젝트 인식시스템이 판단된 상기 상대적 위치에 표시된 상기 인식대상 오브젝트의 인식을 수행하는 단계를 포함한다.
상기 오브젝트 인식시스템이 오브젝트가 표시된 이미지에 기초하여 상기 오브젝트에 상응하는 대상 행정구역을 판단하는 단계는, 상기 오브젝트에서 미리 정의된 행정구역 표시영역에 대한 인식을 수행하는 단계, 수행한 인식결과에 기초하여 상기 대상 행정구역을 판단하는 단계를 포함할 수 있다.
상기 행정구역별 오브젝트 인식방법은 상기 오브젝트의 외곽선을 특정하는 단계를 더 포함하며, 상기 오브젝트 인식시스템은 특정한 상기 오브젝트의 외곽선에 기초하여 상기 대상 행정구역을 판단하거나 상기 상대적 위치를 판단하는 것을 특징으로 할 수 있다.
상기 오브젝트의 외곽선을 특정하는 단계는 상기 이미지로부터 선분들을 추출하는 단계, 추출된 선분들 각각의 방향성에 기초하여 병합선분들을 생성하는 단계, 생성한 병합선분들을 포함하는 선분 세트에 기초하여 상기 오브젝트의 외곽선들에 상응하는 후보 외곽선들을 특정하는 단계, 및 특정한 후보 외곽선들이 상기 오브젝트의 외형속성에 상응하는지 여부에 기초하여 상기 후보 외곽선들을 상기 오브젝트의 외곽선들로 특정하는 단계를 포함할 수 있다.
상기 오브젝트 인식시스템이 판단된 상기 상대적 위치에 표시된 상기 인식대상 오브젝트의 인식을 수행하는 단계는, 상기 상대적 위치에 상응하는 대상영역에 대해 상기 대상영역의 일부에 이진화 영역 및 상기 이진화 영역을 포함하며 상기 이진화 영역보다 일정 비율 넓은 영역을 가지는 계수 연산영역을 설정하는 단계, 상기 계수 연산영역에 포함된 픽셀들의 픽셀 값들에 기초하여 이진화 계수를 결정하는 단계, 및 결정된 상기 이진화 계수를 통해 상기 이진화 영역에 대한 이진화를 수행하는 단계를 수행하며, 수행한 이진화 결과에 기초하여 상기 인식대상 오브젝트의 인식을 수행할 수 있다.
상기의 방법은 데이터 처리장치 설치된 컴퓨터 프로그램에 의해 구현될 수 있다.
본 발명의 일 실시 예에 따른 행정구역들별로 서로 다른 형식을 가지는 오브젝트를 인식하기 위한 오브젝트 인식시스템은 오브젝트가 표시된 이미지에 기초하여 상기 오브젝트에 상응하는 대상 행정구역에 대해 미리 설정된, 상기 오브젝트에서 인식할 인식대상 오브젝트가 표시된 상대적 위치를 판단하기 위한 제어모듈 및 판단된 상기 상대적 위치에 표시된 상기 인식대상 오브젝트의 인식을 수행하기 위한 인식모듈을 포함한다.
상기 제어모듈은 상기 인식모듈에 의해 수행되며 상기 오브젝트에서 미리 정의된 행정구역 표시영역에 대해 수행한 인식결과에 기초하여 상기 대상 행정구역을 판단할 수 있다.
상기 오브젝트 인식시스템은 상기 오브젝트의 외곽선을 특정하기 위한 검출모듈을 더 포함하며, 상기 제어모듈은 특정한 상기 오브젝트의 외곽선에 기초하여 상기 대상 행정구역을 판단하거나 상기 상대적 위치를 판단할 수 있다.
상기 검출모듈은 상기 이미지로부터 선분들을 추출하고, 추출된 선분들 각각의 방향성에 기초하여 병합선분들을 생성하며, 생성한 병합선분들을 포함하는 선분 세트에 기초하여 상기 오브젝트의 외곽선들에 상응하는 후보 외곽선들을 특정하고, 특정한 후보 외곽선들이 상기 오브젝트의 외형속성에 상응하는지 여부에 기초하여 상기 후보 외곽선들을 상기 오브젝트의 외곽선들로 특정할 수 있다.
상기 인식모듈은 상기 상대적 위치에 상응하는 대상영역에 대해, 상기 대상영역의 일부에 이진화 영역 및 상기 이진화 영역을 포함하며 상기 이진화 영역보다 일정 비율 넓은 영역을 가지는 계수 연산영역을 설정하고, 상기 계수 연산영역에 포함된 픽셀들의 픽셀 값들에 기초하여 이진화 계수를 결정하며, 결정된 상기 이진화 계수를 통해 상기 이진화 영역에 대한 이진화를 수행하고, 수행한 이진화 결과에 기초하여 상기 인식대상 오브젝트의 인식을 수행할 수 있다.
본 발명의 기술적 사상에 따르면 검출의 대상인 오브젝트의 외곽선이 명확하게 추출되지 않고 끊어져서 검출되는 경우라도, 상대적으로 정확하게 오브젝트의 검출이 가능한 효과가 있다.
또한 오브젝트에 표시된 정보를 인식할 때 지역적으로 서로 다른 이진화 기준을 이용하여 이진화를 수행함으로써 오브젝트의 상황에 따라 조명환경에 큰 영향을 받는 경우 또는 지역적으로 배경의 특성차이가 큰 경우 등에서도 인식하고자 하는 대상을 잘 인식할 수 있는 효과가 있다.
또한 행정구역별로 오브젝트의 형식이 다른 경우에도 행정구역을 먼저 판단하고, 이에 따라 인식할 위치를 미리 특정함으로써 다양한 형식을 갖는 오브젝트의 경우에도 인식성능을 높일 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 오브젝트 인식시스템의 논리적인 구성을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 오브젝트 검출방법을 개략적으로 설명하기위한 플로우 차트를 나타낸다.
도 3은 본 발명의 실시 예에 따른 오브젝트 검출방법의 관심영역을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따란 선분 추출의 일 예를 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 병합선분을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따라 검출된 오브젝트의 일 예를 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따라 검출된 오브젝트를 와핑한 일 예를 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따라 인식대상 오브젝트를 인식하는 방법을 개략적으로 설명하기 위한 플로우 차트를 나타낸다.
도 9는 본 발명의 실시 예에 따라 지역적 이진화를 수행하는 개념을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따라 지역적 이진화를 수행한 후 레이블링을 수행한 일 예를 나타내는 도면이다.
도 11은 본 발명의 실시 예에 따라 패턴을 탐색한 결과를 나타내는 도면이다.
도 12 내지 도 14는 본 발명의 실시 예에 따라 행정구역별로 다른 형식의 오브젝트를 인식하기 위한 개념을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 오브젝트 인식시스템의 논리적인 구성을 개략적으로 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 오브젝트 인식방법을 구현하기 위해서는 오브젝트 인식시스템(100)이 구현될 수 있다.
상기 오브젝트 인식시스템(이하, 인식시스템, 100)은 이미지로부터 원하는 오브젝트를 검출할 수 있다. 또한, 상기 인식시스템(100)은 검출한 오브젝트에서 인식하고자 하는 대상(이하, 인식대상 오브젝트라 함)을 인식할 수 있다.
상기 인식시스템(100)은 소정의 데이터 처리시스템(미도시)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.
상기 데이터 처리시스템은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 시스템을 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속가능한 네트워크 서버뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 본 발명의 기술적 사상에 따라 오브젝트 검출을 이용한 서비스를 수행할 수 있는 어떠한 시스템도 본 명세서에서 정의되는 상기 데이터 처리시스템으로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
이하 본 명세서에서 검출의 대상이 되는 오브젝트는 금융카드(예컨대, 신용카드, 체크카드 등) 또는 신분증(예컨대, 면허증 등)과 같이 개인의 금융정보 또는 개인정보가 표시된 사물이고, 상기 인식대상 오브젝트는 상기 금융카드 또는 신분증에 프린트되어 있거나 양각된 카드번호, 유효기간 등의 숫자 또는 텍스트인 경우를 예시하지만, 본 발명의 기술적 사상은 미리 정해진 형태(예컨대, 사각형 등)를 가진 어떠한 오브젝트에도 적용될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 데이터 처리시스템은 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서는 상기 프로그램을 구동하여 본 명세서에서 정의되는 기능을 수행할 수 있다.
상기 저장장치는 상기 프로그램을 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 데이터 처리시스템에 포함된 주 기억장치 뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 인식시스템(100)은 도 1에서는 어느 하나의 물리적 장치로 구현된 것처럼 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 인식시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 인식시스템(100)은 본 발명의 기술적 사상에 따라 오브젝트가 표시된 이미지에서 해당 오브젝트를 검출할 수 있다. 오브젝트를 검출한다고 함은 이미지에서 상기 오브젝트의 위치를 검출하는 것을 의미할 수 있으며, 본 명세서에서는 상기 오브젝트를 구성하는 외곽선들을 추출하는 것을 의미할 수도 있다.
또한 상기 인식시스템(100)은 상기 오브젝트에 표시된 인식대상이 되는 오브젝트 즉 인식대상 오브젝트를 인식할 수 있다.
이러한 기능을 위해 구현되는 인식시스템(100)은 도 1과 같은 구성을 가질 수 있다.
상기 인식시스템(100)은 제어모듈(110), 추출모듈(120), 병합모듈(130)을 구비할 수 있다. 상기 인식시스템(100)은 전처리 모듈(140)을 더 포함할 수도 있다. 실시 예에 따라 상기 인식시스템(100)은 영역설정모듈(150), 계수결정모듈(160), 및/또는 인식처리모듈(170)을 더 포함할 수도 있다. 다른 실시 예에 의하면, 상기 인식시스템(100)은 제어모듈(110), 영역설정모듈(150), 및 계수결정모듈(160)만을 포함할 수도 있으며, 필요에 따라 상기 인식처리모듈(170)을 더 포함할 수도 있다.
또한, 실시 예에 따라서는 상기 상기 인식시스템(100)의 구성은 제어모듈(110), 검출모듈(115), 인식모듈(125)로 구분될 수 있다. 이러한 경우 상기 검출모듈(115)에 상기 추출모듈(120), 병합모듈(130), 또는 전처리모듈이 포함될 수 있고, 상기 인식모듈(125)은 영역설정모듈(150), 계수결정모듈(160), 및 인식처리모듈(170)을 포함할 수 있다. 기타 다양한 방식으로 본 명세서에서 정의되는 모듈들 각각은 병합되거나 또는 분리되어 명명될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 인식시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 인식시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 인식시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 제어모듈(110), 상기 추출모듈(120), 상기 병합모듈(130), 상기 전처리 모듈(140), 상기 영역설정모듈(150), 상기 계수결정모듈(160), 및/또는 인식처리모듈(170)) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(110), 상기 추출모듈(120), 상기 병합모듈(130), 상기 전처리 모듈(140), 상기 영역설정모듈(150), 상기 계수결정모듈(160), 및/또는 인식처리모듈(170)) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 제어모듈(110)은 본 발명의 기술적 사상을 구현하기 위해 상기 인식시스템(100)에 포함된 구성들(예컨대, 상기 추출모듈(120), 상기 병합모듈(130), 상기 전처리 모듈(140), 상기 영역설정모듈(150), 상기 계수결정모듈(160), 및/또는 인식처리모듈(170)))을 제어하거나 이들의 기능 및/또는 리소스를 관리할 수 있다.
상기 인식시스템(100)은 검출할 대상인 오브젝트의 형태를 미리 알고 있을 수 있다. 그리고 이러한 형태를 갖는 상기 오브젝트를 이미지로부터 검출할 수 있다.
이하 본 명세서에서는 상기 오브젝트가 금융카드인 경우를 예시적으로 설명하지만 본 발명의 기술적 사상은 미리 정해진 형태를 갖는 다양한 오브젝트를 검출하는데 이용될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 추출모듈(120)은 이미지로부터 선분들을 추출할 수 있다. 상기 추출모듈(120)은 상기 오브젝트의 형태가 미리 정해져 있으며, 실시 예에 따라 상기 오브젝트가 직사각형일 수 있으므로 상기 오브젝트의 바운더리는 직선일 수 있다. 따라서 상기 추출모듈(120)은 상기 이미지로부터 오브젝트의 바운더리를 형성하는 직선들인 외곽선의 전부 또는 일부일 수 있는 선분들을 추출할 수 있다.
상기 이미지로부터 선분을 추출할 수 있는 방법은 다양할 수 있다. 예컨대 에지 디텍팅을 통해 이미지에 표시된 에지들을 검출하고, 검출된 에지들 중 곡선이 아닌 선들을 추출하여 선분들을 추출할 수 있다. 추출된 선분들 중에 일부는 외곽선의 전부 또는 일부일 수도 있으며, 외곽선이 아니라 오브젝트 내에 표시된 이미지 피쳐에 따라 추출되는 선분 또는 오브젝트의 외부에 존재하는 이미지 피쳐에 의해 추출되는 선분들이 모두 포함되어 있을 수 있다.
또한 이러한 선분들을 보다 효과적으로 추출하기 위해 이미지 촬영장치로부터 촬영된 이미지는 소정의 전처리가 수행될 수도 있다.
예컨대, 상기 전처리 모듈(140)은 이미지 촬영장치로부터 촬영된 원본 이미지에서 칼러 채널(예컨대, R, G, B 또는 y, cb, cr 등)별로 각각 채널을 분리할 수 있다. 또한, 실시 예에 따라 상기 전처리 모듈(140)은 소정의 필터처리를 더 수행할 수도 있다. 그러면 상기 추출모듈(120)은 전처리된 이미지들 중 어느 하나 또는 복수개로부터 각각 선분들을 추출할 수도 있다.
한편, 상기 오브젝트가 미리 정해진 형태를 가지고 있고, 그 형태에 따라 외곽선들 각각의 위치가 제한될 수 있으므로 상기 추출모듈(120)은 보다 효과적이고 빠른 오브젝트의 검출을 위해 외곽선들 각각이 위치할 가능성이 있는 영역별로 선분들을 추출할 수도 있다. 이렇게 설정되는 영역을 본 명세서에서는 관심영역으로 정의하기로 한다.
예컨대, 오브젝트가 직사각형의 금융카드일 경우, 금융카드의 외곽선은 각각 윗변, 아랫변, 좌변, 우변을 가질 수 있다. 그리고 이러한 각각의 외곽선들 각각에 상응하는 관심영역이 지정될 수 있다.
이처럼 관심영역이 지정되고 관심영역별로 선분의 추출 또는 후술할 바와 같은 선분의 병합이 이루어질 경우는 보다 빠른 시간내에 오브젝트 검출이 가능할 수 있다. 왜냐하면 관심영역별로 외곽선의 방향이 미리 특정될 수 있기 때문이다.
도 3은 본 발명의 실시 예에 따른 오브젝트 검출방법의 관심영역을 설명하기 위한 도면인데, 도 3에 도시된 바와 같이 오브젝트가 금융카드일 경우 이미지(10)로부터 4 개의 관심영역들(11, 12, 13, 14)이 설정될 수 있다. 각각의 관심영역들(11, 12, 13, 14)는 금융카드의 외곽선들 각각이 존재할 수 있는 영영들일 수 있다. 관심영역들(11, 12, 13, 14)은 적어도 외곽선이 포함될 수 있도록 적당한 크기의 영역으로 설정될 수 있음은 물론이다.
일 실시 예에 의하면, 상기 추출모듈(120)은 설정된 관심영역들(11, 12, 13, 14)로부터만 선분을 추출할 수도 있고, 이미지 전체로부터 선분을 추출한 되 관심영역들(11, 12, 13, 14)에 포함된 선분들만 선별할 수도 있다. 실시 예에 따라서는 상기 추출모듈(120)은 이미지 전체로부터 선분을 추출하고 병합모듈(130)이 추출된 선분들 중 관심영역들(11, 12, 13, 14)에 속하는 선분만을 선별하여 병합의 대상으로 이용할 수도 있다.
어떠한 경우든 이미지로부터 추출된 각각의 선분들은 어떤 관심영역들(11, 12, 13, 14)에 해당하는지 관리될 수 있다.
예컨대, 도 4는 본 발명의 실시 예에 따란 선분 추출의 일 예를 나타내는 도면인데, 도 4에 도시된 바와 같이 상기 추출모듈(120)은 관심영역들(11, 12, 13, 14)별로 따로 선분을 추출할 수 있으며, 추출된 선분들은 도 4에 도시된 바와 같을 수 있다.
그러면 상기 인식시스템(100)에 포함된 병합모듈(130)은 추출된 선분들에 기초하여 병합선분을 생성할 수 있다. 상기 병합모듈(130)은 추출된 선분들 각각의 방향성에 기초하여 병합선분들을 생성할 수 있다.
또한, 상기 병합모듈(130)은 관심영역별로 각각 병합선분을 생성할 수 있다. 관심영역별로 병합선분을 생성한다고 함은, 어느 하나의 관심영역(예컨대, 제1관심영역(11))에 상응하는 병합선분은 상기 관심영역(예컨대, 제1관심영역(11))에서 추출된 선분들로만 병합하여 생성됨을 의미할 수 있다.
상기 병합모듈(130)이 추출된 선분들로부터 병합선분을 생성하는 이유는, 이미지의 상태 또는 촬영환경에 따라, 오브젝트의 외곽선이 온전히 하나의 선분으로 추출되는 경우보다는 오브젝트의 외곽선 하나가 복수 개로 끊어져서 복수의 선분들로 검출되는 경우가 빈번할 수 있기 때문이다. 따라서 병합선분을 생성하는 것은 관심영역들(11, 12, 13, 14)별로 추출된 또는 선택된 선분들 중에서 어떤 선분들이 외곽선에 해당하는 선분인지를 찾기 위함일 수 있다.
예컨대, 도 4에서도 알 수 있듯이 금융카드의 윗변, 아랫변, 좌변, 우변 모두 어느 하나의 선분으로 검출되는 것이 아니라 각각의 변 하나에 대해서도 복수의 끊어진 선분들로 추출됨을 알 수 있다.
한편, 병합선분을 생성하기 전에 각각의 관심영역들(11, 12, 13, 14)에 상응하는 외곽선의 방향성이 이미 정해져 있으므로, 상기 병합모듈(130)은 추출된 선분들 중 해당하는 관심영역에 상응하는 외곽선의 방향성과 차이가 큰 선분은 병합의 대상에서 제외할 수 있다. 실시 예에 따라서는 상기 추출모듈(120)이 관심영역들(11, 12, 13, 14)에 상응하는 외곽선의 방향과 차이가 큰 선분을 아예 추출한 선분들에서 삭제할 수도 있음은 물론이다.
상기 병합모듈(130) 및/또는 추출모듈(120)은 관심영역들(11, 12, 13, 14) 각각에 상응하는 방향성 즉, 외곽선의 방향과 미리 정해진 이상의 기울기를 갖는 선분은 병합의 대상에서 제외하거나 아예 추출된 선분들에서 삭제할 수 있다. 예컨대, 제1관심영역(11) 및 제3관심영역(13)에 상응하는 외곽선은 윗변 및 아랫변이고 카메라 평면에 투영된 것을 감안하더라도 수평에 가까운 방향을 가지고 있을 수 있다. 이러한 경우 제1관심영역(11) 및 제3관심영역(13)에서 추출된 선분들 중 수평과 일정 각도(예컨대, 30도, 45도 등) 이상 기울어진 선분들은 병합의 대상에서 제외하거나 아에 추출된 선분들의 리스트에서 삭제될 수 있다.
또한, 제2관심영역(12) 및 제4관심영역(14)에 상응하는 외곽선은 금융카드의 우변 및 좌변이고 카메라 평면에 투영된 것을 감안하더라도 수직에 가까운 방향을 가지고 있을 수 있다. 이러한 경우 제2관심영역(12) 및 제4관심영역(14)에서 추출된 선분들 중 수직과 일정 각도(예컨대, 30도, 45도 등) 이상 기울어진 선분들은 병합의 대상에서 제외하거나 아에 추출된 선분들의 리스트에서 삭제될 수 있다.
그러면 상기 병합모듈(130)은 관심영역들(11, 12, 13, 14)별로 병합선분을 생성할 수 있다.
상기 병합모듈(130)이 병합선분을 생성하는 일 예는 도 5를 참조하여 구체적으로 설명하도록 한다.
도 5는 본 발명의 실시 예에 따른 병합선분을 설명하기 위한 도면이다.
도 5를 참조하면, 상기 병합모듈(130)은 관심영역별로 남아 있는 선분들 즉, 해당 관심영역의 방향성과 큰 차이가 있어서 병합의 대상으로 제외된 선분들을 QO고, 나머지 선분들 중에서 방향성이 기준 조건을 만족하는 선분들을 병합할 수 있다.
상기 기준 조건 역시 현재 관심영역들(11, 12, 13, 14)별로 남아 있는 선분들 중에서 방향성이 미리 정해진 기준 조건을 만족할 정도로 동일하거나 유사한 선분들끼리 병합되는 것일 수 있다.
예컨대, 상기 병합모듈(130)이 제1관심영역(11)에서 병합선분을 생성하는 경우 도 5에 도시된 바와 같이 현제 제1관심영역(11)에 남아 있는 선분들 중 어느 하나의 선분(a) 즉, 기준 선분을 선택할 수 있다. 예컨대, 상기 기준 선분(a)은 해당 관심영역(11)의 방향성(예컨대, 수평선)과 가장 유사한 방향성 즉, 수평에 가장 가까운 선분이 먼저 선택될 수 있다. 물론 실시 예에 따라서는 선분들 모두 또는 일부에 대해 순차적으로 기준선분을 설정하여 병합프로세스를 수행할 수도 있다.
그러면 상기 병합모듈(130)은 상기 기준선분(a)과 방향성이 일정조건을 만족하는 상기 제1관심영역(11)의 타선분들을 선택할 수 있다.
예컨대, 방향성이 일정조건을 만족하는지를 판단하기 위해서는 상기 기준선분(a)또는 상기 기준선분(a)의 연장선(a')과 상기 타선분이 이루는 각도를 이용할 수도 있다. 이때에는 기준선분(a)의 연장선(a')과 타선분이 교차하여야 하는 조건이 추가되거나 거리와 관련된 조건이 추가로 정의될 필요가 있을 수도 있다.
또는 상기 기준선분(a)의 연장선(a')과 타선분(예컨대, b)의 양끝점(예컨대, bp1, bp2)의 직교거리들 각각이 모두 소정의 임계 값이하인 경우 상기 타선분은 상기 일정조건을 만족한다고 판단할 수도 있다.
도 5의 실시 예에서는 선분 b와 선분 c는 상기 기준선분(a)과 방향성 조건을 만족하는 선분일 수 있고, 선분 d와 선분 e는 만족하지 않는 선분일 수 있다.
그러면 상기 기준선분(a)과 선분 b 및 선분 c는 병합될 수 있는 선분들일 수 있다.
병합선분은 기준선분(a)의 방향을 가지면서 길이가 기준선분(a)의 길이와 병합될 수 있는 타선분들(b 및 c)이 상기 기준선분(a)의 방향에 대해 갖는 길이의 합일 수 있다.
즉, 타선분들(b 및 c)이 상기 기준선분(a)의 방향에 대해 갖는 길이는 기준선분(a)의 연장선(a')에 병합가능한 타선분들(예컨대, b 및 c)가 각각 투영된 길이일 수 있다.
그러면 생성되는 병합선분은 기준선분(a)의 방향을 가지면서 길이가 선분 a의 길이, 선분 b의 연장선(a')에 대한 투영길이, 및 선분 c의 연장선(a')에 대한 투영길이의 합이 될 수 있다.
실시 예에 따르면, 상기 병합모듈(130)은 병합된 선분을 제1관심영역(11)의 선분 리스트에서 삭제하지 않고 유지한 채, 기준선분을 변경해가면서 상기 제1관심영역(11)에서 병합선분을 적어도 하나 생성할 수 있다.
이러한 방식으로 상기 병합모듈(130)은 관심영역들(11, 12, 13, 14)별로 병합선분들을 적어도 하나 생성할 수 있다. 그러면 관심영역들(11, 12, 13, 14)별로 병합선분들 및 원래의 선분들이 유지된 선분 세트들이 유지될 수 있다.
이 후 상기 제어모듈(110)은 관심영역들(11, 12, 13, 14)별로 오브젝트의 실제 외곽선 중 전부 또는 일부일 수 있는 선분을 하나씩 추출할 수 있다. 즉, 관심영역들(11, 12, 13, 14)별로 유지되는 선분 세트 중에서 하나씩 선분을 추출할 수 있다. 추출된 선분은 각각의 관심영역의 외곽선의 전부 또는 일부 일수 있다.
이때 선분세트 중에서 가장 길이가 긴 선분이 실제 외곽선의 전부 또는 일부일 가능성이 크므로 상기 제어모듈(110)은 각각의 관심영역들(11, 12, 13, 14)별 선분세트에서 각각 길이가 긴 순서대로 선분들을 순차적으로 추출하는 것이 효과적일 수 있다.
그리고 가장 긴 병합선분이라도 실제 오브젝트의 외곽선의 길이보다는 짧을 수 있으므로, 상기 제어모듈(110)은 관심영역들(11, 12, 13, 14)별로 추출된 각각의 선분들의 연장직선들이 형성하는 도형 즉, 후보도형의 외곽선을 후보 외곽선으로 특정할 수 있다. 예컨대, 각각의 관심영역들(11, 12, 13, 14)로부터 가장 긴 선분들을 하나씩 추출하고, 추출된 선분들에 기초하여 후보 외곽선을 특정한 후 상기 후보 외곽선이 실제 오브젝트의 외곽선이 아니라고 판단된 경우는 관심영역을 바꿔가면서 순차적으로 다음으로 길이가 긴 선분을 추출하여 후보 외곽선을 특정하는 프로세스를 반복할 수 있다. 물론 실시 예에 따라 관심영역들(11, 12, 13, 14)들별로 후보 외곽선을 특정하기 위해 선분을 추출하는 순서 및/또는 방식은 다양할 수 있으며, 어다양한 방식으로 관심영역들(11, 12, 13, 14)별로 선분을 추출하고, 추출한 선분의 연장선이 형성하는 도형의 외곽선을 후보 외곽선으로 특정할 수 있다.
이처럼 특정한 후보 외곽선의 일 예는 도 6에 도시된 바와 같을 수 있다.
도 6은 본 발명의 실시 예에 따라 검출된 오브젝트의 일 예를 나타내는 도면이다.
도 6은 특정한 후보 외곽선이 실제 오브젝트의 외곽선인 경우를 도시하고 있는데, 특정된 후보 외곽선들(20, 21, 22, 23)은 각각의 관심영역들(11, 12, 13, 14)로부터 추출된 선분들의 연장선일 수 있다. 그리고 이러한 연장선이 형성하는 도형은 도 6에 도시된 바와 같은 후보 도형일 수 있다.
그러면 상기 제어모듈(110)은 상기 후보도형의 외형이 검출하고자 하는 오브젝트의 외형 속성에 상응하는지를 판단할 수 있다. 즉, 특정한 후보 외곽선들(20, 21, 22, 23)이 상기 오브젝트의 외형속성에 상응하는지 여부를 판단할 수 있다.
예컨대, 금융카드의 경우 외형속성은 미리정해진 가로 세로 비율(예컨대, ISO7810의 경우, 1.5858:1)일 수 있고, 상기 제어모듈(110)은 특정된 후보 외곽선들이 형성하는 도형이 이러한 외형속성에 부합하는지를 판단할 수 있다.
그리고 후보 도형 즉, 후보 외곽선들이 상기 오브젝트의 외형속성에 부합한다고 판단한 경우 해당 후보 외곽선들이 실제 오브젝트의 외곽선이라고 판단할 수 있다.
이때 상기 후보 외곽선들은 카메라 평면에 투영된 상태의 오브젝트로부터 추출된 선분들이므로, 후보 외곽선들이 실제 오브젝트의 외곽선이라 하더라도 외곽선의 길이가 왜곡되어 있을 수 있다. 예컨대, 오브젝트가 직사각형이고 후보 외곽선이 실제 오브젝트의 외곽선이라 하더라도 카메라 평면에 투영된 상태의 상기 오브젝트의 외곽선은 직사각형이 아닐 수 있다.
따라서 이러한 왜곡을 조정해야지 보다 정확하게 후보도형 또는 후보 외곽선들이 실제 오브젝트의 외형속성(예컨대, 가로 세로 비율이 정해져 있는 직사각형)에 부합하는지 판단할 수 있다.
즉, 상기 제어모듈(110)은 현재의 후보 외곽선들이 오브젝트의 외형속성에 부합하는지 여부를 판단하기 위해 후보 외곽선들의 길이 비율을 상기 외형속성으로 이용할 수 있다.
이때 상기 후보 외곽선들의 길이 비율이라 함은, 후보 도형을 구성하는 상기 후보 외곽선들 전체에 대해 각각의 외곽선들이 가지는 길이의 비율일 수도 있고, 후보 외곽선들 중 일부(예컨대, 가로변 중 어느 하나 및 세로변 중 어느 하나)가 가지는 길이의 비율일 수도 있다. 또는 후보 외곽선들 중 적어도 일부에 대해 소정의 연산을 수행한 후의 값이 가져야 하는 비율일 수도 있다. 어떠한 경우든 본 명세서에서 길이 비율이라 함은 특정 도형의 선분(외곽선)의 길이에 기초하여 연산되며 상기 특정 도형이 가지는 고유한 값을 의미할 수 있다.
예컨대, 전술한 바와 같이 상기 오브젝트가 금융카드일 경우 상기 금융카드는 가로변과 세로변의 비율이 1.5858 : 1의 비율을 가질 수 있다. 따라서 상기 후보 외곽선들의 길이 비율 역시 후보 외곽선과 가로 외곽선의 길이의 비율이 상기 금융카드의 가로변과 세로변의 비율에 상응하는지를 확인할 수 있는 값이면 어떠한 것으로 정의되어도 무방할 수 있다.
일 예에 의하면, 본 명세서에서는 후보 외곽선들 중 가로 외곽선들의 길이의 합과 세로 외곽선들의 길이의 합이 상기 금융카드의 길이 비율과 상응하는지 여부를 판단할 수 있다. 상응하는지 여부는 후보 외곽선들 중 가로 외곽선들의 길이의 합과 세로 외곽선들의 길이의 합의 비율과 상기 금융카드의 길이 비율의 차이가 소정의 임계 값 이하인 경우로 판단될 수 있다.
이때 금융카드의 길이 비율 역시 가로 외곽선의 합과 세로 외곽선의 합의 비율로 정의될 수 있고, 직사각형일 경우에는 어느 가로 외곽선들 중 어느 하나의 외곽선의 길이 대 세로 외곽선들 중 어느 하나의 외곽선의 길이의 비율과 동일한 값일 수 있다. 하지만 전술한 바와 같이 후보 외곽선들은 카메라 평면에 투영된 상태에서 소정의 왜곡이 발생했기 때문에 두 개의 가로 외곽선들(또는 세로 외곽선들)의 길이가 같지 않을 수도 있으므로, 두 개의 가로 외곽선들(또는 세로 외곽선들)의 길이의 합의 비율을 길이 비율로 이용하는 것이 효과적일 수 있다.
또한, 정확하게 영투영 계산을 하는 것은 그 연산속도가 매우 느리기 때문에 이렇게 가로 외곽선들 및 세로 외곽선들의 길이의 합을 이용한 근사 값을 구하는 경우 빠른 시간내에 연산이 가능한 효과가 있다.
이러한 근사 값을 이용하여 카메라 평면상에서 오브젝트가 왜곡된 것을 보상하기 위해서는 후보 도형의 꼭지점(예컨대, 네 귀퉁이)의 각도를 이용할 수 있다.
원래 오브젝트가 직사각형일 경우 꼭지점의 내각은 90도라야 정상이고, 90도와 차이가 클수록 상기 꼭지점과 연결된 외곽선의 길이의 왜곡이 클 수 있다.
따라서 상기 제어모듈(110)은 원래 오브젝트가 이루는 특정 도형(예컨대, 직사각형)의 꼭지점이 가져야 할 내각(예컨대, 90도)과 상기 후보 도형의 실제 내각의 차이에 기초하여 상기 외곽선들 중 적어도 하나의 길이를 보정하고 보정된 길이에 기초하여 상기 길이 비율 값을 연산할 수 있다.
이러한 일 예는 다음과 같을 수 있다.
예컨대, sum_w 는 후보 외곽선들 중 두 가로 외곽선(예컨대, 20, 22)의 합으로 정의될 수 있다.
그리고 sum_h 후보 외곽선들 중 두 세로 외곽선(예컨대, 21, 23)의 합으로 정의될 수 있다.
그리고 aver_angle_error는 네 꼭지점의 각도와 원래 오브젝트의 꼭지점의 내각이 가져야할 값(예컨대, 90도)의 차이 값의 평균일 수 있다.
그리고 diff_w 는 후보 외곽선들 중 두 가로 외곽선(예컨대, 20, 22)의 차이 값, diff_h는 후보 외곽선들 중 두 세로 외곽선(예컨대, 21, 23)의 차이값일 수 있다.
그러면 네 꼭지점의 각도에 기초하여 보정된 길이비율은 다음과 같이 정의될 수 있다.
[수학식 1]
card_wh_ratio = {sum_w x (1 - sin(aver_angle_error x diff_w_ratio))} / {sum_h x (1 - sin(aver_angle_error x diff_h_ratio))}
여기서 diff_w_ratio 는 diff_w / (diff_w + diff_h)이고 diff_h_ratio 는 1 - diff_w_ratio로 정의될 수 있다.
이렇게 보정된 길이비율이 상기 금융카드의 길이 비율 1.5858/1과 소정의 임계 값 이내이면 상기 후보 외곽선들이 상기 금융카드의 외형속성에 상응한다고 판단할 수 있다.
그러면 상기 후보 외곽선들이 오브젝트의 외곽선들로 검출될 수 있다. 즉, 후보 도형이 오브젝트(또는 오브젝트의 위치)로 검출될 수 있다.
만약 후보 외곽선들이 오브젝트의 외형속성에 상응하지 않는 경우, 상기 제어모듈(110)은 후보 외곽선들을 변경하면서 오브젝트가 검출될 때까지 또는 일정 회수까지 반복하면서 오브젝트를 검출할 수 있다.
만약 오브젝트가 검출되면 실시 예에 따라 상기 제어모듈(110)은 왜곡된 오브젝트를 와핑하여 원래 오브젝트가 가져야할 외형속성을 갖도록 할 수 있다. 이렇게 와핑이 된 일 예는 도 7에 도시된 바와 같을 수 있다.
이렇게 와핑을 수행한 후에는 검출된 오브젝트를 이용한 응용 서비스가 보다 효과적으로 이루어질 수 있다.
예컨대, 정확하게 오브젝트의 피쳐들이 왜곡없이 정규화된 위치에 존재하게 되므로, 오브젝트 내에 표시된 피쳐들(예컨대, 카드번호, 유효기간 등)을 인식하는데 보다 빠르고 정확한 성능이 달성될 수 있다.
상술한 바와 같은 본 발명의 기술적 사상에 따라 오브젝트를 검출하는 방법을 전체적으로 정리하면 도 2와 같을 수 있다.
도 2는 본 발명의 일 실시 예에 따른 오브젝트 검출방법을 개략적으로 설명하기위한 플로우 차트를 나타낸다.
도 2를 참조하면, 본 발명의 기술적 사상에 따른 인식시스템(100)은 오브젝트가 표시된 이미지로부터 선분들을 추출할 수 있다(S110). 그리고 이때 인식시스템(100)은 이미지에 대한 관심영역들(11, 12, 13, 14)을 설정하고, 설정한 관심영역들(11, 12, 13, 14)들 별로 선분들을 추출할 수도 있음은 전술한 바와 같다(S100). 물론 실시 예에 따라 선분의 추출은 이미지 전체에 대해 실시하고, 추출된 선분들 중에서 관심영역들(11, 12, 13, 14)에 속하는 선분들만 남길 수도 있다.
그러면 상기 인식시스템(100)은 관심영역들(11, 12, 13, 14)별로 병합선분을 생성할 수 있다(S120). 그리고 생성한 병합선분을 포함하는 선분 세트를 관심영역들(11, 12, 13, 14)별로 유지할 수 있다.
그러면 상기 인식시스템(100)은 관심영역들(11, 12, 13, 14)별로 선분을 추출하고, 추출한 선분의 연장선이 형성하는 후보도형 및/또는 후보 외곽선들을 특정할 수 있다(S130).
그리고 특정한 후보 도형 및/또는 후보 외곽선들이 검출하고자 하는 오브젝트인지를 판단할 수 있다(S140). 이를 위해 후보 도형 및/또는 후보 외곽선들의 오브젝트의 외형속성에 상응하는지가 판단될 수 있고, 이때는 후보 외곽선들의 길이 비율이 이용될 수 있다. 또한 이러한 길이비율은 꼭지점의 내각의 왜곡 정도에 따라 보정될 수 있음은 전술한 바와 같다.
그리고 후보 외곽선들이 검출하고자 하는 오브젝트라고 판단한 경우에는 상기 후보 외곽선들을 오브젝트의 외곽선으로 판단하여 오브젝트 검출 프로세스를 종료할 수 있다(S150). 만약 후보 외곽선들이 검출하고자 하는 오브젝트가 아니라고 판단한 경우에는 상기 후보 외곽선들을 재설정하여 재설정된 후보 외곽선들이 검출대상인 오브젝트인지를 다시 판단하는 과정(S140)을 반복할 수 있다.
한편, 오브젝트의 검출이 완료되면 상기 인식시스템(100)은 오브젝트에 표시된 유의미한 정보 또는 객체를 인식할 수 있다. 이처럼 인식의 대상이 되는 객체를 본 명세서에서는 인식대상 오브젝트로 정의하기로 한다. 예컨대, 인식대상 오브젝트는 금융카드에 표시된 카드번호, 유효기간, 이름 등의 유의미한 텍스트일 수 있다. 또는 상기 인식대상 오브젝트는 소정의 신분증(예컨대, 면허증)에 표시된 유의미한 정보(예컨대, 이름, 면허번호, 생년월일 등)일 수도 있다.
본 발명의 기술적 사상에 의하면 상기 인식시스템(100)은 인식대상 오브젝트를 인식하기 위해 지역적 이진화를 수행할 수 있다. 이진화는 픽셀 값을 0 또는 1과 같이 두 개의 값으로 변경하는 프로세스를 의미할 수 있는데, 이러한 이진화를 수행하는 경우 보다 높은 정확도로 인식대상 오브젝트의 인식이 가능한 것이 알려져 있다.
하지만 이진화를 검출된 오브젝트 전체에 대해 일률적으로 수행하는 경우, 조명환경에 따라 이미지 피쳐가 많이 변화하는 경우 또는 특정 영역만 전체 이미지의 이미지 피쳐와 다른 특성(예컨대, 타 영역에는 배경무늬가 존재하는데 상기 특정영역에는 배경무늬가 없는 경우 등)이 존재하는 경우에는 유의미한 정보가 표시된 픽셀들이 사라지게 되는 문제점이 발생할 수 있다. 예컨대, 상기 오브젝트가 금융카드이고 인식대상 오브젝트가 금융카드에 표시된 카드번호인데 상기 카드번호가 양각된 경우에는 조명에 따라 양각된 카드번호 부분에 대해서만 타 영역에 비해 빛의 반사특성이 달라질 수 있고, 이러한 경우 오브젝트 전체에 대해 이진화를 수행하면 카드번호 부분이 불필요한 픽셀들로 판단될 수도 있다.
따라서 본 발명의 기술적 사상에 따른 상기 인식시스템(100)은 지역적 이진화를 수행할 수 있다.
본 발명의 기술적 사상에 의하면, 상기 인식시스템(100)은 검출된 오브젝트에서 이진화 대상영역을 이진화를 수행할 수 있다. 이진화 대상영역은 검출된 오브젝트 전체일 수도 있지만, 인식대상 오브젝트가 오브젝트 내에서 특정 위치에만 존재하는 등과 같이 미리 정해진 조건이 있으면 오브젝트의 일부분만이 이진화 대상영역으로 설정될 수도 있다. 예컨대, 후술할 바와 같이 오브젝트가 동일한 종류이더라도 행정구역별로 그 형식(예컨대, 크기, 색깔, 표시되는 정보의 위치 등)이 다른 경우가 존재할 수 있다. 이러한 경우에는 행정구역별로 이진화 대상영역이 서로 달라질 수도 있다.
본 발명의 실시 예에 의하면, 상기 인식시스템(100)은 이진화 대상영역 전체에 대해 어느 하나의 이진화 계수를 이용하여 이진화하는 것이 아니라 일부의 영역을 설정하고 설정한 영역에 대해서 사용할 이진화 계수를 결정하여 이진화를 수행한 후 설정한 영역을 이동하면서 새롭게 이진화 계수를 결정하고 결정된 새로운 이진화 계수를 이용하여 이진화를 수행할 수 있다. 즉, 영역별로 이진화의 기준이 되는 이진화 계수가 달라질 수 있으며, 이에 따라 조명특성 또는 지역적 특성에 따라 잘못된 이진화가 수행되는 것이 상당부분 방지될 수 있는 효과가 있다.
이러한 개념은 도 8을 참조하여 구체적으로 설명하도록 한다.
도 8은 본 발명의 실시 예에 따라 인식대상 오브젝트를 인식하는 방법을 개략적으로 설명하기 위한 플로우 차트를 나타낸다.
도 8을 참조하면, 상기 인식시스템(100)에 포함된 영역설정모듈(150)은 오브젝트에 해당하는 이미지로부터 이진화 영역을 설정할 수 있다(S200). 상기 이진화 영역은 전술한 바와 같이 상기 이미지에서 미리 정의된 이진화 대상영역의 일부에 설정될 수 있다.
상기 이미지는 예컨대, 카메라 프리뷰 이미지에서 미리 선택된 채널(예컨대, 그레이 채널)만이 분리된 이미지일 수도 있다. 상기 전처리 모듈(140)은 검출된 오브젝트의 원본 이미지로부터 미리 선택된 채널을 분리하여 분리된 채널의 이미지를 오브젝트 인식에 이용할 수 있다. 또한 인식대상 오브젝트가 양각화된 텍스트(숫자 포함)인 경우 즉, 엠보싱 텍스트인 경우 일반적으로 입체형에 의해 이진화가 용이하지 않을 수 있다. 또한 입체형으로 인해 조명의 영향을 다양하게 받을 수 있으므로, 상기 전처리 모듈(140)은 상기 분리된 채널의 이미지에서 조명의 영향과 엠보싱 텍스트가 이미지 상에 잘 표현될 수 있도록 소정의 필터(예컨대, Sobel, Scharr 등)를 적용한 후 후술할 바와 같은 오브젝트 인식을 수행할 수도 있다.
그러면 상기 영역설정모듈(150)은 설정된 이진화 영역을 기준으로 계수 연산영역을 설정할 수 있다(S210).
일 실시 예에 의하면, 상기 계수 연산영역은 이진화 영역상기 제1이진화 영역을 포함하며 상기 제1이진화 영역보다 일정 비율 넓은 영역을 가지도록 설정될 수 있다.
실시 예에 의하면, 상기 이진화 영역은 인식하고자 하는 인식대상 오브젝트의 크기에 따라 정해질 수 있다. 예컨대, 인식대상 오브젝트가 숫자 또는 텍스트이고 상기 숫자 또는 텍스트의 크기가 정해져 있는 경우, 상기 이진화 영역은 상기 숫자 또는 텍스트의 크기와 동일하거나 미리 정해진 비율만큼만 큰 넓이를 갖도록 설정될 수 있다. 또한 인식대상 오브젝트의 형태에 따라 상기 이진화 영역의 형태도 이에 상응하도록 설정될 수 있다.
그러면 상기 계수 연산영역 역시 상기 이진화 영역을 포함하도록 설정될 수 있으며 상기 이진화 영역과 형태는 동일할 수도 있다.
이러한 이진화 영역과 계수 연산영역의 일 예는 도 9에 도시된 바와 같을 수 있다.
도 9는 본 발명의 실시 예에 따라 지역적 이진화를 수행하는 개념을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 상기 영역설정모듈(150)은 이진화 대상영역 중의 일부영역에 이진화 영역((a), 30)을 설정할 수 있다. 그리고 상기 영역설정모듈(150)은 상기 이진화 영역(30)을 포함하며 상기 이진화 영역(30)보다 일정비율 넓은 계수 연산영역((b), 31)을 설정할 수 있다.
이처럼 계수 연산영역이 이진화 영역보다 넓게 설정되는 것은 이진화 영역만에 기초하여 이진화 계수를 결정하는 경우, 바로 이진화 영역과 바로 옆의 영역간에 서로 다른 이진화 계수가 결정될 경우 상기 이진화 영역과 바로 옆의 영역에 걸쳐서 존재하는 이미지 피쳐의 이진화 결과가 달라서 영역간에 단절된 이진화가 될 수 있는 위험이 존재하기 때문이다. 따라서 이진화 영역보다 넓은 영역을 갖도록 계수 연산영역을 설정하는 경우, 특정 이진화 영역의 이진화 계수를 연산할때와 상기 특정 이진화 영역의 바로 옆 영역의 이진화 계수를 연산할 때에 상기 계수 연산영역이 공통적으로 고려되도록 함으로써 이러한 문제점을 해결할 수 있는 효과가 있다.
물론 오브젝트의 특성 또는 인식대상 오브젝트의 특성에 따라 또는 실시 예에 따라 상기 이진화 영역 내에 존재하는 픽셀만으로 이진화 계수를 결정할 수도 있다. 이러한 경우에는 상기 영역설정모듈(150)은 이진화 영역만 설정하면 되고 계수 연산영역의 설정은 필요없을 수도 있다.
도 9에서는 상기 계수 연산영역(31)은 이진화 영역(30)과 중심은 같고 형태는 이진화 영역(30)과 동일하며 넓이가 미리 정해진 비율(예컨대, 10%, 20% 등) 더 크게 설정된 경우를 예시적으로 도시하고 있지만, 실시 예에 따라 다양한 변형이 가능할 수도 있다.
그러면 상기 계수결정모듈(160)은 계수 연산영역(31)에 포함된 픽셀 값들에 기초하여 상기 이진화 영역(30)에 대한 이진화를 수행하는 기준이 되는 이진화 계수를 결정할 수 있다(S220).
일 예에 의하면, 상기 이진화 계수는 상기 계수 연산영역(31)에 포함된 픽셀 값들의 평균 값과 최대 값 사이에서 결정될 수 있다.
예컨대, 이진화 계수는 다음과 같은 수식에 의해 연산될 수 있다.
이진화 계수 = 평균 값 + (최대 값-평균 값)x상수
여기서 상수는 0과 1사이의 값으로 실시 예에 따라 다양하게 결정될 수 있다.
그러면 상기 제어모듈(110)은 결정된 이진화 계수를 이용하여 상기 이진화 영역(30)을 이진화할 수 있다(S230). 예컨대, 이진화 계수보다 작은 픽셀 값은 0으로 이진화 계수 이상인 픽셀 값은 1로 설정할 수 있다.
이 후, 상기 제어모듈(110)은 이진화 대상영역이 모두 이진화되었는지를 판단하고(S240), 그렇지 않은 경우에는 상기 영역설정모듈(150)을 제어하여 이진화 영역(30)의 위치를 이동시킬 수 있다(S250). 이동한 위치 역시 이진화 대상영역 내일 수 있음은 물론이다.
예컨대 상기 영역설정모듈(150)은 최초의 이진화 영역(30)의 위치에서 이진화 영역(30)의 가로길이 또는 세로 길이만큼 이진화 영역을 이동하여 새로운 이진화 영역을 설정할 수 있다. 그리고 새롭게 설정된 이진화 영역에 대해 전술한 바와 같이 계수 연산영역을 설정하고, 계수결정모듈(160)은 이진화 계수를 결정하며, 제어모듈(110)은 결정된 이진화 계수를 이용하여 새롭게 설정된 이진화 영역에 대한 이진화를 수행할 수 있다. 물론 새로운 이진화 영역 및 계수 연산영역은 이전 이진화 영역 및 계수 연산영역과 동일한 크기와 형태일 수 있다. 물론 이진화 계수를 결정하는 방식은 이진화 영역이 이동하더라도 동일할 수 있다.
이러한 방식으로 반복적으로 이진화 영역을 이동하면서 이진화 대상영역이 모두 이진화될때까지 이진화를 수행할 수 있다.
만약 모든 이진화 대상영역에 대한 이진화가 수행되었으면, 상기 인식처리모듈(170)은 이진화된 결과 이미지 즉, 이진화된 이진화 대상영역의 이미지를 이용하여 인식대상 오브젝트의 인식을 수행할 수 있다(S260). 상기 이진화 대상영역은 오브젝트 전체일 수 있음은 물론이다.
이진화 대상영역에 존재하는 인식대상 오브젝트를 인식하는 방법은 다양할 수 있다.
본 발명의 실시 예에 의하면, 상기 인식처리모듈(170)은 이진화가 수행된 상기 이진화 대상영역에 대한 레이블링(예컨대, 커넥티트 컴포넌트 레이블링)을 수행할 수 있다. 기타 다양한 방식으로 상기 인식처리모듈(170)은 널리 알려진 다양한 방식의 OCR 등을 통해 이진화가 수행된 이진화 대상영역에 존재하는 인식대상 오브젝트를 인식할 수도 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
레이블링은 이진화가 수행된 이미지에서 동일한 픽셀 값을 가지는 픽셀들끼리 그룹화하는 과정을 의미하며, 커넥티드 컴포넌트 레이블링은 동일한 픽셀 값을 가지면서 연결된 픽셀들을 하나의 오브젝트로 그룹화하는 알고리즘을 의미할 수 있다. 이러한 레이블링을 통해 상기 이진화 대상영역에 존재하는 객체들이 추출될 수 있다.
이러한 일 예는 도 10에 도시된 바와 같을 수 있다.
도 10은 본 발명의 실시 예에 따라 지역적 이진화를 수행한 후 레이블링을 수행한 일 예를 나타내는 도면이다.
도 10은 이진화 대상영역이 검출된 오브젝트 즉, 금융카드 전체인 경우를 예시적으로 나타내고 있으며, 전술한 바와 같이 지역적 이진화를 통해 이진화가 된 상기 이진화 대상영역이 레이블링된 결과를 예시적으로 도시하고 있다.
그리고 레이블링을 수행한 결과로 추출된 객체들은 도 10에 도시된 바와 같이 박스로 표시된 것들일 수 있다.
그러면 상기 인식처리모듈(170)은 추출된 객체들의 위치에 기초하여 인식하고자 하는 인식대상 오브젝트가 가지는 고유한 패턴을 탐색할 수 있다.
예컨대, 인식대상 오브젝트가 카드번호일 경우, 상기 카드번호에 포함되는 각각의 숫자들은 크기가 동일하거나 유사하고 간격이 일정한 형태로 표시되는 표시 특성을 가질 수 있다. 이러한 특성을 가지는 객체의 집합이 상기 패턴일 수 있다.
그러면 상기 인식처리모듈(170)은 추출된 객체들 중 이러한 특징적인 패턴을 탐색할 수 있다.
이렇게 탐색된 패턴의 수행결과는 도 11에 도시된 바와 같을 수 있다.
도 11은 본 발명의 실시 예에 따라 패턴을 탐색한 결과를 나타내는 도면이다.
도 11을 참조하면, 상기 인식처리모듈(170)에 의해 탐색된 패턴들(40, 41, 42, 43)은 도 11에 도시된 바와 같을 수 있다.
이렇게 적어도 하나의 패턴이 탐색되면, 상기 인식처리모듈(170)은 탐색된 패턴에 대한 인식(예컨대, OCR)을 수행할 수 있다. 상기 인식처리모듈(170)은 자체적으로 OCR 기능을 수행할 수도 있고, 별개로 구비된 OCR 기능을 가진 인식수단(미도시)에 상기 패턴을 입력하여 입력에 따른 결과 즉 인식결과를 획득할 수도 있다.
또한 상기 인식처리모듈(170)은 상기 패턴 자체를 인식수단에 입력할 수도 있고, 상기 패턴에 포함된 객체 즉, 숫자 각각을 상기 인식수단에 입력할 수도 있다. 인식수단의 설계에 따라 다양한 실시 예가 가능할 수 있음은 물론이다.
한편, 상술한 실시 예에서는 지역적 이진화를 수행할 때 계수 연산영역을 설정하는 경우에 대해 설명하였지만, 실시 예에 따라서는 반드시 계수 연산영역을 설정하지 않을 수도 있다.
그러면 상기 영역설정모듈(150)은 인식대상 오브젝트가 표시된 이미지에서 상기 이미지의 이진화 대상영역의 일부에 미리 설정된 크기의 이진화 영역만을 설정할 수 있다.
그리고 상기 계수결정모듈(160)은 설정된 이진화 영역에 포함된 픽셀들 값에 기초하여 상기 이진화 영역에 대한 이진화 계수를 전술한 바와 같이 결정할 수 있다.
그러면 상기 제어모듈(110)은 결정된 상기 이진화 계수를 이용하여 상기 이진화 영역에 대한 이진화를 수행한 후, 이진화 영역을 이동하여 이진화 대상영역이 모두 이진화될 때까지 이동된 이진화 영역에 대해 새로운 이진화 계수를 결정하고, 결정된 새로운 이진화 계수를 이용하여 이동된 이진화 영역에 대한 이진화를 수행하도록 상기 영역설정모듈(150), 상기 계수결정모듈(160)을 제어할 수 있다.
어떠한 경우든 본 발명의 기술적 사상에 의하면, 오브젝트 전체에 대해 하나의 일률적인 기준으로 이진화를 수행하는 것이 아니라, 일부 영역들 별로 이진화 기준을 적응적으로 선택하여 이진화를 수행함으로써 특정 영역에만 이미지 피쳐가 다른 성이 있는 환경에서 강인한 오브젝트 인식 정확도를 가질 수 있는 효과가 있다.
한편, 동일한 종류의 오브젝트라 하더라도 오브젝트의 형식이 행정구역별로 달라지는 경우가 존재할 수 있다. 예컨대, 미국의 면허증은 주마다 다른 형식을 가지는데, 이러한 경우 미국의 면허증에서 개인을 인증할 유의미한 정보들을 면허증이 촬영된 이미지로부터 인식하고자 할때에는 이러한 유의미한 정보들이 표시된 위치가 모두 다르고, 폰트, 색, 배경 등이 모두 다르므로 이를 고려하지 않고 단순히 전체 오브젝트를 OCR하는 경우 정확도가 상당히 떨어질 수 있다.
따라서 보다 높은 인식성능을 위해 본 발명의 기술적 사상에 의하면, 행정구역별로 서로 다른 형식을 가진 오브젝트로부터 상기 오브젝트에 표시된 유의미한 정보를 인식하기 위해서 상기 인식시스템(100)에 포함된 제어모듈(110)은 우선 상기 오브젝트가 표시된 이미지에 기초하여 상기 오브젝트에 상응하는 대상 행정구역을 특정할 수 있다. 상기 제어모듈(110)이 대상 행정구역을 특정하기 위해 상기 검출모듈(115) 및/또는 상기 인식모듈(125)의 연산결과를 활용할 수 있고, 이들을 제어할 수 있음은 물론이다.
또한, 상기 제어모듈(110)은 대상 행정구역별로 인식하고자 하는 정보가 기재된 위치에 대한 정보를 미리 정의하고 있을 수 있다. 이때 상기 위치는 오브젝트에서의 상대적 위치일 수 있다. 즉, 상술한 바와 같이 오브젝트의 외곽선이 특정되면 이를 기준으로 소정의 기준위치(예컨대, 윗 모서리 또는 소정의 꼭지점 등)로부터 상대적으로 어떤 위치에 있는 정보를 인식하여야 할지에 대한 정보가 상기 제어모듈(110)에 미리 정의되어 있을 수 있다.
이를 위해 상기 인식시스템(100)에 포함된 상기 검출모듈(115)은 전술한 바와 같이 오브젝트를 검출할 수 있다. 그리고 검출결과를 활용하여 상기 제어모듈(110)은 상대적 위치를 특정할 수 있다.
그러면 상기 인식모듈(125)은 상대적 위치에 대해서 인식대상 오브젝트에 대한 인식을 수행할 수 있다. 이를 위해 상기 인식모듈(125)은 지역적 이진화를 수행할 수 있다. 물론 지역적 이진화를 수행하지 않고 다른 방식으로 상기 상대적 위치에 포함된 인식대상 오브젝트의 인식을 수행할 수도 있음은 물론이다.
상술한 바와 같은 지역적 이진화를 수행할 경우, 상기 상대적 위치가 이진화 대상영역으로 설정될 수 있음은 전술한 바와 같다.
결국 본 발명의 기술적 사상에 의하면, 오브젝트의 행정구역을 먼저 특정하고, 행정구역별로 인식을 수행할 위치를 특정한 후 특정된 위치에 대해서 인식을 수행하도록 함으로써 보다 정확한 인식성능을 가질 수 있는 효과가 있다. 또한 오브젝트에 표시된 불필요한 정보들에 대해 인식을 수행하지 않아도 되는 효과가 있다.
한편, 상기 제어모듈(110)이 오브젝트가 표시된 이미지로부터 상기 오브젝트에 상응하는 대상 행정구역을 특정하기 위해서, 상기 제어모듈(110)은 먼저 미리 정의된 행정구역 표시영역에 대한 인식을 수행할 수 있다.
상기 행정구역 표시영역은 오브젝트의 종류에 따라 미리 공통적으로 적용되며 행정구역을 특정할 수 있는 정보가 표시된 영역일 수 있다. 예컨대, 미국 면허증의 경우는 도 12 내지 도 14에서 확인할 수 있듯이 면허증의 상단 영역에 공통적으로 행정구역이 표시되어 있을 수 있다.
따라서 상기 제어모듈(110)은 상기 행정구역 표시영역에 대해 상기 인식모듈(125)의 인식결과를 획득하여, 먼저 상기 오브젝트에 상응하는 대상 행정구역을 특정할 수 있다.
또한, 행정구역 표시영역을 특정하기 위해 먼저 상기 검출모듈(115)이 검출한 이미지 상에서의 오브젝트의 위치를 참조할 수 있음은 물론이다.
상기 검출모듈(115)은 전술한 기술적 사상에 따라 오브젝트의 외곽선을 특정하는 기능을 수행할 수 있다. 하지만 실시 예에 따라서는 상기 검출모듈(115)은 다른 방식으로 오브젝트의 위치 즉, 외곽선을 특정할 수도 있고, 어떠한 경우든 상기 오브젝트의 위치를 특정할 수 있는 기능을 수행하면 족하다.
또한 인식모듈(125) 역시 지역적 이진화를 수행하여 인식대상 오브젝트를 인식할 수도 있지만, 실시 예에 따라서는 다른 방식(예컨대, 딥러닝 기반의 OCR 등)으로 인식대상 오브젝트의 인식을 수행할 수도 있으며, 어떠한 경우든 특정된 영역 내에 존재하는 인식대상 오브젝트를 인식할 수 있는 기능을 수행하면 족하다.
예컨대, 상기 인식모듈(125)은 행정구역 표시영역 또는 상기 제어모듈(110)에 의해 특정되는 상대적 위치에 해당하는 영역 즉 대상영역에 대한 인식을 수행할 수 있다.
이처럼 행정구역별로 다른 형식을 갖는 오브젝트를 인식하기 위한 구체적인 일 예들은 도 12 내지 도 14를 참조하여 설명하면 다음과 같다.
도 12 내지 도 14는 본 발명의 실시 예에 따라 행정구역별로 다른 형식의 오브젝트를 인식하기 위한 개념을 설명하기 위한 도면이다.
도 12 내지 도 14에 도시된 바와 같이 상기 제어모듈(110)은 오브젝트(예컨대, 미국 면허증)가 표시된 이미지로부터 대상 행정구역을 먼저 특정할 수 있다. 대상 행정구역을 특정하기 위해서는 행정구역을 특정할 수 있는 정보의 인식이 필요할 수 있다.
이를 위해 본 발명의 일 예에 의하면, 상기 제어모듈(110)은 행정구역 표시영역(50)을 설정할 수 있다.
상기 행정구역 표시영역(50)은 행정구역을 특정할 수 있는 정보가 표시된 영역으로 정의될 수 있으며, 일 예에 의하면 도 12 내지 도 14에 도시된 바와 같이 오브젝트의 상단으로부터 일정한 영역을 가지는 직사각형으로 정의될 수 있지만 반드시 이에 국한되는 것은 아니다.
이를 위해 상기 제어모듈(110)은 검출모듈(115)로부터 특정되는 오브젝트(예컨대, 미국 면허증)의 위치 즉, 외곽선의 위치를 획득하고, 이에 기초하여 상기 행정구역 표시영역(50)을 설정할 수 있다.
그리고 상기 제어모듈(110)은 상기 인식모듈(125)을 제어하여 상기 행정구역 표시영역(50)에 대한 인식을 수행할 수 있다. 그러면 인식수행결과 획득되는 텍스트 중 행정구역을 나타내는 정보를 확인하고, 확인결과에 기초하여 상기 오브젝트(예컨대, 미국 면허증)의 대상 행정구역을 특정할 수 있다.
예컨대, 상기 제어모듈(110)은 도 12에 도시된 오브젝트(예컨대, 미국 면허증)에서는 버지니아(Virginia)를 대상 행정구역으로 특정할 수 있고, 도 13에 도시된 오브젝트(예컨대, 미국 면허증)에서는 캘리포니아(CALIFORNIA)를 대상 행정구역으로 특정할 수 있고, 도 14에 도시된 오브젝트(예컨대, 미국 면허증)에서는 콜럼비아(COLUMBIA)를 대상 행정구역으로 특정할 수 있다.
이렇게 대상 행정구역을 특정하면, 상기 제어모듈(110)은 대상 행정구역별로 미리 정해진 상대적 위치 즉, 인식해야할 정보가 표시된 위치를 특정할 수 있다. 이를 위해 상기 제어모듈(110)은 검출모듈(115)이 검출한 오브젝트(예컨대, 미국 면허증)의 위치 정보를 이용할 수 있음은 물론이다.
또한, 행정구역별 상대적 위치는 행정구역별로 그 위치가 다를 수 있음은 물론이고, 그 개수 역시 다를 수도 있다.
예컨대, 도 12 에서는 고객번호(CUSTOMER NO.)가 표시된 영역(60), 이름이 표시된 영역(61), 만료일(EXPIRES)가 표시된 영역(62), 및 생년월일(DOB)이 표시된 영역(63)이 각각 상기 상대적 위치에 해당하는 대상영역으로 설정될 수 있다. 그러면 상기 인식모듈(125)은 대상영역에 표시된 정보를 인식할 수 있다.
예컨대, 도 13 에서는 도 12와 비교하면 위치가 서로 다른 영역들이 상대적 위치에 해당하는 대상영역들(60, 61, 62, 63)으로 설정되어 있음을 알 수 있다. 각각의 영역은 만료일(60), 이름 및 주소(61), 생년월일(62), 및 면허증 번호(63)에 상응하는 영역임을 알 수 있다.
또한, 도 14에서도 알 수 있듯이, 도 14에 해당하는 오브젝트(예컨대, 미국 면허증)에 설정되는 대상영역 역시 도 12 및 도 13과 위치가 다름을 알 수 있다. 또한 도 14에서는 면허증 번호 및 만료일이 같이 표시된 영역(60)이 대상영역으로 설정될 수 있다. 또한 이름(61) 및 생년월일(62)에 해당하는 영역이 각각 대상영역으로 설정될 수 있다.
이외에도 다양한 방식으로 행정구역별로 인식대상 오브젝트를 인식할 상대적 위치에 상응하는 대상영역이 다양하게 설정될 수 있으며, 실시 예에 따라 인식대상 오브젝트 즉 인식할 정보 역시 다양하게 설정될 수 있다.
결국 본 발명의 기술적 사상에 의하면 행정구역별로 오브젝트(예컨대, 미국 면허증)의 형식이 다른 경우가 존재하는 경우, 행정구역을 먼저 특정하고 특정한 행정구역에 따라 인식대상 오브젝트가 표시된 위치에 대해서 선택적으로 인식을 수행함으로써 높은 인식성능을 획득할 수 있는 효과가 있다.
본 발명의 실시 예에 따른 오브젝트 인식방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

  1. 행정구역들별로 서로 다른 형식을 가지는 오브젝트를 인식하기 위한 방법에 있어서,
    오브젝트 인식시스템이 오브젝트가 표시된 이미지에 기초하여 상기 오브젝트에서 미리 정의된 행정구역 표시영역에 대한 인식을 수행하여 상기 오브젝트에 상응하는 대상 행정구역을 판단하는 단계;
    상기 오브젝트 인식시스템이 판단한 상기 대상 행정구역에 기초하여, 상기 오브젝트 내에서 상기 대상 행정구역별로 서로 다른 상대적 위치를 가지며 인식할 인식대상 오브젝트가 표시된 상기 오브젝트내의 일부 영역인 대상영역을 특정하는 단계; 및
    상기 오브젝트 인식시스템이 판단된 상기 대상영역에 표시된 상기 인식대상 오브젝트의 인식을 수행하는 단계를 포함하는 행정구역별 오브젝트 인식방법.
  2. 삭제
  3. 제1항에 있어서, 상기 행정구역별 오브젝트 인식방법은,
    상기 오브젝트의 외곽선을 특정하는 단계를 더 포함하며,
    상기 오브젝트 인식시스템은 특정한 상기 오브젝트의 외곽선에 기초하여 상기 대상 행정구역을 판단하거나 상기 대상영역의 상대적 위치를 판단하는 것을 특징으로 하는 행정구역별 오브젝트 인식방법.
  4. 제3항에 있어서, 상기 오브젝트의 외곽선을 특정하는 단계는,
    상기 이미지로부터 선분들을 추출하는 단계;
    추출된 선분들 각각의 방향성에 기초하여 병합선분들을 생성하는 단계;
    생성한 병합선분들을 포함하는 선분 세트에 기초하여 상기 오브젝트의 외곽선들에 상응하는 후보 외곽선들을 특정하는 단계; 및
    특정한 후보 외곽선들이 상기 오브젝트의 외형속성에 상응하는지 여부에 기초하여 상기 후보 외곽선들을 상기 오브젝트의 외곽선들로 특정하는 단계를 포함하는 행정구역별 오브젝트 인식방법.
  5. 제1항에 있어서, 상기 오브젝트 인식시스템이 판단된 상기 상대적 위치에 표시된 상기 인식대상 오브젝트의 인식을 수행하는 단계는,
    상기 상대적 위치에 상응하는 상기 대상영역에 대해,
    a)상기 대상영역의 일부에 이진화 영역 및 상기 이진화 영역을 포함하며 상기 이진화 영역보다 일정 비율 넓은 영역을 가지는 계수 연산영역을 설정하는 단계;
    b)상기 계수 연산영역에 포함된 픽셀들의 픽셀 값들에 기초하여 이진화 계수를 결정하는 단계; 및
    c)결정된 상기 이진화 계수를 통해 상기 이진화 영역에 대한 이진화를 수행하는 단계; 및
    d)상기 대상영역의 타영역에 대해 상기 이진화 영역을 이동하여 상기 a),b)c)단계를 재수행하는 단계를 포함하며,
    수행한 이진화 결과에 기초하여 상기 인식대상 오브젝트의 인식을 수행하는 행정구역별 오브젝트 인식방법.
  6. 데이터 처리장치 설치되며 제1항, 제3항 내지 제5항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체.
  7. 행정구역들별로 서로 다른 형식을 가지는 오브젝트를 인식하기 위한 오브젝트 인식시스템에 있어서,
    오브젝트에서 미리 정의된 행정구역 표시영역에 대한 인식을 수행하여 상기 오브젝트에 상응하는 대상 행정구역을 인식하고, 상기 오브젝트에 상응하는 대상 행정구역별로 상기 오브젝트 내에서 서로 다른 상대적 위치를 가지며 인식할 인식대상 오브젝트가 표시된 상기 오브젝트내의 일부 영역인 대상영역을 특정하기 위한 제어모듈; 및
    판단된 상기 상대적 위치에 표시된 상기 인식대상 오브젝트의 인식을 수행하기 위한 인식모듈을 포함하는 오브젝트 인식시스템.
  8. 삭제
  9. 제7항에 있어서, 상기 오브젝트 인식시스템은,
    상기 오브젝트의 외곽선을 특정하기 위한 검출모듈을 더 포함하며,
    상기 제어모듈은,
    특정한 상기 오브젝트의 외곽선에 기초하여 상기 대상 행정구역을 판단하거나 상기 상대적 위치를 판단하는 것을 특징으로 하는 행정구역별 오브젝트 인식시스템.
  10. 제9항에 있어서, 상기 검출모듈은,
    이미지로부터 선분들을 추출하고, 추출된 선분들 각각의 방향성에 기초하여 병합선분들을 생성하며, 생성한 병합선분들을 포함하는 선분 세트에 기초하여 상기 오브젝트의 외곽선들에 상응하는 후보 외곽선들을 특정하고, 특정한 후보 외곽선들이 상기 오브젝트의 외형속성에 상응하는지 여부에 기초하여 상기 후보 외곽선들을 상기 오브젝트의 외곽선들로 특정하는 오브젝트 인식시스템.
  11. 제7항에 있어서, 상기 인식모듈은,
    상기 상대적 위치에 상응하는 대상영역에 대해, 상기 대상영역의 일부에 이진화 영역 및 상기 이진화 영역을 포함하며 상기 이진화 영역보다 일정 비율 넓은 영역을 가지는 계수 연산영역을 설정하고, 상기 계수 연산영역에 포함된 픽셀들의 픽셀 값들에 기초하여 이진화 계수를 결정하며, 결정된 상기 이진화 계수를 통해 상기 이진화 영역에 대한 이진화를 수행하는 과정을 상기 대상영역 내의 타영역으로 이진화 영역을 이동하면서 수행하고, 수행한 이진화 결과에 기초하여 상기 인식대상 오브젝트의 인식을 수행하는 오브젝트 인식시스템.
KR1020190055480A 2019-05-13 2019-05-13 행정구역별 오브젝트 인식방법 및 그 시스템 KR102239564B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190055480A KR102239564B1 (ko) 2019-05-13 2019-05-13 행정구역별 오브젝트 인식방법 및 그 시스템
US15/930,682 US20200364487A1 (en) 2019-05-13 2020-05-13 Method of recognizing object for each administrative district, and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190055480A KR102239564B1 (ko) 2019-05-13 2019-05-13 행정구역별 오브젝트 인식방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20200131368A KR20200131368A (ko) 2020-11-24
KR102239564B1 true KR102239564B1 (ko) 2021-04-14

Family

ID=73228664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190055480A KR102239564B1 (ko) 2019-05-13 2019-05-13 행정구역별 오브젝트 인식방법 및 그 시스템

Country Status (2)

Country Link
US (1) US20200364487A1 (ko)
KR (1) KR102239564B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602174B1 (ko) * 2021-03-11 2023-11-14 주식회사 한글과컴퓨터 전자 문서에 개체로 삽입된 인장 이미지의 이상 여부에 대한 검증을 수행할 수 있는 인장 이미지 검증 서버 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636827B1 (ko) * 2015-04-30 2016-07-07 주식회사 대영산전 차량 번호 인식시스템
KR101851492B1 (ko) * 2017-01-23 2018-04-23 건국대학교 산학협력단 번호판 인식 방법 및 번호판 인식 장치
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9095152B2 (en) 2012-09-12 2015-08-04 Munger Bros., LLC Method for disinfecting, sanitizing, and packaging ready-to-eat produce
KR102609648B1 (ko) * 2016-02-19 2023-12-05 대전대학교 산학협력단 명함 인식 장치 및 이에 의한 명함 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636827B1 (ko) * 2015-04-30 2016-07-07 주식회사 대영산전 차량 번호 인식시스템
KR101851492B1 (ko) * 2017-01-23 2018-04-23 건국대학교 산학협력단 번호판 인식 방법 및 번호판 인식 장치
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법

Also Published As

Publication number Publication date
US20200364487A1 (en) 2020-11-19
KR20200131368A (ko) 2020-11-24

Similar Documents

Publication Publication Date Title
KR102226845B1 (ko) 지역적 이진화를 이용한 오브젝트 인식 시스템 및 그 방법
JP4822766B2 (ja) 路面標示認識装置及びシステム
US9053361B2 (en) Identifying regions of text to merge in a natural image or video frame
US9171204B2 (en) Method of perspective correction for devanagari text
US9076056B2 (en) Text detection in natural images
US7813553B2 (en) Image region detection method, recording medium, and device therefor
KR102226843B1 (ko) 오브젝트 검출 시스템 및 그 방법
KR101809543B1 (ko) 비접촉식 지문 인식하는 방법 및 이를 수행하기 위한 전자 기기
JP2012234494A (ja) 画像処理装置、画像処理方法、及びプログラム
US7489832B2 (en) Imaging apparatus, image processing method for imaging apparatus and recording medium
JP2019159606A (ja) 区画線認識装置
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
JP5171421B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
KR102239564B1 (ko) 행정구역별 오브젝트 인식방법 및 그 시스템
JP5004082B2 (ja) 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置
JPH08190690A (ja) ナンバープレート決定方法
JP2868134B2 (ja) 画像処理方法及び装置
JP4078045B2 (ja) 画像処理装置、方法、プログラム、及び記憶媒体
JP2006252491A (ja) 画像識別用タグ及び画像識別システム
JPH0573718A (ja) 領域属性識別方式
CN115359375A (zh) 目标地图的构建方法、装置、计算机设备及可读存储介质
JP2015032213A (ja) 情報処理装置、方法、及びプログラム
JPH0757047A (ja) 文字切出し方式
JP2006059384A (ja) 罫線除去方法
JPH11232386A (ja) 画像処理方法および記録媒体

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant