KR20170061628A

KR20170061628A - 영역 추출 방법, 모델 트레이닝 방법 및 장치

Info

Publication number: KR20170061628A
Application number: KR1020167005383A
Authority: KR
Inventors: 페이 롱; 타오 장; 지준 천
Original assignee: 시아오미 아이엔씨.
Priority date: 2015-10-30
Filing date: 2015-12-29
Publication date: 2017-06-05
Also published as: EP3163509A1; CN105528607A; MX2016003753A; JP2018503201A; KR101763891B1; WO2017071064A1; US20170124719A1; RU2016110914A; CN105528607B

Abstract

본 발명은 영역 추출 방법, 모델 트레이닝 방법 및 장치를 개시하며, 이미지 처리 기술 분야에 속한다. 상기 영역 추출 방법은, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하는 단계 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 와; 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하는 단계와; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하는 단계를 포함하며, 숫자 영역 추출 방법에서의 숫자의 크기와 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델을 통하여 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하고 분할 추출하는 효과를 달성할 수 있다.

Description

영역 추출 방법, 모델 트레이닝 방법 및 장치{METHOD FOR REGION EXTRACTION, METHOD FOR MODEL TRAINING, AND DEVICES THEREOF}

본 출원은 2015년 10월 30일 출원되고, 중국 출원번호 201510727932.0 인 중국 특허 출원을 기초로 제출한 것이며 당해 우선권을 주장하고, 당해 중국 특허 출원의 모든 내용은 참조로서 본 출원에 포함된다.

본 발명은 이미지 처리 기술 분야에 관한 것이고, 보다 구체적으로는 영역 추출 방법, 모델 트레이닝 방법 및 장치에 관한 것이다.

숫자 영역 추출은 이미지에서 숫자 영역을 추출하는 기술이다.

관련기술에서의 숫자에 관한 영역 추출 방법에 있어서, 일반적으로 이미지에서만 소정의 크기와 소정의 자리수의 숫자가 존재하는 영역을 인식할 수 있고, 이미지에서의 숫자의 글꼴 모양이 상이하거나 또는 글꼴 크기가 상이하거나 또는 숫자의 자리수가 상이한 경우, 이미지에서 효과적으로 숫자 영역을 추출하기 어렵다.

관련기술에 존재하는 문제점을 해결하기 위하여, 본 발명은 영역 추출 방법, 모델 트레이닝 방법 및 장치를 제공한다.

본 발명의 실시예의 제1 양태에 의하면,

분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하는 단계 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 와;

인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하는 단계와;

숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하는 단계를 포함하는 영역 추출 방법을 제공한다.

일 선택가능한 실시예에 있어서, 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하는 단계는,

미리 설정한 윈도우를 사용하여 소정의 윈도우 스위핑 전략 (sweeping-window strategy) 에 의해 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출하는 단계와;

후보 윈도우 영역의 이미지 특징을 인식 모델에 입력하고 분류하여, 분류 결과를 획득하는 단계와;

분류 결과가 플러스 결과인 경우, 후보 윈도우 영역을 숫자 영역으로 인식하는 단계를 포함한다.

일 선택가능한 실시예에 있어서, 숫자 영역은 적어도 2개이고, 상술한 방법은, 교차 영역이 존재하는 n개의 숫자 영역을 검출하는 단계와; 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 병합한 후의 숫자 영역을 획득하는 단계를 더 포함한다.

일 선택가능한 실시예에 있어서, 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 병합한 후의 숫자 영역을 획득하는 단계는, 교차 영역이 존재하는 n개의 숫자 영역 사이의 상단 가장자리와 하단 가장자리가 겹칠 때, n개의 숫자 영역의 n개의 좌측 가장자리 중의 가장 좌측에 위치하는 좌측 가장자리를, 병합한 후의 좌측 가장자리로 결정하는 단계와; n개의 숫자 영역의 n개의 우측 가장자리 중의 가장 우측에 위치하는 우측 가장자리를, 병합한 후의 우측 가장자리로 결정하는 단계와; 상단 가장자리, 하단 가장자리, 병합한 후의 좌측 가장자리, 병합한 후의 우측 가장자리에 의해, 병합한 후의 숫자 영역을 획득하는 단계를 포함한다.

일 선택가능한 실시예에 있어서, 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하는 단계는, 숫자 영역에 대한 이진화 (Binaryzation)를 수행하여, 이진화한 후의 숫자 영역을 획득하는 단계와; 이진화한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하는 단계 - 상기 히스토그램은 각 열의 화소점의 가로 좌표와 각 열의 화소점 중의 전경색 화소점의 누계치를 포함함 - 와; 연속 열 집합에 의해 n개의 단일 숫자 영역을 인식하여 획득하는 단계 - 상기 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정한 임계값보다 큰 열로 구성됨 - 를 포함한다.

본 발명의 실시예의 제2 양태에 의하면, 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하는 단계 - 상기 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 상기 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 와; 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득하는 단계를 포함하는 모델 트레이닝 방법을 제공한다.

일 선택가능한 실시예에 있어서, 분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득하는 단계는, 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 추출하는 단계와; 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨 (Label)을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 초기 모델에 입력하여, 인식 모델을 획득하는 단계를 포함한다.

일 선택가능한 실시예에 있어서, 분류 알고리즘은 Adaboost, 서포트 벡터 머신 (SVM), 인공신경망, 유전 알고리즘, 나이브 베이즈 (Naive Bayes), 의사결정 트리 (Decision Trees), K-최근접 이웃 (KNN) 알고리즘 중의 적어도 하나를 포함한다.

본 발명의 실시예의 제3 양태에 의하면, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하도록 구성된 획득 모듈 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 과; 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하는 인식 모듈과; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하는 분할 모듈을 포함하는 영역 추출 장치를 제공한다.

일 선택가능한 실시예에 있어서, 인식 모듈은, 미리 설정한 윈도우를 사용하여 소정의 윈도우 스위핑 전략에 의해 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출하는 윈도우 스위핑 서브 모듈과; 후보 윈도우 영역의 이미지 특징을 인식 모델에 입력하고 분류하여, 분류 결과를 획득하는 분류 서브 모듈과; 분류 결과가 플러스 결과인 경우, 후보 윈도우 영역을 숫자 영역으로 인식하는 확인 서브 모듈을 포함한다.

일 선택가능한 실시예에 있어서, 숫자 영역은 적어도 2개이고, 상술한 장치는, 교차 영역이 존재하는 n개의 숫자 영역을 검출하는 검출 모듈과; 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 병합한 후의 숫자 영역을 획득하는 병합 모듈을 더 포함한다.

일 선택가능한 실시예에 있어서, 병합 모듈은, 교차 영역이 존재하는 n개의 숫자 영역 사이의 상단 가장자리와 하단 가장자리가 겹칠 때, n개의 숫자 영역의 n개의 좌측 가장자리 중의 가장 좌측에 위치하는 좌측 가장자리를, 병합한 후의 좌측 가장자리로 결정하는 제1 결정 서브 모듈과; n개의 숫자 영역의 n개의 우측 가장자리 중의 가장 우측에 위치하는 우측 가장자리를, 병합한 후의 우측 가장자리로 결정하는 제2 결정 서브 모듈과; 상단 가장자리, 하단 가장자리, 병합한 후의 좌측 가장자리, 병합한 후의 우측 가장자리에 의해, 병합한 후의 숫자 영역을 획득하는 제3 결정 서브 모듈을 포함한다.

일 선택가능한 실시예에 있어서, 분할 모듈은, 숫자 영역에 대한 이진화를 수행하여, 이진화한 후의 숫자 영역을 획득하는 이진화 서브 모듈과; 이진화한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하는 계산 서브 모듈 - 상기 히스토그램은 각 열의 화소점의 가로 좌표와 각 열의 화소점 중의 전경색 화소점의 누계치를 포함함 - 와; 연속 열 집합에 의해 n개의 단일 숫자 영역을 인식하여 획득하는 숫자 인식 서브 모듈 - 상기 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정한 임계값보다 큰 열로 구성됨 - 을 포함한다.

본 발명의 실시예의 제4 양태에 의하면, 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하도록 구성된 샘플 획득 모듈 - 상기 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 상기 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 과; 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득하는 트레이닝 모듈을 포함하는 모델 트레이닝 장치를 제공한다.

일 선택가능한 실시예에 있어서, 트레이닝 모듈은, 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 추출하는 추출 서브 모듈과; 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 초기 모델에 입력하여, 인식 모델을 획득하는 입력 서브 모듈을 포함한다.

일 선택가능한 실시예에 있어서, 분류 알고리즘은 Adaboost, 서포트 벡터 머신 (SVM), 인공신경망, 유전 알고리즘, 나이브 베이즈, 의사결정 트리, K-최근접 이웃 (KNN) 알고리즘 중의 적어도 하나를 포함한다.

본 발명의 실시예의 제5 양태에 의하면, 프로세서 및 상기 프로세서에서 수행가능한 명령어를 기억하는 메모리를 포함하고, 상기 프로세서는, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - ; 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하며; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일숫자 영역을 획득하도록 구성되는 영역 추출 장치를 제공한다.

본 발명의 실시예의 제6 양태에 의하면, 프로세서 및 상기 프로세서에서 수행가능한 명령어를 기억하는 메모리를 포함하고, 상기 프로세서는, 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하고 - 상기 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 상기 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - ; 분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여, 인식 모델을 획득하도록 구성되는 모델 트레이닝 장치를 제공한다.

본 발명의 실시예에 의한 기술적 해결수단은 아래의 유익한 효과를 포함할 수 있다.

분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - ; 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하며; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득함으로써, 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델을 통하여 이미지 중의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하고 분할 추출하는 효과를 달성할 수 있다.

이상의 일반적인 설명과 후술할 세부사항에 대한 설명은 단지 예시적인 것에 불과하고, 본 발명을 한정하는 것이 아님은 이해되어야 할 부분이다.

여기서 도면은 명세서에 편입되어 본 명세서의 일부를 구성하고, 본 발명에 적합한 실시예를 도시하고 있으며, 명세서와 함께 본 발명의 원리를 해석하는데 사용된다.
도1은 예시적 일 실시예에 따른 모델 트레이닝 방법의 흐름도이다.
도2는 예시적 일 실시예에 따른 영역 추출 방법의 흐름도이다.
도3a는 다른 예시적 일 실시예에 따른 모델 트레이닝 방법의 흐름도이다.
도3b는 예시적 일 실시예에 따른 초기 샘플 이미지를 도시한 도면이다.
도3c는 예시적 일 실시예에 따른 플러스 샘플 이미지를 도시한 도면이다.
도3d는 예시적 일 실시예에 따른 마이너스 샘플 이미지를 도시한 도면이다.
도4는 다른 예시적 일 실시예에 따른 영역 추출 방법의 흐름도이다.
도5는 다른 예시적 일 실시예에 따른 영역 추출 방법의 흐름도이다.
도6a는 다른 예시적 일 실시예에 따른 영역 추출 방법의 흐름도이다.
도6b는 예시적 일 실시예에 따른 영역의 좌측 가장자리를 도시한 도면이다.
도6c는 예시적 일 실시예에 따른 영역의 우측 가장자리를 도시한 도면이다.
도6d는 예시적 일 실시예에 따른 영역 추출을 도시한 도면이다.
도7a는 다른 예시적 일 실시예에 따른 영역 추출 방법의 흐름도이다.
도7b는 예시적 일 실시예에 따른 영역의 이진화를 도시한 도면이다.
도7c는 예시적 일 실시예에 따른 영역을 이진화한 히스토그램을 도시한 도면이다.
도7d는 예시적 일 실시예에 따른 영역을 이진화한 연속 열 집합을 도시한 도면이다.
도8은 예시적 일 실시예에 따른 영역 추출 장치의 블록도이다.
도9는 다른 예시적 일 실시예에 따른 영역 추출 장치의 블록도이다.
도10은 다른 예시적 일 실시예에 따른 영역 추출 장치의 블록도이다.
도11은 다른 예시적 일 실시예에 따른 영역 추출 장치의 블록도이다.
도12는 예시적 일 실시예에 따른 모델 트레이닝 장치의 블록도이다.
도13은 다른 예시적 일 실시예에 따른 모델 트레이닝 장치의 블록도이다.
도14는 예시적 일 실시예에 따른 영역 추출 장치의 블록도이다.

이하, 첨부된 도면을 참조하여 예시적 실시예에 대하여 상세히 설명한다. 아래의 설명이 도면에 관계되는 경우, 별도의 표시가 없는 한, 상이한 도면 중의 동일한 숫자는 동일 또는 유사한 요소를 표시한다. 아래의 예시적 실시예에 설명되는 실시 형태는 본 발명과 일치한 모든 실시 형태를 대표하지 않는다. 반대로, 그들은 첨부된 특허청구범위에 상세히 설명된 본 발명의 일부와 일치한 장치 및 방법의 예시일 뿐이다.

본 발명의 실시예는 인식 모델을 트레이닝하는 제1 과정 및 인식 모델에 의해 인식하는 제2 과정을 포함한다. 당해 두 과정은 동일한 단말기에 의해 실현될 수 있고, 제1 단말기에 의해 제1 과정을 수행하고, 제2 단말기에 의해 제2 과정을 수행할 수도 있다. 본 발명은 이를 한정하지 않는다. 아래, 서로 다른 실시예를 이용하여 제1 과정 및 제2 과정을 각각 설명한다.

도1은 예시적 일 실시예에 따른 모델 트레이닝 방법의 흐름도이고, 당해 모델 트레이닝 방법은 아래의 단계를 포함한다.

단계101에 있어서, 소정의 샘플 이미지를 획득하고, 소정의 샘플 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하고, 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함한다.

단계102에 있어서, 분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득한다.

상술한 바와 같이, 본 발명의 실시예에 따른 모델 트레이닝 방법은, 소정의 샘플 이미지를 획득하고 - 소정의 샘플 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하고, 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 마이너스 샘플 이미지는 및 0개의 숫자 또는 불완전 숫자를 포함함 - ; 분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여, 인식 모델을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 당해 트레이닝 과정에서 획득한 인식 모델에 대하여, 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하는 효과를 달성할 수 있다.

도2는 예시적 일 실시예에 따른 영역 추출 방법의 흐름도이고, 당해 영역 추출 방법은 아래의 단계를 포함한다.

단계201에 있어서, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고, 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함한다.

단계202에 있어서, 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득한다.

단계203에 있어서, 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득한다.

상술한 바와 같이, 본 발명의 실시예에 따른 영역 추출 방법은, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함 - ; 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하며; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델에 의하여 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하고 분할 추출하는 효과를 달성할 수 있다.

도3a는 다른 예시적 일 실시예에 따른 모델 트레이닝 방법의 흐름도이고, 당해 모델 트레이닝 방법은 아래의 단계를 포함한다.

단계301에 있어서, 소정의 샘플 이미지를 획득하고, 소정의 샘플 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하고, 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함한다;

이미지 데이터베이스 또는 직접 촬영하여 획득한 이미지에서 소정의 샘플 이미지를 선택하고, 소정의 샘플 이미지는 인식 모델에 사용되는 이미지를 가리키고, 소정의 샘플 이미지는 플러스 샘플 이미지 및 마이너스 샘플 이미지를 포함한다. 당해 플러스 샘플 이미지는 단일 숫자를 포함하는 숫자 이미지일 수도 있고, 단일 행을 포함하고 숫자의 수량이 한정되지 않는 숫자 이미지일 수도 있다. 플러스 샘플 이미지에서의 숫자는 글꼴 크기, 글꼴 모양 및 숫자 자리수에 대해 한정하지 않고, 아울러, 플러스 샘플 이미지에서 숫자 이미지의 수량에 대해 한정하지 않는다. 마이너스 샘플 이미지은 0개의 숫자를 포함하는 이미지일 수도 있고, 일부의 불완전한 숫자를 포함하는 이미지일 수도 있다.

플러스 샘플 이미지는 동일한 이미지에서 하나 또는 복수 개의 숫자 영역을 트리밍 (Trimming)하여 형성한 이미지일 수도 있고; 마이너스 샘플 이미지는 동일한 이미지에서 숫자 영역 부근의 혼동하기 쉬운 영역을 트리밍하여 형성한 이미지, 동일한 폭의 이미지에서 일부분의 숫자만을 트리밍하여 형성한 이미지 또는 동일한 폭의 이미지에서 기타 영역을 트리밍하여 형성한 이미지일 수도 있고, 도3b에 도시한 도면은 한 폭의 이미지의 원도 (original drawing)이고; 도3c는 도3b의 원도에서 트리밍하여 형성한 플러스 샘플 이미지이며; 도3d는 도3b의 원도에서 트리밍하여 형성한 마이너스 샘플 이미지이다.

단계302에 있어서, 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 추출한다.

플러스 샘플 이미지 및 마이너스 샘플 이미지를 획득한 후, 각각 플러스 샘플 이미지 및 마이너스 샘플 이미지에 대한 특징 추출을 수행하여, 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 획득한다.

단계303에 있어서, 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 초기 모델에 입력하여, 인식 모델을 획득한다.

획득한 플러스 샘플 이미지의 이미지 특징을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 아울러 플러스 샘플 이미지에 대응하는 플러스 결과의 제1 라벨도 초기 모델에 입력한다. 예를 들면, 플러스 결과를 표시하는 제1 라벨을 1 로 설정한다.

획득한 마이너스 샘플 이미지의 이미지 특징을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 아울러 마이너스 샘플 이미지에 대응하는 마이너스 결과의 제2 라벨도 초기 모델에 입력한다. 예를 들면, 마이너스 결과를 표시하는 제2 라벨을 -1 로 설정한다.

그 중, 분류 알고리즘은 Adaboost, SVM (Support Vector Machine, 서포트 벡터 머신), 인공신경망, 유전 알고리즘, 나이브 베이즈, 의사결정 트리, KNN (k-Nearest Neighbor, k-최근접 이웃) 알고리즘 중의 적어도 하나를 포함한다.

예를 들면, 초기의 플러스 샘플 이미지는 256*256 화소점이고, 초기의 플러스 샘플 이미지에 대해 haar 특징의 추출을 수행하고, 각 폭의 플러스 샘플 이미지는 하나의 haar 특징을 획득할 수 있으며, 모든 플러스 샘플 이미지에서 추출된 이미지 특징을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 마찬가지로, 마이너스 샘플 이미지에서 추출된 이미지 특징을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하며, 트레이닝을 경과한 후, 인식 모델을 획득한다.

상술한 바와 같이, 본 발명의 실시예에 따른 모델 트레이닝 방법은, 소정의 샘플 이미지를 획득하고 - 소정의 샘플 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하고, 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 마이너스 샘플 이미지는 및 0개의 숫자 또는 불완전 숫자를 포함함 - ; 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 추출하며; 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 초기 모델에 입력하여, 인식 모델을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델에 의해 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하는 효과를 달성할 수 있다.

도4는 다른 예시적 일 실시예에 따른 영역 추출 방법의 흐름도이고, 당해 영역 추출 방법은 아래의 단계를 포함한다.

단계401에 있어서, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고, 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함한다.

인식 모델을 획득하고, 당해 인식 모델은 도3에 도시한 실시예에서 분류 알고리즘에 의해 구축한 초기 모델을 사용하여 플러스 샘플 이미지 및 마이너스 샘플 이미지에 대한 트레이닝을 수행하여 획득한 모델이다.

단계402에 있어서, 미리 설정한 윈도우를 사용하여 소정의 윈도우 스위핑 전략에 의해 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출한다.

인식 모델을 획득한 후, 고정된 크기의 미리 설정된 윈도우를 설치하며, 미리 설정된 윈도우를 이용하여 소정의 윈도우 스위핑 전략에 의해 인식하고자 하는 이미지에 대한 윈도우 스와핑을 수행하고; 윈도우 스와핑 후에 인식하고자 하는 이미지에서 복수 개의 숫자 영역의 후보 윈도우 영역을 추출한다.

당해 소정의 윈도우 스와핑 전략은 위로부터 아래로, 좌측으로부터 우측으로의 순서에 따라 인식하고자 하는 이미지에 대해 차례로 윈도우 스와핑을 수행하는 단계를 포함할 수 있다.

당해 소정의 윈도우 스와핑 전략은 동일한 폭의 인식하고자 하는 이미지에 대해 서로 다른 크기의 미리 설정된 윈도우로 여러차례 윈도우 스와핑을 수행하는 단계를 포함할 수 있다.

당해 소정의 윈도우 스와핑 전략은, 고정된 크기의 미리 설정된 윈도우를 이용하여 인식하고자 하는 이미지에 대해 윈도우 스와핑을 수행하는 경우, 미리 설정된 윈도우가 인접한 2회의 이동 과정에서 서로 겹치는 영역이 존재하는 것을 포함할 수 있다.

예를 들면, 미리 설정된 윈도우의 크기가 16*16 화소점인 경우, 인식하고자 하는 이미지의 크기는 256*256 화소점이고, 16*16 화소점의 미리 설정된 윈도우를 인식하고자 하는 이미지의 좌측 위에서부터, 소정의 윈도우 스와핑 전략에 따라 위로부터 아래로, 좌측으로부터 우측으로의 순서에 따라 차례로 인식하고자 하는 이미지의 각 화소점에 대해 윈도우 스와핑을 수행하고, 소정의 윈도우가 좌측으로부터 우측으로 이동하는 과정에서, 인접하는 2회의 이동과정의 소정의 윈도우에는 서로 겹친 영역이 존재한다.

단계403에 있어서, 후보 윈도우 영역의 이미지 특징을 인식 모델에 입력하고 분류하여, 분류 결과를 획득한다.

단계402에서 획득한 후보 윈도우 영역에 대해 이미지 특징 추출을 수행하고, 이미지 특징의 추출은 도3a에 도시된 실시예에서 인식 모델 중의 이미지 특징 추출과 동일하다. 후보 윈도우 영역에서 추출된 이미지 특징을 도3a에 도시된 실시예에서 획득한 인식모듈에 입력하여 분류하고, 인식 모델에 의해 후보 윈도우 영역에서 추출된 이미지 특징과 인식 모델에서의 템플릿에 대한 매칭을 수행하며, 당해 후보 윈도우 영역이 숫자 영역인지 여부를 검출한다. 인식 모델에 의해 후보 윈도우 영역에서의 이미지 특징을 검출하여, 후보 윈도우 영역에서의 숫자 영역을 인식한다.

단계404에 있어서, 분류 결과가 플러스 결과인 경우, 후보 윈도우 영역을 숫자 영역으로 인식한다.

인식 모델을 분류한 후, 획득한 분류 결과가 플러스 결과인 경우, 후보 윈도우 영역을 숫자 영역으로 인식한다. 플러스 결과는, 당해 후보 윈도우 영역이 플러스 샘플 이미지에 대한 트레이닝을 수행하여 획득한 모델에 속함을 가리킨다.

인식 모델에서 플러스 결과를 표시하는 제1 라벨에 의해, 당해 후보 윈도우 영역을 분류하는 경우, 분류 결과가 플러스 결과일 때, 분류한 후에 당해 후보 윈도우 영역에 제1 라벨을 표기한다.

단계405에 있어서, 분류 결과가 마이너스 결과인 경우, 후보 윈도우 영역을 비 숫자 영역으로 인식한다.

인식 모델이 분류된 후, 획득된 분류 결과가 마이너스 결과인 경우, 후보 윈도우 영역을 비숫자 영역으로 인식한다. 마이너스 결과는, 당해 후보 윈도우 영역이 마이너스 샘플 이미지에 대한 트레이닝을 수행하여 획득한 모델에 속함을 가리킨다.

인식 모델에서 마이너스 결과를 표시하는 제2 라벨에 의해, 당해 후보 윈도우 영역을 분류하는 경우, 분류 결과가 마이너스 결과일 때, 분류한 후에 당해 후보 윈도우 영역에 제2 라벨을 표기한다.

단계406에 있어서, 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득한다.

인식 모델을 분류한 후, 분류 결과가 플러스 결과인 후보 윈도우 영역에 대한 영역 분할을 수행하여, 당해 후보 윈도우 영역에서의 단일 숫자 영역을 획득하고, 그 중, 당해 후보 윈도우 영역에는 적어도 하나의 단일 숫자 영역이 포함된다.

상술한 바와 같이, 본 발명의 실시예에 따른 영역 추출 방법은, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함 -; 미리 설정된 윈도우를 사용하여 소정 윈도우 스와핑 전략에 의해 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출하며; 후보 윈도우 영역의 이미지 특징을 인식 모델에 입력하여 분류하고, 분류 결과를 획득하고; 분류 결과가 플러스 결과인 경우, 후보 윈도우 영역을 숫자 영역으로 인식하며; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델에 의해 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하고 분할 추출하는 효과를 달성할 수 있다.

후보 윈도우 영역에 대한 인식에서 획득한 숫자 영역이 적어도 2개인 경우, 당해 적어도 2개의 숫자 영역 사이에는 교차 영역이 존재할 수 있고, 교차 영역이 존재하는 복수 개의 숫자 영역을 병합할 필요가 있다.

도4에 도시된 선택가능한 실시예에 기초하여, 도5에 도시한 바와 같이, 숫자 영역은 적어도 2개이고, 단계405 후에 아래의 단계를 더 포함할 수 있다.

단계501에 있어서, 교차 영역이 존재하는 n개의 숫자 영역을 검출한다.

숫자 영역이 적어도 2개인 경우, 간단한 규칙에 의하여 모든 숫자 영역에서 교차 영역이 존재하는 n개의 숫자 영역을 검출한다.

예를 들면, 숫자 영역에서 겹치는 수량를 검출하여 교차 영역이 존재하는 숫자 영역을 검출하거나, 또는, 숫자 영역에서 겹치는 영역의 상호 포함 관계에 의해 교차 영역이 존재하는 숫자 영역을 검출한다.

단계502에 있어서, 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 병합한 후의 숫자 영역을 획득한다.

교차 영역이 존재하는 n개의 숫자 영역을 검출한 후, 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 최종의 숫자 영역을 결정한다.

상술한 바와 같이, 본 실시예는 교차 영역이 존재하는 n개의 숫자 영역을 검출하고; 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 병합한 후의 숫자 영역을 획득함으로써; 최종적으로 결정한 숫자 영역을 더욱 정확하게 하고, 숫자 영역의 인식과 추출에 더욱 유리하다.

도5에 도시된 선택가능한 실시예에 기초하여, 도6a에 도시한 바와 같이, 단계502는 아래의 단계502a~단계502c로 대체할 수 있다.

교차 영역이 존재하는 n개의 숫자 영역 사이의 상단 가장자리와 하단 가장자리가 겹칠 때,

단계502a에 있어서, n개의 숫자 영역의 n개의 좌측 가장자리에서 가장 좌측에 위치하는 좌측 가장자리를, 병합한 후의 좌측 가장자리로 결정하고;

도6b에 도시한 바와 같이, n개의 숫자 영역이 하나의 행으로 배열되는 경우, n개의 숫자 영역의 n개의 좌측 가장자리를 획득하고, n개의 좌측 가장자리에서 가장 좌측에 위치하는 좌측 가장자리를 n개의 숫자 영역이 병합된 후의 좌측 가장자리m1로 결정한다.

단계502b에 있어서, n개의 숫자 영역의 n개의 우측 가장자리에서 가장 우측에 위치하는 우측 가장자리를, 병합한 후의 우측 가장자리로 결정하고;

도6c에 도시한 바와 같이, n개의 숫자 영역이 하나의 열로 배열되는 경우, n개의 숫자 영역의 n개의 우측 가장자리를 획득하고, n개의 우측 가장자리에서 가장 우측에 위치하는 우측 가장자리를 n개의 숫자 영역이 병합된 후의 우측 가장자리m2로 결정한다.

단계502c에 있어서, 상단 가장자리, 하단 가장자리, 병합한 후의 좌측 가장자리, 병합한 후의 우측 가장자리에 의해, 병합한 후의 숫자 영역을 획득한다.

도6d에 도시한 바와 같이, 상술한 단계에서 결정된 상단 가장자리, 하단 가장자리, 병합한 후의 좌측 가장자리, 병합한 후의 우측 가장자리에 의해, 제일 마지막에 병합된 숫자 영역을 획득한다.

상술한 바와 같이, 본 실시예는 n개의 숫자 영역의 n개의 좌측 가장자리에서 가장 좌측에 위치하는 좌측 가장자리를, 병합한 후의 좌측 가장자리로 결정하고; n개의 숫자 영역의 n개의 우측 가장자리에서 가장 우측에 위치하는 우측 가장자리를, 병합한 후의 우측 가장자리로 결정하며; 상단 가장자리, 하단 가장자리, 병합한 후의 좌측 가장자리, 병합한 후의 우측 가장자리에 의해, 병합한 후의 숫자 영역을 획득함으로써; 병합한 후의 숫자 영역을 더욱 정확하게 하고, 숫자 영역의 분할과 추출에 더욱 유리하다.

도6a에 도시된 선택가능한 실시예를 토대로, 도7a에 도시한 바와 같이, 단계406은 아래의 단계406a~단계406e로 대체할 수 있다.

단계406a에 있어서, 숫자 영역에 대한 이진화를 수행하여, 이진화 후의 숫자 영역을 획득하고;

단계502c에서 병합한 후의 숫자 영역에 의해, 당해 숫자 영역에 대한 전처리를 수행하며, 그 중, 전처리는 잡음 제거, 필터링, 가장자리 추출 등 동작을 포함할 수 있고; 전처리 후의 숫자 영역에 대한 이진화를 수행한다.

도7b에 도시한 바와 같이, 이진화란 숫자 영역 중의 화소점의 그레이 값과 미리 설정된 그레이 임계값을 비교하여, 숫자 영역 중의 화소점을 미리 설정된 그레이 임계값보다 큰 화소그룹과 미리 설정된 그레이 임계값보다 작은 화소그룹 두 부분으로 나누고, 두 부분의 화소그룹을 숫자 영역에서 각각 검은색과 흰색의 서로 다른 두 색채로 표현하여, 이진화한 후의 숫자 영역을 획득하는 것을 가리킨다. 전경에 위치하는 색채의 화소점을 전경색 화소점이라 하는바, 즉 도7b의 흰색 화소점이고; 배경에 위치하는 색채의 화소점을 배경색 화소점이라 하는데, 즉 도7b의 검은색 화소점이다.

단계406b에 있어서, 이진화 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하며, 히스토그램은 각 열의 화소점의 가로 좌표와 각 열의 화소점 중 전경색 화소점의 누계치를 포함한다.

도7c에 도시한 바와 같이, 이진화한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하고, 당해 히스토그램은 수평 방향에서 각 열의 화소점의 가로 좌표를 표시하고, 세로 방향에서 각 열의 화소점 중의 전경색 화소점의 수량의 누계치를 표시한다.

단계406c에 있어서, 연속 열 집합에 의해 n개의 단일 숫자 영역을 인식하여 획득하고, 당해 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정한 임계값보다 큰 열로 구성된다.

히스토그램에 의해 각 열의 화소점 중의 전경색 화소점의 누계치를 획득하고, 각 열의 화소점 중의 전경색 화소점의 누계치와 미리 설정된 임계값을 비교하여, 연속 열 집합을 단일 숫자 영역이 존재하는 열로 결정할 수 있으며, 당해 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정한 임계값보다 큰 열로 구성된다.

연속 열 집합이란, 전경색 화소점의 누계치가 미리 설정된 임계값보다 큰 열이 연속되는 p열이고, 당해 연속되는 p열 화소점으로 구성된 집합을 말하며, 도7d에 도시한 바와 같이, 연속 열 집합은 p이고, 즉 히스토그램에서 형성된 연속 흰색 영역이다. 도면에서의 p열 화소점에 있어서, 하측 히스토그램에 위치하는 전경색 화소점의 누계치는 모두 미리 설정된 임계값보다 크다. 당해 p열 화소점의 숫자 이미지에서 대응하는 숫자 영역은 [3]이다.

각 연속 열 집합은 하나의 숫자 영역으로 인식되고, n개의 연속 열 집합은 n개의 단일 숫자 영역으로 인식된다.

상술한 바와 같이, 본 실시예는 숫자 영역을 이진화하고, 이진화한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하며, 각 숫자에 대응하는 단일 숫자 영역을 인식함으로써, 숫자 영역에서 단일 숫자 영역을 인식하는 정확도를 향상시킬 수 있다.

아래 설명은 본 발명의 장치 실시예이고, 본 발명의 방법 실시예를 수행하는데 사용할 수 있다. 본 발명의 장치 실시예에 개시되지 않은 상세한 내용은, 본 발명의 방법 실시예에 대한 설명과 같다.

도8은 예시적 일 실시예에 따른 영역 추출 장치의 블록도이고, 도8에 도시한 바와 같이, 당해 영역 추출 장치는,

분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하도록 구성된 획득 모듈(810) - 당해 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 과;

인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하도록 구성된 인식 모듈(820)과;

숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하도록 구성된 분할 모듈(830)을 포함하지만 이에 한정되는 것이 아니다.

상술한 바와 같이, 본 발명의 실시예에 따른 영역 추출 장치는, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함 - ; 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하며; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델에 의해 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하고 분할하여 추출하는 효과를 달성할 수 있다.

도9는 다른 예시적 일 실시예에 따른 영역 추출 장치의 블록도이고, 도9에 도시한 바와 같이, 당해 영역 추출 장치는 아래의 모듈을 포함하지만 이에 한정되는 것이 아니다.

획득 모듈(810)은, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하도록 구성되고, 당해 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함한다.

획득 모듈(810)은 인식 모델을 획득하며, 당해 인식 모델은 분류 알고리즘에 의해 구축한 초기 모델을 사용하여 플러스 샘플 이미지 및 마이너스 샘플 이미지에 대한 트레이닝을 수행하여 획득한 모델이다.

인식 모듈(820)은, 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하도록 구성된다.

본 실시예에 있어서, 인식 모듈(820)은 아래의 서브 모듈을 더 포함한다.

윈도우 스와핑 서브 모듈(821)은, 미리 설정한 윈도우를 사용하여 소정의 윈도우 스와핑 전략에 의해 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출하도록 구성된다.

획득 모듈(810)에 의해 인식 모델을 획득한 후, 윈도우 스와핑 서브 모듈(821)은 고정된 크기의 미리 설정된 윈도우를 설치하고, 미리 설정된 윈도우를 이용하여 소정의 윈도우 스와핑 전략에 의해 인식하고자 하는 이미지에 대해 윈도우 스와핑을 수행하며; 윈도우 스와핑을 수행한 후에 인식하고자 하는 이미지에서 복수 개의 숫자 영역의 후보 윈도우 영역을 추출한다.

당해 소정의 윈도우 스와핑 전략은, 위로부터 아래로, 좌측으로부터 우측으로의 순서에 따라 인식하고자 하는 이미지에 대해 차례로 윈도우 스와핑을 수행하는 단계를 포함할 수 있다.

당해 소정의 윈도우 스와핑 전략은, 동일한 폭의 인식하고자 하는 이미지에 대해, 서로 다른 크기의 미리 설정된 윈도우로 여러차례 윈도우 스와핑을 수행하는 단계를 포함할 수 있다.

당해 소정의 윈도우 스와핑 전략은, 고정된 크기의 미리 설정된 윈도우를 이용하여 인식하고자 하는 이미지에 대해 윈도우 스와핑을 수행하는 경우, 미리 설정된 윈도우가 인접한 2회의 이동 과정에서, 서로 겹치는 영역이 존재하는 것을 포함할 수 있다.

분류 서브 모듈(822)은, 후보 윈도우 영역의 이미지 특징을 인식 모델에 입력하고 분류하여, 분류 결과를 획득하도록 구성된다.

윈도우 스와핑 서브 모듈(821)에 의하여 획득한 후보 윈도우 영역에 대하여 이미지 특징 추출을 수행한다. 후보 윈도우 영역에서 추출된 이미지 특징을 획득 모듈(810)에 의해 획득한 인식모듈에 입력하여 분류하고, 인식 모델은 후보 윈도우 영역에서 추출된 이미지 특징과 인식 모델에서의 템플릿에 대한 매칭을 수행하고, 당해 후보 윈도우 영역이 숫자 영역인지 여부를 검출한다. 분류 서브 모듈(822)은 인식 모델에 의해 후보 윈도우 영역에서의 이미지 특징을 검출하여, 후보 윈도우 영역에서의 숫자 영역을 인식한다.

확인 서브 모듈(823)은, 분류 결과가 플러스 결과인 경우, 후보 윈도우 영역을 숫자 영역으로 인식하도록 구성된다.

인식 모델에 의해 분류된 후, 획득한 분류 결과가 플러스 결과인 경우, 확인 서브 모듈(823)은 후보 윈도우 영역을 숫자 영역으로 인식한다. 플러스 결과란, 당해 후보 윈도우 영역이 플러스 샘플 이미지에 대한 트레이닝을 수행하여 획득한 모델에 속함을 가리킨다.

확인 서브 모듈(823)은, 또한 분류 결과가 마이너스 결과인 경우, 후보 윈도우 영역을 비숫자 영역으로 인식하도록 구성된다.

인식 모델에 의해 분류된 후, 획득한 분류 결과가 마이너스 결과인 경우, 확인 서브 모듈(823)은 후보 윈도우 영역을 비숫자 영역으로 인식한다. 마이너스 결과란 당해 후보 윈도우 영역이 마이너스 샘플 이미지에 대한 트레이닝을 수행하여 획득한 모델에 속함을 가리킨다.

분할 모듈(830)은, 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하도록 구성된다.

분할 모듈(830)은 확인 서브 모듈(823)에 의해 획득한 후보 윈도우 영역에 대한 영역 분할을 수행하여, 당해 후보 윈도우 영역에서의 단일 숫자 영역을 획득하고, 당해 후보 윈도우 영역에는 적어도 하나의 단일 숫자 영역이 포함된다.

상술한 바와 같이, 본 발명의 실시예에 따른 영역 추출 장치는, 분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함 - ; 미리 설정된 윈도우를 사용하여 소정 윈도우 스와핑 전략에 의해 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출하며; 후보 윈도우 영역의 이미지 특징을 인식 모델에 입력하고 분류하여, 분류 결과를 획득하고; 분류 결과가 플러스 결과인 경우, 후보 윈도우 영역을 숫자 영역으로 인식하며; 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델에 의해 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하고 분할하여 추출하는 효과를 달성할 수 있다.

도9에 도시된 선택가능한 실시예를 토대로, 도10에 도시한 바와 같이, 당해 장치는 아래의 모듈을 더 포함할 수 있다.

검출 모듈(1010)은, 교차 영역이 존재하는 n개의 당해 숫자 영역을 검출하도록 구성되고;

숫자 영역이 적어도 2개인 경우, 검출 모듈(1010)은 간단한 규칙에 따라 모든 숫자 영역에서 교차 영역이 존재하는 n개의 숫자 영역을 검출한다.

병합 모듈(1020)은, 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 병합한 후의 숫자 영역을 획득하도록 구성되며;

교차 영역이 존재하는 n개의 숫자 영역을 검출한 후, 병합 모듈(1020)은 교차 영역이 존재하는 n개의 숫자 영역을 병합하고, 최종의 숫자 영역을 결정한다.

일 선택가능한 실시형태로서, 병합 모듈(1020)은 아래의 서브 모듈을 포함할 수 있다.

제1 결정 서브 모듈(1021)은, n개의 숫자 영역의 n개의 좌측 가장자리에서 가장 좌측에 위치하는 좌측 가장자리를, 병합한 후의 좌측 가장자리로 결정하도록 구성되고;

n개의 숫자 영역이 하나의 행으로 배열되는 경우, n개의 숫자 영역의 n개의 좌측 가장자리를 획득하고, 제1 결정 서브 모듈(1021)은 n개의 좌측 가장자리에서 가장 좌측에 위치하는 좌측 가장자리를 n개의 숫자 영역이 병합한 후의 좌측 가장자리로 결정한다.

제2 결정 서브 모듈(1022)은, n개의 숫자 영역의 n개의 우측 가장자리에서 가장 우측에 위치하는 우측 가장자리를, 병합한 후의 우측 가장자리로 결정하도록 구성되고;

n개의 숫자 영역이 하나의 행으로 배열되는 경우, n개의 숫자 영역의 n개의 우측 가장자리를 획득하고, 제2 결정 서브 모듈(1022)은 n개의 우측 가장자리에서 가장 우측에 위치하는 우측 가장자리를 n개의 숫자 영역이 병합한 후의 우측 가장자리로 결정한다.

제3 결정 서브 모듈(1023)은, 상단 가장자리, 하단 가장자리, 병합한 후의 좌측 가장자리, 병합한 후의 우측 가장자리에 의해, 병합한 후의 숫자 영역을 획득하도록 구성된다.

제1 결정 서브 모듈(1021)과 제2 결정 서브 모듈(1022)에서 결정한 상단 가장자리, 하단 가장자리, 병합한 후의 좌측 가장자리, 병합한 후의 우측 가장자리에 의해, 제3 결정 서브 모듈(1023)은 마지막으로 병합한 후의 숫자 영역을 획득한다.

도8에 도시된 선택가능한 실시예를 토대로, 도11에 도시한 바와 같이, 분할 모듈(830)은 아래의 서브 모듈을 더 포함할 수 있다.

이진화 서브 모듈(831)은, 숫자 영역에 대한 이진화를 수행하여, 이진화 후의 숫자 영역을 획득하도록 구성되고;

제3 결정 서브 모듈(1023)에 의해 결정한 숫자 영역에 의해, 이진화 서브 모듈(831)은 당해 숫자 영역에 대한 전처리를 수행할 수 있고, 당해 전처리는 잡음 제거, 필터링, 가장자리 추출 등의 동작을 포함할 수 있고; 전처리 후의 숫자 영역에 대한 이진화를 수행한다.

이진화란 숫자 영역 중 화소점의 그레이 값과 미리 설정된 그레이 임계값을 비교하여, 숫자 영역 중 화소점을 미리 설정된 그레이 임계값보다 큰 화소그룹과 미리 설정된 그레이 임계값보다 작은 화소그룹 두 부분으로 나누고, 두 부분의 화소 그룹을 숫자 영역에서 각각 검은색과 흰색의 서로 다른 두가지 색으로 표현하며, 이진화한 후의 숫자 영역을 획득하는 것을 가리킨다.

계산 서브 모듈(832)은, 이진화한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하도록 구성되고, 당해 히스토그램은 각 열의 화소점의 가로 좌표와 각 열의 화소점 중 전경색 화소점의 누계치를 포함하며;

계산 서브 모듈(832)은 이진화 서브 모듈(831)을 처리한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하고, 당해 히스토그램은 수평 방향에서 각 열의 화소점의 가로 좌표를 표시하고, 세로 방향에서 각 열의 화소점 중 전경색 화소점의 수량의 누계치를 표시한다.

숫자 인식 서브 모듈(833)은, 연속 열 집합에 의해 n개의 단일 숫자 영역을 인식하여 획득하도록 구성되며, 당해 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정한 임계값보다 큰 열로 구성된다.

히스토그램에 의해 각 열의 화소점 중 전경색 화소점의 누계치를 획득할 수 있고, 숫자 인식 서브 모듈(833)은 각 열의 화소점 중 전경색 화소점의 누계치와 미리 설정된 임계값를 비교하여, 연속 열 집합을 단일 숫자 영역이 존재하는 열로 결정하며, 당해 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정된 임계값보다 큰 열로 구성된다.

연속 열 집합은, 전경색 화소점의 누계치가 미리 설정된 임계값보다 큰 열이 연속되는 p열이고, 당해 연속되는 p열 화소점으로 구성된 집합을 가리킨다.

상술한 바와 같이, 본 실시예는 숫자 영역을 이진화하고, 이진화 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하며, 각 숫자에 대응하는 단일 숫자 영역을 인식함으로써, 단일 숫자 영역을 정확하게 분할하고 인식하는 방법을 제공한다.

도12는 예시적 일 실시예에 따른 모델 트레이닝 장치의 블록도이고, 도12에 도시한 바와 같이, 당해 모델 트레이닝 장치는 아래의 모듈을 포함하나 이에 한정되지 않는다.

샘플 획득 모듈(1210)은, 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하도록 구성되며, 당해 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 당해 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함하며;

트레이닝 모듈(1220)은, 분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득하도록 구성된다.

상술한 바와 같이, 본 발명의 실시예에 따른 모델 트레이닝 장치는, 소정의 샘플 이미지를 획득하고 - 소정의 샘플 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하고, 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 마이너스 샘플 이미지는 및 0개의 숫자 또는 불완전 숫자를 포함함 -; 분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여, 인식 모델을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 당해 트레이닝 과정에서 획득한 인식 모델에 대하여, 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하는 효과를 달성할 수 있다.

도13은 다른 예시적 일 실시예에 따른 모델 트레이닝 장치의 블록도이고, 도13에 도시한 바와 같이, 당해 모델 트레이닝 장치는 아래의 모듈을 포함하나 이에 한정되지 않는다.

샘플 획득 모듈(1210)은 이미지 데이터베이스 또는 직접 촬영하여 획득한 이미지에서 소정의 샘플 이미지를 선택하며, 소정의 샘플 이미지는 인식 모델에 사용되는 이미지를 가리키고, 소정의 샘플 이미지는 플러스 샘플 이미지 및 마이너스 샘플 이미지 2종류의 이미지를 포함한다. 당해 플러스 샘플 이미지는 단일 숫자를 포함하는 숫자 이미지일 수도 있고, 단일 행을 포함하고 숫자의 수량가 한정되지 않는 숫자 이미지일 수도 있다. 플러스 샘플 이미지에서의 숫자는 글꼴 크기, 글꼴 모양 및 숫자 자리수에 대해 한정하지 않고, 아울러, 플러스 샘플 이미지에서 숫자 이미지의 수량에 대해 한정하지 않는다. 마이너스 샘플 이미지은 0개의 숫자를 포함하는 이미지일 수도 있고, 일부의 불완전한 숫자를 포함하는 이미지일 수도 있다.

당해 분류 알고리즘은 Adaboost, 서포트 벡터 머신(SVM), 인공신경망, 유전 알고리즘, 나이브 베이즈, 의사결정 트리, K-최근접 이웃(KNN) 알고리즘 중의 적어도 하나를 포함한다.

본 실시예에 있어서, 트레이닝 모듈(1220)은 아래의 서브 모듈을 포함할 수 있다.

추출 서브 모듈(1221)은, 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 추출하도록 구성되고;

샘플 획득 모듈(1210)에 의해 플러스 샘플 이미지 및 마이너스 샘플 이미지를 획득한 후, 추출 서브 모듈(1221)은 각각 플러스 샘플 이미지 및 마이너스 샘플 이미지에 대해 특징 추출을 실행하여, 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 획득한다.

입력 서브 모듈(1222)는, 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 초기 모델에 입력하여, 인식 모델을 획득하도록 구성된다.

입력 서브 모듈(1222)은 획득한 플러스 샘플 이미지의 이미지 특징을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 아울러 플러스 샘플 이미지에 대응하는 플러스 결과의 제1 라벨도 초기 모델에 입력한다.

입력 서브 모듈(1222)은 획득한 마이너스 샘플 이미지의 이미지 특징을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 아울러 마이너스 샘플 이미지에 대응하는 마이너스 결과의 제2 라벨도 초기 모델에 입력한다.

당해 분류 알고리즘은 Adaboost, SVM, 인공신경망, 유전 알고리즘, 나이브 베이즈, 의사 결정 트리, KNN알고리즘 중의 적어도 하나를 포함한다.

상술한 바와 같이, 본 발명의 실시예에 따른 모델 트레이닝 장치는, 소정의 샘플 이미지를 획득하고 - 소정의 샘플 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하고, 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 마이너스 샘플 이미지는 및 0개의 숫자 또는 불완전 숫자를 포함함 -; 플러스 샘플 이미지의 이미지 특징 및 마이너스 샘플 이미지의 이미지 특징을 추출하며; 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 초기 모델에 입력하여, 인식 모델을 획득함으로써; 숫자 영역 추출 방법에서 숫자의 크기 및 숫자 자리수에 대한 일정한 제한과, 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 추출할 수 없는 문제점을 해결하고; 인식 모델에 의해 이미지에서의 상이한 글꼴 모양 또는 상이한 글꼴 크기 또는 상이한 숫자 자리수의 숫자 위치를 정확하게 측정하는 효과를 달성할 수 있다.

본 발명은 영역 추출 장치를 더 제공하고, 당해 장치는, 프로세서 및 프로세서에서 수행가능한 명령어를 기억하는 메모리를 포함하며,

당해 프로세서는,

분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 당해 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 -;

인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하며;

숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하도록 구성된다.

본 발명은 또한 모델 트레이닝 장치를 제공하고, 당해 장치는, 프로세서 및 프로세서에서 수행가능한 명령어를 기억하는 메모리를 포함하며,

당해 프로세서는,

플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하고 - 당해 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 당해 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - ;

분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여, 인식 모델을 획득하도록 구성된다.

당해 실시예에 있어서의 장치에 대하여, 그 중 각 모듈이 동작을 수행하는 구체적 형태에 대해서는 이미 상술한 방법에 관계되는 실시예에서 상세히 설명하였으므로, 여기서 더 이상 상세한 설명을 하지 않는다.

도14는 예시적 일 실시예에 따른 영역 추출 방법을 수행하는 장치의 블록도이다. 예를 들면, 장치(1400)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 설비, 운동 기구, 개인 휴대 정보 단말기 등일 수 있다.

도14에 도시한 바와 같이, 장치(1400)는, 프로세싱 부품(1402), 메모리(1404), 전원 부품(1406), 멀티미디어 부품(1408), 오디오 부품(1410), 입력/출력(I/O) 인터페이스(1412), 센서 부품(1414), 및 통신 부품(1416) 중의 하나 또는 복수 개의 부품을 포함할 수 있다.

프로세싱 부품(1402)은, 일반적으로 장치(1400)의 전체 동작, 예를 들면, 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작에 관계되는 동작을 제어한다. 프로세싱 부품(1402)은, 상술한 방법의 전부 또는 부분적 단계를 완성하기 위하여, 명령어를 실행하는 하나 또는 복수 개의 프로세서(1418)를 포함할 수 있다. 또한, 프로세싱 부품(1402)은, 하나 또는 복수 개의 모듈을 포함할 수 있고, 프로세싱 부품(1402)과 기타 부품 사이의 인터랙션에 편리하다. 예를 들면, 멀티미디어 부품(1408)과 프로세싱 부품(1402) 사이의 인터랙션에 편리를 도모하기 위해, 프로세싱 부품(1402)은 멀티미디어 모듈을 포함할 수 있다.

메모리(1404)는, 장치(1400)에 있어서의 동작을 서포트하기 위하여, 다양한 유형의 데이터를 기억하도록 구성되어 있다. 이러한 데이터의 사례는, 장치(1400)에서 동작하는 모든 응용 프로그램 또는 방법의 명령어, 연락자 데이터, 전화 번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(1404)는 임의 유형의 휘발성 또는 비휘발성 메모리 또는 이들의 조합으로 구현될 수 있으며, 예를 들어, 스태틱 랜덤 액세스 메모리 (SRAM: Static Random Access Memory), 전기적 소거 및 프로그램 가능 읽기 전용 메모리 (EEPROM: Electrically Erasable Programmable Read-Only Memory), 소거 및 프로그램 가능 읽기 전용 메모리 (EPROM: Erasable Programmable Read-Only Memory), 프로그램 가능 읽기 전용 메모리 (PROM: Programmable Read-Only Memory), 읽기 전용 메모리 (ROM: Read-Only Memory), 자기 메모리, 플래시 메모리, 자기 디스크 또는 콤팩트 디스크에 의하여 구현될 수 있다.

전원 부품(1406)은 장치(1400)의 각 부품에 전력을 공급한다. 전원 부품(1406)은 전원 관리 시스템, 하나 또는 복수 개의 전원 및 기타의 장치(1400)를 위해 전력을 생성, 관리 및 분배하는 기타 관련된 부품을 포함할 수 있다.

멀티미디어 부품(1408)은 당해 장치(1400)과 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 표시 장치(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린은 액정표시장치 (LCD: Liquid Crystal Display) 및 터치패널 (TP: Touch Panel)을 포함할 수 있다. 스크린에 터치패널이 포함될 경우, 스크린은 사용자가 입력한 신호를 수신할 수 있도록 터치스크린으로 구현될 수 있다. 터치패널은 하나 또는 복수 개의 터치센서를 포함하고 있어, 터치, 스와이프 및 터치패널 위에서의 제스처를 감지할 수 있다. 터치센서는 터치 또는 스와이프 동작의 경계선을 감지할 뿐만 아니라, 터치 또는 스와이프 작업에 관련된 지속시간과 압력을 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 부품(1408)은, 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(1400) 이 예를 들어 촬영 모드 또는 비디오 모드와 같은 작업 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라와 후방 카메라는 고정된 광학렌즈 시스템이거나 초점거리와 광학 줌 기능을 가질 수 있다.

오디오 부품(1410)은 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 부품(1410)은 마이크(MIC)를 포함하고, 장치(1400) 이 예를 들어 호출 모드, 기록 모드 및 음성 인식 모드와 같은 작업 모드일 경우, 마이크는 외부의 오디오 신호를 수신하도록 구성된다.수신된 오디오 신호는 메모리(1404)에 기억되거나 또는 통신 부품(1416)에 의하여 송신될 수 있다. 일부 실시예에 있어서, 오디오 부품(1410)은 오디오신호를 출력하는 스피커를 더 포함할 수 있다.

I/O 인터페이스(1412)는 프로세싱 부품(1402)과 주변 인터페이스 모듈 사이에 인터페이스를 제공하는 것으로서, 상술한 주변 인터페이스 모듈은 키보드, 클릭 휠 (Click Wheel), 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 작동 버튼 및 잠금 버튼을 포함할 수 있지만, 이에 한정되는 것은 아니다.

센서 부품(1414)은 장치(1400)에 여러 방면의 상태평가를 제공하는 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 부품(1414)은 장치(1400)의 온/오프 (ON/OFF) 상태 및 부품의 상대적인 위치결정을 검출할 수 있다. 예를 들어, 부품이 장치(1400)의 디스플레이 및 키패드(Keypad) 일 경우, 센서 부품(1414)은 또한 장치(1400) 또는 장치(1400)의 하나의 부품의 위치변화, 사용자와 장치(1400) 사이의 접촉 여부, 장치(1400)의 위치 또는 가속/감속 및 장치(1400)의 온도 변화를 검출할 수 있다. 센서 부품(1414)은 근접 센서를 포함할 수 있고, 어떠한 물리적 접촉도 없을 경우, 근처의 물체 존재 여부를 검출하도록 구성되어 있다. 센서 부품(1414)은 또한 예를 들어, CMOS 또는 CCD 이미지 센서 등과 같은 광 센서를 더 포함할 수 있으며, 이미지 응용에 사용된다. 일부 실시예에 있어서, 당해 센서 부품(1414)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 부품(1416)은 장치(1400)과 기타 장치 사이의 유선 또는 무선 방식의 통신을 수행하도록 구성된다. 장치(1400)는, 예를 들어 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신표준을 기반으로 한 무선 네트워크에 접속이 가능하다. 일 예시적 실시예에 있어서, 통신 부품(1416)은 방송 채널을 통해 외부 방송관리 시스템으로부터 방송신호 또는 방송관련정보를 수신한다. 일 예시적 실시예에 있어서, 통신 부품(1416)은 근거리 무선통신 (NFC: Near Field Communication) 모듈을 더 포함하고 있어, 단거리 통신을 촉진할 수 있다. 예를 들어, NFC 모듈은 무선 주파수 식별 (RFID) 기술, 적외선 통신 규격 (lrDA) 기술, 초광대역 (UWB) 기술, 블루투스 (BT) 기술 및 기타 기술에 의해 구현될 수 있다.

예시적인 실시예에 있어서, 장치 (1400)은 하나 또는 복수 개의 응용 주문형 직접회로 (ASIC), 디지털신호 프로세서 (DSP), 디지털신호 처리기기 (DSPD), 프로그램 가능 논리 소자 (PLD), 필드 프로그램 가능 게이트 어레이 (FPGA), 컨트롤러, 마이크로 컨트롤러, 또는 기타 전자 소자에 의해 구현될 수 있으며, 상술한 영역 추출 방법을 수행하는데 사용된다.

예시적인 실시예에 있어서, 명령어를 포함하는 비일시적 컴퓨터 판독 가능 기억 매체가 더 제공되어, 명령어를 포함하는 메모리 (1404)를 예로 들 수 있으며, 상술한 명령어는 장치(1400)의 프로세서 (1418)에 의해 수행되어 상술한 영역 인식 방법을 수행할 수 있다. 예를 들어, 당해 비일시적 컴퓨터 판독 가능 기억 매체는 ROM, 랜덤 액세스 메모리 (RAM), CD-ROM, 자기 테이프, 플로피디스크 및 광데이터 메모리 등일 수 있다.

당업자는 본 개시의 명세서에 기재된 내용에 의해 본 개시의 다른 실시과제를 용이하게 생각해낼 수 있다. 본 출원은 본 개시의 임의의 변형, 용도 또는 적응성 변화를 포괄하는 것을 목적으로 하되, 이러한 변형, 용도 또는 적응성 변화는 본 개시의 일반적인 원리를 준수하며, 본 개시에 공개되지 않은 본 기술분야의 통상의 지식 또는 통상적인 기술 수단을 포함한다. 명세서와 실시예는 단지 예시적인 내용으로서, 본 개시의 진정한 보호범위와 취지는 특허청구범위에 의해 한정된다.

본 발명은 상술한 기재 내용과 도시된 구조에 한정되지 않으며, 보호하고자 하는 범위 내에서 다양한 수정 또는 변경을 실시할 수 있다는 것은 이해되어야 할 부분이다. 본 발명의 범위는 특허청구범위에 의해 한정된다.

Claims

분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하는 단계 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 와;
상기 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하는 단계와;
상기 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하는 단계를 포함하는 것을 특징으로 하는 영역 추출 방법.
제1항에 있어서,
상기 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하는 단계는,
미리 설정한 윈도우를 사용하여 소정의 윈도우 스위핑 전략에 의해 상기 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출하는 단계와;
상기 후보 윈도우 영역의 이미지 특징을 상기 인식 모델에 입력하고 분류하여, 분류 결과를 획득하는 단계와;
상기 분류 결과가 플러스 결과인 경우, 상기 후보 윈도우 영역을 상기 숫자 영역으로 인식하는 단계를 포함하는 것을 특징으로 하는 영역 추출 방법.
제2항에 있어서,
상기 숫자 영역은 적어도 2개이고,
교차 영역이 존재하는 n개의 숫자 영역을 검출하는 단계와;
상기 교차 영역이 존재하는 상기 n개의 숫자 영역을 병합하여, 병합한 후의 상기 숫자 영역을 획득하는 단계를 더 포함하는 것을 특징으로 하는 영역 추출 방법.
제3항에 있어서,
상기 교차 영역이 존재하는 n개의 숫자 영역을 병합하여, 병합한 후의 숫자 영역을 획득하는 단계는,
상기 교차 영역이 존재하는 n개의 상기 숫자 영역 사이의 상단 가장자리와 하단 가장자리가 겹칠 때,
n개의 상기 숫자 영역의 n개의 좌측 가장자리 중의 가장 좌측에 위치하는 좌측 가장자리를, 병합한 후의 좌측 가장자리로 결정하는 단계와;
n개의 상기 숫자 영역의 n개의 우측 가장자리 중의 가장 우측에 위치하는 우측 가장자리를, 병합한 후의 우측 가장자리로 결정하는 단계와;
상단 가장자리, 상기 하단 가장자리, 상기 병합한 후의 좌측 가장자리, 상기 병합한 후의 우측 가장자리에 의해, 상기 병합한 후의 상기 숫자 영역을 획득하는 단계를 포함하는 것을 특징으로 하는 영역 추출 방법.
제1항 내지 제4항 중의 어느 한 항에 있어서,
상기 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하는 단계는,
상기 숫자 영역에 대한 이진화를 수행하여, 이진화한 후의 숫자 영역을 획득하는 단계와;
상기 이진화한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하는 단계 - 상기 히스토그램은 각 열의 화소점의 가로 좌표와 각 열의 화소점 중의 전경색 화소점의 누계치를 포함함 - 와;
연속 열 집합에 의해 n개의 단일 숫자 영역을 인식하여 획득하는 단계 - 상기 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정한 임계값보다 큰 열로 구성됨 - 를 포함하는 것을 특징으로 하는 영역 추출 방법.
플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하는 단계 - 상기 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 상기 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 와;
분류 알고리즘에 의해 상기 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득하는 단계를 포함하는 것을 특징으로 하는 모델 트레이닝 방법.
제6항에 있어서,
상기 분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득하는 단계는,
상기 플러스 샘플 이미지의 이미지 특징 및 상기 마이너스 샘플 이미지의 이미지 특징을 추출하는 단계와;
상기 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨을, 분류 알고리즘에 의해 구축한 초기 모델에 입력하고, 상기 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 상기 초기 모델에 입력하여, 상기 인식 모델을 획득하는 단계를 포함하는 것을 특징으로 하는 모델 트레이닝 방법.
제6항 또는 제7항에 있어서,
상기 분류 알고리즘은 Adaboost, 서포트 벡터 머신 (SVM), 인공신경망, 유전 알고리즘, 나이브 베이즈, 의사결정 트리, K-최근접 이웃 (KNN) 알고리즘 중 적어도 하나를 포함하는 것을 특징으로 하는 모델 트레이닝 방법.
분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하도록 구성된 획득 모듈 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 과;
상기 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하는 인식 모듈과;
상기 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일 숫자 영역을 획득하는 분할 모듈을 포함하는것을 특징으로 하는 영역 추출 장치.
제9항에 있어서,
상기 인식 모듈은,
미리 설정한 윈도우를 사용하여 소정의 윈도우 스위핑 전략에 의해 인식하고자 하는 이미지에서 후보 윈도우 영역을 추출하는 윈도우 스위핑 서브 모듈과;
상기 후보 윈도우 영역의 이미지 특징을 상기 인식 모델에 입력하고 분류하여, 분류 결과를 획득하는 분류 서브 모듈과;
상기 분류 결과가 플러스 결과인 경우, 상기 후보 윈도우 영역을 숫자 영역으로 인식하는 확인 서브 모듈을 포함하는 것을 특징으로 하는 영역 추출 장치.
제10항에 있어서,
상기 숫자 영역은 적어도 2개이고,
교차 영역이 존재하는 n개의 숫자 영역을 검출하는 검출 모듈과;
상기 교차 영역이 존재하는 상기 n개의 숫자 영역을 병합하여, 병합한 후의 상기 숫자 영역을 획득하는 병합 모듈을 더 포함하는 것을 특징으로 하는 영역 추출 장치.
제11항에 있어서,
상기 병합 모듈은,
상기 교차 영역이 존재하는 n개의 상기 숫자 영역 사이의 상단 가장자리와 하단 가장자리가 겹칠 때,
n개의 상기 숫자 영역의 n개의 좌측 가장자리에서 가장 좌측에 위치하는 좌측 가장자리를, 병합한 후의 좌측 가장자리로 결정하는 제1 결정 서브 모듈과;
n개의 상기 숫자 영역의 n개의 우측 가장자리에서 가장 우측에 위치하는 우측 가장자리를, 병합한 후의 우측 가장자리로 결정하는 제2 결정 서브 모듈과;
상기 상단 가장자리, 상기 하단 가장자리, 상기 병합한 후의 좌측 가장자리, 상기 병합한 후의 우측 가장자리에 의해, 상기 병합한 후의 상기 숫자 영역을 획득하는 제3 결정 서브 모듈을 포함하는 것을 특징으로 하는 영역 추출 장치.
제9항 내지 제12항 중의 어느 한 항에 있어서,
상기 분할 모듈은,
상기 숫자 영역에 대한 이진화를 수행하여, 이진화한 후의 숫자 영역을 획득하는 이진화 서브 모듈과;
상기 이진화한 후의 숫자 영역에 대해 세로 방향에 따라 히스토그램을 계산하는 계산 서브 모듈 - 상기 히스토그램은 각 열의 화소점의 가로 좌표와 각 열의 화소점 중의 전경색 화소점의 누계치를 포함함 - 와;
연속 열 집합에 의해 n개의 단일 숫자 영역을 인식하여 획득하는 숫자 인식 서브 모듈 - 상기 연속 열 집합은 히스토그램 중의 전경색 화소점의 누계치가 미리 설정한 임계값보다 큰 열로 구성됨 - 을 포함하는 것을 특징으로 하는 영역 추출 장치.
플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하도록 구성된 샘플 획득 모듈 - 상기 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 상기 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - 과;
분류 알고리즘에 의해 상기 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 인식 모델을 획득하는 트레이닝 모듈을 포함하는 것을 특징으로 하는 모델 트레이닝 장치.
제14항에 있어서,
상기 트레이닝 모듈은,
상기 플러스 샘플 이미지의 이미지 특징 및 상기 마이너스 샘플 이미지의 이미지 특징을 추출하는 추출 서브 모듈과;
상기 플러스 샘플 이미지의 이미지 특징 및 플러스 결과를 표시하는 제1 라벨을, 상기 분류 알고리즘에 의해 구축된 초기 모델에 입력하고, 상기 마이너스 샘플 이미지의 이미지 특징 및 마이너스 결과를 표시하는 제2 라벨을 상기 초기 모델에 입력하여, 상기 인식 모델을 획득하는 입력 서브 모듈을 포함하는 것을 특징으로 하는 모델 트레이닝 장치.
제14항 또는 제15항에 있어서,
상기 분류 알고리즘은 Adaboost, 서포트 벡터 머신(SVM), 인공신경망, 유전 알고리즘, 나이브 베이즈, 의사결정 트리, K-최근접 이웃(KNN) 알고리즘 중의 적어도 하나를 포함하는 것을 특징으로 하는 모델 트레이닝 장치.
프로세서 및 상기 프로세서에서 수행가능한 명령어를 기억하는 메모리를 포함하고,
상기 프로세서는,
분류 알고리즘에 의해 소정의 샘플의 이미지에 대한 트레이닝을 수행하여 획득되는 인식 모델을 획득하고 - 상기 소정의 샘플의 이미지는 플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하며, 각 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 각 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - ;
상기 인식 모델에 의해 인식하고자 하는 이미지를 인식하여, 적어도 하나의 숫자 영역을 획득하며;
상기 숫자 영역에 대한 영역 분할을 수행하여, 적어도 하나의 단일숫자 영역을 획득하도록 구성되는 것을 특징으로 하는 영역 추출 장치.
프로세서 및 상기 프로세서에서 수행가능한 명령어를 기억하는 메모리를 포함하고,
상기 프로세서는,
플러스 샘플 이미지와 마이너스 샘플 이미지를 포함하는 소정의 샘플 이미지를 획득하고 - 상기 플러스 샘플 이미지는 적어도 하나의 숫자를 포함하고, 상기 마이너스 샘플 이미지는 0개의 숫자 또는 불완전 숫자를 포함함 - ;
분류 알고리즘에 의해 소정의 샘플 이미지에 대한 트레이닝을 수행하여, 인식 모델을 획득하도록 구성되는 것을 특징으로 하는 모델 트레이닝 장치.