KR102109855B1 - Sift 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법 - Google Patents

Sift 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법 Download PDF

Info

Publication number
KR102109855B1
KR102109855B1 KR1020190025736A KR20190025736A KR102109855B1 KR 102109855 B1 KR102109855 B1 KR 102109855B1 KR 1020190025736 A KR1020190025736 A KR 1020190025736A KR 20190025736 A KR20190025736 A KR 20190025736A KR 102109855 B1 KR102109855 B1 KR 102109855B1
Authority
KR
South Korea
Prior art keywords
text
components
graphic
image
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190025736A
Other languages
English (en)
Inventor
신용희
김정옥
유기윤
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190025736A priority Critical patent/KR102109855B1/ko
Application granted granted Critical
Publication of KR102109855B1 publication Critical patent/KR102109855B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G06K9/00456—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06K9/38—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법에 관한 것으로, (a) 텍스트 정보 구축 장치의 텍스트 분류모형 학습·구축 모듈이 실내 도면 DB를 활용하여 텍스트 분류모형(SVM-BoW 모형, SVM-Descriptor 모형)을 학습시키고 구축하는 단계와; (b) 텍스트 정보 구축 장치의 전처리 모듈이 텍스트 분리 대상인, 사용자에 의해 입력된 실내도면 이미지를 흰색과 검은색 두 개의 픽셀로 변환·분류하는 이진화 과정을 통해 전처리를 수행하는 단계와; (c) 텍스트 정보 구축 장치의 겹치지 않는 텍스트 분리 모듈이 형태학적 방법과 SVM-BoW 모형을 통해 전처리가 완료된 실내도면 이미지에서 그래픽 성분과 겹치지 않는 텍스트를 분리하는 단계와; (d) 텍스트 정보 구축 장치의 겹치는 텍스트 분리 모듈이 SVM-Descriptor 모형을 그래픽 성분의 SIFT 구분자에 적용하여 상기 단계(c)가 완료된 실내도면 이미지에서 그래픽 성분과 겹치는 텍스트를 분리하는 단계, 및 (e) 텍스트 정보 구축 장치의 후처리 모듈이 상기 단계(c)에서 생성된 텍스트 이미지와 상기 단계(d)에서 생성된 텍스트 이미지를 합치는 단계를 포함하여 이루어짐으로써, 연결성분 분석과 형태학적 방법론을 활용해 그래픽과 겹치지 않는 텍스트 성분을 분리하고, SIFT 구분자를 활용한 성분특성표현 방법과 형태학적 방법론을 활용해 그래픽과 겹치는 텍스트 성분을 분리할 수 있는 효과가 있다.

Description

SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법 {A method for text information construction in floorplans using SIFT descriptor}
본 발명은 SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법에 관한 것으로, 더욱 상세하게는 연결성분 분석과 형태학적 방법론을 활용해 그래픽과 겹치지 않는 텍스트 성분을 분리하고, SIFT 구분자를 활용한 성분특성표현 방법과 형태학적 방법론을 활용해 그래픽과 겹치는 텍스트 성분을 분리할 수 있는, SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법에 관한 것이다.
실내도면 이미지에서 텍스트 성분을 분리하는 연구는 과거에는 도면 이미지의 벽이나 기둥 같은 건축물을 표현하기 위해 의미 있는 객체들을 추출하기 위한 전처리 과정으로 텍스트 성분을 노이즈로 취급하여 제거하는데 집중되었다. 하지만 기계학습 알고리즘과 인공신경망의 발전으로 이미지의 의미론적인(semantic) 분석이 가능해지면서 도면 이미지 내의 텍스트 성분 또한 분석 가능한 의미있는 데이터로 취급되어 도면 이미지 내에서 텍스트 성분과 그래픽 성분을 분리하는 방향으로 연구가 진행되었다.
기존에는 도면 이미지에서 텍스트와 그래픽을 분리하는 방법은 크게 4가지 방법이 존재한다.
첫 번째 방법은 텍스트와 그래픽 성분의 형태학적인 차이를 필터링해서 분류하는 형태학적 방법론이다. 형태학적 방법론은 한 도면 이미지 내에서 텍스트 성분들이 일정한 크기와 형태를 갖는 성질을 활용하여 텍스트 성분의 제한조건을 만들어 그래픽 성분과 분류한다. 두 번째 방법은 도면 이미지 내에서 연결성분 분석을 수행하고 추출한 연결성분들을 활용하여 그래픽 성분과 텍스트 성분을 분리한다. 도면 이미지 내에서 텍스트 성분이나 벽체의 경우 대부분 같은 선형위에 올라가 있는 경우가 많다. 이런 성질을 활용하여 같은 선형 위에 있는 연결성분들을 찾아내고 같은 선형 위에 있는 연결성분들을 같은 클래스의 성분이라고 분류하여 그래픽 연결성분과 텍스트 연결성분을 분류한다. 세 번째 방법은 다차원 해상도의 이미지를 활용하는 방법으로 낮은 해상도의 도면 이미지에서 텍스트 요소는 선형으로 보이지만 더 높은 해상도의 도면 이미지에서는 직사각형 형태로 보이는 성질을 활용하여 텍스트 요소를 분리한다. 마지막 방법으로는 이미지의 특성을 표현하는 방법을 활용하여 텍스트 성분의 특성과 그래픽 성분의 특성의 차이를 찾아내고 이 특성의 차이를 통해 텍스트 성분과 그래픽 성분을 분류하는 방법이 있다. 주로 텍스트 성분과 그래픽 성분의 특성을 표현하는 벡터들을 입력데이터로 활용하여 기계학습 방법론을 통한 그래픽 성분과 텍스트 성분의 클래스 분류나 클러스터링을 통한 클래스 할당을 통해 텍스트 성분과 그래픽 성분을 분리한다.
설명한 이미지에서 그래픽 요소와 텍스트 성분을 분류하는 상기 네 가지 방법 모두 텍스트와 그래픽 성분의 서로 다른 특성을 활용하여 분리하기 때문에 그래픽 성분과 텍스트 성분이 겹쳤을 때 제대로 분류해내지 못하는 공통적인 단점을 가지고 있는데 이러한 단점을 극복하기 위해 대부분의 최근 연구들은 서로 다른 방법론들을 혼합해서 활용하여 텍스트 성분과 그래픽 성분을 분류한다.
Tombre(2002)는 연결성분 분석과 텍스트 성분의 형태학적 특성을 활용해 그래픽 성분과 겹치는 텍스트 성분을 분리하는데 성공했지만 이 방법은 연결성분을 형태학적인 제한조건을 통해 분류했기 때문에 형태가 유사한 텍스트 연결성분과 그래픽 연결성분을 분리하지 못했다. 그리고 텍스트 연결성분 사이에 있는 텍스트 성분만을 추출해냈기 때문에 텍스트 성분과 그래픽 성분이 완전히 겹쳐있어 처음과 끝의 텍스트 연결성분을 찾아낼 수 없는 경우나 처음과 끝의 연결성분의 그래픽 성분과 겹쳐있는 경우에는 일부의 텍스트 성분을 추출할 수 없는 한계점을 가지고 있었다.
따라서, 여러 가지 방법론을 혼합해서 사용하더라도 도면 이미지에서 텍스트 성분의 두드러지는 특성을 활용하여 텍스트 성분을 분리하기 때문에 텍스트 성분과 그래픽 성분이 완전히 겹쳐 텍스트 성분과 그래픽 성분의 특성을 정의하기 어려운 경우 텍스트 성분을 분리하지 못하는 한계가 존재한다.
2002 International Work shop on Document Analysis Systems, Springer, Princeton, NJ, USA, Aug. 19-21, pp. 200-211.;Tombre, K., S. Tabbone, L. Pelissier, B. Lamiroy, and P. Dosch; Text/graphics separation revisited
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 연결성분 분석과 형태학적 방법론을 활용해 그래픽과 겹치지 않는 텍스트 성분을 분리하고, SIFT 구분자를 활용한 성분특성표현 방법과 형태학적 방법론을 활용해 그래픽과 겹치는 텍스트 성분을 분리할 수 있는, SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법을 제공하는데 있다.
즉, 도면 이미지에 연결성분 분석을 수행하여 연결성분들을 수집하고 수집된 연결성분을 SVM-BoW 모형에 적용하여 텍스트 연결성분으로 분류된 연결성분들만을 분리하여 형태학적으로 텍스트와 유사한 그래픽 성분을 분리하고, 텍스트 성분과 그래픽 성분이 완전히 겹쳤을 경우에도 텍스트 성분의 특성을 찾아내기 위해 SIFT 알고리즘을 적용하여 특이점과 구분자를 찾아내고 이를 SVM-Descriptor 모형으로 분류하여 텍스트 클래스의 특이점을 수집하며 도면 이미지 내부 문자의 형태학적 특성을 고려한 거리 제한조건을 통해 수집된 텍스트 특이점들의 그룹을 만들어 그래픽 성분과 완전히 겹치는 텍스트 성분을 분리하는 것인데, 더불어 기존의 형태학적 방법론은 하나의 한글 문자를 여러 개의 연결성분으로 분리하여 그대로 적용할 수 없다는 문제가 있어, 이를 보완하여 한글 문자에도 적용 가능한 형태학적 텍스트 분리기법을 포함한다.
또한, 본 발명은 ML(Machine Learning)에 기반하여 학습데이터로부터 도면 이미지에 SIFT 알고리즘을 적용했을 때 생성되는 특이점과 SIFT 구분자의 클래스(텍스트, 그래픽)를 분류할 수 있는 SVM-Descriptor 모형과, 학습데이터로부터 도면 이미지에 연결성분 분석을 수행했을 때 생성되는 연결성분의 클래스(텍스트, 그래픽)를 분류할 수 있는 SVM-BoW 모형을 제공하는 것이 다른 목적이다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 (a) 텍스트 정보 구축 장치의 텍스트 분류모형 학습·구축 모듈이 실내 도면 DB를 활용하여 텍스트 분류모형(SVM-BoW 모형, SVM-Descriptor 모형)을 학습시키고 구축하는 단계와; (b) 텍스트 정보 구축 장치의 전처리 모듈이 텍스트 분리 대상인, 사용자에 의해 입력된 실내도면 이미지를 흰색과 검은색 두 개의 픽셀로 변환·분류하는 이진화 과정을 통해 전처리를 수행하는 단계와; (c) 텍스트 정보 구축 장치의 겹치지 않는 텍스트 분리 모듈이 형태학적 방법과 SVM-BoW 모형을 통해 전처리가 완료된 실내도면 이미지에서 그래픽 성분과 겹치지 않는 텍스트를 분리하는 단계와; (d) 텍스트 정보 구축 장치의 겹치는 텍스트 분리 모듈이 SVM-Descriptor 모형을 그래픽 성분의 SIFT 구분자에 적용하여 상기 단계(c)가 완료된 실내도면 이미지에서 그래픽 성분과 겹치는 텍스트를 분리하는 단계, 및 (e) 텍스트 정보 구축 장치의 후처리 모듈이 상기 단계(c)에서 생성된 텍스트 이미지와 상기 단계(d)에서 생성된 텍스트 이미지를 합치는 단계를 포함하여 이루어지는 것을 기본 특징으로 한다.
또한, 본 발명에서 상기 단계(a)는, (a1) 텍스트 정보 구축 장치의 전처리 모듈이 실내 도면 DB를 흰색과 검은색 두 개의 픽셀로 변환·분류하는 이진화 과정을 통해 전처리를 수행하는 단계와; (a2) 상기 텍스트 분류모형 학습·구축 모듈이 실내 도면 DB로부터 분리된 그래픽 이미지와 텍스트 이미지에서 연결성분 분석을 수행한 뒤 텍스트와 그래픽별로 SVM-BoW 모형의 학습데이터인 연결성분 이미지를 생성하고, 실내 도면 DB로부터 분리된 그래픽 이미지와 텍스트 이미지에 SIFT 알고리즘을 적용한 뒤 텍스트와 그래픽별로 SVM-Descriptor 모형의 학습데이터인 SIFT Descriptor를 생성하는 단계와; (a3) 상기 텍스트 분류모형 학습·구축 모듈이 생성된 상기 학습데이터(연결성분 이미지, SIFT Descriptor)를 통해 SVM-BoW 모형과 SVM-Descriptor 모형을 학습시키는 단계, 및 (a4) 상기 텍스트 분류모형 학습·구축 모듈이 연결성분의 클래스(텍스트와 그래픽)를 분류하는 SVM-BoW 모형과, SIFT 특이점의 클래스(텍스트와 그래픽)를 분류하는 SVM-Descriptor 모형을 구축하는 단계로 이루어진다.
또한, 본 발명에서 상기 단계(c)는, (c1) 겹치지 않는 텍스트 분리 모듈이 실내도면 이미지에 연결성분 분석 후 형태학적 방법을 통한 텍스트 성분 분리를 통해 그래픽 성분과 겹치지 않는 텍스트 성분을 분리하는 단계와; (c2) 상기 단계(c1)에서 분리한 텍스트 성분 중에는 형태학적 방법으로 분리되지 않는 형태학적으로 텍스트 연결성분과 유사한 그래픽 성분이 포함되어 있으므로, 겹치지 않는 텍스트 분리 모듈이 상기 단계(a)에서 구축된 SVM-BoW 모형을 통해 텍스트 연결성분으로 분류된 연결성분들만을 분리하여 실내도면 이미지를 그래픽 성분과 겹치지 않는 텍스트 이미지와 텍스트 연결성분과 형태가 유사한 그래픽 이미지로 분리하는 단계로 이루어진다.
또한, 본 발명에서 상기 형태학적 방법은, 분리된 연결성분의 중심점 사이 간 거리가 분리된 연결성분 높이의 평균값
Figure 112019022963781-pat00001
보다 작은 연결성분들을 하나의 연결성분으로 묶은 뒤 묶은 그룹인 연결성분을 입력자료로 하는 Tombre의 제한조건들을 적용하여 제한조건 범위 내에서는 텍스트 성분이고 그 이외는 그래픽 성분인 것으로 분리한다.
또한, 본 발명에서 상기 단계(d)는, (d1) 겹치는 텍스트 분리 모듈이 상기 단계(a)에서 구축된 SVM-Descriptor 모형을 그래픽 성분의 SIFT 구분자에 적용하여 텍스트로 분류된 특이점들의 위치 정보를 수집하는 단계와; (d2) 겹치는 텍스트 분리 모듈이 텍스트 특이점 사이의 거리가 2.5×
Figure 112019022963781-pat00002
(여기서,
Figure 112019022963781-pat00003
는 한글 문자의 경우 하나의 문자에서 분리된 연결성분을 하나의 연결성분으로 묶은 후의 텍스트 평균 높이) 이하인 텍스트 특이점들을 하나의 그룹으로 묶고 묶인 그룹을 실내도면 이미지에서 분리하여, 텍스트 성분이 포함된 그래픽 이미지를 텍스트 성분과 그래픽 성분으로 분리하는 단계로 이루어진다.
또한, 본 발명에서 (f) 후처리 모듈이 상기 단계(e)에서 합쳐진 텍스트 이미지에 연결성분 분석을 수행하고 연결성분 간 거리가 연결성분의 높이 평균의 2.5배 이하인 연결성분들을 하나의 그룹으로 묶어 원본 실내도면 이미지에서 텍스트 성분을 분리하는 후처리 과정을 거쳐 최종 텍스트 이미지를 생성하는 단계가 추가될 수 있다.
이상에서 살펴본, 본 발명인 SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법은 연결성분 분석과 형태학적 방법론을 활용해 그래픽과 겹치지 않는 텍스트 성분을 분리하고, SIFT 구분자를 활용한 성분특성표현 방법과 형태학적 방법론을 활용해 그래픽과 겹치는 텍스트 성분을 분리할 수 있는 효과가 있다.
즉, 도면 이미지에 연결성분 분석을 수행하여 연결성분들을 수집하고 수집된 연결성분을 SVM-BoW 모형에 적용하여 텍스트 연결성분으로 분류된 연결성분들만을 분리하여 형태학적으로 텍스트와 유사한 그래픽 성분을 분리하고, 텍스트 성분과 그래픽 성분이 완전히 겹쳤을 경우에도 텍스트 성분의 특성을 찾아내기 위해 SIFT 알고리즘을 적용하여 특이점과 구분자를 찾아내고 이를 SVM-Descriptor 모형으로 분류하여 텍스트 클래스의 특이점을 수집하며 도면 이미지 내부 문자의 형태학적 특성을 고려한 거리 제한조건을 통해 수집된 텍스트 특이점들의 그룹을 만들고 실내도면 이미지에서 묶은 그룹을 분리하는 방법을 통해 그래픽 성분과 완전히 겹치는 텍스트 성분을 분리하는 효과가 있는 것이다.
더불어, 본 발명은 기존의 형태학적 방법론이 하나의 한글 문자를 여러 개의 연결성분으로 분리하여 그대로 적용할 수 없다는 문제가 있어, 이를 보완하여 한글 문자에도 적용 가능한 형태학적 텍스트 분리기법을 포함하고 있다.
도 1 은 본 발명에 따른 실내도면 이미지에서의 텍스트 정보 구축 방법과 관련된 시스템의 일실시예를 나타낸 구성도.
도 2 는 본 발명에 따른 실내도면 이미지에서의 텍스트 정보 구축 방법의 전체 흐름도를 나타낸 도면.
도 3 은 텍스트 분류모형 학습·구축 단계에서 실내 도면 DB가 텍스트 이미지와 그래픽 이미지로 분리된 일실시예를 나타낸 도면.
도 4 는 텍스트 분류모형 학습·구축 단계에서 그래픽 연결성분 이미지와 텍스트 연결성분 이미지의 일실시예를 나타낸 도면.
도 5 는 본 발명에 따른 실내도면 이미지에서의 텍스트 정보 구축 방법에서 그래픽 성분과 겹치지 않는 텍스트 분리 단계와 그래픽 성분과 겹치는 텍스트 분리 단계의 상세 흐름도를 나타낸 도면.
도 6 은 사용자가 입력한 실내도면 이미지에 연결성분 분석 결과의 일실시예를 나타낸 도면.
도 7 은 한글 문자의 연결성분 분석 결과의 일실시예를 나타낸 도면.
도 8 은 형태학적 방법론과 연결성분 분석을 활용하여 실내도면 이미지를 텍스트 이미지와 그래픽 이미지로 분리한 일실시예를 나타낸 도면.
도 9 는 SVM-BoW 모형을 활용하여 불완전한 텍스트 이미지에서 텍스트 성분과 그래픽 성분을 분리한 일실시예를 나타낸 도면.
도 10 은 SVM-Descriptor 모형을 활용하여 불완전한 그래픽 이미지에서 텍스트 성분과 그래픽 성분을 분리한 일실시예를 나타낸 도면.
도 11 은 도 9와 도 10에서 생성된 텍스트 성분을 합친 텍스트 이미지와 후처리된 텍스트 이미지의 일실시예를 나타낸 도면.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 상세히 설명하면 다음과 같다. 첨부된 도면들 및 이를 참조한 설명은 본 발명에 관하여 당해 기술 분야에서 통상의 지식을 가진 자들이 쉽게 이해할 수 있도록 하기 위해 예시된 것이며, 본 발명의 사상 및 범위를 한정하려는 의도로 제시된 것은 아님에 유의하여야 할 것이다.
본 발명의 전체 프로세스는 자동화된 실내도면 이미지에서의 텍스트 분리 도구로 실내공간정보 저작도구에 플러그인 형태로 설치될 수 있으며 사용자가 실내도면 이미지를 입력하면 텍스트 성분이 존재하는 텍스트 성분 이미지와 그래픽 성분이 존재하는 그래픽 성분 이미지를 얻을 수 있다.
본 발명의 프로세스는 크게 3단계로 구성되며, 각 단계는 텍스트 분류모형 학습 단계, 그래픽 성분과 겹치지 않는 텍스트 성분 분리 단계 및 그래픽 성분과 겹치는 텍스트 성분 분리 단계로 구성되어 있다.
또한, 본 발명은 기존의 형태학적 방법, 연결성분 분석 방법, 이미지 특성 표현 방법 등을 이용하는데 여기서 이미지 특성을 표현하기 위해서 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하고, 상기 SIFT 알고리즘은 이미지 내부에서 크기와 회전에 변화하지 않는 특이점의 특성을 128차원의 SIFT 구분자로 표현하는 방법으로 주로 이미지 매칭에 활용된다.
도 1 에서, 텍스트 정보 구축 장치(10)는 사용자가 실내도면 이미지를 입력하면 텍스트 성분이 존재하는 텍스트 성분 이미지와 그래픽 성분이 존재하는 그래픽 성분 이미지를 얻을 수 있는, 실내도면 이미지에서의 텍스트 정보 구축 방법을 포함하는 것으로, 텍스트 분류모형 학습·구축 모듈(11), 전처리 모듈(12), 겹치지 않는 텍스트 분리 모듈(13), 겹치는 텍스트 분리 모듈(14) 및 후처리 모듈(15)을 포함한다. 텍스트 정보 구축 장치(10)는 서버, 데스크톱, 노트북 또는 휴대용 단말기 등으로, 실내도면 이미지에서의 텍스트 정보의 구축을 수행하기 위한 소프트웨어를 포함한다.
더욱이, 텍스트 분류모형 학습·구축 모듈(11)은 학습데이터(연결성분 이미지, SIFT Descriptor)를 생성한 뒤 학습데이터를 이용하여 각각 두 가지의 분류모형(SVM-BoW 모형과 SVM-Descriptor 모형)을 학습시키고 구축하며, 전처리 모듈(12)은 도면 이미지를 하나의 프로세스에 적용하여 분석하기 위해 도면 이미지를 흰색과 검은색 두 개의 픽셀로 변환·분류하는 것이고, 겹치지 않는 텍스트 분리 모듈(13)은 사용자에 의해 입력된 실내도면 이미지에서 분리된 텍스트 이미지의 연결성분에 SVM-BoW 모형을 적용하여 그래픽 성분과 겹치지 않는 텍스트 이미지와 텍스트 연결성분과 형태가 유사한 그래픽 이미지로 분리하는 것이며, 겹치는 텍스트 분리 모듈(14)은 SVM-Descriptor 모형을 그래픽 성분의 SIFT 구분자에 적용하여 텍스트로 분류된 특이점들의 위치 정보를 수집하여 그래픽 성분과 겹치는 텍스트 성분은 분리하는 것이고, 후처리 모듈(15)은 최종 텍스트 이미지를 생성하는 것이다.
더불어 텍스트 정보 구축 장치(10)에서 구축된 자료이거나 입출력 자료는 저장 장치(20)에 저장되도록 하는 것이 좋다.
이와 같이 이루어진 본 발명에 따른 SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법에 관하여 도 2 및 도 5의 흐름도를 참조하여 설명하면 다음과 같다.
우선, 텍스트 정보 구축 장치(10)의 텍스트 분류모형 학습·구축 모듈(11)은 텍스트 분류모형 학습·구축 단계(S10)에서 학습데이터(연결성분 이미지, SIFT Descriptor)를 생성한 뒤 상기 학습데이터를 이용하여 각각 두 가지의 분류모형을 학습시키게 되는데, 상기 두 가지의 분류모형은 연결성분 이미지를 분류하는 SVM-BoW 모형과 SIFT 특이점을 분류하는 SVM-Descriptor 모형이다.
예를 들어, 서울시 건축물의 평면도 2334장과 서울대학교 교내 건축물의 평면도 1179장으로 이루어진 실내 도면 DB를 활용하여 학습데이터를 생성할 수 있고, 이를 통해 텍스트 성분과 그래픽 성분을 분리하는 알고리즘을 개발ㆍ실증하게 되는 것이다.
더불어, 텍스트 정보 구축 장치(10)의 전처리 모듈(12)은 학습데이터 생성 전에 다양한 형태와 색상을 지닌 도면 이미지를 하나의 프로세스에 적용하여 분석하기 위해 실내 도면 DB를 흰색과 검은색 두 개의 픽셀로 변환·분류하는 전처리(S11)를 수행해야 하는데, 이를 위해 Otsu의 이미지 이진화 과정을 사용해 실내 도면 DB의 이진화를 수행하여 이진화 과정에서 생기는 작은 점들의 잡음을 제거하는 과정이 필요하다.
상기 두 가지 분류모형을 학습시키기 위해서 분류모형에 알맞은 학습데이터가 필요한데, 이를 위해 먼저 실내 도면 DB를 수동으로 텍스트 성분만 존재하는 텍스트 이미지(도 3a)와 그래픽 성분만 존재하는 그래픽 이미지(도 3b)로 분리한다(도 3 참조). 여기서 학습은 Python 2.7의 오픈 라이브러리인 sklearn 0.19.1을 통해 구현될 수 있다.
상기 텍스트 분류모형 학습·구축 모듈(11)에 의해 SVM-BoW 모형의 학습데이터(연결성분 이미지)는, 상기 분리된 그래픽 이미지와 텍스트 이미지에서 연결성분 분석을 수행한 뒤 텍스트와 그래픽은 연결성분이 상호 상이하므로 텍스트(도 4b)와 그래픽(도 4a)별로 연결성분 이미지를 수집하여 생성된다(도 4 참조, S12).
또한, 상기 텍스트 분류모형 학습·구축 모듈(11)에 의해 SVM-Descriptor 모형의 학습데이터(SIFT Descriptor)는, 상기 분리된 텍스트 이미지와 그래픽 이미지에 SIFT 알고리즘을 적용한 뒤 텍스트와 그래픽은 구분자가 상호 상이하므로 텍스트와 그래픽별로 특이점의 구분자를 수집하여 생성된다(S12).
상기 텍스트 분류모형 학습·구축 모듈(11)은 각각 생성된 상기 학습데이터(연결성분 이미지, SIFT Descriptor)를 통해 클래스(텍스트와 그래픽)를 구분하는 결정 평면의 여유(margin)를 가장 크게 하는 결정 평면의 파라미터를 학습한 뒤 저장하고(S13), 저장된 파라미터를 통해 연결성분의 클래스(텍스트와 그래픽)를 분류하는 SVM-BoW 모형과, SIFT 특이점의 클래스(텍스트와 그래픽)를 분류하는 SVM-Descriptor 모형을 구축한다(S14). 상기 파라미터 정보는 저장장치(20)에 저장되도록 하는 것이 좋다.
상술한 바와 같이, 생성된 학습데이터를 활용해 결정 평면을 통해 클래스(텍스트와 그래픽)를 분류하는 두 개의 SVM 모형을 학습시키는데, 연결성분 이미지를 사전화(Bag of Words)를 통해 벡터화하는 과정을 거치기 때문에 분류의 대상이 되는 입력데이터의 형태가 연결성분 이미지인 SVM 모형을 SVM-BoW 모형이라 하고, 입력데이터의 형태가 128차원의 벡터인 SIFT Descriptor인 경우 SVM-Descriptor 모형이라 명명한 것이다.
다음으로, 텍스트 정보 구축 장치(10)의 전처리 모듈(12)은 텍스트 분리 대상인, 사용자가 입력한 실내도면 이미지를 이진화시켜 전처리를 수행하는 단계(S20)인데, 텍스트 분류모형 학습·구축 단계에서 상술한 과정과 동일하다. 여기서, 실내도면 이미지는 전자 이미지 형태로 저장 장치(20)에 저장되도록 하는 것이 좋다.
그 다음으로, 텍스트 정보 구축 장치(10)의 겹치지 않는 텍스트 분리 모듈(13)은 전처리가 완료된 실내도면 이미지에서 그래픽 성분과 겹치지 않는 텍스트 분리 단계(S30)에서 실내도면 이미지에 연결성분 분석 후 형태학적 방법을 통한 텍스트 성분 분리를 통해 그래픽 성분과 겹치지 않는 텍스트 성분을 분리하고(S31), 분리한 텍스트 성분 중에는 형태학적 방법으로 분리되지 않는 형태학적으로 텍스트 연결성분과 유사한 그래픽 성분이 포함되어 있으므로 텍스트 분류모형 학습·구축 단계에서 구축된 SVM-BoW 모형을 통해 텍스트 연결성분으로 분류된 연결성분들만을 분리하여 실내도면 이미지를 그래픽 성분과 겹치지 않는 텍스트 이미지와 텍스트 연결성분과 형태가 유사한 그래픽 이미지로 분리한다(S32). 이렇게 분리된 이미지 자료는 저장 장치(20)에 저장되도록 하는 것이 좋다.
본 발명에서 상기 형태학적 방법을 통한 텍스트 성분 분리는 연결성분 분석을 수행(도 6 참조)한 뒤 연결성분을 입력자료로 하는 기존의 Tombre의 방법론을 개량하여 텍스트 성분을 분리하는 것이다.
형태학적 방법론을 사용한 기존의 Tombre 방법론(입력자료: 연결성분)은 실내도면 이미지에 연결성분 분석을 수행한 뒤 연결성분에 도면 이미지 내부 텍스트의 형태학적 특성을 고려한 제한조건을 통해 텍스트 연결성분을 제한하여 그 범위 내에서는 텍스트이고 그 이외는 그래픽으로 보았는데, 그 제한조건은 아래와 같다.
Amp: 연결성분의 최빈 넓이, Aavg: 연결성분의 평균 넓이
T1: 넓이 계수, T2: 선형 계수, n: 도면 상수, T3: 밀도 계수, T4: 최적 선형계수
- 연결성분의 경계상자의 넓이가
Figure 112019022963781-pat00004
보다 작다.
- 연결성분의 경계상자의 높이와 폭이 모두
Figure 112019022963781-pat00005
보다 작다.
- 연결성분의 경계상자의 높이와 폭의 비율(
Figure 112019022963781-pat00006
)이
Figure 112019022963781-pat00007
범위에 존재한다.
- 연결성분의 경계상자에서 검은 픽셀의 밀도(
Figure 112019022963781-pat00008
)가
Figure 112019022963781-pat00009
보다 작다.
- 연결성분의 최적 경계상자(best enclosing rectangle)의 높이와 폭의 비율(
Figure 112019022963781-pat00010
)이
Figure 112019022963781-pat00011
범위에 존재한다.
- 연결성분의 최적 경계상자에서 검은 픽셀의 밀도(
Figure 112019022963781-pat00012
)가 0.5보다 작다.
그러나, 한글 문자의 경우 도 7에 나타낸 바와 같이 하나의 문자를 다수의 연결성분으로 나누어 분리하기 때문에 기존의 연결성분 하나 당 하나의 문자 단위의 형태학적 특성을 통해 정의한 Tombre의 상기 제한조건들의 적용이 불가능하다.
따라서, 본 발명에서는 한글 문자의 경우 겹치지 않는 텍스트 분리 모듈(13)은 분리된 연결성분의 중심점 사이 간 거리가 분리된 연결성분 높이의 평균값
Figure 112019022963781-pat00013
보다 작은 연결성분들을 하나의 연결성분으로 묶은 뒤 묶은 그룹을 대상으로 Tombre의 상기 제한조건들을 적용하여 한글 문자가 포함된 실내도면 이미지를 텍스트 이미지(도 8a)와 그래픽 이미지(도 8b)로 분리한다(도 8 참조).
상술한 바와 같이 형태학적 방법론과 연결성분 분석을 혼합한 방법을 통해 실내도면 이미지에서 텍스트 성분과 그래픽 성분을 분리한 결과(도 8 참조)에는 그래픽 성분과 겹치는 텍스트 성분, 형태학적으로 텍스트와 유사한 그래픽 성분은 분리하지 못하므로 도 8a의 텍스트 이미지는 불완전한 텍스트 이미지라고 볼 수 있다. 그리고, 실내도면 이미지에서 상기 불완전한 텍스트 이미지가 분리된 그래픽 이미지인 도 8b도 텍스트 성분이 포함된 불완전한 그래픽 이미지라고 볼 수 있다.
이에, 실내도면 이미지에서 연결성분 분석 수행과 형태학적 방법을 통한 텍스트 성분 분리 결과 생성된 텍스트 이미지(불완전한 텍스트 이미지, 도 8a)의 연결성분에 겹치지 않는 텍스트 분리 모듈(13)이 텍스트 분류모형 학습·구축 단계에서 구축된 SVM-BoW 모형을 적용하여 그래픽 이미지로 분류되는 연결성분을 제거함으로써 형태학적으로 텍스트와 유사한 그래픽 성분(도 9b)을 분리하면 온전히 그래픽 성분과 겹치지 않는 텍스트 이미지(도 9a)를 추출하게 된다(도 9 참조). 이렇게 추출되어 분리된 이미지 자료는 저장 장치(20)에 저장되도록 하는 것이 좋다.
그 다음으로, 그래픽 성분과 겹치지 않는 텍스트 분리 단계(S30)가 완료된 실내도면 이미지에서 텍스트 정보 구축 장치(10)의 겹치는 텍스트 분리 모듈(14)에 의한 그래픽 성분과 겹치는 텍스트 분리 단계(S40)인데, 상술하였듯이 형태학적 방법론과 연결성분 분석을 혼합한 방법을 통해 실내도면 이미지에서 분리한 그래픽 성분에서 그래픽 성분과 겹치는 텍스트 성분은 분리하지 못하였다(도 8b).
상기 겹치는 텍스트 분리 모듈(14)이 텍스트 분류모형 학습·구축 단계에서 구축된 SVM-Descriptor 모형을 그래픽 성분의 SIFT 구분자에 적용하여 텍스트로 분류된 특이점들의 위치 정보를 수집하면(S42), 이를 통해 텍스트 성분의 위치는 알지만 텍스트 성분이 차지하는 정확한 크기를 알 수 없는 문제점이 있다.
이에, 같은 실내도면 이미지 내부에서는 텍스트의 위치와 상관없이 텍스트 성분들의 크기가 유사한 특성이 있으므로 겹치는 텍스트 분리 모듈(14)이 그래픽 성분과 겹치지 않는 텍스트의 형태학적인 속성을 활용하여 텍스트 특이점 사이의 거리가 2.5×
Figure 112019022963781-pat00014
이하인 텍스트 특이점들을 하나의 그룹으로 묶고 묶인 그룹을 실내도면 이미지에서 분리하면 결국 텍스트 성분이 포함된 불완전한 그래픽 이미지(도 8b)는 텍스트 성분(도 10a)과 그래픽 성분(도 10b)으로 분리된다(도 10 참조). 여기서,
Figure 112019022963781-pat00015
는 한글 문자의 경우 하나의 문자에서 분리된 연결성분을 하나의 연결성분으로 묶은 후의 텍스트 평균 높이이다.
마지막으로, 텍스트 정보 구축 장치(10)의 후처리 모듈(15)은 상술한 그래픽 성분과 겹치지 않는 텍스트 분리 단계에서 생성된 텍스트 이미지(도 9a)와 그래픽 성분과 겹치는 텍스트 분리 단계에서 생성된 텍스트 이미지(도 10a)를 합쳐 텍스트 이미지(도 11a)를 생성한다.
그런 다음, 후처리 모듈(15)에 의해 합쳐진 텍스트 이미지(도 11a)에 연결성분 분석을 수행하고 연결성분 간 거리가 연결성분의 높이 평균의 2.5배 이하인 연결성분들을 하나의 그룹으로 묶어 원본 실내도면 이미지에서 텍스트 성분을 분리하는 후처리 과정을 거쳐 최종 텍스트 이미지(도 11b)를 생성한다. 이렇게 생성된 이미지 자료는 저장 장치(20)에 저장되도록 하는 것이 좋다.
최종적으로 분리된 텍스트 이미지에서 후처리 과정을 통해 텍스트 그룹이 생성되면 생성된 텍스트 그룹의 경계상자의 위치좌표와 형태 정보를 생성하고 OCR을 통해 텍스트의 의미정보를 생성하여 실내도면 이미지의 텍스트 정보 체계(ID, 좌하단 좌표, 높이, 폭, 넓이, 의미) 구축을 완료한다.
한편, 상기 이러한 일련의 과정은 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩한 프로그램 또는 상용 프로그램에 의해 이루어진다.
본 발명은 상기 과정을 통해 실내도면 이미지로부터 자동으로 분리된 텍스트 이미지, 텍스트 정보 및 그래픽 이미지를 얻을 수 있어 실내도면 이미지의 구조적인 해석뿐만 아니라 감성분석(Semantic analysis)을 위한 기반 데이터를 제공받을 수 있다. 특히, 지도 이미지의 경우 이미지 내에서 텍스트 정보의 위치정보가 실내도면에 비해 유용할 정보일 가능성이 높으므로 지도 이미지에 본 발명을 적용해 텍스트 정보를 구축한다면 지도 이미지를 활용하는 많은 연구에 활용 가능할 것이다.
10: 텍스트 정보 구축 장치
11: 텍스트 분류모형 학습·구축 모듈
12: 전처리 모듈
13: 겹치지 않는 텍스트 분리 모듈
14: 겹치는 텍스트 분리 모듈
15: 후처리 모듈
20: 저장 장치

Claims (6)

  1. (a) 텍스트 정보 구축 장치(10)의 텍스트 분류모형 학습·구축 모듈(11)이 실내 도면 DB를 활용하여 텍스트 분류모형(SVM-BoW 모형, SVM-Descriptor 모형)을 학습시키고 구축하는 단계(S10)와;
    (b) 텍스트 정보 구축 장치(10)의 전처리 모듈(12)이 텍스트 분리 대상인, 사용자에 의해 입력된 실내도면 이미지를 흰색과 검은색 두 개의 픽셀로 변환·분류하는 이진화 과정을 통해 전처리를 수행하는 단계(S20)와;
    (c) 텍스트 정보 구축 장치(10)의 겹치지 않는 텍스트 분리 모듈(13)이 형태학적 방법과 SVM-BoW 모형을 통해 전처리가 완료된 실내도면 이미지에서 그래픽 성분과 겹치지 않는 텍스트를 분리하는 단계(S30)와;
    (d) 텍스트 정보 구축 장치(10)의 겹치는 텍스트 분리 모듈(14)이 SVM-Descriptor 모형을 그래픽 성분의 SIFT 구분자에 적용하여 상기 단계(c)가 완료된 실내도면 이미지에서 그래픽 성분과 겹치는 텍스트를 분리하는 단계(S40), 및
    (e) 텍스트 정보 구축 장치(10)의 후처리 모듈(15)이 상기 단계(c)에서 생성된 텍스트 이미지와 상기 단계(d)에서 생성된 텍스트 이미지를 합치는 단계를 포함하여 이루어지되,
    상기 단계(d)는,
    (d1) 겹치는 텍스트 분리 모듈(14)이 상기 단계(a)에서 구축된 SVM-Descriptor 모형을 그래픽 성분의 SIFT 구분자에 적용하여 텍스트로 분류된 특이점들의 위치 정보를 수집하는 단계(S42)와;
    (d2) 겹치는 텍스트 분리 모듈(14)이 텍스트 특이점 사이의 거리가 2.5×
    Figure 112020040382665-pat00036
    (여기서,
    Figure 112020040382665-pat00037
    는 한글 문자의 경우 하나의 문자에서 분리된 연결성분을 하나의 연결성분으로 묶은 후의 텍스트 평균 높이) 이하인 텍스트 특이점들을 하나의 그룹으로 묶고 묶인 그룹을 실내도면 이미지에서 분리하여, 텍스트 성분이 포함된 그래픽 이미지를 텍스트 성분과 그래픽 성분으로 분리하는 단계로 이루어지는 것을 특징으로 하는, SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법.
  2. 제 1 항에 있어서,
    상기 단계(a)는,
    (a1) 텍스트 정보 구축 장치(10)의 전처리 모듈(12)이 실내 도면 DB를 흰색과 검은색 두 개의 픽셀로 변환·분류하는 이진화 과정을 통해 전처리를 수행하는 단계(S11)와;
    (a2) 상기 텍스트 분류모형 학습·구축 모듈(11)이 실내 도면 DB로부터 분리된 그래픽 이미지와 텍스트 이미지에서 연결성분 분석을 수행한 뒤 텍스트와 그래픽별로 SVM-BoW 모형의 학습데이터인 연결성분 이미지를 생성하고, 실내 도면 DB로부터 분리된 그래픽 이미지와 텍스트 이미지에 SIFT 알고리즘을 적용한 뒤 텍스트와 그래픽별로 SVM-Descriptor 모형의 학습데이터인 SIFT Descriptor를 생성하는 단계(S12)와;
    (a3) 상기 텍스트 분류모형 학습·구축 모듈(11)이 생성된 상기 학습데이터(연결성분 이미지, SIFT Descriptor)를 통해 SVM-BoW 모형과 SVM-Descriptor 모형을 학습시키는 단계(S13), 및
    (a4) 상기 텍스트 분류모형 학습·구축 모듈(11)이 연결성분의 클래스(텍스트와 그래픽)를 분류하는 SVM-BoW 모형과, SIFT 특이점의 클래스(텍스트와 그래픽)를 분류하는 SVM-Descriptor 모형을 구축하는 단계(S14)로 이루어지는 것을 특징으로 하는, SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법.
  3. 제 1 항에 있어서,
    상기 단계(c)는,
    (c1) 겹치지 않는 텍스트 분리 모듈(13)이 실내도면 이미지에 연결성분 분석 후 형태학적 방법을 통한 텍스트 성분 분리를 통해 그래픽 성분과 겹치지 않는 텍스트 성분을 분리하는 단계(S31)와;
    (c2) 상기 단계(c1)에서 분리한 텍스트 성분 중에는 형태학적 방법으로 분리되지 않는 형태학적으로 텍스트 연결성분과 유사한 그래픽 성분이 포함되어 있으므로, 겹치지 않는 텍스트 분리 모듈(13)이 상기 단계(a)에서 구축된 SVM-BoW 모형을 통해 텍스트 연결성분으로 분류된 연결성분들만을 분리하여 실내도면 이미지를 그래픽 성분과 겹치지 않는 텍스트 이미지와 텍스트 연결성분과 형태가 유사한 그래픽 이미지로 분리하는 단계(S32)로 이루어지는 것을 특징으로 하는, SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 형태학적 방법은, 분리된 연결성분의 중심점 사이 간 거리가 분리된 연결성분 높이의 평균값
    Figure 112019022963781-pat00016
    보다 작은 연결성분들을 하나의 연결성분으로 묶은 뒤 묶은 그룹인 연결성분을 입력자료로 하는 Tombre의 제한조건들을 적용하여 제한조건 범위 내에서는 텍스트 성분이고 그 이외는 그래픽 성분인 것으로 분리하는, SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    (f) 후처리 모듈(15)이 상기 단계(e)에서 합쳐진 텍스트 이미지에 연결성분 분석을 수행하고 연결성분 간 거리가 연결성분의 높이 평균의 2.5배 이하인 연결성분들을 하나의 그룹으로 묶어 원본 실내도면 이미지에서 텍스트 성분을 분리하는 후처리 과정을 거쳐 최종 텍스트 이미지를 생성하는 단계가 추가되는 것을 특징으로 하는, SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법.
KR1020190025736A 2019-03-06 2019-03-06 Sift 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법 Active KR102109855B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190025736A KR102109855B1 (ko) 2019-03-06 2019-03-06 Sift 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190025736A KR102109855B1 (ko) 2019-03-06 2019-03-06 Sift 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법

Publications (1)

Publication Number Publication Date
KR102109855B1 true KR102109855B1 (ko) 2020-05-12

Family

ID=70679402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190025736A Active KR102109855B1 (ko) 2019-03-06 2019-03-06 Sift 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법

Country Status (1)

Country Link
KR (1) KR102109855B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274081B1 (ko) * 2021-04-12 2021-07-07 사단법인 한국선급 딥러닝을 이용한 선박 도면 내 객체 인식 시스템
CN114638957A (zh) * 2022-03-14 2022-06-17 北京感易智能科技有限公司 文本分离方法、装置、电子设备和存储介质
KR20230036327A (ko) * 2021-09-07 2023-03-14 서울대학교산학협력단 패치기반의 딥러닝 알고리즘을 통한 실내도면 이미지에서의 실내공간정보 자동추출방법 및 그 장치
CN118887671A (zh) * 2024-09-29 2024-11-01 湖北微模式科技发展有限公司 一种基于图像处理的彩色文字打印重影质检方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022938A (ja) * 2009-07-17 2011-02-03 Fujitsu Ltd 文字認識装置、文字認識プログラムおよび文字認識方法
KR20140061033A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022938A (ja) * 2009-07-17 2011-02-03 Fujitsu Ltd 文字認識装置、文字認識プログラムおよび文字認識方法
KR20140061033A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2002 International Work shop on Document Analysis Systems, Springer, Princeton, NJ, USA, Aug. 19-21, pp. 200-211.;Tombre, K., S. Tabbone, L. Pelissier, B. Lamiroy, and P. Dosch; Text/graphics separation revisited

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274081B1 (ko) * 2021-04-12 2021-07-07 사단법인 한국선급 딥러닝을 이용한 선박 도면 내 객체 인식 시스템
KR20230036327A (ko) * 2021-09-07 2023-03-14 서울대학교산학협력단 패치기반의 딥러닝 알고리즘을 통한 실내도면 이미지에서의 실내공간정보 자동추출방법 및 그 장치
KR102535054B1 (ko) 2021-09-07 2023-05-26 서울대학교산학협력단 패치기반의 딥러닝 알고리즘을 통한 실내도면 이미지에서의 실내공간정보 자동추출방법 및 그 장치
CN114638957A (zh) * 2022-03-14 2022-06-17 北京感易智能科技有限公司 文本分离方法、装置、电子设备和存储介质
CN118887671A (zh) * 2024-09-29 2024-11-01 湖北微模式科技发展有限公司 一种基于图像处理的彩色文字打印重影质检方法及装置

Similar Documents

Publication Publication Date Title
Moreno-García et al. New trends on digitisation of complex engineering drawings
KR102109855B1 (ko) Sift 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축 방법
CN110929665A (zh) 一种自然场景曲线文本检测方法
CN109685065B (zh) 试卷内容自动分类的版面分析方法、系统
Fabrizio et al. Textcatcher: a method to detect curved and challenging text in natural scenes
Kölsch et al. Recognizing challenging handwritten annotations with fully convolutional networks
Bhatti et al. Image search in patents: a review
Abedin et al. Traffic sign recognition using hybrid features descriptor and artificial neural network classifier
Mishchenko et al. Model-based chart image classification
CN115620322A (zh) 一种基于关键点检测的全线表表格结构识别方法
Sarkar et al. Suppression of non-text components in handwritten document images
Hamplová et al. Cuneiform reading using computer vision algorithms
Mizanur Rahman et al. Graph-based object detection enhancement for symbolic engineering drawings
KS et al. SolveIt: an application for automated recognition and processing of handwritten mathematical equations
CN118135582A (zh) 文献图表提取及分类方法、系统、计算机设备及存储介质
Ganpatrao et al. Information extraction from topographic map using colour and shape analysis
Kashevnik et al. An approach to engineering drawing organization: Title block detection and processing
Samundiswary et al. Real-time detection and classification of street signs using deep learning with voice alert system
Sinha et al. An effective real-time approach to automatic number plate recognition (ANPR) using YOLOv3 and OCR
Chen et al. Text detection in traffic informatory signs using synthetic data
Zaki et al. Hand drawn graph recognition
Gupta et al. HTML Atomic UI Elements Extraction from Hand-Drawn Website Images using Mask-RCNN and novel Multi-Pass Inference Technique.
Bhutra et al. Enhanced Recognition of Hand-Drawn Circuit Components Using Fast R-CNN and Faster R-CNN
Alexiou et al. An evaluation of table detection methods in document images
Li et al. Comic2cebx: a system for automatic comic content adaptation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190306

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200326

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200501

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200506

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200506

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230424

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240424

Start annual number: 5

End annual number: 5