KR20210128907A - 정보 추출 방법, 장치, 기기 및 저장 매체 - Google Patents

정보 추출 방법, 장치, 기기 및 저장 매체 Download PDF

Info

Publication number
KR20210128907A
KR20210128907A KR1020210033307A KR20210033307A KR20210128907A KR 20210128907 A KR20210128907 A KR 20210128907A KR 1020210033307 A KR1020210033307 A KR 1020210033307A KR 20210033307 A KR20210033307 A KR 20210033307A KR 20210128907 A KR20210128907 A KR 20210128907A
Authority
KR
South Korea
Prior art keywords
document image
information
keypoint
location
target document
Prior art date
Application number
KR1020210033307A
Other languages
English (en)
Other versions
KR102634484B1 (ko
Inventor
푸 추
민후이 팡
구앙야오 한
저칭 지앙
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210128907A publication Critical patent/KR20210128907A/ko
Application granted granted Critical
Publication of KR102634484B1 publication Critical patent/KR102634484B1/ko

Links

Images

Classifications

    • G06K9/00456—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G06K9/344—
    • G06K9/6211—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V30/1902—Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06V30/19067—Matching configurations of points or features, e.g. constellation matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 출원의 실시예는 이미지 처리 기술 분야에 관한 것으로 정보 추출 방법, 장치, 기기 및 저장 매체를 개시한다. 상기 정보 추출 방법은, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하는 단계; 대상 문서 이미지 상에서의 제1 키포인트 위치를 결정하는 단계; 제1 키포인트 위치 및 위치 템플릿 상에서의 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하는 단계; 위치 템플릿 상에서의 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정하는 단계; 및 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지에 포함된 정보를 획득하는 단계를 포함한다. 상기 실시형태는, 특정 카테고리의 문서 이미지의 위치 템플릿을 생성하여, 상기 카테고리의 문서 이미지에 대응되는 정보 위치를 결정하고, 문서 이미지에 대응되는 정보 위치에서 해당 정보를 추출함으로써, 간단하고 신속한 정보 추출을 구현한다.

Description

정보 추출 방법, 장치, 기기 및 저장 매체{A METHOD, A DEVICE, AN ELECTRONIC EQUIPMENT AND A STORAGE MEDIUM FOR EXTRACTING INFORMATION}
본 출원의 실시예는 컴퓨터 기술 분야에 관한 것으로, 구체적으로 이미지 처리 기술 분야에 관한 것이다.
AI(Artificial Intelligence, 인공 지능) 기술의 지속적인 발전과 함께, AI는 문서 이미지의 지능적 분석을 수행하는데 점점 더 많이 사용되고 있다. AI는 문서 이미지의 방향 및 왜곡 보정, 레이아웃 분석, 콘텐츠 인식 등을 수행할 수 있고, 이러한 기능은 문서 이미지에 대한 입력, 심사와 관련된 각 유형의 작업자에게 매우 큰 편이를 제공해주며, 각 유형의 서비스 프로세스의 지능화를 크게 향상시킬 수 있다.
문서 이미지로부터 정보를 추출하는 경우, 특히 다양한 폼(form)에 대한 정보 추출을 수행하는 응용 상황은 매우 보편적이다. 현재, 문서 이미지의 정보를 추출하는 주요 방식으로는, 우선 전체 문서 이미지에 대해 광학 문자 인식(optical character recognition, OCR)을 수행한 다음, 획득한 결과에 대해 구조화를 수행하여 상응한 정보를 추출하는 것이다. 테이블을 포함한 문서 이미지의 경우, 우선 테이블 범위를 재구축하여, 각각의 셀의 위치를 획득한 다음, 각각의 셀에 대해 광학 문자 인식을 수행하고, 마지막에 테이블 헤더 등 상황에 따라 구조화를 수행하여 상응한 정보를 추출한다.
본 출원의 실시예는 정보 추출 방법, 장치, 기기 및 저장 매체를 제공한다.
일 측면에 따른 정보 추출 방법은, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하는 단계; 대상 문서 이미지 상에서의 제1 키포인트 위치를 결정하는 단계; 제1 키포인트 위치 및 위치 템플릿 상에서의 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하는 단계; 위치 템플릿 상에서의 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정하는 단계; 및 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지에 포함된 정보를 획득하는 단계를 포함한다.
다른 측면에 따른 정보 추출 장치는, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하는 위치 템플릿 획득 모듈; 대상 문서 이미지 상에서의 제1 키포인트 위치를 결정하는 키포인트 위치 결정 모듈; 제1 키포인트 위치 및 위치 템플릿 상에서의 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하는 변환 행렬 생성 모듈; 위치 템플릿 상에서의 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정하는 키포인트 위치 결정 모듈; 및 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지에 포함된 정보를 획득하는 정보 추출 모듈을 포함한다.
또 다른 측면에 따른 전자 기기는, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하는 전자 기기를 제공하며, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되고, 명령어는 적어도 하나의 프로세서에 의해 실행되어, 적어도 하나의 프로세서가 상술한 방법을 수행한다.
또 다른 측면에 따른 컴퓨터 명령어가 저장된 비일시적 컴퓨터 판독 가능 저장 매체는, 컴퓨터 명령어에 의하여 컴퓨터가 상술한 방법을 수행하도록 한다.
또 다른 측면에 따른 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램은, 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 상술한 방법을 수행하도록 한다.
본 출원의 실시예에서 제공된 정보 추출 방법, 장치, 기기 및 저장 매체에 있어서, 우선, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하고; 그 다음으로, 대상 문서 이미지 상 키포인트 위치를 결정하며; 그 다음, 대상 문서 이미지 상 키포인트 위치 및 위치 템플릿 상 키포인트 위치에 기반하여, 변환 행렬을 생성하고; 다음, 위치 템플릿 상 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정하며; 마지막으로, 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지 속 정보를 획득한다. 특정 카테고리의 문서 이미지의 위치 템플릿을 생성하여, 상기 카테고리의 문서 이미지에 대응되는 정보 위치를 결정하고, 문서 이미지에 대응되는 정보 위치 부분으로부터 정보를 추출함으로써, 간단하고 신속한 정보 추출을 구현한다.
본 부분에서 설명된 내용은 본 출원의 실시예의 핵심 또는 중요한 특징을 식별하기 위한 것이 아니며, 본 출원의 범위를 한정하려는 의도도 아님을 이해할 것이다. 본 출원의 다른 특징들은 아래 명세서에 의해 쉽게 이해될 것이다.
아래 첨부 도면에 도시된 비 제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해 본 출원의 다른 특징, 목적 및 장점이 보다 명백해질 것이다. 도면은 본 해결수단을 더 잘 이해하기 위한 것으로, 본 출원에 대해 한정하는 것으로 구성되지 않는다.
도 1은 본 출원이 적용될 수 있는 예시적 시스템 아키텍처이다.
도 2는 본 출원에 따른 정보 추출 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 정보 추출 방법의 다른 일 실시예의 흐름도이다.
도 4a는 문서 이미지의 일 개략도를 도시한다.
도 4b는 변환된 문서 이미지의 일 개략도를 도시한다.
도 5는 본 출원에 따른 정보 추출 장치의 일 실시예의 구조 개략도이다.
도 6은 본 출원의 실시예의 정보 추출 방법을 구현하기 위한 전자 기기의 블록도이다.
아래 도면과 결부시켜 본 출원의 예시적 실시예를 설명하되, 본 명세서에 이해를 돕기 위한 본 출원의 실시예의 다양한 세부사항들이 포함되어 있으나, 이들은 단지 예시적인 것으로만 이해해야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 출원의 범위 및 정신을 벗어나지 않는 전제 하에 본 명세서에서 설명된 실시예에 대해 다양한 변형 및 수정을 진행할 수 있음을 이해해야 한다. 마찬가지로, 명확하고 간략한 설명을 위해, 아래의 설명에서 공지 기능 및 구조에 대한 설명을 생략한다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.
본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
한편, 본 명세서에서 하나의 도면 내에서 개별적으로 설명되는 기술적 특징은 개별적으로 구현될 수도 있고, 동시에 구현될 수도 있다.
본 명세서에서, "~모듈(module)"은 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
모순되지 않는 한, 본 출원의 실시예 및 실시예의 특징은 서로 조합될 수 있음을 유의해야 한다. 아래 첨부 도면을 참조하고 실시예를 참조하여 본 출원을 상세히 설명하기로 한다.
도 1은 본 출원이 적용될 수 있는 예시적 시스템 아키텍처이다.
도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 단말 기기(101), 네트워크(102) 및 서버(103)를 포함할 수 있다. 네트워크(102)는 단말 기기(101)와 서버(103) 사이에서 통신 링크로서 매체 역할을 한다. 네트워크(102)는 다양한 연결 유형을 포함할 수 있는 바, 예를 들어 유선, 무선 통신 링크 또는 광섬유 케이블 등이 있다.
사용자는 단말 기기(101)를 사용하여 네트워크(102)를 통해 서버(103)와 인터랙션함으로써 메시지 등을 수신 또는 발송할 수 있다. 단말 기기(101)에는 다양한 클라이언트 애플리케이션이 설치될 수 있는 바, 예를 들어 문서 지능형 처리 애플리케이션, 이미지 처리 애플리케이션 등이 있다.
단말 기기(101)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 기기(101)가 하드웨어인 경우, 다양한 전자 기기일 수 있으며, 스마트폰, 태블릿 PC, 휴대형 랩톱 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되는 것은 아니다. 단말 기기(101)가 소프트웨인 경우, 다양한 전자 기기에 설치될 수 있다. 단말 기기(101)가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있다. 본 명세서에서는 구체적으로 한정하지 않는다.
서버(103)는 다양한 서비스를 제공할 수 있다. 예를 들어, 서버(103)는 단말 기기(101)로부터 획득한 대상 문서 이미지 등 데이터에 대해 분석 등 처리를 진행하고, 처리 결과(예를 들어 대상 문서 이미지 속 정보)를 생성한다.
서버(103)는 하드웨어 또는 소프트웨어일 수 있다. 서버(103)가 하드웨어인 경우, 복수의 서버로 구성된 분산형 서버 클러스터로 구현될 수도 있고, 하나의 서버로 구현될 수도 있다. 서버(103)가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들어 분산형 서비스를 제공함)로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있다. 본 명세서에서는 구체적으로 한정하지 않는다.
본 출원의 실시예에서 제공된 정보 추출 방법은 일반적으로 서버(103)에 의해 수행되고, 따라서, 정보 추출 장치는 일반적으로 서버(103)에 설치될 수 있다.
도 1 중의 단말 기기(101), 네트워크(102) 및 서버(103)의 개수는 예시적인 것일 뿐이다. 실제 필요에 따라, 시스템 아키텍쳐(100)는 임의의 개수의 단말 기기(101), 네트워크(102) 및 서버(103)를 구비할 수 있다. 서버(103)에 대상 문서 이미지가 저장된 경우, 시스템 아키텍처(100)는 단말 기기(101) 및 네트워크(102)를 설치하지 않을 수도 있다.
도 2는 본 출원에 따른 정보 추출 방법의 일 실시예의 흐름도이다.
상기 정보 추출 방법은 하기와 같은 단계를 포함한다.
단계 201에서, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득한다.
본 실시예에서, 정보 추출 방법의 수행 주체(예를 들어, 도 1에 도시된 서버(103))는 우선 대상 문서 이미지의 카테고리를 결정할 수 있고; 다음 대상 문서 이미지의 카테고리에 기반하여 대응되는 위치 템플릿을 획득한다. 본 명세서에서, 대상 문서 이미지는 정보 추출이 필요한 문서 이미지이다. 일부 실시예에서, 상기 수행 주체 로컬에 대상 문서 이미지가 저장되면, 상기 수행 주체는 로컬로부터 대상 문서 이미지를 직접 획득할 수 있다. 일부 실시예에서, 단말 기기(예를 들어, 도 1에 도시된 단말 기기(101))에 대상 문서 이미지가 저장되면, 사용자는 단말 기기를 사용하여 대상 문서 이미지를 상기 수행 주체에 발송할 수 있다.
일반적으로, 동일한 카테고리의 문서 이미지는 동일한 위치 템플릿에 대응된다. 동일한 카테고리의 문서 이미지는 동일한 레이아웃을 구비할 수 있고, 동일한 카테고리의 상이한 문서 이미지는 상이한 정보 콘텐츠를 구비할 수 있다. 이밖에, 동일한 카테고리의 상이한 문서 이미지는 상이한 방향, 경사 등을 구비할 수 있다. 예를 들어, 동일한 은행의 동일한 버전의 예금 이자 리스트의 이미지는 동일한 카테고리에 속한다. 상이한 은행의 예금 이자 리스트 또는 동일한 은행의 상이한 버전의 예금 이자 리스트의 이미지는 상이한 카테고리에 속한다. 문서 이미지에는 다양한 카테고리의 정보가 존재하는 바, 예를 들어, 은행의 동일한 버전의 예금 이자 리스트에는 성명, 계좌/카드 번호, 실제 원금 이자, 원금, 이자, 세율, 과세이자, 원천과세, 세후 이자와 같은 다양한 카테고리의 정보가 존재할 수 있다.
본 명세서에서, 카테고리의 문서 이미지에 대응되는 위치 템플릿에 상기 카테고리의 표준 문서 이미지 상 키포인트 위치, 이의 다양한 카테고리의 정보 위치가 설치될 수 있다. 동일한 카테고리의 문서 이미지는 하나의 표준 문서 이미지에 대응된다. 표준 문서 이미지는 고정 사이즈, 고정 방향, 고정 경사도(일반적으로 경사가 없음) 등의 문서 이미지이다.
문서 이미지의 키포인트는 상기 문서 이미지의 모든 정보를 포함하는 프레임의 포인트일 수 있다. 일반적으로, 문서 이미지의 키포인트는 반드시 프레임의 4개의 꼭짓점을 포함하고, 이밖에, 문서 이미지의 키포인트는 프레임의 다른 포인트도 포함할 수 있다. 따라서, 문서 이미지는 적어도 4개의 키포인트를 포함한다. 예를 들어, 프레임이 있는 카테고리의 문서 이미지의 경우, 그의 키포인트는 프레임의 4개의 꼭짓점을 포함할 수 있다. 도트 프린트 카테고리의 문서 이미지의 경우, 이의 키포인트는 도트 프린트 시 4개의 마크 포인트를 포함할 수 있다.
문서 이미지 상 정보 위치는 상기 정보가 포함된 프레임의 대각점일 수 있고, 예를 들어, 상기 정보가 포함된 프레임의 좌측 상단 꼭짓점 및 우측 하단 꼭짓점일 수 있다.
테이블을 포함한 문서 이미지를 예로, 테이블의 4개의 꼭짓점은 상기 문서 이미지 상 키포인트 위치일 수 있고, 셀의 좌측 상단 꼭짓점 및 우측 하단 꼭짓점은 상기 문서 이미지 상 정보 위치일 수 있다.
본 명세서에서, 다양한 카테고리의 문서 이미지에 대응되는 위치 템플릿은 미리 생성될 수 있다. 대상 문서 이미지에 대응되는 위치 템플릿을 예로, 이의 생성 단계는 하기와 같다.
우선, 대상 문서 이미지의 카테고리와 동일한 표준 문서 이미지, 및 표준 문서 이미지 상 키포인트 위치 및 정보 위치를 획득한다.
다음, 표준 문서 이미지 상 키포인트 위치 및 정보 위치에 기반하여 표준 문서 이미지를 라벨링하여, 위치 템플릿을 생성한다.
단계 202에서, 대상 문서 이미지 상에서의 제1 키포인트 위치를 결정한다.
본 실시예에서, 상기 수행 주체는 제1 키포인트 위치를 결정할 수 있다. 본 명세서에서, 키포인트 위치는 키포인트의 좌표일 수 있다.
일반적으로, 상기 수행 주체는 기존 또는 딥러닝 키포인트 감지 기술에 기반하여, 제1 키포인트 위치를 결정할 수 있다. 본 명세서에서, 기존의 키포인트 감지 기술은 프레임을 가진 카테고리의 문서 이미지에 대해 키포인트 감지를 수행하는데 사용될 수 있다. 구체적으로, 상기 수행 주체는 우선 문서 이미지 중 프레임의 윤곽점을 감지한 다음, 일정한 전략에 기반하여 윤곽점으로부터 키포인트를 결정한다. 예를 들어, 윤곽점에 외접원을 추가하면, 외접원에 있는 윤곽점이 키포인트이다. 딥러닝 기반의 키포인트 감지 기술은 임의의 카테고리의 문서 이미지에 대해 키포인트 감지를 수행하는데 적용될 수 있다. 예를 들어, 다층 콘볼루션 신경망을 사용하여 문서 이미지의 키포인트를 감지할 수 있다. 다층 콘볼루션 신경망은 완전 연결 계층을 포함하거나 포함하지 않을 수 있다. 완전 연결 계층을 포함한 경우, 출력은 키포인트의 좌표일 수 있다. 완전 연결 계층을 포함하지 않은 경우, 출력은 히트맵(heat map)일 수 있다. 히트맵의 각각의 포인트의 히트 값은 각각의 포인트가 키포인트일 확률을 나타낼 수 있으며, 히트 값이 클수록, 대응되는 포인트가 키포인트일 확률이 더 크다.
단계 203에서, 제1 키포인트 위치 및 위치 템플릿 상에서의 제2 키포인트 위치에 기반하여, 변환 행렬을 생성한다.
본 실시예에서, 상기 수행 주체는 제1 키포인트 위치 및 제2 키포인트 위치에 기반하여, 변환 행렬을 생성할 수 있다.
일반적으로, 변환 행렬은 대상 문서 이미지와 위치 템플릿 사이의 매핑을 구현할 수 있는 행렬일 수 있고, 이는 대상 문서 이미지의 포인트와 위치 템플릿의 포인트 사이의 매핑 관계를 저장한다. 본 명세서에서, 변환 행렬은 제1 변환 행렬 또는 제2 변환 행렬일 수 있다. 제1 변환 행렬은 대상 문서 이미지로부터 위치 템플릿에 매핑되는 행렬일 수 있고, 대상 문서 이미지의 포인트부터 위치 템플릿의 포인트로의 매핑 관계를 저장한다. 제1 키포인트 위치 및 제2 키포인트 위치에 기반하여, 대상 문서 이미지로부터 위치 템플릿으로의 매핑 관계를 결정함으로써, 제1 변환 행렬을 생성한다. 제2 변환 행렬은 위치 템플릿으로부터 대상 문서 이미지에 매핑되는 행렬일 수 있고, 위치 템플릿의 포인트에서부터 대상 문서 이미지의 포인트로의 매핑 관계를 저장한다. 제2 키포인트 위치 및 제1 키포인트 위치에 기반하여, 위치 템플릿으로부터 대상 문서 이미지로의 매핑 관계를 결정함으로써, 제2 변환 행렬을 생성한다.
단계 204에서, 위치 템플릿 상에서의 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정한다.
본 실시예에서, 상기 수행 주체는 위치 템플릿 상에서의 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정할 수 있다.
일부 실시예에서, 변환 행렬이 제1 변환 행렬이면, 상기 수행 주체는 우선 제1 변환 행렬에 기반하여 대상 문서 이미지를 변환하여, 변환된 문서 이미지를 획득하고; 다음 위치 템플릿 상 정보 위치를 변환된 문서 이미지 상 정보 위치로 사용한다. 제1 변환 행렬이 대상 문서 이미지로부터 위치 템플릿에 매핑되는 행렬이므로, 제1 변환 행렬에 기반하여 대상 문서 이미지를 변환하여, 대상 문서 이미지를 변환된 문서 이미지로 표준화할 수 있다. 변환된 문서 이미지의 사이즈, 방향, 경사 등이 위치 템플릿과 일치하도록 표준화되므로, 변환된 문서 이미지 상에서의 정보 위치와 위치 템플릿 상에서의 정보 위치는 일치한다.
일부 실시예에서, 변환 행렬이 제2 변환 행렬이면, 상기 수행 주체는 제2 변환 행렬에 기반하여 위치 템플릿 상 정보 위치를 변환하여, 대상 문서 이미지 상 정보 위치를 획득할 수 있다. 제2 변환 행렬이 위치 템플릿으로부터 대상 문서 이미지에 매핑되는 행렬이므로, 제2 변환 행렬에 기반하여 위치 템플릿 상에서의 정보 위치를 변환하여, 위치 템플릿 상에서의 정보 위치를 대상 문서 이미지 상에서의 정보 위치로 변환할 수 있다.
단계 205에서, 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지에 포함된 정보를 획득한다.
본 실시예에서, 상기 수행 주체는 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지에 포함된 정보를 획득할 수 있다. 예를 들어, 대상 문서 이미지에 대응되는 정보 위치 부분에 대해 광학 문자 인식을 수행할 경우, 이의 인식 결과는 즉 대상 문서 이미지에서의 정보가 된다.
본 출원의 실시예에서 제공된 정보 추출 방법에 있어서, 우선, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하고; 그 다음으로, 제1 키포인트 위치를 결정하며; 다음, 제1 키포인트 위치 및 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하고; 다음, 위치 템플릿 상에서의 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정하며; 마지막으로에, 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지에 포함된 정보를 획득한다. 특정 카테고리의 문서 이미지의 위치 템플릿을 생성하여, 상기 카테고리의 문서 이미지에 대응되는 정보 위치를 결정하고, 문서 이미지에 대응되는 정보 위치 부분으로부터 정보를 추출함으로써, 간단하고 신속한 정보 추출을 구현한다. 종래의 기술에서 구조화 효과가 바람직하지 않는 기술적 문제를 해결하고, 종래의 기술에서 구조화 효과가 특히 떨어지는 손글씨 사이즈가 크고, 도트 프린트 콘텐츠가 오프셋하는 등 문제를 포함하는 상황에 적용될 수 있다.
또한, 본 출원의 실시예에서 제공하는 정보 추출 방법은 다양한 문서 지능형 처리 플랫폼에 통합되어, 플랫폼 기능의 확장으로 사용될 수 있으며, 플랫폼이 관련 문서 이미지의 정보를 추출하는 등 작업에서 보다 양호한 효과를 획득하는데 도움이 된다.
도 3은 본 출원에 따른 정보 추출 방법의 다른 일 실시예의 흐름도이다.
상기 정보 추출 방법은 하기와 같은 단계를 포함한다.
단계 301에서, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득한다.
본 실시예에서, 단계 301의 구체적인 동작은 도 2에 도시된 실시예의 단계 201에서 이미 상세하게 소개하였으므로, 본 명세서에서 더이상 설명하지 않는다.
단계 302에서, 대상 문서 이미지의 카테고리에 대응되는 키포인트 감지 모델을 획득한다.
본 실시예에서, 정보 추출 방법의 수행 주체(예를 들어, 도 1에 도시된 서버(103))는 대상 문서 이미지의 카테고리에 대응되는 키포인트 감지 모델을 획득할 수 있다.
일반적으로, 동일한 카테고리의 문서 이미지는 동일한 키포인트 감지 모델에 대응된다. 키포인트 감지 모델은 해당 카테고리의 문서 이미지 상 키포인트 위치를 감지할 수 있다. 키포인트 감지 모델은 딥러닝 트레이닝을 통해 획득될 수 있는 딥러닝 기반의 키포인트 감지 기술이다.
대상 문서 이미지의 카테고리에 대응되는 키포인트 감지 모델을 예로, 이의 트레이닝 단계는 하기와 같다.
우선, 대상 문서 이미지의 카테고리와 동일한 문서 이미지 집합, 및 문서 이미지 집합 중 문서 이미지 상에서의 제3 키포인트 위치를 획득한다.
본 명세서에서, 문서 이미지 집합는 대상 문서 이미지의 카테고리와 동일한 대량의 문서 이미지를 포함할 수 있다.
다음, 제3 키포인트 위치에 기반하여 해당 문서 이미지를 라벨링함으로써, 샘플 문서 이미지 집합을 생성한다.
마지막으로, 샘플 문서 이미지 집합으로 트레이닝하여 키포인트 감지 모델을 획득한다.
일반적으로, 샘플 문서 이미지 집합 중 샘플 문서 이미지를 입력으로 사용하고, 입력된 샘플 문서 이미지에 라벨링된 키포인트 위치를 출력으로 사용하여, 다층 콘볼루션 신경망에 대해 트레이닝함으로써, 키포인트 감지 모델을 획득할 수 있다.
단계 303에서, 대상 문서 이미지를 키포인트 감지 모델에 입력하여, 제1 키포인트 위치를 획득한다.
본 실시예에서, 상기 수행 주체는 대상 문서 이미지를 키포인트 감지 모델에 입력하여, 제1 키포인트 위치를 획득할 수 있다.
일반적으로, 키포인트 감지 모델은 임의의 카테고리의 문서 이미지가 키포인트 감지를 수행하는데 적용될 수 있다. 키포인트 감지 모델은 완전 연결 계층을 포함하거나 포함하지 않을 수 있다. 완전 연결 계층을 포함한 경우, 출력은 키포인트의 좌표일 수 있다. 완전 연결 계층을 포함하지 않은 경우, 출력은 히트맵일 수 있다. 히트맵의 각각의 포인트의 히트 값은 각각의 포인트가 키포인트일 확률을 나타낼 수 있으며, 히트 값이 클수록, 대응되는 포인트가 키포인트일 확률이 더 크다.
단계 304에서, 제1 키포인트 위치에서부터 제2 키포인트 위치로의 제1 변환 행렬을 생성한다.
본 실시예에서, 상기 수행 주체는 제1 키포인트 위치에서부터 제2 키포인트 위치로의 제1 변환 행렬을 생성할 수 있다.
일반적으로, 제1 변환 행렬은 대상 문서 이미지로부터 위치 템플릿에 매핑되는 행렬일 수 있고, 대상 문서 이미지의 포인트에서부터 위치 템플릿의 포인트로의 매핑 관계를 저장한다. 제1 키포인트 위치 및 제2 키포인트 위치에 기반하여, 대상 문서 이미지로부터 위치 템플릿까지의 매핑 관계를 결정할 수 있음으로써, 제1 변환 행렬을 생성한다.
단계 305에서, 제1 변환 행렬에 기반하여 대상 문서 이미지를 변환하여, 변환된 문서 이미지를 획득한다.
본 실시예에서, 상기 수행 주체는 제1 변환 행렬에 기반하여 대상 문서 이미지를 변환하여, 변환된 문서 이미지를 획득할 수 있다. 제1 변환 행렬이 대상 문서 이미지로부터 위치 템플릿에 매핑되는 행렬이므로, 제1 변환 행렬에 기반하여 대상 문서 이미지를 변환하여, 대상 문서 이미지를 변환된 문서 이미지로 표준화할 수 있다. 본 명세서에서, 변환된 문서 이미지의 사이즈, 방향, 경사 등이 표준 문서 이미지와 일치하도록 표준화된다.
단계 306에서, 위치 템플릿 상에서의 정보 위치를 변환된 문서 이미지 상에서의 정보 위치로 사용한다.
본 실시예에서, 상기 수행 주체는 위치 템플릿 상에서의 정보 위치를 변환된 문서 이미지 상에서의 정보 위치로 사용할 수 있다. 변환된 문서 이미지의 사이즈, 방향, 경사 등이 위치 템플릿과 일치하도록 표준화되므로, 변환된 문서 이미지 상에서의 정보 위치와 위치 템플릿 상에서의 정보 위치는 일치한다.
단계 307에서, 변환된 문서 이미지 상에서의 정보 위치에 위치한 정보를 추출하여, 변환된 문서 이미지 상에서의 정보 위치를 획득한다.
본 실시예에서, 상기 수행 주체는 변환된 문서 이미지 상 정보 위치에 위치한 정보를 추출하여, 변환된 문서 이미지 상 정보 위치를 획득할 수 있다. 예를 들어, 변환된 문서 이미지 상에서의 정보 위치 부분에 대해 광학 문자 인식을 수행하면, 이의 인식 결과는 즉 대상 문서 이미지에 포함된 정보가 된다.
도 3으로부터 보다시피, 도 2에 대응되는 실시예와 비교해보면, 본 실시예에서의 정보 추출 방법의 흐름(300)은 키포인트 위치 결정 단계 및 위치 정보 변환 단계를 강조한다. 이로써, 본 실시예에서 설명한 해결수단에서, 키포인트 감지 모델을 사용하여 대응 카테고리의 문서 이미지 상에서의 키포인트 위치를 감지하는데, 이는 임의의 카테고리의 문서 이미지에 대해 키포인트 감지를 수행하는데 적용되어, 정보 추출의 견고성을 향상시킬 수 있다. 특정 카테고리의 문서 이미지의 키포인트 감지 모델 및 위치 템플릿을 생성하여, 문서 이미지에 대해 위치 정렬을 통해 표준화하여, 간단하고, 신속한 정보 추출을 구현하고, 견고하고 효율적이며 정확한 등 특징을 갖는다.
이해의 편의를 위해, 아래에 본 출원의 실시예의 정보 추출 방법을 구현할 수 있는 상황을 제공한다.
도 4a는 문서 이미지의 일 개략도를 도시한다. 또한, 도 4b는 변환된 문서 이미지의 일 개략도를 도시한다.
도 4a는 중국 XX 은행의 어느 한 버전의 예금 이자 리스트의 문서 이미지를 도시한다. 문서 이미지는 성명, 계좌/카드 번호, 실제 원금 이자, 원금, 이자, 세율, 과세이자, 원천과세, 세후 이자와 같은 다양한 카테고리의 정보를 포함한다. 도트 프린트 시, 정보 콘텐츠가 전체적으로 위로 오프셋한다. 이밖에, 문서 이미지의 예금 이자 리스트는 전체적으로 우측으로 경사진다. 도 4a 중 문서 이미지의 실제 지불 원리를 추출해야 할 경우, 우선 도 4a 중 이미지에 대응되는 위치 템플릿 및 키포인트 감지 모델을 획득한다. 이후, 도 4a 중 이미지를 키포인트 감지 모델에 입력하고, 도 4a 중 문서 이미지를 도트 프린팅할 때의 4개의 마크 포인트 A, B, C, D의 좌표를 출력한다. 그 후에, 도 4a 중 문서 이미지의 마크 포인트의 좌표 및 위치 템플릿의 마크 포인트의 좌표에 기반하여, 도 4a 중 문서 이미지로부터 위치 템플릿에 매핑될 수 있는 제1 변환 행렬을 생성한다. 그리고, 제1 변환 행렬에 기반하여 도 4a 중 문서 이미지를 변환하여, 변환된 문서 이미지를 획득하고, 이는 구체적으로 도 4b에 도시된 바와 같다. 마지막으로, 도 4b 중 변환된 문서 이미지에 위치 템플릿의 실제 지불 원리의 좌측 상단 포인트 E 및 우측 하단 F를 라벨링하고, 좌측 상단 포인트 E 및 우측 하단 F에 대해 한정된 셀을 추출하여, 실제 지불 원리 RMB20,988.65를 획득한다.
도 5는 본 출원에 따른 정보 추출 장치의 일 실시예의 구조 개략도이다.
도 5를 참조하면, 장치 실시예는 도 2에 도시된 방법의 실시예와 대응되고, 상기 장치는 다양한 전자 기기에 적용될 수 있다.
도 5에 도시된 바와 같이, 본 실시예의 정보 추출 장치(500)는, 위치 템플릿 획득 모듈(501), 키포인트 위치 결정 모듈(502), 변환 행렬 생성 모듈(503), 정보 위치 결정 모듈(504) 및 정보 추출 모듈(505)을 포함할 수 있다. 본 명세서에서, 위치 템플릿 획득 모듈(501)은 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하고; 키포인트 위치 결정 모듈(502)은 대상 문서 이미지 상에서의 제1 키포인트 위치를 결정하며; 변환 행렬 생성 모듈(503)은 제1 키포인트 위치 및 위치 템플릿 상에서의 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하고; 정보 위치 결정 모듈(504)은 위치 템플릿 상에서의 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정하며; 정보 추출 모듈(505)은 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지에 포함된 정보를 획득한다.
본 실시예에서, 정보 추출 장치(500)에서, 위치 템플릿 획득 모듈(501), 키포인트 위치 결정 모듈(502), 변환 행렬 생성 모듈(503), 정보 위치 결정 모듈(504) 및 정보 추출 모듈(505)의 구체적인 처리 및 이에 의해 이루어진 기술적 효과는 각각 도 2의 대응 실시예 중 단계 201 ~ 단계 205의 관련 설명을 참조할 수 있으며, 본 명세서에서 더이상 설명하지 않는다.
본 실시예의 일부 선택 가능한 구현 방식에서, 키포인트 위치 결정 모듈(502)은, 대상 문서 이미지의 카테고리에 대응되는 키포인트 감지 모델을 획득하고; 대상 문서 이미지를 키포인트 감지 모델에 입력하여, 제1 키포인트 위치를 획득한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 변환 행렬 생성 모듈(503)은, 제1 키포인트 위치에서부터 제2 키포인트 위치로의 제1 변환 행렬을 생성하고; 정보 위치 결정 모듈(504)은, 제1 변환 행렬에 기반하여 대상 문서 이미지를 변환하여, 변환된 문서 이미지를 획득하며; 위치 템플릿 상에서의 정보 위치를 변환된 문서 이미지 상에서의 정보 위치로 사용한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 변환 행렬 생성 모듈(503)은, 제2 키포인트 위치에서 제1 키포인트 위치까지의 제2 변환 행렬을 생성하도록 더 구성되고; 정보 위치 결정 모듈(504)은, 제2 변환 행렬에 기반하여 위치 템플릿 상 정보 위치를 변환하여, 대상 문서 이미지 상에서의 정보 위치를 획득한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 정보 추출 장치(500)는, 모델 트레이닝 모듈(미도시)을 더 포함하며, 모델 트레이닝 모듈은, 대상 문서 이미지의 카테고리와 동일한 문서 이미지 집합, 및 문서 이미지 집합 중 문서 이미지 상에서의 제3 키포인트 위치를 획득하고; 제3 키포인트 위치에 기반하여 해당 문서 이미지를 라벨링함으로써, 샘플 문서 이미지 집합을 생성하며; 샘플 문서 이미지 집합으로 트레이닝하여 키포인트 감지 모델을 획득한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 정보 추출 장치(500)는 템플릿 생성 모듈(미도시)을 더 포함하며, 템플릿 생성 모듈은, 대상 문서 이미지의 카테고리와 동일한 표준 문서 이미지, 및 표준 문서 이미지 상에서의 제4 키포인트 위치 및 정보 위치를 획득하고; 제4 키포인트 위치 및 정보 위치에 기반하여 표준 문서 이미지를 라벨링하여, 위치 템플릿을 생성한다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다.
도 6은 본 출원의 실시예의 정보 추출 방법을 구현하기 위한 전자 기기의 블록도이다.
도 6에 도시된 바와 같이, 본 출원의 실시예의 정보 추출 방법에 따른 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 개인용 디지털 처리, 셀룰러 폰, 스마트 폰, 웨어러블 기기, 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에 표시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것으로서, 본 명세서에서 설명되거나 및/또는 요구되는 본 출원의 구현을 한정하려는 의도가 아니다.
도 6에 도시된 바와 같이, 상기 전자 기기는, 하나 또는 다수의 프로세서(601), 메모리(602), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부재를 연결하기 위한 인터페이스를 포함한다. 각각의 부재는 상이한 버스를 사용하여 상호 연결되고, 또한 공통 마더보드에 설치되거나 수요에 따라 다른 방식으로 설치될 수 있다. 프로세서(601)는 전자 기기 내에서 실행되는 명령어를 처리할 수 있고, 상기 명령어는, 외부 입력/출력 장치(예를 들어, 인터페이스에 결합된 디스플레이 기기)에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리(602) 내 또는 메모리(602)에 저장되는 명령어를 포함한다. 다른 실시형태에서, 필요에 따라, 다수의 프로세서 및/또는 다수의 버스는 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있으며, 각각의 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중 프로세서 시스템으로 사용됨)을 제공한다. 도 6에서는 하나의 프로세서(601)를 예로 한다.
메모리(602)는 본 출원에서 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 본 명세서에서, 상기 메모리(602)에는 적어도 하나의 프로세서(601)에 의해 실행 가능한 명령어가 저장되어, 상기 적어도 하나의 프로세서(601)가 본 출원에서 제공된 정보 추출 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령어를 저장하며, 상기 컴퓨터 명령어는 컴퓨터가 본 출원에서 제공된 정보 추출 방법을 수행하도록 한다.
메모리(602)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예에서의 정보 추출 방법에 대응되는 프로그램 명령어/모듈(예를 들어, 도 5에 도시된 위치 템플릿 획득 모듈(501), 키포인트 위치 결정 모듈(502), 변환 행렬 생성 모듈(503), 정보 위치 결정 모듈(504) 및 정보 추출 모듈(505))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(601)는 메모리(602)에 저장된 비일시적 소프트웨어 프로그램, 명령어 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 상기 방법의 실시예에서의 정보 추출 방법을 구현한다.
메모리(602)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는 바, 본 명세서에서 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 정보 추출 방법에 따른 전자 기기를 사용하여 구축된 데이터 등을 저장할 수 있다. 이밖에, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 저장 소자, 플래시 소자, 또는 다른 비일시적 솔리드 스테이트 저장 소자와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(602)는 프로세서(601)에 대해 원격으로 설치되는 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 정보 추출 방법의 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망, 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
정보 추출 방법의 전자 기기는, 입력 장치(603) 및 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 6에서는 버스를 통한 연결을 예로 한다.
입력 장치(603)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 정보 추출 방법의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 다수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치일 수 있다. 출력 장치(604)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 기기는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
본 명세서에서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 주문형 또는 일반 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령어를 수신할 수 있으며, 또한, 데이터 및 명령어를 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령어를 포함하고, 또한 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 본 명세서에 사용된 바와 같이, 용어 “기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 의미하고, 기계 판독 가능 신호인 기계 명령어를 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있고, 상기 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 센서 피드백(예를 들어, 예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
본 명세서에서 설명된 시스템 및 기술은 백엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터인 바, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 네트워크 브라우저를 통해 본 명세서에서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예는, 근거리 통신망(LAN), 광역망(WAN), 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다.
본 출원의 기술적 해결수단에 따르면, 우선, 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하고; 그 다음으로, 제1 키포인트 위치를 결정하며; 이후, 제1 키포인트 위치 및 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하고; 다음, 위치 템플릿 상 정보 위치 및 변환 행렬에 기반하여, 대상 문서 이미지에 대응되는 정보 위치를 결정하며; 마지막에, 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 대상 문서 이미지 속 정보를 획득한다. 특정 카테고리의 문서 이미지의 위치 템플릿을 생성하여, 상기 카테고리의 문서 이미지에 대응되는 정보 위치를 결정함으로써, 문서 이미지에 대응되는 정보 위치 부분으로부터 정보를 추출하여, 간단하고 신속한 정보 추출을 구현한다.
위에서 설명된 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 동시에, 순차적으로, 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결수단이 이루고자 하는 결과를 구현할 수 있는 한, 본 명세서은 본 명세서에서 한정되지 않는다.
상기 구체적인 실시형태는 본 출원의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는, 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 출원의 정신 및 원칙 내에서 이루어진 임의의 수정, 등가 교체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.

Claims (15)

  1. 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하는 단계;
    상기 대상 문서 이미지 상에서의 제1 키포인트 위치를 결정하는 단계;
    상기 제1 키포인트 위치 및 상기 위치 템플릿 상에서의 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하는 단계;
    상기 위치 템플릿 상에서의 정보 위치 및 상기 변환 행렬에 기반하여, 상기 대상 문서 이미지에 대응되는 정보 위치를 결정하는 단계; 및
    상기 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 상기 대상 문서 이미지에 포함된 정보를 획득하는 단계를 포함하는 정보 추출 방법.
  2. 제1항에 있어서,
    상기 제1 키포인트 위치를 결정하는 단계는,
    상기 대상 문서 이미지의 카테고리에 대응되는 키포인트 감지 모델을 획득하는 단계; 및
    상기 대상 문서 이미지를 상기 키포인트 감지 모델에 입력하여, 상기 제1 키포인트 위치를 획득하는 단계를 포함하는 정보 추출 방법.
  3. 제1항에 있어서,
    상기 변환 행렬을 생성하는 단계는,
    상기 제1 키포인트 위치에서부터 상기 제2 키포인트 위치로의 제1 변환 행렬을 생성하는 단계를 포함하고,
    상기 대상 문서 이미지에 대응되는 정보 위치를 결정하는 단계는,
    상기 제1 변환 행렬에 기반하여 상기 대상 문서 이미지를 변환하여 변환된 문서 이미지를 획득하는 단계; 및
    상기 위치 템플릿 상에서의 정보 위치를 상기 변환된 문서 이미지 상에서의 정보 위치로 사용하는 단계를 포함하는 정보 추출 방법.
  4. 제1항에 있어서,
    상기 변환 행렬을 생성하는 단계는,
    상기 제2 키포인트 위치에서부터 상기 제1 키포인트 위치로의 제2 변환 행렬을 생성하는 단계를 포함하고,
    상기 대상 문서 이미지에 대응되는 정보 위치를 결정하는 단계는,
    상기 제2 변환 행렬에 기반하여 상기 위치 템플릿 상 정보 위치를 변환하여, 상기 대상 문서 이미지 상에서의 정보 위치를 획득하는 단계를 포함하는 정보 추출 방법.
  5. 제2항에 있어서,
    상기 키포인트 감지 모델을 획득하는 단계는,
    상기 대상 문서 이미지의 카테고리와 동일한 문서 이미지 집합 및 상기 문서 이미지 집합 중 문서 이미지 상에서의 제3 키포인트 위치를 획득하는 단계;
    상기 제3 키포인트 위치에 기반하여 해당 문서 이미지를 라벨링함으로써, 샘플 문서 이미지 집합을 생성하는 단계; 및
    상기 샘플 문서 이미지 집합으로 트레이닝하여 상기 키포인트 감지 모델을 획득하는 단계를 포함하는 정보 추출 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 위치 템플릿을 획득하는 단계는,
    상기 대상 문서 이미지의 카테고리와 동일한 표준 문서 이미지 및 상기 표준 문서 이미지 상에서의 제4 키포인트 위치 및 정보 위치를 획득하는 단계; 및
    상기 제4 키포인트 위치 및 정보 위치에 기반하여 상기 표준 문서 이미지를 라벨링함으로써, 상기 위치 템플릿을 생성하는 단계를 포함하는 정보 추출 방법.
  7. 대상 문서 이미지의 카테고리에 대응되는 위치 템플릿을 획득하는 위치 템플릿 획득 모듈;
    상기 대상 문서 이미지 상에서의 제1 키포인트 위치를 결정하는 키포인트 위치 결정 모듈;
    상기 제1 키포인트 위치 및 상기 위치 템플릿 상에서의 제2 키포인트 위치에 기반하여, 변환 행렬을 생성하는 변환 행렬 생성 모듈;
    상기 위치 템플릿 상에서의 정보 위치 및 상기 변환 행렬에 기반하여, 상기 대상 문서 이미지에 대응되는 정보 위치를 결정하는 정보 위치 결정 모듈; 및
    상기 대상 문서 이미지에 대응되는 정보 위치에 위치한 정보를 추출하여, 상기 대상 문서 이미지에 포함된 정보를 획득하는 정보 추출 모듈을 포함하는 정보 추출 장치.
  8. 제7항에 있어서,
    상기 키포인트 위치 결정 모듈은,
    상기 대상 문서 이미지의 카테고리에 대응되는 키포인트 감지 모델을 획득하고;
    상기 대상 문서 이미지를 상기 키포인트 감지 모델에 입력하여, 상기 제1 키포인트 위치를 획득하는 정보 추출 장치.
  9. 제7항에 있어서,
    상기 변환 행렬 생성 모듈은,
    상기 제1 키포인트 위치에서부터 상기 제2 키포인트 위치로의 제1 변환 행렬을 생성하고;
    상기 정보 위치 결정 모듈은,
    상기 제1 변환 행렬에 기반하여 상기 대상 문서 이미지를 변환하여 변환된 문서 이미지를 획득하며;
    상기 위치 템플릿 상에서의 정보 위치를 상기 변환된 문서 이미지 상에서의 정보 위치로 사용하는 정보 추출 장치.
  10. 제7항에 있어서,
    상기 변환 행렬 생성 모듈은,
    상기 제2 키포인트 위치에서부터 상기 제1 키포인트 위치로의 제2 변환 행렬을 생성하고;
    상기 정보 위치 결정 모듈은,
    상기 제2 변환 행렬에 기반하여 상기 위치 템플릿 상 정보 위치를 변환하여, 상기 대상 문서 이미지 상에서의 정보 위치를 획득하는 정보 추출 장치.
  11. 제8항에 있어서,
    모델 트레이닝 모듈을 더 포함하고,
    상기 모델 트레이닝 모듈은,
    상기 대상 문서 이미지의 카테고리와 동일한 문서 이미지 집합 및 상기 문서 이미지 집합 중 문서 이미지 상에서의 제3 키포인트 위치를 획득하고;
    상기 제3 키포인트 위치에 기반하여 해당 문서 이미지를 라벨링함으로써, 샘플 문서 이미지 집합을 생성하며;
    상기 샘플 문서 이미지 집합으로 트레이닝하여 상기 키포인트 감지 모델을 획득하는 정보 추출 장치.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    템플릿 생성 모듈을 더 포함하고,
    상기 템플릿 생성 모듈은,
    상기 대상 문서 이미지의 카테고리와 동일한 표준 문서 이미지, 및 상기 표준 문서 이미지 상에서의 제4 키포인트 위치 및 정보 위치를 획득하며;
    상기 제4 키포인트 위치 및 정보 위치에 기반하여 상기 표준 문서 이미지를 라벨링함으로써, 상기 위치 템플릿을 생성하는 정보 추출 장치.
  13. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하되,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항에 따른 방법을 수행하는 전자 기기.
  14. 컴퓨터 명령어가 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 명령어는 컴퓨터가 제1항에 따른 방법을 수행하는 비일시적 컴퓨터 판독 가능 저장 매체.
  15. 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항에 따른 방법을 수행하는 컴퓨터 프로그램.
KR1020210033307A 2020-04-17 2021-03-15 정보 추출 방법, 장치, 기기 및 저장 매체 KR102634484B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010306625.6A CN111507354B (zh) 2020-04-17 2020-04-17 信息抽取方法、装置、设备以及存储介质
CN202010306625.6 2020-04-17

Publications (2)

Publication Number Publication Date
KR20210128907A true KR20210128907A (ko) 2021-10-27
KR102634484B1 KR102634484B1 (ko) 2024-02-07

Family

ID=71869460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033307A KR102634484B1 (ko) 2020-04-17 2021-03-15 정보 추출 방법, 장치, 기기 및 저장 매체

Country Status (5)

Country Link
US (1) US11468655B2 (ko)
EP (1) EP3816855A3 (ko)
JP (1) JP7273087B2 (ko)
KR (1) KR102634484B1 (ko)
CN (1) CN111507354B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629150B1 (ko) * 2023-08-17 2024-01-25 (주)유알피 Ocr 수행 시 문서 구조화 태그를 활용한 표가 포함된복잡한 구조의 문서 인식으로 데이터셋을 구축하는 방법
KR102629133B1 (ko) * 2023-08-17 2024-01-25 (주)유알피 인공지능 학습 데이터셋 구축을 위한 광학 문자 인식및 문서 구조화 태그를 활용한 문서 인식 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507354B (zh) * 2020-04-17 2023-12-12 北京百度网讯科技有限公司 信息抽取方法、装置、设备以及存储介质
CN113658159A (zh) * 2021-08-24 2021-11-16 中山仰视科技有限公司 一种基于肺部关键点的肺部整体抽取方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097711A1 (en) * 2018-09-21 2020-03-26 Microsoft Technology Licensing, Llc Converting an image into a structured table

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3640488B2 (ja) 1997-01-17 2005-04-20 株式会社リコー 画像処理方法
US6346124B1 (en) * 1998-08-25 2002-02-12 University Of Florida Autonomous boundary detection system for echocardiographic images
US6678416B1 (en) * 2000-02-08 2004-01-13 University Of Washington Detecting and segmenting local deformation in a tracked video object
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
US20070009159A1 (en) * 2005-06-24 2007-01-11 Nokia Corporation Image recognition system and method using holistic Harr-like feature matching
JP2008228211A (ja) * 2007-03-15 2008-09-25 Sharp Corp 画像出力方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム及び記録媒体
US8195003B2 (en) * 2008-06-30 2012-06-05 International Business Machines Corporation Method of correcting digital image distortion caused by a sheet-fed scanner
US8515208B2 (en) * 2010-04-05 2013-08-20 Kofax, Inc. Method for document to template alignment
CN102236789B (zh) * 2010-04-26 2017-06-13 富士通株式会社 对表格图像进行校正的方法以及装置
US8805007B2 (en) * 2011-10-13 2014-08-12 Disney Enterprises, Inc. Integrated background and foreground tracking
US9436875B2 (en) * 2012-12-06 2016-09-06 Nokia Technologies Oy Method and apparatus for semantic extraction and video remix creation
US10588577B2 (en) * 2015-01-29 2020-03-17 Siemens Healthcare Gmbh Patient signal analysis based on affine template matching
US9922452B2 (en) 2015-09-17 2018-03-20 Samsung Electronics Co., Ltd. Apparatus and method for adjusting brightness of image
CN106803269B (zh) * 2015-11-25 2020-03-10 富士通株式会社 对文档图像进行透视校正的方法和设备
RU2647670C1 (ru) * 2016-09-27 2018-03-16 Общество с ограниченной ответственностью "Аби Девелопмент" Автоматизированные способы и системы выявления на изображениях, содержащих документы, фрагментов изображений для облегчения извлечения информации из выявленных содержащих документы фрагментов изображений
AU2018236433B2 (en) 2017-03-17 2022-03-03 Magic Leap, Inc. Room layout estimation methods and techniques
CN107679490B (zh) * 2017-09-29 2019-06-28 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
JP6554193B1 (ja) * 2018-01-30 2019-07-31 三菱電機インフォメーションシステムズ株式会社 記入領域抽出装置および記入領域抽出プログラム
JP2019165836A (ja) 2018-03-22 2019-10-03 キヤノン株式会社 被検体情報取得装置およびその制御方法
US10311556B1 (en) 2018-07-02 2019-06-04 Capital One Services, Llc Systems and methods for image data processing to remove deformations contained in documents
US11881043B2 (en) 2018-07-06 2024-01-23 Rakuten Group, Inc. Image processing system, image processing method, and program
CN110021021A (zh) 2018-07-09 2019-07-16 乐人株式会社 头部图像分析装置及图像分析方法
CN110766014B (zh) * 2018-09-06 2020-05-29 邬国锐 票据信息定位方法、系统及计算机可读存储介质
CN109558844A (zh) * 2018-11-30 2019-04-02 厦门商集网络科技有限责任公司 基于图像归一化提升自定义模板识别率的方法及设备
CN109685026B (zh) * 2018-12-28 2023-04-18 南通大学 一种驾驶员手持手机通话的实时监测方法
US10964015B2 (en) * 2019-01-15 2021-03-30 International Business Machines Corporation Product defect detection
JP6574928B1 (ja) 2019-02-25 2019-09-11 ミツエ 福永 人の行為若しくは人の能力又は企業若しくは物事に関する評価システム
CN110070491A (zh) * 2019-03-16 2019-07-30 平安城市建设科技(深圳)有限公司 银行卡图片矫正方法、装置、设备及存储介质
US20200327356A1 (en) * 2019-04-10 2020-10-15 Camden Town Technologies Private Limited Generation of digital document from analog document
CN110070090B (zh) * 2019-04-25 2021-06-25 上海大学 一种基于手写文字识别的物流标签信息检测方法及系统
CN110147776B (zh) * 2019-05-24 2021-06-11 北京百度网讯科技有限公司 确定人脸关键点位置的方法和装置
EP3767527A1 (en) * 2019-07-16 2021-01-20 Tata Consultancy Services Limited Method and system for region proposal based object recognition for estimating planogram compliance
CN110619316A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 人体关键点检测方法、装置和电子设备
CN110991319B (zh) * 2019-11-29 2021-10-19 广州市百果园信息技术有限公司 手部关键点检测方法、手势识别方法及相关装置
CN111507354B (zh) * 2020-04-17 2023-12-12 北京百度网讯科技有限公司 信息抽取方法、装置、设备以及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097711A1 (en) * 2018-09-21 2020-03-26 Microsoft Technology Licensing, Llc Converting an image into a structured table

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629150B1 (ko) * 2023-08-17 2024-01-25 (주)유알피 Ocr 수행 시 문서 구조화 태그를 활용한 표가 포함된복잡한 구조의 문서 인식으로 데이터셋을 구축하는 방법
KR102629133B1 (ko) * 2023-08-17 2024-01-25 (주)유알피 인공지능 학습 데이터셋 구축을 위한 광학 문자 인식및 문서 구조화 태그를 활용한 문서 인식 장치

Also Published As

Publication number Publication date
US20210326628A1 (en) 2021-10-21
EP3816855A3 (en) 2021-09-29
US11468655B2 (en) 2022-10-11
CN111507354A (zh) 2020-08-07
KR102634484B1 (ko) 2024-02-07
JP2021103578A (ja) 2021-07-15
EP3816855A2 (en) 2021-05-05
CN111507354B (zh) 2023-12-12
JP7273087B2 (ja) 2023-05-12

Similar Documents

Publication Publication Date Title
US11854246B2 (en) Method, apparatus, device and storage medium for recognizing bill image
KR20210128907A (ko) 정보 추출 방법, 장치, 기기 및 저장 매체
US20210319241A1 (en) Method, apparatus, device and storage medium for processing image
US20070192687A1 (en) Document content and structure conversion
CN109685870B (zh) 信息标注方法及装置、标注设备及存储介质
CN111753717B (zh) 用于提取文本的结构化信息的方法、装置、设备及介质
KR102604306B1 (ko) 이미지의 테이블 추출 방법, 장치, 전자 기기 및 저장 매체
CN109408058B (zh) 基于机器学习的前端辅助开发方法和装置
KR20210090576A (ko) 품질을 관리하는 방법, 장치, 기기, 저장매체 및 프로그램
CN111666442B (zh) 一种图像检索方法、装置及计算机设备
KR20210039360A (ko) 구조화 문서 정보 표기 방법, 장치 및 전자기기
CN112052825B (zh) 用于处理图像的方法、装置、设备以及存储介质
CN111208998A (zh) 数据可视化大屏自动布局的方法、装置及存储介质
US20210312173A1 (en) Method, apparatus and device for recognizing bill and storage medium
JP7389824B2 (ja) オブジェクト識別方法と装置、電子機器及び記憶媒体
CN111552829A (zh) 用于分析图像素材的方法和装置
CN110069300A (zh) 视觉稿生成方法、装置、介质及电子设备
CN111079771B (zh) 点读图像的特征提取方法、系统、终端设备及存储介质
CN112204506B (zh) 用于手写文本的自动语言检测的系统和方法
US10761719B2 (en) User interface code generation based on free-hand input
CN113688803B (zh) 公式识别方法、装置、电子设备及存储介质
US11676358B2 (en) Method and apparatus for digitizing paper data, electronic device and storage medium
CN114996226B (zh) 图标检测方法、电子设备、可读存储介质和程序产品
CN111045638B (zh) 光标控制方法、装置、存储介质和终端
CN115145823A (zh) 一种ui自动化测试方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right