KR101393642B1 - 문서 인식 장치 및 방법과 이에 관한 기록매체 - Google Patents

문서 인식 장치 및 방법과 이에 관한 기록매체 Download PDF

Info

Publication number
KR101393642B1
KR101393642B1 KR1020120083542A KR20120083542A KR101393642B1 KR 101393642 B1 KR101393642 B1 KR 101393642B1 KR 1020120083542 A KR1020120083542 A KR 1020120083542A KR 20120083542 A KR20120083542 A KR 20120083542A KR 101393642 B1 KR101393642 B1 KR 101393642B1
Authority
KR
South Korea
Prior art keywords
cell
column
identifier
type
reference cell
Prior art date
Application number
KR1020120083542A
Other languages
English (en)
Other versions
KR20140016666A (ko
Inventor
김명호
조성수
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020120083542A priority Critical patent/KR101393642B1/ko
Publication of KR20140016666A publication Critical patent/KR20140016666A/ko
Application granted granted Critical
Publication of KR101393642B1 publication Critical patent/KR101393642B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

문서 인식 장치 및 방법과 이에 관한 기록매체가 개시된다. 개시된 문서 인식 장치는 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서를 인식하는 장치에 있어서, 상기 다수의 셀 중 어느 하나의 셀을 기준 셀로 설정하는 기준 셀 설정부; 및 상기 기준 셀의 가로 방향에 위치하는 셀 내에 상기 계층 구조를 나타내는 식별자가 포함되어 있는지를 판단하고, 상기 판단 결과에 기초하여 상기 기준 셀의 가로 방향 및 세로 방향 중 어느 하나의 방향을 셀 분석 방향으로 설정하고, 상기 설정된 셀 분석 방향으로 셀을 분석하여 상기 다수의 셀간 계층 구조를 판단하는 판단부;를 포함한다.

Description

문서 인식 장치 및 방법과 이에 관한 기록매체{APPARATUS AND METHOD FOR RECOGNIZING DOCUMENT, RECORDING MEDIUM THEREOF}
본 발명의 실시예들은 문서 인식 장치 및 방법과 이에 관한 기록매체에 관한 것으로서, 더욱 상세하게는 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서에서 셀간 계층 구조를 자동으로 인식할 수 있는 문서 인식 장치 및 방법과 이에 관한 기록매체에 관한 것이다.
최근 사무 자동화가 일반화되면서 법령 문서의 관리 및 개정과 관련된 자동화 시스템에 대한 요구가 지속적으로 증가하고 있다.
이에, 법령 문서에 관한 자동화 시스템이 여러 업체들에 의해 개발되고 있으며, 이러한 자동화 시스템은 법령 중 일반 법률에 관하여 상대적으로 뛰어난 성능을 보이고 있다.
그러나, 법령 중 별표와 관련된 자동화 시스템을 구축하기 위한 연구는 매우 미진한 실정이다.
별표는 일반적으로, 호목단과 같은 계층적인 구조를 갖는 문장들을 표시하기 위한 다수의 셀들로 구성되는데, 현재, 이러한 셀들의 계층적인 구조를 인식하여 별표를 관리할 수 있는 시스템은 부재한 상태이다.
종래에 서식 표를 파싱하여 각각의 셀의 속성을 인식하는 기술이 존재하기는 하나, 종래 기술은 도 1a의 서식 표를 도 1b에 나타난 표로 인식하는 것과 같이, 단지 각 셀의 속성이 label인지, black인지를 인식하는 정도에 그치는 한계점을 갖는다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서에서 셀간 계층 구조를 자동으로 인식할 수 있는 문서 인식 장치 및 방법과 이에 관한 기록매체를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서를 인식하는 장치에 있어서, 상기 다수의 셀 중 어느 하나의 셀을 기준 셀로 설정하는 기준 셀 설정부; 및 상기 기준 셀의 가로 방향에 위치하는 셀 내에 상기 계층 구조를 나타내는 식별자가 포함되어 있는지를 판단하고, 상기 판단 결과에 기초하여 상기 기준 셀의 가로 방향 및 세로 방향 중 어느 하나의 방향을 셀 분석 방향으로 설정하고, 상기 설정된 셀 분석 방향으로 셀을 분석하여 상기 다수의 셀간 계층 구조를 판단하는 판단부;를 포함하는 문서 인식 장치가 제공된다.
상기 기준 셀은 상기 표의 첫 번째 열에서 세로 방향으로 최초로 나타나는 상기 식별자를 포함하는 셀일 수 있다.
상기 식별자의 종류는 L개(L은 2 이상의 정수임)이고, 상기 표는, 상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자 각각이 상기 첫 번째 열의 서로 다른 셀에 포함되는 제1-1 타입; 상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자가 상기 2 이상의 식별자 종류 중 가장 높은 계층의 식별자 종류에 따라 나뉘어져 상기 첫 번째 열의 서로 다른 셀에 포함되는 제1-2 타입; 및 상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자 모두가 상기 첫 번째 열의 하나의 셀에 포함되는 제1-3 타입; 중 어느 하나일 수 있다.
상기 판단부는, 상기 기준 셀의 바로 오른쪽에 위치하는 셀 내에 상기 식별자가 포함되지 않은 경우, 상기 셀 분석 방향을 상기 기준 셀의 세로 방향으로 설정하고, 상기 표를 상기 제1-1 타입 내지 제1-3 타입 중 어느 하나로 판단할 수 있다.
상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 아래 셀의 계층 수준과 상기 기준 셀의 계층 수준이 상이한 경우 상기 표를 상기 제1-1 타입으로 판단할 수 있다.
상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 아래 셀의 계층 수준과 상기 기준 셀의 계층 수준이 동일한 경우 상기 표를 상기 제1-2 타입으로 판단할 수 있다.
상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 기준 셀에 포함된 식별자의 개수가 단수인 경우 상기 표를 상기 제1-1 타입으로 판단할 수 있다.
상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 기준 셀에 포함된 식별자의 개수가 복수인 경우 상기 표를 상기 제1-2 타입으로 판단할 수 있다.
상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 존재하지 않는 경우 상기 표를 상기 제1-3 타입으로 판단할 수 있다.
상기 식별자의 종류는 L개(L은 2 이상의 정수임)이고, 상기 표는, 상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 어느 하나가 포함되고 상기 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 상기 두 번째 열에 포함된 다수의 식별자 각각이 상기 두 번째 열의 서로 다른 셀에 포함되는 제2-1 타입; 및 상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 어느 하나가 포함되고 상기 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 상기 두 번째 열에 포함된 다수의 식별자가 상기 어느 하나의 식별자 종류에 따라 나뉘어져 상기 두 번째 열의 서로 다른 셀에 포함되는 제2-2 타입; 중 어느 하나일 수 있다.
상기 판단부는, 상기 기준 셀의 바로 오른쪽에 위치하는 셀 내에 상기 식별자가 포함된 경우, 상기 셀 분석 방향을 상기 기준 셀의 가로 방향으로 설정하고, 상기 표를 상기 제2-1 타입 및 제2-2 타입 중 어느 하나로 판단할 수 있다.
상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 오른쪽에 위치하는 셀의 개수가 상기 기준 셀의 개수와 동일한지를 분석하고, 상기 분석 결과가 상이한 경우 상기 표를 상기 제2-1 타입으로 판단할 수 있다.
상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 오른쪽에 위치하는 셀의 개수가 상기 기준 셀의 개수와 동일한지를 분석하고, 상기 분석 결과가 동일한 경우 상기 표를 상기 제2-2 타입으로 판단할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서를 인식하는 방법에 있어서, 상기 다수의 셀 중 어느 하나의 셀을 기준 셀로 설정하는 단계; 및 상기 기준 셀의 가로 방향에 위치하는 셀 내에 상기 계층 구조를 나타내는 식별자가 포함되어 있는지를 판단하고, 상기 판단 결과에 기초하여 상기 기준 셀의 가로 방향 및 세로 방향 중 어느 하나의 방향을 셀 분석 방향으로 설정하고, 상기 설정된 셀 분석 방향으로 셀을 분석하여 상기 다수의 셀간 계층 구조를 판단하는 단계;를 포함하는 문서 인식 방법이 제공된다.
본 발명에 따르면, 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서에서 셀간 계층 구조를 자동으로 인식할 수 있는 장점이 있다.
도 1은 종래의 셀 속성 인식 방법을 서식 표에 적용한 결과를 도시하는 도면이다.
도 2a는 법령에서 호목단과 같은 계층 구조를 갖는 문장들을 표시하는 형식을 도시하는 도면이다.
도 2b는 도 2a에 도시된 문장들을 법령 중 별표에서 표시하는 형식을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표의 다섯 가지 타입을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 문서 인식 장치의 상세한 구성을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 문서 인식 방법을 시간의 흐름에 따라 개략적으로 도시한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 문서 인식 방법을 시간의 흐름에 따라 보다 상세하게 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 2a는 법령에서 호목단과 같은 계층 구조를 갖는 문장들을 표시하는 형식을 도시하는 도면이다.
도 2a에 도시된 바와 같이, 호는 숫자 "1.", "2." 등으로 시작하고, 목은 문자 "가.", "나." 등으로 시작하며, 도 2a에 도시되지는 않았으나 호목과 유사한 방식으로 단은 괄호로 묶인 숫자 "(1)", "(2)"로 시작할 수 있다.
이때, "1.", "2.", "가.", "나.", "(1)", "(2)" 등은 문장의 맨 앞에 위치하여 해당 문장이 속하는 계층 수준을 나타내는 식별자로 사용되는 것으로서, 본 발명에서는 설명의 편의를 위하여, 숫자, 한글, 괄호숫자의 세 종류의 식별자가 사용되는 것으로 가정하여 설명하기로 한다.
그리고, 도 2b는 도 2a에 도시된 문장들을 법령 중 별표에서 표시하는 형식을 도시하는 도면이다.
도 2b에 도시된 바와 같이, 문장들간 호목단 계층 구조는 도 2b의 별표에서도 그대로 유지되어, 호는 목의 상위 계층으로서 목이 표시되는 셀의 좌측 셀에 위치할 수 있으며, 비록 도시되지는 않았으나, 목은 단의 상위 계층으로서 단이 표시되는 셀의 좌측 셀에 위치할 수 있을 것이다.
도 2a 및 도 2b를 참조하여, 호목단 계층 구조의 표시 형식을 정리하면, 호는 다수의 목을 포함하고, 목은 다수의 단을 포함할 수 있다. 그리고, 어느 하나의 행은 호, 목 또는 단의 표시로 시작되고, 하나의 행에서 호, 목 또는 단이 연속하여 작성되지 않는다. 호나 목이 다음 차례로 넘어가면, 호나 목에 속해 있는 목이나 단은 처음부터 순서를 다시 시작하고, 동일한 계층 수준에서 호, 목, 단의 중첩이 허용되지 않으며, 호, 목, 단은 차례대로 라벨링되어야 한다.
이와 같은 형식으로 호목단 계층 구조를 갖는 문장들이 작성됨에 따라, 현행 법령 내 별표의 표시 형식은 도 3에 도시된 (a) 내지 (e)와 같은 다섯 가지 타입으로 정리될 수 있다.
도 3을 참조하면, 도 3(a)는 표의 첫 번째 열에 앞서 설명한 세 개의 식별자 종류 중 적어도 2 이상이 포함되며, 첫 번째 열에 포함된 다수의 식별자 각각이 첫 번째 열의 서로 다른 셀에 포함되는 제1-1 타입의 표의 예를 도시한다.
도 3(b)는 표의 첫 번째 열에 세 개의 식별자 종류 중 적어도 2 이상이 포함되며, 첫 번째 열에 포함된 다수의 식별자가 상기 2 이상의 식별자 종류 중 가장 높은 계층의 식별자 종류에 따라 나뉘어져 첫 번째 열의 서로 다른 셀에 포함되는 제1-2 타입의 표의 예를 도시한다.
도 3(c)는 표의 첫 번째 열에 세 개의 식별자 종류 중 적어도 2 이상이 포함되며, 첫 번째 열에 포함된 다수의 식별자 모두가 첫 번째 열의 하나의 셀에 포함되는 제1-3 타입의 표의 예를 도시한다.
그리고, 도 3(d)는 표의 첫 번째 열에 앞서 설명한 세 개의 식별자 종류 중 어느 하나가 포함되고 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 두 번째 열에 포함된 다수의 식별자 각각이 두 번째 열의 서로 다른 셀에 포함되는 제2-1 타입의 표의 예를 도시한다.
도 3(e)는 표의 첫 번째 열에 세 개의 식별자 종류 중 어느 하나가 포함되고 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 두 번째 열에 포함된 다수의 식별자가 상기 어느 하나의 식별자 종류에 따라 나뉘어져 두 번째 열의 서로 다른 셀에 포함되는 제2-2 타입의 표의 예를 도시한다.
이와 같이 법령 내 별표의 표시 형식이 크게 다섯 가지 유형으로 분류됨에 따라, 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서를 인식하고, 인식된 문서의 표를 도 3에 도시된 다섯 가지 타입 중 어느 하나의 타입으로 결정할 수 있으면, 다수의 셀간 계층 구조를 판별할 수 있게 된다.
일례로, 인식의 대상이 되는 문서 내 표를 인식한 결과, 제2-1 타입으로 인식된 경우, 인식 대상인 표의 2행 1열 셀에 최상위 계층의 구조를 갖는 문장이 포함되고, 우측 셀에는 다음 계층의 구조를 갖는 문장이 포함되며, 아래 셀에는 최상위 계층의 구조를 갖는 문장이 병렬적으로 나열되는 셀 구조라는 점을 판별할 수 있게 된다.
이러한 판별 정보는 법령 개정 등으로 인하여 별표의 수정 사항이 발생한 경우, 사용자에게 수정 사항을 알려주기 위한 시스템 등에 적용될 수 있다.
한편, 본 발명에서는 설명의 편의를 위하여, 문장들간의 계층 구조가 호목단 형식으로 표시되는 것으로 가정하여 설명하기로 하나, 이에 한정되는 것은 아니며, 다양한 형식의 계층 구조가 적용될 수 있을 것이다.
도 4는 본 발명의 일 실시예에 따른 문서 인식 장치(100)의 상세한 구성을 도시하는 도면이며, 도 5는 본 발명의 일 실시예에 따른 문서 인식 방법을 시간의 흐름에 따라 개략적으로 도시한 순서도이다.
도 4 및 도 5에 도시된 바와 같이, 문서 인식 장치(100)는 기준 셀 설정부(110) 및 판단부(120)를 포함하며, 문서 인식 방법은 기준 셀을 설정하는 단계(S510) 및 다수의 셀간 계층 구조를 판단하는 단계(S520)를 포함한다.
그리고, 도 6은 본 발명의 일 실시예에 따른 문서 인식 방법을 시간의 흐름에 따라 보다 상세하게 도시한 순서도를 도시한다.
이하, 앞서 설명한 도 3과 도 4 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 문서 인식 장치(100)가 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서를 인식하여 셀간 계층 구조를 판단하는 동작(즉, 문서 인식 방법)을 보다 상세하게 살펴보기로 한다.
먼저, 단계(S510)에서 기준 셀 설정부(110)는 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표에서, 다수의 셀 중 어느 하나의 셀을 기준 셀로 설정한다.
보다 상세하게, 기준 셀 설정부(110)는 표의 첫 번째 열에서 세로 방향으로 최초로 나타나는 식별자를 포함하는 셀을 기준 셀로 설정할 수 있다.
일반적으로, 별표는 도 3에 도시된 바와 같이, 1행 1열이나 2행 1열에서 계층 구조를 갖는 문장이 최초로 표시되기 시작하므로, 표의 첫 번째 열에 "1.", "2.", "가.", "나.", "(1)", "(2)" 등의 계층 수준을 나타내는 식별자가 포함되어 있는지 여부로부터 기준 셀을 설정할 수 있다.
즉, 기준 셀 설정부(110)는 인식 대상이 되는 표의 1행 1열 셀에 식별자가 포함되어 있는지를 판단하고(S512), 포함된 경우 1행 1열 셀을 기준 셀로 설정한다(S510). 포함되어 있지 않은 경우, 기준 셀 설정부(110)는 표의 2행 1열 셀에 식별자가 포함되어 있는지를 판단할 수 있으며(S514), 포함된 경우 2행 1열 셀을 기준 셀로 설정하게 된다(S510).
2행 1열 셀에도 식별자가 포함되어 있지 않다면, 3행 1열 셀에 대해서도 식별자 포함 여부를 추가적으로 판단할 수 있으나, 앞서 설명한 바와 같이, 일반적으로 별표에서 식별자는 1행 1열 또는 2행 1열에 표시된다는 점에서 본 발명에서는 3행 이하에 대해서는 판단하지 않는 것으로 가정한다.
이때, 2행 1열 셀에서도 식별자가 포함되어 있지 않은 경우, 해당 표는 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표가 아닌 것, 즉, 기본 표인 것으로 처리되고 본 발명의 일 실시예에 따른 문서 인식 방법은 종료될 수 있다.
계속하여, 단계(S520)에서 판단부(120)는 단계(S510)에서 설정된 기준 셀을 중심으로 인접하는 셀들을 분석하여 다수의 셀간 계층 구조를 판단한다.
즉, 판단부(120)는 기준 셀의 가로 방향에 위치하는 셀 내에 계층 구조를 나타내는 식별자가 포함되어 있는지를 판단하고, 판단 결과에 기초하여 기준 셀의 가로 방향 및 세로 방향 중 어느 하나의 방향을 셀 분석 방향으로 설정하고, 설정된 셀 분석 방향으로 셀을 분석하여 상기 다수의 셀간 계층 구조를 판단한다.
보다 상세하게, 판단부(120)는 먼저, 기준 셀의 바로 오른쪽에 위치하는 셀 내에 식별자가 포함되어 있는지를 판단하고(S521), 포함되어 있지 않은 경우에 셀 분석 방향을 세로 방향으로 설정하며(S522), 포함되어 있는 경우에 셀 분석 방향을 가로 방향으로 설정한다(S523).
이때, 셀 분석 방향이 세로 방향으로 설정된 경우, 판단부(120)는 이하 설명하는 바와 같이, 인식의 대상이 되는 표를 도 3에 도시된 다섯 가지 타입 중 제1-1 타입 내지 제1-3 타입 중 어느 하나로 판단하며, 셀 분석 방향이 가로 방향으로 설정된 경우, 제2-1 타입 및 제2-2 타입 중 어느 하나로 판단한다.
이하, 셀 분석 방향이 세로 방향으로 설정된 경우에 있어서, 본 발명의 일 실시예에 따른 판단부(120)의 동작을 먼저 살펴본다.
셀 분석 방향이 세로 방향으로 설정됨에 따라, 판단부(120)는 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고(S524), 분석 결과 기준 셀의 바로 아래에 셀이 존재하지 않는 경우, 인식의 대상이 되는 표를 제1-3 타입으로 판단한다(S520).
즉, 세로 방향으로 호목단 구조가 표시되는 셀에서 기준 셀 바로 아래에 셀이 존재하지 않으므로, 문서 내의 표의 셀들간 계층 구조는, 첫 번째 열에 포함되는 다수의 식별자 모두가 기준 셀에 포함되는 제1-3 타입의 표로 판단될 수 있는 것이다.
한편, 분석 결과(S524) 기준 셀의 바로 아래에 셀이 존재하는 경우, 판단부(120)는 아래 셀의 계층 수준과 기준 셀의 계층 수준이 동일한지를 추가적으로 판단하며(S526), 판단 결과 상이한 경우, 인식의 대상이 되는 표를 제1-1 타입으로 판단하고, 동일한 경우, 제1-2 타입으로 판단한다.
즉, 세로 방향으로 호목단 구조가 표시되는 셀에서 기준 셀 바로 아래에 셀이 존재하고, 아래 셀의 계층 수준과 기준 셀의 계층 수준이 상이하므로, 문서 내의 표의 셀들간 계층 구조는, 첫 번째 열에 포함되는 다수의 식별자 각각이 첫 번째 열의 서로 다른 셀에 포함되는 제1-1 타입의 표로 판단될 수 있는 것이다.
마찬가지로, 세로 방향으로 호목단 구조가 표시되는 셀에서 기준 셀 바로 아래에 셀이 존재하고, 아래 셀의 계층 수준과 기준 셀의 계층 수준이 동일하므로, 문서 내의 표의 셀들간 계층 구조는, 첫 번째 열에 포함되는 다수의 식별자가 첫 번째 열에 포함된 2 이상의 식별자 종류 중 가장 높은 계층의 식별자 종류에 따라 나뉘어져 첫 번째 열의 서로 다른 셀에 포함되는 제1-2 타입의 표로 판단되게 된다.
이때, 본 발명의 다른 실시예에 따르면, 아래 셀과 기준 셀의 계층 수준의 동일 여부를 판단하는 단계(S526) 대신에, 기준 셀에 포함된 식별자의 개수가 하나 이상인지 여부를 판단하는 단계(S526')가 수행될 수도 있다.
즉, 본 발명의 다른 실시예에 따른 판단부(120)는 단계(S524)의 분석 결과 기준 셀의 바로 아래에 셀이 존재하는 경우, 기준 셀에 포함된 식별자의 개수가 복수인지 여부를 판단하고(S526'), 복수가 아닌 경우, 즉, 단수인 경우 인식 대상이 되는 표를 제1-1 패턴의 표로 판단할 수 있으며, 복수인 경우에는 인식 대상이 되는 표를 제1-2 패턴의 표로 판단할 수 있다.
계속하여, 이하에서는 셀 분석 방향이 가로 방향으로 설정된 경우에 있어서, 본 발명의 일 실시예에 따른 판단부(120)의 동작을 살펴본다.
셀 분석 방향이 가로 방향으로 설정됨에 따라, 판단부(120)는 기준 셀의 바로 오른쪽에 위치하는 셀의 개수가 기준 셀의 개수와 동일한지를 분석하고(S525), 분석 결과 동일한 경우, 인식의 대상이 되는 표를 제2-2 타입으로 판단한다(S520).
즉, 가로 방향으로 호목단 구조가 표시되는 셀에서 기준 셀의 개수와 기준 셀의 바로 오른쪽에 위치하는 셀의 개수가 동일하므로, 문서 내의 표의 셀들간 계층 구조는, 두 번째 열에 포함된 다수의 식별자가 첫 번째 열에 포함된 식별자 종류에 따라 나뉘어져 두 번째 열의 서로 다른 셀에 포함되는 제2-2 타입의 표로 판단될 수 있는 것이다.
그리고, 단계(S525)의 분석 결과 상이한 경우, 판단부(120)는 인식의 대상이 되는 표를 제2-1 타입으로 판단할 수 있다(S520).
이 경우, 가로 방향으로 호목단 구조가 표시되는 셀에서 기준 셀의 개수와 기준 셀의 바로 오른쪽에 위치하는 셀의 개수가 상이하므로, 문서 내의 표의 셀들간 계층 구조는, 두 번째 열에 포함된 다수의 식별자 각각이 두 번째 열의 서로 다른 셀에 포함되는 제2-1 타입의 표로 판단될 수 있는 것이다.
이와 같이, 본 발명에 따르면, 호목단과 같은 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성되는 표를 포함하는 문서에서, 셀들간의 계층 구조를 판별할 수 있으며, 판별 정보는 사용자에게 어느 부분이 수정되었는지를 정확히 알려주는 시스템에 활용될 수 있다.
즉, 본 발명에 따르면, 셀간 계층 구조를 자동으로 인식할 수 있어 별표가 법률 개정 등에 의해 수정되는 경우, 단순히 '몇 행 몇 열이 수정되었다'가 아니라 '제1 호의 나목이 수정되었다'와 같이, 수정 사항을 보다 정확하게 표현할 수 있는 장점이 있다.
또한, 본 발명에 따른 문서 인식 방법에서 셀들간 계층 구조를 판단하는 과정에서는 단지, 셀들에 식별자가 포함되어 있는지 여부, 식별자의 개수가 단수인지 복수인지 여부, 셀의 개수가 동일한지 여부, 식별자의 계층 수준이 동일한지 여부 등 단순한 판단 과정들만이 적용됨으로써, 인식 대상이 되는 문서 내 표를 보다 빠르게 인식할 수 있는 장점이 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 문서 인식 장치 110 : 기준 셀 설정부
120 : 판단부

Claims (20)

  1. 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서를 인식하는 장치에 있어서,
    상기 다수의 셀 중 어느 하나의 셀을 기준 셀로 설정하는 기준 셀 설정부; 및
    상기 기준 셀의 가로 방향에 위치하는 셀 내에 상기 계층 구조를 나타내는 식별자가 포함되어 있는지를 판단하고, 상기 판단 결과에 기초하여 상기 기준 셀의 가로 방향 및 세로 방향 중 어느 하나의 방향을 셀 분석 방향으로 설정하고, 상기 설정된 셀 분석 방향으로 셀을 분석하여 상기 다수의 셀간 계층 구조를 판단하는 판단부;
    를 포함하는 것을 특징으로 하는 문서 인식 장치.
  2. 제1항에 있어서,
    상기 기준 셀은 상기 표의 첫 번째 열에서 세로 방향으로 최초로 나타나는 상기 식별자를 포함하는 셀인 것을 특징으로 하는 문서 인식 장치.
  3. 제2항에 있어서,
    상기 식별자의 종류는 L개(L은 2 이상의 정수임)이고, 상기 표는,
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자 각각이 상기 첫 번째 열의 서로 다른 셀에 포함되는 제1-1 타입;
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자가 상기 2 이상의 식별자 종류 중 가장 높은 계층의 식별자 종류에 따라 나뉘어져 상기 첫 번째 열의 서로 다른 셀에 포함되는 제1-2 타입; 및
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자 모두가 상기 첫 번째 열의 하나의 셀에 포함되는 제1-3 타입; 중 어느 하나인 것을 특징으로 하는 문서 인식 장치.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제3항에 있어서,
    상기 판단부는, 상기 기준 셀의 바로 오른쪽에 위치하는 셀 내에 상기 식별자가 포함되지 않은 경우, 상기 셀 분석 방향을 상기 기준 셀의 세로 방향으로 설정하고, 상기 표를 상기 제1-1 타입 내지 제1-3 타입 중 어느 하나로 판단하는 것을 특징으로 하는 문서 인식 장치.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서,
    상기 판단부는, 상기 설정된 셀 분석 방향이 상기 기준 셀의 세로 방향인 경우, 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 아래 셀의 계층 수준과 상기 기준 셀의 계층 수준이 상이한 경우 상기 표를 상기 제1-1 타입으로 판단하는 것을 특징으로 하는 문서 인식 장치.
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서,
    상기 판단부는, 상기 설정된 셀 분석 방향이 상기 기준 셀의 세로 방향인 경우, 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 아래 셀의 계층 수준과 상기 기준 셀의 계층 수준이 동일한 경우 상기 표를 상기 제1-2 타입으로 판단하는 것을 특징으로 하는 문서 인식 장치.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서,
    상기 판단부는, 상기 설정된 셀 분석 방향이 상기 기준 셀의 세로 방향인 경우, 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 기준 셀에 포함된 식별자의 개수가 단수인 경우 상기 표를 상기 제1-1 타입으로 판단하는 것을 특징으로 하는 문서 인식 장치.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서,
    상기 판단부는, 상기 설정된 셀 분석 방향이 상기 기준 셀의 세로 방향인 경우, 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 상기 기준 셀의 바로 아래에 셀이 존재하고, 상기 기준 셀에 포함된 식별자의 개수가 복수인 경우 상기 표를 상기 제1-2 타입으로 판단하는 것을 특징으로 하는 문서 인식 장치.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서,
    상기 판단부는, 상기 설정된 셀 분석 방향이 상기 기준 셀의 세로 방향인 경우, 상기 기준 셀의 바로 아래에 셀이 존재하는지를 분석하고, 상기 분석 결과 존재하지 않는 경우 상기 표를 상기 제1-3 타입으로 판단하는 것을 특징으로 하는 문서 인식 장치.
  10. 제2항에 있어서,
    상기 식별자의 종류는 L개(L은 2 이상의 정수임)이고, 상기 표는,
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 어느 하나가 포함되고 상기 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 상기 두 번째 열에 포함된 다수의 식별자 각각이 상기 두 번째 열의 서로 다른 셀에 포함되는 제2-1 타입; 및
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 어느 하나가 포함되고 상기 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 상기 두 번째 열에 포함된 다수의 식별자가 상기 어느 하나의 식별자 종류에 따라 나뉘어져 상기 두 번째 열의 서로 다른 셀에 포함되는 제2-2 타입; 중 어느 하나인 것을 특징으로 하는 문서 인식 장치.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제10항에 있어서,
    상기 판단부는, 상기 기준 셀의 바로 오른쪽에 위치하는 셀 내에 상기 식별자가 포함된 경우, 상기 셀 분석 방향을 상기 기준 셀의 가로 방향으로 설정하고, 상기 표를 상기 제2-1 타입 및 제2-2 타입 중 어느 하나로 판단하는 것을 특징으로 하는 문서 인식 장치.
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서,
    상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 오른쪽에 위치하는 셀의 개수가 상기 기준 셀의 개수와 동일한지를 분석하고, 상기 분석 결과가 상이한 경우 상기 표를 상기 제2-1 타입으로 판단하는 것을 특징으로 하는 문서 인식 장치.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서,
    상기 판단부는, 상기 설정된 셀 분석 방향에 따라 상기 기준 셀의 바로 오른쪽에 위치하는 셀의 개수가 상기 기준 셀의 개수와 동일한지를 분석하고, 상기 분석 결과가 동일한 경우 상기 표를 상기 제2-2 타입으로 판단하는 것을 특징으로 하는 문서 인식 장치.
  14. 계층 구조를 갖는 문장들을 표시하기 위한 다수의 셀로 구성된 표를 포함하는 문서를 인식하는 방법에 있어서,
    상기 다수의 셀 중 어느 하나의 셀을 기준 셀로 설정하는 단계; 및
    상기 기준 셀의 가로 방향에 위치하는 셀 내에 상기 계층 구조를 나타내는 식별자가 포함되어 있는지를 판단하고, 상기 판단 결과에 기초하여 상기 기준 셀의 가로 방향 및 세로 방향 중 어느 하나의 방향을 셀 분석 방향으로 설정하고, 상기 설정된 셀 분석 방향으로 셀을 분석하여 상기 다수의 셀간 계층 구조를 판단하는 단계;
    를 포함하는 것을 특징으로 하는 문서 인식 방법.
  15. 제14항에 있어서,
    상기 기준 셀은 상기 표의 첫 번째 열에서 세로 방향으로 최초로 나타나는 상기 식별자를 포함하는 셀인 것을 특징으로 하는 문서 인식 방법.
  16. 제15항에 있어서,
    상기 식별자의 종류는 L개(L은 2 이상의 정수임)이고, 상기 표는,
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자 각각이 상기 첫 번째 열의 서로 다른 셀에 포함되는 제1-1 타입;
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자가 상기 2 이상의 식별자 종류 중 가장 높은 계층의 식별자 종류에 따라 나뉘어져 상기 첫 번째 열의 서로 다른 셀에 포함되는 제1-2 타입; 및
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 적어도 2 이상이 포함되며, 상기 첫 번째 열에 포함된 다수의 식별자 모두가 상기 첫 번째 열의 하나의 셀에 포함되는 제1-3 타입; 중 어느 하나인 것을 특징으로 하는 문서 인식 방법.
  17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.
    제16항에 있어서,
    상기 판단하는 단계는, 상기 기준 셀의 바로 오른쪽에 위치하는 셀 내에 상기 식별자가 포함되지 않은 경우, 상기 셀 분석 방향을 상기 기준 셀의 세로 방향으로 설정하고, 상기 표를 상기 제1-1 타입 내지 제1-3 타입 중 어느 하나로 판단하는 것을 특징으로 하는 문서 인식 방법.
  18. 제15항에 있어서,
    상기 식별자의 종류는 L개(L은 2 이상의 정수임)이고, 상기 표는,
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 어느 하나가 포함되고 상기 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 상기 두 번째 열에 포함된 다수의 식별자 각각이 상기 두 번째 열의 서로 다른 셀에 포함되는 제2-1 타입; 및
    상기 표의 첫 번째 열에 상기 L개의 식별자 종류 중 어느 하나가 포함되고 상기 표의 두 번째 열에 상기 어느 하나의 식별자 종류보다 계층이 낮은 식별자 종류가 포함되며, 상기 두 번째 열에 포함된 다수의 식별자가 상기 어느 하나의 식별자 종류에 따라 나뉘어져 상기 두 번째 열의 서로 다른 셀에 포함되는 제2-2 타입; 중 어느 하나인 것을 특징으로 하는 문서 인식 방법.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    제18항에 있어서,
    상기 판단하는 단계는, 상기 기준 셀의 바로 오른쪽에 위치하는 셀 내에 상기 식별자가 포함된 경우, 상기 셀 분석 방향을 상기 기준 셀의 가로 방향으로 설정하고, 상기 표를 상기 제2-1 타입 및 제2-2 타입 중 어느 하나로 판단하는 것을 특징으로 하는 문서 인식 방법.
  20. 청구항 20은(는) 설정등록료 납부시 포기되었습니다.
    제14항 내지 제19항 중 어느 한 항에 기재된 문서 인식 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020120083542A 2012-07-30 2012-07-30 문서 인식 장치 및 방법과 이에 관한 기록매체 KR101393642B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120083542A KR101393642B1 (ko) 2012-07-30 2012-07-30 문서 인식 장치 및 방법과 이에 관한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120083542A KR101393642B1 (ko) 2012-07-30 2012-07-30 문서 인식 장치 및 방법과 이에 관한 기록매체

Publications (2)

Publication Number Publication Date
KR20140016666A KR20140016666A (ko) 2014-02-10
KR101393642B1 true KR101393642B1 (ko) 2014-05-13

Family

ID=50265614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120083542A KR101393642B1 (ko) 2012-07-30 2012-07-30 문서 인식 장치 및 방법과 이에 관한 기록매체

Country Status (1)

Country Link
KR (1) KR101393642B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060115875A (ko) * 2003-11-18 2006-11-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 기록 가능형 매체의 기록장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060115875A (ko) * 2003-11-18 2006-11-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 기록 가능형 매체의 기록장치 및 방법

Also Published As

Publication number Publication date
KR20140016666A (ko) 2014-02-10

Similar Documents

Publication Publication Date Title
US10592184B2 (en) Method and device for parsing tables in PDF document
CN108614898B (zh) 文档解析方法与装置
CN101206639B (zh) 一种基于pdf的复杂版面的标引方法
US10049096B2 (en) System and method of template creation for a data extraction tool
US20150095769A1 (en) Layout Analysis Method And System
CN105653517A (zh) 一种识别率确定方法及装置
WO2007089520A1 (en) Strategies for processing annotations
CN106325596B (zh) 一种书写笔迹自动纠错方法及系统
JP2013033416A (ja) 文字認識装置、文字認識方法及びプログラム
CN105630817A (zh) 一种电子发票内容解析的方法及系统
CN101833546A (zh) 从可移植电子文档中提取表格的方法和装置
US20190392209A1 (en) Document Analyzer, Document Analysis Method, and Computer-Readable Storage Medium Storing Program
US20130262085A1 (en) Natural language processing apparatus, natural language processing method, natural language processing program, and computer-readable recording medium storing natural language processing program
US9049400B2 (en) Image processing apparatus, and image processing method and program
CN103176956B (zh) 用于提取文档结构的方法和装置
US9811726B2 (en) Chinese, Japanese, or Korean language detection
KR101393642B1 (ko) 문서 인식 장치 및 방법과 이에 관한 기록매체
CN110688842A (zh) 一种文档标题层级的分析方法、装置及服务器
CN110795933A (zh) 一种网页正文的识别处理方法及装置
JP4484791B2 (ja) 検証データ生成装置および検証データ生成プログラム、検証データ生成方法
US8438010B2 (en) Efficient stemming of semitic languages
CN109344254B (zh) 一种地址信息分类方法及装置
JP5123337B2 (ja) 検証データ生成装置、検証データ生成プログラム及び検証データ生成方法
CN102236638B (zh) 西文单词中字符大小写的修正方法和装置
CN117034866A (zh) 生成文档索引标签的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 6