KR101800975B1 - 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 - Google Patents
필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 Download PDFInfo
- Publication number
- KR101800975B1 KR101800975B1 KR1020160140660A KR20160140660A KR101800975B1 KR 101800975 B1 KR101800975 B1 KR 101800975B1 KR 1020160140660 A KR1020160140660 A KR 1020160140660A KR 20160140660 A KR20160140660 A KR 20160140660A KR 101800975 B1 KR101800975 B1 KR 101800975B1
- Authority
- KR
- South Korea
- Prior art keywords
- document
- attribute
- electronic document
- image
- user
- Prior art date
Links
Images
Classifications
-
- G06F17/30634—
-
- G06F17/24—
-
- G06K9/344—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서의 공유 방법은 문서저작자에 의하여 기록된 필기체를 포함하는 문서에 대한 이미지를 획득하는 단계, 획득된 이미지로부터 적어도 하나의 필기문자를 인식하는 단계, 인식된 필기체에 기초하여 문서의 구조를 분석하는 단계, 분석된 결과를 속성팩터로써 이미지와 함께 속성결합전자문서로 저장소(repository)에 저장하는 단계, 문서사용자로부터 수신된 검색요청 및 속성팩터에 기초하여 저장소로부터 속성결합전자문서를 추출하는 단계 및 추출된 속성결합전자문서를 문서사용자에게 제공하는 단계를 포함할 수 있다.
Description
본 발명은 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 문서저작자가 수기로 기록한 문자, 숫자, 도형 등을 정보기기를 통하여 인식시켜 생성된 전자문서를 문서사용자가 공유하고 재 편집할 수 있도록 하기 위한 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치에 관한 것이다.
종래의 필기체 인식 기술 및 장치는 필기체를 구성하는 글자나 각 획들을 인식하는 알고리즘이 복잡하고 불안정하여 필기체의 인식률이 낮고 비효율적인 문제점이 있었다. 또한, 필기체로 저작된 문서를 전자문서화하여 저장하거나 공유하려고 할 때, 사람이 직접 입력시킨 키워드, 주제어 외에는 빠르고 정확한 검색을 위한 전자문서의 속성을 부여하기 어려운 문제점이 존재하였다.
본 발명은 상기와 같은 문제점을 해결하기 위해 고안된 것으로, 저작자와 사용자 간에 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치를 제공하는데 그 목적이 있다.
본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서의 공유 방법은 (a)문서저작자에 의하여 기록된 필기문자를 포함하는 문서에 대한 이미지를 획득하는 단계(S110), (b)이미지로부터 적어도 하나의 필기체 문자를 인식하는 단계(S120), (c)인식된 필기체에 기초하여 문서의 구조와 속성을 분석하는 단계(S130), (d분석된 결과를 속성팩터로써 이미지와 함께 속성결합전자문서로 저장소(repository)에 저장하는 단계(S140), (e)문서사용자로부터 수신된 검색 요청 및 속성팩터에 기초하여 저장소로부터 속성결합전자문서를 추출하는 단계(S150), (f)추출된 속성결합전자문서를 문서사용자에게 제공하는 단계(S160)를 포함할 수 있다.
또한, 필기체가 인식되어 생성된 전자문서의 공유 방법은 문서사용자로부터 수신된 편집 신호에 기초하여 추출된 속성결합전자문서를 편집하는 단계 및 편집된 속성결합전자문서를 저장소에 저장하는 단계를 더 포함할 수 있다.
또한, 획득된 이미지로부터 적어도 하나의 필기문자를 인식하는 단계는, 획득된 이미지에 대하여 보정, 이진화 및 세선화 등의 전처리과정을 수행하고, 과정이 수행된 이미지에 대하여 특징점을 추출하여 추출된 특징점에 기초하여 필기체로부터 획 분리와 결합을 통해 기본 도형 및 복합 도형을 추출하고 자소를 생성하며, 생성된 자소의 배치를 통해 자음과 모음을 결정하는 단계와 결정된 자음과 모음을 결합하여 적어도 하나의 필기체 문자 추정하는 오토마타 처리 단계를 포함할 수 있다.
또한, 인식된 필기체에 기초하여 문서의 구조를 분석하는 단계는, 문서에 포함된 문자, 숫자, 도형, 수식 등의 형태 정보와 크기, 위치, 컬러 등의 속성 정보와 출현 횟수, 대표 키워드 중 적어도 하나에 대한 정보를 획득하는 단계를 포함할 수 있다.
또한, 속성팩터에는 문자, 숫자, 도형, 수식 등의 형태 정보와 크기, 위치, 컬러 등의 속성 정보와 출현 횟수, 대표 키워드 중 적어도 하나에 대한 정보가 포함될 수 있다.
또한, 속성결합전자문서를 추출하는 단계는, 문서사용자로부터 입력받은 검색어 및 검색어 관련 정보가 포함된 속성팩터에 기초하여, 저장소에 저장된 속성결합전자문서에 포함된 본문, 제목 및 키워드 중 적어도 하나를 검색하여 매칭되는 속성결합전자문서를 추출하는 단계를 포함할 수 있다.
또한, 편집 신호는 문서에 포함된 문자, 숫자, 도형 및 수식 중 적어도 하나를 추가, 삭제 또는 변경하기 위한 신호이고, 편집된 속성결합전자문서는 문서사용자의 결정에 의하여 수동 또는 자동으로 저장될 수 있다.
발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서의 공유를 위한 장치는 문서저작자에 의하여 기록된 필기체를 포함하는 문서에 대한 이미지를 획득하기 위한 이미지 획득부, 획득된 이미지로부터 적어도 하나의 필기문자를 인식하기 위한 문자 인식부, 인식된 필기체에 기초하여 문서의 구조를 분석하는 구조 분석부, 분석된 결과가 속성팩터로써 이미지와 함께 속성결합전자문서로 저장되는 저장소(repository), 문서사용자로부터 검색 요청을 수신하기 위한 속성 검색부, 수신된 검색 요청 및 속성팩터에 기초하여 저장소로부터 속성결합전자문서를 추출하기 위한 속성결합전자문서 추출부 및 추출된 속성결합전자문서를 문서사용자에게 제공하기 위한 출력부를 포함할 수 있다.
한편, 필기체가 인식되어 생성된 전자문서의 공유를 위한 장치는 문서사용자로부터 수신된 편집 신호에 기초하여 추출된 속성결합전자문서를 편집하기 위한 속성결합전자문서 편집부를 더 포함할 수 있다.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치를 이용하여 문서저작자는 필기체로 작성된 노트, 자료, 서류 등의 여러 가지 문서들을 전자문서화하여 저장소(repository)에 저장하거나 디지털 이미지들을 속성팩터와 결합하여 속성결합전자문서로서 저장소에 저장할 수 있다. 또한, 문서사용자는 자신이 필요로 하는 필기체가 인식되어 생성된 전자문서를 저장소에서 검색하여 속성결합전자문서를 추출할 수 있으며, 추출한 속성결합전자문서를 편집하고 저장할 수 있다. 따라서, 문서저작자는 종이, 태블릿 PC 등과 같이 매체를 가리지않고 자유롭게 필기하여 기록하고 필기체가 기록된 문서 등을 속성결합전자문서로써 변환시켜 저장소에 저장해 둘 수 있고, 이러한 속성결합전자문서에는 필기체 분석을 통하여 추출되어 생성된 속성팩터가 부가되어 있을 수 있고, 저작자와 사용자 간에 속성결합전자문서가 상호 공유될 수 있다. 다시 말해서, 속성팩터를 이용하여 문서저작자뿐만 아니라 문서사용자도 필기체가 인식되어 생성된 전자문서를 빠르고 정확하게 검색하거나 편집할 수 있으므로 속성결합전자문서의 공유가 가능하다.
도 1은 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 문서저작자와 문서사용자가 공유하는 방법을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유하는 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유할 수 있는 장치를 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유하는 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유할 수 있는 장치를 나타낸 블럭도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기록된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 문서저작자와 문서사용자가 공유하는 방법을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 필기체가 인식되어 생성된 전자문서를 공유하기 위해서 문서저작자는 필기체로 기록된 노트, 자료, 데이터 등을 디지털 이미지화 할 수 있다. 예를 들면, 도 1 의 저작문서 A는 문서저작자가 작성한 노트이거나, 문서저작자가 디지털 이미지화 하기를 원하는 필기체가 기록된 서류, 데이터, 자료 등의 문서가 될 수 있다.
예를 들면, 문서저작자는 필기체가 기록된 저작문서 A를 스캐너 또는 카메라 등의 디지털 이미지화 할 수 있는 장치를 이용하여 필기체를 포함하는 문서에 대한 디지털 이미지를 획득할 수 있다.
다음으로, 문서저작자는 필기체 또는 필기체 인식 장치를 이용하여, 획득된 디지털 이미지에서 적어도 하나의 필기체가 인식되게 할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 필기체 인식 장치를 통하여 디지털 이미지로부터 윤곽선이 추출되거나 골격선이 추출되어 보정, 이진화 및 세선화 과정이 수행되는 전처리과정(preprocessing), 특징점 추출 및 추출된 특징점에 기초하여 기본 도형 및 복합 도형이 추출되고, 자소가 생성되며, 생성된 자소에 상응하는 자음 또는 모음이 결정되는 본처리과정 및 결정된 자음과 모음이 결합되는 후처리 과정(post processing)을 거쳐 적어도 하나의 필기체가 인식될 수 있다.
다음으로 적어도 하나의 필기 문자가 인식된 전자문서에 대하여 속성팩터 생성 및 결합을 위해서, 문서의 구조 분석 및 속성이 검출될 수 있다. 즉 문서의 구조 분석 및 속성 검출 과정은 필기체가 인식된 문서 안에서 문자, 도형, 수식, 키워드, 위치, 크기 등의 좌표를 확인하는 과정이 될 수 있다. 예를 들어, 필기체가 인식된 문서 안에서 문서 구조 분석 및 속성 검출을 위해 문자, 도형, 수식, 키워드, 위치, 크기 등의 좌표를 확인하고, 이에 대응한 속성팩터를 생성하고, 필기체가 인식된 문서 이미지와 대응 속성팩터를 결합하거나 결합하여 저장할 수 있다.
다음으로, 문서저작자는 필기체로 인식된 저작문서 A, 즉 디지털 이미지화되어 글자로 인식된 저작문서 A를 저장소(repository)에 업로드(upload) 할 수 있다.
저장소에 업로드된 저작문서 A는 필기체가 인식된 디지털 이미지 및 구조분석 및 속성 검출 후 생성된 속성팩터들을 포함하도록 구성될 수 있고, 이에따라 저장소에 저장된 저작문서 A 는 결합되어 있는 속성팩터에 기초하여 분류되거나 검색될 수 있다. 예를 들면, 업로드된 저작문서 A 가 역사에 관련된 것이면, 역사적 사건, 년도, 역사적 인물 등이 필기체로 기록되어 있고, 인식된 필기체는 문자로 인식되어, 각 사건, 년도, 인물 등의 키워드 또는 검색어가 속성팩터로 생성되어 결합될 수 있고, 이 속성팩터에 따라서 분류할 수 있다. 즉, 필기체가 인식된 저작문서 A를 결합된 속성팩터를 이용하여, 각 검색어, 주제어, 키워드에 따라서 속성정보DB와 연동하여 속성팩터로써 결합하여 저장할 수 있다. 이와 같이 속성팩터와 결합, 분류하는 과정은 저장소에서 이루어 질 수도 있으나, 문서저작자가 저작문서 A의 구조 분석 및 속성 검출 후, 또는 저작문서 A를 저장소에 업로드하는 과정에서 자신이 직접 속성정보DB에서 선정하여 저작문서 A와 속성팩터를 결합하여 저장할 수도 있다.
도 1을 참조하면, 문서사용자는 필기체로 작성된 문서를 검색하기
위해서, 저장소에서 속성정보DB 의 속성팩터와 관련된 검색어로 검색을 요청할 수 있다. 예를 들면, 문서사용자가 역사와 관련된 필기체로 작성된 문서를 검색한다고 하면, 문서사용자는 역사와 관련된 사건, 인물, 년도 등을 검색어로 검색할 수 있고, 그 검색어에 따라서, 저장소에서 필기체가 인식된 저작문서 A를 검색할 수 있다.
여기에서 필기체가 인식된 저작문서 A는 속성팩터와 결합하여 저장된 상태로 속성결합전자문서 A 로 지칭될 수 있다. 즉, 속성결합전자문서란 디지털 이미지와 여러 가지 정보가 결합된 속성팩터를 포함하는 파일의 형태를 지칭하는 것으로, 문서사용자는 검색을 통하여 속성결합전자문서 A 를 저장소 등으로부터 추출해낼 수 있다.
또한, 문서사용자는 추출한 속성결합전자문서를 자신의 필요에 따라 편집하여 저장소에 저장 또는 업로드 할 수 있다. 예를 들면, 문서사용자는 추출한 속성결합전자문서 A에다 자신이 직접 필기체나 워드 프로세서 등의 디지털 장치로 새로운 정보를 부가적으로 입력하여 저장할 수 있으며, 속성결합전자문서 A는 부가된 새로운 정보에 따라서 관련된 속성팩터가 새로 결합하여 속성결합전자문서 A' 로 저장소에 저장될 수 있다.
도 2는 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유하는 방법을 나타내는 순서도이다.
본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유하는 방법은, 문서저작자에 의하여 기록된 필기체를 포함하는 문서에 대한 이미지를 획득하는 단계(S110), 획득된 이미지로부터 적어도 하나의 필기문자를 인식하는 단계(S120), 인식된 필기체에 기초하여 문서의 구조를 분석하는 단계(S130), 분석된 결과를 속성팩터로써 이미지와 함께 저장소(repository)에 저장하는 단계(S140), 문서사용자로부터 수신된 검색 요청 및 속성팩터에 기초하여 저장소로부터 속성결합전자문서를 추출하는 단계(S150) 및 추출된 속성결합전자문서를 문서사용자에게 제공하는 단계(S160)를 포함할 수 있다.
먼저, 필기체가 인식되어 생성된 전자문서를 공유하기 위해서, 문서저작자는 단계 S110에서 필기체를 포함하는 문서에 대한 이미지를 획득할 수 있다. 예를 들면, 획득한 이미지는 필기체가 포함된 문서를 카메라 등으로 직접 촬영하거나, 스캐너를 통하여 스캔함으로써 실시간으로 획득된 문서에 대한 디지털 이미지 파일일 수 있다. 또한, 유선 또는 무선으로 연결 가능한 외부의 장치(예컨대, 인터넷 서버 등)에 이미 저장된 이미지 파일일 수도 있다.
다음으로, 단계 S120에서 문서저작자는 필기체 인식 장치 또는 필기체 인식 장치 등을 통하여 획득한 이미지로부터 적어도 하나의 필기문자를 인식할 수 있다.
본 발명의 일 실시예에 따른 획득된 이미지로부터 적어도 하나의 필기문자를 인식하는 단계는, 획득된 이미지에 대하여 보정, 이진화 및 세선화 과정을 수행하고, 수행된 이미지에 대하여 특징점을 추출하여 추출된 특징점에 기초하여 필기체로부터 획을 분리하거나 결합함으로써 기본 도형 및 복합 도형을 추출하고 자소를 생성하며, 생성된 자소에 상응하는 자음 또는 모음을 결정하는 단계 및 결정된 자음 또는 모음을 결합하여 적어도 하나의 필기문자를 추정하는 단계를 포함할 수 있다.
예를 들면, 필기체를 인식하는 방법은 전처리 과정(preprocessing), 특징 추출 및 매칭(matching)을 하는 본처리 과정, 후처리 과정(post-processing) 등으로 이루어질 수 있다.
전처리 과정은 문자에서 특징을 추출하기 위해 의미있는 패턴으로 재표현하는 것이고, 필기체를 인식하기 위해서 전처리 과정은 이미지를 획득하면서 윤곽선을 추출하거나 골격선을 추출하는 단계를 포함할 수 있다. 즉, 이미지에서 잡영과 문자의 왜곡을 방지하기 위해서, 획득한 이미지에 대하여 보정, 이진화 및 세선화 과정을 수행할 수 있다.
본처리 과정에서는 인식된 필기체 이미지에서 교점 및 첨단점, 중심선 기법에 의한 획의 분리와 결합을 진행하고, 꺽임점에 의하여 기본 도형으로 해체하고 자소 오토마타를 이용하여 자음과 모음을 추출할 수 있다. 따라서, 전처리 과정에서 수행된 이미지에 대하여 특징점을 추출하여 추출된 특징점에 기초하여 필기체로부터 획을 분리하거나 결합함으로써 기본 도형 및 복합 도형을 추출하고 자소를 생성하며, 생성된 자소에 상응하는 자음 또는 모음을 결정하는 단계를 포함할 수 있다.
다음으로 추출된 자음과 모음에서 한글 오토마타를 이용하여 한글 코드를 추출하는 것으로, 후처리 과정은 결정된 자음 또는 모음을 결합하여 적어도 하나의 필기문자를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 필기체 인식 장치는 필기체의 이미지를 얻는 입력부와 얻어진 이미지에 대하여 보정, 이진화, 세선화 과정이 진행되는 전처리부와 전처리된 이미지에 대하여 특징점을 추출하고, 획을 분리하거나 결합하여 기본도형 및 복합도형을 추출하고, 자소를 생성하는 분석처리부와 처리된 이미지를 한글코드로 변환하여 글자로 인식하는 후처리부를 포함할 수 있다.
단계 S130에서, 인식된 필기체에 기초하여 문서의 구조를 분석할 수 있다. 즉, 획득한 이미지에서 적어도 하나의 필기문자를 인식하여 문서 안에서의 문자 및 숫자 또는 그림, 도형 등을 파악할 수 있으며, 파악된 문자, 도형 등에 따라서 문서 구조를 분석할 수 있다.
본 발명의 일 실시예에 따르면, 인식된 필기체에 기초하여 문서의 구조를 분석하는 단계는, 문서에 포함된 문자, 숫자, 도형, 수식 등의 형태 정보와 크기, 위치, 컬러 등의 속성 정보와 출현 횟수, 대표 키워드 중 적어도 하나에 대한 정보를 획득하는 단계를 포함할 수 있다.
예를 들면, 문서의 구조 분석은 필기체 분석, 문자, 키워드를 중심으로 이루어지거나 그 외에 도형, 수식 또는 이들의 위치, 크기, 컬러 등에 의하여도 이루어질 수 있다.
또한, 문자, 도형 또는 수식의 위치는 문서의 기준점에 기초하여 파악될 수 있다. 예를 들어, 기준점은 이미지화된 문서의 좌측 또는 우측의 최상단 또는 최하단의 픽셀 등을 지칭할 수 있다. 크기는 전술한 위치값에 기초하여 상대적으로 파악될 수 있으며, 인식된 문자, 도형 또는 수식의 출현 빈도를 누적하여 출연 횟수를 파악할 수 있다. 또한, 문자, 도형 또는 수식에 포함되어 문서 내에서 자주 출현되거나 각각의 의미를 포괄하는 상위 개념의 단어 등이 대표 키워드로써 파악될 수 있다. 또한, 픽셀값에 기초하여 문자, 도형 또는 수식의 컬러 정보가 파악될 수 있다.
단계 S140에서, 문서저작자는 분석된 결과를 속성팩터로서 이미지와 함께 저장소(repository)에 저장할 수 있다. 즉, 필기체가 인식된 문서의 구조를 인식된 문자, 도형, 수식 등으로 분석하고, 분석된 결과를 속성정보DB의 속성팩터로 추출하여 필기체가 인식된 문서 이미지와 함께 저장소에 저장할 수 있다.
또한, 필기체가 인식된 문서 이미지는 문서저작자에 의하여 속성팩터가 결합되어 저장될 수도 있고, 필기체가 인식된 문서가 이미지로서 저장소에 업로드 된 후에 속성팩터와 결합하여 저장될 수도 있다.
본 발명의 일 실시예에 따르면, 속성팩터에는 문자, 숫자, 도형, 수식 등의 형태 정보와 크기, 위치, 컬러 등의 속성 정보와 출현 횟수, 대표 키워드 중 적어도 하나에 대한 정보가 포함될 수 있다. 예를 들어, 속성팩터는 문서의 분석 결과로 검색어로 분류되는 것이기 때문에, 문서의 분석하는 데 필요한 문서에 포함된 문자, 도형 또는 수식, 크기, 위치 등의 적어도 하나를 속성팩터로 이용할 수 있다.
단계 S150에서, 문서사용자로부터 수신된 검색 요청 및 속성팩터에 기초하여 저장소로부터 속성결합전자문서를 추출할 수 있다. 즉 문서사용자는 필요한 정보가 포함된 필기체 문서를 검색하기 위해서 저장소에 속성팩터와 관련된 검색어로 검색 요청을 할 수 있고, 그 결과로 저장소로부터 속성결합전자문서를 추출할 수 있다. 전술한 바와 같이 속성결합전자문서는 필기체가 인식된 문서와 속성팩터가 결합된 형태로, 필기체가 인식된 이미지와 여러 가지 정보가 결합된 속성팩터의 형태가 될 수 있다.
본 발명의 일 실시예에 따르면, 문서사용자로부터 입력받은 검색어 및 검색어 관련 정보가 포함된 속성팩터에 기초하여, 저장소에 저장된 속성결합전자문서에 포함된 본문, 제목 및 키워드 중 적어도 하나를 검색하여 매칭되는 속성결합전자문서를 추출하는 단계를 포함할 수 있다.
예를 들면, 문서사용자는 필요한 필기체 문서를 검색하기 위해, 검색어를 입력할 수 있고, 검색어는 저장소의 속성정보DB에 있는 속성팩터와 비교될 수 있다. 검색어가 저장되어 있는 속성결합전자문서의 본문, 제목 및 키워드 중 적어도 하나가 일치(match)하면, 문서사용자는 검색되어 매칭된 속성결합전자문서를 추출할 수 있다.
또한, 검색어는 문서 구조를 분석하는데 사용된 문자, 도형, 수식, 크기, 위치 등의 속성팩터를 이용할 수 있으므로, 검색어가 본문, 제목, 키워드에 포함되어 있지 않더라도 속성결합전자문서에 포함된 일부분의 문자, 수식, 도형, 컬러 등 속성팩터와 관련된다면, 이와 일치하는 속성결합전자문서도 추출할 수 있다.
단계 S160에서, 검색되어 추출된 속성결합전자문서는 문서사용자에게 제공될 수 있다.
본 발명의 일 실시예에 따르면, 문서사용자로부터 수신된 편집 신호에 기초하여 추출된 속성결합전자문서를 편집하는 단계 및 편집된 속성결합전자문서를 저장소에 저장하는 단계를 더 포함할 수 있다.
즉, 문서사용자는 추출된 속성결합전자문서를 자신의 필요에 따라 편집하고 가공하여 저장할 수 있다. 예를 들면, 문서사용자는 속성결합전자문서를 검색하고 추출한 후, 필기체 또는 워드 프로세서 등의 디지털 장치로 속성결합전자문서를 수정 및 편집할 수 있고, 다른 사용자와의 공유를 위해 다시 저장소에 업로드 할 수 있다. 편집 신호는 문서에 포함된 문자, 도형 및 수식 중 적어도 하나를 추가, 삭제 또는 변경하기 위한 명령어 등을 포함할 수 있다. 또한, 문서사용자에 의해 편집되거나 편집된 속성결합전자문서는 문서사용자의 결정에 의하여 수동으로 저장되거나 소정의 시간 간격에 따라 자동으로 저장될 수 있다.
또한, 문서사용자에게 제공될 이미지 또는 속성결합전자문서는 편집이 가능한 이미지(또는 속성결합전자문서)이거나 편집이 불가하도록 미리 설정된 이미지(또는 속성결합전자문서)일 수 있다. 다시 말해서, 문서저작자는 자신이 타인에게 공유할 문서의 이미지 또는 속성결합전자문서에 대하여 편집이 가능하거나 불가능하도록 미리 설정할 수 있다. 문서저작자는 무단의 문서 편집이 불가능하도록 문서에 대하여 암호화된 코드를 결합해 둘 수 있다. 이러한 암호화된 코드는 이미지를 저장소에 저장하는 단계 또는 저장소에서 속성결합전자문서화 되는 단계에서 부여되도록 할 수 있다. 문서의 이미지(또는 속성결합전자문서)가 편집이 가능한 경우 문서사용자는 제공된 이미지(또는 속성결합전자문서)를 자유롭게 편집할 수 있을 것이나, 문서의 이미지(또는 속성결합전자문서)가 편집이 불가능하도록 설정된 경우 문서사용자는 문서저작자로부터 문서 편집을 위한 암호화된 코드 정보를 별도로 제공받아야 한다.
도 3은 본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유할 수 있는 장치(1000)를 나타낸 블럭도이다.
본 발명의 일 실시예에 따른 필기체가 인식되어 생성된 전자문서를 공유할 수 있는 장치(1000)는 문서저작자에 의하여 기록된 필기체를 포함하는 문서에 대한 이미지를 획득하기 위한 이미지 획득부(100), 획득된 이미지로부터 적어도 하나의 필기문자를 인식하기 위한 문자 인식부(200), 인식된 필기체에 기초하여 문서의 구조를 분석하는 구조 분석부(300), 분석된 결과가 속성팩터로써 이미지와 함께 저장되는 저장소(repository)(400), 문서사용자로부터 검색 요청을 수신하기 위한 속성 검색부(500), 수신된 검색 요청 및 속성팩터에 기초하여 저장소로부터 속성결합전자문서를 추출하기 위한 속성결합전자문서 추출부(600) 및 추출된 속성결합전자문서를 문서사용자에게 제공하기 위한 출력부(700)를 포함할 수 있다.
이미지 획득부(100)는 필기체를 포함하는 문서에 대한 이미지를 획득하기 위한 것으로, 필기체가 포함된 문서를 직접 촬영할 수 있는 카메라 또는 스캔할 수 있는 스캐너 또는 문서에서 이미지를 획득할 수 있는 다양한 디지털 장치를 포함할 수 있다.
문자 인식부(200)는 이미지 획득부(100)를 통해 얻어진 이미지에서 적어도 하나의 글자를 인식하기 위한 것으로, 글자 인식 장치를 포함할 수 있다.
예를 들어, 문자 인식부(200)는 획득된 이미지에 대하여 보정, 이진화 및 세선화 과정을 수행하고, 수행된 이미지에 대하여 특징점을 추출하여 추출된 특징점에 기초하여 필기체로부터 획을 분리하거나 결합함으로써 기본 도형 및 복합 도형을 추출하고 자소를 생성하며, 생성된 자소에 상응하는 자음 또는 모음을 결정하고, 결정된 자음 또는 모음을 결합하여 적어도 하나의 필기문자를 추정할 수 있는 필기체 인식 장치를 포함할 수 있다.
구조 분석부(300)는 인식된 필기체를 이용하여 문서를 분석하기 위한 것으로, 문서 내의 문자를 분석하는 문자 분석부, 숫자, 기호 등을 분석할 수 있는 숫자, 기호 분석부, 문서 내의 문자의 위치, 크기 등을 파악할 수 있는 위치 분석부 등을 포함할 수 있고, 문서를 분석하기 위한 모든 장치를 포함할 수 있다.
저장소(repository)(400)는 필기체가 인식된 문서를 인식된 문자, 도형 또는 수식 등의 대표 키워드, 또는 문서, 수식, 도형의 위치, 크기 등으로 문서를 분석하고 파악하여 필기체가 인식된 이미지를 여러 가지 속성팩터와 결합하여 속성결합전자문서로 저장할 수 있는 장소로서, 정보 장치의 프로그램이나 데이터 즉 속성결합전자문서 등의 각종 데이터 자원 및 자원 간의 관련까지 포함하여 저장하는 자원 관리 데이터 베이스를 포함할 수 있다.
속성 검색부(500)는 문서사용자가 속성결합전자문서를 검색하도록 문서사용자의 검색 요청을 수신하는 곳으로, 저장소에 접근하기 위한 속성 입력을 수신할 수 있다. 예를 들면, 속성 검색부는 외부 입력을 수신하기 위한 통신 장치를 포함할 수 있고, 인터넷 등으로 연결된 디지털 입력 장치, 즉, 저장소와 유,무선으로 연결된 사용자 입력 인터페이스 등을 포함할 수 있다.
속성결합전자문서 추출부(600)는 문서사용자의 검색 요청에 의하여 저장소에서 속성결합전자문서를 추출하는 역할을 할 수 있는 장치로, 문서사용자의 검색 요청에 의한 검색어를 속성팩터와 비교하여 매칭되는 속성결합전자문서를 추출할 수 있다. 즉 속성결합전자문서 추출부(600)는 검색어를 속성팩터와 비교, 매칭하여 속성결합전자문서를 추출하기 위하여, 프로세서(Processor)를 탑재한 장치(예컨대, 컴퓨터, 노트북, 스마트폰, 랩탑 등), 또는 그와 유사한 장치를 포함할 수 있다.
출력부(700)부는 추출된 속성결합전자문서를 문서사용자에게 제공하는 역할을 할 수 있는 장치로, 저장소와 유, 무선으로 연결되어 속성결합전자문서 추출부(600)에서 추출한 속성결합전자문서를 문서사용자에게 제공할 수 있다. 예를 들면, 출력부(700)는 문서사용자에게 속성결합전자문서를 제공할 수 있는 정보기기(예컨대, 노트북, 컴퓨터, 스마트폰, 스마트 TV 등)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 필기체가 인식되어 생성된 전자문서의 공유를 위한 장치는 문서사용자로부터 수신된 편집 신호에 기초하여 추출된 속성결합전자문서를 편집하기 위한 속성결합전자문서 편집부를 더 포함할 수 있다.
예를 들면, 필기체가 인식되어 생성된 전자문서의 공유를 위한 장치는 문서사용자가 필요에 따라 검색한 속성결합전자문서를 편집할 수 있도록, 속성결합전자문서 편집부를 더 포함할 수 있다. 즉 속성결합전자문서 편집부는 문서사용자의 수신된 편집 신호에 기초하여 편집할 수 있도록, 문서사용자의 편집을 입력받을 수 있는 입력 인터페이스, 편집 신호를 수신 받을 수 있는 수신부, 편집 신호에 기초하여 속성결합전자문서를 편집하여 저장할 수 있는 편집, 저장 장치 등을 포함 할 수 있다.
본 발명의 일 실시예에 따른 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다.
또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 이미지 획득부
200: 문자 인식부
300: 구조 분석부
400: 저장소(repository)
500: 속성 검색부
600: 속성결합전자문서 추출부
610: 속성결합전자문서 편집부
700: 출력부
1000: 필기체가 인식되어 생성된 전자문서를 공유할 수 있는 장치
200: 문자 인식부
300: 구조 분석부
400: 저장소(repository)
500: 속성 검색부
600: 속성결합전자문서 추출부
610: 속성결합전자문서 편집부
700: 출력부
1000: 필기체가 인식되어 생성된 전자문서를 공유할 수 있는 장치
Claims (10)
- 필기체가 인식되어 생성된 전자문서의 공유 방법에 있어서,
문서저작자에 의하여 기록된 필기체를 포함하는 문서에 대한 이미지를 획득하는 단계;
상기 획득된 이미지로부터 적어도 하나의 필기문자를 인식하는 단계;
상기 인식된 필기체에 기초하여 상기 문서의 구조를 분석하는 단계; 및 상기 인식된 필기체에 기초하여 상기 문서의 속성을 추출하는 단계
상기 분석된 결과를 속성팩터로써 상기 이미지와 함께 속성결합전자문서로 저장소(repository)에 저장하는 단계;
문서사용자로부터 수신된 검색 요청 및 상기 속성팩터에 기초하여 상기 저장소로부터 상기 속성결합전자문서를 추출하는 단계; 및 상기 추출된 속성결합전자문서를 상기 문서사용자가 편집하는 단계;
상기 추출된 속성결합전자문서를 상기 문서사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유 방법. - 제 1 항에 있어서,
상기 문서사용자로부터 수신된 편집 신호에 기초하여 상기 추출된 속성결합전자문서를 편집하는 단계; 및 상기 편집된 속성결합전자문서를 상기 저장소에 저장하는 단계를 더 포함하는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유 방법. - 제 1 항에 있어서,
상기 획득된 이미지로부터 적어도 하나의 필기문자를 인식하는 단계는, 상기 획득된 이미지에 대하여 보정, 이진화 및 세선화 과정을 수행하고, 상기 과정이 수행된 이미지에 대하여 특징점을 추출하여 추출된 특징점에 기초하여 상기 필기체로부터 획을 분리하거나 결합함으로써 기본 도형 및 복합 도형을 추출하고 자소를 생성하며, 생성된 자소에 상응하는 자음 또는 모음을 결정하는 단계; 및 상기 결정된 자음 또는 모음을 결합하여 적어도 하나의 필기문자를 추정하는 단계를 포함하는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유 방법. - 제 1 항에 있어서,
상기 인식된 필기체에 기초하여 상기 문서의 구조를 분석하는 단계는, 상기 문서에 포함된 문자, 숫자, 도형, 수식 등의 형태 정보와 크기, 위치, 컬러 등의 속성 정보와 출현 횟수, 대표 키워드 중 적어도 하나에 대한 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유 방법. - 제 4 항에 있어서,
상기 속성팩터에는 상기 문자, 숫자, 도형, 수식 등의 형태 정보와 크기, 위치, 컬러 등의 속성 정보와 출현 횟수, 대표 키워드 중 적어도 하나에 대한 정보가 포함되는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유 방법. - 제 4 항에 있어서,
상기 속성결합전자문서를 추출하는 단계는,
상기 문서사용자로부터 입력받은 검색어 및 상기 검색어 관련 정보가 포함된 속성팩터에 기초하여, 상기 저장소에 저장된 속성결합전자문서에 포함된 본문, 제목 및 키워드 중 적어도 하나를 검색하여 매칭되는 속성결합전자문서를 추출하는 단계를 포함하는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유 방법. - 제 2 항에 있어서,
상기 편집 신호는 상기 문서에 포함된 문자, 도형 및 수식 중 적어도 하나를 추가, 삭제 또는 변경하기 위한 신호이고, 상기 편집된 속성결합전자문서는 상기 문서사용자의 결정에 의하여 수동으로 저장되거나 소정의 시간 간격에 따라 자동으로 저장되는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유 방법. - 필기체가 인식되어 생성된 전자문서의 공유를 위한 장치에 있어서,
문서저작자에 의하여 기록된 필기체를 포함하는 문서에 대한 이미지를 획득하기 위한 이미지 획득부;
상기 획득된 이미지로부터 적어도 하나의 필기문자를 인식하기 위한 문자 인식부;
상기 인식된 필기체에 기초하여 상기 문서의 구조를 분석하는 구조 분석부;
상기 분석된 결과가 속성팩터로써 상기 이미지와 함께 속성결합전자문서로 저장되는 저장소(repository);
문서사용자로부터 검색 요청을 수신하기 위한 속성 검색부;
상기 수신된 검색 요청 및 상기 속성팩터에 기초하여 상기 저장소로부터 상기 속성결합전자문서를 추출하기 위한 속성결합전자문서 추출부; 및 상기 추출된 속성결합전자문서를 상기 문서사용자에게 제공하기 위한 출력부를 포함하는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유를 위한 장치. - 제 8 항에 있어서,
상기 문서사용자로부터 수신된 편집 신호에 기초하여 상기 추출된 속성결합전자문서를 편집하기 위한 속성결합전자문서 편집부를 더 포함하는 것을 특징으로 하는 필기체가 인식되어 생성된 전자문서의 공유를 위한 장치. - 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160140660A KR101800975B1 (ko) | 2016-10-27 | 2016-10-27 | 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160140660A KR101800975B1 (ko) | 2016-10-27 | 2016-10-27 | 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101800975B1 true KR101800975B1 (ko) | 2017-11-23 |
Family
ID=60809511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160140660A KR101800975B1 (ko) | 2016-10-27 | 2016-10-27 | 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101800975B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220019581A1 (en) * | 2019-02-14 | 2022-01-20 | Showa Denko K.K. | Document retrieval apparatus, document retrieval system, document retrieval program, and document retrieval method |
KR102516560B1 (ko) * | 2022-07-12 | 2023-03-31 | 망고클라우드 주식회사 | 수기로 작성된 문서의 관리 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101012101B1 (ko) | 2009-09-02 | 2011-02-07 | 주식회사 코아로직 | 한글 인식 방법 및 장치 |
KR101546429B1 (ko) | 2014-01-29 | 2015-08-24 | 전현민 | 필기체 인식 시스템 및 인식방법 |
-
2016
- 2016-10-27 KR KR1020160140660A patent/KR101800975B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101012101B1 (ko) | 2009-09-02 | 2011-02-07 | 주식회사 코아로직 | 한글 인식 방법 및 장치 |
KR101546429B1 (ko) | 2014-01-29 | 2015-08-24 | 전현민 | 필기체 인식 시스템 및 인식방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220019581A1 (en) * | 2019-02-14 | 2022-01-20 | Showa Denko K.K. | Document retrieval apparatus, document retrieval system, document retrieval program, and document retrieval method |
US11797551B2 (en) * | 2019-02-14 | 2023-10-24 | Resonac Corporation | Document retrieval apparatus, document retrieval system, document retrieval program, and document retrieval method |
KR102516560B1 (ko) * | 2022-07-12 | 2023-03-31 | 망고클라우드 주식회사 | 수기로 작성된 문서의 관리 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2571545C1 (ru) | Классификация изображений документов на основании контента | |
CN106446816B (zh) | 人脸识别方法及装置 | |
RU2668717C1 (ru) | Генерация разметки изображений документов для обучающей выборки | |
JP4698289B2 (ja) | カメラで取得されたドキュメント用の低解像度のocr | |
CN108229481B (zh) | 屏幕内容分析方法、装置、计算设备及存储介质 | |
EP2806336A1 (en) | Text prediction in a text input associated with an image | |
KR102373884B1 (ko) | 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법 | |
KR101552525B1 (ko) | 폰트를 인식하고 폰트정보를 제공하는 시스템 및 그 방법 | |
Van Phan et al. | A nom historical document recognition system for digital archiving | |
KR101800975B1 (ko) | 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 | |
JP2005151127A5 (ko) | ||
KR20220005243A (ko) | 수기로 작성된 스캔본 전자파일의 인식과 공유 방법 및 그 장치 | |
CN110955796B (zh) | 一种基于笔录信息的案件特征信息提取方法及装置 | |
Khan et al. | Offline pashto characters dataset for Ocr systems | |
KR101440887B1 (ko) | 영상 및 음성 정보를 이용한 명함 인식 방법 및 장치 | |
Myasnikov et al. | Detection of sensitive textual information in user photo albums on mobile devices | |
CN112241470A (zh) | 一种视频分类方法及系统 | |
CN117076455A (zh) | 一种基于智能识别的保单结构化存储方法、介质及系统 | |
Li et al. | A text-line segmentation method for historical Tibetan documents based on baseline detection | |
CN109034040B (zh) | 一种基于演员表的人物识别方法、装置、设备和介质 | |
CN108882033B (zh) | 一种基于视频语音的人物识别方法、装置、设备和介质 | |
JP4677750B2 (ja) | 文書属性取得方法および装置並びにプログラムを記録した記録媒体 | |
CN102855291A (zh) | 一种向输入法词库中添加词条的方法及装置 | |
Rahman et al. | Text Information Extraction from Digital Image Documents Using Optical Character Recognition | |
JP2020047031A (ja) | 文書検索装置、文書検索システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |