KR20220116818A - 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치 - Google Patents

딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치 Download PDF

Info

Publication number
KR20220116818A
KR20220116818A KR1020210020142A KR20210020142A KR20220116818A KR 20220116818 A KR20220116818 A KR 20220116818A KR 1020210020142 A KR1020210020142 A KR 1020210020142A KR 20210020142 A KR20210020142 A KR 20210020142A KR 20220116818 A KR20220116818 A KR 20220116818A
Authority
KR
South Korea
Prior art keywords
marking
information
category
answer
answer sheet
Prior art date
Application number
KR1020210020142A
Other languages
English (en)
Inventor
강민석
이록규
이혁재
Original Assignee
엔에이치엔클라우드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔클라우드 주식회사 filed Critical 엔에이치엔클라우드 주식회사
Priority to KR1020210020142A priority Critical patent/KR20220116818A/ko
Publication of KR20220116818A publication Critical patent/KR20220116818A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G06K9/6255—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법은, 컴퓨팅 장치의 적어도 하나의 프로세서에 의하여 실행되는 답안지 정보 추출 애플리케이션이 딥러닝 기반의 답안지 스캔을 통한 정보 추출을 수행하는 방법으로서, 템플릿(template) 정보를 생성하는 단계; 소정의 마킹(marking)이 수행된 스캔 답안 이미지를 획득하는 단계; 상기 템플릿 정보를 기초로 상기 스캔 답안 이미지를 정렬하는 단계; 상기 템플릿 정보를 기초로 상기 정렬된 스캔 답안 이미지 내 마킹 카테고리(marking category)를 감지하는 단계; 상기 템플릿 정보를 기초로 상기 감지된 마킹 카테고리의 마킹정보를 획득하는 단계; 및 상기 템플릿 정보를 기초로 상기 획득된 마킹정보에 기반한 답안지 감지정보를 생성하여 제공하는 단계를 포함한다.

Description

딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치{MEHTOD AND DEVICE FOR INFORMATION EXTRACTION THROUGH DEEP LEARNING-BASED ANSWER SHEET SCANNING}
본 발명은 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치에 관한 것이다. 보다 상세하게는, 소정의 답안지에 기반한 정보 추출의 기준을 제공하는 답안지 템플릿(template)을 생성하고, 생성된 답안지 템플릿을 이용하여 이미지 센서를 통해 획득되는 답안 이미지 내 정보를 추출하는 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치에 관한 것이다.
일반적으로 학교, 학원 및 전문 교육기관과 같은 교육 현장에서는,　종이 시험지(이하, 시험지)와 OMR 카드를 제공하고, 피시험자는 수성펜을 도구로 하여 상기 OMR 카드에 답을　마킹하면, 이를 읽을 수 있는 매체를 통하여　채점하는 방식을 이용하고 있다.
그러나, 이러한 방식은　시험　채점　및 분석에 많은 시간과 비용이 소요되어 비효율적이고 최근 대두되는 맞춤형 학습과 관련한 학습 지도에 한계가 있다.
또한, OMR 카드 답안지를 사용할 경우, 해당 전용 답안지와 더불어 OMR 카드 판독에 사용되는 고가의 전용 리더기까지 구비해야 하여 비용 부담 또한 상당한 실정이다.
이러한 경제적인 문제로 인하여, 최근에는 A4 용지에 OMR 답안지를 인쇄하고 평판 스캐너를 통해 이미지로 스캔하여 OMR 판독을 수행하는 추세이다.
그러나, 이러한 종래의 방식은, 스캔 과정에서 종이 흔들림이 발생하거나 종이가 기울어진 상태로 스캔되어 X, Y 좌표 등을 정확히 인식하기 어려운 등의 문제가 있어, 스캔 위치가 소정의 오차를 가지거나 어긋나는 경우 판독 불가처리되거나 비정확한 판독 결과가 도출될 가능성이 높다는 문제점이 있다.
더하여, 종래의 본 기술분야에서는, 대체적으로 컬러 이미지에 기반한 방식으로 위와 같은 OMR 판독을 수행하고 있어, 흑백으로 열화된 이미지 등의 다양한 포맷(format)을 가지는 답안지 이미지에 대한 정보 추출에 어려움을 겪고 있다는 문제가 있다.
KR 10-2093379 B1
본 발명은, 상술된 바와 같은 문제점들을 해결하기 위하여 안출된 것으로서, 소정의 답안지에 기반한 정보 추출의 기준을 제공하는 답안지 템플릿(template)을 생성하고, 생성된 답안지 템플릿을 이용하여 이미지 센서를 통해 획득되는 답안 이미지 내 정보를 추출하는 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치를 제공하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법은, 컴퓨팅 장치의 적어도 하나의 프로세서에 의하여 실행되는 답안지 정보 추출 애플리케이션이 딥러닝 기반의 답안지 스캔을 통한 정보 추출을 수행하는 방법으로서, 템플릿(template) 정보를 생성하는 단계; 소정의 마킹(marking)이 수행된 스캔 답안 이미지를 획득하는 단계; 상기 템플릿 정보를 기초로 상기 스캔 답안 이미지를 정렬하는 단계; 상기 템플릿 정보를 기초로 상기 정렬된 스캔 답안 이미지 내 마킹 카테고리(marking category)를 감지하는 단계; 상기 템플릿 정보를 기초로 상기 감지된 마킹 카테고리의 마킹정보를 획득하는 단계; 및 상기 템플릿 정보를 기초로 상기 획득된 마킹정보에 기반한 답안지 감지정보를 생성하여 제공하는 단계를 포함한다.
이때, 상기 마킹 카테고리는, 답안지 내 일 항목(category)에 대한 출력값을 결정하는 복수의 마커 포인트의 집합이다.
또한, 상기 템플릿(template) 정보를 생성하는 단계는, 샘플 답안 이미지를 획득하는 단계와, 상기 획득된 샘플 답안 이미지 내 마킹 영역을 설정하는 단계와, 상기 설정된 마킹 영역에 기반한 마킹 카테고리를 설정하는 단계와, 상기 설정된 마킹 카테고리에 따라서 상기 템플릿 정보를 생성하는 단계를 포함한다.
또한, 상기 마킹 카테고리를 설정하는 단계는, 상기 마킹 카테고리별 마킹경계를 설정하는 단계를 포함하고, 상기 마킹경계는, 상기 답안지 내 일 항목에 대한 출력값을 결정하기 위한 적어도 하나 이상의 서브 출력값을 결정하는 복수의 마커 포인트의 집합이다.
또한, 상기 마킹 카테고리를 설정하는 단계는, 상기 마킹 카테고리에 대한 위치, 면적 및 좌표값 중 적어도 하나 이상을 포함하는 마킹 카테고리 영역 정보와, 상기 마킹 카테고리가 포함하는 마킹 포인트에 대한 특성을 나타내는 분류기준 정보를 획득하는 단계를 포함한다.
또한, 상기 스캔 답안 이미지를 정렬하는 단계는, 상기 템플릿 정보의 마킹 카테고리 영역과, 상기 스캔 답안 이미지 내 마킹 카테고리 영역이 대응되도록 피팅(fitting)하는 단계를 포함한다.
또한, 상기 스캔 답안 이미지 내 마킹 카테고리를 감지하는 단계는, 상기 템플릿 정보의 마킹 카테고리 영역에 대응되는 영역을 검출하는 단계와, 상기 검출된 대응영역을 상기 스캔 답안 이미지의 마킹 카테고리 영역으로 설정하는 단계와, 상기 설정된 마킹 카테고리 영역에 매칭되는 분류기준 정보를 상기 템플릿 정보의 마킹 카테고리 영역에 매칭되는 분류기준 정보를 기초로 설정하는 단계를 포함한다.
또한, 상기 감지된 마킹 카테고리의 마킹정보를 획득하는 단계는, 상기 템플릿 정보의 마킹 카테고리별 마킹경계를 기초로 상기 감지된 마킹 카테고리에 대한 마킹경계를 설정하는 단계와, 상기 설정된 마킹경계 내 마킹이 수행된 마킹 포인트를 검출하는 단계와, 상기 검출된 마킹 포인트에 대응되는 문자를 감지하는 단계와, 상기 감지된 문자를 기초로 상기 마킹 카테고리의 마킹정보를 획득하는 단계를 포함한다.
한편, 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 시스템은, 답안지 감지정보를 출력하는 디스플레이; 적어도 하나 이상의 프로세서; 및 적어도 하나 이상의 메모리; 를 포함하고, 상기 메모리에 저장되고 상기 적어도 하나 이상의 프로세서에 의해 실행되어 딥러닝 기반의 답안지 스캔을 통한 정보 추출을 수행하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 템플릿(template) 정보를 생성하고, 소정의 마킹(marking)이 수행된 스캔 답안 이미지를 획득하고, 상기 템플릿 정보를 기초로 상기 스캔 답안 이미지를 정렬하고, 상기 템플릿 정보를 기초로 상기 정렬된 스캔 답안 이미지 내 마킹 카테고리(marking category)를 감지하고, 상기 템플릿 정보를 기초로 상기 감지된 마킹 카테고리의 마킹정보를 획득하고, 상기 템플릿 정보를 기초로 상기 획득된 마킹정보에 기반한 답안지 감지정보를 생성하여 제공한다.
이때, 상기 애플리케이션은, 상기 템플릿 정보의 마킹 카테고리와 상기 스캔 답안 이미지 내 마킹 카테고리가 대응되도록 피팅(fitting)한다.
본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치는, 소정의 답안지에 기반한 정보 추출의 기준을 제공하는 템플릿 정보를 생성하여 이미지 센서를 통해 획득되는 답안 이미지 내 정보를 추출함으로써, 상기 답안 이미지가 획득될 때마다 정보 추출에 필요한 정보들(실시예에서, 마킹영역별 카테고리 등)을 일일이 설정하지 않더라도, 상기 템플릿 정보가 포함하는 표준화된 답안지 정보 추출 기준에 따라서 신속하고 편리하게 상기 답안 이미지 내 정보를 획득할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치는, 상기 템플릿 정보를 기초로 답안 이미지에 대한 정보(실시예에서, 마킹정보 등)를 획득함으로써, 상기 답안 이미지의 스캔 위치 등이 소정의 오차를 가지거나 어긋나더라도 유연하게 대처하여 정확한 좌표 상에 상기 답안 이미지를 정합할 수 있으며, 이를 통해 추후 상기 답안 이미지로부터 추출되는 정보의 정확성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치는, 상기 템플릿 정보를 이용하여 상기 이미지 센서를 통해 획득되는 답안 이미지 내 정보를 추출함으로써, 상기 획득되는 답안 이미지가 흑백이든 컬러이든 상관없이 어떠한 포맷(format)의 답안 이미지가 들어오더라도 해당 답안 이미지 내 정보를 추출할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 컴퓨팅 장치의 내부 블록도이다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 마킹 영역과 마킹 카테고리를 설명하기 위한 도면의 일례이다.
도 4는 본 발명의 실시예에 따른 마킹 카테고리를 설정하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 마킹경계를 설명하기 위한 도면의 일례이다.
도 6은 본 발명의 실시예에 따른 그룹화 인터페이스를 설명하기 위한 도면의 일례이다.
도 7은 본 발명의 실시예에 따른 코너 마커(corner marker)와 피팅 마커(fitting marker)를 설명하기 위한 도면의 일례이다.
도 8은 본 발명의 실시예에 따른 스캔 답안 이미지를 템플릿 정보에 기초하여 정렬하는 방법을 설명하기 위한 도면의 일례이다.
도 9는 본 발명의 실시예에 따른 마킹(marking)을 위한 소정의 표시를 나타내는 모습의 일례이다.
도 10은 본 발명의 실시예에 따른 답안지 감지정보를 설명하기 위한 도면의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
- 컴퓨팅 장치(Computing Device: 100)
본 발명의 실시예에 따른 컴퓨팅 장치(100)는, 소정의 답안지(실시예에서, 샘플 답안지)에 기반한 정보 추출의 기준을 제공하는 템플릿(template) 정보를 생성하고, 생성된 템플릿 정보를 이용하여 소정의 이미지 센서를 통해 획득되는 답안 이미지(실시예에서, 스캔 답안 이미지) 내 정보를 추출하는 딥러닝 기반의 답안지 정보 추출 서비스(이하, 답안지 정보 추출 서비스)를 제공할 수 있다.
자세히, 본 발명의 실시예에서 컴퓨팅 장치(100)는, 답안지 정보 추출 서비스를 제공하는 답안지 정보 추출 애플리케이션(111: 이하, 답안지 애플리케이션)이 설치된 소정의 컴퓨팅 디바이스일 수 있다.
자세히, 하드웨어적 관점에서 컴퓨팅 장치(100)는, 답안지 애플리케이션(111)이 설치된 모바일 타입 컴퓨팅 장치(100-1) 및/또는 데스크탑 타입 컴퓨팅 장치(100-2) 등을 포함할 수 있다.
여기서, 모바일 타입 컴퓨팅 장치(100-1)는, 답안지 애플리케이션(111)이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다.
예를 들어, 모바일 타입 컴퓨팅 장치(100-1)는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다.
또한, 데스크탑 타입 컴퓨팅 장치(100-2)는, 답안지 애플리케이션(111)이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 답안지 정보 추출 서비스를 실행하기 위한 프로그램이 설치된 장치 등을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 컴퓨팅 장치(100)의 내부 블록도이다.
한편, 도 1을 참조하면, 기능적 관점에서 컴퓨팅 장치(100)는, 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 장치(100)의 하우징 내에 포함되도록 구성될 수 있다.
자세히, 메모리(110)에는, 답안지 애플리케이션(111)이 저장되며, 답안지 애플리케이션(111)은 답안 처리 서비스 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
즉, 메모리(110)는, 답안 처리 서비스 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
또한, 상기 메모리(110)는, 프로그램 영역과 데이터 영역을 포함할 수 있다.
여기서, 실시예에 따른 프로그램 영역은, 컴퓨팅 장치(100)를 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 컴퓨팅 장치(100)의 사용에 따라 발생하는 데이터가 저장될 수 있다.
또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다.
예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(120)는, 답안 처리 서비스 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 답안지 애플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(120)는, 답안 처리 서비스를 제공하기 위하여 메모리(110)의 답안지 애플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 컴퓨팅 장치(100)에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리(110)에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 컴퓨팅 장치(100)에 탑재된 각 구성요소들을 제어할 수 있다.
또한, 프로세서 어셈블리(120)는, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.
또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 모듈(130)은, 외부의 장치(예컨대, 스캐너, 타 컴퓨팅 장치(100) 및/또는 외부의 서버 등)와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 통신 모듈(130)은, 답안 처리 서비스 환경을 구현하기 위한 콘텐츠 소스를 저장한 컴퓨팅 장치(100)와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서, 통신 모듈(130)은, 답안 처리 서비스와 관련된 각종 데이터를 스캐너 및/또는 다른 컴퓨팅 장치(100)와 송수신할 수 있다.
이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.
여기서, 이미지 센서(161)는, 컴퓨팅 장치(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서, 이미지 센서(161)는, 답안 처리 서비스와 관련된 영상(실시예로, 답안 이미지 등)을 촬영하여 획득할 수 있다.
또한, 이미지 센서(161)는, 컴퓨팅 장치(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 컴퓨팅 장치(100)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다.
이러한 이미지 센서(161)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
또한, 위와 같은 이미지 센서(161)는, 실시예에 따라서 컴퓨팅 장치(100)에 포함되어 동작할 수도 있고, 외부의 장치(예컨대, 스캐너)에 포함되어 상술된 통신 모듈 및/또는 인터페이스 모듈에 기초한 연동을 통하여 동작할 수도 있다.
위치 센서(IMU, 163)는, 컴퓨팅 장치(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다.
또한, 위치 센서(IMU, 163)는, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 컴퓨팅 장치(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
오디오 센서(165)는, 컴퓨팅 장치(100) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(165)는, 컴퓨팅 장치(100)를 사용하는 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(165)는 답안 처리 서비스를 위해 필요한 음성 데이터를 사용자로부터 입력 받을 수 있다.
인터페이스 모듈(140)은, 컴퓨팅 장치(100)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스 모듈(140)을 통해 컴퓨팅 장치(100)는, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 컴퓨팅 장치(100) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(150)은 답안 처리 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.
또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(170)은, 답안 처리 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
실시예에서, 디스플레이 시스템(170)은, 답안 처리 프로세스 인터페이스, 이미지 센서(161)로부터 센싱된 시험지 이미지 및/또는 테스트 결과정보 등을 표시할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이러한 컴퓨팅 장치(100)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(171) 상에 터치 센서(173)를 포함할 수 있다.
자세히, 디스플레이 시스템(170)은, 이미지를 출력하는 디스플레이(171)와, 사용자의 터치 입력을 감지하는 터치 센서(173)를 포함할 수 있다.
예시적으로 디스플레이(171)는 터치 센서(173)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 컴퓨팅 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 컴퓨팅 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
- 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법
이하, 컴퓨팅 장치(100)의 적어도 하나 이상의 프로세서에 의하여 실행되는 답안지 애플리케이션(111)이 딥러닝 기반의 답안지 스캔을 통하여 정보를 추출하는 방법을 첨부된 도 2 내지 도 10을 참조하여 상세히 설명한다.
본 발명의 실시예에서 컴퓨팅 장치(100)의 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 메모리(110)에 저장된 적어도 하나 이상의 답안지 애플리케이션(111)을 실행하거나 백그라운드 상태로 동작하게 할 수 있다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 실시예에서 컴퓨팅 장치(100)의 적어도 하나 이상의 프로세서에 의하여 실행되거나 백그라운드 상태로 동작하는 답안지 애플리케이션(111)은, 샘플 답안 이미지에 기반한 템플릿(template) 정보를 생성할 수 있다. (S101)
자세히, 실시예에서 답안지 애플리케이션(111)은, 이미지 센서(161)에 기초하여 샘플 답안지를 디지털 이미지화한 샘플 답안 이미지를 획득할 수 있다.
여기서, 상기 샘플 답안지는, 추후 획득되는 적어도 하나 이상의 스캔 답안 이미지로부터 정보를 추출할 시 기준을 제공하는 템플릿 정보를 생성하기 위한 기반이 되는 표준 답안지를 의미할 수 있다.
도 3은 본 발명의 실시예에 따른 마킹 영역과 마킹 카테고리를 설명하기 위한 도면의 일례이다.
또한, 실시예에서 답안지 애플리케이션(111)은, 획득된 샘플 답안 이미지에 기초하여 1) 마킹 영역(10: marking area)을 설정할 수 있다.
자세히, 도 3을 참조하면, 실시예에 따른 마킹 영역(10)이란, 답안지 내 마킹을 수행하는 영역인 복수의 마킹 포인트(marking point)를 포함하는 영역을 의미할 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 획득된 샘플 답안 이미지 내 소정의 형상(예컨대, 타원 형상 등)을 가지는 복수의 마킹 포인트를 검출할 수 있다.
또한, 답안지 애플리케이션(111)은, 검출된 적어도 하나 이상의 마킹 포인트를 포함하는 영역을 상기 답안 이미지 내 마킹 영역(10)으로 설정할 수 있다.
또한, 도 3을 더 참조하면, 실시예에서 답안지 애플리케이션(111)은, 설정된 마킹 영역(10)에 기반하여 2) 마킹 카테고리(20: marking category)를 설정할 수 있다.
여기서, 실시예에 따른 마킹 카테고리(20)란, 답안지 내 일 항목(category)에 대한 출력값을 결정하는 복수의 마커 포인트의 집합일 수 있다.
실시예로, 답안지 애플리케이션(111)은, 상기 설정된 마킹 영역(10)에 기초하여 시험유형 카테고리(20-1), 성명 카테고리(20-2), 학원번호 카테고리(20-3), 소속학교코드 카테고리(20-4), 수험번호 카테고리(20-5), 성별 카테고리(20-6), 학교급 카테고리(20-7), 학년 카테고리(20-8), 계열 카테고리(20-9), 개인정보 활용동의 카테고리(20-10), 응시자 설문조사 카테고리(20-11) 및/또는 답안 카테고리(20-12) 등을 포함하는 마킹 카테고리(20)를 설정할 수 있다.
도 4는 본 발명의 실시예에 따른 마킹 카테고리(20)를 설정하는 방법을 설명하기 위한 흐름도이다.
자세히, 도 4를 참조하면, 실시예에서 상기 마킹 카테고리(20)를 설정하기 위하여 답안지 애플리케이션(111)은, 1] 설정된 마킹 영역(10) 내 마킹 포인트별 대응되는 문자를 감지하고 제 1 차 분류를 수행할 수 있다.
실시예로, 답안지 애플리케이션(111)은, 상기 마킹 영역(10) 내 마킹 포인트에 대응되는 문자가 소정의 단어인 경우, 해당하는 마킹 포인트를 포함하는 마킹 영역(10)을 '항목선택 마킹영역'으로 제 1 차 분류할 수 있다.
또는, 실시예에서 답안지 애플리케이션(111)은, 상기 마킹 영역(10) 내 마킹 포인트에 대응되는 문자가 소정의 분절음운(자음 또는 모음)인 경우, 해당하는 마킹 포인트를 포함하는 마킹 영역(10)을 '글자선택 마킹영역'으로 제 1 차 분류할 수 있다.
또는, 실시예에서 답안지 애플리케이션(111)은, 상기 마킹 영역(10) 내 마킹 포인트에 대응되는 문자가 소정의 숫자인 경우, 해당하는 마킹 포인트를 포함하는 마킹 영역(10)을 '숫자선택 마킹영역'으로 제 1 차 분류할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 2] 위와 같이 제 1 차 분류된 마킹 영역(10)에 대한 제 2 차 분류를 수행할 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 상기 마킹 카테고리(20)별로 기설정된 분류기준 정보에 기초하여, 상기 제 1 차 분류된 마킹 영역(10)에 대한 제 2 차 분류를 수행할 수 있다.
여기서, 실시예에 따른 상기 분류기준 정보란, 해당하는 마킹 카테고리(20)가 포함하는 마킹 포인트에 대한 특성을 나타내는 정보로서, 실시예에서 상기 마킹 카테고리(20)의 이름(이하, 마킹 카테고리명), 상기 마킹 카테고리(20)에 매칭되는 제 1 차 분류영역 정보, 상기 마킹 카테고리(20) 내 마킹 포인트별 문자정보, 상기 마킹 카테고리(20) 내 마킹경계 개수 정보 및/또는 상기 마킹 카테고리(20) 내 마킹경계 방향 정보 등을 포함할 수 있다.
실시예에서, 이러한 분류기준 정보는, 각 마킹 카테고리(20)별 분류기준 정보를 설정할 수 있는 사용자 인터페이스에 대한 사용자 입력을 기초로 획득될 수 있다.
도 5는 본 발명의 실시예에 따른 마킹경계를 설명하기 위한 도면의 일례이다.
여기서, 도 5를 참조하면, 실시예에 따른 마킹경계(30)란, 답안지 내 일 항목(즉, 일 마킹 카테고리(20))의 출력값을 결정하기 위한 적어도 하나 이상의 서브 출력값을 결정하는 복수의 마커 포인트의 집합일 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 제 1 차 분류된 마킹 영역(10) 내 마킹경계(30)를 설정할 수 있다.
구체적으로, 실시예에서 답안지 애플리케이션(111)은, 항목선택 마킹영역으로 제 1 차 분류된 마킹 영역(10)인 경우, 마킹 포인트별 대응되는 단어를 기준으로 마킹경계(30)를 설정할 수 있다.
예를 들면, 답안지 애플리케이션(111)은, 상기 마킹 영역(10) 내 제 1 마킹 포인트에 대응되는 문자가 '중1'이고, 제 2 마킹 포인트에 대응되는 문자가 '중2'이고, 제 3 마킹 포인트에 대응되는 문자가 '중3'이면, 상기 마킹 포인트별 단어 즉, '중1', '중2' 및 '중3' 각각을 기준으로 제 1 내지 3 마킹경계(30)를 설정할 수 있다. 즉, 이때 상기 마킹경계(30)의 개수는 '3' 일 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 글자선택 마킹영역으로 제 1 차 분류된 마킹 영역(10)인 경우, 자음 오름차순 및/또는 모음 오름차순을 기준으로 마킹경계(30)를 설정할 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 상기 글자선택 마킹영역 내 복수의 마킹 포인트별 글자를 감지할 수 있다.
그리고 답안지 애플리케이션(111)은, 감지된 글자에 기초하여 상기 복수의 마킹 포인트를 자음 오름차순 및/또는 모음 오름차순으로 그룹화할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 그룹화된 복수의 마킹 포인트별 집합을 기반으로 마킹경계(30)를 설정할 수 있다.
예를 들어, 답안지 애플리케이션(111)은, 상기 마킹 영역(10) 내 제 1 내지 40 마킹 포인트별 글자를 감지할 수 있고, 상기 글자 감지의 결과로 제 1 내지 19 마킹 포인트 각각에 대응되는 문자가 'ㄱ~ㅎ(즉, 자음 오름차순)'이고, 상기 마킹 영역(10) 내 제 20 내지 40 마킹 포인트 각각에 대응되는 문자가 'ㅏ~ㅢ(즉, 모음 오름차순)'임을 확인할 수 있다.
또한, 예시에서 답안지 애플리케이션(111)은, 위와 같이 확인된 자음 오름차순 및 모음 오름차순을 기준으로 상기 복수의 마킹 포인트를 그룹화할 수 있다.
그리고 예시에서 답안지 애플리케이션(111)은, 그룹화된 복수의 마킹 포인트 그룹별로 마킹경계(30)를 설정할 수 있다.
즉, 예시에서 답안지 애플리케이션(111)은, 상기 자음 오름차순 그룹을 기준으로 제 1 마킹경계(30)를 설정하고, 상기 모음 오름차순 그룹을 기준으로 제 2 마킹경계(30)를 설정할 수 있다. 이때 상기 마킹경계(30)의 개수는 '2' 일 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 숫자선택 마킹영역으로 제 1 차 분류된 마킹 영역(10)인 경우, 숫자 오름차순을 기준으로 마킹경계(30)를 설정할 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 상기 숫자선택 마킹영역 내 복수의 마킹 포인트별 숫자를 감지할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 감지된 숫자에 기초하여 상기 복수의 마킹 포인트를 숫자 오름차순으로 그룹화할 수 있다.
그리고 답안지 애플리케이션(111)은, 위와 같이 그룹화되어 형성된 복수의 마킹 포인트 집합을 기반으로 마킹경계(30)를 설정할 수 있다.
예를 들면, 답안지 애플리케이션(111)은, 상기 마킹 영역(10) 내 제 1 내지 15 마킹 포인트별 숫자를 감지할 수 있다.
그리고 예시에서 답안지 애플리케이션(111)은, 상기 숫자 감지의 결과로서 상기 제 1 내지 20 마킹 포인트별 대응되는 숫자가 '1, 2, 3, 4, 5, 1, 2, 3, 4, 5, 1, 2, 3, 4, 5'임을 확인할 수 있다.
또한, 예시에서 답안지 애플리케이션(111)은, 숫자 오름차순에 기준하여 상기 복수의 마킹 포인트를 그룹화할 수 있다.
그리고 예시에서 답안지 애플리케이션(111)은, 위와 같이 숫자 오름차순에 따라서 그룹화된 복수의 마킹 포인트 그룹별로 마킹경계(30)를 설정할 수 있다.
즉, 예시에서 답안지 애플리케이션(111)은, '1, 2, 3, 4, 5'를 하나의 집합으로 하여 제 1 마킹경계(30)를 설정하고, 다음 '1, 2, 3, 4, 5'를 하나의 집합으로 하여 제 2 마킹경계(30)를 설정하며, 다음 '1, 2, 3, 4, 5'를 하나의 집합으로 하여 제 3 마킹경계(30) 설정할 수 있다. 여기서, 상기 마킹경계(30)의 개수는 '3' 일 수 있다.
이때, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 설정된 마킹경계(30)에 대한 방향 정보(즉, 마킹경계(30) 방향 정보)를 함께 설정할 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 상기 숫자 오름차순이 가로방향을 따라서 감지된 경우, 해당하는 마킹경계(30) 방향 정보를 '가로'로 설정할 수 있다.
반면, 실시예에서 답안지 애플리케이션(111)은, 상기 숫자 오름차순이 세로방향을 따라서 감지된 경우, 해당하는 마킹경계(30) 방향 정보를 '세로'로 설정할 수 있다.
이를 통해, 답안지 애플리케이션(111)은, 위와 같이 설정된 마킹경계(30) 방향 정보에 기초하여, 추후 답안지 내 복수의 마킹 카테고리(20) 중 답안 카테고리(20-12)(실시예에서, 주관식 카테고리)와 타 카테고리(실시예에서, 학원번호, 소속학교코드 및/또는 수험번호 카테고리(20-5))를 구분하거나, 또는 답안 카테고리(20-12) 내 객관식 카테고리와 주관식 카테고리를 구분할 수 있다.
다시 돌아와서, 즉 실시예에서 답안지 애플리케이션(111)은, 상기 항목선택 마킹영역, 글자선택 마킹영역 또는 숫자선택 마킹영역 중 어느 하나로 제 1 차 분류된 마킹 영역(10)을, 상술된 바와 같은 분류기준 정보에 기초하여, 상기 복수의 마킹 카테고리(20) 중 어느 하나의 마킹 카테고리(20)로 분류하는 제 2 차 분류를 수행할 수 있다.
예를 들면, 답안지 애플리케이션(111)은, 시험유형 카테고리(20-1)의 분류기준 정보가 '마킹 카테고리명=시험유형', '제 1 차 분류영역 정보=항목선택 마킹영역', '마킹 포인트별 문자정보=중1, 중2, 중3, 고1, 고2(가), 고2(나)' 및 '마킹경계(30) 개수 정보=6'으로 설정되어 있는 경우, 상기 시험유형 카테고리(20-1)의 분류기준 정보에 매칭되는 마킹영역을 상기 시험유형 카테고리(20-1)로 제 2 차 분류할 수 있다.
다른 예시로, 답안지 애플리케이션(111)은, 성명 카테고리(20-2)의 분류기준 정보가 '마킹 카테고리명=성명', '제 1 차 분류영역 정보=글자선택 마킹영역', '마킹 포인트별 문자정보=소정의 자음 또는 모음' 및 '마킹경계(30) 개수 정보=9'러 설정되어 있는 경우, 상기 성명 카테고리(20-2)의 분류기준 정보에 매칭되는 마킹영역을 상기 성명 카테고리(20-2)로 제 2 차 분류할 수 있다.
또 다른 예시에서, 답안지 애플리케이션(111)은, 수험번호 카테고리(20-5)의 분류기준 정보가 '마킹 카테고리명=수험번호', '제 1 차 분류영역 정보=숫자선택 마킹영역', '마킹 포인트별 문자정보=소정의 숫자', '마킹경계(30) 개수 정보=8' 및 '마킹경계(30) 방향 정보=세로'로 설정되어 있으면, 상기 수험번호 카테고리(20-5)의 분류기준 정보에 매칭되는 마킹영역을 상기 수험번호 카테고리(20-5)로 제 2 차 분류할 수 있다.
또 다른 예시로, 답안지 애플리케이션(111)은, 답안 카테고리(20-12)의 분류기준 정보가 객관식 답안 카테고리(20-12)인 경우, '마킹 카테고리명=객관식 1번', '제 1 차 분류영역 정보=숫자선택 마킹영역', '마킹 포인트별 문자정보=소정의 숫자', '마킹경계(30) 개수 정보=5(즉, 5지선다형 객관식)' 및 '마킹경계(30) 방향 정보=가로'로 설정되어 있으면, 상기 객관식 답안 카테고리(20-12)의 분류기준 정보에 매칭되는 마킹영역을 상기 객관식 답안 카테고리(20-12)로 제 2 차 분류할 수 있다.
또는, 또 다른 예시에서 답안지 애플리케이션(111)은, 답안 카테고리(20-12)의 분류기준 정보가 주관식 답안 카테고리(20-12)인 경우, '마킹 카테고리명=주관식 22번', '제 1 차 분류영역 정보=숫자선택 마킹영역', '마킹 포인트별 문자정보=소정의 숫자', '마킹경계(30) 개수 정보=3(즉, 최대 세자리 수의 답을 기재하는 주관식)' 및 '마킹경계(30) 방향 정보=세로'로 설정되어 있으면, 상기 주관식 답안 카테고리(20-12)의 분류기준 정보에 매칭되는 마킹영역을 상기 주관식 답안 카테고리(20-12)로 제 2 차 분류할 수 있다.
즉, 실시예에서 답안지 애플리케이션(111)은, 상술된 숫자선택 마킹영역을 상기 마킹경계(30) 방향 정보에 따라서 객관식 답안 카테고리(20-12) 또는 주관식 답안 카테고리(20-12)로 구분할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 숫자선택 마킹영역의 마킹경계(30) 방향 정보가 '세로'인 경우, 상술된 마킹경계(30) 개수 정보에 따라서 상기 숫자선택 마킹영역을 실시예에 따른 학원번호 카테고리(20-3), 수험번호 카테고리(20-5), 소속학교코드 카테고리(20-4) 또는 주관식 답안 카테고리(20-12) 중 어느 하나로 구분할 수도 있다.
이와 같이, 답안지 애플리케이션(111)은, 샘플 답안 이미지에 대한 마킹 카테고리(20)를 별도의 설정 없이도 자동으로 감지하여 템플릿 정보에 포함시킴으로써, 사용자가 일일이 수동으로 답안 이미지 내 정보 추출을 위한 마킹 카테고리(20) 영역이나 부수적인 정보들을 입력하고 설정하지 않더라도 빠르고 편리하게 상기 답안 이미지 내 마킹 카테고리(20)를 결정하고 관리할 수 있다.
도 6은 본 발명의 실시예에 따른 그룹화 인터페이스를 설명하기 위한 도면의 일례이다.
한편, 도 6을 참조하면, 다른 실시예에서 답안지 애플리케이션(111)은, 상술된 바와 같이 설정된 마킹 영역(10)에 대한 그룹화 인터페이스를 제공하여, 상기 마킹 영역(10)에 기반한 마킹 카테고리(20)를 설정할 수 있다.
자세히, 본 실시예에서 답안지 애플리케이션(111)은, 샘플 답안 이미지를 기초로 설정된 마킹 영역(10)을 소정의 영역별로 그룹화하여 마킹 카테고리(20)를 설정할 수 있는 사용자 인터페이스인 그룹화 인터페이스를 제공할 수 있다.
또한, 본 실시예에서 답안지 애플리케이션(111)은, 위와 같이 제공된 그룹화 인터페이스를 이용한 사용자 입력에 기반하여, 상기 마킹 영역(10)에 대한 적어도 하나 이상의 마킹 카테고리(20) 영역을 설정할 수 있다.
구체적으로, 본 실시예에서 답안지 애플리케이션(111)은, 상기 그룹화 인터페이스에 기반한 사용자 입력(예컨대, 드래그 입력 및/또는 선택 입력 등)을 획득할 수 있다.
그리고 답안지 애플리케이션(111)은, 상기 획득된 사용자 입력을 기초로 소정의 면적, 위치 및/또는 좌표값 등을 가지는 상기 마킹 카테고리(20) 영역을 결정할 수 있다.
또한, 본 실시예에서 답안지 애플리케이션(111)은, 상기 제공된 그룹화 인터페이스를 이용한 사용자 입력을 토대로 상기 결정된 마킹 카테고리(20) 영역별 분류기준 정보를 설정할 수 있다.
실시예로, 답안지 애플리케이션(111)은, 상기 마킹 카테고리(20) 영역별로 매칭되는 마킹 카테고리명, 제 1 차 분류영역 정보, 상기 마킹 카테고리(20) 영역 내 마킹 포인트별 문자정보, 상기 마킹 카테고리(20) 영역 내 마킹경계(30) 개수 정보 및/또는 상기 마킹 카테고리(20) 영역 내 마킹경계(30) 방향 정보 등을 상기 그룹화 인터페이스에 대한 사용자 입력을 토대로 설정할 수 있다.
또한, 본 실시예에서 답안지 애플리케이션(111)은, 위와 같이 설정된 적어도 하나 이상의 마킹 카테고리(20) 영역과 분류기준 정보에 기초하여 상기 마킹 영역(10)에 대한 마킹 카테고리(20) 설정을 수행할 수 있다.
이와 같이, 답안지 애플리케이션(111)은, 샘플 답안 이미지에 대한 마킹 카테고리(20)를 사용자가 수동으로 설정 가능하게 함으로써, 사용자가 원하는 영역만을 마킹 카테고리(20)로 설정할 수 있는 등 해당하는 사용자 맞춤형의 마킹 카테고리(20)를 설정하여 템플릿 정보를 생성할 수 있다.
도 7은 본 발명의 실시예에 따른 코너 마커(corner marker)와 피팅 마커(fitting marker)를 설명하기 위한 도면의 일례이다.
다시 돌아와서, 도 7을 참조하면, 실시예에서 제 1 차 분류된 마킹 영역(10)에 대한 제 2 차 분류를 수행한 답안지 애플리케이션(111)은, 3] 위와 같이 제 2 차 분류된 마킹 영역(10)에 대한 코너 마커(40: corner marker)를 설정할 수 있다.
여기서, 실시예에 따른 코너 마커(40)란, 제 2 차 분류된 각각의 마킹 영역(10) 즉, 각각의 마킹 카테고리(20)가 차지하는 영역이 포함하는 적어도 둘 이상의 모서리 지점을 나타내는 소정의 마커일 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 샘플 답안 이미지 내 상기 마킹 카테고리(20)가 차지하는 영역(즉, 실시예에서 마킹 카테고리(20) 영역)을 감지할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 감지된 마킹 카테고리(20) 영역이 포함하는 적어도 둘 이상의 모서리 지점에 대한 좌표값을 검출할 수 있다.
그리고 답안지 애플리케이션(111)은, 상기 검출된 좌표값과 매칭하여 상기 마킹 카테고리(20)에 대한 코너 마커(40)를 설정할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 4] 사용자 수정 인터페이스를 제공할 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 상술된 바와 같이 설정된 마킹 카테고리(20)에 대한 수정을 진행할 수 있는 사용자 수정 인터페이스를 제공할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 제공된 수정 인터페이스를 이용한 사용자 입력에 따라서 위와 같이 설정된 마킹 카테고리(20) 영역 및/또는 마킹 카테고리(20)에 대한 분류기준 정보를 수정 및 변경할 수 있다.
이와 같이, 답안지 애플리케이션(111)은, 설정된 마킹 카테고리(20)에 대한 최종적인 수정을 진행할 수 있는 사용자 인터페이스를 제공하여, 표준이 되는 기준 답안지(즉, 샘플 답안지)에 기반하여 생성되는 템플릿 정보의 정확성과 완결성을 향상시킬 수 있다.
다시 돌아와서, 상술된 바와 같이 샘플 답안 이미지에 대하여 설정된 마킹 영역(10)을 기초로 적어도 하나 이상의 마킹 카테고리(20)를 설정한 답안지 애플리케이션(111)은, 3) 상기 설정된 마킹 카테고리(20)에 따른 템플릿 정보를 생성할 수 있다.
자세히, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 설정된 마킹 카테고리(20)별 영역 정보와 마킹 카테고리(20)별 분류기준 정보를 포함하여 상기 샘플 답안지에 기반한 템플릿 정보를 생성할 수 있다.
이때, 도 7을 더 참조하면, 실시예에서 답안지 애플리케이션(111)은, 상기 샘플 답안 이미지의 적어도 둘 이상의 모서리 지점을 나타내는 마커인 피팅 마커(50: fitting marker)를 더 포함하여 상기 템플릿 정보를 생성할 수 있다.
구체적으로, 실시예에서 답안지 애플리케이션(111)은, 상기 샘플 답안 이미지 영역의 적어도 둘 이상의 모서리 지점에 대한 좌표값을 검출할 수 있다.
또한, 답안지 애플리케이션(111)은, 상기 검출된 좌표값과 매칭하여 상기 샘플 답안 이미지에 대한 피팅 마커(50)를 설정할 수 있다.
이때, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 생성된 피팅 마커(50)를 기준으로 상술된 복수의 코너 마커(40)들의 상대적인 위치(즉, 좌표값)를 획득할 수도 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 설정된 피팅 마커(50) 정보를 포함하여 상기 샘플 답안 이미지에 대한 템플릿 정보를 생성할 수 있다.
이와 같이, 답안지 애플리케이션(111)은, 샘플 답안 이미지를 기초로 표준화된 답안지 정보 추출 기준을 제공하는 템플릿 정보를 생성함으로써, 추후 획득되는 스캔 답안 이미지로부터 정보를 추출할 시 상기 스캔 답안 이미지가 획득될 때마다 매번 마킹 카테고리(20)를 설정하고 정보 추출에 필요한 부수적인 정보들을 일일이 설정하지 않더라도, 상기 템플릿 정보가 포함하는 답안지 정보 추출의 틀(기준)에 따라서 보다 신속하고 편리하게 상기 스캔 답안 이미지 내 정보(실시예에서, 마킹정보 등)를 획득할 수 있다.
도 2로 돌아와서, 또한 실시예에서 답안지 애플리케이션(111)은, 스캔 답안 이미지를 획득할 수 있다. (S103)
여기서, 실시예에 따른 스캔 답안 이미지란, 소정의 마킹(marking)이 수행된 마킹 답안지를 이미지 센서(161)에 기초하여 디지털화한 이미지를 의미할 수 있다.
즉, 실시예에서 답안지 애플리케이션(111)은, 이미지 센서(161)를 이용하여 상기 마킹 답안지를 디지털 이미지화한 스캔 답안 이미지를 획득할 수 있다.
이때, 실시예에 따라서 상기 이미지 센서(161)는, 상기 답안지 애플리케이션(111)이 설치된 컴퓨팅 장치(100)에 포함되어 동작할 수도 있고, 외부의 장치(예컨대, 스캐너 등)에 포함되어 상기 컴퓨팅 장치(100)의 상술된 통신 모듈 및/또는 인터페이스 모듈을 기초로 연동하여 동작할 수도 있다.
도 8은 본 발명의 실시예에 따른 스캔 답안 이미지를 템플릿 정보에 기초하여 정렬하는 방법을 설명하기 위한 도면의 일례이다.
또한, 도 8을 참조하면, 실시예에서 답안지 애플리케이션(111)은, 상기 획득된 스캔 답안 이미지(1)를 상기 템플릿 정보에 기초하여 정렬할 수 있다. (S105)
자세히, 실시예에서 답안지 애플리케이션(111)은, 샘플 답안 이미지를 기초로 생성된 템플릿 정보에 기반하여, 상기 샘플 답안 이미지 내 각 마킹 카테고리(20) 영역과 상기 스캔 답안 이미지(1) 내 각 마킹 카테고리(20) 영역이 대응되도록 정렬할 수 있다.
보다 상세히, 답안지 애플리케이션(111)은, 상기 스캔 답안 이미지(1)의 적어도 둘 이상의 모서리 지점을 나타내는 마커인 스캔 피팅 마커(51: scan fitting marker)를 검출할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 검출된 스캔 피팅 마커(51)를 상기 샘플 답안 이미지에 기반한 템플릿 정보 내 피팅 마커(50)와 매칭하여 상기 스캔 답안 이미지(1)에 대한 정렬을 수행할 수 있다.
또는, 실시예에서 답안지 애플리케이션(111)은, 상기 템플릿 정보의 피팅 마커(50)에 기준하여 상대적인 위치값(즉, 좌표값)을 가지는 복수의 코너 마커(40)를 이용하여, 상기 스캔 답안 이미지(1)를 정렬할 수도 있다.
실시예로, 답안지 애플리케이션(111)은, 상기 검출된 스캔 피팅 마커(51)를 기준으로 상기 위치값을 적용하여, 상기 스캔 답안 이미지(1)에 대한 복수의 코너 마커의 위치값(즉, 좌표값)을 획득할 수 있다.
그리고 답안지 애플리케이션(111)은, 상기 획득된 스캔 답안 이미지(1)에 대한 복수의 코너 마커와, 상기 템플릿 정보 내 복수의 코너 마커(40)를 상호 매칭하여 상기 스캔 답안 이미지(1)를 정렬할 수 있다.
이처럼, 답안지 애플리케이션(111)은, 답안 이미지 내 복수의 코너 마커(40)를 이용하여 상기 스캔 답안 이미지(1)에 대한 정렬을 수행함으로써, 답안 이미지 내 마킹 카테고리(20)별 정합도를 보다 향상시킬 수 있고, 상기 마킹 카테고리(20)별 각각의 영역을 명확하게 구분하며 상기 스캔 답안 이미지(1)를 감지 및 정렬할 수 있다.
다시 돌아와서, 즉 실시예에서 답안지 애플리케이션(111)은, 코너 네트워크(Corner Network) 방식에 기반하여 상기 스캔 답안 이미지(1)를 상기 템플릿 정보에 정합되도록 정렬할 수 있다.
이와 같이, 답안지 애플리케이션(111)은, 샘플 답안 이미지의 템플릿 정보에 정합되도록 상기 스캔 답안 이미지(1)의 각 마킹 카테고리(20)를 정렬함으로써, 상기 스캔 답안 이미지(1)의 스캔 위치 등이 소정의 오차를 가지거나 어긋나더라도 유연하게 대처하여 정확한 좌표 상에 상기 스캔 답안 이미지(1)를 정합할 수 있으며, 이를 통해 추후 상기 스캔 답안 이미지(1)로부터 추출되는 정보의 정확성을 향상시킬 수 있다.
이때, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 수행된 정렬 정보를 이용하여 상기 샘플 답안 이미지의 템플릿 정보에 대응되도록 소정의 스캔 답안 이미지(1)를 정렬시킬 수 있는 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
그리하여 답안지 애플리케이션(111)은, 추후 상기 학습된 딥러닝 뉴럴 네트워크를 이용하여 상기 스캔 답안 이미지(1)를 상기 템플릿 정보에 따라서 정렬할 시의 정확도를 높이고 그 비용이나 오차를 최소화할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 템플릿 정보에 기초하여, 위와 같이 정렬된 스캔 답안 이미지(1) 내 적어도 하나 이상의 마킹 카테고리(20)를 감지할 수 있다. (S107)
자세히, 실시예에서 답안지 애플리케이션(111)은, 상기 템플릿 정보 내 각각의 마킹 카테고리(20) 영역에 매칭되는 대응영역을 상기 스캔 답안 이미지(1)로부터 검출할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 검출된 각각의 대응영역을 상기 스캔 답안 이미지(1) 내 마킹 카테고리(20) 영역으로 설정할 수 있다.
또한, 답안지 애플리케이션(111)은, 위와 같이 설정된 마킹 카테고리(20) 영역에 매칭되는 분류기준 정보를 상기 템플릿 정보로부터 확인할 수 있다.
또한, 실시에에서 답안지 애플리케이션(111)은, 상기 확인된 분류기준 정보와 상기 마킹 카테고리(20) 영역을 취합하여 상기 스캔 답안 이미지(1)에 대한 마킹 카테고리(20)를 감지할 수 있다.
실시예로, 답안지 애플리케이션(111)은, 상기 설정된 마킹 카테고리(20) 영역과 상기 확인된 분류기준 정보를 이용하여, 상기 스캔 답안 이미지(1) 내 시험유형 카테고리(20-1), 성명 카테고리(20-2), 학원번호 카테고리(20-3), 소속학교코드 카테고리(20-4), 수험번호 카테고리(20-5), 성별 카테고리(20-6), 학교급 카테고리(20-7), 학년 카테고리(20-8), 계열 카테고리(20-9), 개인정보 활용동의 카테고리(20-10), 응시자 설문조사 카테고리(20-11) 및/또는 답안 카테고리(20-12) 등을 감지할 수 있다.
본 발명의 실시예에서는, 답안지 애플리케이션(111)이 상기 스캔 답안 이미지(1)를 상기 템플릿 정보에 기초하여 정렬하고, 상기 스캔 답안 이미지(1) 내 마킹 카테고리(20)를 감지한다고 설명하였으나, 실시예에 따라서 답안지 애플리케이션(111)이 상기 마킹 카테고리(20)를 감지하고, 감지된 마킹 카테고리(20)를 기초로 상기 템플릿 정보 내 마킹 카테고리(20)와 상기 스캔 답안 이미지(1) 내 마킹 카테고리(20)를 상호 정합하여 상기 스캔 답안 이미지(1)를 상기 템플릿 정보에 따라서 정렬할 수도 있는 등 다양한 실시예 또한 가능할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 템플릿 정보에 기초하여, 상기 마킹 카테고리(20)가 감지된 스캔 답안 이미지(1)에 대한 마킹정보를 획득할 수 있다. (S109)
자세히, 실시예에서 답안지 애플리케이션(111)은, 상기 마킹 카테고리(20)가 감지된 스캔 답안 이미지(1) 내 마킹 카테고리(20)별 마킹정보를 획득할 수 있다.
도 9는 본 발명의 실시예에 따른 마킹(marking)을 위한 소정의 표시를 나타내는 모습의 일례이다.
여기서, 도 9를 참조하면, 실시예에 따른 마킹정보란, 답안지 내 소정의 마킹 포인트에 대하여 수행된 마킹(marking)에 의한 소정의 표시(60)(예컨대, 마킹 포인트 채색표시 등)를 기초로 획득되는 정보를 의미할 수 있다.
실시예에서, 이러한 마킹정보는, 답안지 상에서 소정의 방식으로 채색된 마킹 포인트에 매칭되는 문자를 기초로 생성되는 마킹 카테고리(20)별 출력정보를 포함할 수 있다.
보다 상세히, 실시예에서 답안지 애플리케이션(111)은, 상기 템플릿 정보를 기초로, 상기 감지된 각 마킹 카테고리(20) 내 적어도 하나 이상의 마킹경계(30)를 설정할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 설정된 적어도 하나 이상의 마킹경계(30)별 마킹을 감지할 수 있다.
그리고 답안지 애플리케이션(111)은, 위와 같이 감지된 마킹에 매칭되는 마킹 포인트를 검출할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 검출된 마킹 포인트에 대응되는 문자를 감지할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 감지된 마킹경계(30)별 문자를 취합할 수 있다.
그리고 답안지 애플리케이션(111)은, 상기 취합된 마킹경계(30)별 문자에 기초하여 상기 각 마킹 카테고리(20)에 대한 출력값을 생성할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 상기 각각의 마킹 카테고리(20)에 대하여 생성된 출력값을 기초로 상기 스캔 답안 이미지(1)에 대한 마킹 카테고리(20)별 마킹정보를 획득할 수 있다.
구체적으로, 실시예에서 답안지 애플리케이션(111)은, 상기 감지된 마킹 포인트에 대응되는 문자가 소정의 단어인 경우, 상기 감지된 단어를 그대로 해당하는 마킹 카테고리(20)에 대한 출력값으로 설정하여 마킹정보를 획득할 수 있다.
또는, 실시예에서 답안지 애플리케이션(111)은, 상기 마킹 포인트에 대응되는 문자가 소정의 분절음운(자음 또는 모음)인 경우, 상기 감지된 분절음운들을 조합한 소정의 단어를 생성하여 해당하는 마킹 카테고리(20)에 대한 출력값으로 설정해 마킹정보를 획득할 수 있다.
또는, 실시예에서 답안지 애플리케이션(111)은, 상기 감지된 마킹 포인트에 대응되는 문자가 소정의 숫자인 경우, 상기 감지된 숫자를 그대로 해당하는 마킹 카테고리(20)의 출력값으로 설정하거나(즉, 실시예에서 객관식 답안 카테고리(20-12)인 경우 등), 또는 상기 감지된 숫자들을 조합하여 해당하는 마킹 카테고리(20)의 출력값으로 설정(즉, 실시예에서 주관식 답안, 학원번호, 소속학교코드 및/또는 수험번호 카테고리(20-5) 등)하여 마킹정보를 획득할 수 있다.
예를 들면, 답안지 애플리케이션(111)은, 스캔 답안 이미지(1) 내 감지된 주관식 답안 카테고리(20-12)의 경우, 상기 주관식 답안 카테고리(20-12) 내 제 1 내지 3 마킹경계(30)를 검출할 수 있다.
또한, 예시에서 답안지 애플리케이션(111)은, 상기 검출된 제 1 내지 3 마킹경계(30)별 마킹을 감지할 수 있다.
또한, 예시에서 답안지 애플리케이션(111)은, 상기 감지된 마킹경계(30)별 마킹에 매칭되는 마킹 포인트를 검출할 수 있고, 상기 검출된 마킹 포인트에 대응되는 문자를 감지할 수 있다.
이때, 예시에서 답안지 애플리케이션(111)은, 상기 제 1 마킹경계(30)에서 마킹된 마킹 포인트에 대응되는 문자가 '1'이고, 상기 제 2 마킹경계(30)에서 마킹된 마킹 포인트에 대응되는 문자가 '0'이고, 상기 제 3 마킹경계(30)에서 마킹된 마킹 포인트에 대응되는 문자가 '0'인 경우, 상기 감지된 '1', '0', '0' 문자들을 취합하여 상기 주관식 답안 카테고리(20-12)에 대한 출력값을 '100'으로 생성할 수 있다.
그리고 예시에서 답안지 애플리케이션(111)은, 위와 같이 생성된 출력값을 상기 주관식 답안 카테고리(20-12)에 대한 마킹정보로 획득할 수 있다.
다른 예시에서, 답안지 애플리케이션(111)은, 스캔 답안 이미지(1) 내 감지된 시험유형 카테고리(20-1)의 경우, 상기 시험유형 카테고리(20-1) 내 제 1 내지 6 마킹경계(30)를 검출하여 상기 제 1 내지 6 마킹경계(30)별 마킹을 감지할 수 있다.
또한, 본 예시에서 답안지 애플리케이션(111)은, 상기 감지된 마킹경계(30)별 마킹에 매칭되는 마킹 포인트를 검출할 수 있고, 상기 검출된 마킹 포인트에 대응되는 문자를 감지할 수 있다.
이때, 본 예시에서 답안지 애플리케이션(111)은, 상기 제 1 내지 6 마킹경계(30) 중 제 1 마킹경계(30)로부터만 마킹이 감지되고, 상기 감지된 마킹에 매칭되는 마킹 포인트에 대응되는 문자가 '중1'인 경우, 상기 '중1'을 상기 수험번호 카테고리(20-5)에 대한 마킹정보로 획득할 수 있다.
또 다른 예시로, 답안지 애플리케이션(111)은, 스캔 답안 이미지(1) 내 감지된 성명 카테고리(20-2)의 경우, 상기 성명 카테고리(20-2) 내 제 1 내지 9 마킹경계(30)를 검출할 수 있고, 상기 검출된 제 1 내지 9 마킹경계(30)별 마킹을 감지할 수 있다.
또한, 본 예시에서 답안지 애플리케이션(111)은, 상기 제 1 내지 9 마킹경계(30)에서 마킹된 마킹 포인트에 대응되는 글자들을 감지할 수 있다.
그리고 본 예시에서 답안지 애플리케이션(111)은, 위와 같이 감지된 글자들을 조합하여 소정의 단어(즉, 성명)를 생성할 수 있다.
또한, 본 예시에서 답안지 애플리케이션(111)은, 상기 생성된 단어를 상기 성명 카테고리(20-2)의 출력값으로 결정할 수 있고, 이를 기초로 상기 성명 카테고리(20-2)에 대한 마킹정보를 획득할 수 있다.
이와 같이, 답안지 애플리케이션(111)은, 기생성되어 있는 템플릿 정보를 기초로 상기 획득되는 스캔 답안 이미지(1)에 대한 마킹정보를 획득함으로써, 상기 스캔 답안 이미지(1)가 획득될 때마다 매번 마킹 카테고리(20)를 설정하고 정보 추출에 필요한 부수적인 정보들을 일일이 설정하지 않더라도, 상기 템플릿 정보가 포함하는 표준화된 답안지 정보 추출 기준에 따라서 보다 신속하고 편리하게 상기 스캔 답안 이미지(1)의 마킹정보를 획득할 수 있다.
또한, 답안지 애플리케이션(111)은, 상기 템플릿 정보를 이용하여 답안지 내 정보를 추출하는 방식으로 상기 스캔 답안 이미지(1)에 대한 마킹정보를 획득함으로써, 상기 스캔 답안 이미지(1)가 흑백이든 컬러이든 상관없이 어떠한 형식의 스캔 답안 이미지(1)가 들어오더라도 해당하는 마킹정보를 획득해 낼 수 있다.
도 10은 본 발명의 실시예에 따른 답안지 감지정보를 설명하기 위한 도면의 일례이다.
또한, 도 10을 참조하면, 실시예에서 답안지 애플리케이션(111)은, 상기 템플릿 정보에 기초하여, 상기 스캔 답안 이미지(1)로부터 획득된 마킹정보에 기반한 답안지 감지정보(2)를 생성하여 제공할 수 있다. (S111)
자세히, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 획득된 마킹 카테고리(20)별 마킹정보에 기초하여 상기 스캔 답안 이미지(1)에 대한 답안지 감지정보(2)를 생성하여 제공할 수 있다.
여기서, 실시예에 따른 답안지 감지정보(2)란, 스캔 답안 이미지(1)로부터 추출된 마킹정보에 기초하여 상기 마킹 답안지를 판독한 결과 데이터를 나타내는 정보일 수 있다.
즉, 실시예에서 답안지 감지정보(2)는, 상기 스캔 답안 이미지(1)로부터 획득된 마킹 카테고리(20)별 마킹정보를 소정의 방식에 따라서 통합하여 나타내는 정보일 수 있다.
보다 상세히, 실시예에서 답안지 애플리케이션(111)은, 상기 획득된 마킹 카테고리(20)별 마킹정보와, 상기 마킹 카테고리(20) 각각에 대응되는 마킹 카테고리명을 매칭하여 리스트(list)로 표시하는 답안지 감지정보(2)를 생성할 수 있다.
예를 들면, 답안지 애플리케이션(111)은, 상기 스캔 답안 이미지(1)로부터 획득된 마킹 카테고리(20)별 마킹정보와 상기 마킹 카테고리(20) 각각에 대응되는 마킹 카테고리명을 매칭하여, '시험유형: 고1, 성명: 홍길동, 학원번호: 17050, 소속학교코드: 11125, 수험번호: 35165048, 성별: 여자, 학교급: 고등, 학년: 1학년, 계열: 문과, 개인정보 활용동의: 개인정보 수집 및 이용에 동의함, 객관식 1번: 1, …, 주관식 22번: 100, …' 형태를 가지는 리스트 형식의 답안지 감지정보(2)를 생성할 수 있다.
또한, 실시예에서 답안지 애플리케이션(111)은, 위와 같이 생성된 답안지 감지정보(2)를 소정의 방식(예컨대, 디스플레이(171)로 출력 등)에 따라서 제공할 수 있다.
본 발명의 실시예에서는, 답안지 애플리케이션(111)이 상기 획득된 마킹 카테고리(20)별 마킹정보와 상기 마킹 카테고리(20) 각각에 대응되는 마킹 카테고리명을 매칭하여 리스트(list)로 나타내는 답안지 감지정보(2)를 제공한다고 설명하였으나 이는 일례일 뿐, 실시예에 따라서 타 방식(예컨대, 상기 마킹정보와 상기 마킹 카테고리명을 매칭하여 이미지 또는 표 형태로 표시, 상기 마킹정보만 표시 등)을 따라서 가공된 답안지 감지정보(2)를 제공할 수도 있다.
이와 같이, 답안지 애플리케이션(111)은, 상기 스캔 답안 이미지(1)로부터 추출된 마킹정보를 소정의 방식(실시예에서, 마킹 카테고리(20)별 마킹정보와 해당하는 마킹 카테고리명을 매칭하여 출력해 제공 등)에 따라서 통합하여 제공함으로써, 상기 마킹정보를 쉽고 직관적으로 파악하게 할 수 있다.
이상, 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치는, 소정의 답안지에 기반한 정보 추출의 기준을 제공하는 템플릿 정보를 생성하여 이미지 센서(161)를 통해 획득되는 답안 이미지 내 정보를 추출함으로써, 상기 답안 이미지가 획득될 때마다 정보 추출에 필요한 정보들(실시예에서, 마킹영역별 카테고리 등)을 일일이 설정하지 않더라도, 상기 템플릿 정보가 포함하는 표준화된 답안지 정보 추출 기준에 따라서 신속하고 편리하게 상기 답안 이미지 내 정보를 획득할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치는, 상기 템플릿 정보를 기초로 답안 이미지에 대한 정보(실시예에서, 마킹정보 등)를 획득함으로써, 상기 답안 이미지의 스캔 위치 등이 소정의 오차를 가지거나 어긋나더라도 유연하게 대처하여 정확한 좌표 상에 상기 답안 이미지를 정합할 수 있으며, 이를 통해 추후 상기 답안 이미지로부터 추출되는 정보의 정확성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치는, 상기 템플릿 정보를 이용하여 상기 이미지 센서(161)를 통해 획득되는 답안 이미지 내 정보를 추출함으로써, 상기 획득되는 답안 이미지가 흑백이든 컬러이든 상관없이 어떠한 포맷(format)의 답안 이미지가 들어오더라도 해당 답안 이미지 내 정보를 추출할 수 있는 효과가 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (10)

  1. 컴퓨팅 장치의 적어도 하나의 프로세서에 의하여 실행되는 답안지 정보 추출 애플리케이션이 딥러닝 기반의 답안지 스캔을 통한 정보 추출을 수행하는 방법으로서,
    템플릿(template) 정보를 생성하는 단계;
    소정의 마킹(marking)이 수행된 스캔 답안 이미지를 획득하는 단계;
    상기 템플릿 정보를 기초로 상기 스캔 답안 이미지를 정렬하는 단계;
    상기 템플릿 정보를 기초로 상기 정렬된 스캔 답안 이미지 내 마킹 카테고리(marking category)를 감지하는 단계;
    상기 템플릿 정보를 기초로 상기 감지된 마킹 카테고리의 마킹정보를 획득하는 단계; 및
    상기 템플릿 정보를 기초로 상기 획득된 마킹정보에 기반한 답안지 감지정보를 생성하여 제공하는 단계를 포함하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  2. 제 1 항에 있어서,
    상기 마킹 카테고리는,
    답안지 내 일 항목(category)에 대한 출력값을 결정하는 복수의 마커 포인트의 집합인
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  3. 제 2 항에 있어서,
    상기 템플릿(template) 정보를 생성하는 단계는,
    샘플 답안 이미지를 획득하는 단계와,
    상기 획득된 샘플 답안 이미지 내 마킹 영역을 설정하는 단계와,
    상기 설정된 마킹 영역에 기반한 마킹 카테고리를 설정하는 단계와,
    상기 설정된 마킹 카테고리에 따라서 상기 템플릿 정보를 생성하는 단계를 포함하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  4. 제 3 항에 있어서,
    상기 마킹 카테고리를 설정하는 단계는,
    상기 마킹 카테고리별 마킹경계를 설정하는 단계를 포함하고,
    상기 마킹경계는,
    상기 답안지 내 일 항목에 대한 출력값을 결정하기 위한 적어도 하나 이상의 서브 출력값을 결정하는 복수의 마커 포인트의 집합인
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  5. 제 3 항에 있어서,
    상기 마킹 카테고리를 설정하는 단계는,
    상기 마킹 카테고리에 대한 위치, 면적 및 좌표값 중 적어도 하나 이상을 포함하는 마킹 카테고리 영역 정보와, 상기 마킹 카테고리가 포함하는 마킹 포인트에 대한 특성을 나타내는 분류기준 정보를 획득하는 단계를 포함하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  6. 제 1 항에 있어서,
    상기 스캔 답안 이미지를 정렬하는 단계는,
    상기 템플릿 정보의 마킹 카테고리 영역과, 상기 스캔 답안 이미지 내 마킹 카테고리 영역이 대응되도록 피팅(fitting)하는 단계를 포함하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  7. 제 6 항에 있어서,
    상기 스캔 답안 이미지 내 마킹 카테고리를 감지하는 단계는,
    상기 템플릿 정보의 마킹 카테고리 영역에 대응되는 영역을 검출하는 단계와,
    상기 검출된 대응영역을 상기 스캔 답안 이미지의 마킹 카테고리 영역으로 설정하는 단계와,
    상기 설정된 마킹 카테고리 영역에 매칭되는 분류기준 정보를 상기 템플릿 정보의 마킹 카테고리 영역에 매칭되는 분류기준 정보를 기초로 설정하는 단계를 포함하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  8. 제 4 항에 있어서,
    상기 감지된 마킹 카테고리의 마킹정보를 획득하는 단계는,
    상기 템플릿 정보의 마킹 카테고리별 마킹경계를 기초로 상기 감지된 마킹 카테고리에 대한 마킹경계를 설정하는 단계와,
    상기 설정된 마킹경계 내 마킹이 수행된 마킹 포인트를 검출하는 단계와,
    상기 검출된 마킹 포인트에 대응되는 문자를 감지하는 단계와,
    상기 감지된 문자를 기초로 상기 마킹 카테고리의 마킹정보를 획득하는 단계를 포함하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법.
  9. 답안지 감지정보를 출력하는 디스플레이;
    적어도 하나 이상의 프로세서; 및
    적어도 하나 이상의 메모리; 를 포함하고,
    상기 메모리에 저장되고 상기 적어도 하나 이상의 프로세서에 의해 실행되어 딥러닝 기반의 답안지 스캔을 통한 정보 추출을 수행하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은,
    템플릿(template) 정보를 생성하고,
    소정의 마킹(marking)이 수행된 스캔 답안 이미지를 획득하고,
    상기 템플릿 정보를 기초로 상기 스캔 답안 이미지를 정렬하고,
    상기 템플릿 정보를 기초로 상기 정렬된 스캔 답안 이미지 내 마킹 카테고리(marking category)를 감지하고,
    상기 템플릿 정보를 기초로 상기 감지된 마킹 카테고리의 마킹정보를 획득하고,
    상기 템플릿 정보를 기초로 상기 획득된 마킹정보에 기반한 답안지 감지정보를 생성하여 제공하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 시스템.
  10. 제 9 항에 있어서,
    상기 애플리케이션은,
    상기 템플릿 정보의 마킹 카테고리와 상기 스캔 답안 이미지 내 마킹 카테고리가 대응되도록 피팅(fitting)하는
    딥러닝 기반의 답안지 스캔을 통한 정보 추출 시스템.
KR1020210020142A 2021-02-15 2021-02-15 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치 KR20220116818A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210020142A KR20220116818A (ko) 2021-02-15 2021-02-15 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210020142A KR20220116818A (ko) 2021-02-15 2021-02-15 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20220116818A true KR20220116818A (ko) 2022-08-23

Family

ID=83092942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210020142A KR20220116818A (ko) 2021-02-15 2021-02-15 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20220116818A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237585A (zh) * 2023-11-10 2023-12-15 山东科技大学 答题卡的光学标记定位识别方法、系统、设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093379B1 (ko) 2018-07-17 2020-03-25 주식회사 유핏 디지털 시험 관리 및 분석 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093379B1 (ko) 2018-07-17 2020-03-25 주식회사 유핏 디지털 시험 관리 및 분석 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237585A (zh) * 2023-11-10 2023-12-15 山东科技大学 答题卡的光学标记定位识别方法、系统、设备和存储介质
CN117237585B (zh) * 2023-11-10 2024-01-30 山东科技大学 答题卡的光学标记定位识别方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
US10013624B2 (en) Text entity recognition
US9165406B1 (en) Providing overlays based on text in a live camera view
KR102457894B1 (ko) 디스플레이에 표시된 텍스트를 번역하는 방법 및 장치
US10198661B2 (en) System for determining alignment of a user-marked document and method thereof
CN109684980B (zh) 自动阅卷方法及装置
US20150302242A1 (en) Method of processing content and electronic device using the same
CN109766879A (zh) 字符检测模型的生成、字符检测方法、装置、设备及介质
US20160162137A1 (en) Interactive Digital Workbook Using Smart Pens
CN103597500A (zh) 用于辨识对象中的文本信息的系统和方法
US10248652B1 (en) Visual writing aid tool for a mobile writing device
KR20160076601A (ko) 학습 평가 서비스 시스템
US11200694B2 (en) Apparatus and method for extracting object information
US10176552B2 (en) Non-transitory computer-readable storage medium, image display method, and image processing system for associating the same object in different images
CN112668541A (zh) 一种基于点阵笔的智能听写系统及其方法
CN111353458A (zh) 文本框标注方法、装置和存储介质
WO2015145571A1 (ja) 端末装置、表示制御方法及びプログラム
KR20220116818A (ko) 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치
JP6454962B2 (ja) ドキュメントを編集する装置、方法及びプログラム
KR102430505B1 (ko) 문제 채점을 위한 사용자 인터페이스 제공 방법 및 이를 수행하는 디바이스
CN105049658A (zh) 用于管理数据的用户终端装置及其方法
KR102547386B1 (ko) 답안 처리 방법 및 시스템
JP4710707B2 (ja) 追記情報処理方法、追記情報処理装置、およびプログラム
KR102618144B1 (ko) 멀티 레이어 구조에서 사용자와의 상호작용 구현을 위한 방법 및 장치
CN114663894A (zh) 基于目标检测的票据识别方法、装置、电子设备、介质
KR20240025766A (ko) 표 구조를 포함하는 문서 인식 방법 및 그 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal