KR102053885B1 - 판서 분석 시스템 및 방법과 어플리케이션 - Google Patents

판서 분석 시스템 및 방법과 어플리케이션 Download PDF

Info

Publication number
KR102053885B1
KR102053885B1 KR1020180026843A KR20180026843A KR102053885B1 KR 102053885 B1 KR102053885 B1 KR 102053885B1 KR 1020180026843 A KR1020180026843 A KR 1020180026843A KR 20180026843 A KR20180026843 A KR 20180026843A KR 102053885 B1 KR102053885 B1 KR 102053885B1
Authority
KR
South Korea
Prior art keywords
unit
writing
hierarchical model
input
instance
Prior art date
Application number
KR1020180026843A
Other languages
English (en)
Other versions
KR20190105990A (ko
Inventor
서장원
지승배
Original Assignee
주식회사 엘렉시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘렉시 filed Critical 주식회사 엘렉시
Priority to KR1020180026843A priority Critical patent/KR102053885B1/ko
Publication of KR20190105990A publication Critical patent/KR20190105990A/ko
Application granted granted Critical
Publication of KR102053885B1 publication Critical patent/KR102053885B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G06K9/00402—
    • G06K9/222—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G06K2209/01—

Abstract

본 기술의 일 실시예에 의한 판서 데이터 분석 시스템은 사용자 데이터가 판서 데이터로 입력되도록 구성되는 사용자 인터페이스, 사용자 인터페이스를 통해 제공되는 판서 데이터를 입력의 최소 단위별로 수신하도록 구성되는 입력 데이터 전송부. 판서 데이터를 구분하기 위해 기 정의된 복수의 계층에 기초하여, 입력 데이터 전송부로부터 제공되는 입력의 최소 단위별로 판서 데이터를 제공받아 복수의 계층별로 순차적으로 계층 모델을 생성하도록 구성되는 계층 모델 생성부 및 계층 모델 생성부에서 생성한 계층 모델로부터 복수의 계층별로 인스턴스를 생성하도록 구성되는 가공부를 포함하도록 구성될 수 있다.

Description

판서 분석 시스템 및 방법과 어플리케이션{System, Method and Application for Analysis of Handwriting}
본 발명은 데이터 분석 기술에 관한 것으로, 보다 구체적으로는 판서 분석 시스템 및 방법과 어플리케이션에 관한 것이다.
정보기술의 발전은 산업 전반에 걸쳐 혁명에 비견될 수 있는 변화를 가져왔다.
그리고 인공지능, 사물 인터넷, 모바일, 빅 데이터 등이 결합된 융합 정보통신 기술이 미래 산업을 지배적으로 주도할 것이라 전망되고 있다.
이러한 변화는 교육 산업에도 큰 영향을 주었으며, 디지털 교과서, 온라인 수업, 온라인 평가 시스템이 멀지 않은 미래에 도입 및 적용될 전망이다.
스마트 교육 산업에서 빠질 수 없는 솔루션 중의 하나로 전자 칠판을 들 수 있다.
전자 칠판은 디지털 교육용 디스플레이 장치의 하나이다. 컴퓨터에 저장된 영상 등의 교육 콘텐츠를 전자칠판에 출력하면서 교사나 학생들이 디지털 펜 또는 기타 매체를 이용해 직접 그림이나 글씨를 쓸 수 있는 양방향 개념의 교육용 솔루션이라 할 수 있다.
현재 전자 칠판 및 이와 연계된 판서 분석 장치는 판서 데이터를 한 종류의 객체, 예를 들어 텍스트 데이터로 분석해 주는 기능을 제공한다.
하지만 현재의 판서 분석 장치는 텍스트로 분석되지 않는 입력 데이터는 사용자가 다루기 용이한 객체로 분석해 줄 수 없는 한계가 있다.
터치 스크린과 디지털 펜이 결합된 기기, 예를 들어 전자 칠판을 위한 분석 장치에 대한 연구가 계속되고 있으나, 대부분 스마트폰이나 테블릿 PC 등 작은 화면을 위한 노트 필기 분석용으로 개발되고 있다.
최근 LCD 패널의 가격 하락에 따라 대형 스크린 시장이 성장하고 있으며, 고해상도의 대형 스크린에서도 빠르게 분석이 가능한 판서 분석 장치가 요구되는 상황이다.
본 기술의 실시예는 입력 데이터를 다양한 계층 모델로 생성할 수 있는 판서 분석 시스템 및 방법과 어플리케이션을 제공할 수 있다.
본 기술의 실시예는 입력 데이터를 사용자가 취급하기 용이한 계층적인 데이터 구조로 생성할 수 있는 판서 분석 시스템 및 방법과 어플리케이션을 제공할 수 있다.
본 기술의 일 실시예에 의한 판서 분석 시스템은 사용자 데이터가 판서 데이터로 입력되도록 구성되는 사용자 인터페이스; 상기 사용자 인터페이스를 통해 제공되는 판서 데이터를 입력의 최소 단위별로 수신하도록 구성되는 입력 데이터 전송부; 상기 판서 데이터를 구분하기 위해 기 정의된 복수의 계층에 기초하여, 상기 입력 데이터 전송부로부터 제공되는 상기 입력의 최소 단위별로 상기 판서 데이터를 제공받아 상기 복수의 계층별로 순차적으로 계층 모델을 생성하도록 구성되는 계층 모델 생성부; 및 상기 계층 모델 생성부에서 생성한 계층 모델로부터 상기 복수의 계층별로 인스턴스를 생성하도록 구성되는 가공부;를 포함하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 판서 분석 방법은 사용자 인터페이스, 입력 데이터 전송부, 계층 모델 생성부 및 가공부를 포함하는 판서 분석 시스템의 판서 분석 방법으로서, 상기 사용자 인터페이스를 통해 사용자 데이터가 판서 데이터로 입력됨에 따라, 상기 입력 데이터 전송부가 상기 판서 데이터를 입력의 최소 단위별로 수신하는 단계; 상기 판서 데이터를 구분하기 위해 기 정의된 복수의 계층에 기초하여, 상기 계층 모델 생성부가 상기 입력의 최소 단위별로 상기 판서 데이터를 제공받아 상기 복수의 계층별로 순차적으로 계층 모델을 생성하는 단계; 및 상기 계층 모델 생성부에서 생성한 계층 모델로부터 상기 가공부가 상기 복수의 계층별로 인스턴스를 생성하는 단계;를 포함하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 어플리케이션은 사용자 인터페이스, 입력 데이터 전송부, 계층 모델 생성부 및 가공부와 결합되며, 상기 사용자 인터페이스를 통해 사용자 데이터가 판서 데이터로 입력됨에 따라, 상기 입력 데이터 전송부가 상기 판서 데이터를 입력의 최소 단위별로 수신하는 단계; 상기 판서 데이터를 구분하기 위해 기 정의된 복수의 계층에 기초하여, 상기 계층 모델 생성부가 상기 입력의 최소 단위별로 상기 판서 데이터를 제공받아 상기 복수의 계층별로 순차적으로 계층 모델을 생성하는 단계; 및 상기 계층 모델 생성부에서 생성한 계층 모델로부터 상기 가공부가 상기 복수의 계층별로 인스턴스를 생성하는 단계;를 실행시키기 위하여 매체에 저장되는 어플리케이션일 수 있다.
본 기술에 의하면 입력 장치에 대한 입력 행위에 대한 숨겨진 상태를 정의하고, 숨겨진 상태 간의 전이 확률 및 출력 확률을 추론하여 입력 데이터를 복수 계층의 데이터 구조로 모델링할 수 있다.
입력 데이터를 복수의 계층적인 데이터 구조로 생성함에 따라 사용자가 계층화된 분석 결과를 희망하는 계층 단위로 용이하게 취급할 수 있다.
도 1은 일 실시예에 의한 판서 분석 시스템의 구성도이다.
도 2는 일 실시예에 의한 판서 데이터의 계층 구조를 설명하기 위한 도면이다.
도 3은 일 실시예에 의한 판서 데이터의 계층 구조를 설명하기 위한 도면이다.
도 4a 내지 도 4d는 판서 데이터의 계층 구조를 설명하기 위한 예시도이다.
도 5는 일 실시예에 의한 판서 데이터의 상태를 설명하기 위한 도면이다.
도 6 및 도 7은 일 실시예에 의한 판서 데이터의 모델링 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 의한 판서 데이터 분석 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 기술의 실시예를 보다 구체적으로 설명한다.
도 1은 일 실시예에 의한 판서 분석 시스템의 구성도이다.
도 1을 참조하면, 일 실시예에 의한 판서 분석 시스템(10)은 컨트롤러(110), 저장부(120), 사용자 인터페이스(130), 입력 데이터 전송부(140), 계층 모델 생성부(150) 및 가공부(160)를 포함할 수 있다.
컨트롤러(110)는 판서 분석 시스템(10)의 동작 전반을 제어하도록 구성될 수 있으며, 예를 들어 중앙처리장치(CPU)일 수 있다.
저장부(120)는 주기억장치 및 보조기억장치를 포함할 수 있으며, 판서 분석 시스템(10)이 동작하는 데 필요한 프로그램, 제어 데이터, 응용 프로그램, 동작 파라미터, 처리 결과 등이 저장될 수 있다.
사용자 인터페이스(130)는 사용자가 판서 분석 시스템(10)에 접근할 수 있는 환경을 제공하기 위하여 입력 장치 인터페이스 및 출력 장치 인터페이스를 포함할 수 있다.
사용자 인터페이스(130)는 예를 들어 터치 패널일 수 있다. 따라서, 사용자는 터치 패널인 사용자 인터페이스(130)를 통해 다양한 형태의 입력 데이터, 예를 들어 문자, 숫자, 기호, 이미지 등을 제공할 수 있다.
입력 데이터 전송부(140)는 사용자 인터페이스(130)를 통해 제공되는 입력 데이터를 입력의 최소 단위별로 수신하도록 구성될 수 있다. 입력의 최소 단위는 기 설정된 기준에 따라 결정될 수 있다. 일 실시예에서, 입력 데이터 전송부(140)는 사용자 인터페이스(130)에 대한 입력 데이터의 좌표 및 입력이 이루어지는 시간 정보를 메타 데이터로 관리할 수 있다. 일 실시예에서, 사용자 인터페이스(130)를 통해 제공되는 입력 데이터 즉, 판서 데이터는 이미지가 아닌 시간과 공간 등을 나타내는 숫자로 파싱될 수 있다.
계층 모델 생성부(150)는 입력 데이터 전송부(140)로부터 제공되는 입력의 최소 단위별로 입력 데이터 및 메타 데이터를 제공받아 분석할 수 있다.
일 실시예에서, 계층 모델 생성부(150)는 입력 데이터를 구분할 복수의 계층을 정의하고 있을 수 있다.
도 2는 일 실시예에 의한 판서 데이터의 계층 구조를 설명하기 위한 도면이다.
도 2를 참조하면, 복수의 계층은 입력의 최소 단위의 집합인 최하위 계층과, 적어도 하나의 상위계층과, 최상위 계층을 포함할 수 있다.
적어도 하나의 상위계층 각각은 최하위 계층 또는 이전 계층(x-1)의 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 입력 데이터의 집합일 수 있다.
최상위 계층은 마지막 단계의 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 입력 데이터의 집합일 수 있다.
도 2에는 입력 데이터를 n개의 계층으로 모델링하는 경우를 나타내었으며, 이 경우 상위계층은 최하위 계층 및 최상위 계층을 제외한 (n-2)개의 계층을 가질 수 있음은 자명하다. 상위계층은 최하위 계층과 최상위 계층의 상이에 있으므로 중간계층이라 지칭하여도 무방할 것이다.
다시 도 1을 참조하면, 계층 모델 생성부(150)는 입력 데이터를 기 정의된 복수의 계층별 모델로 생성할 수 있다. 이를 위해 계층 모델 생성부(150)는 이전 계층 모델에 포함된 입력 데이터를 기 설정된 규칙에 따라 그룹화하여 상위계층 모델을 생성할 수 있다.
일 실시예에서, 계층 모델 생성부(150)는 숨겨진 상태를 갖는 확률 모델, 예를 들어 은닉 마르코프 모델(Hidden Markov Model; HMM)을 기반으로 각 계층 별로 숨겨진 상태들을 설계하고, 숨겨진 상태 간의 전이확률 함수 및 출력확률 함수를 이용하여 동적 프로그래밍 알고리즘을 통해 숨겨진 상태를 추론하도록 구성될 수 있다.
입력 데이터를 복수의 계층 모델로 생성함에 따라, 각각의 계층에 대해 복수의 숨겨진 상태가 정의될 수 있고, 하위 계층으로부터 상위 계층을 향하여 순차적으로 숨겨진 상태 간의 확률 함수를 추론할 수 있다.
가공부(160)는 계층 모델 생성부(150)에서 생성한 계층 모델로부터 사용자가 취급할 수 있는 형태 또는 형식의 인스턴스를 생성하도록 구성될 수 있다. 판서 분석 결과는 인스턴스 단위로 사용자에게 제공될 수 있고, 사용자는 인스턴스 단위로 판서 분석 결과를 취급할 수 있다. 입력 데이터가 복수의 계층모델로 생성됨에 따라 각 계층별로 적어도 하나의 인스턴스가 생성될 수 있음은 물론이다.
일 실시예에서, "인스턴스"는 각 계층에 속하는 각각의 객체를 의미할 수 있으며, 이는 후술할 "오브젝트"와는 구분되는 의미로 사용하였음에 유의하여야 한다.
본 기술의 일 실시예에서, 사용자 입력 데이터는 입력의 최소 단위를 "스트로크"로 정의하고, 이로부터 그룹화된 오브젝트, 라인 및 블록으로 계층화될 수 있으며, 각각의 계층은 다음과 같이 정의될 수 있다.
계층 정의
스트로크 입력 데이터의 최소 단위, 1회의 펜다운(pen down)-펜업(pen up) 행위
오브젝트 시간적 및 공간적으로 근접성이 있는 스트로크의 집합
라인 시간적으로 연속성이 있고, 공간적으로 방향성이 있는 오브젝트의 집합
블럭 시간적 및/또는 공간적으로 독립성이 있는 라인의 집합
이와 같이, 입력의 최소 단위가 1회의 펜다운-펜업 행위로 정의되므로 본 기술에서는 판서되는 언어의 종류에 무관하게, 언어와 비언어의 특성에 무관하게 계층모델을 생성하고 각 계층 별로 인스턴스를 도출할 수 있다.
도 3은 일 실시예에 의한 판서 데이터의 계층 구조를 설명하기 위한 도면이다.
도 3을 참조하면, 입력 데이터를 스트로크-오브젝트-라인-블록으로 계층화하는 경우 각 계층 간의 상관 관계를 알 수 있다.
적어도 하나의 스트로크의 집합은 하나의 오브젝트를 구성할 수 있다.
적어도 하나의 오브젝트의 집합은 하나의 라인을 구성할 수 있다. 일 실시예에서, 라인은 공간적으로 직성상에 정렬된 오브젝트의 집합일 수 있다.
적어도 하나의 라인의 집합은 하나의 블럭을 구성할 수 있다.
도 4a 내지 도 4d는 판서 데이터의 계층 구조를 설명하기 위한 예시도이다.
도 4a는 사용자가 사용자 인터페이스(130)에 펜다운-펜업 행위(①~⑦)를 7회 수행한 결과를 나타낸다.
각 회의 펜다운-펜업 행위(①~⑦)는 입력의 최소 단위이며, 예를 들어 스트로크로 정의될 수 있다. 따라서, 도 4a에 도시한 판서는 7개, 혹은 일곱 번의 스트로크의 수행 결과일 수 있다.
도 4b는 도 4a에 도시한 복수의 스트로크에 대하여 시간적 및 공간적으로 근접성이 있는 스트로크를 그룹화하여 오브젝트 모델을 생성한 예를 나타낸다.
도 4a의 제 1 내지 제 3 스트로크 (①~③)는 시간적 및 공간적으로 근접성이 있으며 이를 하나의 오브젝트(21) 모델로 생성할 수 있고, 이는 하나의 인스턴스로 생성되게 된다. 제 4 내지 데 7 스트로크(④,⑤,⑥,⑦) 각각은 시간적 또는 공간적으로 근접성이 없는 스트로크일 수 있으며, 따라서 이들은 각각의 오브젝트(22, 23, 24, 25)로 모델링되고, 개개의 인스턴스로 생성될 수 있다.
도 4c는 도 4b에 도시한 복수의 오브젝트에 대하여 시간적 연속성이 있고 방향성이 있는 오브젝트를 그룹화하여 라인(31) 모델을 생성한 경우를 나타낸다. 도 4b의 각 오브젝트들이 시간적을 연속성이 있고, 공간적으로 직성상에 정렬된다는 방향성이 있으므로 하나의 라인(31)으로 모델링되고 그에 대응하는 인스턴스로 생성될 수 있다.
도 4d는 도 4c에서 생성한 라인(31) 모델과 시간적 및/또는 공간적으로 독립성이 있는 라인(32)을 그룹화하여 블럭(41) 모델을 생성한 예를 나타낸다. 블럭(41)으로 모델링된 판서 데이터는 하나의 인스턴스로서 생성될 수 있다.
아울러, 각 계층마다 생성된 각각의 인스턴스는 사용자가 취급 가능한 형태로 제공될 수 있다.
한편, 숨겨진 상태를 갖는 확률 모델은 관찰 결과와 관찰이 불가능한 은닉된 상태로 이루어진 모델이다. 관찰 가능한 결과들은 은닉된 상태로부터 확률적으로 유도될 수 있다.
숨겨진 상태를 갖는 확률 모델은 숨겨진 상태 간의 전이 확률(transition probability)과 관찰 결과를 출력할 출력확률(output probability) 모델에 기초하여 결과를 유도하며, 음성 인식, 필기 인식, 동작 인식, 등 다양한 인식 분야에 적용될 수 있다.
도 5는 일 실시예에 의한 판서 데이터의 상태를 설명하기 위한 도면이다.
도 5를 참조하면, 본 기술에 의한 계층 모델 생성부(150)는 각 계층에 대한 두 가지 숨겨진 상태(은닉 상태)를 정의할 수 있으며, 이는 다음과 같다.
New(S1) : 하위계층의 인스턴스가 새롭게 상위계층의 인스턴스를 생성하는 상태
Keep(S2) : 하위계층의 인스턴스가 직전 상위계층의 인스턴스에 속할 상태
사용자의 입력 데이터 즉, 판서 데이터의 상태는 두 가지 숨겨진 상태 중 어느 하나의 상태를 가질 수 있으며, 직전 데이터의 정보에 기반하여 확률적으로 변화될 수 있다. 따라서, 하위계층의 정보에 기반하여 상태 분절 알고리즘(state segmentation algorithm)에 기초하여 상위계층을 모델링, 즉 상위계층 모델을 생성할 수 있다.
상태 분절 알고리즘은 은닉 상태의 전이 확률(T11, T12, T21, T22)과 각 상태에서 관측 가능한 출력 확률을 곱하여 이를 상태 공간(state space)에 저장한 뒤 확률값을 기반으로 상태의 경로를 찾는 알고리즘일 수 있다. 일 실시예에서, 상태 공간에 저장하는 확률값은 해당 상태에서 계산 가능한 확률값들 중 최대치만이 저장될 수 있으나 이에 한정되는 것은 아니다.
도 6 및 도 7은 일 실시예에 의한 판서 데이터의 모델링 방법을 설명하기 위한 도면이다.
도 6의 axx로 나타낸 전이 확률은 데이터의 직전 상태에서 이동 가능한 상태의 확률을 나타낸다. bx로 나타낸 출력 확률은 관측 데이터가 해당 상태에서 발생할 확률을 나타낸다. 도 6은 알파벳 'hell' 입력 후 'o'가 입력되었을 경우의 예시도이다.
도 7은 상태 공간에서 상태 분절 알고리즘의 실행 예를 나타낸다.
도 7에 도시된 것과 같이, 상태 공간은 각 계층별로 은닉 상태를 y축으로 하고, 입력 받은 데이터의 시퀀스를 x축으로 갖는 공간을 의미할 수 있다. 도 7에서에서 검은색 원(●)은 확률 값이 가장 높은 경로를 타낸다. 높은 확률 값을 갖는 경로일수록 우선순위를 두어 분석에 반영하는 것이 바람직하다.
상태 공간에서 분석한 해당 시점의 분석 결과가 새로운 인스턴스를 생성하는 상태의 확률 값이 높다면, 해당 계층의 인스턴스를 생성할 수 있다.
숨겨진 상태를 갖는 확률 모델에서 전이 확률 및 출력 확률을 도출하기 위하여 확률함수가 사용될 수 있다. 확률함수는 새로 입력된 하위 계층의 정보가 상위 계층에 속하거나 속하지 않을 숨겨진 상태에 대한 확률값을 도출하는 함수이다.
일 실시예에서, 판서 데이터의 입력의 최소 단위를 스트로크로 하여 오브젝트, 라인, 블럭의 계층 순서로 모델링하는 경우, 오브젝트에 대한 확률함수는 시간과 공간에 대한 사건을 각각 독립적이라 가정하고 설계할 수 있다. 라인에 대한 확률함수는 방향, 시간, 공간에 대한 사건을 각각 독립적이라 가정하고 설계할 수 있다, 블럭에 대한 확률함수는 시간과 공간에 대한 사건을 각각 독립적이라 가정하고 설계할 수 있다.
본 기술은 터치 패널에 대한 입력 신호의 최소 단위(스트로크)를 최하위 계층으로 하여, 기 설정된 복수 계층(오브젝트-라인-블럭) 각각의 숨겨진 상태를 확률적으로 빠르게 추론한다. 이를 위해 다이나믹 프로그래밍 기반의 추론 알고리즘, 예를 들어 비터비(Viterbi) 알고리즘을 이용할 수 있으나 이에 한정되는 것은 아니다.
즉, 각각의 계층에 대해 복수의 숨겨진 상태를 설계하고, 숨겨진 상태 간의 전이확률 함수, 숨겨진 상태로부터 관측 결과가 출력될 출력 확률 함수를 이용하여 다이나믹 프로그래밍 알고리즘을 기반으로 숨겨진 상태를 추론한다. 추론된 확률값은 상태 분절 알고리즘을 통해 상태의 경로를 찾아 분석하여 계층별 인스턴스로 제공될 수 있다. 그리고 이러한 분석은 하위 계층으로부터 상위 계층을 향하여 순차적으로 추론할 수 있다.
도 8은 일 실시예에 의한 판서 데이터 분석 방법을 설명하기 위한 도면이다.
터치패널과 같은 사용자 인터페이스(130)를 통해 다양한 형태의 입력 데이터(문자, 숫자, 기호, 이미지 등)이 입력될 수 있다.
입력 데이터 전송부(140)는 사용자 인터페이스(130)를 통해 제공되는 입력 데이터를 입력의 최소 단위별로 수신하고, 계층 모델 생성부(150)는 입력 데이터 전송부(140)로부터 제공되는 입력의 최소 단위별로 입력 데이터를 제공받아 계층 모델을 생성할 수 있다.
보다 구체적으로, 계층 모델 생성부(140)는 이전 계층 모델에 포함된 입력 데이터를 기 설정된 규칙에 따라 그룹화하여(S101) 상위계층 모델을 생성할 수 있다(S103).
이를 위해 입력 데이터 전송부(140)는 사용자 인터페이스(130)로부터의 판서 데이터를 시간과 공간 등을 나타내는 형태로 파싱할 수 있다.
계층 모델 생성부(150)는 입력 데이터를 구분할 복수의 계층을 정의하고 있으며, 하위 계층으로부터 상위 계층을 향하여 순차적으로 숨겨진 상태 간의 확률 함수를 추론하여 계층 모델을 생성할 후 있다.
즉, 계층 모델 생성부(140)에서 입력 데이터를 기 정의된 복수의 계층으로 모델링하는 과정은 최상위 계층 모델이 생성될 때까지 반복 수행될 수 있다(S105-N).
일 실시예에서, 계층 모델 생성부(150)는 숨겨진 상태를 갖는 확률 모델을 기반으로 각 계층 모델의 숨겨진 상태를 정의하고 동적 프로그래밍 알고리즘을 통해 숨겨진 상태를 추론하도록 구성될 수 있다. 그리고 추론된 확률값에 기초하여, 예를 들어 상태 분절 알고리즘을 통해 상태의 경로를 찾아 분석하여 계층별 인스턴스로 제공할 수 있다. 그리고 이러한 분석은 하위 계층으로부터 상위 계층을 향하여 순차적으로 수행할 수 있다.
최상위 계층 모델이 생성되면(S105-Y), 가공부(160)는 계층 모델 생성부(150)에서 생성한 각 계층의 각 모델로부터 인스턴스를 생성할 수 있다(107). 입력 데이터가 복수의 계층모델로 생성됨에 따라 각 계층별로 적어도 하나의 인스턴스가 생성될 수 있음은 물론이다(S107).
즉, 인스턴스 단위로 판서 분석 결과를 사용자에게 제공할 수 있고, 사용자는 인스턴스 단위로 판서 분석 결과를 취급(편집, 저장 등)할 수 있다.
판서 분석 결과를 제공한 후에는 대기 상태로 천이할 수 있다(S109).
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 판서 데이터 분석 시스템
110 : 컨트롤러
120 : 저장부
130 : 사용자 인터페이스
140 : 입력 데이터 전송부
150 : 계층 모델 생성부
160 : 가공부

Claims (21)

  1. 사용자 데이터가 판서 데이터로 입력되도록 구성되는 사용자 인터페이스;
    상기 사용자 인터페이스를 통해 제공되는 판서 데이터를 입력의 최소 단위인 스트로크 별로 수신하며, 각 스트로크에 대한 시간 및 공간 데이터를 생성하도록 구성되는 입력 데이터 전송부;
    상기 판서 데이터를 구분하기 위해 기 정의된 복수의 계층에 기초하여, 상기 입력 데이터 전송부로부터 제공되는 상기 입력의 최소 단위별로 상기 판서 데이터를 제공받아 상기 복수의 계층별로 순차적으로 계층 모델을 생성하도록 구성되는 계층 모델 생성부; 및
    상기 계층 모델 생성부에서 생성한 계층 모델로부터 상기 복수의 계층별로 적어도 하나의 인스턴스를 생성하여, 상기 인스턴스 단위로 판서 분석 결과를 제공하도록 구성되는 가공부;
    를 포함하고,
    상기 계층 모델 생성부는, 적어도 하나의 상기 스트로크를 기 설정된 규칙에 따라 그룹화한 적어도 하나의 오브젝트 계층, 적어도 하나의 상기 오브젝트 계층을 기 설정된 규칙에 따라 그룹화한 적어도 하나의 라인 계층, 적어도 하나의 상기 라인 계층을 기 설정된 규칙에 따라 그룹화한 적어도 하나의 블럭 계층을 생성하며,
    상기 가공부는, 상기 스트로크 단위의 인스턴스, 상기 오브젝트 단위의 인스턴스, 상기 라인 단위의 인스턴스 및 상기 블럭 단위의 인스턴스를 상기 판서 분석 결과로 제공하도록 구성되는 판서 분석 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 복수의 계층은, 상기 입력의 최소 단위의 집합인 최하위 계층, 적어도 하나의 상위계층 및 마지막 단계의 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 판서 데이터의 집합인 최상위 계층을 포함하도록 구성되는 판서 분석 시스템.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 상위계층 각각은 최하위 계층 또는 이전 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 입력 데이터의 집합으로 구성되는 판서 분석 시스템.
  5. 제 1 항에 있어서,
    상기 계층 모델 생성부는, 이전 계층의 계층 모델을 기 설정된 규칙에 따라 그룹화하여 상위계층 모델을 생성하도록 구성되는 판서 분석 시스템.
  6. 제 1 항에 있어서,
    상기 계층 모델 생성부는 숨겨진 상태를 갖는 확률 모델을 기반으로 각 계층 별로 숨겨진 상태들을 설계하고, 상기 숨겨진 상태 간의 전이확률 함수 및 출력확률 함수를 이용하여, 동적 프로그래밍 알고리즘을 통해 숨겨진 상태를 추론하도록 구성되는 판서 분석 시스템.
  7. 제 6 항에 있어서,
    상기 가공부는, 상태 분절 알고리즘에 기초하여 상기 복수의 계층별 인스턴스를 생성하도록 구성되는 판서 분석 시스템.
  8. 사용자 인터페이스, 입력 데이터 전송부, 계층 모델 생성부 및 가공부를 포함하는 판서 분석 시스템의 판서 분석 방법으로서,
    상기 사용자 인터페이스를 통해 사용자 데이터가 판서 데이터로 입력됨에 따라, 상기 입력 데이터 전송부가 상기 판서 데이터를 입력의 최소 단위인 스트로크 별로 수신하며, 각 스트로크에 대한 시간 및 공간 데이터를 생성하는 단계;
    상기 판서 데이터를 구분하기 위해 기 정의된 복수의 계층에 기초하여, 상기 계층 모델 생성부가 상기 입력의 최소 단위별로 상기 판서 데이터를 제공받아 상기 복수의 계층별로 순차적으로 계층 모델을 생성하는 단계; 및
    상기 계층 모델 생성부에서 생성한 계층 모델로부터 상기 가공부가 상기 복수의 계층별로 적어도 하나의 인스턴스를 생성하여, 상기 인스턴스 단위로 판서 분석 결과를 제공하는 단계;
    를 포함하고,
    상기 계층 모델을 생성하는 단계는, 적어도 하나의 상기 스트로크를 기 설정된 규칙에 따라 그룹화한 적어도 하나의 오브젝트 계층, 적어도 하나의 상기 오브젝트 계층을 기 설정된 규칙에 따라 그룹화한 적어도 하나의 라인 계층, 적어도 하나의 상기 라인 계층을 기 설정된 규칙에 따라 그룹화한 적어도 하나의 블럭 계층을 생성하는 단계를 포함하고,
    상기 판서 분석 결과를 제공하는 단계는, 상기 스트로크 단위의 인스턴스, 상기 오브젝트 단위의 인스턴스, 상기 라인 단위의 인스턴스 및 상기 블럭 단위의 인스턴스를 상기 판서 분석 결과로 제공하는 단계를 포함하도록 구성되는 판서 분석 방법.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 복수의 계층은, 상기 입력의 최소 단위의 집합인 최하위 계층, 적어도 하나의 상위계층 및 마지막 단계의 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 판서 데이터의 집합인 최상위 계층을 포함하도록 구성되는 판서 분석 방법.
  11. 제 10 항에 있어서,
    상기 적어도 하나의 상위계층 각각은 최하위 계층 또는 이전 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 입력 데이터의 집합으로 구성되는 판서 분석 방법.
  12. 제 8 항에 있어서,
    상기 계층 모델을 생성하는 단계는, 이전 계층의 계층 모델을 기 설정된 규칙에 따라 그룹화하여 상위계층 모델을 생성하는 단계를 포함하는 판서 분석 방법.
  13. 제 8 항에 있어서,
    상기 계층 모델을 생성하는 단계는 숨겨진 상태를 갖는 확률 모델을 기반으로 각 계층 별로 숨겨진 상태들을 설계하고, 상기 숨겨진 상태 간의 전이확률 함수 및 출력확률 함수를 이용하여, 동적 프로그래밍 알고리즘을 통해 숨겨진 상태를 추론하는 단계를 포함하는 판서 분석 방법.
  14. 제 13 항에 있어서,
    상기 인스턴스를 생성하는 단계는, 상태 분절 알고리즘에 기초하여 상기 복수의 계층별 인스턴스를 생성하는 단계를 포함하는 판서 분석 방법.
  15. 사용자 인터페이스, 입력 데이터 전송부, 계층 모델 생성부 및 가공부와 결합되며,
    상기 사용자 인터페이스를 통해 사용자 데이터가 판서 데이터로 입력됨에 따라, 상기 입력 데이터 전송부가 상기 판서 데이터를 입력의 최소 단위인 스트로크 별로 수신하며, 각 스트로크에 대한 시간 및 공간 데이터를 생성하는 단계;
    상기 판서 데이터를 구분하기 위해 기 정의된 복수의 계층에 기초하여, 상기 계층 모델 생성부가 상기 입력의 최소 단위별로 상기 판서 데이터를 제공받아 상기 복수의 계층별로 순차적으로 계층 모델을 생성하는 단계; 및
    상기 계층 모델 생성부에서 생성한 계층 모델로부터 상기 가공부가 상기 복수의 계층별로 적어도 하나의 인스턴스를 생성하여, 상기 인스턴스 단위로 판서 분석 결과를 제공하는 단계;를 실행시키기 위하여 매체에 저장되며,
    상기 계층 모델을 생성하도록 실행시키는 단계는, 적어도 하나의 상기 스트로크를 기 설정된 규칙에 따라 그룹화한 적어도 하나의 오브젝트 계층, 적어도 하나의 상기 오브젝트 계층을 기 설정된 규칙에 따라 그룹화한 적어도 하나의 라인 계층, 적어도 하나의 상기 라인 계층을 기 설정된 규칙에 따라 그룹화한 적어도 하나의 블럭 계층을 생성하도록 실행되고,
    상기 판서 분석 결과를 제공하도록 실행시키는 단계는, 상기 스트로크 단위의 인스턴스, 상기 오브젝트 단위의 인스턴스, 상기 라인 단위의 인스턴스 및 상기 블럭 단위의 인스턴스를 상기 판서 분석 결과로 제공하도록 실행시키기 위하여 매체에 저장된 어플리케이션.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 복수의 계층은, 상기 입력의 최소 단위의 집합인 최하위 계층, 적어도 하나의 상위계층 및 마지막 단계의 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 판서 데이터의 집합인 최상위 계층을 포함하도록 매체에 저장되는 어플리케이션.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 상위계층 각각은 최하위 계층 또는 이전 상위계층의 입력 데이터를 기 설정된 기준에 따라 그룹화한 입력 데이터의 집합으로 구성되도록 매체에 저장되는 어플리케이션.
  19. 제 15 항에 있어서,
    상기 계층 모델을 생성하는 단계는, 이전 계층의 계층 모델을 기 설정된 규칙에 따라 그룹화하여 상위계층 모델을 생성하는 단계를 더 실행시키기 위하여 매체에 저장되는 어플리케이션.
  20. 제 15 항에 있어서,
    상기 계층 모델을 생성하는 단계는 숨겨진 상태를 갖는 확률 모델을 기반으로 각 계층 별로 숨겨진 상태들을 설계하고, 상기 숨겨진 상태 간의 전이확률 함수 및 출력확률 함수를 이용하여, 동적 프로그래밍 알고리즘을 통해 숨겨진 상태를 추론하는 단계를 더 실행시키기 위하여 매체에 저장되는 어플리케이션.
  21. 제 20 항에 있어서,
    상기 인스턴스를 생성하는 단계는, 상태 분절 알고리즘에 기초하여 상기 복수의 계층별 인스턴스를 생성하는 단계를 더 실행시키기 위하여 매체에 저장되는 어플리케이션.
KR1020180026843A 2018-03-07 2018-03-07 판서 분석 시스템 및 방법과 어플리케이션 KR102053885B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180026843A KR102053885B1 (ko) 2018-03-07 2018-03-07 판서 분석 시스템 및 방법과 어플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180026843A KR102053885B1 (ko) 2018-03-07 2018-03-07 판서 분석 시스템 및 방법과 어플리케이션

Publications (2)

Publication Number Publication Date
KR20190105990A KR20190105990A (ko) 2019-09-18
KR102053885B1 true KR102053885B1 (ko) 2019-12-09

Family

ID=68071137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180026843A KR102053885B1 (ko) 2018-03-07 2018-03-07 판서 분석 시스템 및 방법과 어플리케이션

Country Status (1)

Country Link
KR (1) KR102053885B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183662A (ja) * 2000-12-18 2002-06-28 Japan Science & Technology Corp 文字認識方法、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3299875B2 (ja) * 1995-11-27 2002-07-08 シャープ株式会社 文字処理装置
US7646913B2 (en) * 2005-12-19 2010-01-12 Microsoft Corporation Allograph based writer adaptation for handwritten character recognition
WO2014200736A1 (en) * 2013-06-09 2014-12-18 Apple Inc. Managing real - time handwriting recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183662A (ja) * 2000-12-18 2002-06-28 Japan Science & Technology Corp 文字認識方法、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置

Also Published As

Publication number Publication date
KR20190105990A (ko) 2019-09-18

Similar Documents

Publication Publication Date Title
Caramiaux et al. Segmenting and parsing instrumentalists' gestures
JP4820382B2 (ja) ノードリンクダイアグラムに構造認識を提供する方法
EP1973063B1 (en) Method and apparatus for creating and editing node-link diagrams in PEN computing systems
CN110770759A (zh) 神经网络系统
JP2018537788A (ja) 外部メモリを用いたニューラルネットワークの拡張
EP4006909A1 (en) Method, apparatus and device for quality control and storage medium
US20210133630A1 (en) Model induction method for explainable a.i.
Perteneder et al. cluster: Smart clustering of free-hand sketches on large interactive surfaces
US11880648B2 (en) Automatic semantic labeling of form fields with limited annotations
KR20220061985A (ko) 그래픽 객체를 선택하기 위한 방법 및 대응하는 디바이스
CN112214595A (zh) 类别确定方法、装置、设备及介质
US20200074277A1 (en) Fuzzy input for autoencoders
CN112908328B (zh) 设备操控方法、系统、计算机设备及存储介质
WO2022125342A1 (en) Detecting ink gestures based on spatial and image data processing
US20170285930A1 (en) Document content replay
KR102053885B1 (ko) 판서 분석 시스템 및 방법과 어플리케이션
KR102610431B1 (ko) 인공지능 분석 기반 프로그램 소스코드의 요약문 생성 장치 및 방법
US9870063B2 (en) Multimodal interaction using a state machine and hand gestures discrete values
Li et al. Teaching a calligraphy robot via a touch screen
CN112256168A (zh) 一种手写内容电子化的方法、装置、电子设备及存储介质
Carcangiu et al. Gesture modelling and recognition by integrating declarative models and pattern recognition algorithms
Milazzo et al. Modular middleware for gestural data and devices management
Sun et al. Informal user interface for graphical computing
JPWO2020162294A1 (ja) 変換方法、訓練装置及び推論装置
US20190236410A1 (en) Bootstrapping recommendation systems from passive data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant