KR101909485B1 - 프로그램, 정보기억매체 및 인식장치 - Google Patents

프로그램, 정보기억매체 및 인식장치 Download PDF

Info

Publication number
KR101909485B1
KR101909485B1 KR1020177018253A KR20177018253A KR101909485B1 KR 101909485 B1 KR101909485 B1 KR 101909485B1 KR 1020177018253 A KR1020177018253 A KR 1020177018253A KR 20177018253 A KR20177018253 A KR 20177018253A KR 101909485 B1 KR101909485 B1 KR 101909485B1
Authority
KR
South Korea
Prior art keywords
stroke
specific gesture
character string
recognizing
gesture
Prior art date
Application number
KR1020177018253A
Other languages
English (en)
Other versions
KR20170100541A (ko
Inventor
마사키 나카가와
민 칸 판
덕 안 레
Original Assignee
고꾸리쯔 다이가꾸호우징 도쿄노우코우다이가쿠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고꾸리쯔 다이가꾸호우징 도쿄노우코우다이가쿠 filed Critical 고꾸리쯔 다이가꾸호우징 도쿄노우코우다이가쿠
Publication of KR20170100541A publication Critical patent/KR20170100541A/ko
Application granted granted Critical
Publication of KR101909485B1 publication Critical patent/KR101909485B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06K9/62—
    • G06K9/2054—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06K2209/01—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)

Abstract

문자열을 포함하는 수식을 인식하는 것이 가능한 인식장치 등을 제공하는 것.
인식장치는 입력된 스트로크 또는 스트로크열이 문자열과 수식을 구분하기 위한 특정 제스처에 해당되는 것인지 아닌지를 판정하고, 특정 제스처에 해당되는 것으로 판정한 경우, 특정 제스처에 의해 지정되는 범위에 관한 정보를 등록하는 등록부; 입력된 스트로크 가운데, 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열에 대응하는 스트로크로 설정하고, 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 수식에 대응하는 스트로크로 설정하는 구분부; 및 문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 이용하여 문자열을 인식하고, 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 이용하여 수식을 인식하는 인식부를 포함한다.

Description

프로그램, 정보기억매체 및 인식장치{PROGRAM, INFORMATION STORAGE MEDIUM AND RECOGNITION DEVICE}
본 발명은 프로그램, 정보기억매체 및 인식장치에 관한 것이다.
종래에는 수식을 입력하는 기법으로 LaTex 등의 전문언어를 이용하는 방법 및 수식입력 편집기를 이용하는 방법 등을 이용하였지만, 전자를 위해서는 전문용어를 습득해야 하며 후자를 위해서는 메뉴선택 및 기호선택을 반복해야 하기 때문에, 두 가지 방법 모두 일반인이 사용하기에는 편리하지 않다. 이에 따라, 태블릿(tablet) 등에 필기된 수식을 컴퓨터를 통해 인식하도록 하는 방법은 오래전부터 연구되어 왔다. 또한, 오랜 기간에 걸친 연구를 통해 이러한 수식의 인식율은 향상되었으며, 최근의 태블릿형 PC의 급속한 보급에 힘입어 이러한 방법이 일반인들에 의해 널리 사용될 것으로 예측되고 있다.
JP 2009-80615 A
수식은 심볼(symbol), 사칙연산자, 괄호, 분수기호와 루트, 적분기호 및 거듭제곱 등을 나타내는 기호의 위치 및 크기의 관계로 이루어진다. 필기수식 인식시스템으로는 심볼로 영숫자기호를 판정하는 것이 보통이며, 실제로는 영숫자기호 이외의 문자열(character string)이 심볼로 쓰이는 경우가 많아, 종래의 필기수식 인식시스템은 수식에 포함된 문자열을 인식하지 못하는 문제점을 지니고 있었다. 이러한 문자열을 포함하는 수식은 교과서에 자주 등장하며, 칠판에 판서되는 경우도 많다.
본 발명은 전술한 과제를 감안하여 이루어진 것으로, 그 목적은 문자열을 포함하는 수식을 인식할 수 있는 프로그램, 정보기억매체 및 인식장치를 제공하는 것이다.
(1) 본 발명은 필기입력된 스트로크열(stroke string)로부터 문자열을 포함하는 수식을 인식하기 위한 프로그램으로서, 입력된 스트로크 또는 스트로크열이 문자열과 수식을 구분하기 위한 특정 제스처(gesture)에 해당되는지 아닌지를 판정하고, 상기 특정 제스처에 해당되는 것으로 판정한 경우, 상기 특정 제스처에 의해 지정된 범위에 관한 정보를 등록하는 등록부; 입력된 스트로크 가운데, 상기 특정 제스처에 의해 지정된 범위에 포함되는 스트로크를 문자열 및 수식 중 어느 하나에 대응하는 스트로크로 설정하고, 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 문자열 및 수식 중 다른 하나에 대응하는 스트로크로 설정하는 구분부; 및 문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 이용하여 문자열을 인식하고, 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 이용하여 수식을 인식하는 인식부로서 컴퓨터를 기능하도록 하기 위한 프로그램에 관한 것이다. 또한, 본 발명은 컴퓨터 판독 가능한 정보기억매체로서, 전술한 각부로서 컴퓨터를 기능하도록 하기 위한 프로그램을 기억한 정보기억매체에 관한 것이다. 또한, 본 발명은 전술한 각부를 포함하는 인식장치에 관한 것이다.
(2) 또한, 본 발명에 관련된 프로그램, 정보기억매체 및 인식장치에 있어서, 상기 구분부는, 입력된 스트로크 또는 스트로크열이 상기 특정 제스처에 해당되는 것으로 판정된 경우, 해당 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열 및 수식 중 어느 하나에 대응하는 스트로크로 설정하고, 입력된 스트로크가 상기 특정 제스처에 해당되지 않는 것으로 판정된 경우, 해당 입력된 스트로크가 상기 특정 제스처에 의해 지정되는 범위에 포함되는지 아닌지를 판정하고, 상기 특정 제스처로 설정된 범위에 포함되는 경우, 해당 입력된 스트로크를 문자열 및 수식 중 어느 하나에 대응하는 스트로크로 설정할 수 있다.
(3) 또한 본 발명에 관련된 프로그램, 정보기억매체 및 인식장치에 있어서, 상기 구분부는, 입력된 스트로크 가운데, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열에 대응하는 스트로크로 설정하고, 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 수식에 대응하는 스트로크로 설정하며, 상기 인식부는, 상기 특정 제스처에 의해 지정된 범위에 포함되는 스트로크 하나를 하나의 심볼로 취급하여 수식인식엔진을 통해 수식을 인식하도록 할 수 있다.
(4) 또한, 본 발명에 관련된 프로그램 및 정보기억매체에 있어서, 입력된 스트로크열을 표시부에 표시하도록 제어를 수행하는 표시제어부로서 다시 한 번 컴퓨터를 기능시키며, 상기 표시제어부는, 상기 특정 제스처에 해당되는 것으로 판정되는 스트로크 또는 스트로크열을 상기 특정 제스처에 대응하는 형상을 나타내는 화상으로 표시되도록 하는 제어를 수행할 수 있다.
(5) 또한, 본 발명에 관련된 프로그램, 정보기억매체 및 인식장치에 있어서, 상기 표시제어부는, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크와는 다른 색상으로 표시되도록 하는 제어를 수행할 수 있다.
(6) 또한, 본 발명에 관련된 프로그램, 정보기억매체 및 인식장치에서, 상기 등록부는 입력된 스트로크 또는 스트로크열이 대략 직사각형을 형성하는 경우, 해당 스트로크 또는 스트로크열이 상기 특정 제스처에 해당되는 것으로 판정할 수 있다.
본 발명에 따르면, 입력된 스트로크가 특정 제스처에 해당되는지 아닌지를 판정하고, 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열 및 수식 중 하나에 대응하는 스트로크로 설정하고, 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 문자열 및 수식 중 다른 하나에 대응하는 스트로크로 설정하고, 문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 이용하여 문자열을 인식하고, 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 이용하여 수식을 인식함으로써, 수식에 포함된 문자열 및 수식을 명확하게 구분하도록 하고, 각각을 인식하도록 할 수 있다. 또한, 특정 제스처를 이용하지 않고, 자동적으로 분리(구분)하는 방법 또한 생각할 수 있다. 뿐만 아니라, 자동적으로 수식 및 문자열을 구분하는 것은 곤란하며, 오분할이 불가피하기 때문에, 본 발명에서는 문자열 및 수식을 구분하기 위한 특정 제스처를 도입한다.
본 발명에 따르면, 문자열(또는 수식)을 필기한 후 특정 제스처를 필기하는 경우 또는 특정 제스처를 필기한 후 문자열(또는 수식)을 필기하는 경우라도 문자열과 수식을 구분하는 것이 가능하여 사용자의 편의성이 향상될 수 있다.
본 발명에 따르면, 특정 제스처에 의해 지정되는 범위에 포함되는 하나의 스트로크(문자열에 대응하는 스트로크로 설정된 스트로크)를 하나의 심볼로 취급하여 수식인식엔진을 통해 수식을 인식함으로써, 문자열을 인식할 수 없는 수식인식엔진을 이용하여 문자열을 포함하는 수식을 인식하도록 할 수 있다.
본 발명에 따르면, 특정 제스처에 해당되는 것으로 판정되는 스트로크를 특정 제스처에 대응하는 형상을 나타내는 화상으로 표시되도록 함으로써, 특정 제스처가 올바르게 판정되었다는 것을 사용자에게 인식시키는 것이 가능하여 사용자의 편의성을 향상시킬 수 있다.
본 발명에 따르면, 특정 제스처에 의해 지정되는 범위에 포함된 스트로크를 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크와는 다른 색상으로 표시되도록 함으로써, 특정 제스처를 통해 문자열과 수식이 올바르게 구분되었다는 것을 사용자에게 인식시키는 것이 가능하여 사용자의 편의성을 향상시킬 수 있다.
도 1은 본 실시형태의 인식장치에 대한 기능 블럭도의 한 예이다.
도 2a는 수식, 문자열 및 특정 제스처가 혼재된 필기의 한 예를 나타내는 도면이다.
도 2b는 특정 제스처 표의 한 예를 나타내는 도면이다.
도 3a는 특정 제스처가 필기된 순서를 설명하기 위한 도면이다.
도 3b는 특정 제스처가 필기된 순서를 설명하기 위한 도면이다.
도 3c는 특정 제스처가 필기된 순서를 설명하기 위한 도면이다.
도 3d는 특정 제스처가 필기된 순서를 설명하기 위한 도면이다.
도 4a는 직사각형의 특정 제스처 필기의 한 예를 나타내는 도면이다.
도 4b는 직사각형의 특정 제스처 필기의 한 예를 나타내는 도면이다.
도 5는 순차방식 처리의 한 예를 나타내는 흐름도이다.
도 6a는 순차방식의 구체적인 표시예를 나타내는 도면이다.
도 6b는 순차방식의 구체적인 표시예를 나타내는 도면이다.
도 6c는 순차방식의 구체적인 표시예를 나타내는 도면이다.
도 6d는 순차방식의 구체적인 표시예를 나타내는 도면이다.
도 6e는 순차방식의 구체적인 표시예를 나타내는 도면이다.
도 6f는 순차방식의 구체적인 표시예를 나타내는 도면이다.
도 7은 일괄방식 처리의 한 예를 나타내는 흐름도이다.
도 8a는 일괄방식의 구체적인 표시예를 나타내는 도면이다.
도 8b는 일괄방식의 구체적인 표시예를 나타내는 도면이다.
도 8c는 일괄방식의 구체적인 표시예를 나타내는 도면이다.
이하, 본 실시형태에 대하여 설명한다. 또한, 이하에 설명하는 본 실시형태는 특허청구의 범위에 기재된 본 발명의 내용을 부당하게 한정하는 것은 아니다. 또한, 본 실시형태로 설명된 구성 모두가 본 발명의 필요 구성요건인 것은 아니다.
1. 구성
도 1에 본 실시형태에 따른 인식장치의 기능 블럭도의 한 예를 나타내었다. 또한, 본 실시형태의 인식장치는 도 1의 구성요소(각부)의 일부를 생략하여 구성할 수도 있다.
문자입력부(160)는 사용자가 필기매체(펜, 손가락 등)로 필기한 문자를 입력하기 위한 것으로서, 그 기능은 태블릿, 터치패널(touch panel) 등의 필기면 등을 통해 실현될 수 있다. 문자입력부(160)는 필기매체가 필기면에 접촉되면서부터 분리될 때까지 필기매체의 위치를 나타내는 좌표 데이터를 일정 시간 간격으로 검출하고, 검출된 좌표 데이터열(좌표점 계열)을 스트로크(필화, 筆畵)의 데이터로서 처리부(100)로 출력한다. 또한, 스트로크의 종점으로부터 다음 스트로크의 시점을 잇는 벡터를 오프스트로크(운필(運筆) 벡터)라고 부르며, 스트로크 및 오프스트로크를 연결하는 계열을 스트로크열이라고 부른다.
기억부(170)는 처리부(100)의 각부로서 컴퓨터를 기능시키도록 하는 프로그램 및 각종 데이터를 기억함과 동시에 처리부(100)의 동작 영역으로서 기능하며, 그 기능은 하드디스크, RAM 등을 이용하여 실현될 수 있다.
표시부(190)는 처리부(100)에서 생성된 화상을 출력하는 것으로서, 그 기능은 문자입력부(160)로도 기능하는 터치패널, LCD 또는 CRT 등의 디스플레이를 이용하여 실현될 수 있다.
처리부(프로세서, 100)는 문자입력부(160)로부터의 좌표 데이터 및 프로그램 등에 기초하여 인식처리, 표시제어 등의 처리를 수행한다. 이 처리부(100)는 기억부(170) 내의 주기억부를 동작 영역으로 하여 각종 처리를 수행한다. 처리부(100)의 기능은 각종 프로세서(CPU, DSP 등), ASIC(게이트어레이 등) 등의 하드웨어 및 프로그램을 이용하여 실현될 수 있다. 처리부(100)는 등록부(110), 구분부(112), 인식부(114) 및 표시제어부(120)를 포함한다.
등록부(110)는 입력된 스트로크 또는 스트로크열이 문자열과 수식을 구분하기 위한 특정 제스처에 해당되는지 아닌지를 판정하고, 상기 특정 제스처에 해당되는 것으로 판정한 경우, 상기 특정 제스처에 의해 지정되는 범위(영역)에 관한 정보를 등록하는 처리를 수행한다. 등록된 정보는 기억부(170)에 기억된다. 여기서, 입력된 스트로크 또는 스트로크열이 대략 직사각형을 형성하는 경우, 등록부(110)는 해당 스트로크 또는 스트로크열이 상기 특정 제스처에 해당되는지를 판정할 수 있다.
구분부(112)는 입력된 스트로크 가운데, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열 및 수식 중 하나에 대응하는 스트로크로 설정하고, 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 문자열 및 수식 중 다른 하나에 대응하는 스트로크로 설정한다. 즉, 구분부(112)는 입력된 스트로크 가운데, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열에 대응하는 스트로크로 설정하고, 상기 특정 제스처로 설정된 범위에 포함되지 않는 스트로크를 수식에 대응하는 스트로크로 설정할 수 있으며, 그 반대로도 설정할 수 있다.
인식부(114)는 구분부(112)를 통해 문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 이용하여 문자열을 인식하고, 구분부(112)를 통해 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 이용하여 수식을 인식하는 처리를 수행한다. 여기서, 구분부(112)가 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열에 대응하는 스트로크로 설정하는 경우, 인식부(114)는 상기 특정 제스처 및 해당 특정 제스처에 의해 지정되는 범위에 포함되는 하나의 스트로크를 하나의 심볼로 취급하여 수식인식엔진을 이용하여 수식을 인식할 수 있다. 예를 들어, 도 2a에 나타낸 예시의 경우, 문자열 「area」, 「height」, 「width」를 각각 「x」, 「y」, 「z」와 같이 하나의 심볼로 취급하여 수식인식엔진을 통해 인식되도록 할 수 있다.
표시제어부(120)는 입력된 스트로크열을 표시부(190)에 표시되도록 제어를 수행한다. 여기서, 표시제어부(120)는 상기 특정 제스처에 해당되는 것으로 판정된 스트로크 또는 스트로크열을 상기 제스처에 대응하는 형상을 나타내는 화상(예를 들어, 직사각형을 나타내는 화상)으로 표시하도록 제어를 수행할 수 있다. 또한, 표시제어부(120)는 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크와 다른 색상으로 표시되도록 하는 제어를 수행할 수 있다. 또한, 표시제어부(120)는 인식부(114)를 통해 인식된 문자열을 포함하는 수식(인식결과)을 표시부(190)에 표시되도록 제어를 수행한다.
2. 본 실시형태의 기법
다음으로 본 실시형태의 기법에 대하여 도면을 이용하여 설명한다.
필기입력된 문자열을 포함하는 수식을 컴퓨터가 인식하도록 하는 경우, 이상적으로는 입력된 스트로크(필기 패턴)로부터 자동적으로 수식 및 문자열을 분리(구분)하고, 각각을 인식하도록 하는 것이 바람직하다. 그러나 자동적으로 수식과 문자열을 구분하도록 수행하는 것이 어렵고, 불완전한 구분을 수행한 후, 수식과 문자열을 따로 인식하도록 하는 것은 인식율을 크게 저하시킬 우려가 있다.
따라서, 본 실시형태의 기법에서는 문자열과 수식을 구분하기 위한 제스처를 도입한다. 이를 특정 제스처라고 부른다. 여기서, 특정 제스처라 함은 인식대상이 되는 문자 및 수식 이외의 기호 필기와 해당 제스처에 의해 지정되는 범위에 포함되는 스트로크를 특정하고, 이에 대응하는 처리를 수행하는 조작을 의미한다.
본 실시형태의 기법은 특정 제스처로서 문자열을 둘러싸는 직사각형을 채용한다. 즉, 필기입력된 스트로크(또는 스트로크열)가 대략 직사각형을 형성하는 경우, 해당 스트로크가 특정 제스처에 해당되는 것으로 판정하고, 해당 특정 제스처에 의해 판정되는 범위에 포함되는 스트로크로부터 문자열을 인식하고, 해당 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크로부터 수식을 인식한다. 특정 제스처의 형상으로서 직사각형을 채용하는 것은 직사각형이 보통의 수식에 나타나지 않을 뿐만 아니라, 사람이 범위를 지정하기 위해 직사각형을 필기하는 것이 자연스럽기 때문이다. 또한, 수학의 한 영역에서는 정방형 및 장방형이 심볼로 사용되는 경우가 있지만, 이러한 경우, 직사각형 대신에 별도의 형상을 갖는 심볼을 특정 제스처로 채용할 수 있다. 즉, 특정 제스처는 형상이 고유(unique)하여(기타 심볼 및 기호와 구별이 쉬운), 그것을 지시하는 범위가 명확한 것이라면 어떠한 것이라도 될 수 있다. 예컨대, 특정 제스처의 형상은 직사각형의 대각선 편방 또는 양방을 우측으로부터 좌측으로 필기하는(좌측으로부터 우측으로 필기하면, 「×」와 구별이 되지 않으므로) 것일 수도 있고, 직사각형의 대각선 양방을 연결하여 필기하는 것(「α」를 거꾸로 한 형상)일 수도 있다. 또한, 여기서, 수식에 포함되는 문자열을 구분하기 위해 특정 제스처를 이용하지만, 문자열에 포함되는 수식을 구분하기 위해 특정 제스처(예를 들어, 수식을 둘러싸는 직사각형 등)를 이용할 수도 있다.
도 2a는 수식, 문자열 및 특정 제스처가 혼재된 필기의 한 예를 나타내는 도면이다. 등록부(110)는 스트로크가 입력될 때마다, 그 스트로크가 특정 제스처인지 아닌지를 감시하고, 특정 제스처인 것으로 판정한 경우, 해당 특정 제스처의 필순(특정 제스처에 해당되는 필화의 순서) 및 좌표(직사각형의 네 꼭지점의 좌표 혹은 직사각형의 마주보는 두 꼭지점의 좌표)를 특정 제스처 표(specific gesture table)에 등록한다. 도 2b는 도 2a의 필기예에 대응하는 특정 제스처 표를 나타내는 도면이다. 예컨대, 도 2b에 나타낸 특정 제스처 표에는 특정 제스처 BG1에 대해 4화상의 문자열 「area」의 뒤 다섯 번째 화상에 필기된 것과, 그 좌상각 및 우하각의 좌표(특정 제스처에 의해 지정되는 범위에 관한 정보의 한 예)가 등록되어 특정 제스처 BG2에 대해 첫 번째 「×」의 뒤 13번째 화상에 필기된 것과, 그 좌상각 및 우하각의 좌표가 등록되어 특정 제스처 BG3에 대해 두 번째 「×」의 뒤 18번째 화상에 필기된 것과 그 좌상각과 우하각의 좌표가 등록된다. 구분부(112)는 도 2b에 나타낸 바와 같이 특정 제스처 표를 참조하여 하나의 특정 제스처에 둘러싸인 스트로크를 문자열의 일부(문자열에 대응하는 스트로크)로 구분하고, 그 이외의 스트로크를 수식의 일부(수식에 대응하는 스트로크)로 구분한다.
도 2a에 나타낸 예에서는 특정 제스처를 하나의 화상으로 필기한 경우를 나타내고 있지만, 특정 제스처를 복수의 화상으로 필기하는 것을 허용할 수 있다. 이러한 경우, 처리의 형편 상 특정 제스처를 필기하는 최대 화상의 수(예컨대, 4화)를 규정하고, 특정 제스처를 필기하기 시작한 때부터 필기가 끝날 때까지 수식 또는 문자에 대응하는 스트로크를 필기하지 않는 것을 조건으로 한다. 이 정도의 조건은 사용자에게 큰 제약이 되지 않는다. 또한, 특정 제스처를 복수의 화상으로 필기하는 것을 허용하는 경우, 특정 제스처를 구성하는 최초 스트로크의 필순과 최후 스트로크의 필순 두 개를 특정 제스처 표에 등록한다. 또한, 도 2b에 나타낸 특정 제스처 표의 「조정후필순」에 대해 후술한다.
본 실시형태의 기법에서는 특정 제스처가 어떤 타이밍에서 필기되더라도 문자열과 수식을 구분하는 처리가 실행되도록 되어있다. 특정 제스처를 필기하는 순서를 지정하면, 사용자에게 큰 제약이 발생하여 사용 편의성이 떨어지기 때문이다. 도 3에 나타낸 바와 같이 특정 제스처가 필기되는 순서는 네 개의 경우로 생각해 볼 수 있다. 도 3a는 최초에 특정 제스처 BG를 필기한 후 특정 제스처 BG의 가운데 문자열을 필기하는 경우를 나타내고, 도 3b는 최초에 문자열을 필기한 후 해당 문자열을 둘러싸는 특정 제스처 BG를 필기하는 경우를 나타내고, 도 3c는 최초에 문자열을 필기하고 기타 필화를 필기한 후, 해당 문자열을 둘러싸는 특정 제스처 BG를 필기하는 경우를 나타내며, 도 3d는 이미 필기된 문자열을 둘러싸는 특정 제스처 BG에 문자열을 덧쓰는 경우를 나타낸다.
도 4에 직사각형의 특정 제스처 필기의 한 예를 나타내었다. 사용자는 특정 제스처 BG를 필기하는 경우, 직사각형의 좌상각으로부터 쓰기 시작하여 시계방향(도 4a 참조) 혹은 반시계방향(도 4b 참조)으로 써나가, 좌상각으로 돌아온다. 구분부(112)는 입력된 스트로크를 구성하는 적어도 일부의 필점(예컨대, 1/3이상)이 특정 제스처에 포함되는 경우, 해당 스트로크가 그 특정 제스처에 둘러싸이는 것(해당 특정 제스처에 의해 지정되는 범위에 포함된다)으로 판정한다. 이는, 사용자가 필기한 특정 제스처가 기타 스트로크와 교차할 때가 있다는(도 3 참조) 것을 고려한 결과이다.
본 실시형태의 기법에서는, 특정 제스처를 고밀도로 인식하기 위해 스트로크의 시계열정보를 이용하는 온라인 인식기법과 스트로크의 화상으로서의 특징을 이용하는 오프라인 인식기법을 병용하여 특정 제스처를 인식한다. 특정 제스처를 인식하는 동안의 인식대상은 수식(영문자 등의 심볼, 사칙연산자, 분수기호, 루트, 적분기호 등의 연산자, 괄호) 및 특정 제스처(둘러싸는 직사각형)이다.
온라인 인식기법에서는 MRF(Markov random field) 모델을 이용한다. 먼저, 입력 패턴을 표준 사이즈로 정규화하고, Ramer-Douglas-Peuker에 의해 단점(단(端占) 및 각(角) 등의 특징점을 추출한다. 그리고, MRF모델의 특징점과 신축매칭을 수행한다. 점수의 평가에는 임계치를 이용하여 임계치보다 작은 경우는 리젝트(reject)한다.
오프라인 인식기법에서는 MQDF(modified quadratic discriminant function)을 이용한다. 스트로크는 시계열순으로 필점열을 연결함으로써, 쉽게 화상으로 변환하는 것이 가능하다. 스트로크를 화상으로 변환하면, 시계열정보를 잃지만, 필순의 차이 및 겹쳐씀 등에 의한 영향을 배제할 수 있다. 이 화상에 대하여, Sobel 필터에 의한 구배특징을 추출하고 8방향에 사영한다. 원화상이 64×64 픽셀이면, 이를 동일 사이즈의 8×8의 분할화상으로 분할한다. 이에 대해, 18×18 픽셀의 가우시안 필터(Gaussian filter)를 적용하여 흘린다. 이렇게 하면, 중심에 가까운 방향특징은 크게 기여하고 주변의 기여는 작아져 주변의 분할화상으로부터도 다소 기여를 받을 수 있어 위치 편차에 강해진다. 그 결과, 8×8분할화상마다 8방향의 특징이 추출되어 전체 512차원의 특징이 획득된다. 덧붙여, 피셔 판별분석(Fisher's discriminant analysis)에 의해 차원을 압축하여 256차원의 특징을 얻는다. 식별에는 MQDF를 이용한다. 덧붙여, 임계치를 설정하여 입력 패턴의 직사각형으로의 거리가 최단거리일지라도, 그 거리가 임계치보다 큰 경우 리젝트한다.
최종적으로, 온라인 인식기법 및 오프라인 인식기법의 결과를 통합한다. 여기서, 온라인 인식기법은 확률치의 대수식(음수이지만 클수록 좋은)을 도출하며, 오프라인 인식기법은 거리(작을수록 좋은)를 도출하기 위해, 이러한 척도를 조정할 필요가 있다. 따라서, 온라인 인식 점수에 -1을 곱합으로써 양수로 변경하여(역으로, 작을수록 좋은) 가중치의 합을 도출하고, 이러한 과정을 통해 통합 점수를 산출한다. 통합 점수 scorecombination은 다음의 식을 이용하여 산출된다.
Figure 112017063301735-pct00001
여기서, scoreonline 및 scoreoffline은 각각 온라인 인식기법의 점수 및 오프라인 인식기법의 점수이다. w1 및 w2는 총합의 무게로서 이들은 훈련 패턴을 이용하여 최적화된다. 통상 scoreonline은 -10 정도부터 0까지의 값을 가지며, scoreoffline은 0 이상 1024 미만의 값을 갖는다. 즉, -scoreonline은 scoreoffline의 100분의 1정도이기 때문에, 현실적으로는 0〈w1〈0.1, w2 = 1 - w1의 조건을 만족할 때 최적값을 얻을 수 있다. 등록부(110)는 인식대상 중에서 scorecombination이 가장 작은 것을 특정 제스처로 인식한다.
3. 처리
다음으로, 본 실시형태에 따른 인식장치의 처리 흐름에 대해 설명한다. 인식장치에는 태블릿형 PC에서처럼 시계열의 필점을 실시간으로 표시하여 인식 피드백을 필화(스트로크)마다 수행하는 대화형장치와 시계열의 필점을 메모리를 구비한 태블릿 또는 전자펜으로 기록하여 그 데이터의 판독 및 처리는 PC 등으로 일괄하여 수행하는 비대화형장치가 있다.
3-1. 순차방식의 처리
대화형장치에 의해 채용되는 순차방식에서는 사용자가 문자열을 인식하는 언어(예컨대, 영어 또는 일본어)를 지정하는 시스템(프로그램)을 구축하고, 터치패널 등의 입력부에 수식 또는 문자열을 필기하기 시작한다. 시스템은 특정 제스처의 인식, 문자열 및 수식의 구분을 스트로크가 필기될 때마다 수행하고, 필기 종료 후, 문자열과 수열의 인식 및 인식결과의 표시를 수행한다. 도 5는 순차방식의 처리의 한 예를 나타내는 흐름도이다.
먼저, 처리부(100)는 문자입력부(160)에 입력된 스트로크를 취득한다(과정 S10). 이때, 표시제어부(120)는 취득된 스트로크를 표시부(190)에 표시되는 제어를 수행한다. 등록부(110)는 취득된 스트로크로부터 거슬러 특정 제스처의 최대화수(예컨대, 4화상)까지 최근 스트로크가 특정 제스처에 해당(특정 제스처를 구성)하는지 아닌지를 판정한다(과정 S12). 예를 들어, 등록부(110)는 최근의 1화상분의 스트로크, 2화상분의 스트로크열, 3화상분의 스트로크열, 4화상(최대화수)분의 스트로크열 각각에 대해 총합 점수 scorecombination을 산출하고, 인식대상 가운데 특정 제스처가 가장 작은 scorecombination을 제공할 때, 특정 제스처로서 인식한다. 다만, 온라인 인식기법 및 오프라인 인식기법 중 어느 하나에 의해 리젝트된 스트로크에 대해서는 scorecombination을 산출하지 않고, 모든 스트로크가 리젝트된 경우에는 특정 제스처에 해당하지 않는다고 판정한다.
최근 스트로크가 특정 제스처에 해당되는 경우(과정 S12의 '예'), 등록부(110)는 특정 제스처에 해당되는 것으로 판정된 스트로크의 정보로부터 특정 제스처의 정보(필순 및 마주보는 두 꼭지점의 좌표)를 특정 제스처 표에 등록한다(과정 S14). 여기서, 등록부(110)는 특정 제스처에 해당되는 것으로 판정된 스트로크가 그 이전에 이미 수식에 대응하는 스트로크로 설정되어 있다면, 그 설정을 취소한다. 또한, 표시제어부(120)는 특정 제스처에 해당되는 것으로 판정된 스트로크의 화상을 기타 스트로크와는 다른 색상(예컨대, 적색)의 직사각형(특정 제스처에 대응하는 형상)을 나타내는 화상으로 표시되도록 제어를 수행한다. 이를 통해, 특정 제스처가 올바로 인식되었다는 것을 사용자에게 피드백할 수 있다.
다음으로, 구분부(112)는 특정 제스처 표를 참조하여 등록된 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열에 대응하는 스트로크로 설정한다(과정 S16). 이때, 표시제어부(120)는 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크의 색상을 변화(예컨대, 흑색으로부터 청색으로 변화)시키는 제어를 수행한다. 이를 통해, 특정 제스처에 의한 문자열이 올바르게 구분되었는지를 사용자에게 피드백할 수 있다. 또한, 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크가 존재하지 않는 경우, 과정 S16의 처리를 생략한다.
최근 스트로크가 특정 제스처에 해당하지 않는 경우(과정 S12의 '아니오'), 구분부(112)는 특정 제스처 표를 참조하여 취득된 스트로크가 어느 하나의 특정 제스처에 의해 지정되는 범위에 포함되는지 아닌지를 판정한다(과정 S18). 취득된 스트로크가 어느 하나의 특정 제스처에 의해 지정되는 범위에 포함되는 경우(과정 S18의 '예'), 구분부(112)는 취득된 스트로크를 문자열에 대응하는 스트로크로 설정하고(과정 S20), 표시제어부(120)는 취득된 스트로크의 색상을 변화(예컨대, 흑색으로부터 청색으로 변화)시키는 제어를 수행한다. 한편, 취득된 스트로크가 특정 제스처에 의해 지정되는 범위에 포함되지 않는 경우(과정 S18의 '아니오'), 구분부(112)는 취득된 스트로크를 수식에 대응하는 스트로크로 설정한다(과정 S22).
다음으로, 처리부(100)는 스트로크의 입력이 있는지 없는지를 판정하고(과정 S24), 입력이 있는 경우(과정 S24의 '예'), 과정 S10의 처리로 이동하고, 사용자에 의해 필기가 종료될 때까지 과정 S10 이후의 처리를 반복한다.
스트로크의 입력이 없는 것으로 판정된 경우(과정 S24의 '아니오'), 인식부(114)는 과정 S16, S20에서의 문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 이용하여 문자열을 인식하고, 과정 S22에서 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 이용하여 수식을 인식한다(과정 S26). 그리고, 표시제어부(120)는 인식결과(문자열을 포함하는 수식)를 표시부(190)에 나타내도록 하는 제어를 수행한다.
여기서, 수식인식엔진은 특정 제스처에 대응하는 스트로크도 문자열에 대응하는 스트로크로도 이해하지 않지만, 특정 제스처에 의해 둘러싸인 문자열의 정보가 없으면(즉, 수식에 대응하는 스트로크 정보만으로는) 수식의 구조를 분석할 수 없다. 따라서, 본 실시형태의 기법에서는, 하나의 특정 제스처와 해당 특정 제스처에 둘러싸인 문자열을 하나의 심볼(수식에 대한 하나의 기호)로 취급하여, 해당 심볼로 취급하는 특정 제스처의 좌표 정보와 수식에 대응하는 스트로크의 정보로부터 수식을 인식한다. 이를 위해, 특정 제스처의 필순을 조정한다. 구체적으로는 특정 제스처를 구성하는 첫 번째 스트로크와 해당 특정 제스처에 의해 둘러싸인 문자열에 대응하는 첫 번째 스트로크의 필순 중, 더욱 필순이 빠른 쪽을 해당 특정 제스처의 조정후필순으로 하여 특정 제스처 표에 등록한다. 도 2에 나타낸 예에서는, 특정 제스처 BG1, BG2, BG3의 조정후필순으로 하여 각각 「1」, 「9」, 「12」가 등록되어 있다. 이 경우, 인식부(114)(수식인식엔진)는 특정 제스처 표를 참조하여 특정 제스처 BG1와 이에 포함된 문자열 「area」를 첫 번째 화상에 필기된 하나의 심볼로 취급하고, 특정 제스처 BG2와 이에 포함된 문자열 「height」를 아홉 번째 화상에 필기된 하나의 심볼로 취급하고, 특정 제스처 BG3와 이에 포함된 문자열 「width」를 열 두 번째 화상에 필기된 하나의 심볼로 취급하여 이러한 심볼과 수식에 대응하는 스트로크와의 위치 및 크기의 관계로부터 수식의 구조를 해석할 수 있다.
순차방식에서는 사용자가 오기하는 경우가 있기 때문에, Undo기능을 포함하는 것이 바람직하다. 사용자가 Undo 명령을 입력할 때, Undo된 최신 스트로크가 특정 제스처인 경우, 해당 특정 제스처와 그 등록정보를 삭제하고, 해당 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크(문자열에 대응하는 스트로크로 설정된 스트로크)를 수식에 대응하는 스트로크로 설정한다. 한편, Undo된 최근 스트로크가 문자열 또는 수식에 대응하는 스트로크인 경우에는 간단히 해당 스트로크를 삭제한다.
도 6은 순차방식에 있어서 구체적인 표시예를 나타내는 도면이다. 도 6에 나타낸 예에서 사용자는 먼저 문자열 「value」와 수식을 필기하고, 문자열 「value」를 둘러싸는 특정 제스처 BG1을 필기한다(도 6a). 그러면, 등록부(110)는 특정 제스처 BG1을 인식하며, 표시제어부(120)는 특정 제스처 BG1을 적색으로 특정 제스처 BG1과 동등한 크기의 직사각형을 나타내는 화상 BI1(특정 제스처 화상)으로 치환하고, 특정 제스처 BG1에 의해 둘러싸인 문자열 「value」의 색상을 청색으로 변화시킨다(도 6b). 다음으로, 사용자는 새로운 특정 제스처 BG2를 필기한다(도 6c). 그러면, 등록부(110)는 특정 제스처 BG2를 인식하고, 표시제어부(120)는 특정 제스처 BG2를 특정 제스처 화상 BI2로 치환한다(도 6d). 스트로크를 취득할 때마다 이 문자열 「result」를 청색으로 표시한다(도 6e). 마지막으로, 사용자가 인식의 실행을 지시하는 조작을 수행하면, 인식부(114)는 문자열과 수식의 인식을 수행하고, 표시제어부(120)는 인식결과를 표시하도록 한다(도 6f). 여기서, 특정 제스처 화상 BI1 및 BI2를 제거하여 인식결과를 표시하고 있다.
3-2. 일괄방식의 처리
비대화형장치에 의해 채용되는 일괄방식에서는 사용자가 시스템을 구축하고, 태블릿 등의 인터페이스에 수식 및 문자열을 필기한다. 필기 후에 스트로크열의 데이터를 PC 등(인식장치)에 판독시키고, 그동안, 문자열을 인식하는 언어를 지정한다. 일괄방식에서는 특정 제스처의 인식, 문자열과 수식의 구분 및 문자열과 수열의 인식과 인식결과의 표시를 포함하는 세 가지 처리는 스트로크열의 데이터 전부가 PC등에 보내지면서부터 실행된다. 이때, 입력된 스트로크를 순차처리하는 동안, 순차방식과 동일한 형태의 처리를 수행할 수 있다. 또한, 일괄방식에서는 특정 제스처의 인식 및 문자열과 수식의 구분을 실시간으로 수행할 필요가 없기 때문에, 모든 특정 제스처를 인식한 후에, 그 이외의 스트로크에 대한 문자열과 수식을 구분하고, 마지막으로 이러한 문자열과 수식들을 인식하는 방법을 채용할 수도 있다. 도 7은 일괄방식에 있어서 후자의 방법으로 처리하는 한 예를 나타내는 흐름도이다.
먼저, 처리부(100)는 문자입력부(160)로 입력된 스트로크열을 취득한다(과정 S30). 다음으로, 처리부(100)는 변수 i에 1을 리셋한다(과정 S32). 그 후, 등록부(110)는 i번째(i번째 화상)의 스트로크로부터 거슬러 특정 제스처의 최대화수(예컨대, 4화상)까지의 최근 스트로크가 특정 제스처에 해당되는지 아닌지를 판정한다(과정 S34).
특정 제스처에 해당되는 경우(과정 S34의 '예'), 등록부(110)는 특정 제스처에 해당되는 것으로 판정된 스트로크의 정보로부터 특정 제스처의 정보(필순 및 마주보는 두 꼭지점의 좌표)를 특정 제스처 표에 등록한다(과정 S36). 특정 제스처에 해당하지 않는 경우(과정 S34의 '아니오'), i번째 스트로크를 비제스처 스트로크(특정 제스처에 해당하지 않는 스트로크)로 설정한다(과정 S38).
그 후, 처리부(100)는 변수 i의값을 1씩 증가시켜(과정 S40), 변수 i의값이 n(n은 취득된 스트로크열에 포함되는 스트로크의 총수)이하인지 아닌지를 판정한다(과정 S42).
변수 i의 값이 n이하인 경우(과정 S42의 '예'), 과정 S34로 이동하여 변수 i의 값이 n을 초과할 때까지 과정 S34 이후의 처리를 반복한다.
변수 i의 값이 n을 초과하는 경우(과정 S42의 '아니오'), 처리부(100)는 변수 i에 1을 리셋한다(과정 S44). 다음으로, 구분부(112)는 특정 제스처 표를 참조하여 과정 S38에 의해 설정된 i번째 비제스처 스트로크(non-gesture stroke)가 어느 하나의 특정 제스처에 의해 지정되는 범위에 포함되는지 아닌지를 판정한다(과정 S46). i번째 비제스처 스트로크가 어느 하나의 특정 제스처에 의해 지정되는 범위에 포함되는 경우(과정 S46의 '예'), 구분부(112)는 i번째 비제스처 스트로크를 문자열에 대응하는 스트로크로 설정한다(과정 S48). 한편, i번째 비제스처 스트로크가 특정 제스처에 의해 지정되는 범위에 포함되지 않는 경우(과정 S46의 '아니오'), 구분부(112)는 i번째 비제스처 스트로크를 수식에 대응하는 스트로크로 설정한다(과정 S50).
그 후, 처리부(100)는 변수 i의 값을 1씩 증가시켜(과정 S52), 변수 i의 값이 m(m은 취득된 스트로크열에 포함되는 스트로크의 총수)이하인지 아닌지를 판정한다(과정 S54). 변수 i의 값이 m이하인 경우(과정 S54의 '예'), 과정 S46으로 이동하여 변수 i의 값이 m을 초과할 때까지, 과정 S46 이후의 처리를 반복한다.
변수 i의 값이 m을 초과하는 경우(과정 S54의 '아니오'), 인식부(114)는 과정 S48에서 문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 통해 문자열을 인식하고, 특정 제스처 표(심볼로 취급하는 특정 제스처의 좌표정보)와 과정 S50에서 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 통해 수식을 인식한다(과정 S56). 그리고, 표시제어부(120)는 인식결과(문자열을 포함하는 수식)을 표시부(190)에 표시하는 제어를 수행한다.
도 8은 일괄방식에 있어서 구체적인 표시예를 나타내는 도면이다. 일괄방식에서는 사용자가 필기하여 인식장치로 전달된 모든 스트로크가 표시되고(도 8a), 사용자가 인식의 실행을 표시하는 조작을 수행하면, 특정 제스처의 인식, 문자열과 수식의 구분, 문자열과 수열의 인식이 실행되어 인식결과가 표시된다(도 8c). 또한, 특정 제스처의 인식과 문자열 및 수식의 구분을 실행한 후, 문자열 및 수열의 인식을 실행하기 전에, 도 8b에 나타낸 바와 같이, 특정 제스처의 인식결과와 수식 및 문자열의 구분 결과를 표시할 수 있다. 도 8b에 나타낸 예에서는, 특정 제스처 BG1, BG2 및 BG3를 각각 특정 제스처 화상 BI1, BI2 및 BI3으로 치환하고, 특정 제스처 BG1, BG2 및 BG3에 의해 둘러싸인 문자열 「area」, 「height」 및 「width」의 색상을 각각 청색으로 변경하고 있다.
본 실시형태에 의하면, 문자열과 수식을 구분하기 위한 특정 제스처를 도입하여 특정 제스처에 의해 둘러싸인 스트로크를 문자열로 구분하고, 특정 제스처에 의해 둘러싸이지 않은 스트로크를 수식으로 구분하고, 문자열인식엔진과 수식인식엔진을 이용하여 각각을 인식함으로써, 수식에 포함된 문자열과 수식을 명확히 구분하고 각각을 인식할 수 있다. 또한, 수식을 인식하는 동안, 특정 제스처와 해당 특정 제스처에 의해 둘러싸인 스트로크를 하나의 심볼로 취급함으로써, 수식인식엔진을 이용하여 문자열을 포함하는 수식의 구조해석을 수행할 수 있다.
또한, 본 실시형태에 의하면, 순차방식에 있어서, 특정 제스처가 필기된 때에 해당 특정 제스처에 의해 둘러싸인 스트로크를 문자열로 구분하는 처리를 수행(도 5의 과정 S16)하고, 필기된 스트로크가 특정 제스처에 의해 둘러싸인 경우, 해당 스트로크를 문자열로 구분하는 처리를 수행(도 5의 과정 S20)함으로써, 특정 제스처가 어떤 타이밍에 필기되더라도 문자열과 수식을 구분하는 것이 가능하여 사용자의 편의성을 향상시킬 수 있다. 즉, 본 실시형태에 의하면, 특정 제스처를 필기하면서부터 문자열을 필기하는 경우(도 3a), 문자열을 필기하면서부터 특정 제스처를 필기하는 경우(도 3b 및 도 3c) 및 특정 제스처의 중간에 문자열을 덧쓰는 경우(도 3d)라도 문자열과 수식을 구분하는 처리를 수행할 수 있다.
또한, 본 발명은 전술한 실시의 형태에 한정되지 않으며, 여러 변경이 가능하다. 본 발명은 실시의 형태로 설명한 구성과 실질적으로 동일한 구성(예컨대, 기능, 방법 및 효과가 동일한 구성, 또는 목적 및 효과가 동일한 구성)을 포함한다. 또한, 본 발명은, 실시의 형태로 설명한 구성의 본질적이지 않은 부분을 대체한 구성을 포함한다. 또한, 본 발명은 실시의 형태로 설명한 구성과 동일한 작용효과를 이루는 구성 또는 동일한 목적을 달성할 수 있는 구성을 포함한다. 또한, 본 발명은, 실시의 형태로 설명한 구성에 공지기술을 부가한 구성을 포함한다.
100: 처리부 110: 등록부
112: 구분부 114: 인식부
120: 표시제어부 160: 문자입력부
170: 기억부 189: 표시부

Claims (8)

  1. 필기입력된 스트로크열로부터 문자열을 포함하는 수식을 인식하기 위한 프로그램에 있어서,
    입력된 스트로크 또는 스트로크열이 문자열과 수식을 구분하기 위한 특정 제스처에 해당되는지 아닌지를 판정하고, 상기 특정 제스처에 해당되는 것으로 판정한 경우, 상기 특정 제스처에 의해 지정되는 범위에 관한 정보를 등록하는 등록부;
    입력된 스트로크 가운데, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열 및 수식 중 하나에 대응하는 스트로크로 설정하고, 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 문자열 및 수식 중 다른 하나에 대응하는 스트로크로 설정하는 구분부; 및
    문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 통해 문자열을 인식하고, 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 통해 수식을 인식하는 인식부
    를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 정보기억매체에 저장된 프로그램.
  2. 제 1 항에 있어서,
    상기 구분부는,
    입력된 스트로크 또는 스트로크열이 상기 특정 제스처에 해당되는 것으로 판정된 경우, 해당 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열 및 수식 중 하나에 대응하는 스트로크로 설정하고, 입력된 스트로크가 상기 특정 제스처에 해당하지 않는 것으로 판정된 경우, 해당 입력된 스트로크가 상기 특정 제스처에 의해 지정되는 범위에 포함되는지 아닌지를 판정하고, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 경우, 해당 입력된 스트로크를 문자열 및 수식 중 하나에 대응하는 스트로크로 설정하는 것을 특징으로 하는 컴퓨터 판독 가능한 정보기억매체에 저장된 프로그램.
  3. 제 1 항에 있어서,
    상기 구분부는,
    입력된 스트로크 가운데, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열에 대응하는 스트로크로 설정하고, 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 수식에 대응하는 스트로크로 설정하며,
    상기 인식부는,
    상기 특정 제스처에 의해 지정되는 범위에 포함되는 하나의 스트로크를 하나의 심볼로 취급하여 수식인식엔진을 통해 수식을 인식하는 것을 특징으로 하는 컴퓨터 판독 가능한 정보기억매체에 저장된 프로그램.
  4. 제 1 항에 있어서,
    입력된 스트로크열을 표시부에 표시하도록 하는 제어를 수행하는 표시제어부로서 추가로 컴퓨터를 기능시켜,
    상기 표시제어부는,
    상기 특정 제스처에 해당되는 것으로 판정된 스트로크 또는 스트로크열을 상기 특정 제스처에 대응하는 형상을 나타내는 화상으로 표시하도록 제어를 수행하는 것을 특징으로 하는 컴퓨터 판독 가능한 정보기억매체에 저장된 프로그램.
  5. 제 4 항에 있어서,
    상기 표시제어부는,
    상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크와는 다른 색상으로 표시되도록 제어를 수행하는 것을 특징으로 하는 컴퓨터 판독 가능한 정보기억매체에 저장된 프로그램.
  6. 제 1 항에 있어서,
    상기 등록부는,
    입력된 스트로크 또는 스트로크열이 직사각형을 형성하는 경우, 해당 스트로크 또는 스트로크열이 상기 특정 제스처에 해당하는 것으로 판정하는 것을 특징으로 하는 컴퓨터 판독 가능한 정보기억매체에 저장된 프로그램.
  7. 컴퓨터 판독 가능한 정보기억매체에 있어서, 제 1 항 내지 제 6 항 중 어느 한 항의 프로그램을 기억한 것을 특징으로 하는 정보기억매체.
  8. 필기입력된 스트로크열로부터 문자열을 포함하는 수식을 인식하는 인식장치에 있어서,
    입력된 스트로크 또는 스트로크열이 문자열과 수식을 구분하기 위한 특정 제스처에 해당되는 것인지 아닌지를 판정하고, 상기 특정 제스처에 해당하는 것으로 판정한 경우, 상기 특정 제스처에 의해 지정되는 범위에 관한 정보를 등록하는 등록부;
    입력된 스트로크 가운데, 상기 특정 제스처에 의해 지정되는 범위에 포함되는 스트로크를 문자열 및 수식 중 어느 하나에 대응하는 스트로크로 설정하고, 상기 특정 제스처에 의해 지정되는 범위에 포함되지 않는 스트로크를 문자열 및 수식 중 다른 하나에 대응하는 스트로크로 설정하는 구분부; 및
    문자열에 대응하는 스트로크로 설정된 스트로크로부터 문자열인식엔진을 이용하여 문자열을 인식하고, 수식에 대응하는 스트로크로 설정된 스트로크로부터 수식인식엔진을 이용하여 수식을 인식하는 인식부
    를 포함하는 것을 특징으로 하는 인식장치.
KR1020177018253A 2015-01-21 2016-01-19 프로그램, 정보기억매체 및 인식장치 KR101909485B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015009207 2015-01-21
JPJP-P-2015-009207 2015-01-21
PCT/JP2016/051457 WO2016117564A1 (ja) 2015-01-21 2016-01-19 プログラム、情報記憶媒体及び認識装置

Publications (2)

Publication Number Publication Date
KR20170100541A KR20170100541A (ko) 2017-09-04
KR101909485B1 true KR101909485B1 (ko) 2018-10-18

Family

ID=56417105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018253A KR101909485B1 (ko) 2015-01-21 2016-01-19 프로그램, 정보기억매체 및 인식장치

Country Status (4)

Country Link
JP (1) JP6694638B2 (ko)
KR (1) KR101909485B1 (ko)
CN (1) CN107209862B (ko)
WO (1) WO2016117564A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7104965B2 (ja) * 2018-04-23 2022-07-22 国立大学法人東京農工大学 プログラム及びクラスタリング装置
CN111079622A (zh) * 2019-12-10 2020-04-28 黄淮学院 一种在统一识别框架下小型化手写体文本识别器的方法
CN111539383B (zh) * 2020-05-22 2023-05-05 浙江蓝鸽科技有限公司 公式知识点识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080615A (ja) 2007-09-26 2009-04-16 Univ Of Tokyo オンライン手書き数式認識方法及び装置
JP2014127188A (ja) 2012-12-27 2014-07-07 Toshiba Corp 整形装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3150468B2 (ja) * 1993-01-07 2001-03-26 株式会社東芝 オンライン文字認識装置
JPH09319828A (ja) * 1996-05-30 1997-12-12 Nec Corp オンライン文字認識装置
JPH11203412A (ja) * 1998-01-16 1999-07-30 Toshiba Corp 文書画像処理装置、文書画像処理方法及び文書画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3827453B2 (ja) * 1998-09-07 2006-09-27 積水樹脂株式会社 吸音構造体
US20060001667A1 (en) * 2004-07-02 2006-01-05 Brown University Mathematical sketching
JP5098504B2 (ja) * 2007-08-09 2012-12-12 富士通株式会社 文字認識プログラム、文字認識装置および文字認識方法
CN101388068B (zh) * 2007-09-12 2011-06-22 汉王科技股份有限公司 数学公式识别编码方法
CN101685497B (zh) * 2008-09-28 2011-10-12 汉王科技股份有限公司 手写信息处理方法和装置
JP2011053986A (ja) * 2009-09-02 2011-03-17 Sharp Corp 計算装置、計算プログラムおよびこれが記録された記録媒体
CN103679164A (zh) * 2012-09-21 2014-03-26 阿里巴巴集团控股有限公司 一种基于移动终端的标志识别处理方法和系统
CN107103319A (zh) * 2013-05-22 2017-08-29 华为终端有限公司 一种文字识别方法及用户终端
CN104063063B (zh) * 2014-06-05 2018-10-09 北京搜狗科技发展有限公司 输入法的数学计算输入方法和输入法系统
CN104268118A (zh) * 2014-09-23 2015-01-07 赵方 一种包括触摸屏的数学式计算器及数学公式识别的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080615A (ja) 2007-09-26 2009-04-16 Univ Of Tokyo オンライン手書き数式認識方法及び装置
JP2014127188A (ja) 2012-12-27 2014-07-07 Toshiba Corp 整形装置及び方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
中川 正樹 외 1명, "表示一體型タブレット上のペンの圍みに對する 對 象の包含を判定する高速アルゴリズムの實現と評價", 電子情報通信學會論文誌, vol.J77-D-Ⅱ, no. 8, pp. 1630-1639, 1994.08.25.
偉 叢 외 3명, "ストロ一クの相互關係を用いたオンライン手書き數式認識", 電子情報通信學會技術硏究報告, vol. 98, no. 489, pp. 9-16, 1998.12.17.
持田 桂介 외 4명, "文字列と數式が混在したオンライン手書きパタ一ンの認識手法", 電子情報通信學會技術硏究報告, vol. 104, no. 741, pp. 43-48,2005.03.10.
村瀨 敦史 외 3명, "手書き入力による數式認識システム", 情報處理學會硏究報告, vol. 91, no. 34, pp.1-8, 991.05.09.

Also Published As

Publication number Publication date
KR20170100541A (ko) 2017-09-04
WO2016117564A1 (ja) 2016-07-28
CN107209862B (zh) 2021-03-09
CN107209862A (zh) 2017-09-26
JP6694638B2 (ja) 2020-05-20
JPWO2016117564A1 (ja) 2017-10-26

Similar Documents

Publication Publication Date Title
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
US8542928B2 (en) Information processing apparatus and control method therefor
US9086797B2 (en) Handwriting input device, and handwriting input method
US10964057B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP5604279B2 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US7995866B2 (en) Rotation angle detection apparatus, and control method and control program of rotation angle detection apparatus
US8149281B2 (en) Electronic device and method for operating a presentation application file
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN114365075B (zh) 用于选择图形对象的方法和对应装置
US8902161B2 (en) Device and method for detecting finger position
KR101909485B1 (ko) 프로그램, 정보기억매체 및 인식장치
US10296802B2 (en) Image processing device, image processing method, and computer program product
EP3125087A1 (en) Terminal device, display control method, and program
US9727145B2 (en) Detecting device and detecting method
US9250802B2 (en) Shaping device
JP2018067298A (ja) 手書き内容編集装置および手書き内容編集方法
JP6156740B2 (ja) 情報表示装置及び入力情報補正プログラム並びに入力情報補正方法
KR20150024107A (ko) 입력된 객체의 정렬 방법 및 그 전자 장치
CN113989831A (zh) 近视防控方法、装置、终端设备及存储介质
JP5674535B2 (ja) 画像処理装置、方法、及びプログラム
US20150142784A1 (en) Retrieval device and method and computer program product
KR100983779B1 (ko) 도서 정보 서비스 장치 및 방법
WO2020090356A1 (ja) インクデータ生成装置、方法及びプログラム
JP2023032702A (ja) 学習支援装置、学習支援方法および学習支援プログラム
JP2009064219A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right