KR102392537B1 - 핸드라이팅 다이어그램 입력을 안내하는 시스템 및 방법 - Google Patents

핸드라이팅 다이어그램 입력을 안내하는 시스템 및 방법 Download PDF

Info

Publication number
KR102392537B1
KR102392537B1 KR1020187014271A KR20187014271A KR102392537B1 KR 102392537 B1 KR102392537 B1 KR 102392537B1 KR 1020187014271 A KR1020187014271 A KR 1020187014271A KR 20187014271 A KR20187014271 A KR 20187014271A KR 102392537 B1 KR102392537 B1 KR 102392537B1
Authority
KR
South Korea
Prior art keywords
text
hand
diagram element
prompter
shape
Prior art date
Application number
KR1020187014271A
Other languages
English (en)
Other versions
KR20180096590A (ko
Inventor
로뱅 멜리낭
로맹 베드나로비츠
끌레르 시돌리
파비앙 릭
니꼴라 뤼생
에르완 제스땡
앙또니 로랑스
안느 보노
카울라 엘라구니
시릴 세로빅
Original Assignee
마이스크립트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이스크립트 filed Critical 마이스크립트
Publication of KR20180096590A publication Critical patent/KR20180096590A/ko
Application granted granted Critical
Publication of KR102392537B1 publication Critical patent/KR102392537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G06V30/387—Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컴퓨팅 디바이스상에서 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉 (hand-drawing) 을 안내하기 위한 시스템이 개시되며, 컴퓨팅 디바이스는 프로세서 및 프로세서의 제어하에서 핸드드로잉 다이어그램 엘리먼트 입력을 검출 및 인식하기 위한 적어도 하나의 비일시적인 컴퓨터 판독가능 매체를 포함하고, 적어도 하나의 비일시적인 컴퓨터 판독가능 매체는, 컴퓨팅 디바이스의 상호작용적 디스플레이상에서, 디스플레이된 핸드라이팅 (handwriting) 다이어그램 입력의 적어도 하나의 다이어그램 엘리먼트와 연관된 가이드 엘리먼트의 디스플레이를 야기하도록 구성되며, 가이드 엘리먼트는 인식된 형태로 적어도 하나의 다이어그램 엘리먼트의 묘사를 갖도록 구성된다.

Description

핸드라이팅 다이어그램 입력을 안내하는 시스템 및 방법
본 출원은 2015 년 10 월 19 일자로 출원된 유럽 출원 제 15290270.6 호 및 유럽 출원 제 15290270.6 호에 대한 우선권을 주장하는 2015 년 12 월 1 일자로 출원된 미국 출원 제 14/955,198 호에 대한 우선권을 주장하고, 그 전체 내용은 참조로 본원에 편입된다.
본 개시는 일반적으로 여러 그래픽 및 텍스트의 사용자 입력 핸드라이팅 (handwriting) 를 인식할 수 있는 컴퓨팅 디바이스 인터페이스들의 분야에 관한 것이다. 특히, 본 개시는 디지털 다이어그램 문서들 및 그들과의 상호작용을 생성하기 위해 다이어그램 엘리먼트들의 핸드드로잉 (hand-drawn) 입력을 안내하는 시스템들 및 방법들을 제공한다.
컴퓨팅 디바이스들은 일상 생활에서 계속 더욱 편재하게 된다. 그것들은 컴퓨터 데스크톱들, 랩톱 컴퓨터들, 태블릿 컴퓨터들, 이-북 리더들, 이동전화들, 스마트폰들, 웨어러블 컴퓨터들, 글로벌 포지셔닝 시스템 (GPS) 유닛들, 엔터프라이즈 디지털 보조기들 (EDAs), 개인용 휴대정보단말들 (PDAs), 게임 콘솔들 등의 형태를 취한다. 또, 컴퓨팅 디바이스들은 자동차들, 트럭들, 농업 장비들, 제조 장비들, 빌딩 환경 제어 (예를 들어, 조명, HVAC), 및 홈 및 상업적 어플라이언스들과 같은 차량들 및 장비들에 통합되고 있다.
컴퓨팅 디바이스들은 일반적으로 중앙 처리 유닛 (CPU) 과 같은 적어도 하나의 프로세싱 엘리먼트, 일부 형태의 메모리, 및 입력 및 출력 디바이스들로 이루어진다. 컴퓨팅 디바이스들 및 그들의 후속적인 사용들의 다양성은 다양한 인터페이스들 및 입력 디바이스들을 필요로한다. 하나의 그러한 입력 디바이스는 사용자의 손가락 또는 펜 또는 스타일러스와 같은 도구와 터치 감지 표면 사이의 접촉을 통해 사용자 입력이 수신되는 터치 스크린 또는 터치 패드와 같은 터치 감지 표면이다. 다른 입력 디바이스는 입력 표면 위에서 사용자에 의해 행해진 제스쳐들을 감지하는 입력 표면이다. 추가의 입력 디바이스는 비터치 (non-touch) 표면과의 터치 또는 비터치 상호작용들의 상대적인 위치를 검출하는 위치 검출 시스템이다. 입력의 이들 방법들 중 임의의 것이 일반적으로 그 입력이 핸드라이팅 인식 시스템 또는 방법을 사용하여 해석되는 그림들 및 텍스트의 핸드라이팅 또는 핸드드로잉 입력을 위해 사용될 수 있다.
컴퓨팅 디바이스들에서의 핸드라이팅 인식의 하나의 애플리케이션은 조판 버전들로 변환되도록 컴퓨팅 디바이스상에 손으로 그려지는 다이어그램들의 생성에 있다. 다이어그램들은 (부분들로서) 배열 및 관계들을 설명하거나 보여주는 그림들이다. 다이어그램들은 일반적으로 임의의 또는 특정의 의미들을 갖는 형상들 및 이들 형상들에 대한 관계들을 갖는 텍스트를 포함한다. 플로우챠트들, 조직화 챠트들, 개념 맵들, 스파이더 맵들, 블록/아키텍쳐 다이어그램들, 마인드맵들, 블록도들, 벤다이어그램들 및 피라미드들과 같은 다수의 타입의 다이어그램들이 존재한다. 다이어그램들은 일반적으로 상이한 타입의, 다이어그램 블록들 또는 컨테이너들 (containers) 을 정의하는 형상들 (예를 들어, 타원들, 직사각형들, 다이아몬드들, 컨테이너들 내의 컨테이너들의 네스팅된 관계들), 및 다이어그램 블록들 사이를 연결하거나 그들 사이의 관계들을 지정하는 상이한 타입의 컨넥터들 (예를 들어, 직선들, 곡선들, 직선 화살표들, 곡선 화살표들, 분기된 라인들), 및 컨테이너들에 포함되거나, 컨넥터들과 연관되거나, 연관된 형상 또는 컨테이너를 갖지 않는 텍스트 블록들에서 정의된 텍스트를 포함한다. 형상들의 기본 컴포넌트들 (컨테이너들을 갖거나 갖지 않는 연결들) 및 다이어그램들 내의 텍스트를 결합하는 이들 무수한 가능한 변형들은 컴퓨팅 디바이스에 대한 핸드드로잉 또는 핸드라이팅 컨텐츠로서의 이들 엘리먼트들 입력의 정확한 인식에 대한 문제들을 야기할 수 있다.
다이어그램들은 특히 컴퓨팅 디바이스의 사용자가 예를 들어 논의되고 있는 개념들, 문제들 또는 해결책들을 캡쳐하기 위해 강의 또는 회의 동안 다이어그램을 생성하는 교육 및 비즈니스 설정들에서 사용된다. 이것은 보통 터치 감지 표면 또는 상대 위치 검출 시스템에 의해 모니터링되는 표면상에서 핸드드로잉 입력을, 디바이스에서 로컬로 또는 디바이스의 통신 링크를 통해 원격으로, 수락하고 해석하는 컴퓨팅 디바이스상의 핸드라이팅 다이어그램 또는 스케치 애플리케이션을 론칭하는 사용자에 의해 행해진다.
종래에 그러한 핸드라이팅 다이어그래밍 애플리케이션들은 다이어그래밍의 상술된 복잡성을 핸들링하는 그들의 능력들에서 제한되고 통상적으로 사용자들이 사용자의 원래의 의도를 반영하지 않는 거동들을 채택하거나 타협들을 수락하도록 강요한다. 결과적으로, 일부 종래의 핸드라이팅 다이어그래밍 애플리케이션들은 사용자들이 형상들을 선택하고 그리며 형상들과 관련한 텍스트를 삽입하기 위해 메뉴들을 네이게이팅하도록 강제한다. 이와 같이, 사용자들은 형상들 및 컨넥터들을 자연스럽게 또는 자유롭게 그릴 수 없다. 일부 다른 종래의 핸드라이팅 다이어그래밍 애플리케이션들은 사용자들이 상이한 스트로크들을 그리는 순서에 의존하여 예상되는 거동이 뒤따름에 따라 인식을 위한 해석을 안내한다. 예를 들어, 사용자는 2 개의 블록들/박스들을, 이들 박스들 사이에 컨텍터를 정의할 수 있기 전에 먼저 그릴 필요가 있을 수도 있거나, 박스에 텍스트를 부가하기 전에 박스를 그려야만 할 수도 있다. 그러나, 이것은 애플리케이션이 자주 사용되지 않는 경우 사용자들이 다시 학습될 필요가 있을 수도 있는 요구되는 드로잉/기입 순서들을 학습하고 구현할 필요가 있기 때문에 사용자들에게 어렵고, 다이어그램들을 빠르게 캡쳐할 능력이 지원되지 않을 정도로 비직관적이다. 예를 들어, 사용자는 태블릿과 같은 휴대용 컴퓨팅 디바이스로 계속하여 프리젠테이션들을 준비하기를 원할 수도 있거나, 사용자는 그들의 교사가 터치스크린을 갖는 랩톱과 같은 컴퓨팅 디바이스상에 수업중에 그린 플로우 챠트를 받아 적기를 원할 수도 있고, 이와 같이 사용자들은 전용의, 성가신 소프트웨어의 전문가일 필요없이 혼합된 컨텐츠를 갖는 명확한 다이어그램들을 그릴 수 있을 필요가 있다.
핸드라이팅 다이어그래밍 애플리케이션을 더 스마트하게 만드는 것은 사용자들을 지원하는 것을 돕는다. 즉, 그 애플리케이션은 블록들과 컨넥터들 사이와 같은 상이한 형상들 사이, 및 형상들과 텍스트 사이를 구별할 수 있어서 다이어그램들을 생성할 때 사용자들에게 더 많은 자유를 제공할 수도 있다. 핸드드로잉 형상들 및 핸드라이팅 텍스트가 사용자들에게 제공되는 합리적인 창조적인 자유로 잘 인식되는 종래의 애플리케이션들에서조차, 통상적으로, 그려진 다이어그램들을 변경하는, 예를 들어, 엘리먼트들을 추가, 생략, 또는 대체하기 위해 다이어그램의 엘리먼트들을 편집하는 능력은 단지 소정의 동작들만이 이용가능하고 핸드라이팅 입력, 소위 디지털 잉크상이 아니라 다이어그램의 조판 버전상에서만 이용가능한 경우에 제한되고, 및/또는 상술된 바와 같이, 학습될 제스쳐들 또는 메뉴들을 통해 행해질 선택을 요구한다.
사용자들은 통상적으로 다이어그래밍 애플리케이션들을 사용할 때 형상들 및 텍스트의 인식인, 기입 동안, 실시간 피드백을 원한다. 일부 종래의 애플리케이션들은 사용자들에게 그러한 피드백 메커니즘들을 제공하지만 이들은 일반적으로 그들의 효과성에서 제한되거나 설계에 있어서 성가시다. 예를 들어, 이용가능한 다이어그래밍 애플리케이션들은 핸드라이팅 입력을 자동적으로 (예를 들어, 온-더-플라이) 타입세팅함으로써 피드백을 제공한다. 그러나, 그러한 시스템들은 일반적으로 사용자들이 드로잉을 계속하기 전에 타입세팅이 수행되는 것을 대기해야만 하기 때문에 사용자들을 입력의 흐름으로부터 방해한다. 다른 이용가능한 핸드라이팅 노트하기 애플리케이션들은 입력 동안 인식 후보들 등을 리스팅함으로써 피드백을 제공한다. 이것은 또한 사용자들을 매우 방해한다.
이하에 여기서 기술되는 본 개시의 예들은 컴퓨팅 디바이스에 대한 핸드라이팅 입력으로의 다이어그램 생성에서의 사용을 위한 시스템들, 방법들 및 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품은 방법을 구현하기 위해 실행되도록 구성된 그 안에 수록된 컴퓨터 판독가능 프로그램 코드를 갖는 비일시적 컴퓨터 판독가능 매체를 갖는다.
컴퓨팅 디바이스는 입력 표면의 형태의 입력 디바이스에 연결된다. 사용자는 그의 또는 그녀의 손가락 또는 스타일러스 또는 펜과 같은 도구를 사용하여 입력 표면에 압력을 인가하거나 입력 표면 위에서 제스쳐를 취함으로써 입력을 제공할 수 있다. 본 시스템 및 방법은 입력 스트로크들을 모니터링한다.
컴퓨팅 디바이스는 프로세서 및 그 프로세서의 제어하에서 핸드라이팅 입력을 검출 및 인식하기 위한 적어도 하나의 애플리케이션을 갖는다. 적어도 하나의 시스템 애플리케이션은, 컴퓨팅 디바이스의 상호작용적 디스플레이상에서, 디스플레이된 핸드라이팅 다이어그램 입력의 적어도 하나의 다이어그램 엘리먼트와 연관된 가이드 엘리먼트의 디스플레이를 야기하도록 구성되며, 가이드 엘리먼트는 인식된 형태로 적어도 하나의 다이어그램 엘리먼트의 묘사를 갖도록 구성된다.
개시된 시스템 및 방법의 다른 양태는 핸드라이팅이 입력됨에 따라 적어도 하나의 다이어그램 엘리먼트 묘사를 동적으로 디스플레이하는 동적 프롬프터를 포함함으로써 가이드 엘리먼트를 안내한다. 동적 프롬프터는 적어도 하나의 상호작용적 프롬프터 엘리먼트를 포함하고, 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 그 적어도 하나의 상호 작용적 프롬프터 엘리먼트와의 상호작용을 수신하는 것에 응답하여 액션 메뉴를 디스플레이하도록 구성된다.
개시된 시스템 및 방법의 다른 양태는 비텍스트 엘리먼트의 묘사의 디스플레이를 아이콘 형태로 제공한다. 비텍스트 엘리먼트는 다이어그램의 형상 엘리먼트일 수도 있으며, 아이콘은 그 형상을 묘사한다.
개시된 시스템 및 방법의 다른 양태는 조판 잉크로 텍스트 엘리먼트의 묘사의 디스플레이를 제공한다.
일부 구현들에서, 본 개시는 컴퓨팅 디바이스상에서 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템을 제공한다. 컴퓨팅 디바이스는 프로세서 및 그 프로세서의 제어하에서 핸드드로잉 다이어그램 엘리먼트 입력을 검출 및 인식하기 위한 적어도 하나의 비일시적 컴퓨터 판독가능 매체를 포함한다. 적어도 하나의 비일시적 컴퓨터 판독가능 매체는, 컴퓨팅 디바이스의 상호작용적 디스플레이상에서, 디스플레이된 핸드라이팅 다이어그램 입력의 적어도 하나의 다이어그램 엘리먼트와 연관된 가이드 엘리먼트의 디스플레이를 야기하도록 구성된다. 가이드 엘리먼트는 인식된 형태로 적어도 하나의 다이어그램 엘리먼트의 묘사를 갖도록 구성된다.
가이드 엘리먼트는 핸드라이팅이 입력됨에 따라 적어도 하나의 다이어그램 엘리먼트 묘사를 동적으로 디스플레이하는 동적 프롬프터를 포함할 수도 있다.
동적 프롬프터는 적어도 하나의 상호작용적 프롬프터 엘리먼트를 포함할 수도 있고, 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 그 적어도 하나의 상호 작용적 프롬프터 엘리먼트와의 상호작용을 수신하는 것에 응답하여 액션 메뉴를 디스플레이하도록 구성될 수도 있다.
적어도 하나의 비일시적 컴퓨터 판독가능 매체는 비텍스트 엘리먼트의 묘사를 아이콘 형태로 디스플레이하도록 구성될 수도 있다.
비텍스트 엘리먼트는 다이어그램의 형상 엘리먼트일 수도 있으며, 아이콘은 그 형상을 묘사한다.
적어도 하나의 비일시적 컴퓨터 판독가능 매체는 조판 잉크로 텍스트 엘리먼트의 묘사의 디스플레이하도록 구성될 수도 있다.
일부 구현들에서, 본 개시는 컴퓨팅 디바이스상에서 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법을 제공한다. 컴퓨팅 디바이스는 프로세서 및 그 프로세서의 제어하에서 핸드드로잉 다이어그램 엘리먼트 입력을 검출 및 인식하기 위한 적어도 하나의 비일시적 컴퓨터 판독가능 매체를 포함한다. 방법은 컴퓨팅 디바이스의 상호작용적 디스플레이상에서, 디스플레이된 핸드라이팅 다이어그램 입력의 적어도 하나의 다이어그램 엘리먼트와 연관된 가이드 엘리먼트를 디스플레이하는 단계를 포함하고, 가이드 엘리먼트는 인식된 형태로 다이어그램 엘리먼트의 묘사를 갖도록 구성된다.
가이드 엘리먼트는 핸드라이팅이 입력됨에 따라 적어도 하나의 다이어그램 엘리먼트 묘사를 동적으로 디스플레이하는 동적 프롬프터를 포함할 수도 있다.
동적 프롬프터는 적어도 하나의 상호작용적 프롬프터 엘리먼트를 포함할 수도 있고, 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 그 적어도 하나의 상호 작용적 프롬프터 엘리먼트와의 상호작용을 수신하는 것에 응답하여 액션 메뉴를 디스플레이하도록 구성될 수도 있다.
방법은 비텍스트 엘리먼트의 묘사를 아이콘 형태로 디스플레이하는 단계를 포함할 수도 있다.
비텍스트 엘리먼트는 다이어그램의 형상 엘리먼트일 수도 있으며, 아이콘은 그 형상을 묘사한다.
방법은 조판 잉크로 텍스트 엘리먼트의 묘사를 디스플레이하는 단계를 포함할 수도 있다.
일부 구현들에서, 본 개시는 그 안에 수록된 컴퓨터 판독가능 프로그램 코드를 갖는 비일시적 컴퓨터 판독가능 매체를 제공한다. 상기 컴퓨터 판독가능 프로그램 코드는 컴퓨팅 디바이스상에서 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법을 구현하기 위해 실행되도록 구성된다. 컴퓨팅 디바이스는 프로세서 및 그 프로세서의 제어하에서 핸드드로잉 다이어그램 엘리먼트 입력을 검출 및 인식하기 위한 적어도 하나의 비일시적 컴퓨터 판독가능 매체를 포함한다. 방법은, 컴퓨팅 디바이스의 상호작용적 디스플레이상에서, 디스플레이된 핸드라이팅 다이어그램 입력의 적어도 하나의 다이어그램 엘리먼트와 연관된 가이드 엘리먼트를 디스플레이하는 단계를 포함하고, 가이드 엘리먼트는 인식된 형태로 다이어그램 엘리먼트의 묘사를 갖도록 구성된다.
가이드 엘리먼트는 핸드라이팅이 입력됨에 따라 적어도 하나의 다이어그램 엘리먼트 묘사를 동적으로 디스플레이하는 동적 프롬프터를 포함할 수도 있다.
동적 프롬프터는 적어도 하나의 상호작용적 프롬프터 엘리먼트를 포함할 수도 있고, 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 그 적어도 하나의 상호 작용적 프롬프터 엘리먼트와의 상호작용을 수신하는 것에 응답하여 액션 메뉴를 디스플레이하도록 구성된다.
방법은 비텍스트 엘리먼트의 묘사를 아이콘 형태로 디스플레이하는 단계를 포함할 수도 있다.
비텍스트 엘리먼트는 다이어그램의 형상 엘리먼트일 수도 있으며, 아이콘은 그 형상을 묘사한다.
방법은 조판 잉크로 텍스트 엘리먼트의 묘사를 디스플레이하는 단계를 포함할 수도 있다.
본 시스템 및 방법은 도면들과 함께 취해진, 이들의 예들의 다음의 상세한 설명으로부터 더 완전하게 이해될 것이다. 도면들에서, 동일한 참조 번호들은 동일한 엘리먼트들을 묘사한다.
도 1 은 본 시스템 및 방법의 예에 따른 컴퓨팅 디바이스의 블록도를 도시한다.
도 2 는 본 시스템 및 방법의 예에 따른 핸드라이팅 인식을 위한 시스템의 블록도를 도시한다.
도 3 은 본 시스템 및 방법의 예에 따른 도 2 의 핸드라이팅 인식 시스템의 상세를 도시하는 블록도를 도시한다.
도 4 는 가이드 엘리먼트를 묘사하는 예시의 핸드드로잉 다이어그램을 도시한다.
도 5 는 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 예시의 다이어그램의 제 1 핸드드로잉 텍스트 엘리먼트의 입력을 도시한다.
도 6 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 예시의 다이어그램의 핸드드로잉 형상 엘리먼트의 후속적인 입력을 도시한다.
도 7 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 텍스트 엘리먼트의 선택을 묘사하는 도 6 의 다이어그램 상태를 도시한다.
도 8 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 도 7 의 텍스트 엘리먼트와 연관된 예시의 다이어그램의 핸드드로잉 형상 엘리먼트의 후속적인 입력을 도시한다.
도 9 는 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 예시의 다이어그램의 핸드드로잉 형상 엘리먼트의 후속적인 입력을 도시한다.
도 10 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 예시의 다이어그램의 핸드드로잉 엘리먼트의 (도 9 의 입력에 대한) 대안적인 후속적인 입력을 도시한다.
도 11 은 엘리먼트에 대한 가이드 엘리먼트의 컴포넌트의 선택으로부터 메뉴 디스플레이를 묘사하는 도 10 의 다이어그램 상태를 도시한다.
도 12 는 엘리먼트에 대한 가이드 엘리먼트의 다른 컴포넌트의 선택으로부터 다른 메뉴 디스플레이를 묘사하는 도 10 의 다이어그램 상태를 도시한다.
도 13 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 도 8 및 도 9 의 결합된 형상 엘리먼트 입력의 선택을 묘사하는 도 9 의 다이어그램 상태를 도시한다.
도 14 는 결합된 형상 엘리먼트들을 위한 가이드 엘리먼트의 컴포넌트의 선택으로부터 메뉴 디스플레이를 묘사하는 도 13 의 다이어그램 상태를 도시한다.
도 15 는 결합된 형상 엘리먼트들을 위한 가이드 엘리먼트의 다른 컴포넌트의 선택으로부터 다른 메뉴 디스플레이를 묘사하는 도 13 의 다이어그램 상태를 도시한다.
도 16 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 예시의 다이어그램의 추가의 핸드드로잉 텍스트 엘리먼트의 입력을 도시한다.
도 17 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 예시의 다이어그램의 추가의 핸드드로잉 형상 및 텍스트 엘리먼트들의 (도 16 의 입력에 대한) 대안적인 입력을 도시한다.
도 18 은 형상 엘리먼트에 대한 가이드 엘리먼트의 컴포넌트의 선택으로부터 메뉴 디스플레이를 묘사하는 도 17 의 다이어그램 상태를 도시한다.
도 19 는 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 예시의 다이어그램의 핸드드로잉 형상 엘리먼트의 후속적인 입력을 도시한다.
도 20 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 도 16 및 도 19 의 형상 및 텍스트 엘리먼트 입력들의 선택을 묘사하는 도 19 의 다이어그램 상태를 도시한다.
도 21a 는 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 도 16 의 텍스트 엘리먼트 입력의 선택을 묘사하는 도 16 의 다이어그램 상태를 도시한다.
도 21b 는 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 형상 엘리먼트의 선택을 묘사하는 예시의 다이어그램의 핸드드로잉 형상 엘리먼트의 (도 16 및 도 19 의 입력들에 대한) 대안적인 입력을 도시한다.
도 22 는 조판 잉크로 디스플레이된 예시의 다이어그램을 도시한다.
도 23 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 도 16 및 도 19 의 형상 및 텍스트 엘리먼트 입력들의 선택을 묘사하는 도 22 의 다이어그램 상태를 도시한다.
도 24 는 선택된 엘리먼트들을 위한 가이드 엘리먼트의 컴포넌트의 선택으로부터 메뉴 디스플레이를 묘사하는 도 23 의 다이어그램 상태를 도시한다.
도 25 는 선택된 엘리먼트들을 위한 가이드 엘리먼트의 다른 컴포넌트의 선택으로부터 다른 메뉴 디스플레이를 묘사하는 도 23 의 다이어그램 상태를 도시한다.
도 26 은 선택된 엘리먼트들을 위한 가이드 엘리먼트의 다른 컴포넌트의 선택으로부터 다른 메뉴 디스플레이를 묘사하는 도 23 의 다이어그램 상태를 도시한다.
도 27 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 형상 및 텍스트 엘리먼트들의 다중-선택을 묘사하는 도 22 의 다이어그램 상태를 도시한다.
도 28 은 다중-선택된 엘리먼트들을 위한 가이드 엘리먼트의 컴포넌트의 선택으로부터 메뉴 디스플레이를 묘사하는 도 27 의 다이어그램 상태를 도시한다.
도 29 는 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 도 22 의 예시의 다이어그램에 대한 핸드드로잉 자유형 (free-form) 형상 엘리먼트의 추가의 입력을 도시한다.
도 30 은 가이드 엘리먼트의 연관된 컴포넌트들을 갖는 자유형 형상의 선택을 묘사하는 도 29 의 다이어그램 상태를 도시한다.
도 31 은 선택된 자유형 엘리먼트를 위한 가이드 엘리먼트의 컴포넌트의 선택으로부터 메뉴 디스플레이를 묘사하는 도 30 의 다이어그램 상태를 도시한다.
다음의 상세한 설명에서, 다수의 특정의 상세들은 관련된 교시들의 철저한 이해를 제공하기 위해 예시들을 통해 진술된다. 그러나, 본 교시들은 그러한 상세들이 없이 실시될 수도 있다는 것이 당업자들에게 분명해야 한다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 및/또는 회로는 본 교시들의 불필요하게 모호한 양태들을 피하기 위해 상세없이 상대적으로 고레벨로 기술되었다.
위로, 아래로, 위에, 아래에, 최저, 최고, 수평, 수직 등과 같은 방향적 특징들의 참조 및 논의는 인식될 입력이 행해지는 입력 표면에 적용되는 바와 같이 직교좌표계에 대해 행해진다. 또한, 좌측 및 우측과 같은 용어들은 도면들을 볼 때 독자의 참조 프레임에 대해 행해진다. 더욱이, 본 설명에서의 용어 '텍스트' 의 사용은 임의의 기록된 언어로 모든 알파뉴메릭 문자들, 및 이들의 스트링들 및 기록된 텍스트에서 사용된 아주 흔한 비알파뉴메릭 문자들을 포함하는 것으로서 이해된다. 또 여전히, 본 설명에서의 용어 '비텍스트' 는 자유형 핸드라이팅 또는 핸드드로잉 컨텐츠 및 레더링된 텍스트 및 이미지 데이터 뿐아니라, 비텍스트 콘텍스트들에서 사용되는 비알파뉴메릭 문자들, 및 이들의 스트링들, 알파뉴메릭 문자들, 및 이들의 스트링들을 포함하는 것으로서 이해된다. 더욱이, 이들 도면들에서 도시된 예들은 좌에서 우로 기록된 언어 콘텍스트에 있고, 따라서 위치들에 대한 임의의 참조가 상이한 방향 포맷들을 갖는 기록된 언어들을 위해 적용될 수 있다.
여기에 기술된 여러 기술들은 일반적으로 해당 컨텐츠의 충실한 조판 또는 미화된 버전으로의 변환을 허용하면서 그 컨텐츠의 입력된 스타일을 유지하는 방식으로 휴대용 및 비휴대용 컴퓨팅 디바이스들상에서 핸드드로잉 및 핸드라이팅 컨텐츠의 캡쳐, 프로세싱 및 관리에 관한 것이다. 여기에 기술된 시스템들 및 방법들은 컴퓨팅 디바이스에 연결되거나, 컴퓨팅 디바이스의, 터치 감지 스크린과 같은 입력 표면을 통해 또는 컴퓨팅 디바이스에 연결된, 디지털 펜 또는 마우스와 같은 입력 디바이스를 통해 또는 위치 검출 시스템에 의해 모니터링되는 표면을 통해 컴퓨팅 디바이스로 입력된 사용자들의 자연적인 기입 및 드로잉 스타일들의 인식을 이용할 수도 있다. 여러 예들이 소위 온라인 인식 기법들을 사용하는 핸드라이팅 입력의 인식에 대해 기술되지만, 디지털 잉크라기보다 이미지들이 인식되는 오프라인 인식과 같은 인식을 위한 입력의 다른 형태들에 대한 적용이 가능하다는 것이 이해된다. 용어들 핸드드로잉 및 핸드라이팅은 디지털 또는 디지털적으로 연결된 매체상으로 직접 또는 핸드-헬드 스타일러스와 같은 입력 툴을 통해 사용자들의 손들의 사용을 통해 사용자들에 의한 디지털 컨텐츠의 생성을 정의하기 위해 여기서 교환가능하게 사용된다. 용어 "손" 은 입력 기법들의 간략한 설명을 제공하기 위해 여기서 사용되지만, 유사한 입력을 위해 발, 입 및 눈과 같은 사용자들의 신체의 다른 부분들의 사용은 이러한 정의에 포함된다.
도 1 은 예시의 컴퓨팅 디바이스 (100) 의 블록도를 도시한다. 컴퓨팅 디바이스는 컴퓨터 데스크톱, 랩톱 컴퓨터, 태블릿 컴퓨터, 이-북 리더, 이동전화, 스마트폰, 웨어러블 컴퓨터, 디지털 시계, 상호작용적 화이트보드, 글로벌 포지셔닝 시스템 (GPS) 유닛, 엔터프라이즈 디지털 보조기 (EDA), 개인용 휴대정보단말 (PDA), 게임 콘솔 등일 수도 있다. 컴퓨팅 디바이스 (100) 는 적어도 하나의 프로세싱 엘리먼트, 일부 형태의 메모리 및 입력 및/또는 출력 (I/O) 디바이스들의 컴포넌트들을 포함한다. 컴포넌트들은 당업자들에게 알려져있는 컨텍터들, 라인들, 버스들, 케이블들, 버퍼들, 전자기 링크들, 네트워크들, 모뎀들, 트랜스듀서들, IR 포트들, 안테나들 또는 다른 것들과 같은 입력들 및 출력들을 통해 서로와 통신한다.
컴퓨팅 디바이스 (100) 는 이미지들, 텍스트, 및 비디오와 같은 컴퓨팅 디바이스로부터 데이터를 출력하기 위한 적어도 하나의 디스플레이 (102) 를 갖는다. 디스플레이 (102) 는 LCD, 플라즈마, LED, iOLED, CRT, 또는 당업자들에게 알려져 있는 바와 같은 터치 감지성이거나 터치 감지성이 아닌 임의의 다른 적절한 기술을 사용할 수도 있다. 디스플레이 (102) 는 적어도 하나의 입력 표면 (104) 과 동일 장소에 배치되거나 그것에 원격으로 연결될 수도 있다. 입력 표면 (104) 은 저항성, 표면 탄성파, 용량성, 적외선 그리드, 적외선 아크릴 투영, 광학 이미징, 분산형 신호 기술, 음향 펄스 인식, 또는 터치- 또는 근접성-감지 표면의 형태로 사용자 입력을 수신하기 위해 당업자들에게 알려져 있는 임의의 다른 적절한 기술과 같은 기술을 채용할 수도 있다. 입력 표면 (104) 은 그것의 경계들을 명확히 식별하는 영구적인 또는 비디오-생성된 경계에 의해 경계가 정해질 수도 있다. 입력 표면 (104) 은 위치 검출 시스템에 의해 모니터링되는 비터치 감지 표면일 수도 있다.
입력 표면 (104) 에 더하여, 컴퓨팅 디바이스 (100) 는 로컬 인터페이스를 통해 통신적으로 커플링되는 하나 이상의 추가적인 I/O 디바이스들 (또는 주변장치들) 을 포함할 수도 있다. 추가적인 I/O 디바이스들은 키보드, 마우스, 스캐너, 마이크로폰, 터치패드들, 바 코드 판독기들, 레이저 판독기들, 무선 주파수 디바이스 판독기들, 또는 본 기술에서의 당업자들에게 알려져 있는 임의의 다른 적절한 기술과 같은 입력 디바이스들을 포함할 수도 있다. 또한, I/O 디바이스들은 프린터, 바코드 프린터들, 또는 본 기술에서의 당업자들에게 알려져 있는 임의의 다른 적절한 기술과 같은 출력 디바이스들을 포함할 수도 있다. 더욱이, I/O 디바이스들은 변조기/복조기 (모뎀; 다른 디바이스, 시스템 또는 네트워크를 액세스하기 위한), 무선 주파수 (RF) 또는 다른 송수신기, 전화 인터페이스, 브리지, 라우터, 또는 본 기술에서의 당업자들에게 알려져 있는 임의의 다른 적절한 기술과 같은 입력들 및 출력들 양자 모두와 통신하는 통신 디바이스들을 포함할 수도 있다. 로컬 인터페이스는 간단성을 위해 생략되지만 본 기술에서의 당업자들에게 알려져 있는 제어기들, 버퍼들 (캐시들), 드라이버들, 중계기들, 및 수신기들과 같은, 통신들을 가능하게 하는 추가적인 엘리먼트들을 가질 수도 있다. 또, 로컬 인터페이스는 다른 컴퓨터 컴포넌트들 사이에서 적적한 통신들을 가능하게 하는 어드레스, 제어, 및/또는 데이터 연결들을 포함할 수도 있다.
컴퓨팅 디바이스 (100) 는 또한 소프트웨어, 특히 메모리 (108) 에 저장된 소프트웨어를 실행하기 위한 하드웨어 디바이스인 프로세서 (106) 를 포함한다. 프로세서는 임의의 커스텀 메이드 또는 상업적으로 이용가능한 범용 프로세서, 중앙 처리 유닛 (CPU), 반도체 기반 마이크로프로세서 (마이크로칩 또는 칩셋의 형태), 매크로프로세서, 마이크로제어기, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 상태 머신, 또는 본 기술에서의 당업자들에게 알려져 있는 소프트웨어 명령들을 실행하기 위해 설계된 이들의 임의의 조합일 수 있다. 적합한 상업적으로 이용가능한 마이크로프로세서들의 예들은 다음과 같다: 휴렛-패커드사로부터의 PA-RISC 시리즈 마이크로프로세서, 인텔사로부터의 80x86 또는 펜티엄 시리즈 마이크로프로세서, IBM 으로부터의 파워PC 마이크로프로세서, 선 마이크로시스템즈사로부터의 Sparc 마이크로프로세서, 모토롤라사로부터의 68xxx 시리즈 마이크로프로세서, DSP 마이크로프로세서들, 또는 ARM 마이크로프로세서들.
메모리 (108) 는 휘발성 메모리 엘리먼트들 (예를 들어, 랜덤 액세스 메모리 (DRAM, SRAM, 또는 SDRAM 과 같은 RAM)) 및 비휘발성 메모리 엘리먼트들 (예를 들어, ROM, EPROM, 플래시 PROM, EEPROM, 하드 드라이브, 자기 또는 광학 테이프, 메모리 레지스터들, CD-ROM, WORM, DVD, RAID (redundant array of inexpensive disks), 다른 DASD (direct access storage device)) 중 임의의 하나 또는 이들의 조합을 포함할 수도 있다. 게다가, 메모리 (108) 는 전자, 자기, 광학, 및/또는 다른 타입들의 저장 매체들을 포함할 수도 있다. 메모리 (108) 는 여러 컴포넌트들이 서로로부터 멀리 떨어져 위치되지만 또한 프로세서 (106) 에 의해 액세스될 수 있는 분포된 아키텍쳐를 가질 수 있다. 또, 메모리 (108) 는 컴퓨팅 디바이스 (100) 에 의해 원격으로 액세스 가능한, 서버 또는 클라우드-기반 시스템과 같은 디바이스로부터 멀리 떨어질 수도 있다. 메모리 (108) 는 프로세서 (106) 에 커플링되어서, 프로세서 (106) 가 메모리 (108) 로부터 정보를 판독하고 메모리 (108) 로 정보를 기입할 수 있다. 대안적으로, 메모리 (108) 는 프로세서 (106) 에 통합될 수도 있다. 다른 예에서, 프로세서 (106) 및 메모리 (108) 는 양자 모두가 단일의 ASIC 또는 다른 집적 회로에 상주할 수도 있다.
메모리 (108) 내의 소프트웨어는 운영 시스템 (110) 및 애플리케이션 (112) 을 포함한다. 스프트웨어는 선택적으로 각각 하나 이상의 별개의 컴퓨터 프로그램들을 포함할 수도 있는 핸드라이팅 인식 (HWR) 시스템 (114) 을 더 포함한다. 이들 각각은 논리 함수들을 구현하는 실행가능한 명령들의 순서화된 리스팅을 갖는다. 운영 시스템 (110) 은 애플리케이션 (112) (및 HWR 시스템 (114)) 의 실행을 제어한다. 운영 시스템 (110) 은 임의의 사유의 운영 시스템 또는 WEBOS, WINDOWS®, MAC 및 IPHONE OS®, LINUX, 및 ANDROID 와 같은 상업적으로 이용가능한 운영 시스템일 수도 있다. 다른 운영 시스템들이 또한 이용될 수도 있다는 것이 이해된다.
애플리케이션 (112) 은 (이하에 상세히 논의되는) 사용자들에 의해 입력된 핸드드로잉 형상들 및 핸드라이팅 텍스트의 검출, 관리 및 처리와 관련된 하나 이상의 프로세싱 엘리먼트들을 포함한다. 소프트웨어는 또한 핸드라이팅 인식, 상이한 기능들, 또는 양자 모두에 관련된 하나 이상의 다른 애플리케이션들을 포함할 수도 있다. 다른 애플리케이션들의 일부 예들은 텍스트 편집기, 전화 다이얼러, 연락처 디렉토리, 순간 메시징 설비, 컴퓨터 원조 설계 (CAD) 프로그램, 이메일 프로그램, 워드 프로세싱 프로그램, 웹 브라우저, 및 카메라를 포함한다. 애플리케이션 (112) 및 다른 애플리케이션들은 제조시 컴퓨팅 디바이스 (100) 에 제공된 프로그램(들) 을 포함하고 제조 후에 컴퓨팅 디바이스 (100) 로 업로딩 또는 다운로딩된 프로그램들을 더 포함할 수도 있다.
본 시스템 및 방법은 핸드라이팅 텍스트 및 핸드드로잉 형상들, 예를 들어 비텍스트를 포함하는, 디바이스 (100) 에 대한 핸드라이팅 입력을 인식하기 위해 HWR 시스템 (114) 을 이용한다. 지원 및 준수 (compliance) 능력들을 갖는 HWR 시스템 (114) 은 소스 프로그램, 실행가능 프로그램 (오브젝트 코드), 스크립트, 애플리케이션, 또는 수행될 명령들의 세트를 갖는 임의의 다른 엔티티일 수도 있다. 소스 프로그램의 경우, 그 프로그램은 운영 시스템과 관련하여 적절하게 동작하도록 메모리 내에 포함될 수도 있거나 포함되지 않을 수도 있는 컴파일러, 어셈블러, 인터프리터 등을 통해 변환될 필요가 있다. 더욱이, 지원 및 준수 능력들을 갖는 핸드라이팅 인식 시스템은 (a) 방법들 및 데이터의 클래스들을 갖는 객체 지향 프로그래밍 언어; (b) 예를 들어 루틴들, 서브루틴들, 및/또는 함수들을 갖는 프로시저 프로그래밍 언어, 예를 들어 그러나 이들에 제한되지 않는, C, C++, 파스칼, 베이직, 포트란, 코볼, 펄, 자바, 오브젝티브 C, 스위프트, 및 아다; 또는 (c) 함수적 프로그래밍 언어들, 예를 들어 그러나 이들에 제한되지 않는, Hope, Rex, Common Lisp, S초듣 Clojure, Racket, Erlang, OCaml, Haskell, Prolog, 및 F# 로 기록될 수 있다. 대안적으로, HWR 시스템 (114) 은 서버 또는 클라우드-기반 시스템과 같은 디바이스로부터 멀리 떨어진 핸드라이팅 인식 시스템과 통신을 위한 방법 또는 시스템일 수도 있지만, 컴퓨팅 디바이스 (100) 의 상술된 통신 I/O 디바이스들을 사용하여 통신 링크들을 통해 컴퓨팅 디바이스 (100) 에 의해 원격으로 액세스가능하다. 또한, 애플리케이션 (112) 및 HWR 시스템 (114) 은 동작하여 예를 들어 각 시스템에 의해 프로세싱되고 메모리 (108) 에 저장된 정보를 함께 액세스하거나, 단일의 애플리케이션로서 결합될 수도 있다.
입력 표면 (104) 상에 또는 입력 표면 (104) 을 통해 입력된 스트로크들은 디지털 잉크로서 프로세서 (106) 에 의해 프로세싱된다. 사용자는 손가락 또는 입력 표면과 함께 사용하기 위해 적합한 펜 또는 스타일러스와 같은 일부 도구로 스트로크를 입력할 수도 있다. 사용자는 또한 입력 표면 (104) 의 근처에서 모션들을 감지하는 기술이 사용되고 있는 경우 입력 표면 (104) 위에서 제스쳐를 취함으로써, 또는 마우스 또는 조이스틱과 같은 컴퓨팅 디바이스 (100) 의 주변 디바이스로 스트로크를 입력할 수도 있다. 스트로크는 적어도 스트로크 개시 로케이션, 스트로크 종료 로케이션, 및 스트로크 개시 및 종료 로케이션들을 연결하는 경로에 의해 특징지워진다. 상이한 사용자들이 당연히 약간의 변동들을 갖는 동일한 오브젝트, 예를 들어, 글자, 형상, 기호를 기록할 수도 있기 때문에, HWR 시스템은 각 오브젝트가 올바른 또는 의도된 오브젝트로서 인식되면서 입력될 수도 있는 다양한 방식들을 수용한다.
도 2 는 그것의 로컬 (즉, 디바이스 (100) 상에 로딩된) 또는 원격 (즉, 디바이스 (100) 에 의해 원격으로 액세스가능한) 형태들의 HWR 시스템 (114) 의 예의 개략적인 도면이다. HWR 시스템 (114) 은 프리프로세싱 (116), 인식 (118) 및 출력 (120) 과 같은 스테이지들을 포함한다. 프리프로세싱 스테이지 (116) 는 인식 스테이지 (118) 동안 더 큰 정확성 및 감소하는 프로세싱 시간을 달성하도록 디지털 잉크를 프로세싱한다. 이러한 프리프로세싱은 입력을 평활화하기 위해 B-스플라인 근사화와 같은 사이즈 정규화 및/또는 방법들을 적용함으로써 스트로크 개시 및 종료 로케이션들을 연결하는 경로의 정규화를 포함할 수도 있다. 프리프로세싱된 스트로크들은 그 후 그들에 의해 형성된 오브젝트들을 인식하기 위해 그 스트로크들을 프로세싱하는 인식 스테이지 (118) 로 전달된다. 인식된 오브젝트들은 그 후 핸드라이팅 엘리먼트들/문자들 및 핸드드로잉 형상들의 디지컬 잉크 또는 조판 잉크 버전들로서 메모리 (108) 및 디스플레이 (102) 로 출력된다 (120).
인식 스테이지 (118) 는 상이한 프로세싱 엘리먼트들 또는 엑스퍼트들을 포함할 수도 있다. 도 3 은 인식 스테이지 (118) 의 개략적인 상세를 보여주는 도 2 의 예의 개략적인 도면이다. 출력 (120) 을 생성하기 위해 동적 프로그래밍을 통해 협력하는 3 개의 엑스퍼트들, 세그먼트화 엑스퍼트 (122), 인식 엑스퍼트 (124), 및 언어 엑스퍼트 (126) 가 도시된다.
세그먼트화 엑스퍼트 (122) 는 표현들, 예를 들어 단어들, 수학적 방정식들, 또는 형상들의 그룹들을 형성하기 위해 입력 스트로크들을 개개의 엘리먼트 가설들, 예를 들어, 알파뉴메릭 문자들 및 수학적 연산자들, 텍스트 문자들, 개개의 형상들, 또는 서브 표현으로 세그멘팅하는 상이한 방법들을 정의한다. 예를 들어, 세그먼트화 엑스퍼트 (122) 는 각각의 노드가 적어도 하나의 엘리먼트 가설에 대응하는 그리고 엘리먼트들 사이의 인접성 제약들이 노드 연결들에 의해 핸들링되는 세그멘트화 그래프를 획득하기 위해 원래의 입력의 연속적인 스트로크들을 그룹핑함으로써 엘리먼트 가설들을 형성할 수도 있다. 대안적으로, 세그먼트화 엑스퍼트 (122) 는 텍스트, 그림들, 방정식들, 및 음악적 기호와 같은 상이한 입력 타입들에 대한 별개의 엑스퍼트들을 채용할 수도 있다.
인식 엑스퍼트 (124) 는 분류기 (128) 에 의해 추출된 특징들의 분류를 제공하고 세그먼트화 그래프의 각 노드에 대해 확률들 또는 인식 스코어들을 갖는 엘리먼트 후보들의 리스트를 출력한다. 이러한 인식 태스크를 어드레싱하기 위해 사용될 수 있는 다수의 타입들의 분류기들, 예를 들어, 서포트 벡터 머신들, 히든 마르코프 모델들, 또는 다층 퍼셉트론들과 같은 신경망들, 딥, 콘볼류셔널 또는 회귀 신경망들이 존재한다. 선택은 태스크에 대해 원해지는 복잡성, 정확성, 및 속도에 의존한다.
언어 엑스퍼트 (126) 는 언어 모델들 (예를 들어, 그래머 또는 시맨틱스) 을 사용하여 세그먼트화 그래프에서의 상이한 경로들에 대한 언어학적 의미를 생성한다. 엑스퍼트 (126) 는 언어학적 정보 (130) 에 따라 다른 엑스퍼트들에 의해 제안된 후보들을 체크한다. 언어학적 정보 (130) 는 렉시콘(들), 정규 표현들 (regular expressions) 등을 포함할 수 있다. 언어 엑스퍼트 (126) 는 최선 인식 경로를 발견하는 것을 목적으로 한다. 하나의 예에서, 언어 엑스퍼트 (126) 는 언어학적 정보 (130) 의 컨텐츠를 표현하는 최종 상태 자동화 (결정론자 (determinist) FSA) 와 같은 언어 모델을 탐험함으로써 이것을 행한다. 렉시콘 제약에 더하여, 언어 엑스퍼트 (126) 는 엘리먼트들의 주어진 시퀀스가 특정된 언어에서 얼마나 자주 나타나는지에 대한 통계 정보 모델링을 사용할 수도 있거나 세그먼트화 그래프의 주어진 경로의 해석의 언어학적 가능성 (likelihood) 을 평가하기 위해 특정 사용자에 의해 사용된다.
본 시스템 및 방법에 의해 제공되는 애플리케이션 (112) 은 학생들, 학교 및 직장 전문가들과 같은 사용자들이 핸드라이팅 다이어그램들을 생성하고 생성된 다이어그램의 타입, 예를 들어, 플로우챠트들, 조직화 챠트들, 개념 맵들, 스파이더 맵들, 블록/아키텍쳐 다이어그램들, 마인드맵들, 블록도들, 벤다이어그램들 및 피라미드들과는 독립적으로 HWR 시스템 (114) 을 사용하여 충실하게 인식된 이들 다이어그램들을 갖는 것을 허용한다. 이러한 리스트는 포괄적이지 않고 다른 타입들, 또는 비타입들의 다이어그램들이 가능하다. 예를 들어, 핸드드로잉 다이어그램들의 상이한 엘리먼트들은 다이어그램 타입에 관계없이 그들 사이의 임의의 공간적 및 콘텍스트 관계들과 함께 개별적으로 인식된다. 앞에서 논의된 바와 같이, 이들 다이어그램 엘리먼트들은 형상 및 텍스트 엘리먼트들을 포함한다. 형상 및 그림 엘리먼트들은 그래픽 또는 기하학 포메이션들 (formations) 을 선형 또는 비선형 구성들로 정의하는 것들이고, 컨테이너들, 컨넥터들 및 자유형 그림들을 포함한다. 텍스트 엘리먼트들은 텍스트 문자들을 포함하는 것들이고 텍스트 블록들 및 형상 엘리먼트들에 대한 텍스트 블록들 및 라벨들을 포함한다. 텍스트 블록들 및 라벨들 양자 모두는 하나 이상의 수직 라인들에 제공되는 하나 이사의 문자들, 단어들, 문장들 또는 문단들의 텍스트를 포함할 수도 있다. 텍스트 블록들은 컨테이너들에 의해 포함될 수도 있거나 (내부 텍스트 블록들) 컨테이너들 외부에 제공될 수도 있다 (외부 텍스트 블록들). 외부 텍스트 블록들은 다이어그램의 컨테이너들 또는 다른 엘리먼트들과 관련이 없을 수도 있거나 소정의 다른 다이어그램 엘리먼트들과 직접 관련될 수도 있다.
또한, 본 시스템 및 방법에 의해 제공되는 애플리케이션 (112) 은 사용자들이 디지털 툴들의 능력으로부터 이익을 얻으면서 그들이 종이위에 하는 것 처럼 (기술에 의해 느려짐 없이 자유롭게) 그들이 마음속에 가지고 있는 것을 손으로 그리는 것을 허용하다. 예시의 사용들은 다음을 포함한다:
Figure 112018049410854-pct00001
생성: 형상들 및 텍스트의 고레벨 식별, 및 형상들 및 텍스트 사이의 구별은 형상들을 그리는 것과 텍스트를 기록하는 것 사이를 스위칭할 때 미리 할당된 툴들을 선택하거나 사용할 필요 없이 사용자들에 의해 형상들이 스케치되는 것 및 텍스트가 기록되는 것을 허용한다,
Figure 112018049410854-pct00002
편집: 형상 및 텍스트 특징들의 식별은 형상들이 연결들 또는 형상 타입의 변화, 및 편집 제스쳐들의 핸들링에 대해 조작되는 것을 가능하게 한다,
Figure 112018049410854-pct00003
타입세팅: 다이어그램들을 생성할 때 사용자들은 즉각적인 인식 피드백에 대한 옵션들이 제공된다.
본 시스템 및 방법의 이들 및 다른 특징들이 이제 상세히 기술된다.
형상들 및 텍스트의 상이한 핸드라이팅 오브젝트들의 입력의 검출 및 구별을 통해, 애플리케이션 (112) 은 적합한 인식 기법들로 HWR 시스템 (114) 에 의한 상이한 오브젝트 타입들의 프로세싱을 지시하며, 예를 들어, 검출된 형상들의 스트로크들은 형상 언어 모델을 사용하여 프로세싱되고 검출된 텍스트의 스트로크들은 텍스트 언어 모델을 사용하여 프로세싱된다. 이러한 구별은 상이한 오브젝트들이 손으로 그려짐에 따라 사용자들에게 생생한 (즉, 실질적으로 실시간) 인식 피드백을 제공하기 위해 본 시스템 및 방법에 의해 사용된다. 그러나, 다수의 핸드라이팅 형상들 및 텍스트 문자들은 공통 특징들 (예를 들어, 원과 글자 "o", 화살표 머리와 글자 "v") 을 공유할 수 있기 때문에, 이러한 안내는 또한 사용자들에게 이하에 상세히 기술되는, 잘못된 구별 결정들을 정정하는 능력을 제공한다.
명확화를 통해, 텍스트 및 비텍스트 (즉, 형상들) 의 혼합된 컨텐츠를 포함하는 핸드라이팅 입력은 자동적으로 (예를 들어, 온-더-플라이로) 또는 온 디맨드 (on demand) 로 미화된 디지털 잉크 및 조판 잉크로 인식 및 변환된다. 디지털 잉크는 디지털 이미지 포맷으로 핸드라이팅 입력을 렌더링함으로써 형성된다. 미화된 (디지털) 잉크는 디지털 잉크를 유사한 스타일링 또는 룩-앤드-필 (look-and-feel) 을 유지하면서 원래의 핸드라이팅보다 더 정규적이고 정규화되어 보이도록 렌더링함으로써 형성된다. 조판 잉크는 디지털 잉크를 조판 또는 폰트화된 이미지 포맷으로 변환함으로써 형성된다. 미화된 조판 잉크는 입력으로부터 위치 및 스타일링 변경들을 갖는 조판 잉크를 렌더링함으로써 형성된다. HWR 시스템 (114) 의 프리프로세싱 스테이지 (116) 는 명확화 프로세스를 수행하도록 구성된다. 프리프로세서 (116) 는 디지털 잉크의 엘리먼트들을 비텍스트 (즉, 형상), 텍스트 및 형상 및 텍스트의 혼합인 상이한 클래스들 또는 카테고리들로 분류함으로써 이것을 행한다. 이것은 그 전체 내용들이 여기에 참조로 포함되는, 본 출원인 및 양수인의 이름으로 출원된, 명칭이 "System and Method of Handwriting Recognition in Diagrams" 인 유럽 특허 출원번호 제 15290271.4 및 본 출원과 동시에 본 출원인 및 양수인의 이름으로 출원된, 명칭이 "System and Method of Handwriting Recognition in Diagrams" 인 미국 특허 출원에 기술된 바와 같이, 예를 들어, 임계값들, 기록 속도, 및 스트로크들 사이의 시간과 같은 간단한 휴리스틱스 (heuristics), 또는 (대안적으로 또는 추가적으로) 예를 들어, 공간적 및 시간적 임계값들 및 언어 모델 정보에 대한 비교를 위해 스트로크들을 그룹핑하는 것과 같은 더 복잡한 휴리스틱스를 사용함으로써 행해진다. 명확화 시스템 및 방법은 이미 입력된 핸드라이팅에 대해 또는 핸드라이팅이 입력됨에 따라 증분적으로 수행될 수 있다. 분류된 디지털 잉크는 그 후 그 분류에 의존하여 적합한 인식 프로세싱을 위해 인식기 (118) 로 파싱된다.
예를 들어, 텍스트로서 분류된 디지털 잉크를 프로세싱할 때, 인식기 (118) 는 세그먼트화 그래프들을 결정하기 위해 텍스트의 개개의 스트로크들을 세그멘팅하기 위해 세그먼트화 엑스퍼트 (122) 를, 분류기 (128) 를 사용하여 그래프 노드들에 확률들을 할당하기 위해 인식 엑스퍼트 (124) 를, 그리고 예를 들어 언어학적 정보 (130) 의 텍스트-기반 렉시콘을 사용하여 그래프들을 통한 최선의 경로를 발견하기 위해 언어 엑스퍼트 (126) 를 채용한다. 한편, 비텍스트로서 분류된 디지털 잉크를 프로세싱할 때, 인식기 (118) 는 형상의 스트로크들을 세그멘팅하기 위해 세그먼트화 엑스퍼트 (122) 를, 분류기 (128) 를 사용하여 세그먼트화 그래프들을 결정하기 위해 인식 엑스퍼트 (124) 를, 그리고 언어학적 정보 (130) 의 형상-기반 렉시콘을 사용하여 그래프들을 통한 최선의 경로를 발견하기 위해 언어 엑스퍼트 (126) 를 채용한다. 혼합된 컨텐츠 분류는 "정크" 로서 취급되고 인식기 (118) 로 파싱될 때 인식의 낮은 확률을 야기할 것이다. 인식기로 파싱되고 예를 들어 그들이 아웃-오브-렉시콘 형상들이기 때문에 인식되지 않는 형상들은 (이하에 기술되는) 비인식된 컨텐츠인 낙서들로서 취급된다.
편집에 있어서, 덮어쓰기, 삭제 및 레이아웃 제어와 같은 핸드라이팅 동작들은 비텍스트 및 텍스트의 디지털 및 조판 잉크 양자 모두에 대해 수행될 수 있다. 예를 들어, 덮어쓰기는 하나의 타입으로부터의 형상을 또는 다른 것으로 형태를 변경하는 것 (예를 들어, 직사각형 위에 타원을 손으로 그림으로써 직사각형을 타원으로 스위칭하는 것), 컨넥터에 데코레이션을 부가하는 것, 및 텍스트 주위에 형상을 생성하는 것을 포함한다. 삭제는 형상들 및 텍스트에 대해 스크래치-아웃 (scratch-out) 또는 스트라이크-아웃 (strike-out) 제스쳐들과 같은 기지의 핸드라이팅 제스쳐들을 사용하여 수행될 수 있다. 레이아웃 제어는 형상들을 이동시키고 리사이징하며, 각각 다른 것에 대해 또는 서로에 대해 형상들 및 텍스트를 정렬 및 분포시키기 위해 수행될 수 있다. 이들 동작들 뿐아니라 다른 것들 중 적어도 일부의 검출은 명확화 프로세스에 의해 강화된다.
이러한 분류된 핸드드로잉 입력으로, 본 시스템 및 방법은 인식 및 디지털 다이어그램 생성을 최적화하도록 사용자 핸드라이팅 입력을 안내하기 위한 메커니즘을 제공한다. 이러한 메커니즘은 사용자들에게 실시간 인식 피드백을 제공하기 위해 더욱 사용될 수 있으며, 이것은 핸드라이팅의 입력으로부터 방해하는 것이 아니라 핸드라이팅의 입력을 강화한다. 이것은 동적 프롬프터를 포함하는 가이드 엘리먼트를 제공함으로써 달성된다. 프롬프터는 오브젝트 클래스 인식, 예를 들어, 비텍스트 또는 텍스트를, 및 형상들의 경우, 인식된 형상의 표시를, 및 텍스트의 경우, 조판 잉크로서의 인식된 텍스트의 소정 수의 마지막 문자들/기호들/단어들을 동적으로 디스플레이하기 위해 사용된다. 가이드 엘리먼트는 핸드라이팅에 대한 수평 한계를 제공하고 스트로크들이 손으로 쓰여지고 및/또는 조판 잉크가 프롬프터에서 렌더링됨에 따라 동적으로 성장하도록 구성된 동적 룰러 (ruler) 를 더 포함할 수도 있다. 본 시스템 및 방법의 가이드 엘리먼트가 도 4 내지 도 31 에 도시된 예시의 핸드드로잉 다이어그램을 참조하여 이제 기술된다.
도 4 는 예를 들어 컴퓨팅 디바이스 (100) 의 사용자 인터페이스 (104) 에서 애플리케이션 (112) 의 UI (402) 를 통해 입력된 예시의 핸드드로잉 다이어그램 (400) 을 도시한다. UI (402), 및 그것의 컴포넌트들 중 임의의 것의 묘사는 단지 예일 뿐이고, 다른 형태들이 가능하다. 다이어그램 (400) 은 텍스트 (406) 를 포함하는 컨테이너 (404), 텍스트 (410) 를 포함하는 컨테이너 (408), 컨테이너들 (404 및 408) 을 연결하는 컨넥터 (412), 및 텍스트 (416) 를 포함하는 컨테이너 (414) 를 포함하는 디지털 잉크 오브젝트들로서 애플리케이션 (112) 에 의해 디스플레이된 수개의 다이어그램 엘리먼트들을 포함하는 입력이다. 컨텐츠 및 엘리먼트 타입들은 애플리케이션 (112) 이 그들의 타입, 예를 들어, 텍스트, 비텍스트 및 정크 (또는 비인식된 비텍스트) 에 기초하여 다이어그램 엘리먼트들을 핸들링하도록 앞에서 기술된 바와 같이 검출 및 인식된다. 가이드 엘리먼트 (4000) 는 약간 중첩하여 컨테이너 (408) 위에 및 상에 디스플레이되어 컨테이너 (408) 및 포함된 텍스트 (410) 에 대해 도시된다. 가이드 엘리먼트의 이러한 렌더링 및 포지셔닝은 단지 예일 뿐이고, 상이한 렌더링 및/또는 포지셔닝이 가능하며, 가이드 엘리먼트가 속하는 다이어그램 엘리먼트(들) 의 근처에서의 자유로운 핸드라이팅 입력에 대한 최소의 일탈 외모 및 효과를 가지고 디스플레이하는 제약들이 이하에 기술되는 바와 같이 바람직하다.
가이드 엘리먼트 (4000) 는 그것이 속하는 다이어그램 엘리먼트(들) 의 검출되고 인식된 컨텐츠에 적용가능한 가이드 컴포넌트들 및 제어 컴포넌트들을 갖는 프롬프터로 디스플레이된다. 예를 들어, 도 4 에서, 가이드 엘리먼트 (4000) 는 형상 컴포넌트 (4004) 및 텍스트 컴포넌트 (4006), 및 제어 컴포넌트 (4008) 를 포함하는 프롬프터 (4002) 를 갖는다.
형상 컴포넌트 (4004) 는 HWR 시스템 (114) 에 의해 인식된 컨테이너 (404) 의 형상 (예를 들어, 직사각형) 의 표현을 묘사하는 아이콘 또는 라벨로서 디스플레이된다. 그러나, 일반적인 형상 아이콘이 또한 디스플레이될 수 있다. 이러한 방식으로, 예를 들어, 메뉴 또는 제스쳐 선택을 통해 디지털 잉크 다이어그램의 형상 부분 또는 전부를 조판 잉크로 변환할 필요 없이, 사용자들은 그들에게 핸드드로잉 형상이 검출되었다는 것 및 형상의 타입이 인식되었다는 것을 알리는 인식 피드백이 제공된다. 이에 따라, 사용자들은 원할 때까지 타입세팅을 수행하지 않고 디지털 잉크로 다이어그램의 생성 또는 편집을 계속할 수 있다.
텍스트 컴포넌트 (4006) 는 HWR 시스템 (114) 에 의해 핸드라이팅 텍스트 (410) 로부터 인식된 조판 잉크 텍스트의 단일의 수평 라인으로서 디스플레이된다. 이러한 방식으로, 디지털 잉크 다이어그램의 텍스트 부분 또는 전부를 조판 잉크로 변환할 필요 없이, 사용자들은 그들에게 핸드라이팅 텍스트가 검출되었고, 텍스트의 컨텐츠가 인식되었다는 것을 알리는 인식 피드백이 제공된다.
제어 컴포넌트 (4008) 는 애플리케이션 (112) 의 제어 특징들에 대한 액세스를 제공하는 상호작용적 제어 엘리먼트 또는 "모어 (more)" 아이콘으로서 디스플레이된다. 이러한 방식으로, 제어 엘리먼트들은 애플리케이션의 상부 바와 같은 통상의 메커니즘들보다 컨텐츠에 훨씬 더 가까이에서 액세스가능한다.
가이드 엘리먼트를 그것이 속하는 다이어그램 엘리먼트들에 가깝게 위치시키기 위해, 본 시스템 및 방법은 디스플레이 인터페이스의 아래에 놓이는 정렬 그리드에 대해 행해질 수도 있으며, 그 그리드는 또한 하나 이상의 범위들 및 다이어그램 엘리먼트들 자체의 포지셔닝을 정의하기 위해 사용될 수도 있다. 도 5 내지 도 28 은 다이어그램 (400) 의 형상들 및 텍스트의 핸드라이팅 입력의 시퀀스의 예들 및 가이드 엘리먼트 (4000) 상에서 수행되는 상호작용들에 관련하여 가이드 엘리먼트 (4000) 의 상이한 디스플레이 포맷들을 보여준다.
도 5 는 다이어그램 (400) 의 제 1 핸드드로잉 엘리먼트로서의 텍스트 엘리먼트 (406) 의 입력을 도시한다. 인터페이스 (104) 상에서의 입력의 시작 및 대응하는 디지털 잉크의 렌더링의 검출 시에, 본 시스템 및 방법은 (예를 들어, 정렬 그리드에 의해 설정된 바와 같은) 텍스트 (406) 의 핸드라이팅 문자들과 인접하여 핸드라이팅 문자들 위에 수평 라인 또는 바 (4012) 및 수평 바 (4012) 위의 텍스트 (406) 로부터 인식된 조판 잉크 텍스트 (4014), 즉 단어 "Ok" 를 포함하는 텍스트 컴포넌트 (4006) 를 갖는 텍스트 프롬프터 (4010) 로서의 가이드 엘리먼트 (4000) 의 디스플레이를 개시한다. 수평 바 (4012) 는 텍스트 문자들이 입력되고 인식된 컨텐츠가 텍스트 프롬프터 (4010) 에 디스플레이됨에 따라 동적으로 성장하도록 구성된다. 이러한 성장은 그러나 제한되고, 이미 디스플레이된 인식된 텍스트의 텍스트 프롬프터의 좌측으로 자동적으로 스크롤링하는 것과 같은 효과들이 새롭게 인식된 컨텐츠가 텍스트 프롬프터 (4010) 에 디스플레이되는 것을 보장하기 위해 행해질 수도 있다.
이에 따라, 실질적으로 실시간 컨텐츠 인식 피드백이 텍스트 프롬프터 (4010) 에 의한 텍스트 입력 동안 제공된다. 제어 엘리먼트 (4008) 는 또한 텍스트 컴포넌트 (4006) 의 우측에 및 수평 바 (4012) 위에서 텍스트 프롬프터 (4010) 에 디스플레이된다. 그러나, 컨텐츠 입력 동안 사용자들을 방해하지 않도록, 제어 아이콘은 입력이 수행되고 있지 않을 때에만 디스플레이 될 수도 있으며, 예를 들어, 기록 동안 '모어' 아이콘은 비가시적으로 유지되고, 기록 후에, 즉 입력 이벤트의 중단, 예를 들어, 손가락/펜 업 (up) 이벤트의 검출, 플러스 미리 정의된 시간 주기 (예를 들어, 약 0.5 초 내지 1 초) 에서, '모어' 아이콘이 완전한 가시성으로 페이딩된다.
또, 사용자 입력을 방해하지 않도록, 텍스트 프롬프터 (4010) (및 '모어' 아이콘 (4008)) 는 밝은 및 미묘한 렌더링으로, 예를 들어, 밝은 청색으로 또는 단지 가시성 및 페이딩되는 것 사이만인, 다이어그램 엘리먼트 디지털 및/또는 조판 잉크 디스플레이에 대해 사용되는 컬러의 적어도 상이한 색조로 디스플레이된다. 이러한 방식으로, 가이드 엘리먼트는 다이어그램 생성 자체를 방해하지 않고 핸드라이팅 입력을 가이드하도록 분명하지만 불필요하게 관심을 끌지 않는다. 또한, 기이드 엘리먼트의 디스플레이는 상이한 입력이 애플리케이션 (112) 에 수신되거나, 입력 중단 이벤트 후 및 가이드 엘리먼트가 속하는 엘리먼트에 대한 추가의 입력이 검출되지 않는 미리 정의된 시간 주기의 끝까지 유지되고, 비가시성으로 가이드 엘리먼트가 페이딩한다.
도 6 은 이미 입력된 텍스트 (406) 를 포함하는 컨테이너로서 그려진 형상 엘리먼트 (404) 의 후속적인 입력을 도시한다. 이 시점에서, 형상 엘리먼트 (404) 는 입력들 (404 및 406) 의 상대적인 위치들 및 특징들로 인해 인식된 단어 (406) 를 포함하는 컨테이너로서 식별될 수도 있다. 컨테이너 및 포함된 텍스트는 이로 인해, 이들 엘리먼트들 중 하나 상에서 수행된 일부 액션들이 다른 엘리먼트에 대한 반응들을 야기하도록 서로와 연관된다. 예를 들어, 컨테이너가 사용자에 의해 선택 및 이동되는 경우에, 포함된 텍스트는 컨테이너와 함께 이동되고, 텍스트가 사용자에 의해 선택 및 확대되거나 추가되는 경우에는, 컨테이너는 더 큰 텍스트 사이즈 또는 블록을 수용하도록 리사이징된다.
인터페이스 (104) 상에서의 입력의 시작 및 대응하는 디지털 잉크의 렌더링의 검출 시에, 본 시스템 및 방법은, 예를 들어, (제어 엘리먼트 (4008) 와 함께) 텍스트 프롬프터 (4010) 의 디스플레이를 생략하고 형상 (404) 으로부터 인식된 원 그래픽 (4018) 을 포함하는 형상 컴포넌트 (4002) 를 갖는 (예를 들어, 정렬 그리드에 의해 설정되는 바와 같은) 핸드드로잉 형상 (404) 위에 형상 프롬프터 (4016) 로서 가이드 엘리먼트 (4000) 의 디스플레이를 개시한다. 이에 따라, 실질적으로 실시간 컨텐츠 인식 피드백이 형상 입력 시에 제공된다. 사용자 입력을 방해하지 않도록, 형상 프롬프터 (4016) 는 텍스트 프롬프터 (4010) 와 동일하거나 유사한 밝은 및 미묘한 렌더링으로 디스플레이되고 디스플레이는 유사한 방식으로 유지된다.
도 7 은 도 6 의 컨테이너 (404) 및 포함된 텍스트 (406) 를 도시하지만, 형상 프롬프터 (4016) 는 디스플레이로부터 생략되고, 텍스트 프롬프터 (4010) 가 원 (404) 과 부분적으로 중첩하도록 재디스플레이된다. 이러한 재디스플레이는 애플리케이션 (112) 에 의한, 단일-포인트 제스쳐, 예를 들어, 단일의 탭 (tap), 또는 다중-포인트 제스쳐, 예를 들어, 더블 탭과 같은, 디지털 잉크 텍스트 (406) 상의 선택 제스쳐의 검출에 기인하여 수행된다. 이에 따라, 사용자들은 예를 들어 컨텐츠의 인식 스테이터스를 확인하기 위해 핸드드로잉 컨텐츠와 상호작용할 수 있다. 선택된 컨텐츠에 대한 가이드 엘리먼트의 디스플레이는 핸드라이팅 또는 제스쳐와 같은 새로운 입력이 애플리케이션 (112) 에 의해 수신될 때까지, 또는 가이드 엘리먼트 또는 그것이 속하는 컨텐츠와의 상호작용이 검출되지 않는 미리 정의된 시간 주기 (예를 들어, 약 5 초) 동안 유지되고, 비가시성으로 가이드 엘리먼트가 페이딩한다.
도 8 은 원 (404) 아래에 구부러진 라인으로서 그려진 형상 엘리먼트 (412) 의 부분 (412a) 의 후속적인 입력을 도시한다. 형상 엘리먼트 (412) 는 도 4 에서 알수 있듯이 화살표이며, 이것은 하나 또는 2 개의 개방된 (예를 들어, v-형상의) 또는 폐쇄된 (예를 들어, 삼각형의) "화살표머리들" 에서 끝나는 곧거나 구부러진 '줄기' 에 의해 형성되는 것으로서 정의된다.
부분 (412a) 은 화살표 (412) 의 줄기를 구성한다. 인터페이스 (104) 상에서의 입력의 시작 및 대응하는 디지털 잉크의 렌더링의 검출 시에, 본 시스템 및 방법은 형상 (412a), 즉 라인으로부터 인식된 라인 그래픽 (4020) 을 포함하는 형상 컴포넌트 (4002) 를 갖는 (예를 들어, 정렬 그리드에 의해 설정되는 바와 같은) 핸드드로잉 형상 (412a) 옆에 형상 프롬프터 (4016) 로서 가이드 엘리먼트 (4000) 의 디스플레이를 개시한다. 도 8 에 도시된 라인 그래픽은 일반적 라인이지만, 그 그래픽은 인식된 구부러진 라인 (412a) 처럼 이러한 예에서 구부러진 라인일 수도 있다.
이 시점에서, 라인 (412a) 은 입력들 (404 및 412a) 의 그들의 상대적인 위치들 (예를 들어, 미리 설정된 공간적 분리 임계값이 애플리케이션 (112) 에 의해 사용되며, 여기서 그 임계값 아래의 비선형 형상 쪽의 선형 형상의 종단의 분리는 연결 관계의 높은 가능성을 표시하고; 공간 임계값은 예를 들어 약 5 화소들 내지 약 100 화소들이도록 설정된, 스트로크들의 평균 포인트들 또는 무게중심들 사이의 화소 단위의 거리로서 정의될 수도 있다) 및/또는 입력들 (404 및 412a) 의 특징들 (예를 들어, 컨테이너에 근접하거나 인접한 일단을 갖는 라인은 연결 관계의 높은 가능성을 표시하며; 근접성은 공간 임계값과 유사한 거리 범위에서 정의됨) 에 기인하여 원 (404) 의 컨넥터로서 식별될 수도 있다. 컨테이너와 같은 형상 오브젝트, 및 그것에 연결된 컨넥터는 이들 엘리먼트들 중 하나에 대해 수행된 일부 액션들이 다른 엘리먼트에 대한 반응들을 야기하도록 서로와 연관된다. 예를 들어, 컨테이너가 사용자에 의해 선택 및 이동되는 경우에, 컨넥터가 컨테이너와 함께 이동된다.
도 9 는 원 (404) 에 근접하지 않은 라인 (412a) 의 종단에 회전된 v-형상으로서 그려진 형상 엘리먼트 (412) 의 부분 (412b) 의 후속적인 입력을 도시한다. 부분 (412b) 은 화살표 (412) 의 화살표 머리를 구성한다. 구부러진 라인 (412a) 및 화살표 머리 (412b) 로 구성된 화살표 (412) 의 화살표 머리로서의 부분 (412b) 의 검출 및 인식 시에, 형상 프롬프터 (4016) 의 인식된 형상 그래픽은 형상 프롬프터 (4016) 의 재포지셔닝 없이 화살표 그래픽 (4022) 로 변경되지만, 재포지셔닝이 가능하다. 도 9 에 도시된 그래픽은 일반적인 화살표이지만, 그래픽은 인식된 구부러진 화살표 (412) 처럼 이러한 예에서 구부러진 화살표일 수도 있다.
나중에 그려진 형상 (412b) 및 먼저 그려진 형상 (412a) 의 단일의 형상 (412) 에 속하는 것으로서의 결정은 확률 스코어에 기초하여 애플리케이션 (112) 에 의해 행해진다. 즉, 화살표 (412) 의 스트로크들 (412a 및 412b) 은 상대적으로 긴 시간 간격, 즉 1 초이상 내에서 그려져서 (예를 들어, 애플리케이션 (112) 에 의해 사용되는 미리 설정된, 및 재설정가능한, 시간적 분리 임계값보다 크며, 여기서 그 임계값 아래의 드로잉 스트로크들 사이의 시간 분리는 단일의 형상의 부분들인 스트로크들의 높은 가능성을 표시한다), 스트로크 (412a) 가 도 9 를 참조하여 기술된 바와 같이, 인식기 (118) 로만 파싱되고 구부러진 라인으로서 인식된다. 그러나, 완전한 컨넥터 화살표 (412) 의 적절한 식별은 입력 스트로크들의 공간적 및 시간적 스코어들 및 메트릭들 또는 특징들로부터 계산된 전체 확률 스코어를 통해 제공된다. 즉, 동일한 오브젝트의 부분인 스트로크들 (412a 및 412b) 에 대한 시간적 스코어가 낮은 동안, 명확화 시스템 및 방법에 의해 수행되는 그룹핑 및 특징들 (예를 들어, 라인의 종단에서의 회전된 v-형상) 을 통해 리턴되는 바와 같은, 동일한 오브젝트의 부분인 스트로크들 (412a 및 412b) 에 대한 높은 공간 스코어의 결합은 높은 하나의 형상에 속하는 스트로크들 (412a 및 412b) 의 전체 확률을 야기한다. 라인 (412a) 에 부가되는 화살표 머리의 이러한 결정은, 예를 들어 화살표들이 컨넥터들인 높은 가능성을 갖는 것으로서 애플리케이션 (112) 에 의해 분류되는 경우, 형상 엘리먼트 (412) 의 컨넥터 스테이터스를 확인하기 위해 사용될 수 있다.
도 10 은 도 9 에 도시된 부분 (412b) 과 같이 회전된 v-형상으로서 그려지지만 도 9 에 도시된 부분 (412b) 과 달리 라인 (412a) 의 종단으로부터 떨어져 그려진 형상 엘리먼트 (412) 의 부분 (412b') 의 대안적인 입력을 도시한다. 디지털 잉크의 렌더링 시에, 텍스트 프롬프터 (4010) 로서의 가이드 엘리먼트 (4000) 의 디스플레이는 부분 (412b'), 즉 기호 ">" 로부터 인식된 조판 잉크 텍스트 (4024) 를 포함하는 텍스트 컴포넌트 (4006) 로 행해진다. 부분 (412b') 은 입력 (412b') 이 별개의 오브젝트에 속하는 더 높은 확률 스코어를 야기하는 부분 (412a) 과 부분 (412b') 사이의 상대적으로 큰 거리에 기인하여 형상 (412) 의 부분으로서 대신에 텍스트로서 인식되고, 따라서, 명확화 시스템 및 방법이 비텍스트 대신에 텍스트로서 부분 (412b') 을 분류할 수 있다. 본 시스템 및 방법은 그러나 다음과 같이 이러한 인식 결과를 변경할 능력을 사용자들에게 제공한다.
가이드 엘리먼트 (4000) 의 형상, 텍스트 및 제어 컴포넌트들 각각은 가이드 엘리먼트 (4000) 의 동시 디스플레이 (즉, 도 10 에서 처럼) 또는 사후-디스플레이 (즉, 도 7 에서 처럼) 모드들에서 상호작용적이다. 이러한 상호작용성은 애플리케이션 (112) 에 의한 단일-포인트 제스쳐, 예를 들어, 단일 탭 또는 긴 가압과 같은, 컴포넌트에 대한 선택 제스쳐의 검출에 의한 선택을 통해 액세스되어, 가이드 엘리먼트의 디스플레이 모드, 예를 들어, 동시 또는 사후에 대해 그 컴포넌트에 대한 할당된 액션들을 야기할 수 있다. 이에 따라, 사용자들은 예를 들어 컨텐츠의 인식 스테이터스를 확인하기 위해 핸드드로잉 컨텐츠와 상호작용할 수 있다. 도 11 은 텍스트 프롬프터 (4010) 에서 인식된 텍스트 (4024) 에 대한 선택 제스쳐의 검출에 응답하여 디스플레이된 메뉴 (4026) 를 갖는 도 10 의 입력 스테이지를 보여준다. 텍스트 메뉴 (4026) 는 2 개의 디스플레이 구역들 (4026a 및 4026b) 을 갖는다.
메뉴 구역 (4026a) 에서, 텍스트 인식 후보들의 리스트가 디스플레이된다. 이들 후보들은 부분 (412b') 에 대한 인식 프로세스에 대해 HWR 시스템 (114) 에 의해 출력된 가장 가능성있는 인식 후보들이다. 도 11 에서, 4 개의 최선의 후보들이 도시되지만, 이들 보다 많거나 적은 것이 디스플레이될 수 있다. 구역 (4026a) 에서의 디스플레이된 후보들 각각은 애플리케이션 (112) 에 의한 단일-포인트 제스쳐, 예를 들어, 단일 탭 또는 긴 가압과 같은, 후보에 대한 선택 제스쳐의 검출에 의한 선택을 통해 개별적으로 상호작용적이어서, 선택된 후보로 변경되는 텍스트 프롬프터 (4010) 에서의 인식된 텍스트 (4024) 를 야기하고, 선택된 후보는 부분 (412b') 이 조판되는 경우에 디스플레이된다. 메뉴 구역 (4026b) 에서, 텍스트 메뉴의 경우 "텍스트 대 형상" 인 수동 분류 액션이 디스플레이된다. 구역 (4026b) 의 이러한 액션은 유사하게 상호작용적이며, 인식된 텍스트 (412b') 가 결과적인 재인식으로 비텍스트로서 재분류되게 하는 선택이 수행된다. 이러한 프로세스에서, 명확화 시스템 및 방법은 이들 다른 형상 엘리먼트들과의 형상 (412b') 의 그룹핑들이 인식기 (118) 에 의한 결과적인 인식을 위해 더 큰 형상 엘리먼트, 즉 형상 엘리먼트 (412) 의 부분인 형상 (412b') 의 확률을 야기하는지 여부를 결정하기 위해 다른 이미 분류된 근처의 형상 엘리먼트들, 즉 라인 (412a) 과 함께 지금 분류된 형상 (412b') 을 재평가한다. 디스플레이된 액션들은 단지 예일 뿐이며, 더 많거나 더 적거나 상이한 액션들이 디스플레이될 수도 있다.
도 12 는 텍스트 프롬프터 (4010) 에서 '모어' 아이콘 (4008) 에 대한 선택 제스쳐의 검출에 응답하여 디스플레이된 상이한 메뉴 (4028) 를 갖는 도 10 의 입력 스테이지를 보여준다. 텍스트 제어 메뉴 (4028) 는 2 개의 디스플레이 구역들 (4028a 및 4028b) 을 갖는다. 메뉴 구역 (4028a) 에서, 텍스트 제어 메뉴의 경우 "텍스트 대 형상" 액션, "리플로우" 액션 및 "조판" 액션인 컨텐츠 변환에 관련된 액션들이 디스플레이된다. 구역 (4028b) 의 이러한 액션들은 개별적으로 상호작용적이며, "텍스트 대 형상" 의 선택은 상술된 바와 같은 수동적 재분류를 야기하고, "리플로우" 액션의 선택은, 텍스트 제어 메뉴 (4028) 의 경우, 다수의 라인들 내에서 또는 다수의 라인들 상으로 디지털 또는 조판 잉크 텍스트의 리플로우를 야기하며, "조판" 액션의 선택은, 텍스트 제어 메뉴 (4028) 의 경우, 디스플레이된 디지털 잉크 텍스트의 조판하는 것을 야기한다. 메뉴 구역 (4028b) 에서, 텍스트 제어 메뉴 (4028) 의 경우, 잘라내기, 복사, 삭제, 보내기 (export) 및 속성들/설정들인 표준 동작들과 관련된 상호작용적 액션들이 디스플레이된다. 이들 디스플레이된 액션들은 단지 예일 뿐이며, (수동 재분류는 제외하고) 더 많거나 더 적거나 상이한 액션들이 디스플레이될 수도 있다.
도 13 은 도 6 의 그러나 디스플레이로부터 형상 프롬프터 (4016) 가 생략되고 (예를 들어, 정렬 그리드에 의해 설정되는 바와 같이) 가이드 엘리먼트 (4000) 의 컨넥터 프롬프터 (4030) 가 컨넥터 (412) 근처에 있는 컨넥터 (412) 를 도시한다. 컨넥터 프롬프터는 애플리케이션 (112) 에 의한 단일-포인트 제스쳐, 예를 들어, 단일 탭 또는 긴 가압과 같은, 컨넥터 (412) 에 대한 선택 제스쳐의 검출에 기인하여 디스플레이된다. 선택된 컨넥터 (412) 는 디지털 잉크 상에 오버레이된 형상의 조판 버전을 포함하는 선택 모드 렌더링에서 디스플레이되며, 디지털 잉크의 렌더링은 강조해제되고 (예를 들어, 더 옅게 디스플레이되고), 조판 잉크는 강조되고 (예를 들어, 통상의 잉크 디스플레이의 그것보다 더 큰 컬러 및/또는 잉크 가중치로 디스플레이되고), 선택은 컨넥터의 리사이징을 위해 A 를 핸들링한다. 컨넥터 프롬프터 (4030) 는 형상 (412) 으로부터 인식된 화살표 그래픽 (4022) 을 포함하는 컨넥터 컴포넌트 (4032) 를 갖는다. 제어 엘리먼트 (4008) 는 또한 컨넥터 컴포넌트 (4032) 의 우측에 및 수평 바 (4012) 위에서 컨넥터 프롬프터 (4030) 에 디스플레이된다.
컨넥터 프롬프터가 컨넥터와의 사용자 상호작용에 응답하여 디스플레이됨에 따라, 컨넥터 프롬프터 (4030) 는, 컨넥터 프롬프터와의 상호작용이 예상되기 쉽기 때문에, 형상 및 텍스트 프롬프터들보다 더 선명한 렌더링으로 디스플레이된다. 컨넥터 프롬프터의 디스플레이는 선택된 컨넥터의 선택 해제가 검출되거나, 컨넥터 프롬프터 또는 그것이 속하는 컨텐츠와의 상호작용이 검출되지 않는 미리 정의된 시간 주기 (예를 들어, 약 5 초) 의 종단까지, 또는 상이한 입력이 애플리케이션 (112) 에 의해 수신될 때까지 유지되며, 비가시성으로 가이드 엘리먼트가 페이딩한다.
텍스트 프롬프터와 마찬가지로, 컨넥터 프롬프터는 상호작용적이다. 도 14 는 컨넥터 프롬프터 (4030) 에서 컨넥터 아이콘 (4032) 에 대한 선택 제스쳐 (4035) 의 검출에 응답하여 디스플레이된 메뉴 (4034) 를 갖는 도 13 의 입력 스테이지를 보여준다. 컨넥터 메뉴 (4034) 는 2 개의 디스플레이 구역들 (4034a 및 4034b) 을 갖는다. 메뉴 구역 (4034a) 에서, 개별적으로 상호작용적인 대안적인 컨넥터 화살표 타입들의 리스트가 디스플레이된다. 이들 대안들은 이러한 예에서 화살표와 상호작용되는 컨넥터의 타입에 기초하여 디스플레이된다. 도 8 의 라인 컨넥터의 경우, 대안적인 컨넥터 타입들의 상이한 리스트가 컨넥터 메뉴에 도시된다. 메뉴 구역 (4034b) 에서, 개별적으로 상호작용적이고 컨텐츠 변환에 관련되는 액션들이 디스플레이 되며, 이들은 컨넥터 메뉴의 경우 "텍스트로서 설정" 액션 및 "낙서로서 설정" 액션을 포함하고, "텍스트로서 설정" 액션의 선택은 상술된 바와 같은 수동적 재분류를 야기하고, "낙서로서 설정" 액션의 선택은 낙서로 변경될 컨넥터로서의 형상 (412) 의 인식을 야기하며, 이것에 의해 다이어그램 (400) 의 타입세팅 후에도 디지털 잉크 렌더링에 대한 상술된 결과적인 효과를 갖는 재분류된 낙서의 컨넥터 스테이터스를 제거한다. 이들 디스플레이된 액션들은 단지 예일 뿐이며, 더 많거나, 더 적거나 상이한 액션들이 디스플레이될 수도 있다.
도 15 는 컨넥터 프롬프터 (4030) 에서 '모어' 아이콘 (4008) 에 대한 선택 제스쳐의 검출에 응답하여 디스플레이된 메뉴 (4036) 를 갖는 도 13 의 입력 스테이지를 보여준다. 컨넥터 메뉴 (4036) 는 2 개의 디스플레이 구역들 (4036a 및 4036b) 을 갖는다. 메뉴 구역 (4036a) 에서, 상술된 표준 동작들과 관련된 상호작용적 액션들이 디스플레이된다. 메뉴 구역 (4036b) 에서는, "조판" 컨텐츠 변환 액션이 디스플레이된다. 이들 디스플레이된 액션들은 단지 예일 뿐이며, 더 많거나, 더 적거나 상이한 액션들이 디스플레이될 수도 있다.
도 16 은 컨테이너 (408) 및 포함된 텍스트 (410) 의 후속적인 입력 후의 그리고 텍스트 엘리먼트 (416) 의 후속적인 입력을 갖는 다이어그램 (400) 을 도시한다. 인터페이스 (104) 상에서의 입력의 시작 및 대응하는 디지털 잉크의 렌더링의 검출 시에, 본 시스템 및 방법은 수평 바 (4012) 위에 텍스트 (416) 로부터 인식된 조판 잉크 단어 (4014), 즉 단어 "Operation" 을 포함하는 텍스트 컴포넌트 (4006) 를 갖는 텍스트 프롬프터 (4010) 로서의 가이드 엘리먼트 (4000) 의 디스플레이를 개시한다.
도 17 은 서로로부터 떨어져 기록되는 부분 (416a), 글자 "O", 및 부분 (416b), 글자들 "peration" 을 갖는 텍스트 엘리먼트 (416) 의 대안적인 입력을 도시한다. 디지털 잉크의 렌더링 시에, 부분 (416a) 위의 형상 프롬프터 (4016) 및 부분 (416b) 위의 텍스트 프롬프터 (4010) 양자 모두로서의 가이드 엘리먼트 (4000) 의 디스플레이가 행해진다. 이것은 부분 (416a) 이 텍스트 대신에 형상, 즉 원 그래픽 (4018) 의 디스플레이를 갖는 원으로서 인식되고, 부분 (416b) 은 텍스트로서 적절하게 인식되기 때문이다. 이것은 입력들 (412b 및 416b) 이 별개의 오브젝트들에 속하는 더 높은 확률 스코어를 야기하는 부분들 (416a 및 416b) 사이의 상대적으로 큰 거리에 기인하며, 따라서 명확화 시스템 및 방법은 부분 (416a) 을 텍스트 대신에 비텍스트로서 분류할 수 있다. 전과 같이, 이러한 인식 결과는 메뉴를 론치하는 형상 프롬프터 (4016) 와의 상호작용을 통해 변경될 수 있다.
도 18 은 형상 프롬프터 (4016) 에서 형상 컴포넌트 (4004) 에 대한 선택 제스쳐의 검출에 응답하여 디스플레이된 메뉴 (4038) 를 갖는 도 17 의 입력 스테이지를 보여준다. 형상 메뉴 (4038) 는 2 개의 디스플레이 구역들 (4038a 및 4038b) 을 갖는다. 메뉴 구역 (4038a) 에서, 형상 인식 후보들의 리스트가 디스플레이된다. 이들 후보들은 부분 (416a) 에 대한 인식 프로세스에 대해 HWR 시스템 (114) 에 의해 출력된 가장 가능성있는 인식 후보들이다. 도 18 에서, 4 개의 최선의 후보들이 도시되지만, 이들보다 더 많거나 더 적인 후보들이 디스플레이될 수 있다. 구역 (4038a) 에서의 디스플레이된 후보들 각각은 애플리케이션 (112) 에 의한 단일-포인트 제스쳐, 예를 들어, 단일 탭 또는 긴 가압과 같은, 후보에 대한 선택 제스쳐의 검출에 의한 선택을 통해 개별적으로 상호작용적이어서, 선택된 후보로 변경되는 형상 프롬프터 (4016) 에서의 형상 그래픽 (4018) 를 야기하고, 선택된 후보는 부분 (416a) 이 조판되는 경우에 디스플레이된다. 메뉴 구역 (4038b) 에서, 형상 메뉴의 경우 "형상 대 텍스트" 인 수동적 분류 액션이 디스플레이된다. 구역 (4038b) 의 이러한 액션은 유사하게 상호작용적이며, 선택은 수행되는 결과적인 재인식에 의해 인식된 형상 (416a) 이 텍스트로서 재분류되게 한다. 이러한 프로세스에서, 명확화 시스템 및 방법은 이들 다른 텍스트 엘리먼트들과의 텍스트 (416a) 의 그룹핑들이 인식기 (118) 에 의한 결과적인 인식을 위해 더 큰 텍스트 엘리먼트, 즉 텍스트 엘리먼트 (416) 의 부분인 텍스트 (416a) 의 확률을 야기하는지 여부를 결정하기 위해 다른 이미 분류된 근처의 텍스트 엘리먼트들, 즉 텍스트 (416b) 과 함께 지금 분류된 텍스트 (416a) 을 재평가한다. 디스플레이된 액션들은 단지 예일 뿐이며, 더 많거나, 더 적거나 상이한 액션들이 디스플레이될 수도 있다.
도 19 는 이미 입력된 텍스트 (416) 를 포함하는 컨테이너로서 그려진 다이어그램 (400) 의 마지막 엘리먼트로서의 (도 16 의 입력으로부터의) 형상 엘리먼트 (414) 의 후속적인 입력을 도시한다. 이 시점에서, 형상 엘리먼트 (414) 는 입력들 (414 및 416) 의 상대적 위치들 및 특징들에 기인하여 인식된 단어 (416) 를 포함하는 컨테이너로서 식별될 수도 있다. 인터페이스 (104) 상에서의 입력의 시작 및 대응하는 디지털 잉크의 렌더링의 검출 시에, 본 시스템 및 방법은 예를 들어 텍스트 프롬프터 (4010) 의 디스플레이를 생략하고 형상 (414) 으로부터 인식된 타원 그래픽 (4018) 을 포함하는 형상 컴포넌트 (4002) 를 갖는 (예를 들어, 정렬 그리드에 의해 설정되는 바와 같은) 핸드드로잉 형상 (414) 위의 형상 프롬프터 (4016) 로서의 가이드 엘리먼트 (4000) 의 디스플레이를 개시한다.
도 20 은 도 19 의 컨테이너 (414) 및 포함된 텍스트 (416) 를 보여주지만, 이들 엘리먼트들은 예를 들어 컨테이너 (414) 에 대한 선택 제스쳐의 검출에 기인하여 형상의 선택된 조판 버전 및 텍스트의 선택된 디지털 잉크 버전 (그러나 텍스트는 마찬가지로 선택된 조판으로 렌더링될 수 있다) 을 포함하는 상술된 선택 모드 렌더링으로 디스플레이된다. 응답으로, 형상 프롬프터 (4016), 텍스트 프롬프터 (4010) 및 제어 엘리먼트 (4008) 의 전체 가이드 엘리먼트 (4000) 가 디스플레이되어, 컨테이너 및 포함된 텍스트의 전체 선택된 다이어그램 엘리먼트가 '모어' 아이콘을 통해 상호작용될 수 있거나, 형상 및 텍스트 엘리먼트들이 각각의 프롬프터들을 통해 개별적으로 상호작용될 수 있다.
도 21a 및 도 21b 는 텍스트 엘리먼트 (416) 및 형상 엘리먼트 (414) 가 각각 별개로 그리고 단독으로 입력된 이러한 선택의 대안적인 시나리오들을 도시한다. 그러한 경우에, 단독의 엘리먼트들의 선택은 해당 엘리먼트의 선택 모드 디스플레이 및 (제어 엘리먼트를 갖는) 대응하는 가이드 엘리먼트 프롬프터의 디스플레이를 야기한다.
도 22 는 예를 들어 타입세팅을 수행하기 위해 애플리케이션 (112) 과의 사용자 상호작용에 응답하여 조판 잉크로 디스플레이된 완성된 다이어그램 (400) 을 도시한다. 즉, 다이어그램 엘리먼트들은 조판 텍스트 (406b) 를 포함하는 조판 컨테이너 (404b), 조판 텍스트 (410b) 를 포함하는 조판 컨테이너 (408b), 조판 컨테이너들 (404b 및 408b) 를 연결하는 조판 컨넥터 (412c), 및 조판 텍스트 (416b) 를 포함하는 조판 컨테이너 (414b) 로서 디스플레이된다.
도 23 은 예를 들어 컨테이너 (414b) 에 대한 선택 제스쳐의 검출에 기인하여 형상 및 텍스트의 선택된 조판 버전을 포함하는 상술된 선택 모드 렌더링으로 디스플레이된 조판 컨테이너 (414b) 및 포함된 텍스트 (416b) 를 갖는 조판 다이어그램 (400) 을 도시한다. 응답으로, 형상 프롬프터 (4016), 텍스트 프롬프터 (4010) 및 제어 엘리먼트 (4008) 의 전체 가이드 엘리먼트 (4000) 가 전과 같이 디스플레이된다.
도 24, 도 25 및 도 26 은 각각 형상 프롬프터 (4016), 텍스트 프롬프터 (4010) 및 제어 엘리먼트 (4008) 에 대한 선택 제스쳐들의 검출 시에 디스플레이되는 상술된 상호작용적 액션들을 갖는 형상, 텍스트 및 제어 메뉴들 (4038, 4026 및 4028) 을 여러가지로 보여준다.
도 27 은 애플리케이션 (112) 에 의한 다른 컨테이너들에 대한 다른 단일-포인트 제스쳐, 예를 들어, 짧은 탭이 후속되는 컨테이너들 (408b 및 414b) 중 하나에 대한 단일-포인트 제스쳐, 예를 들어, 긴 가압과 같은, 다중-선택 제스쳐의 검출에 기인하여, 선택된 엘리먼트들 모두에 대한 선택 박스 (4040) 을 갖는 상술된 선택 모드 렌더링에서 디스플레이된 조판 컨테이너 (408b) 및 포함된 텍스트 (410b) 및 조판 컨테이너 (414b) 및 포함된 텍스트 (416b) 를 갖는 조판 다이어그램 (400) 을 도시한다. 응답으로, 다중-엘리먼트 프롬프터 (4042) 및 제어 엘리먼트 (4008) 를 포함하는 가이드 엘리먼트 (4000) 가 디스플레이된다. 가이드 엘리먼트의 다른 프롬프터들 및 컴포넌트들 처럼, 다중-엘리먼트 프롬프터 (4042) 는 상호작용적이다.
도 28 은 다중-엘리먼트 프롬프터 (4042) 에 대한 선택 제스쳐 (418) 의 검출에 응답하여 디스플레이된 메뉴 (4044) 를 갖는 도 27 의 선택 모드를 도시한다. 다중-엘리먼트 메뉴 (4044) 는 상술된 "텍스터로서 설정", "형상으로서 설정" 및 "낙서로서 설정" 액션들을 포함하는 수동 분류 액션들의 리스트를 디스플레이한다. 메뉴 (4044) 의 각 액션은 애플리케이션 (112) 에 의한 단일-포인트 제스쳐, 예를 들어, 단일 탭 또는 긴 가압과 같은, 그것에 대한 선택 제스쳐의 검출에 의한 선택을 통해 개별적으로 상호작용적이다. 이들 액션들의 선택은 다중-선택의 모든 엘리먼트들이 이에 따라 재분류 및 재인식되게 한다. 다중-선택 모드에서, 제어 엘리먼트 (4008) 의 선택은 앞에서 기술된 상호작용적 엘리먼트들을 갖는 제어 메뉴 (4028) 를 론치한다.
앞에서 기술된 바와 같이, 인식기로 파싱되지만 인식되지 않는 입력 형상들은, 예를 들어, 그들이 아웃-오브-렉시콘 형상들이기 때문에, 낙서들로서 취급되고, 따라서 타입세팅된 다이어그램에서 조판 잉크로 렌더링되지 않는다. 이러한 비인식은 인식기 (118) 가 소정의 확률 스코어 임계값 위의 후보가 결정되는 경우 출력된 인식만을 리턴하도록 구성되는 경우에 발생한다. 다이어그램 (400) 에 대한 예시의 낙서 입력이 이제 도 29 내지 도 31 을 참조하여 기술된다.
도 29 는 조판 컨테이너 (408b) 위의 자유형 형상으로서 그려진 형상 엘리먼트 (420) 의 입력을 도시한다. 조판 다이어그램 (400) 에 대한 새로운 입력은 새로운 입력을 증분적으로 타입세팅하기 위해 설정이 행해지지 않았다면 디지털 잉크로서 디스플레이된다. 이 시점에서, 형상 엘리먼트 (404) 는 명확화 시스템 및 방법에 의해 비텍스트로서 식별되지만 그것이 아웃-오브-렉시콘 형상이기 때문에 인식기 (118) 에 의해 인식되지 않는다. 사용자들에게 이러한 실패된 인식의 피드백을 제공하기 위해, 인터페이스 (104) 상에서의 입력의 시작 및 대응하는 디지털 잉크의 렌더링의 검출 시에, 본 시스템 및 방법은 낙서 그래픽 (4050) 을 포함하는 자유형 컴포넌트 (4048) 를 갖는 (예를 들어, 정렬 그리드에 의해 설정되는 바와 같은) 핸드드로잉 형상 (420) 위에 자유형 프롬프터 (4046) 로서의 가이드 엘리먼트 (4000) 의 디스플레이를 개시한다. 사용자 입력을 방해하지 않도록, 자유형 프롬프터 (4046) 는 다른 프롬프터들과 동일하거나 유사한 밝은 및 미묘한 렌더링으로 디스플레이되고 디스플레이는 유사한 방식으로 유지된다.
도 30 은 애플리케이션 (112) 에 의한 형상에 대한 단일-포인트 제스쳐, 예를 들어, 짧은 탭과 같은, 선택 제스쳐의 검출에 기인하여, 선택된 엘리먼트에 대한 선택 박스 (4040) 를 갖는 상술된 선택 모드 렌더링에서 디스플레이된 디지털 잉크 형상 (420) 을 갖는 조판 다이어그램 (400) 을 도시한다. 응답으로, 자유형 프롬프터 (4046) 및 제어 엘리먼트 (4008) 를 포함하는 가이드 엘리먼트 (4000) 가 디스플레이된다. 가이드 엘리먼트의 다른 프롬프터들 및 컴포넌트들처럼, 자유형 프롬프터 (4046) 는 상호작용적이다.
도 31 은 자유형 컴포넌트 (4048) 에 대한 선택 제스쳐 (422) 의 검출에 응답하여 디스플레이된 메뉴 (4052) 를 갖는 도 30 의 선택 모드를 도시한다. 낙서 메뉴 (4052) 는 상술된 "텍스트로서 설정" 및 "형상으로서 설정" 액션들을 포함하는 수동 분류 액션들의 리스트를 디스플레이한다. 메뉴 (4052) 의 각각의 액션은 애플리케이션 (112) 에 의한 단일-포인트 제스쳐, 예를 들어, 단일 탭 또는 긴 가압과 같은, 그것에 대한 선택 제스쳐의 검출에 의한 선택을 통해 개별적으로 상호작용적이다. 이들 액션들의 선택은 선택된 비인식된 자유형 엘리먼트가 이에 따라 재분류 및 재인식되게 한다 (예를 들어, 이러한 수동 재분류는 확률 스코어 임계값 아래의 자유형 형상에 대한 최선의 후보를 리턴하도록 인식기 (118) 를 프롬프트할 수도 있다).
상술한 것은 최선의 모드인 것으로 고려되는 것 및/또는 다른 예들을 기술했지만, 그것에 여러 변경들이 행해질 수도 있다는 것 및 여기에 개시된 주제는 여러 형태들 및 예들에서 구현될 수도 있다는 것, 및 그것들은 그 일부만이 여기에 기술된 다수의 다른 애플리케이션들, 조합들, 및 환경들에서 적용될 수도 있다는 것이 이해된다. 당업자들은 개시된 양태들이 주제의 진정한 사상 및 범위로부터 일탈하지 않고 변경 또는 보정될 수도 있다는 것을 인식할 것이다. 따라서, 주제는 본 설명에서의 특정의 상세들, 전시들, 및 도시된 예들에 제한되지 않는다. 그것은 여기에 개시된 이로운 개념들의 진정한 범위 내에 있는 임의의 및 모든 변경들 및 병형들을 보호하도록 의도된다.

Claims (20)

  1. 컴퓨팅 디바이스 상에서 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉 (hand-drawing) 을 안내하기 위한 시스템으로서,
    상기 컴퓨팅 디바이스는 프로세서 및 상기 프로세서의 제어 하에서 핸드드로잉 다이어그램 엘리먼트 입력을 검출 및 인식하기 위한 적어도 하나의 비일시적 컴퓨터 판독가능 매체를 포함하고,
    상기 적어도 하나의 비일시적 컴퓨터 판독가능 매체는,
    상기 컴퓨팅 디바이스의 상호작용적 디스플레이의 입력 영역 상에서,
    비텍스트 핸드드로잉 다이어그램 엘리먼트, 및
    선택 제스쳐
    의 입력을 수용하고; 그리고
    상기 상호작용적 디스플레이 상에서,
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 디지털 잉크,
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크 상에 오버레이된 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 인식된 형태로서, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크의 하나 이상의 기하학적 특징들을 포함하고, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태의 상기 기하학적 특징들 중 하나 이상의 기하학적 특징들의 변경을 허용하는, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 인식된 형태, 및
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 적어도 하나의 묘사를 동적으로 디스플레이하는 동적 프롬프터로서, 상기 동적 프롬프터는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태 및 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 기하학적으로 유사한 변형들로 구성되는, 상기 동적 프롬프터
    의 디스플레이를 야기하도록 구성되며,
    상기 컴퓨터 판독가능 매체는 상기 선택 제스쳐가 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크를 선택하는 것에 응답하여 상기 동적 프롬프터의 디스플레이를 야기하도록 구성되고, 그리고
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 공간적 스코어, 시간적 스코어, 및 입력 특징 중 적어도 하나로부터 계산된 확률 스코어에 기초하여 초기적으로 결정되는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
  2. 제 1 항에 있어서,
    상기 동적 프롬프터는 핸드라이팅이 입력됨에 따라 핸드라이팅 텍스트 다이어그램 엘리먼트의 적어도 하나의 묘사를 동적으로 디스플레이하는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
  3. 제 1 항에 있어서,
    상기 동적 프롬프터는 적어도 하나의 상호작용적 프롬프터 엘리먼트를 포함하고,
    상기 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 상기 적어도 하나의 상호작용적 프롬프터 엘리먼트와의 상호작용을 수신하는 것에 응답하여 액션 메뉴를 디스플레이하도록 구성되는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 비텍스트 엘리먼트의 묘사를 아이콘 형태로 디스플레이하도록 구성되는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
  5. 제 4 항에 있어서,
    상기 비텍스트 엘리먼트는 상기 다이어그램의 형상 엘리먼트이고,
    상기 아이콘은 상기 형상을 묘사하는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 조판 잉크로 텍스트 엘리먼트의 묘사를 디스플레이하도록 구성되는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
  7. 컴퓨팅 디바이스 상에서 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법으로서,
    상기 컴퓨팅 디바이스는 프로세서 및 상기 프로세서의 제어 하에서 핸드드로잉 다이어그램 엘리먼트 입력을 검출 및 인식하기 위한 적어도 하나의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 방법은,
    상기 컴퓨팅 디바이스의 상호작용적 디스플레이의 입력 영역 상에서,
    비텍스트 핸드드로잉 다이어그램 엘리먼트, 및
    선택 제스쳐
    를 입력하는 단계; 및
    상기 상호작용적 디스플레이 상에서,
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 디지털 잉크 상에 오버레이된 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 인식된 형태로서, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크의 하나 이상의 기하학적 특징들을 포함하고, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태의 상기 기하학적 특징들 중 하나 이상의 기하학적 특징들의 변경을 허용하는, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 인식된 형태, 및
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 적어도 하나의 묘사를 동적으로 디스플레이하는 동적 프롬프터로서, 상기 동적 프롬프터는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태 및 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 기하학적으로 유사한 변형들로 구성되는, 상기 동적 프롬프터
    를 디스플레이하는 단계를 포함하고,
    상기 동적 프롬프터는, 상기 선택 제스쳐를 통해, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크를 선택하는 것에 응답하여 디스플레이되고, 그리고
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 공간적 스코어, 시간적 스코어, 및 입력 특징 중 적어도 하나로부터 계산된 확률 스코어에 기초하여 초기적으로 결정되는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법.
  8. 제 7 항에 있어서,
    상기 동적 프롬프터는 핸드라이팅이 입력됨에 따라 핸드라이팅 텍스트 다이어그램 엘리먼트의 적어도 하나의 묘사를 동적으로 디스플레이하는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법.
  9. 제 7 항에 있어서,
    상기 동적 프롬프터는 적어도 하나의 상호작용적 프롬프터 엘리먼트를 포함하고,
    상기 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 상기 적어도 하나의 상호작용적 프롬프터 엘리먼트와의 상호작용을 수신하는 것에 응답하여 액션 메뉴를 디스플레이하도록 구성되는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법.
  10. 제 7 항에 있어서,
    비텍스트 엘리먼트의 묘사를 아이콘 형태로 디스플레이하는 단계를 포함하는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법.
  11. 제 10 항에 있어서
    상기 비텍스트 엘리먼트는 상기 다이어그램의 형상 엘리먼트이고,
    상기 아이콘은 상기 형상을 묘사하는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법.
  12. 제 7 항에 있어서,
    조판 잉크로 텍스트 엘리먼트의 묘사를 디스플레이하는 단계를 포함하는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법.
  13. 수록된 컴퓨터 판독가능 프로그램 코드를 갖는 비일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 판독가능 프로그램 코드는 컴퓨팅 디바이스 상에서 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 방법을 구현하기 위해 실행되도록 구성되고,
    상기 컴퓨팅 디바이스는 프로세서 및 상기 프로세서의 제어 하에서 핸드드로잉 다이어그램 엘리먼트 입력을 검출 및 인식하기 위한 적어도 하나의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 방법은,
    상기 컴퓨팅 디바이스의 상호작용적 디스플레이의 입력 영역 상에서,
    비텍스트 핸드드로잉 다이어그램 엘리먼트, 및
    선택 제스쳐
    를 입력하는 단계; 및
    상기 상호작용적 디스플레이 상에서,
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 디지털 잉크 상에 오버레이된 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 인식된 형태로서, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크의 하나 이상의 기하학적 특징들을 포함하고, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태의 상기 기하학적 특징들 중 하나 이상의 기하학적 특징들의 변경을 허용하는, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 인식된 형태, 및
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 적어도 하나의 묘사를 동적으로 디스플레이하는 동적 프롬프터로서, 상기 동적 프롬프터는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태 및 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 기하학적으로 유사한 변형들로 구성되는, 상기 동적 프롬프터
    를 디스플레이하는 단계를 포함하고,
    상기 동적 프롬프터는, 상기 선택 제스쳐를 통해, 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크를 선택하는 것에 응답하여 디스플레이되고, 그리고
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 공간적 스코어, 시간적 스코어, 및 입력 특징 중 적어도 하나로부터 계산된 확률 스코어에 기초하여 초기적으로 결정되는, 비일시적 컴퓨터 판독가능 매체.
  14. 제 13 항에 있어서,
    상기 동적 프롬프터는 핸드라이팅이 입력됨에 따라 적어도 하나의 다이어그램 엘리먼트를 동적으로 디스플레이하는, 비일시적 컴퓨터 판독가능 매체.
  15. 제 13 항에 있어서,
    상기 동적 프롬프터는 적어도 하나의 상호작용적 프롬프터 엘리먼트를 포함하고,
    상기 적어도 하나의 비일시적 컴퓨터 판독가능 매체는 상기 적어도 하나의 상호작용적 프롬프터 엘리먼트와의 상호작용을 수신하는 것에 응답하여 액션 메뉴를 디스플레이하도록 구성되는, 비일시적 컴퓨터 판독가능 매체.
  16. 제 13 항에 있어서,
    상기 방법은 비텍스트 엘리먼트의 묘사를 아이콘 형태로 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  17. 제 16 항에 있어서
    상기 비텍스트 엘리먼트는 상기 다이어그램의 형상 엘리먼트이고,
    상기 아이콘은 상기 형상을 묘사하는, 비일시적 컴퓨터 판독가능 매체.
  18. 제 13 항에 있어서,
    상기 방법은 조판 잉크로 텍스트 엘리먼트의 묘사를 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  19. 제 1 항에 있어서,
    상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크에 비해 시각적으로 강조되는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
  20. 제 19 항에 있어서,
    시각적 강조는 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 디지털 잉크에 비해 상기 비텍스트 핸드드로잉 다이어그램 엘리먼트의 상기 인식된 형태를 굵게 하는 것으로 이루어지는, 텍스트 및 비텍스트 엘리먼트들을 포함하는 다이어그램들의 핸드드로잉을 안내하기 위한 시스템.
KR1020187014271A 2015-10-19 2016-10-18 핸드라이팅 다이어그램 입력을 안내하는 시스템 및 방법 KR102392537B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15290270 2015-10-19
EP15290270.6 2015-10-19
US14/955,198 2015-12-01
US14/955,198 US10976918B2 (en) 2015-10-19 2015-12-01 System and method of guiding handwriting diagram input
PCT/EP2016/001723 WO2017067654A1 (en) 2015-10-19 2016-10-18 System and method of guiding handwriting diagram input

Publications (2)

Publication Number Publication Date
KR20180096590A KR20180096590A (ko) 2018-08-29
KR102392537B1 true KR102392537B1 (ko) 2022-04-28

Family

ID=54396796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187014271A KR102392537B1 (ko) 2015-10-19 2016-10-18 핸드라이팅 다이어그램 입력을 안내하는 시스템 및 방법

Country Status (6)

Country Link
US (2) US10976918B2 (ko)
EP (1) EP3365765B1 (ko)
JP (1) JP7065023B2 (ko)
KR (1) KR102392537B1 (ko)
CN (1) CN108369484B (ko)
WO (1) WO2017067654A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924335B1 (en) 2006-03-30 2014-12-30 Pegasystems Inc. Rule-based user interface conformance methods
US10469396B2 (en) 2014-10-10 2019-11-05 Pegasystems, Inc. Event processing with enhanced throughput
US11500535B2 (en) * 2015-10-29 2022-11-15 Lenovo (Singapore) Pte. Ltd. Two stroke quick input selection
US10698599B2 (en) * 2016-06-03 2020-06-30 Pegasystems, Inc. Connecting graphical shapes using gestures
US10402740B2 (en) * 2016-07-29 2019-09-03 Sap Se Natural interactive user interface using artificial intelligence and freeform input
US10956765B2 (en) * 2016-08-19 2021-03-23 Sony Corporation Information processing device and information processing method
US10970476B2 (en) * 2017-05-17 2021-04-06 Microsoft Technology Licensing, Llc Augmenting digital ink strokes
US10679049B2 (en) * 2017-09-29 2020-06-09 Konica Minolta Laboratory U.S.A., Inc. Identifying hand drawn tables
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US11048488B2 (en) 2018-08-14 2021-06-29 Pegasystems, Inc. Software code optimizer and method
US11392659B2 (en) * 2019-02-28 2022-07-19 Adobe Inc. Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs
EP3966678A1 (en) 2019-05-06 2022-03-16 Apple Inc. Handwriting entry on an electronic device
EP3754537B1 (en) * 2019-06-20 2024-05-22 MyScript Processing text handwriting input in a free handwriting mode
JP6992795B2 (ja) * 2019-11-28 2022-01-13 ブラザー工業株式会社 図表作成プログラム、および図表作成機能を有する情報処理装置
US11656758B2 (en) 2020-05-11 2023-05-23 Apple Inc. Interacting with handwritten content on an electronic device
US11567945B1 (en) 2020-08-27 2023-01-31 Pegasystems Inc. Customized digital content generation systems and methods
US11733861B2 (en) * 2020-11-20 2023-08-22 Trimble Inc. Interpreting inputs for three-dimensional virtual spaces from touchscreen interface gestures to improve user interface functionality
CN112711362B (zh) * 2020-12-24 2022-02-18 北京华宇信息技术有限公司 手绘流程图标准化生成方法及其装置
US11663761B2 (en) * 2021-08-25 2023-05-30 Sap Se Hand-drawn diagram recognition using visual arrow-relation detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050135678A1 (en) 2003-12-03 2005-06-23 Microsoft Corporation Scaled text replacement of ink
US20080235211A1 (en) 2007-03-23 2008-09-25 Palo Alto Research Center Incorporated Optimization method and process using tree searching operation and non-overlapping support constraint requirements
US20100171754A1 (en) 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
JP2014081818A (ja) 2012-10-17 2014-05-08 Toshiba Tec Corp 商品販売データ処理装置および携帯端末

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749020B2 (ja) 1991-11-14 1998-05-13 日立ソフトウエアエンジニアリング株式会社 ダイアグラム認識システム
JP3388524B2 (ja) 1994-06-30 2003-03-24 カシオ計算機株式会社 イメージ入力装置
US20030215145A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Classification analysis of freeform digital ink input
US7079713B2 (en) * 2002-06-28 2006-07-18 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
US20040090439A1 (en) * 2002-11-07 2004-05-13 Holger Dillner Recognition and interpretation of graphical and diagrammatic representations
US20050273761A1 (en) 2004-06-07 2005-12-08 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US7929767B2 (en) 2004-09-22 2011-04-19 Microsoft Corporation Analyzing subordinate sub-expressions in expression recognition
US7512273B2 (en) * 2004-10-21 2009-03-31 Microsoft Corporation Digital ink labeling
US8014607B2 (en) 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US8116570B2 (en) 2007-04-19 2012-02-14 Microsoft Corporation User interface for providing digital ink input and correcting recognition errors
US8718375B2 (en) * 2010-12-03 2014-05-06 Massachusetts Institute Of Technology Sketch recognition system
CN102750552B (zh) * 2012-06-18 2015-07-22 北京捷通华声语音技术有限公司 一种手写识别方法、系统及手写识别终端
KR101929301B1 (ko) * 2012-08-20 2019-03-12 삼성전자 주식회사 필기 제스처 인식을 통한 휴대단말의 기능 실행 제어 방법 및 장치
JP5342052B1 (ja) 2012-10-17 2013-11-13 株式会社東芝 電子機器および方法
US9329726B2 (en) * 2012-10-26 2016-05-03 Qualcomm Incorporated System and method for capturing editable handwriting on a display
JP5377743B1 (ja) 2012-11-28 2013-12-25 株式会社東芝 電子機器および手書き文書処理方法
US20140210829A1 (en) * 2013-01-31 2014-07-31 Kabushiki Kaisha Toshiba Electronic apparatus and handwritten document processing method
CN103399698B (zh) * 2013-07-31 2016-08-24 中国船舶重工集团公司第七0九研究所 一种基于手绘草图和手势输入判断处理的笔式交互方法
WO2015087379A1 (ja) 2013-12-09 2015-06-18 株式会社 東芝 手書き文書情報を処理するための電子機器および方法
JP2015138494A (ja) * 2014-01-24 2015-07-30 株式会社東芝 電子機器および方法
CN104317421A (zh) * 2014-10-21 2015-01-28 苏州乐聚一堂电子科技有限公司 按键手写手机汉字输入法
CN104794107A (zh) * 2015-02-16 2015-07-22 北京道明科技有限公司 手写笔迹的编辑方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050135678A1 (en) 2003-12-03 2005-06-23 Microsoft Corporation Scaled text replacement of ink
US20080235211A1 (en) 2007-03-23 2008-09-25 Palo Alto Research Center Incorporated Optimization method and process using tree searching operation and non-overlapping support constraint requirements
US20100171754A1 (en) 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
JP2014081818A (ja) 2012-10-17 2014-05-08 Toshiba Tec Corp 商品販売データ処理装置および携帯端末

Also Published As

Publication number Publication date
EP3365765A1 (en) 2018-08-29
WO2017067654A1 (en) 2017-04-27
US20210278965A1 (en) 2021-09-09
CN108369484B (zh) 2021-07-27
EP3365765B1 (en) 2022-01-19
JP7065023B2 (ja) 2022-05-11
US20170109032A1 (en) 2017-04-20
KR20180096590A (ko) 2018-08-29
JP2018536926A (ja) 2018-12-13
US11740783B2 (en) 2023-08-29
US10976918B2 (en) 2021-04-13
CN108369484A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
KR102392537B1 (ko) 핸드라이팅 다이어그램 입력을 안내하는 시스템 및 방법
US11157732B2 (en) System and method of handwriting recognition in diagrams
EP3384372B1 (en) Apparatus and method for note taking with gestures
EP3555736B1 (en) System and method for management of handwritten diagram connectors
CN108475325B (zh) 用于识别手写图连接符的系统、方法及计算机可读介质
US11687618B2 (en) System and method for processing text handwriting in a free handwriting mode
US11429259B2 (en) System and method for selecting and editing handwriting input elements
EP4047465A1 (en) Modifying digital content
US20240231582A9 (en) Modifying digital content including typed and handwritten text
WO2018109084A1 (en) System and method for management of handwritten diagram connectors

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant