KR20160099497A - 핸드라이팅 인식 방법 및 장치 - Google Patents

핸드라이팅 인식 방법 및 장치 Download PDF

Info

Publication number
KR20160099497A
KR20160099497A KR1020160015673A KR20160015673A KR20160099497A KR 20160099497 A KR20160099497 A KR 20160099497A KR 1020160015673 A KR1020160015673 A KR 1020160015673A KR 20160015673 A KR20160015673 A KR 20160015673A KR 20160099497 A KR20160099497 A KR 20160099497A
Authority
KR
South Korea
Prior art keywords
handwriting
local
area
user
writing
Prior art date
Application number
KR1020160015673A
Other languages
English (en)
Other versions
KR102559028B1 (ko
Inventor
춘샤오 리우
요우신 첸
위시앙 샨
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160099497A publication Critical patent/KR20160099497A/ko
Application granted granted Critical
Publication of KR102559028B1 publication Critical patent/KR102559028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/6814—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00335—
    • G06K9/00402—
    • G06K9/00604—
    • G06K9/222—
    • G06K9/6828—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G06V30/373—Matching; Classification using a special pattern or subpattern alphabet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/01—Solutions for problems related to non-uniform document background

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)

Abstract

본 발명의 일부 실시예는, 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법에 있어서, 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계; 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 단계; 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계; 제 1 핸드라이팅 및 제 2 핸드라이팅을 조합하는 단계; 및 조합 결과에 기초하여 필기 정보를 생성하는 단계를 포함할 수 있다.

Description

핸드라이팅 인식 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING HANDWRITING}
본 발명은 단말과 관계된 기술로써, 특히 핸드라이팅을 인식하는 방법 및 장치에 관한 발명이다.
최근, 새로운 웨어러블 디바이스로서, 인텔리전트 글래스가 사람들의 관심을 끌고 있다. 인텔리전트 글래스와 같은 종류의 인텔리전트 디바이스는 일반적으로 키보드 또는 터치 스크린과 같은 입력 장치가 장착되어 있지 않다. 그러므로, 사람들은 오로지 목소리 또는 제스쳐를 통해 인텔리전트 디바이스를 사용할 수 있었다. 따라서, 인텔리전트 안경을 이용하여 텍스트 정보를 입력할 때 불편함이 존재하였다.
관련 기술은 사용자가 필기 표면에 필기 도구를 이용하여 필기한 것을 검색하는 방법을 제공한다. 관련 기술에서는 카메라를 이용하여 필기 도구의 말단을 추적하고, 필기 도구의 말단의 이동 궤적에 따라 핸드라이팅(즉, 핸드라이팅)을 판단한다.
그러나, 사용자의 필기 절차 도중 필기 도구를 들어올리는 펜업 액션(Pen-up action)에 의해 드러나는 필기 표면에서의 필기 도구의 말단의 수직 움직임은 일반적으로 매우 작다. 또한 카메라가 펜업 동작을 포착하기도 어렵다. 사용자의 펜업 상태에서, 필기 도구의 말단의 움직임은 어떤 핸드라이팅도 생성하지 않는다. 그러므로, 관련 기술에 따른 검색되는 핸드라이팅은 부정확하다.
추가적으로, 스마트폰과 같은 인텔리전트 디바이스가 핸드라이팅을 인식할 때 또한 정확도가 높지 않다.
그러므로, 사용자의 핸드라이팅을 정확하게 검출하는 해결 방안의 제공이 필요하다.
본 발명은 핸드라이팅을 정확하게 인식하고, 검출함으로써, 필기 정보를 생성하는 방법을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일부 실시예는 핸드라이팅 정보의 인식의 정확도를 증가시키고, 인식된 핸드라이팅에 기초하여 필기 정보를 생성하는 방법 및 장치를 제공한다
일부 실시예에 따르면, 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법에 있어서, 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계; 상기 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 상기 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 단계; 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계; 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하는 단계; 및 상기 조합 결과에 기초하여 필기 정보를 생성하는 단계를 포함할 수 있다.
상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하는 단계는, 사용자의 시각 초점을 추적하는 단계; 및 상기 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계를 포함할 수 있다.
상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하는 단계는, 필기 도구의 말단을 추적하는 단계; 상기 필기 도구의 말단의 위치를 결정하는 단계; 및 상기 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계를 포함할 수 있다.
상기 필기 도구의 말단의 위치를 결정하는 단계는, 상기 사용자로부터 상기 필기 도구의 말단의 모양에 대한 정보를 획득하는 단계; 상기 입력된 정보에 기초하여, 상기 촬영된 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 프레임 내의 필기 도구의 말단을 검출하는 단계; 및 상기 검출 결과에 기초하여 상기 필기 도구의 말단의 위치를 결정하는 단계를 포함할 수 있다.
상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는, 사용자에 의해 입력된 핸드라이팅의 색상에 관한 정보에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계를 포함할 수 있다.
상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는, 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계를 포함할 수 있다.
상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하는 단계는 상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅을 비교하는 단계; 상기 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하는 단계; 및
상기 판단 결과에 기초하여, 변경된 핸드라이팅을 조합하는 단계를 포함할 수 있다.
상기 필기 정보는, 레이아웃 정보, 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함하고, 상기 필기 정보는 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장될 수 있다.
상기 레이아웃 정보는, 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함할 수 있다.
상기 방법은, 상기 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득하는 단계를 더 포함하고,
상기 필기 정보를 생성하는 단계는, 상기 획득된 오디오 데이터와 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 단계를 포함할 수 있다.
상기 획득된 오디오 데이터를 상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅과 대응되도록 상기 필기 정보를 생성하는 단계는, 상기 제 1 로컬 영역의 촬영 시간과 상기 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 단계를 포함할 수 있다.
상기 방법은, 멈춤 신호가 검출되는지 판단하는 단계; 및 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하는 단계를 더 포함할 수 있다.
상기 멈춤 신호가 검출되는지 판단하는 단계는, 상기 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 판단될 수 있다.
상기 방법은, 상기 모니터링 결과 재시작 신호가 검출되는지 판단하는 단계; 및 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작하는 단계를 포함할 수 있다.
상기 방법은, 종료 신호가 검출되는지 판단하는 단계; 및 상기 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료하는 단계를 더 포함할 수 있다.
상기 종료 신호가 검출되는지 판단하는 단계는, 상기 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 판단될 수 있다.
상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는, 상기 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용하는 단계를 더 포함할 수 있다.
상기 향상 프로세스를 적용하는 단계는, 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 프레임내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용될 수 있다.
상기 향상 프로세스를 적용하는 단계는, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 단계를 포함할 수 있다.
상기 신뢰도 평가 값은, 상기 제 1 핸드라이팅 또는 상기 제 2 핸드라이팅 내에 포함된 상기 선의 길이, 상기 선의 넓이, 상기 선의 곡률, 상기 선의 색상, 상기 선과 다른 선들간의 대응 위치 관계 및 연속성 및 상기 선과 필기도구의 끝의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일부 실시예는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일부 실시예는, 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스에 있어서, 사용자 입력을 수신하는 사용자 인터페이스부; 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 신호 획득부; 및 상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하고, 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하고, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하며, 상기 조합 결과에 기초하여 필기 정보를 생성하는 제어부를 포함할 수 있다.
상기 신호 획득부는, 사용자의 시각 초점을 추적하고,
상기 제어부는, 상기 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
상기 신호 획득부는, 필기 도구의 말단을 추적하고, 상기 제어부는, 상기 필기 도구의 말단의 위치를 결정하고, 상기 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
상기 사용자 인터페이스부는, 상기 사용자로부터 상기 필기 도구의 말단의 모양에 대한 정보를 수신하고, 상기 제어부는, 상기 입력된 정보에 기초하여, 상기 촬영된 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 프레임 내의 필기 도구의 말단을 검출하고, 상기 검출 결과에 기초하여 상기 필기 도구의 말단의 위치를 결정할 수 있다.
상기 사용자 인터페이스부는, 사용자로부터 핸드라이팅의 색상에 관한 정보를 수신하고, 상기 제어부는, 상기 핸드라이팅의 색상에 관한 정보에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
상기 제어부는, 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
상기 제어부는, 상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅을 비교하고, 상기 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하며, 상기 판단 결과에 기초하여, 변경된 핸드라이팅을 조합할 수 있다.
상기 필기 정보는, 레이아웃 정보, 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함하고, 상기 필기 정보는 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장될 수 있다.
상기 레이아웃 정보는, 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함할 수 있다.
상기 신호획득부는, 상기 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득하고, 상기 제어부는, 상기 획득된 오디오 데이터와 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅이 대응되도록 상기 필기 정보를 생성할 수 있다.
상기 제어부는, 상기 제 1 로컬 영역의 촬영 시간과 상기 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 상기 필기 정보를 생성할 수 있다.
상기 제어부는, 멈춤 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하도록 상기 신호 획득부를 제어할 수 있다.
상기 제어부는, 상기 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호의 수신 여부를 판단할 수 있다.
상기 제어부는, 상기 모니터링 결과 재시작 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작할 수 있다.
상기 제어부는, 종료 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료할 수 있다.
상기 제어부는, 상기 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호의 검출 여부를 결정할 수 있다.
상기 제어부는, 상기 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용할 수 있다.
상기 향상 프로세스는, 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용될 수 있다.
상기 향상 프로세스는, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거할 수 있다.
상기 신뢰도 평가 값은, 상기 제 1 핸드라이팅 또는 상기 제 2 핸드라이팅 내에 포함된 상기 선의 길이, 상기 선의 넓이, 상기 선의 곡률, 상기 선의 색상, 상기 선과 다른 선들간의 대응 위치 관계 및 연속성 및 상기 선과 필기도구의 끝의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다.
도 1a는 일부 실시예에 따른, 핸드라이팅 정보를 인식하는 방법의 순서도를는 도시한다.
도 1b는 일부 실시예에 따른, 버튼에 의한 핸드라이팅 인식의 촉발 방법을 도시한다.
도 1c는 일부 실시예에 따른, 외부 컨트롤러를 이용한 핸드라이팅 인식의 촉발 방법을 도시한다.
도 1d 및 1e는 일부 실시예에 따른, 시각 초점(visual focusing)에 따라 필기 초점(writing focus)을 결정하는 방법을 도시한다.
도 1f 및 1g는 일부 실시예에 따른, 필기 도구의 말단의 위치에 따라 필기 초점을 결정하는 방법을 도시한다.
도 1h 및 1i는 일부 실시예에 따른, 로컬 필기 영역의 선택을 도시한다.
도 1j 및 1k는 일부 실시예에 따른, 로컬 필기 영역의 검색을 도시한다.
도 1l 및 1m는 일부 실시예에 따른, 변화된 핸드라이팅을 도시한다.
도 1n는 일부 실시예에 따른, 손으로 필기된 컨텐츠를 연속적으로 촬영한 이미지 프레임들을 도시한다.
도 1o 및 1p는 일부 실시예에 따른, 핸드라이팅의 조합을 도시한다.
도 1q 내지 1s는 일부 실시예에 따른, 변화된 핸드라이팅의 내부 픽셀들의 시간 시퀀스 정보를 획득하는 프로세스를 도시한다.
도 1t, 1u, 1v 및 1w는 일부 실시예에 따른, 전체 핸드라이팅을 각각 도시한다.
도 2a는 일부 실시예에 따른, 핸드라이팅을 인식하는 방법을 도시한다.
도 2b 및 2c는 일부 실시예에 따른 이미지 전처리(pre-processing)를 도시한다.
도 3a는 본 개시의 일부 실시예에 따른, 핸드라이팅을 인식하는 방법을 도시한다.
도 3b 및 도 3c는 일부 실시예에 따른, 로컬 핸드라이팅에 대한 향상 프로세스를 도시한다.
도 4a는 일부 실시예에 따른, 필기 도구의 등록을 도시한다.
도 4b 및 도 4c는 일부 실시에에 따른, 필기 도구의 말단의 모양의 등록을 도시한다.
도 5는 일부 실시예에 따른, 핸드라이팅을 인식하는 방법의 순서도를 도시한다.
도 6은 일부 실시예에 따른, 전체 핸드라이팅 및 오디오 데이터를 연관되도록 저장하는 방법을 도시한다.
도 7a는 일부 실시예에 따른, 사용자의 핸드라이팅을 도시한다.
도 7b는 일부 실시예에 따른, 도 7a에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7c는 일부 실시예에 따른, 사용자의 핸드라이팅을 도시한다.
도 7d는 일부 실시예에 따른, 도 7c에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7e는 일부 실시예에 따른, 대체 식별자(replacement identifier)의 사용 방법을 도시한다.
도 7f는 일부 실시예에 따른, 도 7e에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7g는 일부 실시예에 따른, 대체 식별자의 사용 방법을 도시한다.
도 7h는 일부 실시예에 따른, 도 7g에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7i는 일부 실시예에 따른, 도 7e에 따라 생성된 이미지 파일 포맷의 필기 정보를 도시한다.
도 7j는 일부 실시예에 따른, 도 7c에 따라 생성된 이미지 파일 포맷의 필기 정보를 도시한다.
도 8은 일부 실시예에 따른, 핸드라이팅을 인식하는 장치의 구조를 도시하는 블록도이다.
도 9는 일부 실시예에 따른, 핸드라이팅을 인식하는 전기적 디바이스의 구조를 도시하는 블록도이다.
도 10은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법의 순서도를 도시한다.
도 11은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스의 구조를 도시한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 ‘...부’, ‘모듈’ 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 단말 및 인텔리전트 디바이스는 송신 기능이 없는 무선 신호 수신기만을 포함하는 것이 아닌, 양방향 통신 링크를 통해 양방향 송신 및 수신이 수행될 수 있는 송신 및 수신 하드웨어 하드웨어를 포함하는 디바이스들을 포함할 수 있다. 단말 및 인텔리전트 디바이스는 단일 라인 디스플레이 또는 멀티 라인 디스플레이를 포함하는 무선 전화(Cellular)또는 다른 통신 디바이스를 포함할 수 있다. 단말 및 인텔리전트 디바이스는 음성, 데이터 처리, 패스 및/또는 데이터 통신 기능을 포함하는 개인 통신 서비스(Personal communication Service: PCS)를 포함할 수 있다. 단말 및 인텔리전트 디바이스는 퍼스널 디지털 어시스턴트(Personal Digital Assistant: PDA), RF(Radio Frequency) 수신기, 호출기(Pager), 인터넷/인트라넷 방문(internet/intranet visit) 기기, 네트워크 브라우저, 노트북 캘린더 및/또는 GPS(Global Positining System) 수신기를 포함할 수 있다. 단말 및 인텔리전트 디바이스는 RF 수신기를 포함하는 랩탑 및/또는 팜(Palm) 컴퓨터를 포함하는 랩탑 및/또는 팜 컴퓨터 또는 다른 디바이스들을 포함할 수 있다. 또한 단말 및 인텔리전트 디바이스는 헤드 웨어러블 디바이스(인텔리전트 글래스, 인텔리전트 헬멧과 같은), 스마트 팔찌, 스마트 워치 등을 포함할 수 있다. 단말 및 인텔리전트 디바이스는 휴대 가능하고, 수송 가능하며, 자동차(하늘, 바다 및/또는 육지)에 설치될 수 있고, 지역적으로 또는 지구 및/또는 우주의 어떤 위치에서 분산된 방식으로 동작하도록 적용될 수 있다. 단말 및 인텔리전트 디바이스는 PDA, 모바일 인터넷 디바이스(Moblie Internet Device: MID) 및/또는 음악/비디오 재생 기능을 갖는 모바일 폰 또는 인텔리전트 글래스, 스마트 팔찌, 스마트 워츠 등과 같은 통신 단말, 인터넷 단말, 음악/비디오 플레이어 단말을 포함할 수 있다.
명세서 전체에서 서버라 함은, 단일 서버, 서버의 집합체, 클라우드 서버등을 포함할 수 있으며, VOIP 서비스, 컨텐트 제공 서비스 등의 서비스를 제공하는 서비스 서버를 포함할 수 있다. 다만 상기 예시에 제한되지 않는다.
본 명세서에서는, 인텔리전트 디바이스가 실시간으로 검색된 필기 초점을 추적하고, 로컬 필기 영역을 촬영하고, 로컬 핸드라이팅을 획득한다. 로컬 핸드라이팅을 조합함으로써, 전체 핸드라이팅을 획득한 후, 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식한다. 검색된 핸드라이팅은 이미 필기 표면에 필기된 사용자의 핸드라이팅으로, 사용자의 펜업(pen-up), 펜다운(pen-down)의 움직임과는 관계 없기 때문에, 필기 도구 말단의 이동 궤적에 따른 핸드라이팅 검색이 부정확하다는 문제점을 방지할 수 있고, 사용자의 핸드라이팅을 인식하는 정확도가 증가한다.
추가적으로, 인텔리전트 디바이스는 로컬 필기 영역을 촬영하기 때문에, 촬영된 이미지 프레임으로부터 핸드라이팅의 검색이 용이하게 되고, 핸드라이팅이 촬영된 때 핸드라이팅이 두껍고 부정확한 관련 기술의 문제점을 회피하면서도 핸드라이팅이 촬영된 이미지 프레임에 명백하도록 보장된다.
본 명세서에서, 핸드라이팅은 사용자가 손으로 필기한 글자, 숫자, 선, 점 등의 모든 컨텐츠를 포함할 수 있으며, 상기 예시에 제한되지 않는다. 다시 말해서, 핸드라이팅은 필기 도구에 의해 생성되는 소정의 길이, 넓이 및 색상을 나타내는 선들 또는 선들의 집합을 나타낸다. 선은 직선 또는 곡선일 수 있다.
본 명세서에서, 로컬 핸드라이팅은 전체 핸드라이팅 중 일부의 핸드라이팅을 의미할 수 있으며, 로컬 필기 영역에서 검출된 핸드라이팅을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
본 명세서에서, 전체 핸드라이팅은 로컬 핸드라이팅이 결합된 핸드라이팅을 의미할 수 있다. 예를 들면, 전체 핸드라이팅은 사용자가 필기 표면에 필기한 모든 컨텐츠 또는 인텔리전트 디바이스에 의해 소정의 단위(예를 들면, 라인 단위)마다 결합된 핸드라이팅을 포함할 수 있다. 물론 상기 예시에 제한되지 않는다.
본 명세서에서 필기 정보는 사용자의 핸드라이팅에 기초하여 인텔리전트 디바이스가 생성한 데이터 또는 정보를 포함할 수 있다. 필기 정보는 워드 파일과 같은 문서 포맷의 파일, 이미지 포맷의 파일, 비디오 포맷의 파일, 오디오 포맷의 파일 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
이하에서는 본 개시의 기술적 해결 방안들을 첨부된 도면들을 참조하여 자세하게 설명한다.
실시예 1
본 개시의 실시예 1은 사용자의 핸드라이팅을 인식하는 방법을 제공한다. 실시예 1은 인텔리전트 디바이스에 의해 구현될 수 있다. 도 1a에서 도시된 바와 같이, 실시예 1은 아래의 단계들을 포함할 수 있다.
블록 S101에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점이 추적하고, 로컬 핸드라이팅 영역을 촬영할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자에 의해 입력된 핸드라이팅 인식 시작 지시가 수신된 이후, 사용자의 필기 절차를 연속적으로 촬영할 수 있다. 다시 말해서, 실시간으로 검출된 필기 초점 추적을 통해 로컬 필기 영역이 촬영될 수 있다.
사용자가 필기를 시작할 때, 핸드라이팅 인식 시작 지시는 다양한 방식에 의해 생성될 수 있다. 예를 들면, 핸드라이팅 인식 시작 지시는 음성, 버튼, 제스쳐, 증강 현실과 같은 인간 - 컴퓨터 상호 작용 인터페이스 및 외부 컨트롤러(즉, 인텔리전트 디바이스와 관련 있는, 핸드폰과 같은 리모트 제어 기능을 가진 디바이스)에 의해 생성될 수 있다.
만약, 핸드라이팅 인식 시작 지시가 음성에 의해 시작되는 경우, 사용자가 ‘핸드라이팅 인식 시작’과 같은 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시를 수신하고, 음성 지시가 핸드라이팅 인식 시작 지시인지를 판단하기 위해 음성 지시에 따라 음성 인식을 시작하며, 핸드라이팅 인식 동작을 시작한다. 음성 지시는 ‘시작 핸드라이팅 인식’, ‘핸드라이팅 인식 시작’, ‘인식 시작’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들을 포함할 수 있으며, 상기 예시에 제한되지 않는다. 또한, 음성 지시와 핸드라이팅 인식 시작 지시 간의 대응 관계는 음성 지시와 핸드라이팅 인식 시작 지시를 연관짓기 위해 인텔리전스 디바이스 내에 대응 테이블과 같은 형태로 저장될 수 있다. 물론 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 핸드라이팅 인식 시작 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
핸드라이팅 인식 시작 지시가 버튼에 의해 시작될 수도 있다. 일부 실시예에 따르면, 버튼은 홈버튼, 소리 조절 버튼, 파워 버튼, 프로그램 조절 버튼, 새롭게 추가된 버튼 또는 도 1b에 도시된 바와 같은 버튼과 같은 하드웨어 버튼 또는 소프트웨어로 구현된 소프트웨어 버튼 일 수도 있으며, 인텔리전트 디바이스의 사용자 인터페이스(User interface)일 수도 있다. 물론 상기 예시에 제한되지 않는다. 사용자가 소정의 방식에 따라 버튼을 누르면, 인텔리전트 디바이스는 핸드라이팅 인식 시작 지시를 수신하였다고 판단할 수 있다. 소정의 방식은 짧게 누르기, 길게 누르기, 소정의 횟수를 짧게 누르기 또는 짧게 및 길게 번갈아 가며 누르는 등의 방식을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
만약, 핸드라이팅 인식 시작 지시가 제스쳐에 의해 시작되는 경우, 제스쳐는 한손 또는 두손에 의해 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 인텔리전트 디바이스는 기존의 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다. 인텔리전트 디바이스는 인식된 제스쳐에 따라 핸드라이팅 인식 시작 지시가 수신되었다고 판단할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역을 촬영하는 핸드라이팅 인식 시작 지시가 외부 컨트롤러(예를 들면, 인텔리전트 디바이스와 연결된 셀룰러폰)로부터 수신될 수도 있다. 인텔리전트 디바이스와 외부 컨터롤러의 연결은 물리적 연결(도 1c에 도시된 바와 같이)일 수도 있고, 매크로 네트워크(Macro network), WiFi(Wireless Fidelity) 네트워크, 로컬 영역 네트워크(Local Area Network) 중 적어도 하나의 네트워크를 통한 무선 연결일 수도 있으며, 상기 예시에 제한되지 않는다. 또한 외부 컨트롤러의 지시는 적외선 지시(Infrared instruction) 또는 셀룰러폰에 의해 송신되는 메시지일 수도 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 핸드라이팅 인식 시작 지시가 사용되지 않을 수도 있다. 예를 들면, 인텔리전트 디바이스는 항상 핸드라이팅을 인식하는 상태일 수도 있다.
일부 실시예에 따르면, 필기 초점은 아래의 방법들 중 하나의 방법에 의해 결정될 수 있으나, 하기 예시에 제한되지 않는다.
첫번째 방법은, 필기 초점은 실시간으로 검출되는 시각 초점을 추적함으로써 추적될 수 있다. 첫번째 방법은 인텔리전트 글래스와 같은 헤드 웨어러블 디바이스에 의해 구현될 수 있으나 상기 예시에 제한되지 않으며, 시각 초점을 추적할 수 있는 모든 디바이스에서 수행될 수 있다.
도 1d 및 도 1e에 도시된 바와 같이 사용자의 필기 절차 동안, 일반적으로 시각 초점은 필기 초점과 함께 움직인다. 사용자가 필기 할 때, 필기 영역이 시야 내에 포함될 수 있다. 그러므로, 필기 초점은 사용자의 시각 초점에 따라 결정될 수 있다.
일부 실시예에 따르면, 시각 초점은 사용자의 머리 자세를 검출하는 방식 및/또는 사용자의 안구 활동을 실시간으로 검출하는 방식에 의해 검출될 수 있다. 또한 일부 실시예에 따르면, 검출된 머리 자세 및/또는 검출된 안구 활동에 기초하여 인텔리전트 디바이스가 시각 초점이 결정할 수도 있다. 예를 들면, 사용자의 얼굴의 방향이 검출된 머리 자세에 따라 결정될 수도 있고, 사용자의 눈의 방향이 사용자의 안구 활동에 따라 결정될 수도 있다. 인텔리전트 디바이스는 얼굴의 방향 및/또는 눈의 방향에 따라 사용자의 시각 초점이 결정할 수 있다. 머리 자세는 인텔리전트 디바이스에 포함된 또는 별도로 구비된 머리 자세를 검출하기 위한 검출 디바이스를 통해 검출될 수 있고, 안구 활동 또한 인텔리전트 디바이스에 포함된 또는 별도로 구비된 안구 활동 검출 디바이스에 의해 검출될 수 있다.
예를 들면, 사용자가 ‘Today's weather is very good’를 필기하는 동안, 인텔리전트 글래스는 사용자의 시각 초점이 ‘g’라는 글자인 것을 검출하고, 필기 초점이 ‘g’라고 결정할 수 있다.
두번째 방법으로, 필기 초점은 필기 도구의 말단을 추적함으로써 추적될 수 있이다. 두번째 방법은 카메라가 구비된 인텔리전트 디바이스에 의해 구현될 수 있으나 상기 예시에 제한되지 않으며, 필기 도구의 말단을 추적할 수 있는 모든 디바이스에 의해 구현될 수 있다.
일부 실시예에 따르면, 사용자의 필기 절차 동안, 필기 초점은 필기 도구의 말단의 위치와 함께 움직일 수 있다. 도 1f 및 도 1h에서 도시된 바와 같이, 사용자의 필기 절차 동안 필기도구의 말단은 현재 로컬 필기 영역 내에 포함될 수 있다. 따라서, 필기 초점은 실시간으로 필기 도구의 말단의 위치를 검출함으로써 결정될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사전에 등록된 필기 도구의 말단의 모양에 따라 촬영된 이미지 프레임으로부터 필기도구의 말단을 인식한 후, 필기 도구의 말단의 위치를 판단함으로써, 필기 도구의 말단의 위치를 검출할 수 있다.
일부 실시예에 따르면, 손으로 필기 도구를 잡는 자세가 필기 도구의 말단의 위치를 결정하는데 사용될 수도 있다. 인텔리전트 디바이스는 필기 도구의 말단의 위치를 찾는 것을 돕기 위해 사람의 손을 검출함으로써, 손가락의 쥐는 방향을 결정할 수 있고, 손가락의 쥐는 방향에 따라 필기도구의 말단을 검출할 수 있다. 예를 들면, 인텔리전트 디바이스는 손가락 상단이 필기 도구의 말단으로부터 3cm 거리에 있고, 필기 도구와 필기 표면간의 각도가 60도인 것과 같은 유저 A의 필기 도구를 쥐는 습관이 검출할 수 있다. 인텔리전트 디바이스는 사용자의 손가락의 위치 C가 검출된 후, 손가락의 방향에 따라 손가락 상단의 방향을 결정할 수 있고, 필기 도구의 말단의 위치가 위치 C로부터 1.5cm에 놓여지는 것으로 판단될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 절차 동안 일반적인 사람들의 필기 도구를 쥐는 습관, 필기 도구의 말단과 필기 도구를 쥐는 위치 간의 거리의 범위와 같은 통계 자료를 수집함으로써 획득할 수 있다. 통계 자료는 실제 필기 도구의 말단을 검출하는 동안 필기 도구의 말단의 대략적인 범위를 결정하는데 참고자료로써 사용될 수 있다. 인텔리전트 디바이스는 통계 자료로써 결정된 대략적인 범위 내의 필기 도구의 말단의 모양을 검출할 수 있으며, 필기 도구의 말단을 검출하기 위한 영역이 줄어들고, 성공적인 위치 검출이 가능하다. 일부 실시예에 따르면, 통계 자료는 사용자의 입력, 서버 또는 다른 디바이스로부터의 입력, 인텔리전트 디바이스 내에 저장된 데이터 또는 정보로부터 획득할 수 있다.
나아가, 스마트 팔찌 또는 스마트 워치와 같은 웨어러블 디바이스에서도 상기에서 설명한 위치 검출을 돕는 방법이 사용될 수 있다. 예를 들면, 스마트 팔찌또는 스마트 워치와 같이 사용자의 손목에 있는 웨어러블 디바이스는 사용자가 쥐고 있는 필기 도구의 말단과의 거리가 8cm이고, 필기 도구와 팔목간의 각도가 30도인 것과 같은 유저 A의 필기 도구를 쥐는 습관을 검출할 수 있다. 또한 웨어러블 디바이스는 필기 절차 동안 손목이 오른쪽으로 움직이는 것을 검출할 수 있다. 따라서, 스마트 팔찌 또는 스마트 워치와 같은 웨어러블 디바이스의 위치에 기초하여 필기 도구의 말단의 위치가 결정될 수 있다. 일부 실시예에 따르면, 필기 절차 동안 일반적인 사람들의 필기 도구를 쥐는 습관을 포함하는 통계 자료에 의해 필기 도구의 말단의 위치가 결정될 수도 있다. 예를 들면, 팔목과 필기 도구의 말단 간의 거리는 일반적으로 5cm 내지 15cm이고, 팔목과 필기 표면간의 각도의 범위는 15도 내지 65도 일 수 있으며, 인텔리전트 디바이스는 상기와 같은 통계 자료를 실제 필기 도구의 말단을 검출하는 동안 필기 도구의 말단의 대략적인 범위를 결정하는데 참고자료로써 사용할 수 있다. 인텔리전트 디바이스는 통계 자료로써 결정된 대략적인 범위 내에서 필기 도구의 말단의 모양을 검출할 수 있으며, 필기 도구의 말단을 검출을 위해 조사가 필요한 영역이 줄어들게 되므로, 성공적인 위치 검출이 가능하다.
필기 초점이 검출된 이후, 실시간으로 검출된 사용자의 필기 초점의 변화에 따라 카메라의 촬영 초점이 조절될 수 있다. 일부 실시예에 따르면, 필기 도구의 말단의 위치는 필기 초점으로 선택될 수 있고, 필기 초점이 촬영을 위한 카메라의 촬영 초점으로 선택될 수 있다. 또한 일부 실시예에 따르면, 필기 도구의 말단의 위치에 오프셋(Offset)이 더해질 수 있으며, 오프셋이 더해진 위치가 필기 초점으로 선택되고, 필기 초점이 촬영을 위한 카메라의 촬영 초점으로 선택될 수 있이다. 오프셋은 사전에 수동으로 설정될 수 있이다. 예를 들어, 사용자의 필기 습관에 따라, 왼쪽 쉬프트(Left shift) 또는 오른쪽 쉬프트(Right shift)되도록 오프셋이 설정될 수 있다. 만약 사용자가 왼쪽에서 오른쪽으로 필기한다면, 인텔리전트 디바이스는 1cm 왼쪽으로 쉬프트되도록 오프셋을 설정할 수 있다. 만약 사용자가 오른쪽에서 왼쪽으로 필기한다면, 인텔리전트 디바이스는 1cm 오른쪽으로 쉬프트되도록 오프셋을 설정할 수 있다. 오프셋은 시간-가변(Time-variant)일 수 있다. 예를 들면, 오프셋은 인텔리전트 디바이스에 의해 검출된 시각 초점의 위치의 함수거나, 사용자의 머리 움직임에 대한 함수일 수 있다.
예를 들면, 사용자가 ‘Today's weather is very good’를 쓰고 있고, 인텔리전트 디바이스가 ‘g’라는 글자에서 필기 도구의 말단을 검출했다고 가정한다. 이 때, 인텔리전트 디바이스는 ‘g’라는 글자를 촬영을 위한 촬영 시점으로 선택하거나, ‘g’라는 글자에서 1cm 왼쪽으로 쉬프트한 ‘y’(very의 y)라는 글자를 촬영을 위한 촬영 시점으로 선택할 수 있다.
일부 실시예에 따르면, 촬영되는 로컬 필기 영역은 합리적인 크기를 가질 수 있다. 만약 촬영되는 로컬 필기 영역이 너무 크면, 카메라의 해상도에 비해 촬영된 이미지 프레임 내의 사용자의 핸드라이팅이 더 두꺼워 보일 수 있고, 이후의 핸드라이팅 검색에 좋지 않다. 만약 촬영되는 로컬 필기 영역이 너무 작으면, 이후의 핸드라이팅 조합에 좋지 않다. 로컬 필기 영역의 크기는 사용자의 입력에 의해 사전에 결정될 수 있다. 물론 인텔리전트 디바이스가 로컬 필기 영역의 크기를 설정하기 위한 정보를 서버로부터 수신할 수도 있으며, 상기 예시에 제한되지 않는다.
예를 들면, 로컬 필기 영역은 촬영 초점을 중심으로 사각형일 수 있으며, 사각형의 한 변의 길이는 2cm 일 수 있다. 또한 로컬 필기 영역은 촬영 절차 동안 실시간으로 변화하는 인텔리전트 헤드 웨어러블 디바이스와 같은 인텔리전트 디바이스와 필기 표면 간의 거리의 함수에 기초하여 결정될 수도 있다.
일부 실시예에 따르면, 도 1h 및 도 1i은 로컬 필기 영역의 선택을 도시한다. 도 1h에서 도시된 바와 같이 사용자의 필기 도구의 말단이 ‘g’에 위치할 수 있다. 필기된 컨텐츠를 명확하게 캡쳐하기 위하여, 인텔리전트 디바이스는 필기 초점을 획득하기 위해 캡쳐된 필기도구의 말단을 왼쪽으로 이동시키고, 선택된 사각형의 영역이 촬영을 위한 로컬 필기 영역으로 선택될 수 있다. 도 1i의 로컬 필기 영역의 선택 방법 또한 도 1h와 유사하다.
일부 실시예에 따르면, 사용자가 ‘Today's weather is very good’을 필기할 수 있다. 촬영 초점이 ‘g’ 문자에 있는 것으로 판단되면, 인텔리전트 디바이스는 ‘very good’을 포함하는 로컬 필기 영역의 이미지 프레임이 획득되도록 ‘g’ 문자를 중심으로 2cm 길이의 영역을 촬영할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역을 명확하게 캡쳐하기 위해 카메라의 촬영 파라미터(예를 들면, 초점. 초점 거리, 조리개, 확대, 화이트 밸런스)가 촬영 절차 동안 실시간으로 자기-적응적(self-adaptively)으로 조절될 수 있다.
예를 들면, 촬영 절차에서, 로컬 필기 영역이 촬영되는 때의 빛과 초점 상황들에 따라 카메라의 촬영 파라미터는 동적이고, 자기 적응적으로 변경될 수 있다. 빛이 약한 때에는, 카메라의 조리개가 확대되고, 만약 필기 표면이 상대적으로 카메라로부터 멀리 있는 경우, 카메라는 필기 표면에 초점을 가지도록 조절된다.
일부 실시예에 따르면, 인텔리전트 디바이스는, 로컬 필기 영역을 촬영하는 동안, 사용자의 머리 자세의 각도 변경을 검출함으로써, 카메라의 현재 방향 및 필기 표면과의 상대적인 위치를 결정하고, 현재 방향 및 카메라의 위치에 따라 카메라의 촬영 파라미터들을 조절할 수 있다. 사용자의 머리 움직임의 검출은 웨어러블 디바이스가 포함하는 센서에 의해 구현될 수 있다.
예를 들면, 만약 사용자가 인텔리전트 글래스와 같은 인텔리전트 디바이스를 쓰는 경우, 카메라의 방향이 360도 자유롭게 조정될 수 있고, 카메라는 안경 프레임이 고정되어 있기 때문에, 사용자의 눈들 및 머리의 방향은 카메라의 방향과 일치할 수 있다. 필기 절차 동안 만약 카메라가 인텔리전트 디바이스에 고정되어 있고, 인텔리전트 디바이스가 사용자의 머리가 30도 오른쪽으로 돈 것을 검출한 경우, 인텔리전트 디바이스는 카메라의 현재 방향을 오른쪽으로 30도 회전된 것으로 결정할 수 있다. 머리가 회전한 이후, 눈과 필기 표면간의 거리는 확실히 변경되었을 가능성이 높기 ‹š문에, 인텔리전트 디바이스는 카메라의 초점이 필기 초점 근처에 있도록 각도의 변경 이전에 알고 있던 카메라의 초점 및 초점 거리, 및 회전된 각도에 기초하여 이동된 새로운 초점 및 초점 거리를 추정할 수 있다.
일부 실시예에 따르면, 촬영하는 동안, 이미지 프레임의 촬영 시간은 타임스탬프(time stamp)를 통해 기록될 수 있고, 촬영된 이미지 프레임들은 이미지 프레임 시퀀스를 형성하도록 촬영 시간에 따라 배열될 수 있다. 또한 촬영 시간에 따라 시퀀스를 이용하여 촬영된 이미지 프레임이 배열될 수도 있다. 예를 들면, 기록된 촬영 시간이 0.01초, 0.02초. 0.03초..., 2.95초, 3.00초라면, 촬영 시간의 타임 시퀀스에 따라 촬영시간과 대응되는 촬영 이미지 프레임들을 배열하기 위해 시퀀스 1, 2, 3, 4... 295, 300이 사용될 수 있다. 일부 실시예에 따르면, 오프라인 인식방법 보다 더 높은 인식 정확도를 가지는 온라인 핸드라이팅 인식방식이 이용될 수 있으며, 인텔리전트 디바이스는 온라인 핸드라이팅 인식방식을 이용하기 위해 사용자의 핸드라이팅의 타임 시퀀스 정보를 예약하고, 저장할 수 있다.
블록 S103에서, 로컬 핸드라이팅이 로컬 필기 영역의 촬영된 이미지 프레임로부터 검색된다.
일부 실시예에 따르면, 로컬 핸드라이팅은 핸드라이팅 색상 정보에 따라 로컬 필기 영역의 촬영된 이미지 프레임으로부터 검색된다. 도 1j 및 도 1k에서 도시된 바와 같이 로컬 필기 영역의 촬영 이미지 프레임은 왼쪽이다. 인텔리전트 디바이스는 핸드라이팅 색상 정보에 따라 오른쪽에 도시된 바와 같은 로컬 핸드라이팅을 검색할 수 있다.
로컬 필기 영역의 이미지 프레임로부터 로컬 핸드라이팅을 검색하는데는 아래의 두 방법이 적용될 수 있다. 다만 실시예에 따라 다른 방법이 적용될 수도 있으며, 하기 예시에 제한되지 않느다.
첫번째 방법으로, 사전에 등록된 필기 도구의 핸드라이팅 색상 정보에 따라 로컬 필기 영역의 이미지 프레임로부터 로컬 핸드라이팅이 검색될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사전에 등록된 필기 도구의 핸드라이팅 색상과 동일한 색상을 가지는 로컬 필기 영역의 이미지 프레임 내의 컨텐츠를 로컬 핸드라이팅으로써 검색될 수 있다. 컨텐츠란 앞서 설명한 바와 같이 점, 선, 글씨, 숫자, 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
예를 들면, 사전에 등록된 필기 도구의 핸드라이팅 색상이 빨간색이면, 로컬 필기 영역의 이미지 프레임 내의 빨간색 컨텐츠는 ‘Today's weather is very good’일 수 있다. 따라서, 인텔리전트 디바이스는 ‘Today's weather is very good’을 로컬 핸드라이팅 정보라고 인식하고, 검색할 수 있다.
일부 실시예에 따르면, 이진화 방식(A binarized manner)이 로컬 필기 영역의 이미지 프레임으로부터 로컬 핸드라이팅을 검색하는데 적용될 수 있다. 인텔리전트 디바이스는 필기 도구와 동일한 핸드라이팅 색상 정보를 가지는 현재 이미지 프레임 내의 픽셀들을 1로 식별하고, 다른 픽셀들을 0으로 식별할 수 있다. 인텔리전트 디바이스는 현재 이미지 프레임의 이진화된 이미지 내의 1로 식별된 모든 픽셀들을 검색하고, 검색된 픽셀들을 현재 이미지 프레임과 대응하는 로컬 필기 영역의 핸드라이팅으로써 선택할 수 있다.(즉, 현재 이미지 프레임의 로컬 핸드라이팅)
예를 들면, 사전에 등록된 필기 도구의 핸드라이팅 색상이 빨간색이고, 필기 표면의 색상이 하얀색인 경우, 로컬 필기 영역의 이미지 프레임 내의 빨간 영역은 ‘ Today's weather is very good’라는 컨텐츠이다. 인텔리전트 디바이스는 현재 이미지 프레임 내의 빨간 영역의 픽셀들은 1로 식별하고 다른 픽셀들(예를 들면, 하얀색의 픽셀들)은 0으로 식별할 수 있다. 인텔리전트 디바이스는 1로 식별된 모든 픽셀들은 검출함으로써, ‘Today's weather is very good’라는 핸드라이팅을 인식 및 획득할 수 있다.
두번째 방법으로, 핸드라이팅 색상과 필기 배경(필기 표면)의 색상 간의 색상 차에 따라 로컬 필기 영역의 이미지로부터 로컬 핸드라이팅이 검색될 수 있다.
일부 실시예에 따르면, 필기 표면과 핸드라이팅 간의 색상 차에 따라 로컬 필기 영역의 이미지 프레임에 이진화된 프로세싱이 수행될 수 있다. 이진화된 이미지 프레임을 획득하기 위해 하나의 종류의 색상로 커버되는 영역이 0으로 식별되고 다른 종류의 색상으로 커버되는 영역이 1로 식별될 수 있다. 이진화된 이미지 프레임에 기초하여 선형 이미지 영역(line-shaped image area)가 결정된다. 핸드라이팅은 보통 선형이기 때문에, 선형 이미지가 로컬 핸드라이팅으로써 검색될 수 있다.
예를 들어, 사용자가 ‘Today's weather is very good’을 검은 잉크의 필기 도구를 사용하여 하얀 종이에 필기한 경우, 인텔리전트 디바이스는 하얀색으로 커버되는 영역을 0으로 식별한다. 하얀색으로 커버되는 영역은 배경이고, 일반적으로 면형 영역(sliced-shaped area)이다. 또한 인텔리전트 디바이스는 검은색으로 커버되는 영역은 1로 식별할 수 있다. 검은색으로 커버되는 영역은 핸드라이팅이며 일반적으로 선형 영역이다. 이진화된 이미지 프레임에서, ‘Today's weather is very good’를 획득하기 위해 선형 영역이 검색된다. 다시말해서 인텔리전트 디바이스는 ‘Today's weather is very good’와 같은 문장을 로컬 핸드라이팅으로 검색할 수 있다.
일부 실시예에 따르면, 핸드라이팅이 결정된 이후, 핸드라이팅 영역 내의 모든 픽셀들이 1로 식별되고, 다른 픽셀들은 0으로 식별될 수 있다. 따라서, 최종적으로 획득된 이미지 프레임 내에는, 로컬 핸드라이팅의 픽셀들이 1로 식별되고, 배경 픽셀들은 0으로 식별된다.
일부 실시예에 따르면, 이미지 프레임내에 두가지 이상의 색상이 있을 수 있다. 이 경우, 이미지 프레임 내의 모든 픽셀들의 값을 평균 내고, 이진화된 이미지 프레임을 획득하기 위해 계산된 평균 값에 따라 현재 이미지 프레임에 이진화 프로세싱이 수행될 수 있다.
계산된 평균 값에 따라 이미지 프레임에 이진화 프로세싱을 수행하는 방법은 아래와 같다. 인텔리전트 디바이스는 이미지 프레임 내의 각 픽셀에서, 계산된 평균 값보다 작은 픽셀은 0으로 식별하고 그렇지 않은 픽셀은 1로 식별한다. 그러므로, 이미지 프레임은 1로 식별된 픽셀들로 구성되는 이미지 영역과 0으로 식별된 픽셀들로 구성되는 이미지 영역으로 분할된다(이진화된 이미지). 그 후, 각 이미지 영역의 모양이 판단되고, 선형 이미지 영역이 로컬 핸드라이팅으로 판단된다.
예를 들면, 예를 들어, 사용자가 ‘Today's weather is very good’을 검은 잉크의 필기 도구를 사용하여 하얀 종이에 필기할 수 있다. 하얀 종이는 노란색 영역을 가지거나, 하얀 종이의 일부 영역이 빛나기 때문에 노란 빛을 반사한다. 인텔리전트 디바이스는 사용자의 손으로 필기된 컨텐츠를 촬영한 후, 이미지 프레임을 획득한다. 이미지 프레임은 하얀색 종이의 영역, 검은 핸드라이팅인 ‘ Today's weather is very good’ 도시된 영역을 포함할 뿐만 아니라, 하얀 종이의 노란색 영역 또한 포함할 수 있다. 하얀색 및 노란색 픽셀들이 평균 값보다 작다고 가정하고, 검은색 픽셀들이 평균값보다 크다고 가정한다. 인텔리전트 디바이스는 이진화된 이미지 프레임을 획득하기 위해 하얀색 및 노란색으로 커버되는 영역은 0으로 식별하고, 검은색으로 커버되는 영역은 1로 식별한다. 이진화된 이미지 프레임에서, 1로 식별된 영역은 선형 영역이며, 인텔리전트 디바이스는 ‘Today's weather is very good’와 같은 로컬 핸드라이팅 문장을 획득하기 위해 선형 영역을 검색할 수 있다.
일부 실시예에 따르면, 핸드라이팅의 필기 정보에 따라 손으로 필기한 정보가 검색되기 때문에, 사용자의 핸드라이팅이 필기 표면과 색상이 상이한 경우라면, 사용자는 필기를 위해 어떤 필기 표면에라도 일반적인 필기 도구를 사용할 수 있으며, 사용자가 손으로 필기한 정보를 편리하게 인식할 수 있으므로, 사용자 경험이 개선된다.
블록 S105에서, 전체 핸드라이팅을 획득하기 위해 검색된 로컬 핸드라이팅을 조합한다.
전체 핸드라이팅을 획득하기 위해서는 아래의 방법들에 따라 검색된 로컬 핸드라이팅이 조합될 수 있다. 물론 하기의 예시에 제한되지 않는다.
첫번째 방법으로, 현재 이미지 프레임의 변화된 핸드라이팅을 판단하기 위해 현재 이미지 프레임으로부터 검색된 로컬 핸드라이팅 및 이전 이미지 프레임에서 검색된 로컬 핸드라이팅이 비교된다. 전체 핸드라이팅을 획득하기 위해 모든 이미지 프레임들의 변화된 핸드라이팅이 조합된다. 변화된 핸드라이팅은 이전 이미지 프레임 내에는 존재하지 않았으나, 현재 이미지 프레임에 존재하는 핸드라이팅을 나타낼 수 있다.
일부 실시예에 따르면, 현재 이미지 프레임에서 변화된 핸드라이팅을 판단하기 위해 현재 이미지 프레임으로부터 검색된 로컬 핸드라이팅 및 이전 이미지 프레임에서 검색된 로컬 핸드라이팅을 비교하는 프로세스는 아래의 단계들을 포함할 수 있다. 인텔리전트 디바이스는 핸드라이팅이 겹치는 부분에 따라, 현재 이미지 프레임의 로컬 핸드라이팅의 이진화된 이미지 프레임 및 이전 이미지 프레임의 로컬 핸드라이팅의 이진화된 이미지 프레임을 비교할 수 있다. 인텔리전트 디바이스는 현재 이미지 프레임 내에 존재하지만 이전 이미지 프레임 내에는 존재하지 않는 핸드라이팅을 이전 이미지 프레임과의 관계에서 변화된 핸드라이팅(즉, 현재 이미지 프레임의 변화된 핸드라이팅)으로 판단할 수 있따. 로컬 핸드라이팅의 이진화된 이미지 프레임은 블록 S103에서 설명했던 이진화 프로세싱 방식 중 하나에 따라 획득될 수 있다.
예를 들면, 도 1l 및 도 1m은 각각 변화된 핸드라이팅 도시한다. 도 1l에서 도시된 바와 같이 왼쪽 사각형은 t번째 이미지 프레임을 도시하고, 오른쪽 사각형은 t+1번째 이미지 프레임을 도시한다(t는 정수). 두 이미지 프레임은 핸드라이팅이 겹치는 부분에 따라 비교된다. t번째 이미지 프레임에 상대적으로 t+1번째 이미지 프레임의 추가된 컨텐츠는 ay 글자이다. 물론 도 1m과 같이 글자의 일부(선 또는 획)이 추가된 컨텐츠일 수도 있다.
다른 실시예에서, 사용자가 ‘Today's weather is very good’을 하얀 종이에 필기한다. 필기 절차 동안, 인텔리전트 디바이스는 연속적인 두개의 이미지 프레임을 캡쳐하고, 첫번째 이미지 프레임은 하얀 종이 위에 필기된 ‘Today's weather is very’ 도시하고, 두번째 이미지 프레임은 ‘Today's weather is very good’을 도시한다. 두 이미지 프레임들의 로컬 핸드라이팅은 각각 ‘ Today's weather is very ‘와 ‘ Today's weather is very good ‘이다. 두 이미지 프레임은 핸드라이팅이 겹치는 부분에 따라 비교된다. 두번째 이미지 프레임은 첫번째 이미지 프레임에 비해 추가적인 핸드라이팅인 ‘good’을 포함하고 있다. 즉, 두번째 이미지 프레임에서 증가된 핸드라이팅은 ‘good’이다. 물론 상기 실시예는 구문, 단어 단위로 이미지 프레임이 캡쳐된 실시예이며, 도 1n에 도시된 바와 같이 하나의 글씨를 작성하는 때, 복수개의 이미지 프레임이 도시될 수도 있다. 즉, 각 이미지 프레임의 핸드라이팅 증가가 상대적으로 짧을 수도 있다. 또한 이전의 이미지 프레임에 비해 나중의 이미지 프레임에 추가된 컨텐츠는 나중의 이미지 프레임의 변화된 핸드라이팅이다.
일부 실시예에 따르면, 변화된 핸드라이팅이 획득된 이후, 각 이미지의 변화된 핸드라이팅이 타임 시퀀스 정보를 포함하는 전체 핸드라이팅 정보를 획득하기 위해 각 이미지 프레임의 변화된 핸드라이팅의 타임 시퀀스에 따라 차례로 연결될 수 있다.
예를 들면, 사용자가 하얀색 종이에 검은 잉크 필기 도구로 ‘od’을 기재할 때, 네개의 연속적인 이미지 프레임이 캡쳐될 수 있다. 직관적인 선으로 설명하자면, ‘od’라는 글자를 기재할 때의 4개의 프레임의 변화된 핸드라이팅은 각각 ‘왼쪽 반 동그라미’, ‘오른쪽 반 동그라미’, ‘왼쪽 반 동그라미’, ‘직선’ 수 있다. 전체 핸드라이팅인 ‘od’ 글자를 얻기 위해 연속적인 이미지의 타임 시퀀스에 따라 모든 변화된 핸드라이팅이 연결된다.
일부 실시예에 따르면, 이미지 프레임들 간의 인터벌은 소정의 길이보다 길지 않고, 각 이미지 프레임의 변화된 핸드라이팅이 하나의 선을 포함할 수 있다. 도 1n은 ‘d’ 글자가 쓰여질 때의 네개의 이미지 프레임을 도시한다. 인텔리전트 디바이스는 핸드라이팅으로 구성된 글자 ‘d’를 획득하기 위해 연속적인 이미지 프레임들의 타임 시퀀스 정보에 따라 4개의 이미지 프레임의 변화된 핸드라이팅을 조합할 수 있다.
변화된 핸드라이팅의 타임 시퀀스 관계는 아래의 방법에 의해 획득될 수 있으나, 하기 예시에 제한되지 않는다.
일부 실시예에 따르면, 인텔리전트 디바이스는 상이한 프레임들 간의 변화된 핸드라이팅들의 타임 시퀀스 관계를 획득하기 위해 타임 시퀀스에 따라 각 이미지 프레임을 차례로 처리할 수 있다. 예를 들면, 인텔리전트 디바이스는 현재 이미지 프레임에 기록된 타임 스탬프와 현재 이미지 프레임과 근접한 이미지 프레임 간의 타임 시퀀스 정보에 따라, 현재 이미지 프레임의 변화된 핸드라이팅과 대응되는 타임 스탬프 및 현재 이미지 프레임의 변화된 핸드라이팅과 근접한 이미지 프레임의 변화된 핸드라이팅 간의 타임 시퀀스 관계를 획득할 수 있다.
도 1o 및 도 1p는 각각 변화된 핸드라이팅을 조합하는 방법을 도시한다. 도 1o에서 도시된 바와 같이 각 사각형은 이미지 프레임을 나타낸다. 사용자는 왼쪽에서 오른쪽으로 ‘Today’s weather is very good’을 기재한다. 인텔리전트 디바이스는 타임 시퀀스에 따라 복수의 이미지 프레임을 획득하기 위해 왼쪽부터 오른쪽으로 촬영하고, 각 이미지 프레임의 타임시퀀스 정보를 기록한다. 예를 들면, 모든 이미지 프레임들의 타임 스탬프 획득을 위해, 인텔리전트 디바이스는 왼쪽의 첫번째 이미지 프레임의 촬영 타임 스탬프는 2014년 10월 31일 14:10:04로 기록하고, 왼쪽의 두번째 이미지 프레임의 촬영 타임 스탬프는 2014년 10월 31일 14:10:15 등등으로 기록할 수 있다. 그 이후, 인텔리전트 디바이스는 이미지 프레임들의 타임 스탬프들의 시퀀스에 따라 이미지 프레임들의 변화된 핸드라이팅을 조합할 수 있다. 도 1p의 조합 방식 도한 도 1o와 유사하다.
나아가, 타임시퀀스 정보가 상대적인 정보에 의해 표현될 수 있다. 예를 들면, 도 1o에서 사용자는 왼쪽에서 오른쪽으로 ‘Today’s weather is very good’을 기재한다. 인텔리전트 디바이스는 타임 시퀀스에 따라 복수의 이미지 프레임을 획득하기 위해 왼쪽부터 오른쪽으로 촬영한다. 인텔리전트 디바이스는 왼쪽으로부터 오른쪽으로 증가 인덱스(increasing index) 또는 감소 인덱스(decreasing index)로 각 이미지 프레임의 타임시퀀스 정보를 기록할 수 있다. 예를 들면, 인텔리전트 디바이스는 모든 이미지 프레임들의 인덱스들을 획득하기 위해 왼쪽의 첫번째 이미지프레임의 프레임 인덱스는 1로 기록할 수 있고, 왼쪽에서 두번째 이미지 프레임의 프레임 인덱스는 2 등으로 기록할 수 있다. 그 이후, 인텔리전트 디바이스는 이미지 프레임들의 프레임 인덱스들에 의해 표현되는 타임 시퀀스에 따라 이미지 프레임들의 변화된 핸드라이팅을 조합할 수 있다.
추가적으로, 변화된 핸드라이팅의 타임 시퀀스는 현재 이미지 프레임의 변화된 핸드라이팅의 내부 픽셀들 간의 타임 시퀀스 관계를 더 포함할 수 있다. 현재 이미지 프레임의 변화된 핸드라이팅의 내부 픽셀들 간의 타임 시퀀스 관계는 아래의 방법들 중 하나에 의해 결정될 수 있으나, 하기 예시에 제한되지 않는다.
첫번째 방법으로, 현재 프레임의 변화된 핸드라이팅이 이전 프레임들의 조합된 핸드라이팅과 연결되는 경우, 인텔리전트 디바이스는 연결 지점을 현재 프레임의 변화된 핸드라이팅의 시작 지점으로 선택하고, 연결 포인트와 연결된 선(stroke)의 다른 지점을 종료 지점으로 선택할 수 있다. 시작 지점과 종료 지점 간의 픽셀들은 순서대로 인덱싱될 수 있다.
도 1q에서 도시된 바와 같이 왼쪽 사각형은 t번째 이미지 프레임을 나타내며, 오른쪽 사각형은 t+1번째 이미지 프레임을 나타낸다. a 지점 및 b 지점 간의 핸드라이팅은 t+1 번째 프레임의 변화된 핸드라이팅이다. t+1번째 프레임의 변화된 핸드라이팅은 조합된 이전 프레임의 핸드라이팅과 지점 a에서 연결된다. t+1번째 프레임의 변화된 핸드라이팅 내에서, 인텔리전트 디바이시는 지점 a를 시작 지점으로, 지점 b를 종료 지점으로 선택할 수 있다. t+1번째 프레임의 변화된 핸드라이팅 내의 타임 시퀀스 정보를 획득하기 위해 지점 a 및 지점 b간의 픽셀들은 순차적으로 인덱싱될 수 있다.
두번째 방법으로, 현재 이미지 프레임의 변화된 핸드라이팅이 조합된 이전 이미지 프레임들의 핸드라이팅과 연결되어 있지 않은 경우, 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅과 조합된 이전 이미지 프레임들의 조합된 핸드라이팅에서의 각 선의 말단 지점 간의 가장 짧은 거리를 계산하고, 현재 이미지 프레임의 변화된 핸드라이팅의 가장 짧은 거리를 가지는 선의 말단 지점을 시작 지점으로 선택하고, 선의 다른 말단 지점을 종료 지점으로 선택할 수 있다. 시작 지점 및 말단 지점 간의 픽셀들은 순서대로 인덱싱될 수 있다.
도 1r에 도시된 바와 같이, c 지점과 d 지점 간의 해드라이팅이 t+1 번째 이미지 프레임의 변화된 핸드라이팅이다. t+1번째 이미지 프레임의 변화된 핸드라이팅은 조합된 이전 이미지 프레임들의 핸드라이팅과 연결되지 않는다. 인텔리전트 디바이스는 c 지점과 조합된 이전 이미지 프레임들의 핸드라이팅 간의 가장 짧은 거리 및 d 지점과 이전 이미지 프레임들의 핸드라이팅 간의 가장 짧은 거리를 각각 계산한다. 인텔리전트 디바이스는 계산 결과에 기초하여 c 지점과 조합된 이전 프레임들의 핸드라이팅 간의 거리가 상대적으로 짧다는 것을 알 수 있다. 그러므로, 인텔리전트 디바이스는 c 지점을 시작 지점으로 선택할 수 있고, d 지점을 종료 지점으로 선택할 수 있다. t+1 이미지 프레임의 변화된 핸드라이팅 내의 타임 시퀀스 정보를 획득하기 위해 지점 c 및 지점 d 간의 픽셀들은 순차적으로 인덱싱 될 수 있다.
세번째 방법으로, 만약 현재 프레임의 변화된 핸드라이팅이 적어도 두 개의 선을 포함하는 경우, 인텔리전트 디바이스는 현재 프레임의 변화된 핸드라이팅 내의 각 선의 각 말단 지점과 조합된 이전 프레임들의 핸드라이팅 간의 가장 짧은 거리를 계산하고, 가장 짧은 거리를 가지는 선의 말단 지점을 현재 프레임의 변화된 핸드라이팅의 첫번째 선의 시작 지점으로 선택하고, 선의 다른 말단 지점을 종료 지점으로 선택할 수 있다. 시작 지점 및 말단 지점 간의 픽셀들은 순서대로 인덱싱될 수 있다. 상기에서 설명한 프로세스는 타임 시퀀스가 식별된 모든 선들 및 모든 픽셀들에 반복적으로 적용될 수 있다.
도 1s에 도시된 바와 같이, e 부터 f까지의 핸드라이팅 및 h 부터 i까지의 핸드라이팅은 모두 t+1번째 이미지 프레임의 변화된 핸드라이팅이다. t+1번째 이미지 프레임의 변화된 핸드라이팅은 조합된 이전 이미지 프레임들의 핸드라이팅과 연결되지 않는다. 인텔리전트 디바이스는 e, f, g, h 및 조합된 이전 프레임들의 핸드라이팅 간의 가장 짧은 거리를 각각 계산할 수 있다. 인텔리전트 디바이스는 e 지점이 시작 지점으로 선택할 수 있고, f 지점이 종료 지점으로 선택할 수 있다. e와 f 간의 픽셀들은 순차적으로 인덱싱 될 수 있다. 이후, 인텔리전트 디바이스는 h, i 및 식별된 선 간의 가장 짧은 거리를 각각 계산할 수 있다. 인텔리전트 디바이스는 계산 결과에 기초하여 h 지점과 식별된 선 간의 거리가 상대적으로 짧다는 것을 알 수 있다. 그러므로, 인텔리전트 디바이스는 h 지점을 시작 지점으로 선택할 수 있고, i 지점이 종료 지점으로 선택할 수 있다. t+1 이미지 프레임의 변화된 핸드라이팅 내의 타임 시퀀스 정보를 획득하기 위해 지점 h 및 지점 i 간의 픽셀들은 순차적으로 인덱싱될 수 있다.
일부 실시예에 따르면, 현재 프레임 이미지의 변화된 핸드라이팅의 연결 상황이 분석될수도 있다. 즉, 인텔리전트 디바이스는 선들의 유형에 따라 핸드라이팅의 시간 시퀀스 정보를 획득할 수도 있다. 인텔리전트 디바이스는 연결이 끊어진 부분들을 각각 상이한 선들로써 선택할 수 있다. 또한 인텔리전트 디바이스는 변화된 핸드라이팅 내의 교차하는 선들을 교차점을 기준으로 각각 겹치지 않는 보조의 선(sub-stroke)으로 나눌 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자의 필기 방향(예를 들면, 왼쪽에서 오른쪽 또는 위에서 아래) 또는 대응하는 언어에 따라, 완전한 선들을 획득하기 위해 교차점에서 보조의 선들을 쌍으로 연결한다.(예를 들면, 도 1s에서 e-f 및 h-i가 2개의 선이 교차점 g에서 잘려져 4개의 보조의 선이 되며, 왼쪽에서 오른쪽으로 및 위에서 아래로의 원칙에 따라, 보조의 선 e-g 및 g-f가 연결되어 e-f 선을 형성하고, 보조의 선 i-g와 i-h가 연결되오 h-i 선을 형성한다.)
일부 실시예에 따르면, 변화된 핸드라이팅이 원형 선인 경우, 시작 지점 및 종료 지점의 역할을 하는 소정의 점에서 잘려질 수 있다. 카메라의 샘플링 주파수가 사용자의 필기 속도보다 훨씬 더 높기 때문에 두개의 근접한 이미지 프레임들은 일반적으로 핸드라이팅이 겹치는 부분이 많으며, 변화된 핸드라이팅이 복수의 선들을 포함하는 경우가 존재하지 않을 수도 있다.
상기 설명한 예시에 따라 현재 이미지 프레임의 변화된 핸드라이팅 내의 시작 지점 및 종료 지점이 결정되면, 변화된 핸드라이팅의 조합이 수행될 수 있다. 즉, 인텔리전트 디바이스는 현재 이미지 프레임의 로컬 핸드라이팅의 조합 시작 지점 및 조합 종료 지점이 결정하고, 결정된 조합 시작 지점 및 조합 종료 지점에 기초하여 변화된 핸드라이팅의 조합을 수행할 수 있다. 예를 들어, 현재 이미지 프레임의 변화된 핸드라이팅 내의 제 1 선의 시작 지점이 현재 이미지 프레임의 로컬 핸드라이팅의 조합 시작 지점으로 선택될 수 있고, 현재 이미지 프레임의 변화된 핸드라이팅 내의 마지막 선의 종료 지점이 현재 이미지 프레임의 로컬 핸드라이팅의 조합 종료 지점으로 선택될 수 있다.
일부 실시예에 따르면, 변화된 핸드라이팅이 획득된 이후, 인텔리전트 디바이스는 변화된 핸드라이팅의 선들에 대해 신뢰도 평가를 수행할 수 있다. 일부 실시예에 따르면, 로컬 핸드라이팅 내의 선들의 신뢰도 평가 값은 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 상대적 위치 또는 이전 도는 이후 선들에 대한 선의 연속성 및 선과 필기 도구의 말단의 이동 궤적의 매칭 정도 및 중 적어도 하나에 따라 결정될 수 있다.
예를 들면, 인텔리전트 디바이스는 합리적인 선의 길이에 대한 범위를 설정할 수 있다. 만약 선의 길이가 너무 짧은 경우(예를 들면, 선이 점에 불과한 경우), 너무 짧은 선은 사용자가 원하지 않는 액션에 의해 필기된 것일 수 있으므로, 핸드라이팅의 일부로 형성되지 않을 수 있다. 다시 말해서, 너무 짧은 선의 신뢰도 평가 값은 감소할 수 있다.
다른 실시예로서, 이전 또는 이후의 선들과 높은 연속성을 가지는 선일수록 더 높은 신뢰도 평가 값을 가질 수 있으며, 그 역 또한 같다. 예를 들여, 사용자가 ‘Today’s weather is very good’을 쓸 때, ‘good’ 내의 ‘go’는 이전 또는 이후의 선들과 높은 연속성을 가질 수 있다. 따라서, ‘go’는 상대적으로 높은 신뢰도 평가 값을 가질 수 있다. 인텔리전트 디바이스는 연속성을 판단하기 위한 정보를 사용자 입력, 서버 또는 외부 디바이스로부터 획득할 수 있으며, 상기 예시에 제한되지 않는다.
다른 실시예로써, 선과 필기 도구의 말단의 이동 궤적이 매칭 정도가 높을수록, 더 높은 신뢰도 평가 값을 가질 수 있으며, 그 역 또한 같다. 예를 들어, 사용자가 ‘Today’s weather is very good’을 쓸 때, ‘good’ 중 ‘o’는 옅은 색을 가질 수 있지만, 필기 도구의 말단의 움직인 궤적이 ‘o’와 매칭되므로, ‘o’ 또한 상대적으로 높은 신뢰도 평가 값을 가질 수 있다.
일부 실시예에 따르면, 필기 도구의 이동 궤적은 아래의 방법을 통해 획득될 수 있으나, 하기 예시에 제한되지 않는다.
일부 실시예에 따르면, 카메라에 의해 사용자의 핸드라이팅이 촬영되는 동안, 인텔리전트 디바이스는 필기도구의 말단의 이동 궤적을 획득하기 위해 필기 도구의 말단의 위치 및 모양에 따라 등록된 필기 도구의 말단을 추적할 수 있다. 사용자가 필기 도구를 등록할 때, 필기 도구의 말단의 모양이 인텔리전트 디바이스에 등록되고, 저장될 수 있다. 필기 도구와 같은 오브젝트 추적 방법은 당업자에게 자명하므로 자세한 설명은 생략한다. 선과 대응되는 필기 도구의 말단의 이동 궤적 간의 매칭을 위해, 두 이동 궤적들의 비교가 가능한 알고리즘 또는 모델들이 적용될 수 있다. 예를 들면, 이동 궤적 간의 매칭에는 다이나믹 타임 랩핑(Dynamic Time Wrapping(DTW) 알고리즘, 히든 마코브 모델(Hidden Markov Model(HMM), 인공신경망(Artificial Neural Network)과 같은 알고리즘 또는 모델이 사용될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 선과 필기 도구의 말단의 이동 궤적 간의 매칭 정도에 따라 선의 신뢰 평가 값이 결정되기 전, 선과 필기 도구의 말단의 이동 궤적 간의 매칭 정도에 따라 선에 향상 프로세스가 수행될 수 있다. 예를 들면, 만약 선이 선 및 필기 도구의 말단의 이동 궤적에 있는 경우, 인텔리전트 디바이스는 문턱값에 비해 선의 신뢰도 평가 값이 낮은 선이라도 캡쳐할 수 있다. 즉, 인텔리전트 디바이스는 문턱값보다 낮은 신뢰도 평가 값을 가지는 선이더라도, 이동 궤적과 비교함으로써, 문턱값보다 낮은 신뢰도 평가 값을 선을 캡쳐할 수 있다.
두번째 방법으로, 현재 이미지 프레임의 선행 조합된 핸드라이팅(anterior combined handwriting)을 획득하기 위해 현재 이미지 프레임보다 먼저 모든 이미지 프레임들의 변화된 핸드라이팅이 조합될 수 있다. 즉, 인텔리전트 디바이스는 현재 이미지 프레임을 제외한 현재 이미지 프레임 이전의 모든 프레임들의 변경된 핸드라이팅을 조합함으로써, 현재 이미지 프레임의 선행 조합된 핸드라이팅을 획득할 수 잇다.
또한 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임의 변경된 핸드라이팅과 현재 프레임의 선행 조합된 핸드라이팅을 조합할 수 있다. 인텔리전트 디바이스는 상기 방법을 반복함으로써, 방식을 반복함으로써, 전체 핸드라이팅이 조합할 수 있다.
예를 들면, 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅의 타임 시퀀스 정보에 현재 따라 이미지 프레임의 이전 모든 이미지 프레임(즉, 현재 이미지 프레임보다 먼저 촬영된 이미지 프레임들)의 변화된 핸드라이팅을 조합할 수 있으며, 현재 이미지 프레임의 선행 조합된 핸드라이팅으로써 조합된 핸드라이팅을 선택할 수 있다. 그 후, 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임의 변화된 핸드라이팅을 현재 이미지 프레임의 선행 조합된 핸드라이팅과 조합할 수 있다. 예를 들면, 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지의 변화된 핸드라이팅의 시작 지점을 현재 이미지 프레임의 선행 조합된 핸드라이팅의 종료 지점과 연결할 수 있다.
예를 들면, 사용자가 ‘very’을 검은 잉크의 필기 도구로 하얀 종이에 기재하는 경우, 4개의 이미지 프레임이 캡쳐될 수 있다. 4개의 이미지 프레임들의 변화된 핸드라이팅은 각각 ‘v’, ‘e’, ‘r’, ‘y’일 수 있다. 세번째 이미지 프레임의 선행 조합된 핸드라이팅을 ‘ve’를 획득하기 위해 첫번째 이미지 프레임이 두번째 이미지 프레임의 변화된 핸드라이팅과 조합된다. 네번째 이미지 프레임의 선행 조합된 핸드라이팅 ‘ver’을 획득하기 위해 세번째 이미지 프레임의 변화된 핸드라이팅과 선행 조합된 핸드라이팅(첫번째 이미지 프레임 및 두번째 이미지 프레임의 조합의 결과)이 조합된다. 다음 이미지 프레임(예를 들면, 네번째 이미지 프레임 이후 촬영되는 다섯 번째 이미지 프레임)의 선행 조합된 핸드라이팅 ‘very’를 획득하기 위해 네번째 이미지 프레임의 변화된 핸드라이팅 및 선행 조합된 핸드라이팅이 조합될 수 있으며, 상기와 같은 방식이 전체 핸드라이팅이 획득될 때까지 반복될 수 있다.
상기 실시예는 각각의 글자를 기준으로 변화된 핸드라이팅을 조합하는 방법을 설명하였으나, 다른 실시예에서는 두 이미지 프레임의 간격이 짧고, 각 이미지 프레임의 변화된 핸드라이팅이 선의 일부일 수도 있다. 도 1n은 ‘d’가 쓰여질 때의 4개의 이미지 프레임을 도시한다. 각 이미지 프레임의 변화된 핸드라이팅은 하나의 글자가 아닌 글자의 일부로써, 앞서 설명한 예시에 비해 변화된 핸드라이팅이 상대적으로 적을 수 있다. 이미지 프레임 3에서 도시된 바와 같이 네번째 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 첫번째 이미지 프레임 내지 세번째 이미지 프레임의 변화된 핸드라이팅이 조합될 수 있다. 다음 이미지 프레임의 선행 조합된 핸드라이팅 ‘d’를 획득하기 위해 네번째 이미지 프레임의 선행 조합된 핸드라이팅 및 변화된 핸드라이팅이 조합될 수 있다.
두번째 방법은, 앞서 설명한 변화된 핸드라이팅을 획득하는 첫번째 방법 및 타임 시퀀스 정보를 획득하는 첫번째 방법을 포함할 수 있다. 변화된 핸드라이팅을 획득하는 방법 및 타임 시퀀스 정보를 획득하는 방법은 상기에서 설명한 바 있으므로, 자세한 설명은 생략한다.
세번째 방법은, 각 이미지 프레임의 로컬 핸드라이팅에 기초하여 직접 조합을 수행하는 방법이다. 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 각 이미지 프레임의 핸드라이팅과 선행 조합된 핸드라이팅과 겹치는 부분을 선택하여 조합할 수 있다.
예를 들면, 사용자가 검은 잉크의 필기 도구를 이용하여 하얀 종이에 ‘good’을 필기 할 때, 네개의 연속적인 이미지 프레임이 캡쳐될 수 있다. 네개의 이미지 프레임들의 로컬 핸드라이팅은 각각 ‘g’, ‘go’, ‘goo’ 및 ‘good’일 수 있다. 두 이미지 프레임들 ‘go’의 조합된 핸드라이팅을 획득하기 위해 첫번째 이미지 프레임이 두번째 이미지 프레임의 로컬 핸드라이팅의 겹치는 부분인 ‘g’와 조합될 수 있다. ‘goo’의 조합된 핸드라이팅을 획득하기 위해 두 이미지 프레임의 조합된 핸드라이팅이 세번째 이미지 프레임의 로컬 핸드라이팅의 겹치는 부분 ‘go’와 조합될 수 있다. ‘good’의 조합된 핸드라이팅을 획득하기 위해 세 이미지 프레임의 조합된 핸드라이팅이 세번째 이미지 프레임의 로컬 핸드라이팅의 겹치는 부분 ‘goo’와 조합될 수 있다. 상기 실시예는 로컬 핸드라이팅의 조합 방법에 대해 설명하고 있으나, 일부 실시예에서는 두 프레임들 간의 인터벌이 길지 않을 수 있으며, 로컬 핸드라이팅 간에 겹치는 부분이 많을 수도 있다.
일부 실시예에 따르면, 도 1t에 도시된 글자 또는 도 1u에 도시된 단어와 같이 인텔리전트 디바이스는 글자 또는 단어를 조합함으로써, 전체 핸드라이팅을 획득할 수 있다. 도 1v 및 도 1w에서 도시된 바와 같이 조합에 의해 획득되는 전체 핸드라이팅은 문장(sentence)일 수도 있다. 조합에 의해 획득되는 전체 핸드라이팅은 글자들의 복수의 라인들을 포함할 수도 있고, 레이아웃 정보를 포함할 수도 있다.
블록 S106에서, 인텔리전트 디바이스는 전체 핸드라이팅에 따라 사용자의 손으로 필기한 컨텐츠를 인식할 수 있다.
즉, 인텔리전트 디바이스는 획득한 전체 핸드라이팅을 인식함으로써, 컨텐츠를 인식하고, 필기 정보를 생성할 수 있다.
예를 들면, 인텔리전트 디바이스는 온라인 핸드라이팅 인식 방법을 이용하여 컨텐츠 인식을 수행할 수 있다. 온라인 핸드라이팅 인식 방법은 타임 시퀀스 정보, 필기 시퀀스(writing sequence) 및/또는 핸드라이팅의 펜업(pen-up) 및 펜다운(pen-down) 정보에 따라 컨텐츠를 인식하는 방법을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오프라인 핸드라이팅 인식 방법을 이용하여 컨텐츠 인식을 수행할 수 있다. 오프라인 핸드라이팅 인식 방법은 필기 시퀀스를 알 수 없으나, 이미지에 표시된 정보만을 기초로 컨텐츠를 인식하는 방법을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 전체 핸드라이팅의 인식을 수행할 때, 촬영된 이미지에 대해 전처리(Pre-processing)이 수행될 수 있다. 만약 이미지가 왜곡 또는 기울어진 경우, 교정(calibration)이 수행될 수 있다. 만약 이미지의 퀄리티가 좋지 않은 경우, 이미지에 대해 향상 프로세스가 수행될 수 있다. 그 이후, 인텔리전트 디바이스는 촬영된 이미지에 대해 레이아웃 분석을 수행할 수 있고, 이진화, 블록 분할, 라인 분할, 문자 분할 등을 포함하는 프로레싱을 통해 레이아웃 정보를 획득할 수 있다. 레이아웃 정보는 단락의 좌표들, 텍스트 영역의 라인들, 단락의 시퀀스 및 각 글자들의 라인들 및 좌표들, 그래프 영역의 좌표 및 그래프 영역을 둘러싼 텍스트 및 배경 등을 포함할 수 있다. 획득된 레이아웃 정보에 기초하여 인텔리전트 디바이스는 폰트, 크기 및 각 글자의 대응하는 코드와 같은 글자 정보를 획득하기 위해 글자 인식을 수행할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 핸드라이팅 인식 엔진을 이용하여 획득한 전체 핸드라이팅에 컨텐츠 인식을 수행할 수 있고, 획득된 인식 결과를 사용자의 핸드라이팅으로써 선택할 수 있다. 핸드라이팅 인식 엔진의 핸드라이팅 인식 방법은 당업자에게 자명하므로 자세한 설명은 생략한다.
상기에서 설명한 실시예 1에서, 직접 핸드라이팅을 검색함으로써, 핸드라이팅을 인식하는 방법은 종래의 필기 도구의 말단을 추적하는 방법에 의해 결정되는 펜업/펜다운에 의한 어려움을 극복할 수 있으며, 핸드라이팅 인식의 정확도가 증가할 수 있다. 나아가 실시예 1에서 로컬 필기 영역의 촬영을 통해 핸드라이팅을 획득하는 방법은 촬영된 선들의 명확성을 보장할 수 있다. 촬영된 선들이 조합된 이후, 명확한 전체 선이 획득될 수 있다. 따라서, 전체 촬영에 의해 획득한 선들이 불명확했던 종래 기술의 문제점을 해결할 수 있다. 추가적으로, 인텔리전트 디바이스가 포함하는 하나의 카메라만이 핸드라이팅을 기록하는데 사용되므로, 추가적인 하드웨어가 필요하지 않아 비용 절감의 효과 또한 존재한다.
실시예 2
일부 실시예 따르면, 인텔리전트 디바이스는 핸드라이팅을 인식하는 방법을 제공할 수 있다. 도 2a는 핸드라이팅을 인식하는 방법을 도시한다.
블록 S201에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점이 추적하고, 로컬 필기 영역을 촬영할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S202에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영 이미지 프레임에 전처리를 수행할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역의 촬영된 이미지 프레임은 필기 표면에 표시된 사용자의 핸드라이팅 뿐만 아니라, 필기 도구 및 사용자의 손 또한 포함할 수 있다. 이 경우, 촬영된 이미지 프레임내의 필기 표면으로부터 사용자의 손 및 필기 도구를 분리하는 전처리가 필요할 수 있다.
예를 들면, 로컬 필기 영역의 이미지 프레임을 촬영한 후, 인텔리전트 디바이스는 사전에 등록된 필기 도구의 말단의 모양에 따라 촬영된 이미지 프레임 내의 필기 도구의 말단의 위치 및 모양을 판단하고, 촬영된 이미지로부터 필기 도구를 제거할 수 있다. 인텔리전트 디바이스는 사용자의 필기 도구를 쥐는 자세 및 필기 도구를 쥘 때의 손의 모양에 따라 촬영된 이미지 프레임으로부터 사용자의 손을 제거할 수도 있다.
도 2b 및 도 2c는 컨텐츠에 전처리가 수행되는 방법을 도시한다. 도 2b에 도시된 바와 같이, 사용자의 필기 절차 동안, 인텔리전트 디바이스는 도 2b의 왼쪽 그림에 도시된 바와 같이, 사용자의 손 및 필기 도구가 포함된 이미지 프레임을 캡쳐한다. 이후, 인텔리전트 디바이스는 전처리를 수행함으로써, 도 2b의 왼쪽 그림에서 사용자의 손 및 필기 도구를 제거한 도 2b의 오른쪽 그림을 획득한다. 도 2c에서의 프로세스 또한 도 2b와 유사하다.
나아가, 핸드라이팅의 차후의 검색이 가능하도록 하기 위해, 전처리 단계는 각 이미지 프레임의 노멀라이즈 동작를 포함할 수 있다. 노멀라이즈 동작은 각 이미지 프레임이 동일한 기하학적 크기를 가지도록 각 이미지 프레임의 크기를 조절하는 단계, 각 이미지 프레임이 동일한 방향을 가지도록 각 이미지 프레임에 기울기 및/또는 회전 교정을 수행하는 단계; 및 각 이미지 프레임에 밝기 및/또는 명암 조절을 수행하는 단계를 포함할 수 있다.
상기 설명한 전처리를 통해, 이미지 프레임은 핸드라이팅 인식에 적합하도록 소정의 포맷으로 조절될 수 있다.
블록 S203에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영된 이미지로부터 로컬 핸드라이팅이 검색할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S205에서, 인텔리전트 디바이스는 전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S206에서, 인텔리전트 디바이스는 획득된 전체 핸드라이팅에 따라 사용자의 손으로 필기한 컨텐츠를 인식할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 블록 S202의 로컬 필기 영역의 이미지가 전처리 이후의 이미지일 수 있다. 전처리 이후의 이미지 프레임 내의 색상들이 주로 사용자의 핸드라이팅의 색상 및 필기 표면의 색상을 포함하기 때문에, 전처리를 수행한 이미지 프레임의 핸드라이팅 인식의 정확도가 전처리를 수행하지 않았을 때보다 높을 수 있다.
실시예 3
일부 실시예 따르면, 인텔리전트 디바이스는 핸드라이팅을 인식하는 방법을 제공할 수 있다. 도 3a는 핸드라이팅을 인식하는 방법을 도시한다.
블록 S301에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역이 촬영할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S302에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영 이미지에 전처리를 수행할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S303에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영된 이미지로부터 로컬 핸드라이팅을 검색할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S304에서, 인텔리전트 디바이스는 검색된 로컬 핸드라이팅에 향상 프로세스를 수행할 수 있다.
핸드라이팅의 인식의 정확도를 증가시키기 위해, 하기의 상황들 중 적어도 하나에 따라 로컬 핸드라이팅에 향상 프로세스가 수행될 수 있다. 예를 들면, 촬영 프로세스 도중 빛 밝기(light brightness) 또는 선명도(definition)가 소정의 요구를 충족시키지 못하는 경우, 촬영된 이미지 프레임 내의 핸드라이팅의 두께가 소정의 값보다 작은 경우, 촬영된 이미지 프레임 내의 핸드라이팅의 색상(즉, 검색된 로컬 핸드라이팅의 픽셀들의 색상) 및 배경의 색상(즉, 필기 표면의 색상) 간의 차이가 소정의 값보다 작은 경우에는 향상 프로세스가 수행될 수 있다.
일부 실시예에 따르면, 향상 프로세스는 아래의 단계들을 포함할 수 있다. 물론 하기 예시에 제한되는 것은 아니다. 예를 들면, 인텔리전트 디바이스는 촬영 절차 동안 밝기 또는 선명도에 따라 카메라의 초점이나 조리개를 조절하는 단계; 촬영된 이미지 내의 핸드라이팅의 두께에 따라 카메라의 배율을 조절하는 단계; 촬영된 이미지에 기울기 및/또는 회전 교정을 수행하는 단계; 및 각 이미지 프레임에 밝기 및/또는 명암 조절을 수행하는 단계를 수행함으로써, 향상 프로세스를 수행할 수 있다,
일부 실시예에 따르면, 검색된 로컬 핸드라이팅을 수정하는 단계는 검색된 로컬 핸드라이팅에 평활 처리(smoothing processing)를 수행하는 단계를 포함할 수 있다. 이진화 프로세스 동안 생성된 노이즈 포인트들이 검출되면, 인텔리전트 디바이스는 검색된 로컬 핸드라이팅에 슬라이드 연산(slide operation)을 수행하고, 인식을 위한 사용 가능한 핸드라이팅 데이터를 획득할 수 있도록 노이즈 포인트를 필터링할 수 있다.
도 3b 및 도 3c는 각각 필기된 컨텐츠를 수정하는 방법을 도시한다. 도 3b의 왼쪽 그림에는 로컬 필기 영역의 촬영 이미지 내에는 일부의 노이즈 포인트들이 존재한다. 인텔리전트 디바이스는 노이즈 포인트를 검출한 이후, 노이즈 포인트들을 필터링하고, 도 3b의 오른쪽 그림과 같이 인식을 위해 사용 가능한 핸드라이팅을 획득할 수 있다. 도 3c 또한 도 3b와 유사하다.
추가적으로, 향상 프로세스는, 선들의 신뢰도 평가 값에 따라 로컬 핸드라이팅을 프로세싱 하는 단계를 더 포함할 수 있다. 예를 들어, 로컬 핸드라이팅 내의 문턱값 보다 낮은 신뢰도 평가 값을 가지는 선이 존재하는 경우, 문턱값 보다 낮은 신뢰도 평가 값을 가지는 선은 제거될 수 있으며, 문턱값 보다 높은 신뢰도 평가 값을 가지는 선들만이 남을 수 있다.
블록 S305에서, 인텔리전트 디바이스는 전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S306에서, 인텔리전트 디바이스는 획득된 전체 핸드라이팅에 따라 사용자의 손으로 필기한 컨텐츠를 인식할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
실시예 4
핸드라이팅을 인식하기 전에, 인텔리전트 디바이스는 필기 도구를 등록하고, 핸드라이팅의 인식을 위해 적합한 필기 도구를 선택하는 것이 가능하다. 이하에서는 필기도구의 등록 및 선택에 관하여 설명한다.
일부 실시예에 따르면, 필기 도구는 필기 표면에 필기가 가능하고, 핸드라이팅을 만드는 오브젝트(예를 들면, 연필, 만년필, 볼필기 도구 또는 분필)를 포함할 수 있다. 필기 표면은 필기 도구가 필기할 수 있는 모든 표면(예를 들면, 종이 또는 칠판)을 포함할 수 있다. 핸드라이팅은 필기 표면에 필기할 때 필기 도구에 의해 생성되는 소정의 길이, 넓이 및 색상을 나타내는 선들 또는 선들의 집합을 나타낸다. 선들은 직선 또는 곡선일 수 있다. 근접한 펜업 지점과 펜다운 지점 간의 핸드라이팅은 선으로 나타낼 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자의 손으로 필기한 정보를 인식하기 전에, 필기 도구를 등록할 수 있다. 필기도구의 등록은, 필기 도구의 핸드라이팅의 색상을 등록 및/또는 필기 도구의 말단의 모양의 등록을 포함할 수 있다.
필기 도구를 등록할 때, 사용자는 웨어러블 디바이스(예를 들면, 인텔리전트 글래스) 또는 카메라가 장착된 모바일 디바이스(예를 들면, 셀룰러 폰 또는 타블렛 컴퓨터)와 같은 인텔리전트 디바이스에 등록 지시를 입력할 수 있다. 등록 지시는 음성, 버튼, 제스쳐, 증강 현실과 같은 인간 - 컴퓨터 상호 작용 인터페이스 및 외부 컨트롤러(즉, 인텔리전트 디바이스와 관련 있는, 핸드폰과 같은 리모트 제어 기능을 가진 디바이스)에 의해 생성될 수 포함할 수 있다.
예를 들면, 필기 도구의 등록 지시가 음성에 의해 시작되는 경우, 사용자가 ‘핸드라이팅 인식 시작’과 같은 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시를 수신하고, 음성 지시가 등록 지시인지를 판단하기 위해 음성 지시에 따라 음성 인식을 시작하며, 필기 도구의 등록을 시작한다. 인텔리전트 디바이스는 음성 지시와 등록 지시 간의 대응 관계를 저장할 수 있다. 예를 들면, 음성 지시와 등록 지시는 대응 테이블을 통해 대응될 수 있으며, 음성 지시는 ‘등록을 시작’, ‘등록 시작’, ‘필기 도구 등록’ 및 영어, 중국어, 한국어 또는 다른 언어들로 구성된 지시들을 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 핸드라이팅 등록 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
등록 시작 지시가 버튼에 의해 시작될 수도 있다. 버튼은 홈버튼, 소리 조절 버튼, 파워 버튼, 프로그램 조절 버튼, 새롭게 추가된 버튼 또는 도 1b에 도시된 바와 같은 버튼과 같은 하드웨어 버튼 또는 소프트웨어로 구현된 소프트웨어 버튼일 수도 있고 또는 인텔리전트 디바이스의 사용자 인터페이스(User interface)일 수도 있으며 상기 예시에 제한되지 않는다. 만약 사용자가 소정의 방식에 따라 버튼을 누르면, 인텔리전트 디바이스는 등록 지시를 수신하였다고 판단할 수 있다. 소정의 방식은 짧게 누르기, 길게 누르기, 소정의 횟수를 짧게 누르기 또는 짧게 및 길게 번갈아 가며 누르는 등의 방식을 포함할 수 있다.
만약, 등록 시작 지시가 제스쳐에 의해 시작되는 경우, 제스쳐는 한손 또는 두손에 의해 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 인텔리전트 디바이스는 기존의 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다. 또한 인텔리전트 디바이스는 인식된 제스쳐에 따라 등록 지시가 수신되었다고 판단할 수 있다.
만약, 등록 시작 지시가 외부 컨트롤러(예를 들면, 인텔리전트 디바이스와 연결된 셀룰러폰)로부터 수신되는 경우, 인텔리전트 디바이스는 필기 도구의 등록을 시작한다. 인텔리전트 디바이스와 외부 컨터롤러의 연결은 물리적 연결일 수도 있고, 매크로 네트워크(Macro network), WiFi(Wireless Fidelity) 네트워크, 로컬 영역 네트워크 중 적어도 하나의 네트워크를 통한 무선 연결일 수도 있으며, 상기 예시에 제한되지 않는다. 또한 외부 컨트롤러의 지시는 적외선 지시(Infrared instruction) 또는 셀룰러폰에 의해 송신되는 메시지일 수도 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 만약 필기 도구의 등록이 필기 도구의 핸드라이팅 색상의 등록을 포함하는 경우, 인텔리전트 디바이스는 등록 지시를 수신한 후, 카메라(인텔리전트 디바이스 또는 모바일 디바이스에 장착된)를 이용하여 필기 도구에 의해 필기 표면에 생성된 핸드라이팅을 촬영하고, 검색된 핸드라이팅의 색상을 필기 도구의 핸드라이팅 색상 정보로써 등록할 수 있다.
도 4a는 필기 표면(401), 가상 필기 프레임(402) 및 사용자의 핸드라이팅(403)을 도시한다. 가상 필기 프레임은 인텔리전트 디바이스에 의해 필기 표면에 투영된 프레임을 포함할 수 있다. 인텔리전트 디바이스는 사용자가 필기 프레임 내에 필기하는 것을 안내하기 위해 사용자의 시야 내에서 필기 표면에 필기 프레임(필기 영역)을 투영하거나 표시할 수 있다. 필기 도구를 등록할 때, 카메라는 사용자의 등록 프로세스를 캡쳐할 수 있고, 모든 이미지 프레임들에 노멀라이즈 프로세스를 수행할 수 있다. 그 후, 노멀라이즈된 이미지 프레임들로부터 필기 도구의 핸드라이팅 색상 정보가 검색될 수 있다.
일부 실시예에 따르면, 필기 도구의 핸드라이팅 색상을 획득하는 방법은 아래의 방법들에 의해 구현될 수 있으나, 하기 예시에 제한되는 것은 아니다.
첫번째 방법으로, 인텔리전트 디바이스는 각 노멀라이즈된 이미지 프레임에서 필기 표면으로부터 필기 도구 및 사용자의 손을 분리하고, 두 개의 근접한 이미지 프레임의 필기 표면들을 비교하고, 구별되는 픽셀들을 검색하고, 구별되는 픽셀들의 색상을 필기 도구의 핸드라이팅 색상으로 선택한다.
예를 들면, 사용자가 ‘go’라는 글자를 등록된 필기 도구로 필기 할 때, 두 개의 근접한 이미지 프레임은 각각 ‘g’와 ‘go’를 포함할 수 있다. 두 이미지 프레임은 ‘o’가 위치한 부분에 차이가 있다. 만약 ‘o’의 픽셀들이 빨간색인 경우, 인텔리전트 디바이스는 필기 도구의 핸드라이팅 색상을 빨간색으로 판단할 수 있다.
두번째 방법으로, 인텔리전트 디바이스는 사용자가 필기 도구를 등록하기 이전의 이미지 프레임과 사용자가 필기를 완료한 이후의 이미지 프레임을 비교하고, 두 이미지 프레임의 구별되는 픽셀들을 검색하고, 구별되는 픽셀들의 색상을 필기 도구의 핸드라이팅 색상으로 선택할 수 있다. 사용자가 필기를 완료한 이후의 이미지 프레임은 필기 프레임 밖으로 필기 도구 및 사용자의 손이 이동한 후에 촬영된 이미지일 수 있다. 사용자가 필기를 완료한 이후의 이미지 프레임은 손이나 필기 도구와 같은 간섭을 포함하지 않으므로, 필기 도구의 색상을 정확히 인식하기 쉽다. 필기 도구 및 사용자의 손이 이동하였는지 여부는 이동하는 객체의 검출 방법에 의해 구현될 수 있다.
예를 들면, 필기 표면이 하얀색이고, 사용자가 필기 도구를 등록하기 전인 경우, 이미지 프레임은 하얀색 픽셀들만을 포함할 수 있다. 만약 사용자가 등록 동안 빨간색으로 필기하는 경우, 사용자가 필기를 완료한 후의 이미지 프레임은 하얀색 픽셀들과 빨간색 픽셀들 둘 모두를 포함할 수 있다. 빨간색 픽셀들은 새롭게 추가된 픽셀들(즉, 구별되는 픽셀들)이므로, 인텔리전트 디바이스는 등록된 필기 도구의 핸드라이팅 색상이 빨간색이라 판단할 수 있다.
세번째 방법으로, 필기 도구의 등록 동안 인텔리전트 디바이스에 등록을 가능하게 하기 위한 가상의 패턴이 사전에 설정될 수 있다. 사용자는 등록될 필기 도구를 이용하여 가상의 패턴을 그릴 수 있다. 인텔리전트 디바이스는 사용자에 의해 그려진 가상의 패턴을 촬영하고, 가상의 패턴에 대응하는 픽셀들의 색상을 검색할 수 있으며, 검색된 색상을 필기 도구의 핸드라이팅 색상으로 선택할 수 있다.
일부 실시예에 따르면, 가상 패턴은 곧은 선, 굽은 선, 원, 삼각형, 정사각형, 직사각형, 다이아몬드, 파운드 모양(Pound sign), 별 모양, 콜론(Colon), 따옴표를 포함할 수 있다.
예를 들면, 인텔리전트 디바이스는 가상 패턴이 삼각형임을 스크린에 표시하거나, 직접 필기 표면에 삼각형을 투영할 수 있다. 사용자는 등록된 필기 도구를 이용하여 필기 표면에 삼각형을 그릴 수 있다. 인텔리전트 디바이스는 삼각형을 포함하는 이미지를 획득하기 위해 촬영할 수 있으며, 삼각형의 색상을 검색하고, 필기 도구의 색상으로 선택할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 표면에 삼각형을 투영할 수 있으며, 사용자에게 투영된 위치에 삼각형을 그리라고 지시할 수 있다. 사용자가 등록된 필기 도구를 이용하여 투영된 위치에 삼각형을 그리면, 인텔리전트 디바이스는 이미지의 소정의 위치(즉, 삼각형이 투영된 위치)로부터 삼각형을 검색하고, 삼각형의 색상을 필기 도구의 색상으로 선택할 수 있다.
일부 실시예에 따르면, 필기 도구의 등록 동안, 인텔리전트 디바이스는 필기 도구를 이용하여 사용자가 정확하게 가상의 패턴을 그릴 수 있도록 안내하기 위해 소정의 동작들을 수행할 수 있다. 예를 들면, 인텔리전트 디바이스는 표시된 컨텐츠 또는 투영된 컨텐츠에 따라 사용자가 필기할 수 있도록 유도하기 위해 설명하는 텍스트를 표시할 수 있고, 각 선을 그리는 방향을 나타내는 화살표를 표시할 수도 있고, 가상 패턴을 어떻게 그리는지 도시하는 애니메이션을 표시할 수도 있으며, 사운드를 통해 언제, 어디에, 어떤 패턴을 그리도록 사용자를 유도할 수도 있다.
나아가, 인텔리전트 디바이스는 사용자에 의해 입력된 핸드라이팅 색상 정보를 직접 수신할 수 있고, 필기 도구 및 사용자에 의해 입력된 핸드라이팅 정보를 연관시킬 수 있다. 입력된 핸드라이팅 색상 정보는 핸드라이팅 색상의 RGB 값일 수도 있고, 빨강, 노랑, 파랑, 검정 등과 같은 색상의 이름일 수도 있으며, 상기 예시에 제한되지 않는다.
예를 들면, 사용자는 필기 도구의 핸드라이팅의 색상이 빨간 색임을 알 수 있다. 사용자는 인텔리전트 디바이스에 직접 색상이 빨간 색임을 입력할 수 있다. 인텔리전트 디바이스는 필기 도구와 사용자로부터 입력된 빨간 색을 연관시킴으로써, 필기 도구의 핸드라이팅 색상을 빨간색으로 선택할 수 있다. 또한 사용자는 빨간색의 RGB 값(255, 0, 0)을 입력할 수 있다. 인텔리전트 디바이스는 필기 도구와 사용자로부터 입력된 RGB 값을 연관시킴으로써, 필기 도구의 핸드라이팅 색상을 빨간색으로 선택할 수 있다.
일부 실시예에 따르면, 필기 도구를 등록은 필기 도구의 말단의 모양의 등록을 포함할 수 있다. 인텔리전트 디바이스는 카메라에 의해 촬영된 비디오에서 최대 이동 오브젝트를 검출함으로써, 사용자의 손의 위치 및 필기 도구의 위치를 판단할 수 있으며, 필기 도구의 모양을 검색할 수도 있다. 최대 이동 오브젝트라 함은 가장 많이 움직인 오브젝트를 포함할 수 있다.
또한 일부 실시예에 따르면, 인텔리전트 디바이스는 필기 도구의 말단에 말단 검색(Endpoint Detection)을 수행할 수도 있다, 인텔리전트 디바이스는 가장 뾰족하거나, 가장 큰 곡률을 가지는 말단을 필기 도구의 말단의 위치로 선택할 수 있다. 이후의 필기 도구의 말단의 추적을 용이하게 하기 위해, 필기 도구의 말단의 모양을 위한 형상(Model)이 설정될 수 있다. 비디오에서의 이동 오브젝트의 검출은 관련 필드에서 연구 및 적용되고 있으며, 필기도구의 말단의 형상 또한 형상 인식 관련 필드에서 빈번하게 사용되는 형상에 의해 표현될 수 있으므로, 자세한 설명은 생략한다.
예를 들면, 도 4b 및 도 4c에서 도시된 바와 같이 필기 도구의 말단의 모양을 등록 할 때, 인텔리전트 디바이스는 필기 도구를 이용하여 사용자기 필기하는 필기 절차의 비디오를 촬영할 수 있다. 인텔리전트 디바이스는 비디오 내의 필기 도구와 손을 최대 이동 오브젝트로 판단할 수 있다. 필기 도구의 가장 뾰족한 말단이 필기 도구의 말단(예를 들면, 펜 촉)일 수 있으므로, 인텔리전트 디바이스는 필기 도구의 말단에 말단 검색(Endpoint Detection)을 수행하고, 가장 뾰족한 부분(예를 들면, 도 4b 내의 점선으로 도시된 부분)을 필기 도구의 말단으로 선택할 수 있다.
추가적으로, 인텔리전트 디바이스는 사용자의 입력에 따라 등록될 필기 도구의 말단의 모양을 획득할 수도 있다. 이하에서는 사용자의 입력에 따라 필기 도구의 말단의 모양을 획득하는 방법을 설명한다. 물론 하기 예시에 제한되지 않는다.
첫번째 방법은 일반적으로, 필기 도구들의 종류가 상이하면 필기도구의 말단 모양 또한 상이할 수 있고, 필기 도구의 종류가 같으면 동일하거나 유사한 필기 도구의 말단 모양을 가질 수 있으므로, 필기 도구를 등록할 때, 사용자는 인텔리전트 디바이스에 필기 도구의 이름을 입력할 수 있다. 인텔리전트 디바이스는 입력된 이름에 대응되는 필기 도구의 말단의 모양을 결정할 수 있다. 예를 들어, 사용자에 의해 등록된 필기 도구 A가 연필이라고 가정하면, 사용자가 인텔리전트 디바이스에 필기 도구의 이름으로써 연필을 입력한다. 인텔리전트 디바이스는 필기 도구 및 필기 도구의 말단의 모양 간의 대응 관계에 따라 필기 도구 A의 말단 모양을 결정할 수 있다. 필기 도구와 필기 도구의 말단 모양 간의 대응 관계는 인텔리전트 디바이스에 저장되거나, 인텔리전트와 유선 또는 무선으로 연결된 다른 디바이스에 저장될 수 있으며, 상기 예시에 제한되지 않는다.
두번째 방법으로, 인텔리전트 디바이스는 다양한 종류의 필기 도구의 말단의 모양에 대한 그림들을 저장할 수 있다. 사용자가 필기 도구의 말단의 모양을 등록할 때, 인텔리전트 디바이스는 사용자의 선택을 위해 다양한 종류의 필기 도구의 말단의 그림들을 표시할 수 있고, 사용자에 의해 선택된 필기 도구의 말단 모양을 등록될 필기 도구의 말단 모양으로 저장할 수 있다.
예를 들면, 인텔리전트 디바이스는 연필의 말단 모양, 만년필의 말단 모양, 볼 펜의 말단 모양, 서명 펜(signature pen)의 말단 모양 등의 다양한 종류의 필기 도구의 말단 모양의 그림을 저장할 수 있다. 물론 필기 도구의 말단 모양은 상기 예시에 제한되지 않는다. 사용자가 연필과 같은 필기 도구 A의 말단 모양을 등록하고 싶어한다고 가정하면, 필기 도구의 말단 모양의 등록이 시작된 이후, 인텔리전트 디바이스는 다양한 필기 도구의 말단 모양의 그림을 표시하고, 사용자로부터 연필의 말단 모양과 대응되는 그림을 선택하는 지시를 수신할 수 있다. 인텔리전트 디바이스는 연필의 말단 모양을 필기 도구 A의 말단 모양으로 저장할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 등록된 필기 도구의 핸드라이팅 색상과 필기 표면의 배경 색상을 비교할 수 있다. 비교 결과, 핸드라이팅 색상과 및 필기 표면의 배경 색상 간의 색상 차가 소정의 문턱값보다 큰 경우, 인텔리전트 디바이스는 두 색상 간의 차이가 있다고 판단할 수 있다. 반대의 경우라면, 인텔리전트 디바이스는 두 색상들 간의 차이가 없다고 판단할 수 있다. 두 색상들 간의 차이가 없다고 판단된 경우, 인텔리전트 디바이스는 사용자에게 필기 도구를 변경하거나 필기 표면을 변경할 것을 유도할 수 있다. 필기 표면의 배경 색상은 사용자가 필기를 시작하기 전에 필기 표면의 촬영에 의해 획득될 수 있다.
예를 들면, 필기 도구의 핸드라이팅 색상이 검은 색이고, 필기 표면의 배경 색상이 하얀 색인 경우, 인텔리전트 디바이스는 핸드라이팅 색상과 필기 표면의 배경 색상이 차이가 있다고 판단할 수 있다. 따라서, 사용자는 하얀색 필기 표면 위에 검은색 필기 도구를 사용할 수 있다.
그러나, 필기 도구의 핸드라이팅 색상이 노란 색이고, 필기 표면의 배경 색상 또한 노란 색인 경우, 인텔리전트 디바이스는 핸드라이팅 색상과 및 필기 표면의 배경 색상이 차이가 없다고 판단할 수 있다. 인텔리전트 디바이스는 사용자가 필기 도구 또는 필기 표면을 변경하도록 유도할 수 있다. 인텔리전트 디바이스는 ‘필기 도구 또는 필기 표면의 변경해주시길 바랍니다’라고 기재된 대화 상자를 표시하거나, 현재 사용되는 필기 도구 또는 필기 표면이 부적합함을 나타내는 알람 소리를 제공하거나, 음성을 통해 사용자가 필기 도구 또는 필기 표면을 변경하도록 유도 할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 등록된 필기 도구들 중, 필기 표면의 배경 색상과 상이한 핸드라이팅 색상 정보를 가지는 필기 도구를 선택하도록 사용자를 유도할 수 있으며, 사용자는 인텔리전트 디바이스가 핸드라이팅을 인식할 수 있도록 필기 표면에 선택한 필기 도구를 이용하여 필기 할 수 있다.
실시예 5
핸드라이팅의 인식 동안, 고려되어야 할 특별한 상황들이 발생할 수 있다. 이하에서는, 인텔리전트 디바이스가 핸드라이팅을 인식 할 때 발생할 수 있는 특별한 상황에 대해 설명한다.
1. 라인 변경(Line break)
필기 절차 동안, 사용자는 복수의 라인들에 핸드라이팅을 필기할 수 있다. 새로운 라인에 필기를 시작하기 전의 이미지 프레임 내의 핸드라이팅 및 새로운 라인에 필기를 시작한 이후의 이미지 프레임 내의 핸드라이팅은 겹치지 않을 수 있다.
예를 들면, 사용자는 ‘Today’s weather is very good’을 첫번째 라인에 필기하고, ‘I walk to my office’를 두번째 라인에 필기할 수 있다. 첫번째 라인의 마지막 이미지 프레임은 ‘good’을 도시하지만, 두번째 라인의 첫번째 이미지 프레임은 ‘I’만을 도시할 수 있다. 이 경우, 첫번째 라인의 마지막 이미지 프레임과 두번째 라인의 첫번째 프레임의 조합은 부적절할 수 있다.
상기 예시와 같은 경우, 인텔리전트 디바이스의 핸드라이팅 인식의 정확도 및 완전성을 개선하기 위해서, 인텔리전트 디바이스는 각 이미지 프레임의 핸드라이팅을 조합할 때, 라인 변경 정보가 존재하는지 검출할 수 있다. 만약 라인이 바뀐 경우, 인텔리전트 디바이스는 라인 변경 정보에 따라 로컬 핸드라이팅의 조합을 수행할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 존재하는지 검출할 수 있다. 인텔리전트 디바이스는 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 검출되지 않는 것으로 판단되면, 라인 변경 정보가 검출된 것으로 판단할 수 있다. 앞선 예와 같이, 첫번째 라인의 마지막 이미지 프레임이 ‘good’ 만을 도시하고, 두번째 라인의 첫번째 이미지 프레임은 ‘I’만을 도시할 수 있다. 인텔리전트 디바이스는 첫번째 라인의 마지막 이미지 프레임과 두번째 라인의 첫번째 프레임 간에 겹치는 핸드라이팅이 없다고 판단할 수 있으므로, 첫번째 라인의 마지막 이미지 프레임과 두번째 라인의 첫번째 프레임 간에 라인 변경 정보가 검출되었다고 판단할 수 있다. 다시 말해서, 인텔리전트 디바이스는 근접한 이미지 프레임들 간의 겹치는 핸드라이팅이 없는 것으로 판단되면, 라인이 바뀌었다고 판단할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 각 이미지 프레임의 로컬 핸드라이팅 내에 라인 변경 식별자가 존재하는지 검출할 수도 있다. 만약 라인 변경 식별자가 검출되면, 인텔리전트 디바이스는 라인 변경 정보가 검출되었다고 판단할 수 있다. 라인 변경 식별자는 사전에 정의될 수 있다.
일부 실시예에 따르면, 라인 변경 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 라인 변경 정보는 또한 라인 변경을 가리키는 오디오 또는 비디오 데이터에 의해 식별될 수도 있다. 라인 변경을 나타내는 오디오 데이터가 수신되는 경우, 인텔리전트 디바이스는 라인 변경 정보가 검출되었다고 판단할 수 있다. 예를 들면, 사용자가 ‘라인 변경’이라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 라인 변경 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 라인 변경 지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 라인 변경 지시는 ‘라인 변경’, ‘새로운 라인’, ‘다음 라인’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 라인 변경 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
라인 변경 정보가 결정된 이후, 인텔리전트 디바이스는 라인 변경 정보에 따라 로컬 핸드라이팅 조합을 수행할 수 있다. 일부 실시예에 따르면, 인텔리전트 디바이스는 라인 변경 정보에 따라 조합하는 로컬 핸드라이팅의 시작 지점 또는 종료 지점을 결정한 후, 로컬 핸드라이팅의 조합을 수행할 수도 있다.
인텔리전트 디바이스는 라인 변경 정보가 검출되면, 현재 이미지 프레임의 선행 조합된 핸드라이팅을 제 1 라인의 핸드라이팅 정보로써 선택할 수 있다 또한, 인텔리전트 디바이스는 현재 이미지 프레임을 제 2 라인의 첫번째 이미지로써 선택할 수 있다. 다시 말해서, 인텔리전트 디바이스는 현재 이미지 프레임의 로컬 핸드라이팅을 제 2 라인의 조합된 핸드라이팅의 조합 시작 포인트로 선택될 수 있다.
또한 인텔리전트 디바이스는 제 2 라인의 조합된 핸드라이팅 정보를 획득하기 위해, 현재 이미지 프레임의 로컬 핸드라이팅을 라인 변경 정보가 검출되기 전까지의 모든 이미지 프레임들의 로컬 핸드라이팅과 조합할 수 있다. 인텔리전트 디바이스는 사용자에 의해 입력된 레이아웃 정보(예를 들면, 라인 변경 정보)를 포함하는 전체 핸드라이팅을 획득하기 위해, 타임 시퀀스에 따라 각 라인의 조합된 핸드라이팅을 조합할 수 있다.
예를 들면, 사용자가 연습장(exercise book)에 ‘Today’s weather is very good’을 필기하고, 라인 변경 식별자인 삼각형 신호를 필기한 후, ‘I walk to my office’를 필기할 수 있다. 인텔리전트 디바이스는 삼각형 신호 전의 마지막 변화된 핸드라이팅인 ‘good’을 조합 종료 지점으로 선택하고, 라인 변경 전의 핸드라이팅을 획득할 수 있다. 인텔리전트 디바이스는 삼각형 신호 후의 첫번째 변화된 핸드라이팅인 ‘I’를 조합 시작 지점으로 선택하고, 라인 변경 후의 핸드라이팅을 조합할 수 있다.
2. 멈춤(Pause)
필기 절차 동안, 사용자가 일시적으로 필기를 멈출 수도 있다. 예를 들면, 수업 시간에 필기를 할 때, 사용자는 칠판을 본 후, 필기를 하고, 다시 칠판을 보고 필기를 하는 동작과 같이, 필기 도중 잠시 필기를 멈출 수 있다. 멈춤 기간(Pause period) 동안에는 새로운 핸드라이팅이 생성되지 않으므로, 인텔리전트 디바이스는 멈춤 신호가 검출된 이후에는 로컬 핸드라이팅의 검색을 일시적으로 멈추고 전체 영역을 관찰 할 수 있다.
일부 실시예에 따르면, 전체 영역이라 함은, 전체 필기 영역으로써, 로컬 필기 영역을 포함할 수 있다. 즉, 전체 영역은, 필기 표면 또는 배경 전체 또는 로컬 필기 영역보다 넓거나 같은 영역을 포함할 수 있다.
인텔리전트 디바이스는 새로운 핸드라이팅이 생성되지 않는 ‹š에 로컬 핸드라이팅의 검색을 멈춤으로써, 중복 데이터(redundancy data)를 줄이고, 핸드라이팅의 인식 효율을 증가시킬 수 있으며, 프로세서의 로드를 감소시키고, 컴퓨팅 리소스 또한 절약할 수 있다.
인텔리전트 디바이스는 아래의 하나의 상황 중 하나일 때, 멈춤 신호가 검출되었다고 판단할 수 있다. 물론 하기 예시에 제한되는 것은 아니다.
인텔리전트 디바이스는 촬영된 이미지 프레임으로부터 새로운 핸드라이팅을 검색할 수 있다. 예를 들면, 사용자가 ‘Tdoay’s weather is very good’을 하얀 종이에 필기하고, 더 이상의 새로운 컨텐츠(핸드라이팅)를 기재하지 않을 수 있다. 인텔리전트 디바이스는 ‘good’이 기재된 이미지 프레임들을 연속적으로 촬영한다. 인텔리전트 디바이스는 새롭게 검색된 핸드라이팅이 없는 경우, 사용자가 필기를 임시적으로 멈췄다고 판단할 수 있다.
사용자의 필기 절차 동안, 사용자의 시각 초점은 항상 필기 표면 내에 위치할 수 있다. 사용자의 시각 초점이 필기 표면에서 떠나거나, 다른 정보를 보는 때(칠판 또는 컴퓨터 스크린을 보는 때) 사용자는 일반적으로 필기를 멈춘다. 따라서, 인텔리전트 디바이스는 사용자의 시각 초점이 필기 표면을 떠난 때를 검출함으로써, 멈춤 신호가 검출된 것으로 판단할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 도구의 말단의 위치를 검출할 수 없는 경우, 멈춤 신호가 검출된 것으로 판단할 수 있다. 인텔리전트 디바이스는 필기 도구의 핸드라이팅을 인식하기 위해 사용되므로, 만약 필기 도구의 말단의 위치가 인텔리전트 디바이스에 의해 촬영된 이미지들 내에서 소정의 기간 동안(예를 들면 5초) 검출되지 않는 경우, 인텔리전트 디바이스는 사용자가 소정의 기간 동안 필기를 멈춘 것으로 판단할 수 있다.
일부 실시예에 따르면 인텔리전트 디바이스는 멈춤 식별자를 검출할 수도 있다. 멈춤 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면 인텔리전트 디바이스는 멈춤을 나타내는 오디오 데이터를 검출할 수도 있다. 오디오 데이터가 멈춤을 나타내기 위해 사용 되는 때, 만약 사용자가 ‘멈춤’ 이라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 멈춤 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 멈춤지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 멈춤 지시는 ‘멈춤’, ‘잠시 기다려주세요(wait a moment)’, ‘잠시 쉼(rest a while)’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 멈춤 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
사용자의 핸드라이팅의 완전한 검색이 가능하도록 하게 위해, 인텔리전트 디바이스는 멈춤 신호가 검출되면, 멈춤 신호가 검출되기 이전의 마지막 이미지 프레임을 판단하고 저장 또는 캐싱할 수 있다.
인텔리전트 디바이스는 멈춤 신호가 검출되기 이전의 마지막 이미지 프레임의 변화된 핸드라이팅과 멈춤 신호가 검출되기 이전의 마지막 이미지 프레임의 선행 조합된 핸드라이팅을 조합함으로써, 멈춤 신호 이전의 전체 핸드라이팅을 획득하고, 획득된 전체 핸드라이팅을 캐싱할 수 있다. 또한 인텔리전트 디바이스는 촬영에 의해 획득한 필기 표면에 대한 이미지 프레임을 캐싱할 수도 있다. 일부 실시예에 따르면, 인텔리전트 디바이스는 조합된 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식하고, 각 이미지 프레임의 변화된 핸드라이팅 및 각 이미지 프레임의 타임 시퀀스 정보를 캐싱할 수 있다.
예를 들면, 사용자가 ‘Today's weather is very good’을 하얀색 종이 위에 기재한 후, 인텔리전트 디바이스는 멈춤 식별자를 검출할 수 있다. 인텔리전트 디바이스는 향후 재시작 신호가 수신될 때 사용하기 위해 선행 조합된 핸드라이팅인 ‘ Today's weather is very good’, 촬영에 의해 획득된 필기 표면에 관한 이미지, 각 이미지 프레임의 변화된 핸드라이팅 및 타임 시퀀스 정보를 캐싱할 수 있다.
3. 재시작(Restore)
멈춤 이후, 로컬 핸드라이팅의 검색이 재시작(restored)될 수 있다. 인텔리전트 디바이스는 전체 영역을 모니터링 하고 있으며, 필기 절차의 촬영을 종료하지 않았으므로, 멈춤 신호가 검출된 이후 전체 영역에서의 재시작 신호를 검출할 수 있다. 만약 재시작 신호가 검출되면, 인텔리전트 디바이스는 로컬 핸드라이팅의 검색을 재시작할 수 있다.
인텔리전트 디바이스는 아래의 예시 상황들에서 재시작 신호가 수신되었다고 판단할 수 있다. 물론 하기 예시에 제한되는 것은 아니다.
일부 실시예에 따르면, 인텔리전트 디바이스는 캐싱된 필기 표면의 이미지 프레임과 전체 영역의 촬영된 이미지 프레임의 매칭 여부에 따라 재시작 신호의 수신 여부를 판단할 수 있다. 필기가 멈춘 때, 사용자는 인텔리전트 디바이스의 초점을 필기 표면 밖으로 이동시킬 수 있다. 따라서, 인텔리전트 디바이스에 의해 촬영된 이미지는 필기 표면을 포함하지 않을 수 있다. 만약 필기가 재시작되면, 사용자는 인텔리전트 디바이스의 초점을 필기 표면 내로 이동시킬 수 있다. 따라서, 인텔리전트 디바이스에 의해 촬영된 이미지는 필기 표면을 다시 포함수 있다. 따라서, 인텔리전트 디바이스는 캐싱된 필기 표면의 이미지 프레임과 전체 영역의 촬영된 이미지 프레임의 매칭 여부를 판단함으로써, 재시작 신호가 검출되었는지 판단할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자의 시각 초점이 필기 표면으로 돌아왔을 때를 재시작 신호가 수신된 것으로 판단할수도 있다. 필기가 멈춘 때, 사용자의 시각 초점이 필기 표면 밖으로 이동될 수 있다. 만약 필기가 재시작되면, 사용자의 시각 초점이 필기 표면 내로 돌아올 수 있다. 따라서, 인텔리전트 디바이스는 사용자의 시각 초점이 필기 표면으로 돌아왔는지 여부를 판단함으로써, 재시작 신호가 수신되었는지 판단할 수 있다. 예를 들어, 수업을 들으면서 필기한다면, 사용자가 칠판을 볼 때에는 필기가 멈추고, 시각 초점이 필기 표면인 노트를 떠날 수 있다. 만약 사용자가 칠판을 본 이후, 다시 필기를 시작한다면, 사용자의 시각 초점은 필기 표면인 노트로 돌아올 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 도구가 새로운 핸드라이팅을 필기 표면에 생성한 때, 재시작 신호를 수신되었다고 판단할 수 있다. 필기가 멈춘 때, 사용자는 더 이상 필기 표면에 필기하지 않으므로, 필기 표면에 새로운 핸드라이팅이 생성되지 않는다. 만약 필기가 재시작되면, 사용자는 필기 도구를 이용하여 필기 표면에 필기하게 된다. 즉, 새로운 핸드라이팅이 생성된다. 따라서, 인텔리전트 디바이스는 필기 표면에 필기 도구를 이용하여 새로운 핸드라이팅이 생성되었는지 여부를 판단함으로써, 재시작 신호가 검출되었는지 여부를 판단할 수 있다. 예를 들면, 사용자가 ‘Today's weather is very good’을 필기한 후, 필기를 멈추고, 다시 사용자가 ‘I walk to my offce’라고 필기함으로써, 필기를 계속하는 경우, 인텔리전트 디바이스는 필기 표면에 새로운 핸드라이팅이 생성되었다고 판단하고, 재시작 신호가 검출되었다고 판단할 수 있다.
일부 실시예에 따르면 인텔리전트 디바이스는 재시작 식별자를 검출할 수도 있다. 재시작 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면 인텔리전트 디바이스는 재시작을 나타내는 오디오 데이터를 검출할 수도 있다. 만약 사용자가 ‘재시작’ 이라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 재시작 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 재시작 지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 재시작을 나타내는 음성 지시는 ‘재시작’, ‘다시 시작(start again)’, ‘인식 계속(continue to recognize)’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 재시작 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 재시작 신호가 검출된 이후 촬영된 이미지 프레임으로부터 로컬 핸드라이팅이 검색하고, 가장 마지막으로 멈춤 신호가 검출된 때에 캐싱된 정보에 따라 핸드라이팅의 조합을 계속할 수 있다.
예를 들면, 사용자가 ‘very’을 하얀 종이 위에 필기할 때, 네 개의 이미지 프레임들이 촬영될 수 있다. 각 이미지 프레임의 변화된 핸드라이팅은 각각 ‘v’, ‘e’, ‘r’ 및 ‘y’일 수 있다. 만약 사용자가 ‘v’, ‘e’, ‘r’을 필기한 후, 인텔리전트 디바이스가 멈춤 신호를 검출한 경우, 인텔리전트 디바이스는 로컬 핸드라이팅 ‘v’, ‘e’, ‘r’ 및 로컬 핸드라이팅의 타임 시퀀스 정보를 캐싱할 수 있다. 이후, 인텔리전트 디바이스가 재시작 신호를 검출하고, 재시작 신호 검출 이후 ‘y’와 같은 변화된 핸드라이팅을 검출할 수 있다. 인텔리전트 디바이스는 핸드라이팅 ‘very’를 획득하기 위해 재시작 이후의 이미지 프레임의 변화된 핸드라이팅(‘y’)과 캐싱된 이미지 프레임(‘v’, ‘e’, ‘r’와 같은 로컬 핸드라이팅과 로컬 핸드라이팅의 타임 시퀀스 정보)를 조합할 수 있다.
물론 상기 실시예는 구문, 단어 단위로 이미지 프레임이 캡쳐된 실시예이며, 도 1n에 도시된 바와 같이 하나의 글씨를 작성하는 때, 복수개의 이미지 프레임이 도시될 수도 있다. 즉, 각 이미지 프레임의 핸드라이팅 증가가 상대적으로 짧을 수도 있다. 도 1n은 ‘d’가 쓰여질 때의 4개의 이미지 프레임을 도시한다. 각 이미지 프레임의 변화된 핸드라이팅은 상대적으로 적다. 인텔리전트 디바이스는 프레임 1, 2 및 3의 변화된 핸드라이팅을 캐싱하고, 변화된 핸드라이팅 간의 타임 시퀀스 관계를 기록할 수 있다. 이후, 인텔리전트 디바이스가 재시작 신호를 수신하면, 촬영을 계속하고, 프레임 4를 획득할 수 있다. 인텔리전트 디바이스는 ‘d’를 획득하기 위해 네개의 프레임들(프레임 1, 2, 3 및 4)의 변화된 핸드라이팅을 조합할 수 있다.
4. 종료(Ending)
일부 실시예에 따르면, 인텔리전트 디바이스가 새로운 핸드라이팅을 검출 할수 없을 때, 핸드라이팅의 인식을 종료할 수 있다. 예를 들면, 인텔리전트 디바이스는 종료 신호가 검출되었는지 판단하고, 종료 신호가 검출된 경우, 핸드라이팅의 인식 및 검출을 종료하고, 획득한 핸드라이팅을 저장할 수 있다.
인텔리전트 디바이스는 아래의 예시 상황들에서 종료 신호가 수신되었다고 판단할 수 있다. 물론 하기 예시에 제한되는 것은 아니다.
일부 실시예에 따르면, 사용자의 시각 초점이 소정의 기간 이상 필기 표면을 떠나있는 경우, 인텔리전트 디바이스는 종료 신호가 수신되었다고 판단할 수 있다. 필기 절차 동안, 사용자의 시각 초점은 항상 필기 표면 내에 존재할 수 있다. 만약 인텔리전트 디바이스가 사용자의 시각 초점이 오랜 시간 동안 필기 표면 내에 존재히자 않음을 검출하는 경우, 인텔리전트 디바이스는 사용자의 필기가 종료되었다고 판단할 수 있다. 또한, 인텔리전트 디바이스는 멈춤 신호를 수신 후 소정의 기간 이상이 경과한 경우, 종료 신호가 수신되었다고 판단할 수도 있다.
일부 실시예에 따르면, 소정의 기간 내에 새로운 핸드라이팅이 검출되지 않는 경우, 인텔리전트 디바이스는 종료 신호가 수신되었다고 판단할 수 있다. 필기 절차 동안, 사용자는 필기 표면에 새로운 핸드라이팅을 생성할 수 있다. 인텔리전트 디바이스가 오랜 시간 동안 새로운 핸드라이팅을 검출하지 못한 경우, 인텔리전트 디바이스는 사용자의 필기가 종료되었다고 판단할 수 있다.
일부 실시예에 따르면 인텔리전트 디바이스는 종료 식별자를 검출할 수도 있다. 종료 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면 인텔리전트 디바이스는 종료을 나타내는 오디오 데이터를 검출할 수도 있다. 만약 사용자가 ‘종료’ 라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 종료 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 종료 지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 종료 지시는 ‘종료’, ‘정지(stop)’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 종료 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
일부 실시예에 따르면, 라인 변경, 멈춤, 재시작 및 종료를 나타내기 위해 심볼들이 사용되는 때, 라인 변경, 멈춤, 재시작 및 종료에 대응되는 심볼들은 상이할 수 있다.
실시예 6
일부 실시예에 따르면, 인텔리전트 디바이스는 핸드라이팅을 인식하는 방법을 제공할 수 있다. 도 5에 도시된 바와 같이 핸드라이팅을 인식하는 방법은 아래의 단계를 포함할 수 있다.
블록 S501에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점이 추적하고, 로컬 필기 영역을 촬영하며, 로컬 핸드라이팅을 획득하고, 로컬 필기 영역이 촬영된 때 생성된 오디오 데이터를 기록할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역을 촬영하는 디바이스 및 오디오 데이터를 기록하는 디바이스는 동일한 디바이스일 수도 있고, 상이한 디바이스일 수도 있다.
예를 들면, 사용자 A는 스마트폰을 이용해서 로컬 필기 영역의 이미지를 촬영하고, 스마트폰을 이용하여 오디오 데이터를 수신할 수도 있다.
일부 실시예에 따르면, 사용자 A는 인텔리전트 글래스와 스마트 폰 둘 모두를 가지고 있다. 사용자는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 스마트 폰을 이용하여 오디오 데이터를 수신할 수도 있다. 로컬 필기 영역과 관련된 데이터(이미지 프레임 또는 핸드라이팅 등) 및 오디오 데이터는 동일한 디바이스에 송신될 수 있으며, 서로 연관될 수 있다, 동일한 디바이스는 로컬 필기 영역을 촬영하는 인텔리전트 디바이스나, 오디오 데이터를 수신하는 스마트폰 또는 다른 디바이스일 수 있다.
일부 실시예에 따르면, 사용자 A가 복수의 다른 사용자들이 회의를 시작할 수 있다. 회의 장소는 비교적 클 수 있으며, 만약 다른 사용자들의 오디오 데이터가 사용자 A의 디바이스를 이용하여 수집되는 경우 선명도가 낮을 수 있다. 이 때, 사용자 A의 인텔리전트 디바이스가 로컬 필기 영역을 촬영할 수 있고, 다른 사용자들 중 적어도 하나의 인텔리전트 디바이스가 오디오 데이터를 기록할 수 있다. 그 후, 로컬 필기 영역을 촬영한 이미지 프레임 또는 필기 정보 및 오디오 데이터가 하나의 디바이스에 송신될 수 있으며, 로컬 필기 영역을 촬영한 적어도 하나의 이미지 프레임 또는 필기 정보와 오디오 데이터는 서로 관련될 수 있다. 로컬 필기 영역을 촬영한 이미지 프레임 또는 필기 정보 및 오디오 데이터를 획득하는 하나의 디바이스는 로컬 필기 영역을 촬영한 인텔리전트 디바이스나, 오디오 데이터를 기록한 스마트폰 또는 다른 디바이스일 수 있으며, 상기 예시에 제한되지 않는다.
로컬 필기 영역을 촬영하는 방법 및 로컬 핸드라이팅을 획득하는 방법은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다. 오디오 데이터를 기록 또는 수신하는 방법은 하기에서 설명한다.
로컬 필기 영역을 촬영하는 동안, 인텔리전트 디바이스는 수신된 사운드 기록 시작 지시에 따라 내부 또는 외부의 관련된 사운드 수집 장치들을 이용하여, 로컬 필기 영역을 촬영하는 기간 동안 수신된 오디오 데이터가 기록할 수 있다.
일부 실시예에 따르면, 사운드 기록 시작 지시는 음성, 버튼, 제스쳐, 증강 현실과 같은 인간 - 컴퓨터 상호 작용 인터페이스 및 외부 컨트롤러(즉, 인텔리전트 디바이스와 관련 있는, 핸드폰과 같은 리모트 제어 기능을 가진 디바이스)에 의해 생성될 수 포함할 수 있다.
예를 들면, 만약 사용자가 ‘사운드 기록 시작’과 같은 음성 지시를 내리는 경우, 인텔리전트 디바이스는 음성 지시를 수신하고, 음성 지시가 사운드 기록 시작 지시인지를 판단하기 위해 음성 지시에 따라 음성 인식을 시작하며, 사운드 기록 동작을 시작한다. 인텔리전트 디바이스는 음성 지시와 사운드 기록 시작 지시 간의 대응 관계를 저장할 수 있다. 예를 들면, 음성 지시와 사운드 기록 시작 지시는 대응 테이블을 통해 대응될 수 있으며, 음성 지시는 ‘사운드 기록 시작’, ‘음성 기록’, ‘시작 사운드 기록’ 및 영어, 중국어, 한국어 또는 다른 언어들로 구성된 지시들을 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 사운드 기록 시작 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
만약, 사운드 기록 시작 지시가 버튼에 의해 시작되는 경우, 버튼은 홈버튼, 소리 조절 버튼, 파워 버튼, 프로그램 조절 버튼, 새롭게 추가된 버튼 또는 도 1b에 도시된 바와 같은 버튼과 같은 하드웨어 버튼일 수도 있고 소프트웨어로 구현된 소프트웨어 버튼일 수 있다. 또는 인텔리전트 디바이스의 사용자 인터페이스(User interface)일 수도 있다. 만약 사용자가 소정의 방식에 따라 버튼을 누르면, 인텔리전트 디바이스는 사운드 기록 시작 지시를 수신하였다고 판단할 수 있다. 소정의 방식은 짧게 누르기, 길게 누르기, 소정의 횟수를 짧게 누르기 또는 짧게 및 길게 번갈아 가며 누르는 등의 방식을 포함할 수 있다.
만약, 사운드 기록 시작 지시가 제스쳐에 의해 시작되는 경우, 제스쳐는 한손 또는 두손에 의해 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 인텔리전트 디바이스는 기존의 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다. 또한 인텔리전트 디바이스는 인식된 제스쳐에 따라 사운드 기록 시작 지시가 수신되었다고 판단할 수 있다.
만약, 사운드 기록 시작 지시가 외부 컨트롤러(예를 들면, 로컬 필기 영역을 촬영하는 인텔리전트 디바이스와 연결된 셀룰러폰)로부터 수신되는 경우, 인텔리전트 디바이스는 셀룰러폰으로부터 사운드를 기록하라는 지시를 수신하면, 사운드의 기록을 시작한다. 인텔리전트 디바이스와 외부 컨터롤러의 연결은 물리적 연결일 수도 있고, 매크로 네트워크(Macro network), WiFi(Wireless Fidelity) 네트워크, 로컬 영역 네트워크 중 적어도 하나의 네트워크를 통한 무선 연결일 수도 있으며, 상기 예시에 제한되지 않는다. 또한 외부 컨트롤러의 지시는 적외선 지시(Infrared instruction) 또는 셀룰러폰에 의해 송신되는 메시지일 수도 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 사운드 기록 시작 지시가 사용되지 않을 수도 있다. 다시 말해서, 인텔리전트 디바이스는 사운드 기록 시작 지시 없이도, 항상 사운드를 기록할 수도 있다.
일부 실시예에 따르면, 사운드 수집 장치는 마이크로폰, 또는 복수의 마이크로폰을 포함하는 마이크로폰 어레이를 포함할 수 있다. 마이크로폰 어레이는 하나의 디바이스이거나 복수의 디바이스들일 수 있다. 예를 들면, 많은 스마트폰들은 둘 이상의 마이크로폰을 포함할 수 있으며, 둘 이상의 마이크로폰이 마이크로폰 어레이일 수 있다. 만약 복수의 디바이스들 내에 마이크로폰 어레이가 위치하는 경우, 마이크로폰 어레이를 이용하여 오디오 데이터를 수신하기 전, 마이크로폰 간의 클럭 동기화가 필요할 수 있다.
일부 실시예에 따르면, 기록된 오디오 데이터는 사람의 음성 및 음악을 포함할 수 있으며, 상기 예시에 제한되지 않는다. 기록된 오디오 데이터는 필기하고 있는 사람에 의해 발생한 소리 또는 다른 사람 또는 오브젝트들에 의해 발생한 소리를 포함할 수 있다.
만약 필기하고 있는 사람 주위에 아무 것도 없는 경우, 기록된 오디오 데이터는 필기하고 있는 사용자 자신에 의해 발생한 소리를 포함할 수 있다. 만약 필기하고 있는 사용자가 회의 중인 경우, 기록된 오디오 데이터는 회의 중인 다른 사람에 의해 발생한 소리를 포함할 수 있다. 만약 필기 중인 사용자가 회의록을 기록하는 경우, 회의록은 기록된 오디오 데이터에 의해 수정 및 보완될 수 있다.
예를 들면, 사용자 A가 회의록을 기록할 때, 회의 구성원 B가 작업 효율을 높이기 위한 몇가지 방법들에 대해 소개한다. 그러나 사용자 A가 ‘작업 효율의 증가’라는 키워드만을 필기할 수도 있다. 이 때, 회의록은 기록된 오디오 데이터에 의해 보완될 수 있다.
일부 실시예에 따르면, 오디오 데이터의 시간 특성으로써, 기록된 오디오 데이터 내의 각 오디오 샘플링 지점의 샘플링 시간이 기록될 필요가 있다. 일부 실시예에 따르면, 보편적인 오디오 데이터 저장 포맷(WAV, MP3와 같은)에서, 오디오 샘플링 포인트의 인덱스 및 샘플링 주파수에 따라 각 오디오 샘플링 지점의 샘플링 시간이 계산될 수 있다.
일부 실시예에 따르면, 로컬 필기 영역의 촬영 시간 및 오디오 데이터의 각 오디오 샘플링 포인트의 샘플링 시간이 하나의 클럭 또는 두개의 상이한 클럭들에 의해 생성될 수 있다, 두개의 상이한 클럭들이 적용되는 경우, 두개의 클럭은 오디오 및 핸드라이팅 간의 동기화를 실현하기 위해 동기화될 필요가 있다.
일부 실시예에 따르면, 사용자 A는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 오디오 데이터를 수신할 수 있다. 이 때, 로컬 필기 영역의 촬영 시간 및 오디오 데이터의 각 샘플링 포인트의 샘플링 시간이 인텔리전트 글래스의 클럭에 의해 생성될 수 있다. 따라서, 동기화가 필요하지 않을 수 있다.
일부 실시예에 따르면, 사용자 A는 둘 이상의 인텔리전트 디바이스들을 가질 수 있다. 사용자 A는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 스마트폰을 이용하여 오디오 데이터를 수신할 수 있다. 이 때, 로컬 필기 영역의 촬영 시간은 인텔리전트 글래스의 클럭에 의해 생성되며, 반면에 오디오 데이터의 각 오디오 샘플링 포인트의 샘플링 시간은 스마트폰의 클럭에 의해 생성될 수 있다. 오디오 및 핸드라이팅 간의 동기화를 실현하기 위해 두 클럭들 간의 동기화가 필요하다.
일부 실시예에 따르면, 사용자 A는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 사용자 B가 스마트폰을 이용하여 오디오 데이터를 수신할 수 있다. 이 때, 로컬 필기 영역의 촬영 시간 및 오디오 데이터의 오디오 샘플링 포인트의 샘플링 시간은 각각 상이한 클럭들에 의해 생성될 수 있다. 오디오 및 핸드라이팅 간의 동기화를 실현하기 위해 두 클럭들 간의 동기화가 필요하다.
일부 실시예에 따르면, 만약 오디오 데이터를 수신하는데 마이크로폰 어레이가 사용된다면, 오디오 데이터가 수신되는 복수의 수신 경로들이 별도로 저장될 수 있다. 예를 들면, 오디오 데이터는 복수-경로(multi-path)를 조합한 오디오 데이터가 저장될 수도 있고, 또는 각 경로를 통해 획득한 오디오 데이터가 별도로 저장될 수도 있다. 또는 사운드 향상 프로세스 이후 조합된 경로의 오디오 데이터가 저장될 수도 있다. 만약 오디오 데이터의 각 경로가 별도로 저장되는 경우, 시간 축 상의 오디오 데이터의 경로의 동기화가 보장되어야 한다.
블록 S502에서, 로컬 핸드라이팅 및 오디오 데이터가 서로 연관된다.
일부 실시예에 따르면, 로컬 핸드라이팅 및 오디오 데이터 내의 컨텐츠의 연관은 하기의 실시예들에 의해 구현될 수 있으나, 하기 예시에 제한되지 않는다.
첫번째 방법으로, 오디오 데이터 및 로컬 핸드라이팅을 포함하는 파일이 연관적으로 저장된다.
예를 들면, 오디오 파일은 오디오 데이터에 의해 생성될 수 있다. 인텔리전트 디바이스는 로컬 핸드라이팅을 포함하는 데이터 또는 파일. 즉, 레이아웃 정보가 포함되지 않은 텍스트 파일, 레이아웃 정보가 포함된 문서 파일, 이미지 파일 및 비디오 파일 중 적어도 하나의 파일을 생성할 수 있다. 인텔리전트 디바이스는 오디오 파일 및 로컬 핸드라이팅을 포함하는 텍스트 파일, 문서 파일, 이미지 파일 및 비디오 파일 중 적어도 하나를 하나의 폴더 내에 저장할 수도 있고, 두 개의 관련된 폴더들에 저장할 수도 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오디오 데이터와 로컬 핸드라이팅을 포함하는 파일 간의 대응 관계를 먼저 획득할 수도 있다. 오디오 데이터 및 로컬 핸드라이팅 간의 대응 관계를 획득하는 방법은 아래의 단계들을 포함할 수 있다. 물론 상기 예시에 제한되지 않는다. 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅을 판단하고, 오디오 데이터 내의 각 오디오 샘플링 포인트의 샘플링 시간에 따라 현재 프레임과 현재 프레임의 근접한 프레임 간의 촬영 시간에 기록된 오디오 데이터를 결정할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오디오 데이터 및 로컬 핸드라이팅 간의 대응 관계를 획득한 후, 현재 프레임과 현재 프레임에 근접한 프레임의 촬영 시간 간에 기록된 오디오 데이터에 따라 변화된 핸드라이팅을 저장할 수도 있다.
두번째 방법으로는, 오디오 데이터 및 로컬 핸드라이팅 간의 대응관계가 저장될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오디오 데이터 및 로컬 핸드라이팅 간의 대응 관계를 테이블 또는 로컬 핸드라이팅을 포함하는 파일 또는 비디오 파일을 이용하여 저장할 수 있다.
만약 대응 관계가 테이블로 저장되는 경우, 테이블 내의 로컬 핸드라이팅의 프레임 인덱스가 오디오 데이터의 타임스탬프와 대응될 수 있다. 로컬 핸드라이팅의 프레임 인덱스는 로컬 핸드라이팅이 촬영된 촬영 시간을 나타낼 수 있다. 오디오 데이터의 타임스탬프는 오디오 데이터의 오디오 샘플링 포인트의 샘플링 시간을 나타낸다.
도 6에 도시된 바와 같이 인텔리전트 디바이스는 이전 이미지 프레임과 비교하여 현재 이미지 프레임의 변화된 핸드라이팅을 결정한다. 또한 인텔리전트 디바이스는 현재 이미지 프레임과 대응하는 오디오 데이터를 결정한다. 대응되는 오디오 데이터란, 변화된 핸드라이팅이 필기될 때 수신된 오디오 데이터일 수 있다. 인텔리전트 디바이스는 오디오 데이터와 로컬 핸드라이팅의 대응을 실현하기 위해 현재 이미지 프레임의 프레임 인덱스 및 현재 이미지 프레임과 대응되는 오디오 데이터의 타임 스탬프가 테이블 내에 대응되도록 저장할 수 있다.
일부 실시예에 따르면, 검색된 변화된 핸드라이팅 및 수집된 오디오 데이터를 저장하기 전, 인텔리전트 디바이스는 타임스탬프에 따라 동기화를 수행할 수 있다. 현재 이미지 프레임의 변화된 핸드라이팅과 관련된 타임스탬프가 시작 지점으로 선택되고, 다음 이미지 프레임의 변화된 핸드라이팅과 관련된 타임스탬프가 종료 지점으로 선택될 수 있다. 인텔리전트 디바이스는 시작 지점과 종료 지점 간의 기간과 대응되는 기간 내에 수집된 오디오 데이터를 검색할 수 있다. 시작 지점과 종료 지점 간의 기간과 대응되는 기간 내에 수집된 오디오 데이터 및 현재 프레임의 변화된 핸드라이팅은 일대일 대응관계를 설립하기 위해 서로 연관되고, 함께 저장될 수 있다.
만약 로컬 핸드라이팅을 포함하는 파일 내에 저장된 대응 관계가 저장되면, 파일 내의 로컬 핸드라이팅에 식별자가 설정될 수 있다. 식별자는 대응되는 오디오 데이터로의 링크를 제공할 수 있다. 예를 들면, 인텔리전트 디바이스는 먼저 이전 이미지 프레임과 비교하여 현재 이미지 프레임의 변화된 핸드라이팅을 결정한다. 또한 인텔리전트 디바이스는 현재 이미지 프레임과 대응하는 오디오 데이터를 결정한다. 대응되는 오디오 데이터는 변화된 핸드라이팅이 필기될 때 수신된 오디오 데이터일 수 있다. 인텔리전트 디바이스는 파일 내의 변화된 핸드라이팅을 과 대응되는 위치에 식별자를 설정할 수 있으며, 식별자는 오디오 데이터와 로컬 핸드라이팅과의 대응을 실현하기 위해 대응되는 오디오 데이터로의 링크를 제공할 수 있다.
사용자가 텍스트 문서(또는 이미지 문서)를 읽는 중에 기록된 오디오 정보를 듣는 것을 가능하게 하기 위해, 문서가 표시될 때, 오디오 재생 식별자가 대응되는 오디오 데이터를 가지는 글자, 단어, 문장, 단락, 챕터, 그래프(또는 대응되는 픽셀들) 주위에 표시될 수 있다. 사용자는 소정의 방식을 통해 오디오 재생 식별자의 촉발을 통해 기록된 사운드(기록된 오디오 정보)를 들을 수 있다.
일부 실시예에 따르면 사용자가 한번에 복수의 오디오 재생 식별자들을 촉발시킬수도 있다. 예를 들면, 인텔리전트 디바이스는 복수의 오디오 재생 식별자들을 선택하는 사용자 입력(예를 들면. 복수의 오디오 재생 식별자들을 손가락으로 미끄러트릴는 사용자 입력)을 수신할 수 있다. 이 때, 인텔리전트 디바이스는 오디오 재생 식별자가 촉발된 타임 시퀀스 정보에 따라 오디오를 재생할 수 있다. 만약 사용자가 복수의 오디오 식별자를 동시에 촉발한 경우(예를 들면, 사용자가 문서 내의 복수의 오디오 재생 식별자들을 선택하기 위해 제스쳐를 통해 원을 그린 경우), 오디오 재생 식별자들과 대응되는 오디오들의 타임 스탬프의 시퀀스에 따라 오디오가 재생될 수 있다.
일부 실시에에 따르면, 비디오 파일을 통해 로컬 핸드라이팅과 오디오 데이터 간의 대응 관계가 저장될 수도 있다. 비디오 파일은 필기 궤적 및 오디오 데이터 둘 모두를 포함할 수 있으며, 오디오 데이터와 필기 궤적은 동기화될 수 있다. 예를 들면, 인텔리전트 디바이스는 전체 핸드라이팅에 따라 사용자의 핸드라이팅이 인식된 이후, 비디오 파일을 통해 변화된 핸드라이팅의 필기 절차가 재생되는 동안 오디오 데이터가 재생되도록, 전체 핸드라이팅의 각 이미지 프레임의 타임시퀀스 정보, 변화된 핸드라이팅 및 각 이미지 프레임의 변화된 핸드라이팅과 대응하는 오디오 데이터를 포함하는 비디오 파일을 생성할 수 있다. 또한 오디오 파일과 비디오 파일이 시간 축에서 동기화되는 것이 보장된다면, 인텔리전트 디바이스는 오디오 파일과 비디오 파일을 각각 저장할 수도 있다.
오디오 파일 및 비디오 파일을 저장하는 방법은 사용자에 의해 선택될 수 있다. 예를 들면, 인텔리전트 디바이스는 핸드라이팅을 인식하거나, 오디오 데이터를 수신하기 전에, 오디오 데이터를 포함하는 비디오 데이터를 생성할 것인 지, 오디오 데이터와 핸드라이팅을 별도로 저장할 것인지 선택하는 사용자의 입력을 수신할 수 있다. 또는 비디오 파일을 저장할 때, 인텔리전트 디바이스는 대화 상자를 팝업시킴으로써, 사용자의 선택을 유도할 수도 있다. 만약 사용자가 선택하지 않는 경우, 인텔리전트 디바이스는 오디오 파일을 포함하는 비디오 파일을 생성할 수도 있고, 오디오 파일을 포함하지 않은 비디오 파일을 생성할 수도 있다.
일부 실시예에 따르면, 현재 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 시작 지점으로 선택되고, 다음 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 종료 지점으로 선택될 수 있다. 또는 현재 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 종료 지점으로 선택되고, 마지막 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 시작 지점으로 선택될 수도 있다. 이후, 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅에 대응하는 오디오 데이터를 형성하기 위해 오디오 데이터 내의 각 오디오 샘플링 포인트의 샘플링 시간에 따라 시작 지점과 종료 지점 간의 모든 오디오 샘플링 포인트들이 기록된 오디오 데이터로부터 검색할 수 있다.
일부 실시예에 따르면, 오디오 데이터 및 변화된 핸드라이팅이 서로 관련되기 전, 기록된 오디오 데이터에 향상 프로세스가 적용될 수도 있다.
인텔리전트 디바이스는 기록을 위한 사운드를 수신할 때 잡음들(noise)을 수신할 수도 있다. 예를 들면, 인텔리전트 디바이스는 시끄러운 환경에서 사용자의 음성을 수신하는 경우, 주위 잡음들이 함께 기록될 수 있다. 그러므로, 인텔리전트 디바이스는 사용자의 요구에 의해 음성을 향상시키고, 백그라운드 잡음들을 필터링함으로써, 기록된 음성에서 잡음들을 제거할 수 있다.
나아가, 기록될 사운드 및 잡음들이 동시에 수신된 경우, 인텔리전트 디바이스는 기록될 사운드(기본 소리(foreground))를 향상 및 수정할 수 있다. 예를 들면, 인텔리전트 디바이스는 시끄러운 환경에서 사용자의 음성을 수신하는 경우, 주위 잡음들이 함께 기록될 수 있다. 그러므로, 인텔리전트 디바이스는 사용자의 음성이 잡음에 비해 더 쉽게 인식될 수 있도록 사용자의 목소리를 향상 및 수정할 수 있다.
인텔리전트 디바이스에 의해 수신된 사운드는 다양한 방향에서 올 수 있는 반면에, 기록될 사운드는 특정한 음원으로부터 올 수 있다. 이 경우, 인텔리전트 디바이스는 특정한 음원으로부터의 사운드를 수신하기 위해 특정한 방향을 선택할 수 있다.
상기에서 설명한 사운드 향상은 오디오 데이터를 수신하기 전에 설정될 수 있고, 수신 절차 도중 조절될 수도 있으며, 오디오 데이터가 기록된 이후 오디오 데이터에 전처리를 수행하는 동안에 수행될 수도 있다.
일부 실시예에 따르면, 만약 각 이미지 프레임의 로컬 핸드라이팅을 조합하는 동안 멈춤 신호가 검출되면, 오디오 데이터의 수신 또한 로컬 핸드라이팅이 멈춘 동안 함께 멈출 수 있고, 수신된 오디오 데이터는 저장될 수 있다. 따라서, 이후 재시작 신호가 검출되면, 로컬 핸드 라이팅의 검색이 재시작된 동안 오디오 데이터의 수신 또한 계속될 수 있다.
예를 들면, 사용자는 컨텐츠를 읽는 동안 컨텐츠를 필기할 수 있다. 인텔리전트 디바이스는 사용자에 의해 필기된 로컬 필기 영역을 촬영하고, 읽혀지는 음성을 기록할 수 있다. 사용자가 ‘Today's weather is very good’을 읽고 필기할 때, 인텔리전트 디바이스는 멈춤 신호를 수신할 수 있다. 인텔리전트 디바이스는 핸드라이팅의 검색 및 기록을 잠시 일시적으로 멈추고 ‘Today's weather is very good’의 로컬 핸드라이팅 및 오디오 데이터를 캐싱할 수 있다. 인텔리전트 디바이스가 재시작 신호를 수신한 후, 사용자는 ‘I walk to my office’를 필기하고 읽을 수 있다. 인텔리전트 디바이스는 ‘I walk to my office’의 로컬 핸드라이팅의 검색을 계속하고, 읽혀진 컨텐츠의 저장을 계속할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 멈춤 신호를 수신한 후, 오디오 데이터의 수신을 계속하고, 멈춤 기간 동안의 오디오 데이터와 멈춤 신호가 수신되기 이전의 마지막 이미지 프레임의 로컬 핸드라이팅 또는 변화된 핸드라이팅을 연관시킬 수도 있다.
예를 들면, 사용자 A가 회의록을 기록할 때, 회의 구성원 B가 작업 효율을 높이기 위한 몇가지 방법들에 대해 소개한다. 그러나 사용자 A가 ‘작업 효율의 증가’라는 키워드만을 기록할 수도 있다. 사용자가 ‘작업 효율의 증가’를 기록한 후, 인텔리전트 디바이스는 멈춤 신호를 수신할 수 있다. 이 경우, 인텔리전트 디바이스는 사용자 A가 회의 이후 기록된 오디오 데이터에 따라 회의록을 보완할 수 있도록 로컬 핸드라이팅의 검색은 일시적으로 멈추지만, 회의 구성원 B에 의해 발표되는 ‘작업 효율의 증가’에 대한 음성은 계속 기록할 수 있다.
일부 실시예에 따르면, 필기 및 오디오 데이터 간의 동기화를 실현하기 위해, 인텔리전트 디바이스는 종료 신호가 검출된 이후, 사용자의 핸드라이팅의 인식이 멈춘 동안은 오디오 데이터의 수신은 멈출 수 있다.
일부 실시예에 따르면, 로컬 필기 영역이 촬영될 때, 로컬 필기 영역이 촬영되는 구간 동안 수신된 오디오 데이터는 기록되며, 기록된 오디오 데이터에 따라 검색된 핸드라이팅의 추가적인 검증이 가능하고, 사용자의 경험을 개선할 수 있다.
실시예 7
사용자의 핸드라이팅이 인식된 이후, 인텔리전트 디바이스는 필기 정보를 생성할 수 있다. 필기 정보는 핸드라이팅 정보를 포함하는 상이한 포맷들의 파일을 포함할 수 있다. 다시 말해서, 인텔리전트 디바이스는 핸드라이팅 정보를 포함하는 상이한 포맷들의 파일들을 생성할 수 있다. 이하에서는 파일 생성에 대해 설명한다.
인텔리전트 디바이스가 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식한 이후, 사용자의 핸드라이팅에 따라 레이아웃 정보가 저장되지 않은 문서 파일, 레이아웃 정보가 함께 저장된 문서 파일, 이미지 파일, 비디오 파일 중 적어도 하나의 파일이 생성될 수 있다. 인텔리전트 디바이스는 생성된 파일을 저장부에 저장할 있고, 다른 디바이스에 송신함으로써 저장할 수도 있다. 또한 인텔리전트 디바이스는 유선 또는 무선으로 연결된 매체를 통해 생성된 파일을 송신할 수 있다. 인텔리전트 디바이스는 컴퓨터의 소프트웨어(예를 들면, 워드 프로세싱 소프트웨어) 또는 어플리케이션을 이용하여 생성된 파일을 편집 및 수정할 수 있다.
이하에서는 네 종류의 생성되는 파일에 대해 설명한다. 물론 생성되는 파일은 하기 예시에 제한되지 않는다.
레이아웃 정보가 저장되지 않은 문서 파일: 사용자의 핸드라이팅은 핸드라이팅 인식 엔진을 이용하여 인식되고, 인식된 결과가 문서 파일로 저장될 수 있다. 문서 파일은 txt 포맷 또는 워드 포맷과 같은 텍스트 파일이거나, 다른 포맷들일 수 있다.
예를 들면, 사용자가 연습장에 두 라인으로 필기하였다고 가정한다. 사용자는 첫번째 라인에 ‘Today's weather is very good’라고 기재하고, 두번째 라인에는 ‘I walk to my office’를 기재하였다면, 인텔리전트 디바이스는 핸드라이팅을 인식하고, 파일을 생성할 때, 레이아웃 정보가 함께 저장되지 않은 파일을 생성할 수 있다. 레이아웃 정보가 함께 저장되지 않은 파일에는 라인 정보가 저장되지 않는다. 즉, 레이아웃 정보가 함께 저장되지 않은 파일에는 ‘ Today's weather is very good, I walk to my office.’가 동일한 라인에 필기된 것으로 저장될 수 있다.
레이아웃 정보가 저장된 문서 파일: 일부 실시예에 따르면, 인식된 핸드라이팅에 따라 레이아웃 정보가 저장된 문서 파일이 생성될 수 있다. 인텔리전트 디바이스는 레이아웃 분석기를 이용하여 핸드라이팅을 분석할 수 있다. 만약 사용자의 핸드라이팅에 라인 변경 정보가 존재하는 경우, 레이아웃 분석기에 의해 라인 변경 정보가 분석될 수 있다. 분석 동안, 인텔리전트 디바이스는 전체 핸드라이팅 내의 선들의 상대적인 위치들에 따라 사용자의 핸드라이팅의 레이아웃을 획득할 수 있다. 사용자의 핸드라이팅은 전체 핸드라이팅 내의 각 선의 특성에 따라 텍스트 부분과 그림 파트로 나뉠 수 있다. 그 후, 사용자의 핸드라이팅은 핸드라이팅 인식 엔진을 이용하여 인식될 수 있다. 인식된 결과는 분석을 통해 획득된 레이아웃에 따라 배열될 수 있다. 배열된 텍스트 및 검색된 그림은 조합되고, 텍스트 및 그림을 포함하는 문서 파일로 저장될 수 있다. 레이아웃 분석기를 이용한 레이아웃 분석 및 텍스트 부분과 그림 부분의 분할은 당업자에게 자명하므로 자세한 설명은 생략한다.
예를 들면, 사용자가 연습장에 두 라인으로 필기하였다고 가정한다. 사용자는 첫번째 라인에 ‘Today's weather is very good’라고 기재하고, 두번째 라인에는 ‘I walk to my office’를 기재하였다면, 인텔리전트 디바이스는 핸드라이팅을 인식하고, 파일을 생성할 때, 레이아웃 정보가 함께 저장된 파일을 생성할 수 있다. 레이아웃 정보가 함께 저장된 문서 파일이 생성되면, 문서 파일의 첫번째 라인은 ‘Today's weather is very good’이고, 두번째 라인은 ‘I walk to my office’이다.
일부 실시예에 따르면, 도 7a에 도시된 것처럼 사용자는 필기 표면에 핸드라이팅을 필기할 수 있다. 인텔리전트 디바이스는 촬영된 이미지 프레임으로부터 손 및 필기 도구를 제거하고, 로컬 핸드라이팅을 획득할 수 있다. 로컬 핸드라이팅은 전체 핸드라이팅으로 조합될 수 있다. 따라서 인텔리전트 디바이스는 도 7b에 도시된 것과 같은 문서 파일을 획득할 수 있다. 도 7b에 표시된 컨텐츠는 출력된 컨텐츠로써, 사용자가 필기한 핸드라이팅을 인식할 수 있도록 한다.
도 7c는 사용자에 의해 필기된 영어 컨텐츠를 도시한다. 도 7d는 도 7c에 따른 레이아웃 정보와 함께 저장된 문서 파일을 도시한다. 이는 도 7a 및 도 7b와 유사한 방식으로 생성된다.
일부 실시예에 따르면, 레이아웃 정보와 함께 저장된 문서 파일은 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자 및 컨텐츠 설명에 따라 생성될 수 있다. 즉, 레이아웃 정보는 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자에 관한 정보 또한 포함할 수 있다.
일부 실시예에 따르면, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자 및 강조 식별자 각각은 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함할 수 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 필기 절차 동안, 사용자는 몇몇 컨텐츠를 반복하여 필기하는 것이 고려될 수 있다. 예를 들면, 사용자는 동일한 글자, 단어, 문장, 단락, 그래프등을 필기할 수 있다. 반복 특성 식별자는 사용자에 의해 필기되는 동일한 컨텐츠의 반복을 피할 때 사용함으로써, 필기 효율을 높일 수 있다.
예를 들면, 사용자의 필기 절차 동안, 사용자는 ‘writing information’을 첫번째로 기재하고, 반복 특성 식별자가 ‘ writing information’에 추가될 수 있다. 이후의 필기 절차에서 반복 특성 식별자는 ‘ writing information’을 대체하여 사용될 수 있다.
레이아웃 정보가 함께 저장된 문서 파일이 생성되기 전, 인텔리전트 디바이스는 반복 특성 식별자를 검출하고, 반복 특성 식별자를 가장 먼저 나타나는 위치를 판단할 수 있다. 인텔리전트 디바이스는 레이아웃 정보와 함께 저장되는 문서 파일을 생성하기 위해 첫번째로 나타나는 반복 특성 식별자에 의해 식별되는 컨텐츠를 이후의 반복 특성 식별자의 위치로 복사할 수 있다.
반복 특성 식별자에 의해 식별되는 컨텐츠는 반복 특성 식별자에 따라 인식된 정보일 수 있다. 예를 들어, 반복 특성 식별자에 의해 식별되는 컨텐츠는 글자, 단어, 문장, 단락, 그래프 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
사용자의 필기 절차 동안, 필기된 컨텐츠는 대체될 수 있다. 도 7e에서 도시된 바와 같이, x가 대체 식별자를 나타내고 사용자가 ‘분류’를 ‘작용’으로 대체하기를 원한다고 가정하면, 도 3c에서 도시된 방법이 수정을 위해 사용될 수 있다. 인텔리전트 디바이스는 대체 식별자 x를 검출하고, 컨텐츠를 대체하며, 도 7f에 도시된 레이아웃과 함께 저장된 문서 파일을 생성할 수 있다.
도 7g는 사용자에 의해 필기된 대체 식별자를 포함하는 영어 컨텐츠를 도시한다. 도 7h는 도 7g에 따른 레이아웃 정보와 함께 저장된 문서 파일을 도시한다. 이는 도 7e 및 도 7f와 유사한 방식으로 생성된다.
이미지 파일: 사용자의 검색된 핸드라이팅은 이미지 파일로 직접 저장될 수도 있다. 예를 들면, 인텔리전트 디바이스는 전체 핸드라이팅을 이미지 파일로 저장할 수 있다. 도 7i는 도 7e에서 도시된 필기된 컨텐츠가 저장된 이미지 파일을 도시한다. 도 7j 또한 도 7c에서 도시된 컨텐츠가 저장된 이미지 파일을 도시한다. 이미지 파일은 사용자의 원본 핸드라이팅을 기록할 수 있다.
비디오 파일: 사용자의 검색된 핸드라이팅은 사용자의 검색된 핸드라이팅 내의 픽셀들의 타임 시퀀스에 따라 비디오 파일로 직접 저장될 수도 있다. 예를 들면, 비디오 파일은 각 이미지 프레임의 변화된 핸드라이팅 및 시간 시퀀스 정보에 따라 생성되고 저장될 수 있다. 비디오 파일은 사용자의 완전한 필기 절차를 기록할 수있다.
일부 실시예에 따르면, 레이아웃 정보가 함께 저장된 문서 파일, 레이아웃 정보가 저장되지 않은 문서 파일, 이미지 파일 및 비디오 파일은 서로 관련될 수 있다. 만약 오디오 데이터가 로컬 필기 영역 촬영 동안 기록된 경우, 레이아웃 정보가 함께 저장된 문서 파일, 레이아웃 정보가 저장되지 않은 문서 파일, 이미지 파일 및 비디오 파일 중 적어도 하나와 관련된 오디오 데이터에 따라 오디오 파일이 생성될 수 있다.
일부 실시예에 따르면, 연관이란, 두 데이터가 관련이 있는 의미를 포함할 수 있다. 연관은, 파일 계층 연관 및 컨텐츠 계층 연관과 같은 두 종류의 연관을 포함할 수 있다. 이하에서는 두 계층들의 연관에 대해 설명한다.
일부 실시예에 따르면, 파일 계층 연관은 동일한 필기 절차에 대해 생성된 다양한 종류의 파일들 간에 설립된 대응 관계를 나타낼 수 있다. 파일 계층 연관은 복수의 파일들 중 하나에 기초하여 다른 파일들을 빠르게 찾고, 획득할 수 있도록 한다.
예를 들면, 인텔리전트 디바이스는 파일 이름을 통해 파일을 식별할 수 있다. 파일 계층 연관은 ‘생성된 문서 파일의 이름 <-> 생성된 이미지 파일의 이름’, ‘생성된 이미지 파일의 이름 <-> 생성된 비디오 파일의 이름’, ‘생성된 문서 파일의 이름 <-> 생성된 비디오 파일의 이름’과 같은 대응 관계를 포함할 수 있다. ‘<->‘로 표시된 기호는 대응 관계를 의미할 수 있다. 즉, 인텔리전트 디바이스는 연관된 데이터를 파일 이름에 기초하여 식별할 수 있도록 파일 계층에서 적어도 하나의 파일을 연관시킬 수 있다.
만약 오디오 파일이 저장되는 경우, 파일 계층 연관은 ‘생성된 문서 파일의 이름 <-> 생성된 오디오 파일의 이름’, ‘생성된 이미지 파일의 이름 <-> 생성된 오디오 파일의 이름’, ‘생성된 오디오 파일의 이름 <-> 생성된 비디오 파일의 이름’과 같은 대응 관계를 더 포함할 수 있다.
일부 실시예에 따르면, 파일 계층 연관에 따른 대응 관계는 맵핑 테이블(mapping table)의 형태로 저장되거나, 파일 이름들 내의 동일한 프리픽스(prefix)를 설정함으로써 구현될 수 있다. 물론 상기 예시에 제한되는 것은 아니다.
일부 실시예에 따르면, 컨텐츠 계층 연관은 문서 파일 내의 글자들과 이미지 파일 내의 픽셀들 간의 대응 관계, 문서 파일 내의 글자들과 비디오 파일 내의 이미지 프레임들 간의 대응 관계 등을 포함할 수 있다.
예를 들면, 문서 파일 내의 글자들과 이미지 파일 내의 픽셀들 간의 대응 관계는 문서 파일의 생성 동안 변화된 핸드라이팅 및 글자 간의 대응 관계 및 이미지 파일의 생성 동안 변화된 핸드라이팅 및 픽셀 간의 대응 관계에 따라 결정될 수 있다.
일부 실시예에 따르면, 컨텐츠 계층 연관에 따른 대응 관계는 맵핑 테이블(mapping table)의 형태로 저장될 수 있다. 문서 파일의 글자가 보여질 때, 맵핑 테이블의 검색을 통해 실제 필기 절차 및 글자의 핸드라이팅이 검색될 수 있다.
만약 로컬 필기 영역을 촬영하는 동안 대응하는 오디오 데이터가 기록되는 경우, 컨텐츠 계층 연관은 문서 파일 내의 글자들과 오디오 파일 내의 오디오 샘플링 포인트 간의 대응 관계를 더 포함할 수 있다. 따라서, 문서 파일의 글자가 보여질 때, 글자가 필기 될 때의 기록된 오디오 데이터가 검색될 수 있다.
일부 실시예에 따르면, 텍스트 파일(레이아웃 정보가 저장되지 않은 문서), 레이아웃 정보가 함께 저장된 문서, 이미지 파일 및 비디오 파일 간의 대응관계가 인텔리전트 디바이스(예를 들면, 인텔리전트 글래스) 내에 저장될 수도 있고, 다른 저장 장치에 저장될 수도 있으며, 향후의 사용을 위해 유선 또는 무선 네트워크 연결을 통해 송신될 수도 있다.
또한 일부 실시예에 따르면, 데이터를 연관시키는 동작을 수행한다는 의미는, 제 1 데이터와 제 2 데이터가 연관된다는 것을 알 수 있도록 소정의 동작을 수행하는 것을 포함할 수 있다. 예를 들면, 제 1 데이터와 제 2 데이터를 연관짓기 위해, 인텔리전트 디바이스는 동일한 태그 정보를 삽입하거나, 동일한 카테고리로 분류하거나, 동일한 저장 공간에 저장하는 등의 제 1 데이터와 연관된 제 2 데이터가 존재함을 알 수 있도록 표시 또는 제어하는 동작을 모두 포함할 수 있으며, 상기 예시에 제한되지 않는다.
또한 일부 실시예에 따르면, 핸드라이팅을 인식하는 방법은 있어서, 인텔리전트 디바이스는, 실시간으로 검출된 필기 초점을 추적하는 단계; 로컬 필기 영역을 촬영하는 단계; 로컬 필기 영역의 촬영된 이미지 프레임로부터 로컬 핸드라이팅을 검색하는 단계; 전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합하는 단계; 및 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식하는 단계를 포함하는 방법을 수행할 수 있다.
필기 초점은 시각 초점에 따라 결정되거나, 검출된 필기 도구의 말단의 위치에 따라 결정될 수 있다.
필기 도구의 말단의 위치는, 사전에 등록된 필기 도구의 말단의 모양에 따라 촬영된 이미지로부터 필기 도구의 말단을 인식함으로써, 인식된 필기도구의 말단에 기초하여 결정될 수 있다.
로컬 필기 영역의 촬영된 이미지로부터 상기 로컬 핸드라이팅을 검색하는 단계는, 핸드라이팅 색상에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 획득하는 단계를 포함할 수 있다.
핸드라이팅 색상에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 획득하는 단계는, 사전에 등록된 필기 도구의 핸드라이팅 색상에 기초하여 이미지 프레임로부터 로컬 핸드라이팅을 검색하는 단계 또는 핸드라이팅의 색상과 필기 배경의 색상 간의 색상 차이에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 검색하는 단계를 포함할 수 있다.
핸드라이팅의 색상과 필기 배경의 색상 간의 색상 차이에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 검색하는 단계는, 이진화된 이미지를 획득하기 위해 핸드라이팅 색상과 필기 표면의 색상 간의 색상 차이에 기초하여 이미지 프레임에 이진화 프로세싱을 수행하는 단계; 이진화된 이미지 내의 선형 이미지 영역(line-shaped image area)를 판단하는 단계; 및 선형 이미지 영역을 로컬 핸드라이팅으로써 검색하는 단계를 포함할 수 있다.
전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합하는 단계는, 현재 이미지 프레임으로부터 검색된 로컬 핸드라이팅과 이전의 이미지 프레임으로부터 검색된 로컬 핸드라이팅을 비교하는 단계; 현재 이미지의 프레임의 변화된 핸드라이팅을 판단하는 단계; 및 전체 핸드라이팅을 획득하기 위해 각 이미지 프레임의 변화된 핸드라이팅을 조합할 수 있다.
전체 핸드라이팅을 획득하기 위해 상기 로컬 핸드라이팅을 조합하는 단계는, 현재 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임보다 빠른 이전의 모든 이미지 프레임들의 변화된 핸드라이팅을 조합하고, 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임의 변화된 핸드라이팅과 현재 이미지 프레임의 선행 조합된 핸드라이팅을 조합하는 단계; 및 전체 핸드라이팅을 획득할 때까지, 이미지 프레임의 변화된 핸드라이팅과 이미지 프레임의 상기 선행 조합된 핸드라이팅을 조합을 반복적으로 수행하는 단계를 포함할 수 있다.
핸드라이팅을 인식하는 방법은, 전체 핸드라이팅을 인식한 후, 인식된 핸드라이팅을 레이아웃 정보가 저장되지 않은 문서 파일을 생성하거나, 레이아웃 정보가 함께 저장된 문서 파일을 생성하거나, 이미지 파일을 생성하거나, 각 이미지 프레임의 타임 시퀀스 정보와 변화된 핸드라이팅에 기초하여 비디오 파일을 생성하는 단계를 더 포함할 수 있다.
레이아웃이 함께 저장된 문서 파일은 레이아웃 정보와 함께 저장된 문서 파일은 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자, 컨텐츠 설명에 따라 생성될 수 있다.
반복 특성 식별자에 기초하여, 상기 레이아웃 정보와 함께 저장된 문서 파일을 생성하는 경우, 반복 특성 식별자가 첫번째로 나타나는 위치를 판단하고, 첫번째로 나타나는 반복 특성 식별자에 의해 식별되는 컨텐츠를 이후의 반복 특성 식별자의 위치로 복사함으로써, 상기 레이아웃 정보와 함께 저장된 문서 파일을 생성할 수 있다.
핸드라이팅을 인식하는 방법은, 로컬 필기 영역을 촬영하는 동안 생성된 오디오 데이터를 수신하는 단계; 로컬 핸드라이팅과 상기 수신된 오디오 데이터를 연관시키는 단계를 더 포함할 수 있다.
로컬 핸드라이팅과 오디오 데이터를 연관시키는 단계는, 로컬 핸드라이팅을 포함하는 파일과 저장된 오디오 데이터를 연관시켜 저장하거나, 오디오 데이터와 로컬 핸드라이팅 간의 대응 관계를 저장하는 단계를 포함할 수 있다.
만약 상기 오디오 데이터와 상기 로컬 핸드라이팅 간의 대응 관계를 저장하는 경우, 식별된 컨텐츠와 대응하는 오디오 데이터가 존재한다면, 로컬 핸드라이팅과 대응하는 컨텐츠를 식별하는 단계를 포함할 수 있다.
로컬 핸드라이팅과 오디오 데이터를 연관시키는 단계는 로컬 핸드라이팅과 오디오 데이터를 연관시킨 이후, 오디오 데이터와 로컬 핸드라이팅 간의 대응 관계에 기초하여 로컬 핸드라이팅과 오디오 데이터를 포함하는 비디오 파일을 생성하는 단계를 더 포함할 수 있다.
로컬 핸드라이팅과 상기 오디오 데이터를 연관시키는 단계는, 현재 이미지 프레임의 촬영 시간과 근접한 이미지 프레임의 촬영 시간 사이에 수신된 오디오 데이터와 현재 이미지 프레임 및 현재 이미지 프레임에 근접한 이미지 프레임에서 변화된 핸드라이팅을 연관시키는 단계를 포함할 수 있다.
핸드라이팅 인식 방법은, 로컬 핸드라이팅을 획득한 이후, 라인 변경 정보가 검출되었는지 판단하는 단계; 및 라인 변경 정보에 기초하여 로컬 핸드라이팅을 조합하는 단계를 더 포함할 수 있다.
라인 변경 정보가 검출되었는지 판단하는 단계는, 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 없는지, 라인 변경 식별자가 검출되었는지, 라인 변경을 나타내는 오디오 데이터가 수신되었는지 여부 중 적어도 하나에 기초하여 결정될 수 있다.
라인 변경 정보에 기초하여 로컬 핸드라이팅을 조합하는 단계는, 라인 변경 정보에 기초하여 로컬 핸드라이팅의 조합 시작 지점 또는 조합 종료 지점을 판단하는 단계; 및 로컬 핸드라이팅을 조합하는 단계를 포함할 수 있다.
핸드라이팅 인식 방법은, 멈춤 신호가 검출되는지 판단하는 단계; 판단 결과에 기초하여 로컬 핸드라이팅의 검색을 멈추고 전체 영역을 모니터링 하는 단계를 포함할 수 있다.
멈춤 신호가 검출되는지 판단하는 단계는, 촬영된 이미지로부터 새로운 핸드라이팅이 검색되지 않는 경우, 필기 표면으로부터 사용자의 시각 초점이 떠났는지 여부, 사용자의 머리 자세의 각도 변경이 소정의 값을 초과하는지 여부, 필기 도구의 말단의 위치가 검출되는지 여부, 멈춤 신호를 나타내는 오디오 데이타가 수신되는지 여부에 중 적어도 하나에 기초하여 판단될 수 있다.
멈춤 신호가 검출되는지 판단하는 단계는, 멈춤 신호가 검출된 이후, 전체 핸드라이팅 및 필기 표면의 촬영된 이미지를 캐싱하는 단계를 더 포함할 수 있다.
핸드라이팅 인식 방법은 멈춤 신호가 검출된 이후, 전체 영역에서 재시작 신호가 검출되는지 판단하는 단계; 판단 결과에 기초하여 로컬 핸드라이팅의 검색을 재시작하는 단계; 및 캐싱된 정보에 기초하여 로컬 핸드라이팅의 조합을 계속하는 단계를 더 포함할 수 있다.
재시작 신호가 검출되는지 판단하는 단계는, 상기 전체 영역의 촬영된 이미지가 필기 표면의 캐싱된 이미지와 매칭되는 여부, 상기 사용자의 시각 초점이 필기 표면으로 돌아오는 여부, 상기 필기 표면에 상기 필기 도구에 의한 새로운 필기된 정보가 생성되는지 여부, 재시작을 나타내는 오디오 데이터가 수신되는 여부에 기초하여 중 적어도 하나에 기초하여 판단될 수 있다.
핸드라이팅 인식 방법은, 종료 신호가 검출되는지 판단하는 단계; 판단 결과에 기초하여 사용자의 핸드라이팅의 인식을 종료하는 단계를 더 포함할 수 있다.
종료 신호가 검출되는지 판단하는 단계는, 소정의 시간 동안 사용자의 시각 초점이 필기 표면을 떠났는지 여부, 소정의 시간 동안 새로운 핸드라이팅의 검출되었는지 여부, 종료 명령이 수신되었는지 여부, 종료를 나타내는 오디오 데이터가 수신되었는지 여부 중 적어도 하나에 기초하여 판단될 수 있다.
핸드라이팅 인식 방법은, 상기 로컬 핸드라이팅을 조합하기 전, 로컬 핸드라이팅에 향상 프로세스를 수행할 지 여부를 결정하는 단계를 더 포함할 수 있다.
향상 프로세스를 수행할 지 여부를 결정하는 단계는, 이미지 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하는지 여부, 촬영된 이미지의 핸드라이팅의 두께가 소정의 값보다 낮은지 여부, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 소정의 값보다 작은지 여부 중 적어도 하나에 기초하여 결정될 수 있다.
향상 프로세스는, 촬영시 빛의 강도 및 선명도에 따라 카메라의 초점 또는 조리개를 조절하거나, 촬영된 이미지 프레임의 핸드라이팅의 두께에 따라 카메라의 배율을 조절하거나, 촬영된 이미지 프레임에 경사 및/또는 회전 교정을 수행하거나, 촬영된 이미지 프레임에 밝기 및/또는 명암 수정을 수행하거나, 검색된 로컬 핸드라이팅에 평활 처리를 수행하는 것을 포함할 수 있다.
향상 프로세스를 수행하는 단계는, 로컬 핸드라이팅으로부터 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 단계를 더 포함할 수 있다.
신뢰도 평가 값은, 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 선과 이전과 이후의 선들간의 대응 위치 관계 및 선의 연속성 및 선과 필기도구의 말단의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다.
본 발명의 기술적 해결 방안으로써, 필기 도구의 필기 초점은 로컬 필기 영역을 촬영하기 위해 추적될 수 있다. 로컬 필기 영역 내에 사용자에 의해 필기된 핸드라이팅은 로컬 필기 영역의 촬영된 이미지 프레임으로부터 검색되고, 사용자에 의해 전체 영역에 필기된 전체 핸드라이팅을 획득하기 위해 조합이 수행된다. 검색된 핸드라이팅이 이미 사용자에 의해 필기 표면에 필기된 핸드라이팅이므로, 사용자의 펜업(pen-up), 펜다운(pen-down)의 움직임과는 관계 없기 때문에, 필기 도구 말단의 이동 궤적에 따른 핸드라이팅 검색이 부정확하다는 문제점을 방지할 수 있고, 사용자의 핸드라이팅을 인식하는 정확도가 증가한다.
추가적으로, 로컬 필기 영역의 촬영 절차 동안 수신된 오디오 데이터가 기록될 수 있다. 기록된 오디오 데이터는 향후 사용자의 인식된 핸드라이팅의 수정이 편리하며, 검색된 핸드라이팅의 정확도를 증가시킬 수 있다.
또한 본 발명의 기술적 해결 방안으로써, 오디오 데이터 및 동시에 입력된 로컬 핸드라이팅 간의 대응 관계가 저장될 수 있다. 대응하는 오디오 데이터는 필기된 컨텐츠가 나중에 표시될 때 재생될 수 있으며, 사용자의 경험을 개선하고, 향후 사용자의 인식된 핸드라이팅의 수정이 편리하며, 검색된 핸드라이팅의 정확도를 증가시킬 수 있다.
실시예 8
일부 실시예에 따르면, 상기에서 설명한 방법들 중 적어도 하나를 구현하는 핸드라이팅을 인식하기 위한 장치가 제공될 수 있다. 핸드라이팅을 인식하는 장치는 인텔리전트 디바이스를 포함할 수 있다. 도 8에서는 핸드라이팅을 인식하는 장치의 내부 구조에 대해 도시한다.
일부 실시예에 따르면, 도 8에 도시된 장치는 촬영 모듈(402), 획득 모듈(404), 조합모듈(406) 및 인식 모듈(408)을 포함할 수 있다.
일부 실시예에 따르면, 촬영 모듈(402)는 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역을 촬영할 수 있다.
일부 실시예에 따르면, 획득 모듈(404)은 로컬 필기 영역을 촬영된 이미지로부터 로컬 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면 조합 모듈(406)는 획득된 로컬 핸드라이팅을 조합하고, 전체 핸드라이팅을 획득할 수 있이다.
일부 실시예에 따르면, 인식 모듈(408)은 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식할 수 있다.
일부 실시셰에 따르면, 필기 초점은 시각 초점에 따라 결정되거나, 검출된 필기 도구의 말단의 위치에 따라 결정될 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 필기 도구의 말단의 위치는 사전에 등록된 필기 도구의 말단의 모양, 촬영된 이미지로부터 필기 도구의 말단을 인식하거나, 인식된 필기 도구의 말단에 따라 필기 도구의 말단의 위치를 판단함으로써, 결정될 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 획득 모듈(404)은 핸드라이팅 색상에 따라 이미지로부터 로컬 핸드라이팅을 검색할 수 있다.
일부 실시예에 따르면, 획득 모듈(404)은 사전에 등록된 필기 도구의 핸드라이팅 색상에 따라 검색된 로컬 핸드라이팅 또는 핸드라이팅 색상과 필기 배경의 색상 간의 차이에 따라 이미지로부터 검색된 로컬 핸드라이팅의 핸드라이팅 색상에 따라 이미지로부터 로컬 핸드라이팅을 검색할 수 있다.
일부 실시예에 따르면, 획득 모듈(404)은 이진화된 이미지를 획득하기 위해 필기 표면의 색상과 핸드라이팅의 색상 간의 차이에 따라 이미지에 이진화 프로세스를 수행하고, 이진화된 이미지 내의 선형 이미지 영역을 판단하고, 선형 이미지 영역을 로컬 핸드라이팅으로 검색한 핸드라이팅 색상과 필기 배경의 색상 간의 차이에 따라 이미지로부터 로컬 핸드라이팅을 검색할 수 있다.
일부 실시예에 따르면, 핸드라이팅 인식 장치는 생성 모듈(미도시)를 더 포함할 수 있다. 생성 모듈은 전체 핸드라이팅을 인식한 이후, 인식된 핸드라이팅을 문서 파일로 생성 및 저장할 수 있다. 예를 들면, 생성 모듈은 인식된 핸드라이팅에 따라 레이아웃이 함께 저장된 문서 파일을 파일을 생성하고, 전체 핸드라이팅을 이미지 파일로 저장하고, 각 이미지 프레임의 변화된 핸드라이팅 및 타임 시퀀스 정보에 따라 비디오 파일을 생성할 수 있다.
일부 실시예에 따르면, 레이아웃 정보와 함께 저장된 문서 파일은 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자, 컨텐츠 설명에 따라 생성될 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 생성 모듈은 반복 특성 식별자를 검출하고, 반복 특성 식별자를 가장 먼저 나타나는 위치를 판단할 수 있다. 인텔리전트 디바이스는 레이아웃 정보와 함께 저장되는 문서 파일을 생성하기 위해 첫번째로 나타나는 반복 특성 식별자에 의해 식별되는 컨텐츠를 이후의 반복 특성 식별자의 위치로 복사할 수 있다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 수신 모듈(미도시)를 더 포함할 수 있다. 수신 모듈은 로컬 필기 영역이 촬영되는 동안 생성된 오디오 데이터를 수신할 수 있다.
또한 일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 연관 모듈(미도시)을 더 포함할 수 있다. 연관 모듈은 오디오 데이터와 로컬 핸드라이팅을 연관시킬 수 있다.
일부 실시예에 따르면, 연관 모듈은 오디오 데이터와 로컬 핸드라이팅을 연관 시킬 수 있다. 예를 들어, 연관 모듈은 오디오 데이터와 로컬 핸드라이팅을 포함하는 파일을 연관적으로 저장할 수 있고, 오디오 데이터와 로컬 핸드라이팅 간의 대응 관계를 저장할 수도 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 생성 모듈은 로컬 핸드라이팅 및 오디오 데이터를 연관시킨 이후, 로컬 핸드라이팅과 오디오 데이터 간의 대응 관계에 따라 오디오 데이터와 로컬 핸드라이팅을 포함하는 비디오 파일을 생성할 수도 있다.
일부 실시예에 따르면, 연관 모듈은 현재 이미지 프레임의 촬영 시간과 근접한 이미지 프레임의 촬영 시간 사이에 수신된 오디오 데이터와 현재 이미지 프레임과 근접한 이미지 프레임에 따라 결정된 변화된 핸드라이팅을 연관시킬 수 있다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 라인 변경 정보 판단 모듈(미도시)을 더 포함할 수 있다. 라인 변경 정보 판단 모듈은 라인 정보를 판단할 수 있다. 조합 모듈(406)은 라인 변경 정보에 따라 로컬 핸드라이팅을 조합할 수 있다.
일부 실시예에 따르면, 라인 변경 정보 판단 모듈은 라인 변경 정보가 검출되었는지 판단할 수 있다. 예를 들면, 라인 변경 정보 판단 모듈은 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 없는지, 라인 식별자가 검출되었는지, 라인 변경을 나타내는 오디오 데이터가 수신되었는지 여부를 판단함으로써, 라인 변경 정보가 검출되었는지 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 멈춤 신호 검출 모듈(미도시)을 더 포함할 수 있다. 멈춤 신호 검출 모듈은 멈춤 신호가 검출되면 전체 모니터링을 수행할 수 있다.
일부 실시예에 따르면, 멈춤 신호 검출 모듈은 촬영 이미지로부터 새로운 핸드라이팅이 검색되지 않는 경우, 필기 표면으로부터 사용자의 시각 초점이 떠난 경우, 사용자의 머리 자세의 각도 변경이 소정의 값을 초과하는 경우, 필기 도구의 말단의 위치가 검출되지 않는 경우, 멈춤 신호를 나타내는 오디오 데이타가 수신되는 경우 멈춤 신호가 검출된 것으로 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 캐싱 모듈(미도시)을 더 포함할 수 있다. 캐싱 모듈은 멈춤 신호가 검출된 이후, 조합된 전체 핸드라이팅 및 필기 표면이 촬영된 이미지를 캐싱할 수 있다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 재시작 신호 검출 모듈(미도시)을 더 포함할 수 있다. 재시작 신호 검출 모듈은 멈춤 신호가 검출된 이후 전체 영역에서 재시작 신호가 검출되었는지 판단할 수 있다. 획득 모듈(404)는 재시작 신호가 검출되면 로컬 핸드라이팅의 검색을 재시작할 수 있다. 조합 모듈(406)은 캐싱된 정보에 따라 로컬 핸드라이팅의 조합을 재시작할 수 있다.
일부 실시예에 따르면, 재시작 신호 검출 모듈은 전체 영역의 촬영된 이미지가 필기 표면의 캐싱된 이미지와 매칭되는 경우, 사용자의 시각 초점이 필기 표면으로 돌아오는 경우, 필기 표면에 필기 도구에 의한 새로운 핸드라이팅이 생성되는 경우, 재시작을 나타내는 오디오 데이터가 수신되는 경우 재시작 신호가 검출되었다고 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 종료 신호 검출 모듈(미도시)을 더 포함할 수 있다. 인식 모듈(408)는 만약 종료 신호가 검출되면 사용자의 핸드라이팅의 인식을 종료할 수 있다.
일부 실시예에 따르면, 종료 신호 검출 모듈은 소정의 시간 동안 사용자의 시각 초점이 필기 표면을 떠난 경우, 소정의 시간 동안 새로운 핸드라이팅의 검출이 없는 경우, 종료 명령이 수신된 경우, 종료를 나타내는 오디오 데이터가 수신된 경우, 종료 신호가 검출되었다고 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 향상 프로세스 모듈(미도시)을 더 포함할 수 있다. 향상 프로세스 모듈은 로컬 핸드라이팅 조합 이전에 로컬 핸드라이팅에 향상 프로세스를 수행할 수 있다.
일부 실시예에 따르면, 향상 프로세스 모듈은 이미지 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하는 경우, 촬영된 이미지의 핸드라이팅의 두께가 소정의 값보다 낮은 경우, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 소정의 값보다 작은 경우에 로컬 핸드라이팅에 향상 프로세스를 수행할 수 있다.
일부 실시예에 따르면, 향상 프로세스는 이미지 촬영시 빛의 강도 및 선명도에 따라 카메라의 초점 또는 조리개를 조절하는 방법, 촬영된 이미지의 핸드라이팅의 두께에 따라 카메라의 배율을 조절하는 방법, 촬영된 이미지에 경사 및/또는 회전 교정을 수행하는 방법, 촬영된 이미지에 밝기 및/또는 명암 수정을 수행하는 방법 및 검색된 로컬 핸드라이팅에 평활 처리를 수행하는 방법 중 적어도 하나의 방법을 포함할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 향상 프로세스 모듈은 로컬 핸드라이팅으로부터 신뢰도 평가 값이 문턱값보다 낮은 선을 제거할 수도 있다.
일부 실시예에 따르면, 신뢰도 평가 값은, 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 이전과 이후의 선들 간의 대응 위치 관계 및 선의 연속성 및 선과 필기도구의 말단의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다. 물론 상기 예시에 제한되지 않는다.
도 9는 일부 실시예에 따른 손으로 필기된 컨텐츠를 인식하는 전자 디바이스의 구조를 도시한다.
도 9에서 도시된 바와 같이, 손으로 필기된 컨텐츠를 인식하는 전자 디바이스(900)는 중앙 연산 유닛(Central Processing Unit: CPU)와 프로세서(910), 출력 인터페이스(920) 또는 사용자 인터페이스(930), 메모리(940), 통신 버스(950)을 포함할 수 있다. 프로세서(910), 출력 인터페이스(920), 메모리(940) 및 통신 버스(950)는 구현예에 따라 하나 이상일 수도 있다.
통신 버스(950)는 전자 디바이스(900)의 구성 요소들 간의 통신을 구현하기 위해 사용될 수 있다. 전자 디바이스(900)는 선택적으로 사용자 인터페이스(930)을 포함할 수 있으며, 사용자 인터페이스(930)는 디스플레이 장치, 키보드 또는 클릭 디바이스(예를 들면, 마우스, 트랙볼(Trackball), 터치보드(Touchboard) 또는 터치 스크린(Touch screen))을 포함할 수 있다. 메모리(940)는 랜덤 액세스 메모리(Random Access Memory: RAM) 또는 비휘발성 메모리(Non-volatile Memory)과 같은 적어도 하나의 디스크 메모리(Disk Memeory)를 포함할 수 있다. 또한 일부 실시예에 따르면, 메모리(940)는 부가적으로 프로세서(910)에 의해 원격 조절되는 적어도 하나의 저장 디바이스를 포함할 수도 있다.
일부 실시예에 따르면, 메모리는 실행 가능한 모듈들 또한 데이터 구조들 또는 실행 가능한 모듈들과 데이터 구조들의 집합 및 서브 집합 또는 실행 가능한 모듈들과 데이터 구조들의 확장 세트(extended set)을 저장할 수 있다.
일부 실시예에 따르면, 오퍼레이팅 시스템(941)은 하드웨어 기반 업무들읠 처리하고, 다양한 기본 서비스들을 구현하기 위한 다양한 시스템 프로그램들을 포함할 수 있다.
일부 실시예에 따르면, 어플리케이션 프로그램(942)는 다양한 어플리케이션 서비스들을 구현하기 위해 사용되는 다양한 어플리케이션 프로그램들을 포함할 수 있다.
일부 실시예에 따르면 어플리케이션 프로그램(942)는 앞서 설명한 방법들을 실행하는데 사용되는 프로그램들을 포함할 수 있다. 예를 들면, 어플리케이션 프로그램은 일부 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역을 촬영하는 촬영 유닛, 로컬 필기 영역을 촬영된 이미지로부터 로컬 핸드라이팅을 획득하는 획득 유닛, 획득된 로컬 핸드라이팅을 조합하고, 전체 핸드라이팅을 획득하는 조합 유닛, 및 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식하는 인식 유닛을 포함할 수 있다.
다른 어플리케이션 프로그램들은 상기에서 설명한 실시예들에 의해 참조될 수 있으므로, 자세한 설명은 생략한다.
일부 실시예에 따르면, 프로세서(910)는 호출 프로그램들 또는 메모리(940) 내에 저장된 지시들을 통해 대응되는 블록들을 수행 할 수 있다. 예를 들면, 프로세서(910)는 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역을 촬영하고, 로컬 필기 영역의 촬영된 이미지로부터 로컬 핸드라이팅을 획득하고, 전체 핸드라이팅을 획득하기 위해 획득한 로컬 핸드라팅을 조합하고, 전체 핸드라이팅에 따라 사용자의 손으로 필기한 정보를 인식할 수 있이다.
일부 실시예에 따르면 프로세서(910)는 상기에서 설명한 실시예들을 구현하는데 사용될 수 있다. 프로세서(910)의 다른 동작들은 앞서 설명한 실시예들에 의해 참조될 수 있으므로, 자세한 설명은 생략한다.
일부 실시예에 따르면, 상기에서 설명한 방법들을 수행하는 컴퓨터 프로그램이 저장되기 위해 사용되는 기록매체가 제공될 수 있다. 컴퓨터 프로그램에 의해 수행되는 방법은 앞서 설명한 실시예들에 의해 참조될 수 있으므로, 자세한 설명은 생략한다.
도 10은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법의 순서도를 도시한다.
단계 1001에서, 인텔리전트 디바이스는 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는, 사용자의 시각 초점을 추적하고, 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다. 또한 인텔리전트 디바이스는 필기 도구의 말단을 추적하고, 필기 도구의 말단의 위치를 결정하며, 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수도 있다.
인텔리전트 디바이스는 사용자로부터 필기 도구의 말단의 모양에 대한 정보를 획득하고, 획득한 정보에 기초하여, 촬영된 제 1 로컬 필기 영역 및 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 내의 필기 도구의 말단을 검출하고, 검출 결과에 기초하여 필기 도구의 말단의 위치를 결정할 수 있다.
필기 초점을 추적 또는 결정하는 단계는 앞서 설명한 내용과 대응되므로 자세한 설명은 생략한다.
단계 1003에서, 인텔리전트 디바이스는 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영할 수 있다.
로컬 필기 영역의 촬영은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
단계 1005에서, 인텔리전트 디바이스는 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자에 의해 입력된 핸드라이팅의 색상에 관한 정보에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 도 있다.
핸드라이팅을 획득하는 방법은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
단계 1007에서, 인텔리전트 디바이스는 제 1 핸드라이팅 및 제 2 핸드라이팅을 조합할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 제 1 핸드라이팅과 제 2 핸드라이팅을 비교하고, 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하고, 판단 결과에 기초하여, 변경된 핸드라이팅을 조합할 수 있다.
핸드라이팅의 조합은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
단계 1009에서, 인텔리전트 디바이스는 조합 결과에 기초하여 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 필기 정보는, 레이아웃 정보 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함할 수 있다. 또한 필기 정보는 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장될 수 있다. 인텔리전트 디바이스는 레이아웃이 포함된 문서 파일 포맷, 이미지 파일 포맷, 비디오 파일 포맷을 생성함으로써, 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 레이아웃 정보는 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함할 수 있다. 레이아웃 정보는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
또한 일부 실시예에 따르면, 인텔리전트 디바이스는 제 1 로컬 필기 영역 및 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득할 수 있다. 오디오 데이터는 다른 디바이스로부터 수신하거나, 인텔리전트 디바이스가 직접 기록할 수도 있다. 또한 인텔리전트 디바이스는 획득한 오디오 데이터를 제 1 핸드라이팅과 제 2 핸드라이팅과 대응되도록 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 제 1 로컬 영역의 촬영 시간과 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 필기 정보를 생성할 수 있다. 다시 말해서 인텔리전트 디바이스는 제 1 로컬 영역의 촬영 시간과 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 필기 정보를 연관시킬 수 있다.
오디오 데이터에 관한 내용은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 인텔리전트 디바이스는 멈춤 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행할 수 있다. 인텔리전트 디바이스는 로컬 필기 영역 또는 전체 필기 영역을 모니터링 할 수 있다.
인텔리전트 디바이스는 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호가 검출되는지 판단할 수 있다. 일부 실시예에 따르면, 인텔리전트 디바이스는 모니터링 결과 재시작 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작할 수도 있다. 멈춤 및 재시작 신호에 대한 내용은 앞서 설명한 바와 대응된다.
일부 실시예에 따르면, 인텔리전트 디바이스는 종료 신호가 검출되는지 판단하고, 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료할 수 있다. 인텔리전트 디바이스는, 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호가 검출되는지 판단할 수 있다. 종료 신호에 대한 내용은 앞서 설명한 바와 대응된다.
일부 실시예에 따르면, 인텔리전트 디바이스는 획득한 제 1 핸드라이팅 및 제 2 핸드라이팅에 향상 프로세스를 적용할 수 있다. 향상 프로세스는 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 프레임 내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용될 수 있다. 또한 향상 프로세스는 제 1 핸드라이팅 및 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 것을 포함할 수 있다.
신뢰도 평가 값은, 제 1 핸드라이팅 또는 제 2 핸드라이팅 내에 포함된 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 선과 다른 선들간의 대응 위치 관계 및 연속성 및 선과 필기도구의 끝의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다. 향상 프로세스 및 신뢰도 평가 값에 대한 내용은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
도 11은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스의 구조를 도시한다.
도 11의 필기 정보를 생성하는 디바이스(1100)는 앞서 설명한 도 8의 핸드라이팅 인식 장치 및 도 9의 전자 디바이스와 동일한 디바이스일 수 있다. 또한 도 11의 필기 정보를 생성하는 디바이스(1100)는 앞서 설명한 인텔리전트 디바이스와 동일한 디바이스일 수 있다.
도 11에 도시된 구성 요소가 모두 디바이스(1100)의 필수 구성 요소인 것은 아니다. 도 11에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(1100)가 구현될 수도 있고, 도 11에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(1100)가 구현될 수도 있다. 또한 디바이스(110)의 각 구성요소는 프로세서와 같은 제어부를 각각 포함할 수도 있다.
도 11을 참조하면, 디바이스(1100)는 제어부(1110), 사용자 인터페이스부(1130) 및 신호획득부(1150)를 포함 할 수 있다.
일부 실시예에 따르면 제어부(1110)는 통상적으로 디바이스(1100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1110)는 디바이스(1100)에 저장된 프로그램을 실행함으로써, 디바이스(1100)가 포함하는 구성요소들을 전반적으로 제어할 수 있다. 제어부(1100)는 중앙 제어 장치와 같은 연산 유닛 또는 프로세서 중 적어도 하나를 포함할 수 있으며, 다른 구성요소 내에 포함될 수도 있다. 다만, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 제어부(1110)는, 제 1 필기 초점 및 제 2 필기 초점을 결정하고, 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하고, 제 1 핸드라이팅 및 제 2 핸드라이팅을 조합하며, 조합 결과에 기초하여 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 필기 도구의 말단의 위치를 결정하고, 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 사용자 입력에 기초하여, 촬영된 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 내의 필기 도구의 말단을 검출하고, 검출 결과에 기초하여 필기 도구의 말단의 위치를 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110) 핸드라이팅의 색상에 관한 정보에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 제어부(1110)는, 제 1 핸드라이팅과 제 2 핸드라이팅을 비교하고, 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하며, 판단 결과에 기초하여, 변경된 핸드라이팅을 조합할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 획득된 오디오 데이터와 제 1 핸드라이팅과 상기 제 2 핸드라이팅과 대응되도록 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 제 1 로컬 영역의 촬영 시간과 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 멈춤 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하도록 신호 획득부(1150)를 제어할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호의 수신 여부를 판단할 수 있다..
일부 실시예에 따르면, 제어부(1110)는 모니터링 결과 재시작 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 종료 신호가 검출되는지 판단하고, 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호의 검출 여부를 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호의 검출 여부를 결정할 수 있다. 제어부(1110)의 동작은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
사용자 인터페이스부(1130)는 사용자 입력을 수신할 수 있다.
일부 실시예에 따르면, 사용자 인터페이스부(1130)는 사용자로부터 상기 필기 도구의 말단의 모양에 대한 정보를 수신할 수 있다.
일부 실시예에 따르면, 사용자 인터페이스부(1130)는 사용자로부터 핸드라이팅의 색상에 관한 정보를 수신할 수 있다. 사용자 인터페이스부(1130)의 동작은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 신호 획득부(1150) 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영할 수 있다.
또한 일부 실시예에 따르면, 신호 획득부(1150)는 사용자의 시각 초점을 추적할 수 있고, 필기 도구의 말단을 추적할 수도 있다.
추가적으로 일부 실시예에 따르면, 신호 획득부(1150)는 멈춤 신호, 재시작 신호, 종료 신호와 같은 각종 신호를 검출할 수 있다. 신호 획득부(1150)의 동작은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 신호 획득부(1150)는 카메라 및 마이크로폰 등을 포함할 수 있다. 카메라는 화상 통화모드 또는 촬영모드에서 이미지 센서를 통해 이미지 프레임을 획득할 수 잇다. 이미지 센서를 통해 캡쳐된 이미지 프레임은 제어부(1110) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라에서 처리된 이미지 프레임은 저장부에 저장되거나 통신부(미도시)를 통하여 외부로 전송될 수 있다.
마이크로폰은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰은 사용자 또는 다른 디바이스로부터 음향 신호를 수신할 수 있다.
추가적으로, 신호 획득부(1150)는 센서부(미도시)를 더 포함할 수 있다. 센서부는 지자기 센서(Magnetic sensor) 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, 및 광센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다
또한 디바이스(1100)는 출력부(미도시)를 더 포함할 수 있다. 출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부는 디스플레이부, 음향 출력부, 및 진동 모터 중 적어도 하나를 포함할 수 있다.
음향 출력부는 오디오 데이터를 출력한다. 또한, 음향 출력부는 디바이스(1100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음, 사용자 유도음)과 관련된 음향 신호를 출력한다. 음향 출력부는 스피커(speaker), 버저(Buzzer) 등을 포함할 수 있다.
진동 모터는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 또한 디바이스 내에 설치된 컴퓨터 프로그램들은 선택적으로 활성화되거나, 재구성될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 물론 상기 예시에 제한되지 않는다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터 프로그램 지시어들은 블록 다이어그램들 및/또는 순서도 및/또는 도면들의 각 블록 및 블록들의 조합을 실현하기 위해 사용될 수 있음은 당업자에게 자명하다. 또한 컴퓨터 프로그램 지시어들은 블록 다이어그램들 및/또는 순서도 및/또는 도면들의 각 블록 및 블록들의 조합을 실현하기 위해 일반적인 목적의 컴퓨터, 프로페셔널 컴퓨터 또는 다른 프로그램 가능한 데이터들을 프로세싱하는 방법을 위한 프로세서에 제공될 수 있음은 당업자에게 자명하다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. ‘매커니즘’, ‘요소’, ‘수단’, ‘구성’과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, ‘필수적인’, ‘중요하게’ 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 ‘상기’의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스에 있어서,
    사용자 입력을 수신하는 사용자 인터페이스부;
    제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 신호 획득부; 및
    상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하고, 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하고, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하며, 상기 조합 결과에 기초하여 필기 정보를 생성하는 제어부를 포함하는 디바이스.
  2. 제 1 항에 있어서,
    상기 신호 획득부는,
    사용자의 시각 초점을 추적하고,
    상기 제어부는,
    상기 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 디바이스.
  3. 제 1 항에 있어서,
    상기 사용자 인터페이스부는,
    사용자로부터 핸드라이팅의 색상에 관한 정보를 수신하고,
    상기 제어부는,
    상기 핸드라이팅의 색상에 관한 정보에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 것을 특징으로 하는 디바이스.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅을 비교하고, 상기 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하며, 상기 판단 결과에 기초하여, 변경된 핸드라이팅을 조합하는 것을 특징으로 하는 디바이스.
  5. 제 1 항에 있어서,
    상기 필기 정보는, 레이아웃 정보, 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함하고,
    상기 필기 정보는, 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장되며,
    상기 레이아웃 정보는, 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함하는 것을 특징으로 하는 디바이스.
  6. 제 1 항에 있어서,
    상기 신호획득부는,
    상기 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득하고,
    상기 제어부는,
    상기 획득된 오디오 데이터와 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 것을 특징으로 하는 디바이스.
  7. 제 6 항에 있어서,
    상기 제어부는,
    상기 제 1 로컬 영역의 촬영 시간과 상기 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 것을 특징으로 하는 디바이스.
  8. 제 4 항에 있어서,
    상기 제어부는,
    멈춤 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하도록 상기 신호 획득부를 제어하는 것을 특징으로 하는 디바이스.
  9. 제 8항에 있어서,
    상기 제어부는,
    상기 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호의 수신 여부를 판단하는 것을 특징으로 하는 디바이스.
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용하고,
    상기 향상 프로세스는, 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용되며,
    상기 향상 프로세스는, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 것을 특징으로 하는 디바이스.
  11. 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법에 있어서,
    제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계;
    상기 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 상기 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 단계;
    상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계;
    상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하는 단계; 및
    상기 조합 결과에 기초하여 필기 정보를 생성하는 단계를 포함하는 정보 생성 방법.
  12. 제 11 항에 있어서,
    상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하는 단계는,
    필기 도구의 말단을 추적하는 단계;
    상기 필기 도구의 말단의 위치를 결정하는 단계; 및
    상기 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계를 포함하는 방법.
  13. 제 11 항에 있어서,
    상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는,
    핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계를 포함하는 방법.
  14. 제 11 항에 있어서,
    상기 방법은,
    종료 신호가 검출되는지 판단하는 단계; 및
    상기 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료하는 단계를 더 포함하는 것을 특징으로 하는 필기 정보 인식 방법.
  15. 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160015673A 2015-02-12 2016-02-11 핸드라이팅 인식 방법 및 장치 KR102559028B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510075362.1A CN105988567B (zh) 2015-02-12 2015-02-12 手写信息的识别方法和装置
CN201510075362.1 2015-02-12

Publications (2)

Publication Number Publication Date
KR20160099497A true KR20160099497A (ko) 2016-08-22
KR102559028B1 KR102559028B1 (ko) 2023-07-24

Family

ID=56614828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160015673A KR102559028B1 (ko) 2015-02-12 2016-02-11 핸드라이팅 인식 방법 및 장치

Country Status (5)

Country Link
US (1) US10438080B2 (ko)
EP (1) EP3258423B1 (ko)
KR (1) KR102559028B1 (ko)
CN (1) CN105988567B (ko)
WO (1) WO2016129934A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075605A1 (ko) * 2020-10-08 2022-04-14 삼성전자주식회사 전자 장치 및 이의 제어 방법

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US20170236318A1 (en) * 2016-02-15 2017-08-17 Microsoft Technology Licensing, Llc Animated Digital Ink
CN105929957A (zh) * 2016-04-26 2016-09-07 深圳市奋达科技股份有限公司 一种智能眼镜的控制方法、装置及设备
TWI622938B (zh) * 2016-09-13 2018-05-01 創意引晴（開曼）控股有限公司 避免辨識結果混淆之影像辨識方法
CN107871135A (zh) * 2016-09-23 2018-04-03 创意引晴(开曼)控股有限公司 避免辨识结果混淆的影像辨识方法
CN106778720B (zh) * 2016-11-23 2020-05-22 武汉工程大学 一种对手写过程数字化记录和电子化重建的系统及方法
CN106598291B (zh) * 2016-11-29 2019-09-03 广州视源电子科技股份有限公司 一种智能书写方法、红外触摸屏与智能书写系统
CN106778725A (zh) * 2016-12-07 2017-05-31 南京仁光电子科技有限公司 会议信息录入方法和装置
CN106709435A (zh) * 2016-12-07 2017-05-24 南京仁光电子科技有限公司 信息录入方法和装置
CN106896967A (zh) * 2017-03-28 2017-06-27 广州视源电子科技股份有限公司 一种智能书写方法、红外触摸屏与智能书写系统
US10650813B2 (en) * 2017-05-25 2020-05-12 International Business Machines Corporation Analysis of content written on a board
CN107391015B (zh) * 2017-07-19 2021-03-16 广州视源电子科技股份有限公司 一种智能平板的控制方法、装置、设备及存储介质
JP7069631B2 (ja) * 2017-10-16 2022-05-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
CN107734303B (zh) * 2017-10-30 2021-10-26 北京小米移动软件有限公司 视频标识方法及装置
CN108171282B (zh) * 2017-12-29 2021-08-31 安徽慧视金瞳科技有限公司 一种黑板笔迹自动合成方法
CN108154191B (zh) * 2018-01-12 2021-08-10 北京经舆典网络科技有限公司 文档图像的识别方法和系统
CN108287895B (zh) * 2018-01-19 2020-11-06 广东小天才科技有限公司 一种基于显性框调节的搜题方法及系统、手持拍照设备
CN108492377A (zh) * 2018-02-13 2018-09-04 网易（杭州）网络有限公司 一种虚拟场景中的书写控制方法及装置、移动终端
US10826572B2 (en) * 2018-04-16 2020-11-03 Microsoft Technology Licensing, Llc Preserving digital ink spatial relationships in electronic messages
CN108363522A (zh) * 2018-04-24 2018-08-03 石家庄科达文教用品有限公司 同步书写系统及其方法
US10997402B2 (en) * 2018-07-03 2021-05-04 Fuji Xerox Co., Ltd. Systems and methods for real-time end-to-end capturing of ink strokes from video
CN108805108B (zh) * 2018-07-17 2024-03-12 珠海向导科技有限公司 一种板书笔迹记录方法
CN109243244B (zh) * 2018-08-13 2020-10-30 广东小天才科技有限公司 一种书写评分方法、装置、设备及存储介质
CN109254717B (zh) * 2018-08-13 2021-06-22 广东小天才科技有限公司 一种写字板的手写引导方法、装置、写字板及存储介质
CN109308118B (zh) * 2018-09-04 2021-12-14 安徽大学 基于eog的中文眼写信号识别系统及其识别方法
CN111611203B (zh) * 2019-02-25 2023-04-18 宏碁股份有限公司 电子装置及手写板系统
CN110059678A (zh) * 2019-04-17 2019-07-26 上海肇观电子科技有限公司 一种检测方法、装置及计算机可读存储介质
CN111027358B (zh) * 2019-04-19 2023-06-30 广东小天才科技有限公司 一种基于书写进度的听写报读方法及电子设备
CN111031232B (zh) * 2019-04-24 2022-01-28 广东小天才科技有限公司 一种听写实时检测的方法及电子设备
CN111028558A (zh) * 2019-05-10 2020-04-17 广东小天才科技有限公司 一种听写检测方法及电子设备
CN110222584A (zh) * 2019-05-14 2019-09-10 深圳传音控股股份有限公司 手写输入的识别方法及设备
CN110119216A (zh) * 2019-06-12 2019-08-13 卓阅科技(深圳)有限公司 智能笔及教学设备
CN111753607A (zh) * 2019-07-29 2020-10-09 广东小天才科技有限公司 一种书写轨迹检测方法及电子设备
CN111081102B (zh) * 2019-07-29 2022-03-25 广东小天才科技有限公司 一种听写结果的检测方法及学习设备
CN111079503B (zh) * 2019-08-02 2023-08-25 广东小天才科技有限公司 一种文字识别方法及电子设备
CN110569800B (zh) * 2019-09-10 2022-04-12 武汉大学 一种手写信号的检测方法
CN110602709B (zh) * 2019-09-16 2022-01-04 腾讯科技（深圳）有限公司 可穿戴式设备的网络数据安全方法、装置及存储介质
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
CN110620912A (zh) * 2019-10-10 2019-12-27 北京华文众合科技有限公司 运笔过程展示和记录设备及系统
CN110531831A (zh) * 2019-10-15 2019-12-03 李尹帆 一种电子日记本
CN110955355A (zh) * 2019-11-29 2020-04-03 随锐科技集团股份有限公司 电子白板的文件处理方法及装置、计算机可读存储介质
RU2765884C2 (ru) 2019-12-17 2022-02-04 Общество с ограниченной ответственностью "Аби Продакшн" Идентификация блоков связанных слов в документах сложной структуры
CN111078073B (zh) * 2019-12-17 2021-03-23 科大讯飞股份有限公司 一种笔迹放大的方法和相关装置
US11645372B2 (en) * 2020-01-22 2023-05-09 International Business Machines Corporation Multifactor handwritten signature verification
CN111428445A (zh) * 2020-03-23 2020-07-17 维沃移动通信有限公司 文档的生成方法和电子设备
CN111475096B (zh) * 2020-03-30 2021-07-23 掌阅科技股份有限公司 将页面投射至显示屏的方法、装置及计算机可读存储介质
CN111477040B (zh) * 2020-05-19 2021-07-20 西北大学 一种诱导式书法训练系统、设备及方法
CN113934345A (zh) * 2020-06-29 2022-01-14 华为技术有限公司 一种取色/纹理方法、装置、系统和电子设备
CN111949157A (zh) * 2020-07-30 2020-11-17 通彩视听科技(上海)有限公司 仿真书写笔迹处理方法、计算机设备及存储介质
CN111881904A (zh) * 2020-07-31 2020-11-03 城云科技（中国）有限公司 板书记录方法和系统
US11044282B1 (en) 2020-08-12 2021-06-22 Capital One Services, Llc System and method for augmented reality video conferencing
JP2022037377A (ja) * 2020-08-25 2022-03-09 株式会社ワコム 入力システム及び入力方法
CN112183521B (zh) * 2020-09-30 2023-09-12 中国银行股份有限公司 一种智能输入方法、系统、设备及可读存储介质
RU2757713C1 (ru) * 2020-11-24 2021-10-20 АБИ Девелопмент Инк. Распознавание рукописного текста посредством нейронных сетей
CN112396032B (zh) * 2020-12-03 2023-04-07 北京有竹居网络技术有限公司 书写检测方法、装置、存储介质及电子设备
US11514695B2 (en) * 2020-12-10 2022-11-29 Microsoft Technology Licensing, Llc Parsing an ink document using object-level and stroke-level processing
CN112711341B (zh) * 2021-01-05 2023-06-20 北京字节跳动网络技术有限公司 书写装置的控制方法、装置、终端和存储介质
CN113568514B (zh) * 2021-07-28 2024-05-07 咪咕数字传媒有限公司 一种书写数据采集笔具、笔迹处理方法和设备
WO2023060207A1 (en) * 2021-10-06 2023-04-13 Tangible Play, Inc. Detection and virtualization of handwritten objects
CN113688838B (zh) * 2021-10-25 2022-03-22 江西软云科技股份有限公司 红色笔迹提取方法、系统、可读存储介质及计算机设备
CN114237430A (zh) * 2021-12-01 2022-03-25 安徽淘云科技股份有限公司 书写轨迹展示方法、装置、系统、电子设备和存储介质
CN117813580A (zh) * 2022-07-29 2024-04-02 京东方科技集团股份有限公司 一种图文交互的方法及显示设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140480A1 (en) * 2002-02-08 2006-06-29 Microsoft Corporation Pen out-of-proximity handwriting-recognition trigger
US20070273674A1 (en) * 2005-03-18 2007-11-29 Searete Llc, A Limited Liability Corporation Machine-differentiatable identifiers having a commonly accepted meaning
KR101372837B1 (ko) * 2011-12-30 2014-03-13 주식회사 인프라웨어 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238525A (ja) * 1991-01-22 1992-08-26 Sony Corp 文字入力制御装置および方法
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
US6633671B2 (en) 1998-01-28 2003-10-14 California Institute Of Technology Camera-based handwriting tracking
US6456740B1 (en) * 1999-07-26 2002-09-24 International Business Machines Corporation System and method for identifying form type in a handwriting recognition based form completion system
US20050111735A1 (en) 2003-11-21 2005-05-26 International Business Machines Corporation Video based handwriting recognition system and method
US8640959B2 (en) 2005-03-18 2014-02-04 The Invention Science Fund I, Llc Acquisition of a user expression and a context of the expression
US7627703B2 (en) 2005-06-29 2009-12-01 Microsoft Corporation Input device with audio capabilities
TWI301590B (en) * 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US9648287B2 (en) 2007-02-15 2017-05-09 Stewart Carl Note capture device
US8064702B2 (en) * 2007-12-21 2011-11-22 Microsoft Corporation Handwriting templates
US8930360B2 (en) 2010-05-28 2015-01-06 Yahoo! Inc. System and method for online handwriting recognition in web queries
US8830212B2 (en) 2010-06-01 2014-09-09 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
US20120082964A1 (en) * 2010-09-09 2012-04-05 Michael Scott Weitzman Enhanced graphological detection of deception using control questions
KR20120040970A (ko) 2010-10-20 2012-04-30 삼성전자주식회사 디스플레이에서 제스쳐를 인식하는 방법 및 그 장치
US9830831B2 (en) 2011-01-05 2017-11-28 Pathway Innovations And Technologies, Inc. Mobile handwriting recording instrument and group lecture delivery and response system using the same
CN202018638U (zh) * 2011-02-14 2011-10-26 中兴通讯股份有限公司 一种集成耳机的手机手写笔
JP2013125487A (ja) * 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
US10067568B2 (en) 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
US9354725B2 (en) 2012-06-01 2016-05-31 New York University Tracking movement of a writing instrument on a general surface
CN103871276A (zh) * 2012-12-10 2014-06-18 中国电信股份有限公司 电子板书信息的显示方法、系统与书写终端
KR20140112814A (ko) 2013-03-14 2014-09-24 주식회사 인프라웨어 옵션 필터링 기반의 핸드라이팅 변환인식 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
US9940015B2 (en) * 2015-07-13 2018-04-10 Lenovo (Singapore) Pte. Ltd. Interacting with application beneath transparent layer
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140480A1 (en) * 2002-02-08 2006-06-29 Microsoft Corporation Pen out-of-proximity handwriting-recognition trigger
US20070273674A1 (en) * 2005-03-18 2007-11-29 Searete Llc, A Limited Liability Corporation Machine-differentiatable identifiers having a commonly accepted meaning
KR101372837B1 (ko) * 2011-12-30 2014-03-13 주식회사 인프라웨어 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075605A1 (ko) * 2020-10-08 2022-04-14 삼성전자주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
EP3258423A1 (en) 2017-12-20
US20180025248A1 (en) 2018-01-25
EP3258423B1 (en) 2020-06-24
EP3258423A4 (en) 2017-12-20
US10438080B2 (en) 2019-10-08
CN105988567A (zh) 2016-10-05
WO2016129934A1 (ko) 2016-08-18
KR102559028B1 (ko) 2023-07-24
CN105988567B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
KR102559028B1 (ko) 핸드라이팅 인식 방법 및 장치
US11574115B2 (en) Method of processing analog data and electronic device thereof
CN109635621B (zh) 用于第一人称视角中基于深度学习识别手势的系统和方法
US9953216B2 (en) Systems and methods for performing actions in response to user gestures in captured images
KR102352683B1 (ko) 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법
US8700392B1 (en) Speech-inclusive device interfaces
CN109189879B (zh) 电子书籍显示方法及装置
US20120050530A1 (en) Use camera to augment input for portable electronic device
CN109191940B (zh) 一种基于智能设备的交互方法及智能设备
JP2010067104A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
CN104090652A (zh) 一种语音输入方法和装置
WO2015059976A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230267756A1 (en) Handwriting recognition method and apparatus
US20150268728A1 (en) Systems and methods for notifying users of mismatches between intended and actual captured content during heads-up recording of video
WO2016152200A1 (ja) 情報処理システムおよび情報処理方法
CN108121987B (zh) 一种信息处理方法和电子设备
KR20210017081A (ko) 객체에 대응하는 그래픽 요소 표시 방법 및 장치
US11474683B2 (en) Portable device and screen control method of portable device
CN113936697B (zh) 语音处理方法、装置以及用于语音处理的装置
US10593077B2 (en) Associating digital ink markups with annotated content
US20190324548A1 (en) Gesture-based designation of regions of interest in images
CN111382598A (zh) 一种识别方法、装置和电子设备
WO2023272608A1 (zh) 一种绘本辅助阅读方法和电子设备
KR20160033329A (ko) 수화 번역 시스템 및 방법
CN113657173A (zh) 一种数据处理方法、装置和用于数据处理的装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant