WO2016129934A1 - 핸드라이팅 인식 방법 및 장치 - Google Patents

핸드라이팅 인식 방법 및 장치 Download PDF

Info

Publication number
WO2016129934A1
WO2016129934A1 PCT/KR2016/001396 KR2016001396W WO2016129934A1 WO 2016129934 A1 WO2016129934 A1 WO 2016129934A1 KR 2016001396 W KR2016001396 W KR 2016001396W WO 2016129934 A1 WO2016129934 A1 WO 2016129934A1
Authority
WO
WIPO (PCT)
Prior art keywords
handwriting
writing
local
user
intelligent device
Prior art date
Application number
PCT/KR2016/001396
Other languages
English (en)
French (fr)
Inventor
샨위시앙
리우춘샤오
첸요우신
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16749474.9A priority Critical patent/EP3258423B1/en
Priority to US15/550,974 priority patent/US10438080B2/en
Publication of WO2016129934A1 publication Critical patent/WO2016129934A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G06V30/373—Matching; Classification using a special pattern or subpattern alphabet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/01—Solutions for problems related to non-uniform document background

Definitions

  • the present invention relates to a terminal, and more particularly, to a method and apparatus for recognizing handwriting.
  • intelligent glasses have attracted people's attention.
  • Intelligent devices of the same kind such as intelligent glasses, are generally not equipped with input devices such as keyboards or touch screens. Therefore, people could only use intelligent devices by voice or gesture. Thus, there was an inconvenience when inputting text information using intelligent glasses.
  • the related art provides a method for retrieving what a user has written using a writing tool on a writing surface.
  • a camera is used to track the end of the writing instrument, and handwriting (ie, handwriting) is determined according to the movement trajectory of the terminal of the writing instrument.
  • the present invention provides a method of generating handwriting information by accurately recognizing and detecting handwriting using an intelligent device.
  • the present invention can accurately recognize handwriting of a user and generate handwriting information based on the recognized handwriting.
  • FIG. 1A illustrates a flowchart of a method of recognizing handwriting information, in accordance with some embodiments.
  • FIG. 1B illustrates a method of triggering handwriting recognition by a button, in accordance with some embodiments.
  • FIG. 1C illustrates a method of triggering handwriting recognition using an external controller, in accordance with some embodiments.
  • 1D and 1E illustrate a method of determining writing focus in accordance with visual focusing, in accordance with some embodiments.
  • 1F and 1G illustrate a method of determining handwriting focus according to the position of the distal end of a writing instrument, in accordance with some embodiments.
  • 1H and 1I illustrate selection of a local writing area, in accordance with some embodiments.
  • 1J and 1K illustrate a search of a local handwriting area, in accordance with some embodiments.
  • 1L and 1M illustrate changed handwriting, in accordance with some embodiments.
  • 1N illustrates image frames of continuously photographing handwritten content, according to some embodiments.
  • 1O and 1P illustrate a combination of handwriting, in accordance with some embodiments.
  • 1Q-1S illustrate a process of obtaining time sequence information of internal pixels of changed handwriting, in accordance with some embodiments.
  • 1T, 1U, 1V, and 1W illustrate overall handwriting, respectively, in accordance with some embodiments.
  • FIG. 2A illustrates a method of recognizing handwriting, in accordance with some embodiments.
  • FIGS. 2B and 2C illustrate image pre-processing in accordance with some embodiments.
  • 3A illustrates a method of recognizing handwriting, in accordance with some embodiments of the present disclosure.
  • 3B and 3C illustrate an enhancement process for local handwriting, in accordance with some embodiments.
  • 4A illustrates registration of a writing implement, in accordance with some embodiments.
  • 4B and 4C illustrate registration of the shape of the distal end of a writing implement, in accordance with some embodiments.
  • FIG. 5 illustrates a flowchart of a method of recognizing handwriting, in accordance with some embodiments.
  • FIG. 6 illustrates a method of associating full handwriting and audio data in accordance with some embodiments.
  • FIG. 7A illustrates handwriting of a user, in accordance with some embodiments.
  • FIG. 7B illustrates handwriting information that includes layout information generated in accordance with FIG. 7A, in accordance with some embodiments.
  • FIG. 7C illustrates handwriting of a user, in accordance with some embodiments.
  • FIG. 7D illustrates handwriting information including layout information generated in accordance with FIG. 7C, in accordance with some embodiments.
  • FIG. 7E illustrates a method of using a replacement identifier, in accordance with some embodiments.
  • FIG. 7F illustrates handwriting information including layout information generated in accordance with FIG. 7E, in accordance with some embodiments.
  • 7G illustrates a method of using an alternate identifier, in accordance with some embodiments.
  • FIG. 7H illustrates handwriting information including layout information generated in accordance with FIG. 7G, in accordance with some embodiments.
  • FIG. 7I illustrates handwriting information in an image file format generated in accordance with FIG. 7E, in accordance with some embodiments.
  • FIG. 7J illustrates handwriting information in the image file format generated according to FIG. 7C, in accordance with some embodiments.
  • FIG. 8 is a block diagram illustrating a structure of an apparatus for recognizing handwriting, according to some embodiments.
  • FIG. 9 is a block diagram illustrating the structure of an electrical device recognizing handwriting, in accordance with some embodiments.
  • FIG. 10 illustrates a flowchart of a method of generating handwriting information about handwriting written by a user in accordance with some embodiments.
  • FIG. 11 illustrates a structure of a device for generating handwriting information about handwriting written by a user according to some embodiments.
  • some embodiments of the present disclosure provide a method and apparatus for increasing the accuracy of recognition of handwriting information and generating handwriting information based on the recognized handwriting.
  • a method of generating handwriting information relating to handwriting written by a user comprising: determining a first handwriting focus and a second handwriting focus; Sequentially photographing a first local writing area that is an area within a predetermined range from the first writing focus and a second local writing area that is an area within a predetermined range from the second writing focus; Obtaining a first handwriting from the first local writing area, and obtaining a second handwriting from the second local writing area; Combining the first handwriting and the second handwriting; And generating handwriting information based on the combination result.
  • Determining the first handwriting focus and the second handwriting focus may include: tracking the visual focus of the user; And determining a first handwriting focus and a second handwriting focus based on the tracked visual focus.
  • Determining the first handwriting focus and the second handwriting focus includes: tracking an end of a writing instrument; Determining a position of the distal end of the writing instrument; And determining a first writing focus and a second writing focus based on the determined position of the distal end of the writing instrument.
  • Determining the position of the distal end of the writing instrument comprises: obtaining information about the shape of the distal end of the writing instrument from the user; Detecting an end of a writing tool in at least one image frame in which the photographed first local writing area and the second local writing area are photographed based on the input information; And determining a position of the distal end of the writing instrument based on the detection result.
  • Acquiring a first handwriting from the first local writing area, and acquiring a second handwriting from the second local writing area comprises: the first handwriting based on the information about the color of the handwriting input by the user; Obtaining a first handwriting from a local handwriting area and obtaining a second handwriting from the second local writing area.
  • Acquiring a first handwriting from the first local writing area and acquiring a second handwriting from the second local writing area may include: first local writing based on a difference between a handwriting color and a color of a writing background; Obtaining a first handwriting from an area and obtaining a second handwriting from the second local writing area.
  • Combining the first handwriting and the second handwriting may include comparing the first handwriting and the second handwriting; Determining changed handwriting between the image frame photographing the first local writing area and the image frame photographing the second local writing area based on the comparison result; And
  • the method may include combining changed handwriting.
  • the handwriting information may include at least one of layout information and time sequence information of local handwriting, and the handwriting information may be stored in at least one of a document format, an image format, and a video format.
  • the layout information may include line change information, at least one identifier information of a deletion identifier, a replacement identifier, a repetition characteristic identifier, an insertion identifier, a position control identifier, and an emphasis identifier.
  • the method further includes acquiring audio data generated during sequentially photographing the first local writing area and the second local writing area,
  • the generating of the writing information may include generating the writing information such that the obtained audio data corresponds to the first handwriting and the second handwriting.
  • the generating of the writing information to correspond to the first handwriting and the second handwriting of the obtained audio data may include: receiving between the photographing time of the first local area and the photographing time of the second local area.
  • the method may include generating the writing information such that the changed handwriting between the audio data and the image frame photographing the first local writing area and the image frame photographing the second local writing area correspond to each other.
  • the method includes determining if a stop signal is detected; And stopping the acquisition and combination of the handwriting and performing the monitoring based on the determination result.
  • the determining of whether the stop signal is detected may include: detecting whether the changed handwriting or writing tool is detected in the image frame photographing the first local writing area and the image frame photographing the second local writing area, and the user's head.
  • the posture may be determined based on whether the changed angle of the posture exceeds a predetermined value, whether the distance between the user's visual focus and the writing focus exceeds a predetermined value, or whether a stop command has been received.
  • the method includes determining whether a restart signal is detected as the monitoring result; And restarting acquisition and combination of handwriting based on the determination result.
  • the method includes determining if an end signal is detected; And ending the obtaining, combining, and generating handwriting information based on the determination result.
  • the determining of whether the stop signal is detected may be determined based on whether a predetermined time has elapsed since the stop signal is detected or whether a stop command has been received.
  • the intensity or clarity of the light at the time of shooting does not meet a predetermined requirement, or the thickness of the first handwriting or the second handwriting obtained is thinner than a predetermined reference
  • the difference between the color of the handwriting in the image frame and the background color may be applied when the difference value is smaller than the predetermined value.
  • the applying of the enhancement process may include removing a line whose reliability evaluation value is lower than a threshold value among at least one line included in the first handwriting and the second handwriting.
  • the reliability evaluation value may include the length of the line included in the first handwriting or the second handwriting, the width of the line, the curvature of the line, the color of the line, the corresponding positional relationship and continuity between the line and other lines, and the line and writing
  • the degree of matching between the movement trajectories of the tip of the tool may be determined.
  • some embodiments of the present disclosure may provide a computer-readable recording medium having recorded thereon a program for executing the method on a computer.
  • a device for generating handwriting information relating to handwriting written by a user comprising: a user interface for receiving a user input; A signal acquisition unit that sequentially photographs a first local writing area that is an area within a predetermined range from the first writing focus and a second local writing area that is an area within a predetermined range from the second writing focus; And determine the first handwriting focus and the second handwriting focus, obtain a first handwriting from the first local handwriting area, obtain a second handwriting from the second local handwriting area, and obtain the first hand. And a controller for combining writing and the second handwriting and generating handwriting information based on the combination result.
  • the signal acquisition unit tracks the visual focus of the user
  • the controller may determine a first writing focus and a second writing focus based on the tracked visual focus.
  • the signal acquisition unit tracks an end of the writing instrument, and the control unit determines a position of the end of the writing instrument, and determines a first writing focus and a second writing focus based on the determined position of the end of the writing instrument. Can be.
  • the user interface unit receives information about the shape of the end of the writing tool from the user, and the controller is configured to select the photographed first local writing area and the second local writing area based on the input information.
  • An end of the writing instrument in the at least one image frame photographed may be detected, and a position of the end of the writing instrument may be determined based on the detection result.
  • the user interface unit receives information regarding a color of handwriting from a user, and the controller acquires a first handwriting from the first local writing area based on the information about the color of the handwriting, A second handwriting can be obtained from the two local writing areas.
  • the controller may obtain a first handwriting from the first local writing area and a second handwriting from the second local writing area based on the difference between the handwriting color and the color of the writing background.
  • the controller compares the first handwriting with the second handwriting and changes the handwriting between the image frame photographing the first local writing area and the image frame photographing the second local writing area based on the comparison result. In this case, based on the determination result, the changed handwriting may be combined.
  • the handwriting information may include at least one of layout information and time sequence information of local handwriting, and the handwriting information may be stored in at least one of a document format, an image format, and a video format.
  • the layout information may include line change information, at least one identifier information of a deletion identifier, a replacement identifier, a repetition characteristic identifier, an insertion identifier, a position control identifier, and an emphasis identifier.
  • the signal acquisition unit acquires audio data generated while sequentially photographing the first local writing area and the second local writing area, and the controller acquires the obtained audio data and the first handwriting and the first handwriting.
  • the handwriting information may be generated to correspond to the handwriting.
  • the control unit may further include an audio frame received between an image capturing time of the first local region and an image frame capturing the first local writing region and an image frame capturing the second local writing region.
  • the handwriting information may be generated to correspond to the changed handwriting.
  • the controller may determine whether a stop signal is detected, and control the signal acquisition unit to stop the acquisition and combination of handwriting and perform monitoring based on the determination result.
  • the controller may determine whether the changed handwriting or the writing end of the writing tool is detected in the image frame photographing the first local writing area and the image frame photographing the second local writing area, and the changed angle of the head posture of the user. It may be determined whether the stop signal is received based on whether the value exceeds the value, the distance between the user's visual focus and the writing focus exceeds a predetermined value, or whether a stop command is received.
  • the control unit may determine whether the monitoring result restart signal is detected, and restart acquisition and combination of handwriting based on the determination result.
  • the controller may determine whether an end signal is detected and end the acquisition, combination, and generation of handwriting information based on the determination result.
  • the controller may determine whether to detect an end signal based on whether a predetermined time has elapsed since the stop signal is detected or whether an end command has been received.
  • the controller may apply an enhancement process to the obtained first handwriting and the second handwriting.
  • the enhancement process may be performed such that the intensity or clarity of light at the time of shooting does not meet a predetermined requirement, or that the thickness of the first handwriting or the second handwriting obtained is thinner than a predetermined criterion, or a hand in the photographed image.
  • the color of the lighting and the background color may be applied when the difference value is less than the predetermined value.
  • the enhancement process may remove a line whose reliability evaluation value is lower than a threshold value among at least one line included in the first handwriting and the second handwriting.
  • the reliability evaluation value may include the length of the line included in the first handwriting or the second handwriting, the width of the line, the curvature of the line, the color of the line, the corresponding positional relationship and continuity between the line and other lines, and the line and writing
  • the degree of matching between the movement trajectories of the tip of the tool may be determined.
  • a part when a part is connected to another part, this includes not only the case where the part is directly connected, but also the case where the part is electrically connected with another element in between.
  • a part when a part includes a certain component, this means that the component may further include other components, not to exclude other components unless specifically stated otherwise.
  • terms such as 'unit', 'module' described in the specification means a unit for processing at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software. .
  • terminals and intelligent devices may include devices that include transmission and reception hardware hardware that can perform bidirectional transmission and reception over a bidirectional communication link, rather than including only wireless signal receivers without transmission capabilities.
  • the terminal and intelligent device may include a cellular or other communication device including a single line display or a multi line display.
  • the terminal and the intelligent device may include a personal communication service (PCS) including voice, data processing, pass and / or data communication functions.
  • Terminals and intelligent devices can include personal digital assistants (PDAs), radio frequency (RF) receivers, pagers, Internet / intranet visit devices, network browsers, notebook calendars, and / or GPS ( Global Positining System) receiver may be included.
  • PDAs personal digital assistants
  • RF radio frequency
  • the terminal and intelligent device may include a laptop and / or palm computer or other devices including a laptop and / or palm computer that includes an RF receiver.
  • the terminal and the intelligent device may include a head wearable device (such as an intelligent glass, an intelligent helmet), a smart bracelet, a smart watch, and the like.
  • Terminals and intelligent devices are portable, transportable, can be installed in automobiles (sky, sea and / or land), and can be applied to operate in a distributed manner locally or at any location on earth and / or in space. .
  • the terminal and the intelligent device may be a PDA, a mobile Internet device (MID) and / or a mobile terminal having a music / video playback function or a communication terminal such as an intelligent glass, a smart bracelet, a smart watch, an internet terminal, a music / video player It may include a terminal.
  • a mobile terminal having a music / video playback function or a communication terminal such as an intelligent glass, a smart bracelet, a smart watch, an internet terminal, a music / video player It may include a terminal.
  • the server may include a single server, a collection of servers, a cloud server, and the like, and may include a service server that provides a service such as a VOIP service and a content providing service.
  • a service server that provides a service such as a VOIP service and a content providing service.
  • it is not limited to the above example.
  • an intelligent device tracks a handwritten focus retrieved in real time, photographs a local handwriting area, and acquires local handwriting.
  • the handwriting of the user is recognized according to the total handwriting.
  • the searched handwriting is the user's handwriting already written on the writing surface and is not related to the user's pen-up or pen-down movement. The problem that the search is inaccurate can be prevented, and the accuracy of recognizing a user's handwriting is increased.
  • the intelligent device captures the local writing area, handwriting can be easily retrieved from the captured image frame, and the handwriting can be taken while the handwriting is taken, while avoiding the problems of related technologies that are thick and inaccurate. Is guaranteed to be evident in the image frame.
  • handwriting may include all contents such as letters, numbers, lines, and dots that are handwritten by a user, and the present disclosure is not limited to the above examples.
  • handwriting refers to a line or set of lines representing a predetermined length, width and color generated by the writing instrument.
  • the line can be straight or curved.
  • local handwriting may mean handwriting of some of the total handwriting, and may include handwriting detected in the local writing area, and is not limited to the above example.
  • total handwriting may mean handwriting combined with local handwriting.
  • total handwriting may include handwriting combined by a predetermined unit (eg, a line unit) by all content or an intelligent device written by a user on a writing surface.
  • a predetermined unit eg, a line unit
  • the handwriting information may include data or information generated by an intelligent device based on handwriting of a user.
  • the handwriting information may include a file in a document format such as a word file, a file in an image format, a file in a video format, a file in an audio format, and the like.
  • Embodiment 1 of the present disclosure provides a method of recognizing handwriting of a user.
  • Embodiment 1 may be implemented by an intelligent device. As shown in FIG. 1A, Embodiment 1 may include the following steps.
  • the intelligent device can track the handwritten focus detected in real time and photograph the local handwriting area.
  • the intelligent device may continuously photograph the writing procedure of the user after receiving the handwriting recognition start instruction input by the user.
  • the local writing area may be photographed through the writing focus tracking detected in real time.
  • the handwriting recognition start indication can be generated in various ways.
  • the handwriting recognition start indication may be performed by voice, buttons, gestures, human-computer interaction interfaces such as augmented reality, and external controllers (i.e. devices with remote control functions, such as mobile phones, associated with intelligent devices). Can be generated.
  • the intelligent device receives the voice instruction and determines whether the voice instruction is the handwriting recognition start instruction. In order to do so, voice recognition is started according to voice instructions, and handwriting recognition operation is started.
  • the voice indication may include 'start handwriting recognition', 'start handwriting recognition', 'start recognition' and instructions of English, Chinese, Korean or other languages, but are not limited to the above examples.
  • the correspondence relationship between the voice indication and the handwriting recognition start indication may be stored in the form of a correspondence table in the intelligence device to associate the voice indication with the handwriting recognition start indication. Of course, it is not limited to the above example.
  • the user and the intelligent device may use other methods such that the handwriting recognition start instruction and the voice instruction correspond.
  • the handwriting recognition start indication may be started by a button.
  • the button may be a hardware button or a software button implemented in software, such as a home button, a sound control button, a power button, a program control button, a newly added button, or a button as shown in FIG. 1B. It may also be a user interface of an intelligent device. Of course, it is not limited to the above example.
  • the intelligent device may determine that the handwriting recognition start instruction has been received.
  • the predetermined method may include a short press, a long press, a short press a predetermined number of times, or a short and long press alternately, and the like, but is not limited thereto.
  • the gesture may be implemented by one or two hands. Gestures may include shaking hands, drawing circles, drawing rectangles, drawing triangles, drawing stars, and the like.
  • the intelligent device may detect and recognize a gesture by using an existing gesture detection device. The intelligent device may determine that a handwriting recognition start instruction has been received according to the recognized gesture.
  • a handwriting recognition start instruction for photographing a local writing area may be received from an external controller (eg, a cellular phone connected with an intelligent device).
  • the connection of the intelligent device and the external controller may be a physical connection (as shown in FIG. 1C), and may include at least one of a macro network, a wireless fidelity network, and a local area network. It may be a wireless connection via a network, but is not limited to the above examples.
  • the instruction of the external controller may be an infrared instruction or a message transmitted by the cellular phone, but is not limited to the above example.
  • the handwriting recognition start indication may not be used.
  • an intelligent device may be in a state that always recognizes handwriting.
  • the writing focus may be determined by one of the following methods, but is not limited to the examples below.
  • the handwriting focus can be tracked by tracking the visual focus detected in real time.
  • the first method may be implemented by a head wearable device such as intelligent glass, but is not limited to the above example, and may be performed on any device capable of tracking visual focus.
  • the visual focus generally moves with the writing focus.
  • the writing area may be included in the field of view. Therefore, the writing focus may be determined according to the visual focus of the user.
  • the visual focus may be detected by the manner of detecting the head posture of the user and / or the manner of detecting the eye activity of the user in real time.
  • an intelligent device may determine visual focus based on detected head posture and / or detected eye activity. For example, the direction of the face of the user may be determined according to the detected head posture, and the direction of the eye of the user may be determined according to the eye activity of the user. The intelligent device may determine the visual focus of the user according to the direction of the face and / or the direction of the eye.
  • the head pose may be detected through a detection device for detecting head pose included in or separately included in the intelligent device, and eye activity may also be detected by an eye activity detecting device included in or separately included in the intelligent device.
  • the intelligent glass may detect that the user's visual focus is the letter 'g' and determine that the writing focus is 'g'.
  • the writing focus can be tracked by tracking the end of the writing instrument.
  • the second method may be implemented by an intelligent device equipped with a camera, but is not limited to the above example, and may be implemented by any device capable of tracking the end of the writing instrument.
  • the writing focus can move with the position of the distal end of the writing instrument. 1F and 1H, the distal end of the writing implement during the user's writing procedure may be included in the current local writing area. Thus, the writing focus can be determined by detecting the position of the distal end of the writing instrument in real time.
  • the intelligent device recognizes the end of the writing instrument from the photographed image frame according to the shape of the end of the writing instrument registered in advance, and then determines the position of the end of the writing instrument, thereby determining the end of the writing instrument. The position can be detected.
  • a hand holding posture may be used to determine the position of the distal end of the writing instrument.
  • the intelligent device can determine the direction in which the finger is held by detecting a hand of the person to help locate the end of the writing instrument, and detect the end of the writing instrument according to the direction in which the finger is held. For example, the intelligent device can detect the habit of grasping the user A's writing instrument such that the top of the finger is 3 cm from the end of the writing instrument and the angle between the writing instrument and the writing surface is 60 degrees. After the position C of the user's finger is detected, the intelligent device can determine the direction of the upper end of the finger according to the direction of the finger, and it can be determined that the position of the distal end of the writing instrument lies 1.5 cm from the position C.
  • an intelligent device may be obtained by collecting statistical data such as a habit of holding a writing instrument of a common person during a writing procedure, a range of distances between a tip of the writing instrument and a location where the writing instrument is held.
  • Statistical data can be used as a reference to determine the approximate range of the tip of the writing instrument while detecting the end of the actual writing instrument.
  • the intelligent device can detect the shape of the distal end of the writing instrument within the approximate range determined as statistical data, the area for detecting the distal end of the writing instrument is reduced, and successful position detection is possible.
  • statistical data may be obtained from user input, input from a server or other device, data or information stored in an intelligent device.
  • a wearable device such as a smart bracelet or a smart watch.
  • a wearable device on a user's wrist such as a smart bracelet or a smart watch
  • has a user A's writing device such as a distance of 8 cm from the end of the writing device held by the user and a 30 degree angle between the writing device and the wrist. It can detect the habit of grasping.
  • the wearable device may also detect that the wrist moves to the right during the writing procedure.
  • the position of the distal end of the writing instrument can be determined based on the position of the wearable device, such as a smart bracelet or smart watch.
  • the position of the distal end of the writing instrument may be determined by statistical data including the habit of holding a writing instrument of a common person during the writing procedure.
  • the distance between the cuff and the tip of the writing instrument is typically 5 cm to 15 cm, and the range of angles between the cuff and the writing surface may be 15 degrees to 65 degrees, and the intelligent device may calculate the statistics as described above. While detecting the tip, it can be used as a reference to determine the approximate range of the tip of the writing instrument.
  • the intelligent device can detect the shape of the distal end of the writing instrument within an approximate range determined as statistical data, and the area requiring irradiation to detect the distal end of the writing instrument is reduced, so that a successful position detection can be performed.
  • the photographing focus of the camera may be adjusted according to a change in the writing focus of the user detected in real time.
  • the position of the distal end of the writing instrument may be selected as the writing focus, and the writing focus may be selected as the photographing focus of the camera for photographing.
  • an offset may be added to a position of the distal end of the writing instrument, a position where the offset is added may be selected as the writing focus, and the writing focus may be selected as the photographing focus of the camera for photographing.
  • the offset can be manually set in advance. For example, the offset may be set to be left shifted or right shifted according to a user's writing habit.
  • the intelligent device can set the offset to shift 1 cm left. If the user writes from right to left, the intelligent device can set the offset to shift 1 cm to the right.
  • the offset may be time-variant.
  • the offset may be a function of the position of the visual focus detected by the intelligent device or a function of the head movement of the user.
  • the intelligent device For example, suppose a user is writing 'Today's weather is very good' and the intelligent device detects the end of the writing instrument at the letter 'g'. At this time, the intelligent device selects the letter 'g' as a shooting point for shooting or selects the letter 'y' (y of y) shifted 1 cm left from the letter 'g' as the shooting point for shooting. Can be.
  • the photographed local writing area may have a reasonable size. If the local handwriting area being photographed is too large, the user's handwriting in the captured image frame may appear thicker than the resolution of the camera, which is not good for subsequent handwriting searches. If the local writing area to be photographed is too small, it is not good for subsequent handwriting combinations.
  • the size of the local writing area may be determined in advance by user input.
  • the intelligent device may receive information for setting the size of the local writing area from the server, but is not limited to the above example.
  • the local writing area may be a rectangle around the photographing focus, and a length of one side of the rectangle may be 2 cm.
  • the local writing area may also be determined based on a function of the distance between the writing surface and an intelligent device, such as an intelligent head wearable device that changes in real time during the imaging procedure.
  • FIGS. 1H and 1I illustrate selection of a local writing area.
  • the distal end of the user's writing implement may be located at 'g'.
  • the intelligent device moves the end of the captured writing implement to the left to obtain the writing focus, and the selected rectangular area may be selected as the local writing area for photographing.
  • the method of selecting a local writing area of FIG. 1I is also similar to that of FIG. 1H.
  • the user may write 'Today's weather is very good'. If it is determined that the photographing focus is on the letter 'g', the intelligent device may capture an area of 2 cm length around the letter 'g' so that an image frame of the local writing area including 'very good' is obtained.
  • the camera's shooting parameters e.g., focus, focal length, aperture, magnification, white balance
  • the camera's shooting parameters are self-adapted in real time during the shooting procedure to clearly capture the local handwriting area. ) Can be adjusted.
  • the photographing parameters of the camera can be changed dynamically and self-adaptive according to the light and focus situations when the local writing area is photographed.
  • the aperture of the camera is enlarged, and if the writing surface is relatively far from the camera, the camera is adjusted to focus on the writing surface.
  • the intelligent device detects a change in the angle of the user's head posture while photographing the local writing area, thereby determining the current direction of the camera and the relative position with the writing surface, and the current direction and the position of the camera.
  • the shooting parameters of the camera can be adjusted accordingly.
  • Detection of the user's head movement may be implemented by a sensor included in the wearable device.
  • the orientation of the eyes and head of the user may be different from that of the camera, since the orientation of the camera can be freely adjusted 360 degrees and the camera has a fixed frame of glasses. Can match.
  • the intelligent device may determine that the current direction of the camera is rotated 30 degrees to the right. Since the distance between the eye and the writing surface is most likely changed after the head has been rotated, the intelligent device is known to have known the camera's focus and focal length, and the rotated angle, before the change of angle so that the camera's focus is near the writing focus. The new focal length and the focal length moved can be estimated based on.
  • the shooting time of an image frame may be recorded via a time stamp, and the captured image frames may be arranged according to the shooting time to form an image frame sequence.
  • image frames photographed using the sequence may be arranged according to the photographing time.
  • the recorded shooting time is 0.01 second, 0.02 second. If 0.03 sec ..., 2.95 sec, 3.00 sec, the sequences 1, 2, 3, 4 ... 295, 300 may be used to arrange the shot image frames corresponding to the shooting time according to the time sequence of the shooting time.
  • an online handwriting recognition method having a higher recognition accuracy may be used than an offline recognition method, and the intelligent device may reserve time sequence information of the user's handwriting to use the online handwriting recognition method. , Can save.
  • local handwriting is retrieved from the captured image frame of the local writing area according to the handwriting color information. As shown in FIGS. 1J and 1K, the captured image frame of the local writing area is on the left side.
  • the intelligent device may retrieve local handwriting as shown on the right according to the handwriting color information.
  • local handwriting may be retrieved from an image frame of a local writing area according to handwriting color information of a writing tool registered in advance.
  • the intelligent device may be searched by local handwriting of content in an image frame of the local writing area having the same color as the handwriting color of the pre-registered writing tool.
  • the content may include dots, lines, letters, numbers, and the like, but is not limited to the above examples.
  • the intelligent device may recognize 'Today's weather is very good' as local handwriting information and search for it.
  • a binarized manner may be applied to retrieve local handwriting from an image frame of the local handwriting area.
  • the intelligent device may identify pixels in the current image frame having the same handwriting color information as the writing tool as one and other pixels as zero.
  • the intelligent device may retrieve all pixels identified as 1 in the binarized image of the current image frame and select the retrieved pixels by handwriting the local writing area corresponding to the current image frame (ie, local hand of the current image frame). Lighting
  • the intelligent device may identify pixels in the red area in the current image frame as one and other pixels (eg, white pixels) as zero.
  • the intelligent device can recognize and acquire handwriting "Today's weather is very good" by detecting all pixels identified as 1.
  • local handwriting can be retrieved from an image of the local writing area according to the color difference between the handwriting color and the color of the writing background (writing surface).
  • binary processing may be performed on the image frame of the local writing area according to the color difference between the writing surface and the handwriting.
  • an area covered by one kind of color may be identified as 0 and an area covered by another kind of color may be identified as 1.
  • a line-shaped image area is determined based on the binarized image frame. Since handwriting is usually linear, a linear image can be retrieved as local handwriting.
  • the intelligent device identifies as zero the area covered by white.
  • the area covered in white is the background and is generally a sliced-shaped area.
  • the intelligent device may identify the area covered by black as one.
  • the areas covered in black are handwriting and are generally linear areas. In the binarized image frame, a linear region is searched to obtain 'Today's weather is very good'. In other words, intelligent devices can search for phrases like "Today's weather is very good" by local handwriting.
  • all pixels in the handwriting area may be identified as one and other pixels may be identified as zero.
  • pixels of local handwriting are identified by one and background pixels are identified by zero.
  • binarization processing may be performed on the current image frame according to the average value calculated to average the values of all the pixels in the image frame and to obtain the binarized image frame.
  • a method of performing binarization processing on an image frame according to the calculated average value is as follows.
  • the intelligent device identifies in each pixel within the image frame a pixel that is less than the calculated mean value as 0 and a pixel that is not as 1. Therefore, the image frame is divided into an image region consisting of pixels identified by one and an image region consisting of pixels identified by zero (binarized image). Then, the shape of each image area is determined, and the linear image area is determined as local handwriting.
  • a user may write "Today's weather is very good" on white paper using a writing tool in black ink.
  • White paper has a yellow area or reflects yellow light because some areas of the white paper shine.
  • the intelligent device photographs the content written by the user's hand and then acquires an image frame.
  • the image frame can include not only the area of white paper, the black handwriting of 'Today's weather is very good', but also the yellow area of white paper. Assume that the white and yellow pixels are smaller than the average value, and that the black pixels are larger than the average value.
  • the intelligent device identifies the area covered by white and yellow as 0 and the area covered by black as 1 to obtain a binary image frame. In the binarized image frame, the area identified by 1 is a linear area, and the intelligent device may search the linear area to obtain a local handwriting sentence such as 'Today's weather is very good'.
  • the user since handwritten information is retrieved according to the handwriting information of the handwriting, if the user's handwriting is a color different from the writing surface, the user may apply a general writing tool to any writing surface for writing. It can be used and the user can conveniently recognize the handwritten information, thereby improving the user experience.
  • the retrieved local handwriting can be combined according to the following methods to obtain full handwriting. Of course, it is not limited to the following example.
  • the local handwriting retrieved from the current image frame and the local handwriting retrieved from the previous image frame are compared to determine the changed handwriting of the current image frame.
  • the changed handwriting of all image frames is combined to obtain the full handwriting.
  • the changed handwriting may represent handwriting that did not exist in the previous image frame but exists in the current image frame.
  • the process of comparing the local handwriting retrieved from the current image frame and the local handwriting retrieved from the previous image frame to determine the changed handwriting in the current image frame may include the following steps.
  • the intelligent device may compare the binarized image frame of the local handwriting of the current image frame with the binarized image frame of the local handwriting of the current image frame according to the overlapping handwriting.
  • the intelligent device may determine the handwriting present in the current image frame but not in the previous image frame as changed handwriting (ie, changed handwriting of the current image frame) in relation to the previous image frame.
  • the binarized image frame of local handwriting may be obtained according to one of the binarization processing schemes described in block S103.
  • FIGS. 1L and 1M show changed handwriting, respectively.
  • the left rectangle shows the t-th image frame
  • the right rectangle shows the t + 1th image frame (t is an integer).
  • the two image frames are compared according to where the handwriting overlaps.
  • the added content of the t + 1 th image frame relative to the t th image frame is ay letters.
  • a portion (line or stroke) of the letter may be added.
  • the user writes 'Today's weather is very good' on white paper.
  • the intelligent device captures two consecutive image frames, the first image frame showing 'Today's weather is very' written on white paper, and the second image frame showing 'Today's weather is very good'.
  • the local handwriting of the two image frames is 'Today's weather is very' and 'Today's weather is very good', respectively.
  • the two image frames are compared according to where the handwriting overlaps.
  • the second image frame contains an additional handwriting, good, compared to the first image frame. In other words, the increased handwriting in the second image frame is good.
  • the above embodiment is an embodiment in which image frames are captured in units of phrases and words.
  • a plurality of image frames may be shown. That is, the increase in handwriting of each image frame may be relatively short. Also, the content added to a later image frame compared to the previous image frame is a changed handwriting of the later image frame.
  • the changed handwriting of each image may be concatenated in turn according to the time sequence of the changed handwriting of each image frame to obtain full handwriting information including time sequence information. have.
  • four consecutive image frames may be captured when a user writes "od” on white paper with a black ink writing tool.
  • the four handwritings of the four frames when writing the word "od” can be "left half circle”, “right half circle”, “left half circle”, and “straight line”, respectively. All changed handwritings are concatenated according to the time sequence of successive images to get the full handwriting 'od' character.
  • the interval between image frames is not longer than a predetermined length
  • the changed handwriting of each image frame may include one line. 1N shows four image frames when the letter 'd' is written.
  • the intelligent device may combine the changed handwriting of the four image frames according to the time sequence information of successive image frames to obtain the letter 'd' composed of handwriting.
  • the time sequence relationship of the changed handwriting may be obtained by the following method, but is not limited to the following example.
  • an intelligent device may process each image frame in turn according to a time sequence to obtain a time sequence relationship of changed handwritings between different frames. For example, the intelligent device may change the time stamp corresponding to the changed handwriting of the current image frame and the changed handwriting of the current image frame according to the time sequence information between the time stamp recorded in the current image frame and the image frame adjacent to the current image frame. And a time sequence relationship between the changed handwriting of an image frame in close proximity with each other.
  • each rectangle represents an image frame.
  • the user writes 'Today's weather is very good' from left to right.
  • the intelligent device photographs from left to right to obtain a plurality of image frames according to the time sequence, and records time sequence information of each image frame. For example, to obtain a time stamp of all the image frames, the intelligent device records the recording time stamp of the first image frame on the left as October 31, 2014 14:10:04, and the recording time of the second image frame on the left. The stamp may be recorded as of October 31, 2014, 14:10:15 and so on. Thereafter, the intelligent device can combine the changed handwriting of the image frames according to the sequence of time stamps of the image frames.
  • the combination scheme of FIG. 1P is also similar to FIG. 1O.
  • time sequence information may be represented by relative information.
  • the intelligent device shoots from left to right to obtain a plurality of image frames according to the time sequence.
  • the intelligent device may record time sequence information of each image frame as an increasing or decreasing index from left to right.
  • the intelligent device may record the frame index of the first image frame on the left as 1, the frame index of the second image frame on the left as 2, and so on to obtain the indexes of all the image frames.
  • the intelligent device can then combine the changed handwriting of the image frames according to the time sequence represented by the frame indices of the image frames.
  • time sequence of the changed handwriting may further comprise a time sequence relationship between the internal pixels of the changed handwriting of the current image frame.
  • the time sequence relationship between the inner pixels of the changed handwriting of the current image frame may be determined by one of the following methods, but is not limited to the following example.
  • the intelligent device selects the connection point as the starting point of the changed handwriting of the current frame, and strokes connected with the connection point. You can select another point in the as the end point.
  • the pixels between the start point and the end point can be indexed in order.
  • the left rectangle represents the t th image frame and the right rectangle represents the t + 1 th image frame.
  • the handwriting between point a and point b is changed handwriting of the t + 1 th frame.
  • the changed handwriting of the t + 1 th frame is linked at point a with the handwriting of the previous frame combined.
  • the intelligent device can select point a as the start point and point b as the end point.
  • the pixels between point a and point b may be indexed sequentially to obtain time sequence information in the changed handwriting of the t + 1 th frame.
  • the intelligent device may determine the combined handwriting of the previous image frames in combination with the changed handwriting of the current image frame.
  • the shortest distance between the end points of each line can be calculated, the end point of the line with the shortest distance of the changed handwriting of the current image frame can be selected as the starting point, and the other end point of the line as the end point.
  • the pixels between the start point and the end point can be indexed in order.
  • the headwriting between point c and point d is the changed handwriting of the t + 1 th image frame.
  • the changed handwriting of the t + 1 th image frame is not linked with the handwriting of the combined previous image frames.
  • the intelligent device calculates the shortest distance between handwriting of previous image frames in combination with point c and the shortest distance between handwriting of point d and previous image frames, respectively.
  • the intelligent device can know that the distance between handwriting of previous frames combined with point c is relatively short based on the calculation result. Therefore, the intelligent device can select point c as a start point and point d as an end point.
  • the pixels between point c and point d may be indexed sequentially to obtain time sequence information in the changed handwriting of the t + 1 image frame.
  • the intelligent device calculates the shortest distance between the handwriting of previous frames combined with each end point of each line in the changed handwriting of the current frame.
  • the end point of the line having the shortest distance can be selected as the start point of the first line of the changed handwriting of the current frame, and the other end point of the line can be selected as the end point.
  • the pixels between the start point and the end point can be indexed in order. The process described above can be applied repeatedly to all lines and all pixels for which a time sequence has been identified.
  • the handwriting from e to f and the handwriting from h to i are both changed handwriting of the t + 1 th image frame.
  • the changed handwriting of the t + 1 th image frame is not linked with the handwriting of the combined previous image frames.
  • the intelligent device can calculate the shortest distance between e, f, g, h and handwriting of the combined previous frames, respectively.
  • the intelligent device can select point e as the starting point and point f as the ending point.
  • the pixels between e and f can be indexed sequentially.
  • the intelligent device can then calculate the shortest distance between h, i and the identified line, respectively.
  • the intelligent device can know that the distance between the point h and the identified line is relatively short based on the calculation result. Therefore, the intelligent device can select point h as the starting point and point i as the ending point.
  • the pixels between point h and point i may be indexed sequentially to obtain time sequence information in the changed handwriting of the t + 1 image frame.
  • the connection situation of the changed handwriting of the current frame image may be analyzed. That is, the intelligent device may obtain time sequence information of handwriting according to the type of lines. The intelligent device can select the disconnected portions as different lines, respectively. The intelligent device can also divide the intersecting lines in the changed handwriting into sub-strokes that do not overlap each other based on the intersecting points.
  • the intelligent device pairs auxiliary lines at the intersection to obtain complete lines, depending on the user's writing direction (e.g., left to right or top to bottom) or corresponding language.
  • ef and hi are cut off at the intersection g, resulting in four auxiliary lines, and according to the principle from left to right and top to bottom, the auxiliary lines eg and gf are connected to ef. Form a line, and the secondary lines ig and ih are connected to form a hi line.
  • the changed handwriting if it is a circular line, it may be cut at a predetermined point that serves as a starting point and an ending point. Since the sampling frequency of the camera is much higher than the user's writing speed, two adjacent image frames generally have overlapping handwritings, and there may not be a case where the changed handwriting includes a plurality of lines.
  • the combination of the changed handwriting may be performed. That is, the intelligent device may determine a combination start point and combination end point of local handwriting of the current image frame, and perform combination of changed handwriting based on the determined combination start point and combination end point. For example, the starting point of the first line in the changed handwriting of the current image frame may be selected as the combined start point of the local handwriting of the current image frame, and the ending point of the last line in the changed handwriting of the current image frame is the current image. It can be selected as the combined end point of local handwriting of the frame.
  • the intelligent device may perform a reliability evaluation on the lines of the changed handwriting.
  • the reliability estimates of the lines in local handwriting are determined by the length of the line, the width of the line, the curvature of the line, the color of the line, the relative position or the continuity of the line relative to the previous or subsequent lines, and the movement trajectory of the end of the line and the writing tool It may be determined according to at least one of the degree and.
  • an intelligent device can set a range for reasonable line lengths. If the length of the line is too short (eg, if the line is just a point), the too short line may not be formed as part of the handwriting since the line may be written by an action that the user does not want. In other words, the reliability evaluation value of a line that is too short may decrease.
  • a line having a higher continuity with the previous or subsequent lines may have a higher reliability evaluation value, and vice versa.
  • the intelligent device may obtain information for determining continuity from a user input, a server, or an external device, and is not limited to the above example.
  • the higher the degree of matching of the movement trajectory of the end of the line and the writing instrument the higher the reliability evaluation value, and vice versa.
  • the reliability evaluation value the higher the degree of matching of the movement trajectory of the end of the line and the writing instrument.
  • 'o' of 'good' may have a light color, but since the movement trajectory of the tip of the writing tool matches 'o', 'Also can have a relatively high reliability evaluation value.
  • the movement trajectory of the writing instrument may be obtained through the following method, but is not limited to the following example.
  • the intelligent device tracks the end of the registered writing instrument according to the position and shape of the end of the writing instrument to obtain a movement trajectory of the end of the writing instrument. can do.
  • the shape of the end of the writing instrument may be registered and stored in the intelligent device.
  • Object tracking methods such as writing tools will be apparent to those skilled in the art, and thus detailed descriptions thereof will be omitted.
  • algorithms or models capable of comparing the two movement trajectories may be applied. For example, algorithms or models such as dynamic time wrapping (DTW) algorithms, hidden markov models (HMM), and artificial neural networks may be used for matching between movement trajectories. It is not limited to the above example.
  • an improvement process may be performed on a line according to the degree of matching between the line and the movement trajectory of the distal end of the writing instrument, before the value of the confidence evaluation value of the line is determined according to the degree of matching between the line and the disposition trajectory of the writing instrument.
  • the intelligent device can capture even the line whose reliability evaluation value of the line is lower than the threshold value. That is, even if the intelligent device has a line having a reliability evaluation value lower than the threshold value, the intelligent device can capture the line with a reliability evaluation value lower than the threshold value by comparing with the movement trajectory.
  • the changed handwriting of all image frames may be combined before the current image frame to obtain an anterior combined handwriting of the current image frame. That is, the intelligent device can obtain the pre-combined handwriting of the current image frame by combining the changed handwriting of all the frames before the current image frame except the current image frame.
  • the intelligent device can also combine the modified handwriting of the current image frame and the pre-combined handwriting of the current frame to obtain the pre-combined handwriting of the next image frame.
  • the intelligent device can combine the whole handwriting by repeating the method, by repeating the method.
  • the intelligent device may combine the changed handwriting of all previous image frames of the image frame (ie, image frames taken before the current image frame) according to the time sequence information of the changed handwriting of the current image frame.
  • the combined handwriting can be selected as a prior combined handwriting of the current image frame.
  • the intelligent device can then combine the changed handwriting of the current image frame with the preceding combined handwriting of the current image frame to obtain a pre-combined handwriting of the next image frame.
  • the intelligent device can associate the start point of the changed handwriting of the current image with the end point of the preceding combined handwriting of the current image frame to obtain the precombined handwriting of the next image frame.
  • the changed handwriting of the four image frames may be 'v', 'e', 'r' and 'y', respectively.
  • the first image frame is combined with the changed handwriting of the second image frame to obtain 've' the preceding combined handwriting of the third image frame.
  • the changed handwriting of the third image frame and the previously combined handwriting are combined to obtain a prior combined handwriting 'ver' of the fourth image frame.
  • the changed handwriting and the pre-combined handwriting of the fourth image frame may be combined to obtain a pre-combined handwriting 'very' of the next image frame (e.g., the fifth image frame taken after the fourth image frame).
  • the above manner may be repeated until full handwriting is obtained.
  • the interval between two image frames is short, and the changed handwriting of each image frame may be part of a line.
  • Fig. 1n shows four image frames when 'd' is written.
  • the changed handwriting of each image frame is part of a letter rather than a single letter, and thus the changed handwriting may be relatively less than the above-described example.
  • image frame 3 the changed handwriting of the first to third image frames may be combined to obtain a prior combined handwriting of the fourth frame.
  • the prior combined handwriting and the changed handwriting of the fourth image frame may be combined to obtain a prior combined handwriting 'd' of the next image frame.
  • the second method may include a first method of acquiring the changed handwriting described above and a first method of acquiring time sequence information. Since the method of acquiring the changed handwriting and the method of acquiring time sequence information have been described above, a detailed description thereof will be omitted.
  • the third method is a method of performing a direct combination based on local handwriting of each image frame.
  • the intelligent device may select and combine a portion overlapping the handwriting and the previously combined handwriting of each image frame to obtain a precombined handwriting of the next image frame.
  • the first image frame may be combined with 'g', which is an overlapping portion of the local handwriting of the second image frame.
  • the combined handwriting of the two image frames can be combined with the overlapping portion 'go' of the local handwriting of the third image frame to obtain the combined handwriting of 'goo'.
  • the combined handwriting of the three image frames can be combined with the overlapping portion 'goo' of the local handwriting of the third image frame to obtain the combined handwriting of 'good'.
  • the interval between two frames may not be long, and there may be many overlapping portions between local handwriting.
  • an intelligent device such as a letter illustrated in FIG. 1T or a word illustrated in FIG. 1U, may acquire a total handwriting by combining letters or words.
  • the overall handwriting obtained by the combination as shown in FIGS. 1V and 1W may be sentence.
  • the overall handwriting obtained by the combination may include a plurality of lines of letters and may include layout information.
  • the intelligent device may recognize content written by the user's hand according to the overall handwriting.
  • the intelligent device may recognize the content and generate handwriting information by recognizing the acquired handwriting.
  • the intelligent device may perform content recognition using an online handwriting recognition method.
  • the online handwriting recognition method may include a method of recognizing content according to time sequence information, a writing sequence, and / or pen-up and pen-down information of handwriting. It is not limited to the above example.
  • the intelligent device may perform content recognition using an offline handwriting recognition method.
  • the offline handwriting recognition method may not recognize the writing sequence, but may include a method of recognizing the content based only on the information displayed on the image, but is not limited thereto.
  • pre-processing may be performed on the captured image. If the image is distorted or skewed, calibration may be performed. If the image is of poor quality, an enhancement process may be performed on the image.
  • the intelligent device may perform layout analysis on the photographed image, and acquire layout information through processing including binarization, block division, line division, character division, and the like.
  • the layout information may include coordinates of a paragraph, lines of a text area, a sequence of paragraphs and lines and coordinates of each letter, coordinates of a graph area, text and a background surrounding the graph area, and the like. Based on the obtained layout information, the intelligent device may perform character recognition to obtain character information such as a font, a size, and a corresponding code of each character.
  • the intelligent device may perform content recognition on the entire handwriting obtained by using the handwriting recognition engine, and select the acquired recognition result as handwriting of the user. Since the handwriting recognition method of the handwriting recognition engine will be apparent to those skilled in the art, a detailed description thereof will be omitted.
  • Embodiment 1 described above by searching for handwriting directly, the method of recognizing handwriting can overcome the difficulties due to pen-up / pen-down, which is determined by the method of tracking the ends of conventional writing instruments, The accuracy of lighting recognition can be increased. Furthermore, in the first embodiment, the method of acquiring handwriting by capturing a local writing area may ensure clarity of the photographed lines. After the photographed lines have been combined, a clear full line can be obtained. Therefore, it is possible to solve the problem of the prior art in which the lines obtained by the whole photographing are unclear. In addition, since only one camera included in the intelligent device is used to record handwriting, no additional hardware is required, so there is a cost saving effect.
  • an intelligent device may provide a method for recognizing handwriting.
  • 2A illustrates a method of recognizing handwriting.
  • the intelligent device may track the writing focus detected in real time and photograph the local writing area. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device may perform preprocessing on the captured image frame of the local writing area.
  • the photographed image frame of the local writing area may include the writing tool and the user's hand as well as the user's handwriting displayed on the writing surface.
  • preprocessing may be necessary to separate the user's hand and writing tool from the writing surface in the captured image frame.
  • the intelligent device determines the position and shape of the end of the writing tool in the photographed image frame according to the shape of the end of the pre-registered writing tool, and photographs the captured image. You can remove the writing implement from the instrument.
  • the intelligent device may remove the user's hand from the captured image frame according to the posture of holding the user's writing tool and the shape of the hand when the writing tool is removed.
  • FIG. 2B and 2C illustrate how preprocessing is performed on content.
  • the intelligent device captures an image frame containing the user's hand and writing tool, as shown in the left figure of FIG. 2B. Thereafter, the intelligent device performs preprocessing to obtain the right picture of FIG. 2B from which the user's hand and the writing tool are removed from the left picture of FIG. 2B.
  • the process in FIG. 2C is also similar to FIG. 2B.
  • the preprocessing step may include normalizing operation of each image frame.
  • the normalizing operation may include adjusting the size of each image frame such that each image frame has the same geometric size, and performing tilt and / or rotation correction on each image frame such that each image frame has the same direction; And adjusting brightness and / or contrast of each image frame.
  • the image frame can be adjusted to a predetermined format to be suitable for handwriting recognition.
  • the intelligent device may retrieve local handwriting from the captured image of the local writing area. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device can combine local handwriting to obtain full handwriting. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device may recognize content written by the user's hand according to the obtained total handwriting. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the image of the local handwriting area of block S202 may be an image after preprocessing. Since the colors in the image frame after the preprocessing mainly include the color of the handwriting of the user and the color of the writing surface, the accuracy of handwriting recognition of the preprocessed image frame may be higher than when no preprocessing is performed.
  • an intelligent device may provide a method for recognizing handwriting.
  • 3A illustrates a method of recognizing handwriting.
  • the intelligent device tracks the detected writing focus in real time, and the local writing area can photograph. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device may perform preprocessing on the captured image of the local writing area. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device may retrieve local handwriting from the captured image of the local writing area. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device can perform an enhancement process on the retrieved local handwriting.
  • an enhancement process may be performed for local handwriting in accordance with at least one of the following situations. For example, if light brightness or definition does not meet a predetermined requirement during the photographing process, if the thickness of the handwriting in the photographed image frame is less than the predetermined value, An enhancement process may be performed if the difference between the color of the handwriting (ie, the color of the pixels of the retrieved local handwriting) and the color of the background (ie, the color of the writing surface) is less than a predetermined value.
  • the enhancement process may include the following steps.
  • the intelligent device may include adjusting a focus or iris of the camera according to brightness or sharpness during a photographing procedure; Adjusting the magnification of the camera according to the thickness of the handwriting in the captured image; Performing tilt and / or rotation correction on the captured image; And performing the brightness and / or contrast adjustment on each image frame, thereby performing the enhancement process.
  • modifying the retrieved local handwriting may include performing smoothing processing on the retrieved local handwriting. If noise points generated during the binarization process are detected, the intelligent device may perform a slide operation on the retrieved local handwriting and filter the noise points to obtain available handwriting data for recognition.
  • 3B and 3C illustrate a method of modifying handwritten content, respectively.
  • some noise points exist in the captured image of the local writing area.
  • the intelligent device may filter the noise points and acquire handwriting usable for recognition as shown in the right figure of FIG. 3B.
  • 3C is also similar to FIG. 3B.
  • the enhancement process may further include processing local handwriting according to the reliability estimate of the lines. For example, if there is a line having a reliability evaluation value lower than the threshold value in the local handwriting, a line having a reliability evaluation value lower than the threshold value may be removed, and only lines having a reliability evaluation value higher than the threshold value may be removed. This can remain.
  • the intelligent device can combine local handwriting to obtain full handwriting. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device may recognize the content written by the user's hand according to the obtained total handwriting. Since this corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device Before recognizing the handwriting, the intelligent device can register the writing instrument and select a suitable writing instrument for recognition of the handwriting.
  • registration and selection of writing implements will be described.
  • the writing instrument is capable of writing on the writing surface and may include an object (eg, a pencil, fountain pen, ball writing tool or chalk) that makes handwriting.
  • the writing surface can include any surface (eg, paper or blackboard) on which the writing instrument can write.
  • Handwriting refers to lines or sets of lines that represent a predetermined length, width, and color generated by a writing instrument when writing to a writing surface. The lines can be straight or curved. Handwriting between adjacent penup and pendown points may be represented by lines.
  • the intelligent device may register the writing implement before recognizing the information written by the user's hand. Registration of the writing implement may include registering the color of the handwriting of the writing instrument and / or registering the shape of the distal end of the writing instrument.
  • a user may enter a registration instruction into an intelligent device, such as a wearable device (eg, intelligent glass) or a mobile device (eg, cellular phone or tablet computer) equipped with a camera.
  • the registration instructions may include voice, buttons, gestures, human-computer interaction interfaces such as augmented reality, and external controllers (i.e. devices with remote control functions, such as mobile phones, associated with intelligent devices).
  • the intelligent device receives the voice instruction and determines whether the voice instruction is a registration instruction. In order to start voice recognition according to the voice instructions, and to start the registration of the writing instrument.
  • the intelligent device may store a correspondence relationship between the voice command and the registration command.
  • the voice instruction and the registration instruction may correspond through a correspondence table, and the voice instruction is composed of 'start registration', 'start registration', 'register writing tool' and English, Chinese, Korean or other languages. Instructions may be included.
  • the voice indication is not limited to the above example.
  • the user and the intelligent device may use other methods such that the handwriting registration instruction and the voice instruction correspond.
  • the registration start instruction may be started by a button.
  • the button may be a hardware button such as a home button, a sound control button, a power button, a program control button, a newly added button, or a button as shown in FIG. 1B, or a software button implemented in software, or a user interface of an intelligent device ( User interface) and is not limited to the above examples. If the user presses the button according to a predetermined method, the intelligent device may determine that the registration instruction has been received.
  • the predetermined method may include a short press, a long press, a short press a predetermined number of times, or a short and long press alternately.
  • the gesture may be implemented by one or two hands. Gestures may include shaking hands, drawing circles, drawing rectangles, drawing triangles, drawing stars, and the like.
  • the intelligent device may detect and recognize a gesture by using an existing gesture detection device. In addition, the intelligent device may determine that a registration instruction has been received according to the recognized gesture.
  • a registration start instruction is received from an external controller (eg, a cellular phone connected with an intelligent device)
  • the intelligent device starts registration of the writing instrument.
  • the connection between the intelligent device and the external controller may be a physical connection, or may be a wireless connection through at least one of a macro network, a wireless fidelity (WiFi) network, a local area network, and the like. Do not.
  • the instruction of the external controller may be an infrared instruction or a message transmitted by the cellular phone, but is not limited to the above example.
  • the intelligent device receives the registration instruction and then uses the camera (mounted on the intelligent device or the mobile device) to write.
  • the handwriting generated on the writing surface by the tool can be photographed, and the color of the retrieved handwriting can be registered as handwriting color information of the writing tool.
  • the virtual handwriting frame may comprise a frame projected by the intelligent device onto the writing surface.
  • the intelligent device may project or display a writing frame (writing area) on the writing surface within the user's field of view to guide the user writing in the writing frame.
  • the camera can capture the user's registration process and perform the normalization process on all image frames. Then, the handwriting color information of the writing implement can be retrieved from the normalized image frames.
  • the method of obtaining the handwriting color of the writing instrument may be implemented by the following methods, but is not limited to the following example.
  • the intelligent device separates the writing tool and the user's hand from the writing surface in each normalized image frame, compares the writing surfaces of two adjacent image frames, searches for distinct pixels, and identifies distinct pixels. Select a color as the handwriting color for the writing tool.
  • two adjacent image frames may include 'g' and 'go', respectively.
  • the two image frames differ in the area where the 'o' is located. If the pixels of 'o' are red, the intelligent device can determine the handwriting color of the writing instrument as red.
  • the intelligent device compares the image frame before the user registers the writing tool with the image frame after the user completes the writing, searches for distinct pixels of the two image frames, and displays the color of the distinct pixels. You can choose the handwriting color of the writing tool.
  • the image frame after the user completes the writing may be an image photographed after the writing tool and the user's hand move out of the writing frame. Since the image frame after the user completes writing does not include interference such as a hand or writing tool, it is easy to recognize the color of the writing tool accurately. Whether the writing tool and the user's hand are moved may be implemented by a method of detecting a moving object.
  • the image frame may contain only white pixels. If the user writes in red during registration, the image frame after the user completes the writing may include both white pixels and red pixels. Since the red pixels are newly added pixels (ie, distinct pixels), the intelligent device may determine that the handwriting color of the registered writing tool is red.
  • a virtual pattern for enabling registration with an intelligent device during registration of the writing instrument can be set in advance.
  • the user may draw a virtual pattern using the writing tool to be registered.
  • the intelligent device may photograph the virtual pattern drawn by the user, search for the color of the pixels corresponding to the virtual pattern, and select the searched color as the handwriting color of the writing tool.
  • the virtual pattern may include straight lines, curved lines, circles, triangles, squares, rectangles, diamonds, pound signs, stars, colons, and quotation marks.
  • the intelligent device may display on the screen that the virtual pattern is a triangle, or directly project the triangle on the writing surface.
  • the user may draw a triangle on the writing surface using the registered writing tool.
  • the intelligent device may photograph to acquire an image including the triangle, search for the color of the triangle, and select the color of the writing tool.
  • the intelligent device may project a triangle on the writing surface and instruct the user to draw the triangle at the projected position.
  • the intelligent device retrieves the triangle from a predetermined position of the image (i.e., where the triangle is projected) and selects the color of the triangle as the color of the writing tool. Can be.
  • the intelligent device may perform certain operations to guide the user to draw a virtual pattern accurately using the writing tool. For example, the intelligent device may display text that explains to encourage the user to write according to the displayed content or the projected content, may display an arrow indicating the direction in which each line is drawn, or display a virtual pattern. You can display animations that show how to draw, and you can induce the user to draw some patterns when, where, and through the sound.
  • the intelligent device may directly receive handwriting color information input by the user and associate the writing tool and the handwriting information input by the user.
  • the input handwriting color information may be an RGB value of the handwriting color, or may be a name of a color such as red, yellow, blue, and black, and the like.
  • the user may know that the color of the handwriting of the writing instrument is red.
  • the user can enter the color red directly into the intelligent device.
  • the intelligent device may select the handwriting color of the writing tool as red by associating the writing tool with the red color input from the user.
  • the user can also enter red RGB values (255, 0, 0).
  • the intelligent device may select the handwriting color of the writing tool as red by associating the writing tool with the RGB value input from the user.
  • registering the writing instrument may include registering the shape of the distal end of the writing instrument.
  • the intelligent device may determine the position of the user's hand and the position of the writing tool by detecting the maximum moving object in the video captured by the camera, and may search for the shape of the writing tool.
  • the maximum moving object may include the object that moves the most.
  • the intelligent device may perform endpoint detection at the end of the writing instrument.
  • the intelligent device may select the end of the writing instrument with the sharpest or largest curvature as the position of the end of the writing instrument. have.
  • a model for the shape of the end of the writing instrument can be set. Detection of moving objects in the video is studied and applied in the relevant fields, and the shape of the end of the writing implement may also be represented by the shapes frequently used in the shape recognition related fields, and thus detailed description thereof will be omitted.
  • the intelligent device may capture a video of a writing procedure of user writing using the writing tool.
  • the intelligent device may determine the writing tool and the hand in the video as the maximum moving object. Since the sharpest end of the writing instrument may be the end of the writing instrument (eg, the pen tip), the intelligent device performs endpoint detection at the end of the writing instrument, and the sharpest portion (eg, FIG. The portion shown in dashed lines in 4b) can be selected as the end of the writing instrument.
  • the intelligent device may acquire the shape of the distal end of the writing instrument to be registered according to the user's input.
  • a method of acquiring a shape of an end of the writing instrument according to a user's input will be described. Of course, it is not limited to the following example.
  • the first method is generally that when the types of writing instruments are different, the terminal shapes of the writing instruments may be different, and when the types of writing instruments are the same, they may have terminal shapes of the same or similar writing instruments.
  • the user may enter the name of the writing instrument on the intelligent device.
  • the intelligent device may determine the shape of the terminal of the writing instrument corresponding to the input name. For example, assuming that the writing tool A registered by the user is a pencil, the user inputs the pencil as the name of the writing tool into the intelligent device.
  • the intelligent device can determine the end shape of the writing tool A according to the correspondence between the writing tool and the shape of the end of the writing tool.
  • the correspondence relationship between the writing tool and the distal shape of the writing tool may be stored in an intelligent device or in another device connected to the intelligent wired or wirelessly, but is not limited to the above examples.
  • the intelligent device can store pictures of the shape of the ends of various kinds of writing instruments.
  • the intelligent device can display pictures of the distal end of the various types of writing instrument for the user's selection, and the writing instrument to register the distal shape of the writing instrument selected by the user It can be stored in the terminal shape of.
  • the intelligent device can store end-shaped pictures of various kinds of writing instruments such as the end shape of a pencil, the end shape of a fountain pen, the end shape of a ball pen, the end shape of a signature pen, and the like.
  • the distal shape of the writing instrument is not limited to the above example.
  • the intelligent device displays a picture of the tip shape of various writing tools, and the end of the pencil from the user. Instructions for selecting a picture corresponding to the shape may be received.
  • the intelligent device can store the distal shape of the pencil as the distal shape of writing tool A.
  • the intelligent device may compare the handwriting color of the registered writing instrument with the background color of the writing surface. As a result of the comparison, when the color difference between the handwriting color and the background color of the writing surface is larger than a predetermined threshold, the intelligent device may determine that there is a difference between the two colors. In the opposite case, the intelligent device can determine that there is no difference between the two colors. If it is determined that there is no difference between the two colors, the intelligent device may induce the user to change the writing tool or change the writing surface.
  • the background color of the writing surface may be obtained by photographing the writing surface before the user starts writing.
  • the intelligent device may determine that the handwriting color is different from the background color of the writing surface. Thus, the user can use the black writing tool over the white writing surface.
  • the intelligent device may determine that the handwriting color and the background color of the writing surface are not different.
  • the intelligent device can induce a user to change the writing implement or writing surface.
  • An intelligent device displays a dialog box that says 'Please change the writing tool or writing surface', provides an alarm sound to indicate that the writing tool or writing surface currently being used is inappropriate, or the user can use the writing tool or writing by voice. It can be induced to change the surface.
  • the intelligent device may induce the user to select a writing tool having registered handwriting color information different from the background color of the writing surface among the registered writing tools, and the user recognizes the handwriting. You can write with your choice of writing tools on the writing surface.
  • the user may write handwriting on a plurality of lines. Handwriting in the image frame before starting writing on a new line and handwriting in the image frame after starting writing on a new line may not overlap.
  • a user may write 'Today's weather is very good' on the first line and 'I walk to my office' on the second line.
  • the last image frame of the first line shows 'good', but the first image frame of the second line can show only 'I'.
  • the combination of the last image frame of the first line and the first frame of the second line may be inappropriate.
  • the intelligent device may detect whether line change information exists when combining handwriting of each image frame. If the line is changed, the intelligent device may perform a combination of local handwriting according to the line change information.
  • the intelligent device can detect whether there is overlapping handwriting between local handwriting of adjacent image frames. If it is determined that the overlapping handwriting between local handwriting of adjacent image frames is not detected, the intelligent device may determine that line change information is detected. As in the previous example, the last image frame of the first line may show only 'good' and the first image frame of the second line may show only 'I'. The intelligent device may determine that there is no overlapping handwriting between the last image frame of the first line and the first frame of the second line, and thus may determine that line change information is detected between the last image frame of the first line and the first frame of the second line. In other words, if it is determined that there is no overlapping handwriting between adjacent image frames, the intelligent device may determine that the line has changed.
  • the intelligent device may detect whether a line change identifier is present in local handwriting of each image frame. If a line change identifier is detected, the intelligent device may determine that line change information has been detected.
  • the line change identifier may be predefined.
  • the line change identifier is a symbol including at least one of a background color, an underline, a dotted line, a wavy line, a rectangular frame, a highlight, parentheses, a triangle symbol, a star / asterisk and a pound symbol. It may be implemented through the above, but is not limited to the above examples.
  • line change information may also be identified by audio or video data indicating a line change.
  • the intelligent device may determine that line change information has been detected. For example, when the user gives a voice indication of 'line change', the intelligent device starts voice recognition to determine whether the voice command is a line change command.
  • the relationship between the voice instruction and the line change instruction may be stored in the form of a correspondence table.
  • the line change instruction may include voice instructions such as 'line change', 'new line', 'next line' and instructions of English, Chinese, Korean or other languages.
  • the voice indication is not limited to the above example.
  • the user and the intelligent device may use other methods such that the line change instruction and the voice instruction correspond.
  • the intelligent device may perform local handwriting combination according to the line change information.
  • the intelligent device may perform a combination of local handwriting after determining the start point or the end point of local handwriting to combine according to the line change information.
  • the intelligent device may select the pre-combined handwriting of the current image frame as the handwriting information of the first line when the line change information is detected.
  • the intelligent device may select the current image frame as the first image of the second line. .
  • the intelligent device may select the local handwriting of the current image frame as the combination start point of the combined handwriting of the second line.
  • the intelligent device may also combine local handwriting of the current image frame with local handwriting of all image frames until line change information is detected, to obtain the combined handwriting information of the second line.
  • the intelligent device may combine the combined handwriting of each line according to the time sequence to obtain the overall handwriting including layout information (eg, line change information) input by the user.
  • a user may write 'Today's weather is very good' in an exercise book, write a triangle signal as a line change identifier, and then write 'I walk to my office'.
  • the intelligent device can select 'good', the last changed handwriting before the triangle signal, as a combination end point and obtain handwriting before the line change.
  • the intelligent device can select 'I', the first changed handwriting after the triangle signal, as a combination start point, and combine handwriting after the line change.
  • the user may temporarily stop writing. For example, when taking notes in class, the user may stop writing while writing, such as writing after viewing the blackboard and watching the blackboard again. Since no new handwriting is generated during the pause period, the intelligent device can temporarily stop searching for local handwriting and observe the entire area after the stop signal is detected.
  • the entire area may include a local writing area as a whole writing area. That is, the entire area may include an area that is wider or equal to the entire writing surface or background or the local writing area.
  • Intelligent devices can stop searching for local handwriting when no new handwriting is created, thereby reducing redundancy data, increasing handwriting recognition efficiency, reducing processor load and computing resources. You can save.
  • the intelligent device may determine that the stop signal has been detected when one of the following situations occurs. Of course, it is not limited to the following example.
  • the intelligent device can retrieve new handwriting from the captured image frame. For example, the user may write 'Tdoay's weather is very good' on white paper and not write any new content (handwriting) anymore. The intelligent device continuously shoots image frames marked with "good.” If there is no newly detected handwriting, the intelligent device may determine that the user has temporarily stopped writing.
  • the user's visual focus may always be located within the writing surface.
  • the intelligent device can determine that the stop signal has been detected by detecting when the visual focus of the user has left the writing surface.
  • the intelligent device may determine that the stop signal has been detected.
  • the intelligent device is used to recognize handwriting of the writing instrument, so if the position of the distal end of the writing instrument is not detected for a predetermined period of time (for example 5 seconds) in the images taken by the intelligent device, the intelligent The device may determine that the user has stopped writing for a predetermined period of time.
  • the intelligent device may detect the stop identifier.
  • the stop identifier may be implemented via symbols including at least one of background color, underline, dotted line, wavy line, square frame, highlight, parentheses, triangle symbol, triangle symbol, star / asterisk and pound symbol. But it is not limited to the above examples.
  • the intelligent device may detect audio data indicating stop.
  • the audio data is used to indicate a stop
  • the intelligent device starts voice recognition to determine if the voice command is a stop indication.
  • the relationship between the voice instruction and the pause instruction may be stored in the form of a correspondence table.
  • the pause instruction may include voice instructions such as 'pause', 'wait a moment', 'rest a while' and instructions in English, Chinese, Korean or other languages.
  • the voice indication is not limited to the above example.
  • the user and the intelligent device may use other methods such that the stop instruction and the voice instruction correspond.
  • the intelligent device can determine, store or cache the last image frame before the stop signal is detected if a stop signal is detected.
  • the intelligent device acquires and acquires the entire handwriting before the stop signal by combining the changed handwriting of the last image frame before the stop signal is detected and the pre-combined handwriting of the last image frame before the stop signal is detected. Full handwriting can be cached.
  • the intelligent device may also cache image frames for the writing surface obtained by imaging. According to some embodiments, the intelligent device may recognize the handwriting of the user according to the combined total handwriting, and cache the changed handwriting of each image frame and the time sequence information of each image frame.
  • the intelligent device may detect the stop identifier.
  • the intelligent device can display the pre-combined handwriting 'Today's weather is very good', an image about the writing surface obtained by shooting, the changed handwriting and time sequence information of each image frame for future use when a restart signal is received. Can be cached
  • the search of local handwriting may be restored. Since the intelligent device is monitoring the entire area and has not finished capturing the writing procedure, the intelligent device may detect the restart signal in the entire area after the stop signal is detected. If a restart signal is detected, the intelligent device can restart the search of local handwriting.
  • the intelligent device can determine that a restart signal has been received in the example situations below. Of course, it is not limited to the following example.
  • the intelligent device may determine whether to receive the restart signal according to whether the image frame of the cached writing surface matches the photographed image frame of the entire area.
  • the user can move the focus of the intelligent device out of the writing surface.
  • the image captured by the intelligent device may not include the writing surface.
  • the intelligent device may determine whether the restart signal is detected by determining whether the image frame of the cached writing surface matches the photographed image frame of the entire region.
  • the intelligent device may determine that the restart signal has been received when the visual focus of the user returns to the writing surface.
  • the user's visual focus may be moved out of the writing surface. If the writing is resumed, the user's visual focus may return to the writing surface.
  • the intelligent device can determine whether a restart signal has been received by determining whether the user's visual focus has returned to the writing surface. For example, if you take notes while in class, your handwriting stops when you see the blackboard, and you can leave notes whose visual focus is the writing surface. If the user starts writing again after viewing the blackboard, the user's visual focus may return to the note, which is the writing surface.
  • the intelligent device may determine that a restart signal has been received when the writing tool creates a new handwriting on the writing surface.
  • the intelligent device may determine whether a restart signal is detected by determining whether a new handwriting is generated by using a writing tool on the writing surface. For example, if a user writes 'Today's weather is very good' and then stops writing and then the user continues to write by writing 'I walk to my offce', the intelligent device may add a new hand to the writing surface. It may be determined that writing has been generated, and that a restart signal has been detected.
  • the intelligent device may detect the restart identifier.
  • the restart identifier may be implemented through symbols including at least one of background color, underline, dotted line, wavy line, square frame, highlight, parentheses, triangle symbol, triangle symbol, star / asterisk and pound symbol. But it is not limited to the above examples.
  • the intelligent device may detect audio data indicating restart. If the user issues a voice prompt of "restart", the intelligent device starts voice recognition to determine if the voice command is a restart command.
  • the relationship between the voice instruction and the restart instruction may be stored in the form of a correspondence table.
  • the voice instructions indicating restart may include voice instructions such as 'restart', 'start again', 'continue to recognize' and instructions of English, Chinese, Korean or other languages.
  • the voice indication is not limited to the above example.
  • the user and the intelligent device may use other methods such that restart instructions and voice instructions correspond.
  • the intelligent device may search for local handwriting from the image frame taken after the restart signal is detected and continue the combination of handwriting according to the cached information when the last stop signal is detected.
  • the intelligent device when the user writes 'very' on white paper, four image frames may be taken.
  • the changed handwriting of each image frame may be 'v', 'e', 'r' and 'y', respectively.
  • the intelligent device detects a stop signal after the user writes 'v', 'e', and 'r', the intelligent device is configured for local handwriting 'v', 'e', 'r' and local handwriting.
  • the time sequence information of may be cached. Thereafter, the intelligent device may detect a restart signal and detect a changed handwriting such as 'y' after the restart signal is detected.
  • the intelligent device uses local handwriting and local handwriting such as changed handwriting ('y') and cached image frames ('v', 'e', 'r') of the image frame after restart to obtain handwriting 'very'. Handwriting time sequence information) can be combined.
  • the above embodiment is an embodiment in which image frames are captured in units of phrases and words.
  • a plurality of image frames may be shown. That is, the increase in handwriting of each image frame may be relatively short.
  • Fig. 1n shows four image frames when 'd' is written.
  • the changed handwriting of each image frame is relatively small.
  • the intelligent device can cache the changed handwriting of frames 1, 2 and 3 and record the time sequence relationship between the changed handwriting. Thereafter, when the intelligent device receives the restart signal, the photographing may continue and the frame 4 may be acquired.
  • the intelligent device can combine the changed handwriting of four frames (frames 1, 2, 3 and 4) to obtain 'd'.
  • the recognition of the handwriting may be terminated.
  • the intelligent device may determine whether an end signal is detected, and when the end signal is detected, end recognition and detection of handwriting, and store the obtained handwriting.
  • the intelligent device may determine that an end signal has been received in the following example situations. Of course, it is not limited to the following example.
  • the intelligent device may determine that an end signal has been received. During the writing procedure, the user's visual focus may always be within the writing surface. If the intelligent device detects that the user's visual focus does not exist in the writing surface for a long time, the intelligent device may determine that the user's writing has ended. In addition, the intelligent device may determine that the end signal has been received when more than a predetermined period has elapsed after receiving the stop signal.
  • the intelligent device may determine that an end signal has been received. During the writing procedure, the user can create a new handwriting on the writing surface. If the intelligent device does not detect new handwriting for a long time, the intelligent device may determine that the user's writing has been completed.
  • the intelligent device may detect the termination identifier.
  • the end identifier may be implemented through symbols including at least one of background color, underline, dotted line, wavy line, square frame, highlight, parentheses, triangle symbol, triangle symbol, star / asterisk, and pound symbol. But it is not limited to the above examples.
  • the intelligent device may detect audio data indicating termination. If the user gives a voice instruction of 'end', the intelligent device starts voice recognition to determine whether the voice instruction is an end instruction.
  • the relationship between the voice instruction and the termination instruction may be stored in the form of a correspondence table.
  • the termination instruction may include a voice instruction such as 'end', 'stop' and instructions of English, Chinese, Korean or other languages.
  • the voice indication is not limited to the above example.
  • the user and the intelligent device may use other methods such that the end instruction and the voice instruction correspond.
  • the symbols corresponding to line change, stop, restart and end may be different.
  • an intelligent device may provide a method for recognizing handwriting. As shown in FIG. 5, the method of recognizing handwriting may include the following steps.
  • the intelligent device may track the writing focus detected in real time, photograph the local writing area, obtain local handwriting, and record the audio data generated when the local writing area is photographed.
  • the device for photographing the local writing area and the device for recording audio data may be the same device or different devices.
  • user A may take an image of a local writing area using a smartphone and receive audio data using the smartphone.
  • user A has both an intelligent glass and a smartphone.
  • the user may photograph the local writing area using the intelligent glasses and receive audio data using the smart phone.
  • Data related to the local writing area (such as image frame or handwriting) and audio data may be transmitted to the same device and may be associated with each other.
  • the same device may be an intelligent device for photographing the local writing area or receiving audio data. It can be a smartphone or other device.
  • user A may initiate a meeting with a plurality of other users.
  • the meeting place may be relatively large, and the clarity may be low if other users' audio data is collected using User A's device.
  • the intelligent device of the user A may photograph the local writing area, and at least one intelligent device of the other users may record audio data.
  • an image frame or writing information and audio data photographing the local writing area may be transmitted to one device, and at least one image frame or writing information and audio data photographing the local writing area may be related to each other.
  • One device for acquiring an image frame or handwriting information and audio data photographing the local handwriting area may be an intelligent device for photographing the local handwriting area, a smart phone or another device for recording audio data, and the like. .
  • the intelligent device may record audio data received during the period of photographing the local writing area, using internal or external related sound collection devices according to the received sound recording start instruction.
  • sound recording start instructions are directed to voice, buttons, gestures, human-computer interaction interfaces such as augmented reality and external controllers (i.e. devices with remote control functions, such as mobile phones, associated with intelligent devices). Can be generated by.
  • the intelligent device receives the voice instruction and starts voice recognition according to the voice instruction to determine whether the voice instruction is a sound recording start instruction. , The sound recording operation starts.
  • the intelligent device can store the correspondence between the voice instruction and the sound recording start instruction.
  • the voice instruction and the sound recording start instruction may correspond through the correspondence table, and the voice instruction may be 'start sound recording', 'voice recording', 'start sound recording' and English, Chinese, Korean or other languages. It may include instructions consisting of.
  • the voice indication is not limited to the above example.
  • the user and the intelligent device may use other methods such that the sound recording start instruction and the voice instruction correspond.
  • the button may be a hardware button such as a home button, a sound control button, a power button, a program control button, a newly added button, or a button as shown in FIG. It may be a software button implemented in software. Or it may be a user interface (User interface) of the intelligent device. If the user presses the button according to a predetermined method, the intelligent device may determine that the sound recording start instruction has been received.
  • the predetermined method may include a short press, a long press, a short press a predetermined number of times, or a short and long press alternately.
  • the gesture may be implemented by one or two hands. Gestures may include shaking hands, drawing circles, drawing rectangles, drawing triangles, drawing stars, and the like.
  • the intelligent device may detect and recognize a gesture by using an existing gesture detection device. The intelligent device may also determine that a sound recording start instruction has been received according to the recognized gesture.
  • a sound recording start instruction is received from an external controller (for example, a cellular phone connected to an intelligent device photographing a local writing area)
  • the intelligent device receives an instruction to record sound from the cellular phone, and then records the sound.
  • the connection between the intelligent device and the external controller may be a physical connection, or may be a wireless connection through at least one of a macro network, a wireless fidelity (WiFi) network, a local area network, and the like.
  • the instruction of the external controller may be an infrared instruction or a message transmitted by the cellular phone, but is not limited to the above example.
  • the sound recording start instruction may not be used.
  • the intelligent device may always record sound, even without a sound recording start instruction.
  • the sound collection device may include a microphone or a microphone array including a plurality of microphones.
  • the microphone array may be one device or a plurality of devices. For example, many smartphones may include two or more microphones, and two or more microphones may be a microphone array. If the microphone array is located in the plurality of devices, clock synchronization between the microphones may be required before receiving the audio data using the microphone array.
  • the recorded audio data may include human voice and music, but is not limited to the above examples.
  • the recorded audio data may include sounds generated by the person taking notes or sounds generated by other people or objects.
  • the recorded audio data may include sounds generated by the user who is writing. If the user taking notes is in a meeting, the recorded audio data may include sounds generated by other people in the meeting. If the user taking notes records the minutes, the minutes can be corrected and supplemented by the recorded audio data.
  • meeting member B introduces several ways to improve work efficiency.
  • user A may write only the keyword 'increase in work efficiency'.
  • the minutes can be supplemented by the recorded audio data.
  • the sampling time of each audio sampling point in the recorded audio data needs to be recorded.
  • the sampling time of each audio sampling point may be calculated according to the index and sampling frequency of the audio sampling point.
  • the shooting time of the local writing area and the sampling time of each audio sampling point of the audio data may be generated by one clock or two different clocks, when two different clocks are applied, two The clocks of need to be synchronized to realize synchronization between audio and handwriting.
  • user A may photograph the local writing area using intelligent glasses and receive audio data.
  • the photographing time of the local writing area and the sampling time of each sampling point of the audio data may be generated by the clock of the intelligent glass.
  • no synchronization may be required.
  • user A may have two or more intelligent devices.
  • the user A may photograph the local writing area using the intelligent glasses and receive audio data using the smart phone.
  • the photographing time of the local writing area is generated by the clock of the intelligent glass, while the sampling time of each audio sampling point of the audio data may be generated by the clock of the smartphone. Synchronization between the two clocks is necessary to realize synchronization between audio and handwriting.
  • user A may photograph the local writing area using intelligent glasses, and user B may receive audio data using a smartphone.
  • the photographing time of the local writing area and the sampling time of the audio sampling point of the audio data may be generated by different clocks, respectively. Synchronization between the two clocks is necessary to realize synchronization between audio and handwriting.
  • a microphone array if used to receive audio data, a plurality of receive paths through which audio data is received may be stored separately.
  • the audio data may be audio data obtained by combining multi-paths, or audio data obtained through each path may be separately stored.
  • the audio data of the combined path may be stored after the sound enhancement process. If each path of audio data is stored separately, the synchronization of the path of audio data on the time axis should be ensured.
  • the association of content in local handwriting and audio data may be implemented by the following embodiments, but is not limited to the following examples.
  • a file containing audio data and local handwriting is stored associatively.
  • an audio file can be generated by audio data.
  • Intelligent devices are data or files that include local handwriting. That is, at least one file of a text file not including layout information, a document file including layout information, an image file, and a video file may be generated.
  • the intelligent device may store at least one of a text file, a document file, an image file, and a video file including audio file and local handwriting in one folder or in two related folders.
  • the intelligent device may first obtain a correspondence between the audio data and the file including local handwriting.
  • the method of obtaining a correspondence between audio data and local handwriting may include the following steps. Of course, it is not limited to the above example.
  • the intelligent device may determine the changed handwriting of the current image frame and determine the audio data recorded at the shooting time between the current frame and the adjacent frame of the current frame according to the sampling time of each audio sampling point in the audio data.
  • the intelligent device may store the handwriting changed according to the recorded audio data between the current frame and the recording time of the frame close to the current frame after acquiring a corresponding relationship between the audio data and the local handwriting.
  • the correspondence between audio data and local handwriting can be stored.
  • the intelligent device may store a correspondence between audio data and local handwriting using a file or video file including a table or local handwriting.
  • the frame index of local handwriting in the table may correspond to the timestamp of the audio data.
  • the frame index of local handwriting may indicate a shooting time at which local handwriting is photographed.
  • the time stamp of the audio data represents the sampling time of the audio sampling point of the audio data.
  • the intelligent device determines changed handwriting of the current image frame compared to the previous image frame.
  • the intelligent device also determines audio data corresponding to the current image frame.
  • the corresponding audio data may be audio data received when the changed handwriting is written.
  • the intelligent device may store the frame index of the current image frame and the time stamp of the audio data corresponding to the current image frame so as to correspond in the table in order to realize correspondence between the audio data and local handwriting.
  • the intelligent device may perform synchronization according to the time stamp.
  • the timestamp associated with the changed handwriting of the current image frame may be selected as the starting point, and the timestamp associated with the changed handwriting of the next image frame may be selected as the ending point.
  • the intelligent device may retrieve the audio data collected within a period corresponding to the period between the start point and the end point.
  • the audio data collected within the period corresponding to the period between the start point and the end point and the changed handwriting of the current frame may be associated with each other and stored together to establish a one-to-one correspondence.
  • an identifier may be set for local handwriting in the file.
  • the identifier may provide a link to the corresponding audio data.
  • the intelligent device first determines the changed handwriting of the current image frame compared to the previous image frame.
  • the intelligent device also determines audio data corresponding to the current image frame.
  • the corresponding audio data may be audio data received when the changed handwriting is written.
  • the intelligent device may set an identifier at a position corresponding to the changed handwriting in the file, and the identifier may provide a link to the corresponding audio data to realize the correspondence between the audio data and the local handwriting.
  • the audio playback identifier has letters, words, sentences, paragraphs, chapters, It may be displayed around the graph (or corresponding pixels). The user can hear the recorded sound (recorded audio information) through the triggering of the audio reproduction identifier in a predetermined manner.
  • a user may trigger a plurality of audio reproduction identifiers at a time.
  • the intelligent device may receive a user input for selecting a plurality of audio reproduction identifiers (eg, a user input for sliding a plurality of audio reproduction identifiers with a finger).
  • the intelligent device may reproduce the audio according to the time sequence information in which the audio reproduction identifier is triggered. If the user triggered multiple audio identifiers at the same time (e.g., the user draws a circle through gestures to select multiple audio playback identifiers in the document), the time stamps of the audio corresponding to the audio playback identifiers Audio may be played according to the sequence of.
  • a correspondence between local handwriting and audio data may be stored via a video file.
  • the video file may include both writing trajectories and audio data, and the audio data and the writing trajectories may be synchronized.
  • the intelligent device may determine the time of each image frame of the entire handwriting so that the audio data is played back after the handwriting of the user is recognized according to the whole handwriting, and then the handwriting procedure of the changed handwriting is played through the video file.
  • a video file may be generated that includes sequence information, changed handwriting, and audio data corresponding to the changed handwriting of each image frame. Also, if the audio file and the video file are guaranteed to be synchronized on the time axis, the intelligent device may store the audio file and the video file respectively.
  • the method of storing the audio file and the video file may be selected by the user.
  • the intelligent device receives user input to select whether to generate video data including audio data or to store the audio data and handwriting separately before recognizing handwriting or receiving audio data. can do.
  • the intelligent device may pop up a dialog box to induce a user's selection. If not selected by the user, the intelligent device may generate a video file including the audio file or may generate a video file not including the audio file.
  • a timestamp corresponding to the changed handwriting of the current image frame may be selected as the starting point, and a timestamp corresponding to the changed handwriting of the next image frame may be selected as the ending point.
  • a timestamp corresponding to the changed handwriting of the current image frame may be selected as the end point, and a timestamp corresponding to the changed handwriting of the last image frame may be selected as the starting point.
  • the intelligent device retrieves from the recorded audio data all audio sampling points between the start and end points according to the sampling time of each audio sampling point in the audio data to form audio data corresponding to the changed handwriting of the current image frame. can do.
  • an enhancement process may be applied to the recorded audio data before the audio data and the changed handwriting are related to each other.
  • the intelligent device may receive noises when receiving sound for recording. For example, when an intelligent device receives a user's voice in a noisy environment, ambient noise may be recorded together. Therefore, the intelligent device can remove the noise from the recorded speech by enhancing the speech at the request of the user and filtering the background noises.
  • the intelligent device can enhance and correct the sound to be recorded (foreground). For example, when an intelligent device receives a user's voice in a noisy environment, ambient noise may be recorded together. Therefore, the intelligent device can enhance and modify the voice of the user so that the voice of the user can be recognized more easily than the noise.
  • the sound received by the intelligent device may come from various directions, while the sound to be recorded may come from a particular sound source.
  • the intelligent device can select a specific direction to receive sound from a specific sound source.
  • the sound enhancement described above may be set before receiving audio data, may be adjusted during the reception procedure, or may be performed during preprocessing on the audio data after the audio data is recorded.
  • reception of audio data may also stop together while local handwriting stops, and the received audio data may be stored.
  • the reception of audio data can also continue while the search for local handwriting is restarted.
  • a user can take content while reading the content.
  • the intelligent device may photograph the local writing area written by the user and record the read voice.
  • the intelligent device may receive a stop signal.
  • Intelligent devices can temporarily stop searching and recording handwriting and cache local handwriting and audio data for 'Today's weather is very good'.
  • the user can write and read "I walk to my office.”
  • the intelligent device can continue to search for local handwriting of "I walk to my office" and continue to store the read content.
  • the intelligent device after receiving the stop signal, continues receiving audio data, and performs local handwriting or changed handwriting of the last image frame before the stop signal and the audio data during the stop period are received. It can also be associated.
  • meeting member B introduces several ways to improve work efficiency.
  • user A may record only the keyword 'increase in work efficiency'.
  • the intelligent device may receive a stop signal. In this case, the intelligent device stops searching for local handwriting temporarily so that User A can supplement the minutes according to the audio data recorded after the meeting, but the voice for 'increase in work efficiency' announced by Meeting Member B. Can continue to record.
  • the intelligent device may stop receiving the audio data while the recognition of the handwriting of the user is stopped after the end signal is detected.
  • audio data received during the section in which the local writing area is photographed is recorded, and further verification of the handwriting retrieved according to the recorded audio data is possible, and the user's experience is recorded. It can be improved.
  • the intelligent device may generate handwriting information.
  • the handwriting information may include files in different formats that include handwriting information.
  • the intelligent device can generate files of different formats that contain the handwriting information. The following describes file generation.
  • the intelligent device After the intelligent device recognizes the user's handwriting according to the whole handwriting, at least one of a document file in which the layout information is not stored, a document file in which the layout information is stored, an image file, and a video file according to the user's handwriting. Can be generated.
  • the intelligent device may store the generated file in the storage unit and may also store the file by transmitting it to another device.
  • the intelligent device can also transmit the generated file via a wired or wirelessly connected medium. Intelligent devices can edit and modify files created using software (eg, word processing software) or applications of a computer.
  • Document file without layout information The user's handwriting may be recognized using a handwriting recognition engine, and the recognized result may be stored as a document file.
  • the document file may be a text file, such as a txt format or a word format, or other formats.
  • the intelligent device recognizes handwriting and when the file is created, the layout information is saved together. You can create a file that is not present. Line information is not stored in a file in which layout information is not stored together. That is, the file without layout information may be stored as 'Today's weather is very good, I walk to my office.'
  • a document file stored with layout information may be generated according to recognized handwriting.
  • Intelligent devices can use handheld analyzers to analyze handwriting. If line change information exists in the user's handwriting, the line change information may be analyzed by the layout analyzer. During the analysis, the intelligent device can obtain the layout of the user's handwriting according to the relative positions of the lines in the overall handwriting. The user's handwriting can be divided into text parts and picture parts according to the characteristics of each line in the overall handwriting. The handwriting of the user can then be recognized using the handwriting recognition engine. The recognized results can be arranged according to the layout obtained through the analysis. The arranged text and retrieved pictures can be combined and stored in a document file containing the text and pictures.
  • the layout analysis using the layout analyzer and the division of the text portion and the figure portion are obvious to those skilled in the art, and thus detailed description thereof will be omitted.
  • the intelligent device recognizes handwriting and when the file is created, the layout information is stored together. You can create a file. When a document file with layout information is created, the first line of the document file is 'Today's weather is very good' and the second line is 'I walk to my office'.
  • the user may write handwriting on the writing surface as shown in FIG. 7A.
  • the intelligent device may remove the hand and the writing tool from the captured image frame and obtain local handwriting. Local handwriting can be combined into full handwriting.
  • the intelligent device can obtain a document file as shown in FIG. 7B.
  • the content displayed in FIG. 7B is output content, so that the user can recognize handwritten handwriting.
  • FIG. 7C shows English content written by a user.
  • FIG. 7D shows a document file stored with the layout information according to FIG. 7C. This is produced in a similar manner to FIGS. 7A and 7B.
  • the document file stored with the layout information may be generated according to the line change information, the deletion identifier, the replacement identifier, the repetition property identifier, the content insertion, the insertion identifier, the position control identifier, the emphasis identifier, and the content description. That is, the layout information may also include information about line change information, deletion identifier, replacement identifier, repetition property identifier, content insertion, insertion identifier, position control identifier, and emphasis identifier.
  • each of the deletion identifier, the replacement identifier, the repeating property identifier, the insertion identifier, the positioning identifier and the highlighting identifier may be a background color, an underline, a dotted line, a wavy line, a rectangle frame, a highlight, parentheses, a triangle symbol, a star.
  • Symbols may include at least one of a star / asterisk and a pound symbol and are not limited to the above examples.
  • the user may be considered to repeatedly write some content.
  • a user may write the same letter, word, sentence, paragraph, graph, or the like.
  • the repetition property identifier can be used to avoid repetition of the same content written by the user, thereby increasing the writing efficiency.
  • the user may first write 'writing information' and a repeating characteristic identifier may be added to 'writing information'.
  • the repetition property identifier may be used in place of 'writing information'.
  • the intelligent device may detect a repetition characteristic identifier and determine a position where the repetition characteristic identifier appears first.
  • the intelligent device may copy the content identified by the first recurring characteristic identifier that appears first to generate a document file stored with the layout information to the location of the subsequent recurring characteristic identifier.
  • the content identified by the repeating property identifier may be information recognized according to the repeating property identifier.
  • the content identified by the repeating property identifier may include letters, words, sentences, paragraphs, graphs, and the like, but is not limited to the above examples.
  • the handwritten content may be replaced.
  • the method shown in FIG. 3C can be used for modification.
  • the intelligent device may detect the replacement identifier x, replace the content, and generate a document file stored with the layout shown in FIG. 7F.
  • FIG. 7G illustrates English content that includes an alternate identifier written by the user.
  • FIG. 7H shows a document file stored with the layout information according to FIG. 7G. This is generated in a similar manner to FIGS. 7E and 7F.
  • the retrieved handwriting of the user may be stored directly as an image file.
  • an intelligent device can store the entire handwriting as an image file.
  • FIG. 7I illustrates an image file in which the written content shown in FIG. 7E is stored.
  • FIG. 7J also illustrates an image file in which the content shown in FIG. 7C is stored.
  • the image file can record the user's original handwriting.
  • the user's retrieved handwriting may be stored directly as a video file according to the time sequence of pixels in the user's retrieved handwriting.
  • a video file can be generated and stored according to the changed handwriting and time sequence information of each image frame.
  • the video file can record the complete handwriting procedure of the user.
  • the document file stored with layout information, the document file without stored layout information, an image file, and a video file may be related to each other. If the audio data is recorded during local handwriting area shooting, the audio file may be generated according to audio data associated with at least one of a document file stored with layout information, a document file without layout information, an image file, and a video file. have.
  • an association may include a meaning in which two data are related. Associations may include two kinds of associations, such as file layer associations and content layer associations. Hereinafter, the association of two layers will be described.
  • file hierarchy associations may represent established correspondences between various kinds of files created for the same handwriting procedure.
  • File hierarchical associations allow for quick finding and obtaining of other files based on one of a plurality of files.
  • an intelligent device can identify a file via a file name.
  • File hierarchical associations include 'Name of generated document file ⁇ -> Name of generated image file', 'Name of generated image file ⁇ -> Name of generated video file', 'Name of generated document file ⁇ -> Correspondence relationship such as 'name of generated video file'.
  • the symbol marked " ⁇ ->" may mean a correspondence relationship.
  • the intelligent device may associate at least one file in the file hierarchy to identify the associated data based on the file name.
  • the file hierarchy association is: 'Name of the generated document file ⁇ -> Name of the generated audio file', 'Name of the generated image file ⁇ -> Name of the generated audio file', 'Create And a corresponding relationship such as the name of the audio file which has been generated <->
  • the correspondence according to the file hierarchy association may be stored in the form of a mapping table or implemented by setting the same prefix in the file names.
  • a mapping table or implemented by setting the same prefix in the file names.
  • the content layer association may include a correspondence between characters in a document file and pixels in an image file, a correspondence between characters in a document file and image frames in a video file, and the like.
  • the correspondence between the characters in the document file and the pixels in the image file may be determined according to the correspondence between the handwriting and the characters changed during the creation of the document file and the correspondence between the pixels and the handwriting changed during the creation of the image file. have.
  • the corresponding relationship according to the content layer association may be stored in the form of a mapping table.
  • the actual writing procedure and handwriting of the text may be searched through the search of the mapping table.
  • the content layer association may further comprise a correspondence between the characters in the document file and the audio sampling point in the audio file.
  • the recorded audio data when the letters are written can be retrieved.
  • a correspondence between a text file (a document in which layout information is not stored), a document in which layout information is stored, an image file, and a video file may be stored in an intelligent device (eg, intelligent glass), It may be stored in another storage device, or may be transmitted over a wired or wireless network connection for future use.
  • an intelligent device eg, intelligent glass
  • the meaning of performing an operation of associating data may include performing a predetermined operation so that the first data and the second data are related to each other.
  • the intelligent device in order to associate the first data with the second data, the intelligent device has second data associated with the first data such as inserting the same tag information, sorting into the same category, or storing in the same storage space. It may include all of the operations to display or control so that it can be seen that, it is not limited to the above examples.
  • a method of recognizing handwriting comprising: tracking a writing focus detected in real time; Photographing the local writing area; Retrieving local handwriting from the captured image frame of the local writing area; Combining local handwriting to obtain full handwriting; And recognizing the handwriting of the user according to the overall handwriting.
  • the writing focus may be determined in accordance with the visual focus or in accordance with the position of the distal end of the detected writing instrument.
  • the position of the end of the writing instrument can be determined based on the recognized end of the writing instrument by recognizing the end of the writing instrument from the photographed image according to the shape of the end of the writing instrument registered in advance.
  • Retrieving the local handwriting from the captured image of the local handwriting area may include obtaining local handwriting from an image frame based on the handwriting color.
  • Acquiring local handwriting from the image frame based on the handwriting color may include retrieving local handwriting from the image frame based on the handwriting color of a pre-registered writing tool or the color of the handwriting and the handwriting background. Retrieving local handwriting from an image frame based on the color difference between the colors.
  • Searching for local handwriting from the image frame based on the color difference between the color of the handwriting and the color of the handwriting background may comprise: image frame based on the color difference between the handwriting color and the color of the writing surface to obtain a binarized image. Performing binarization processing on the memory; Determining a line-shaped image area in the binarized image; And retrieving the linear image area by local handwriting.
  • Combining local handwriting to obtain full handwriting includes comparing local handwriting retrieved from a current image frame with local handwriting retrieved from a previous image frame; Determining changed handwriting of a frame of the current image; And changed handwriting of each image frame to obtain full handwriting.
  • Combining the local handwriting to obtain a full handwriting includes combining changed handwriting of all previous image frames earlier than the current image frame to obtain a prior combined handwriting of the current image frame, and Combining the prior combined combined handwriting of the current image frame with the changed handwriting of the current image frame to obtain a prior combined handwriting of the frame; And repeatedly performing the combination of the changed handwriting of the image frame and the preceding combined handwriting of the image frame until a full handwriting is obtained.
  • the method of recognizing handwriting may include generating a document file in which layout information is not stored, generating a document file in which layout information is stored, or generating an image file after recognizing the entire handwriting.
  • the method may further include generating a video file based on the time sequence information and the changed handwriting of each image frame.
  • the document file stored with the layout may be generated according to the line change information, the deletion identifier, the replacement identifier, the repetition property identifier, the content insertion, the insertion identifier, the position control identifier, the emphasis identifier, and the content description. .
  • the position where the repeating property identifier appears first is determined, and the content identified by the first appearing repeating property identifier is determined by the subsequent repeating property identifier.
  • a document file stored with the layout information can be created.
  • a method of recognizing handwriting includes receiving audio data generated while photographing a local writing area; Associating the received audio data with local handwriting.
  • Associating audio data with local handwriting may include associating and storing the stored audio data with a file including local handwriting, or storing a corresponding relationship between the audio data and local handwriting.
  • the method may include identifying the content corresponding to the local handwriting.
  • Associating audio data with the local handwriting may include generating a video file including the local handwriting and the audio data based on the correspondence between the audio data and the local handwriting after associating the audio data with the local handwriting. It may further include.
  • Associating the local handwriting with the audio data involves associating audio data received between the shooting time of the current image frame and the shooting time of the image frame close to the changed handwriting in the current image frame and the image frame close to the current image frame. It may include the step of.
  • the handwriting recognition method may further include determining whether line change information is detected after acquiring local handwriting; And combining local handwriting based on the line change information.
  • the determining whether the line change information is detected may be determined based on at least one of whether there is no overlapping handwriting between local handwritings of adjacent image frames, whether a line change identifier is detected, and whether audio data indicating a line change is received. have.
  • Combining local handwriting based on the line change information includes determining a combination start point or combination end point of local handwriting based on the line change information; And combining local handwriting.
  • the handwriting recognition method includes determining whether a stop signal is detected; Based on the determination result, stopping the search of local handwriting and monitoring the entire area.
  • the step of determining whether the stop signal is detected may include: when a new handwriting is not detected from the photographed image, whether the user's visual focus has moved away from the writing surface, and whether the angle change of the user's head posture exceeds a predetermined value. The determination may be made based on at least one of whether the position of the end of the writing instrument is detected and whether audio data indicating the stop signal is received.
  • Determining whether the stop signal is detected may further include caching the captured image of the entire handwriting and writing surface after the stop signal is detected.
  • the handwriting recognition method may further include determining whether a restart signal is detected in the entire area after the stop signal is detected; Restarting the search for local handwriting based on the determination result; And continuing the combination of local handwriting based on the cached information.
  • Determining whether a restart signal is detected may include: whether the photographed image of the entire area matches a cached image of a writing surface, whether the user's visual focus is returned to the writing surface, May be determined based on at least one of whether new handwritten information is generated and whether audio data indicating restart is received.
  • the handwriting recognition method may further include determining whether an end signal is detected; The method may further include ending recognition of the handwriting of the user based on the determination result.
  • the step of determining whether the end signal is detected may include: whether the user's visual focus has left the writing surface for a predetermined time, whether a new handwriting has been detected for a predetermined time, whether an end command has been received, or audio data indicating termination. May be determined based on at least one of whether or not is received.
  • the handwriting recognition method may further include determining whether to perform an enhancement process on local handwriting before combining the local handwriting.
  • Determining whether to perform the enhancement process includes: whether the intensity or clarity of light at the time of image capture does not meet a predetermined requirement, whether the thickness of the handwriting of the captured image is lower than a predetermined value, The color may be determined based on at least one of whether the color of the handwriting and the background color of the captured image are smaller than a predetermined value.
  • the enhancement process involves adjusting the camera's focus or aperture according to the light intensity and sharpness of the shot, scaling the camera according to the thickness of the handwriting of the captured image frame, or tilting and / or rotating the shot image frame. Performing correction, performing brightness and / or contrast correction on the captured image frame, or performing smoothing on the retrieved local handwriting.
  • Performing the enhancement process may further include removing a line from the local handwriting where the confidence rating value is lower than the threshold value.
  • the reliability evaluation value may be determined according to the length of the line, the width of the line, the curvature of the line, the color of the line, the corresponding positional relationship between the line before and after the line and the continuity of the line, and the degree of matching between the movement trajectory of the line and the end of the writing implement.
  • the writing focus of the writing instrument can be tracked to photograph the local writing area.
  • Handwriting written by the user in the local writing area is retrieved from the photographed image frames of the local writing area, and combinations are performed to obtain the full handwriting written in the entire area by the user. Since the handwriting retrieved is already written by the user on the writing surface, the handwriting according to the movement trajectory of the end of the writing tool is independent of the user's pen-up and pen-down movement. The problem that the writing search is inaccurate can be prevented, and the accuracy of recognizing a user's handwriting is increased.
  • audio data received during the imaging procedure of the local writing area may be recorded.
  • the recorded audio data is convenient for future modification of the recognized handwriting of the user and can increase the accuracy of the retrieved handwriting.
  • a corresponding relationship between audio data and simultaneously inputted local handwriting may be stored.
  • Corresponding audio data can be played back when the written content is later displayed, improving the user's experience, making it easier to modify the recognized handwriting of the user in the future, and increasing the accuracy of the retrieved handwriting.
  • an apparatus for recognizing handwriting that implements at least one of the methods described above may be provided.
  • the apparatus for recognizing handwriting may include an intelligent device. 8 shows the internal structure of a device for recognizing handwriting.
  • the apparatus shown in FIG. 8 may include an imaging module 402, an acquisition module 404, a combination module 406, and a recognition module 408.
  • the photographing module 402 may track the handwritten focus detected in real time and photograph the local handwriting area.
  • the obtaining module 404 may obtain local handwriting from the photographed image of the local writing area.
  • the combining module 406 may combine the obtained local handwriting and obtain the overall handwriting.
  • the recognition module 408 may recognize the handwriting of the user according to the overall handwriting.
  • the writing focus may be determined according to the visual focus or depending on the position of the distal end of the detected writing instrument. Of course, it is not limited to the above example.
  • the position of the distal end of the writing instrument is in the shape of the distal end of the pre-registered writing instrument, recognizing the distal end of the writing instrument from a photographed image, or the position of the distal end of the writing instrument according to the recognized distal end of the writing instrument. Can be determined. Of course, it is not limited to the above example.
  • the obtaining module 404 may retrieve local handwriting from the image according to the handwriting color.
  • the acquiring module 404 is configured to perform handwriting of the local handwriting retrieved from the image according to the handwriting color or the difference between the handwriting color and the color of the handwriting background according to the handwriting color of the pre-registered writing tool You can retrieve local handwriting from an image based on color.
  • the obtaining module 404 performs a binarization process on the image according to the difference between the color of the writing surface and the color of the handwriting to obtain a binarized image, and determines a linear image area within the binarized image.
  • the local handwriting may be retrieved from the image according to the difference between the handwriting color obtained by searching the linear image area by the local handwriting and the color of the handwriting background.
  • the handwriting recognition apparatus may further include a generation module (not shown).
  • the generation module may generate and store the recognized handwriting as a document file after recognizing the entire handwriting. For example, the generation module may generate a file of the document file with the layout according to the recognized handwriting, save the entire handwriting as an image file, and according to the changed handwriting and time sequence information of each image frame. Can be generated.
  • the document file stored with the layout information may be generated according to the line change information, the deletion identifier, the replacement identifier, the repetition property identifier, the content insertion, the insertion identifier, the position control identifier, the emphasis identifier, and the content description.
  • the line change information the deletion identifier, the replacement identifier, the repetition property identifier, the content insertion, the insertion identifier, the position control identifier, the emphasis identifier, and the content description.
  • the generating module may detect the repeating characteristic identifier and determine a position where the repeating characteristic identifier appears first.
  • the intelligent device may copy the content identified by the first recurring characteristic identifier that appears first to generate a document file stored with the layout information to the location of the subsequent recurring characteristic identifier.
  • the apparatus for recognizing handwritten content may further include a receiving module (not shown).
  • the receiving module may receive audio data generated while the local writing area is photographed.
  • the apparatus for recognizing handwritten content may further include an association module (not shown).
  • the association module may associate audio data with local handwriting.
  • the association module may associate audio data with local handwriting.
  • the association module may associate a file containing audio data and local handwriting associatively, and may store a correspondence between the audio data and local handwriting.
  • the association module may associate a file containing audio data and local handwriting associatively, and may store a correspondence between the audio data and local handwriting.
  • it is not limited to the above example.
  • the generating module may generate the video file including the audio data and the local handwriting according to the correspondence between the local handwriting and the audio data after associating the local handwriting and the audio data.
  • the associating module may associate the received handwriting determined according to the image data proximate the current image frame with the received audio data between the capturing time of the current image frame and the proximate image frame.
  • the apparatus for recognizing handwritten content may further include a line change information determination module (not shown).
  • the line change information determination module may determine line information.
  • the combining module 406 may combine local handwriting according to the line change information.
  • the line change information determination module may determine whether line change information is detected. For example, the line change information determination module determines whether line change information is detected by determining whether there is no overlapping handwriting between local handwriting of adjacent image frames, whether a line identifier has been detected, and whether audio data indicating a line change has been received. You can judge. Of course, it is not limited to the above example.
  • the apparatus for recognizing handwritten content may further include a stop signal detection module (not shown).
  • the stop signal detection module may perform full monitoring when a stop signal is detected.
  • the stop signal detection module is further configured to determine whether a new handwriting is not detected from the photographed image, when the user's visual focus is moved away from the writing surface, when the angle change of the user's head posture exceeds a predetermined value, When the position of the end of the writing instrument is not detected, it may be determined that the stop signal is detected when audio data indicating the stop signal is received.
  • a new handwriting is not detected from the photographed image, when the user's visual focus is moved away from the writing surface, when the angle change of the user's head posture exceeds a predetermined value.
  • the apparatus for recognizing handwritten content may further include a caching module (not shown).
  • the caching module may cache the image of the combined full handwriting and writing surface after the stop signal is detected.
  • the apparatus for recognizing handwritten content may further include a restart signal detection module (not shown).
  • the restart signal detection module may determine whether the restart signal is detected in the entire area after the stop signal is detected.
  • the acquiring module 404 may restart the search of local handwriting when a restart signal is detected.
  • the combining module 406 may restart the combination of local handwriting according to the cached information.
  • the restart signal detection module is configured to generate a new hand by the writing tool on the writing surface when the photographed image of the entire area matches the cached image of the writing surface, when the visual focus of the user returns to the writing surface.
  • the restart signal detection module may be determined that a restart signal has been detected when audio data indicating restart is received.
  • it is not limited to the above example.
  • the apparatus for recognizing handwritten content may further include an end signal detection module (not shown).
  • the recognition module 408 may end the recognition of the handwriting of the user if an end signal is detected.
  • the end signal detection module is configured to perform audio when the end command is received when the user's visual focus leaves the writing surface for a predetermined time, when there is no detection of new handwriting for a predetermined time, and when an end command is received. When data is received, it can be determined that an end signal has been detected.
  • the end signal detection module is configured to perform audio when the end command is received when the user's visual focus leaves the writing surface for a predetermined time, when there is no detection of new handwriting for a predetermined time, and when an end command is received.
  • audio when the end command is received when the user's visual focus leaves the writing surface for a predetermined time, when there is no detection of new handwriting for a predetermined time, and when an end command is received.
  • the apparatus for recognizing handwritten content may further include an enhancement process module (not shown).
  • the enhancement process module may perform an enhancement process on local handwriting prior to local handwriting combination.
  • the enhancement process module may be further configured to execute an image in the photographed image when the intensity or sharpness of the light when the image is taken does not satisfy a predetermined requirement, and when the thickness of the handwriting of the photographed image is lower than the predetermined value.
  • an enhancement process may be performed for local handwriting.
  • the enhancement process includes a method of adjusting the focus or iris of the camera according to the intensity and clarity of the light when the image is taken, a method of adjusting the magnification of the camera according to the thickness of the handwriting of the captured image,
  • the method may include at least one of a method of performing tilt and / or rotation correction, a method of performing brightness and / or contrast correction on the photographed image, and a method of performing a smoothing process on the searched local handwriting.
  • a method of performing tilt and / or rotation correction a method of performing brightness and / or contrast correction on the photographed image
  • a method of performing a smoothing process on the searched local handwriting it is not limited to the above example.
  • the enhancement process module may remove lines from the local handwriting where the confidence assessment value is lower than the threshold.
  • the reliability assessment value may be determined according to the length of the line, the width of the line, the curvature of the line, the color of the line, the correspondence position relationship between the before and after lines and the continuity of the line and the degree of matching between the motion trajectory of the end of the line and the writing implement. Can be. Of course, it is not limited to the above example.
  • FIG 9 illustrates a structure of an electronic device that recognizes handwritten content according to some embodiments.
  • the electronic device 900 that recognizes handwritten content includes a central processing unit (CPU), a processor 910, an output interface 920 or a user interface 930, Memory 940, communication bus 950.
  • the processor 910, the output interface 920, the memory 940, and the communication bus 950 may be one or more depending on implementation.
  • the communication bus 950 may be used to implement communication between the components of the electronic device 900.
  • the electronic device 900 may optionally include a user interface 930, which may include a display device, a keyboard or a click device (eg, a mouse, trackball, touchboard, or the like). It may include a touch screen (Touch screen).
  • the memory 940 may include at least one disk memory such as random access memory (RAM) or non-volatile memory. Also in accordance with some embodiments, memory 940 may additionally include at least one storage device remotely controlled by processor 910.
  • the memory may store executable modules as well as data structures or sets and subsets of executable modules and data structures or extended sets of executable modules and data structures.
  • operating system 941 may include various system programs for processing hardware-based tasks and for implementing various basic services.
  • the application program 942 may include various application programs used to implement various application services.
  • the application program 942 may include programs used to execute the above-described methods.
  • the application program may track a writing focus detected in some real time, and may include a photographing unit for photographing a local writing area, an acquiring unit for acquiring local handwriting from a photographed image of the local writing area, and an acquired local handwriting.
  • the processor 910 may execute corresponding blocks through instructions stored in the calling programs or the memory 940.
  • the processor 910 tracks the handwritten focus detected in real time, photographs the local handwriting area, obtains local handwriting from the photographed image of the local handwriting area, and acquires the full handwriting to obtain the full handwriting.
  • Local handwriting can be combined and handwritten information can be recognized according to the overall handwriting.
  • processor 910 may be used to implement the embodiments described above. Other operations of the processor 910 may be referred to by the above-described embodiments, and thus detailed description thereof will be omitted.
  • a recording medium may be provided for storing a computer program for performing the above-described methods. Since the method performed by the computer program may be referred to by the above-described embodiments, detailed description thereof will be omitted.
  • FIG. 10 illustrates a flowchart of a method of generating handwriting information about handwriting written by a user in accordance with some embodiments.
  • the intelligent device may determine the first handwriting focus and the second handwriting focus.
  • the intelligent device may track the visual focus of the user and determine the first handwriting focus and the second handwriting focus based on the tracked visual focus.
  • the intelligent device may also track the end of the writing instrument, determine the position of the end of the writing instrument, and determine the first writing focus and the second writing focus based on the determined position of the end of the writing instrument.
  • the intelligent device obtains information about the shape of the distal end of the writing instrument from the user, and based on the obtained information, the distal end of the writing instrument in at least one image of the photographed first local writing region and the second local writing region Can be detected and the position of the distal end of the writing instrument can be determined based on the detection result.
  • the tracking or determining of the handwritten focus corresponds to the above description, and thus a detailed description thereof will be omitted.
  • the intelligent device may sequentially photograph the first local writing area that is an area within a predetermined range from the first writing focus and the second local writing area that is an area within the predetermined range from the second writing focus.
  • the intelligent device may obtain a first handwriting from the first local writing area and a second handwriting from the second local writing area.
  • the intelligent device obtains the first handwriting from the first local writing area based on the information about the color of the handwriting input by the user, and obtains the second handwriting from the second local writing area. can do.
  • the intelligent device may obtain the first handwriting from the first local writing area and the second handwriting from the second local writing area based on the difference between the handwriting color and the color of the writing background. There is also.
  • the intelligent device may combine the first handwriting and the second handwriting.
  • the intelligent device compares the first handwriting with the second handwriting, and based on the comparison result, the intelligent device changes between the image frame photographing the first local writing area and the image frame photographing the second local writing area.
  • the handwriting may be determined and based on the determination result, the changed handwriting may be combined.
  • the intelligent device may generate handwriting information based on the combination result.
  • the handwriting information may include at least one of time sequence information of layout information local handwriting.
  • the handwriting information may be stored in at least one of a document format, an image format, and a video format.
  • the intelligent device may generate handwriting information by generating a document file format, an image file format, and a video file format including a layout.
  • the layout information may include line change information and at least one identifier information of an erase identifier, an alternate identifier, a repeat feature identifier, an insertion identifier, a position control identifier, and an emphasis identifier. Since the layout information corresponds to the above description, a detailed description thereof will be omitted.
  • the intelligent device may acquire audio data generated while sequentially photographing the first local writing area and the second local writing area. Audio data may be received from another device or may be recorded directly by an intelligent device. The intelligent device may generate handwriting information so that the acquired audio data corresponds to the first handwriting and the second handwriting.
  • the intelligent device may capture the received audio data and the image frame photographing the first local writing area and the second local writing area between the recording time of the first local area and the recording time of the second local area.
  • Handwriting information may be generated to correspond to changed handwriting between image frames.
  • the intelligent device changes between the audio data received between the recording time of the first local area and the recording time of the second local area, the image frame photographing the first local writing area and the image frame photographing the second local writing area.
  • the handwriting information may be associated to correspond to the handwriting.
  • the intelligent device may determine whether a stop signal is detected, and based on the determination result, stop acquiring and combining handwriting and perform monitoring.
  • the intelligent device may monitor the local writing area or the entire writing area.
  • the intelligent device determines whether the changed end of the handwriting or writing tool is detected in the image frame photographing the first local writing area and the image frame photographing the second local writing area, and the changed angle of the user's head posture. It may be determined whether the stop signal is detected based on whether it exceeds, whether the distance between the user's visual focus and the writing focus exceeds a predetermined value or whether a stop command is received. According to some embodiments, the intelligent device may determine whether the monitoring result restart signal is detected, and restart the acquisition and combination of the handwriting based on the determination result. The contents of the stop and restart signals correspond to those described above.
  • the intelligent device may determine whether an end signal is detected, and terminate the acquisition, combination, and generation of handwriting information based on the determination result.
  • the intelligent device may determine whether the end signal is detected based on whether a predetermined time has elapsed since the stop signal is detected or whether an end command has been received.
  • the content of the end signal corresponds to the above description.
  • the intelligent device may apply the enhancement process to the obtained first handwriting and the second handwriting.
  • the enhancement process is such that the intensity or sharpness of the light at the time of shooting does not meet a predetermined requirement, or the thickness of the first handwriting or second handwriting obtained is thinner than a predetermined criterion, or the handwriting in the photographed image frame
  • the color and the background color may be applied when the difference value is less than the predetermined value.
  • the enhancement process may also include removing the line whose reliability evaluation value is lower than the threshold value among at least one line included in the first handwriting and the second handwriting.
  • the reliability evaluation value includes the length of the line included in the first handwriting or the second handwriting, the width of the line, the curvature of the line, the color of the line, the correspondence position relationship and continuity between the line and other lines, and the degree of matching between the motion trajectory of the end of the line and the writing implement. It can be determined according to. Details of the improvement process and the reliability evaluation value correspond to those described above, and thus detailed descriptions thereof will be omitted.
  • FIG. 11 illustrates a structure of a device for generating handwriting information about handwriting written by a user according to some embodiments.
  • the device 1100 for generating handwriting information of FIG. 11 may be the same device as the handwriting recognition apparatus of FIG. 8 and the electronic device of FIG. 9. In addition, the device 1100 for generating handwriting information of FIG. 11 may be the same device as the above-described intelligent device.
  • each component of the device 110 may include a control unit such as a processor.
  • the device 1100 may include a controller 1110, a user interface 1130, and a signal acquirer 1150.
  • the controller 1110 typically controls the overall operation of the device 1100.
  • the controller 1110 may overall control the components included in the device 1100 by executing a program stored in the device 1100.
  • the controller 1100 may include at least one of a computing unit or a processor such as a central control device, and may be included in other components. However, it is not limited to the above example.
  • the controller 1110 determines the first handwriting focus and the second handwriting focus, obtains a first handwriting from the first local handwriting area, and obtains a second handwriting from the second local handwriting area. Obtain, combine the first handwriting and the second handwriting, and generate handwriting information based on the combination result.
  • the controller 1110 may determine the first writing focus and the second writing focus based on the tracked visual focus.
  • the controller 1110 may determine a position of the distal end of the writing instrument and determine the first writing focus and the second writing focus based on the determined position of the distal end of the writing instrument.
  • the controller 1110 detects an end of the writing tool in at least one image of the captured first local writing area and the second local writing area based on a user input, The position of the distal end of the writing instrument can be determined based on that.
  • the controller 1110 may obtain the first handwriting from the first local writing area and the second handwriting from the second local writing area based on the information about the color of the handwriting.
  • the controller 1110 obtains the first handwriting from the first local writing area and the second handwriting from the second local writing area based on the difference between the handwriting color and the color of the handwriting background. can do.
  • the controller 1110 compares the first handwriting and the second handwriting, and based on the comparison result, an image frame photographing the first local writing area and an image photographing the second local writing area.
  • the changed handwriting between frames may be determined, and based on the determination result, the changed handwriting may be combined.
  • the controller 1110 may generate handwriting information to correspond to the acquired audio data, the first handwriting, and the second handwriting.
  • the controller 1110 may include the audio data received between the recording time of the first local area and the recording time of the second local area, and the image frame photographing the first local writing area and the second local writing area.
  • Handwriting information may be generated to correspond to the changed handwriting between the captured image frames.
  • the controller 1110 may determine whether a stop signal is detected, and may control the signal acquirer 1150 to stop acquiring and combining handwriting and perform monitoring based on the determination result.
  • the controller 1110 may determine whether a changed handwriting or writing tool end is detected in the image frame photographing the first local writing area and the image frame photographing the second local writing area, and the user's head posture. It may be determined whether a stop signal has been received based on whether the changed angle of exceeds a predetermined value, whether the distance between the user's visual focus and the writing focus exceeds a predetermined value or whether a stop command has been received. have..
  • the controller 1110 may determine whether a monitoring result restart signal is detected, and restart acquisition and combination of handwriting based on the determination result.
  • the controller 1110 may determine whether an end signal is detected, and end the acquisition, combination, and generation of handwriting information based on the determination result.
  • the controller 1110 may determine whether to detect the end signal based on whether a predetermined time has elapsed after the stop signal is detected or whether an end command has been received.
  • the controller 1110 may apply an enhancement process to the acquired first handwriting and the second handwriting.
  • the controller 1110 may determine whether to detect the end signal based on whether a predetermined time has elapsed after the stop signal is detected or whether an end command has been received. Since the operation of the controller 1110 corresponds to the above description, a detailed description thereof will be omitted.
  • the user interface 1130 may receive a user input.
  • the user interface unit 1130 may receive information about the shape of the distal end of the writing implement from the user.
  • the user interface unit 1130 may receive information regarding color of handwriting from a user. Since the operation of the user interface 1130 corresponds to the above description, a detailed description thereof will be omitted.
  • the signal acquirer 1150 may sequentially photograph the first local writing area that is an area within a predetermined range from the first writing focus and the second local writing area that is an area within the predetermined range from the second writing focus. have.
  • the signal acquirer 1150 may track the visual focus of the user and may track the end of the writing tool.
  • the signal acquirer 1150 may detect various signals such as a stop signal, a restart signal, and an end signal. Since the operation of the signal acquirer 1150 corresponds to the above description, a detailed description thereof will be omitted.
  • the signal acquirer 1150 may include a camera and a microphone.
  • the camera may acquire an image frame through an image sensor in a video call mode or a shooting mode.
  • the image frame captured by the image sensor may be processed by the controller 1110 or a separate image processor (not shown).
  • the image frame processed by the camera may be stored in the storage unit or transmitted to the outside through a communication unit (not shown).
  • the microphone receives an external sound signal and processes it into electrical voice data.
  • the microphone can receive acoustic signals from a user or other device.
  • the signal acquisition unit 1150 may further include a sensor unit (not shown).
  • the sensor unit includes at least one of a magnetic sensor, an acceleration sensor, a temperature / humidity sensor, an infrared sensor, a gyroscope sensor, a position sensor (for example, a GPS), an air pressure sensor, a proximity sensor, and an illumination sensor. It may include one, but is not limited thereto. Functions of the respective sensors can be intuitively deduced by those skilled in the art from the names thereof, and thus a detailed description thereof will be omitted.
  • the device 1100 may further include an output unit (not shown).
  • the output unit may output an audio signal or a video signal or a vibration signal, and the output unit may include at least one of a display unit, a sound output unit, and a vibration motor.
  • the sound output unit outputs audio data.
  • the sound output unit outputs a sound signal related to a function (for example, a call signal reception sound, a message reception sound, a notification sound, and a user guide sound) performed in the device 1100.
  • the sound output unit may include a speaker, a buzzer, and the like.
  • the vibration motor may output a vibration signal.
  • the vibration motor may output a vibration signal corresponding to the output of audio data or video data (eg, call signal reception sound, message reception sound, etc.).
  • the device comprises a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a user interface such as a touch panel, a key, a button and the like.
  • a user interface such as a touch panel, a key, a button and the like.
  • Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor. Computer programs installed in the device can also be selectively activated or reconfigured.
  • the computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • the medium is readable by the computer, stored in the memory, and can be executed by the processor.
  • computer program instructions may be used to realize each block and combination of blocks in the block diagrams and / or flowcharts and / or figures.
  • the computer program instructions may also be provided to a processor for a method of processing a general purpose computer, a professional computer or other programmable data to realize each block and combination of blocks in the block diagrams and / or flowcharts and / or figures. It will be apparent to those skilled in the art.
  • the invention can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
  • the present invention relates to integrated circuit configurations such as memory, processing, logic, look-up table, etc., which may execute various functions by the control of one or more microprocessors or other control devices. It can be adopted.
  • the present invention includes various algorithms implemented in data structures, processes, routines or other combinations of programming constructs, including C, C ++ It may be implemented in a programming or scripting language such as Java, an assembler, or the like.
  • the functional aspects may be implemented with an algorithm running on one or more processors.
  • the present invention may employ the prior art for electronic environment setting, signal processing, and / or data processing.
  • Terms such as 'mechanism', 'element', 'means' and 'configuration' can be widely used and are not limited to mechanical and physical configurations.
  • the term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.
  • 'essential', 'importantly' it may not be a necessary component for the application of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)

Abstract

본 발명의 일부 실시예는, 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법에 있어서, 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계; 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 단계; 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계; 제 1 핸드라이팅 및 제 2 핸드라이팅을 조합하는 단계; 및 조합 결과에 기초하여 필기 정보를 생성하는 단계를 포함할 수 있다.

Description

핸드라이팅 인식 방법 및 장치
본 발명은 단말과 관계된 기술로써, 특히 핸드라이팅을 인식하는 방법 및 장치에 관한 발명이다.
최근, 새로운 웨어러블 디바이스로서, 인텔리전트 글래스가 사람들의 관심을 끌고 있다. 인텔리전트 글래스와 같은 종류의 인텔리전트 디바이스는 일반적으로 키보드 또는 터치 스크린과 같은 입력 장치가 장착되어 있지 않다. 그러므로, 사람들은 오로지 목소리 또는 제스쳐를 통해 인텔리전트 디바이스를 사용할 수 있었다. 따라서, 인텔리전트 안경을 이용하여 텍스트 정보를 입력할 때 불편함이 존재하였다.
관련 기술은 사용자가 필기 표면에 필기 도구를 이용하여 필기한 것을 검색하는 방법을 제공한다. 관련 기술에서는 카메라를 이용하여 필기 도구의 말단을 추적하고, 필기 도구의 말단의 이동 궤적에 따라 핸드라이팅(즉, 핸드라이팅)을 판단한다.
그러나, 사용자의 필기 절차 도중 필기 도구를 들어올리는 펜업 액션(Pen-up action)에 의해 드러나는 필기 표면에서의 필기 도구의 말단의 수직 움직임은 일반적으로 매우 작다. 또한 카메라가 펜업 동작을 포착하기도 어렵다. 사용자의 펜업 상태에서, 필기 도구의 말단의 움직임은 어떤 핸드라이팅도 생성하지 않는다. 그러므로, 관련 기술에 따른 검색되는 핸드라이팅은 부정확하다.
추가적으로, 스마트폰과 같은 인텔리전트 디바이스가 핸드라이팅을 인식할 때 또한 정확도가 높지 않다.
그러므로, 사용자의 핸드라이팅을 정확하게 검출하는 해결 방안의 제공이 필요하다.
핸드라이팅을 정확하게 인식할 수 있는 방법이 필요하다.
본 발명은 인텔리전트 디바이스를 이용하여 핸드라이팅을 정확하게 인식하고, 검출함으로써, 필기 정보를 생성하는 방법을 제공하고자 한다.
본 발명은 사용자의 핸드라이팅을 정확하게 인식하고, 인식된 핸드라이팅에 기초하여 필기 정보를 생성할 수 있다.
도 1a는 일부 실시예에 따른, 핸드라이팅 정보를 인식하는 방법의 순서도를는 도시한다.
도 1b는 일부 실시예에 따른, 버튼에 의한 핸드라이팅 인식의 촉발 방법을 도시한다.
도 1c는 일부 실시예에 따른, 외부 컨트롤러를 이용한 핸드라이팅 인식의 촉발 방법을 도시한다.
도 1d 및 1e는 일부 실시예에 따른, 시각 초점(visual focusing)에 따라 필기 초점(writing focus)을 결정하는 방법을 도시한다.
도 1f 및 1g는 일부 실시예에 따른, 필기 도구의 말단의 위치에 따라 필기 초점을 결정하는 방법을 도시한다.
도 1h 및 1i는 일부 실시예에 따른, 로컬 필기 영역의 선택을 도시한다.
도 1j 및 1k는 일부 실시예에 따른, 로컬 필기 영역의 검색을 도시한다.
도 1l 및 1m는 일부 실시예에 따른, 변화된 핸드라이팅을 도시한다.
도 1n는 일부 실시예에 따른, 손으로 필기된 컨텐츠를 연속적으로 촬영한 이미지 프레임들을 도시한다.
도 1o 및 1p는 일부 실시예에 따른, 핸드라이팅의 조합을 도시한다.
도 1q 내지 1s는 일부 실시예에 따른, 변화된 핸드라이팅의 내부 픽셀들의 시간 시퀀스 정보를 획득하는 프로세스를 도시한다.
도 1t, 1u, 1v 및 1w는 일부 실시예에 따른, 전체 핸드라이팅을 각각 도시한다.
도 2a는 일부 실시예에 따른, 핸드라이팅을 인식하는 방법을 도시한다.
도 2b 및 2c는 일부 실시예에 따른 이미지 전처리(pre-processing)를 도시한다.
도 3a는 본 개시의 일부 실시예에 따른, 핸드라이팅을 인식하는 방법을 도시한다.
도 3b 및 도 3c는 일부 실시예에 따른, 로컬 핸드라이팅에 대한 향상 프로세스를 도시한다.
도 4a는 일부 실시예에 따른, 필기 도구의 등록을 도시한다.
도 4b 및 도 4c는 일부 실시에에 따른, 필기 도구의 말단의 모양의 등록을 도시한다.
도 5는 일부 실시예에 따른, 핸드라이팅을 인식하는 방법의 순서도를 도시한다.
도 6은 일부 실시예에 따른, 전체 핸드라이팅 및 오디오 데이터를 연관되도록 저장하는 방법을 도시한다.
도 7a는 일부 실시예에 따른, 사용자의 핸드라이팅을 도시한다.
도 7b는 일부 실시예에 따른, 도 7a에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7c는 일부 실시예에 따른, 사용자의 핸드라이팅을 도시한다.
도 7d는 일부 실시예에 따른, 도 7c에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7e는 일부 실시예에 따른, 대체 식별자(replacement identifier)의 사용 방법을 도시한다.
도 7f는 일부 실시예에 따른, 도 7e에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7g는 일부 실시예에 따른, 대체 식별자의 사용 방법을 도시한다.
도 7h는 일부 실시예에 따른, 도 7g에 따라 생성된 레이아웃 정보를 포함하는 필기 정보를 도시한다.
도 7i는 일부 실시예에 따른, 도 7e에 따라 생성된 이미지 파일 포맷의 필기 정보를 도시한다.
도 7j는 일부 실시예에 따른, 도 7c에 따라 생성된 이미지 파일 포맷의 필기 정보를 도시한다.
도 8은 일부 실시예에 따른, 핸드라이팅을 인식하는 장치의 구조를 도시하는 블록도이다.
도 9는 일부 실시예에 따른, 핸드라이팅을 인식하는 전기적 디바이스의 구조를 도시하는 블록도이다.
도 10은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법의 순서도를 도시한다.
도 11은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스의 구조를 도시한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일부 실시예는 핸드라이팅 정보의 인식의 정확도를 증가시키고, 인식된 핸드라이팅에 기초하여 필기 정보를 생성하는 방법 및 장치를 제공한다
일부 실시예에 따르면, 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법에 있어서, 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계; 상기 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 상기 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 단계; 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계; 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하는 단계; 및 상기 조합 결과에 기초하여 필기 정보를 생성하는 단계를 포함할 수 있다.
상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하는 단계는, 사용자의 시각 초점을 추적하는 단계; 및 상기 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계를 포함할 수 있다.
상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하는 단계는, 필기 도구의 말단을 추적하는 단계; 상기 필기 도구의 말단의 위치를 결정하는 단계; 및 상기 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계를 포함할 수 있다.
상기 필기 도구의 말단의 위치를 결정하는 단계는, 상기 사용자로부터 상기 필기 도구의 말단의 모양에 대한 정보를 획득하는 단계; 상기 입력된 정보에 기초하여, 상기 촬영된 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 프레임 내의 필기 도구의 말단을 검출하는 단계; 및 상기 검출 결과에 기초하여 상기 필기 도구의 말단의 위치를 결정하는 단계를 포함할 수 있다.
상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는, 사용자에 의해 입력된 핸드라이팅의 색상에 관한 정보에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계를 포함할 수 있다.
상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는, 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계를 포함할 수 있다.
상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하는 단계는 상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅을 비교하는 단계; 상기 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하는 단계; 및
상기 판단 결과에 기초하여, 변경된 핸드라이팅을 조합하는 단계를 포함할 수 있다.
상기 필기 정보는, 레이아웃 정보, 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함하고, 상기 필기 정보는 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장될 수 있다.
상기 레이아웃 정보는, 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함할 수 있다.
상기 방법은, 상기 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득하는 단계를 더 포함하고,
상기 필기 정보를 생성하는 단계는, 상기 획득된 오디오 데이터와 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 단계를 포함할 수 있다.
상기 획득된 오디오 데이터를 상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅과 대응되도록 상기 필기 정보를 생성하는 단계는, 상기 제 1 로컬 영역의 촬영 시간과 상기 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 단계를 포함할 수 있다.
상기 방법은, 멈춤 신호가 검출되는지 판단하는 단계; 및 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하는 단계를 더 포함할 수 있다.
상기 멈춤 신호가 검출되는지 판단하는 단계는, 상기 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 판단될 수 있다.
상기 방법은, 상기 모니터링 결과 재시작 신호가 검출되는지 판단하는 단계; 및 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작하는 단계를 포함할 수 있다.
상기 방법은, 종료 신호가 검출되는지 판단하는 단계; 및 상기 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료하는 단계를 더 포함할 수 있다.
상기 종료 신호가 검출되는지 판단하는 단계는, 상기 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 판단될 수 있다.
상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는, 상기 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용하는 단계를 더 포함할 수 있다.
상기 향상 프로세스를 적용하는 단계는, 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 프레임내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용될 수 있다.
상기 향상 프로세스를 적용하는 단계는, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 단계를 포함할 수 있다.
상기 신뢰도 평가 값은, 상기 제 1 핸드라이팅 또는 상기 제 2 핸드라이팅 내에 포함된 상기 선의 길이, 상기 선의 넓이, 상기 선의 곡률, 상기 선의 색상, 상기 선과 다른 선들간의 대응 위치 관계 및 연속성 및 상기 선과 필기도구의 끝의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일부 실시예는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일부 실시예는, 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스에 있어서, 사용자 입력을 수신하는 사용자 인터페이스부; 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 신호 획득부; 및 상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하고, 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하고, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하며, 상기 조합 결과에 기초하여 필기 정보를 생성하는 제어부를 포함할 수 있다.
상기 신호 획득부는, 사용자의 시각 초점을 추적하고,
상기 제어부는, 상기 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
상기 신호 획득부는, 필기 도구의 말단을 추적하고, 상기 제어부는, 상기 필기 도구의 말단의 위치를 결정하고, 상기 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
상기 사용자 인터페이스부는, 상기 사용자로부터 상기 필기 도구의 말단의 모양에 대한 정보를 수신하고, 상기 제어부는, 상기 입력된 정보에 기초하여, 상기 촬영된 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 프레임 내의 필기 도구의 말단을 검출하고, 상기 검출 결과에 기초하여 상기 필기 도구의 말단의 위치를 결정할 수 있다.
상기 사용자 인터페이스부는, 사용자로부터 핸드라이팅의 색상에 관한 정보를 수신하고, 상기 제어부는, 상기 핸드라이팅의 색상에 관한 정보에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
상기 제어부는, 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
상기 제어부는, 상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅을 비교하고, 상기 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하며, 상기 판단 결과에 기초하여, 변경된 핸드라이팅을 조합할 수 있다.
상기 필기 정보는, 레이아웃 정보, 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함하고, 상기 필기 정보는 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장될 수 있다.
상기 레이아웃 정보는, 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함할 수 있다.
상기 신호획득부는, 상기 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득하고, 상기 제어부는, 상기 획득된 오디오 데이터와 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅이 대응되도록 상기 필기 정보를 생성할 수 있다.
상기 제어부는, 상기 제 1 로컬 영역의 촬영 시간과 상기 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 상기 필기 정보를 생성할 수 있다.
상기 제어부는, 멈춤 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하도록 상기 신호 획득부를 제어할 수 있다.
상기 제어부는, 상기 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호의 수신 여부를 판단할 수 있다.
상기 제어부는, 상기 모니터링 결과 재시작 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작할 수 있다.
상기 제어부는, 종료 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료할 수 있다.
상기 제어부는, 상기 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호의 검출 여부를 결정할 수 있다.
상기 제어부는, 상기 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용할 수 있다.
상기 향상 프로세스는, 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용될 수 있다.
상기 향상 프로세스는, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거할 수 있다.
상기 신뢰도 평가 값은, 상기 제 1 핸드라이팅 또는 상기 제 2 핸드라이팅 내에 포함된 상기 선의 길이, 상기 선의 넓이, 상기 선의 곡률, 상기 선의 색상, 상기 선과 다른 선들간의 대응 위치 관계 및 연속성 및 상기 선과 필기도구의 끝의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 ‘...부’, ‘모듈’ 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 단말 및 인텔리전트 디바이스는 송신 기능이 없는 무선 신호 수신기만을 포함하는 것이 아닌, 양방향 통신 링크를 통해 양방향 송신 및 수신이 수행될 수 있는 송신 및 수신 하드웨어 하드웨어를 포함하는 디바이스들을 포함할 수 있다. 단말 및 인텔리전트 디바이스는 단일 라인 디스플레이 또는 멀티 라인 디스플레이를 포함하는 무선 전화(Cellular)또는 다른 통신 디바이스를 포함할 수 있다. 단말 및 인텔리전트 디바이스는 음성, 데이터 처리, 패스 및/또는 데이터 통신 기능을 포함하는 개인 통신 서비스(Personal communication Service: PCS)를 포함할 수 있다. 단말 및 인텔리전트 디바이스는 퍼스널 디지털 어시스턴트(Personal Digital Assistant: PDA), RF(Radio Frequency) 수신기, 호출기(Pager), 인터넷/인트라넷 방문(internet/intranet visit) 기기, 네트워크 브라우저, 노트북 캘린더 및/또는 GPS(Global Positining System) 수신기를 포함할 수 있다. 단말 및 인텔리전트 디바이스는 RF 수신기를 포함하는 랩탑 및/또는 팜(Palm) 컴퓨터를 포함하는 랩탑 및/또는 팜 컴퓨터 또는 다른 디바이스들을 포함할 수 있다. 또한 단말 및 인텔리전트 디바이스는 헤드 웨어러블 디바이스(인텔리전트 글래스, 인텔리전트 헬멧과 같은), 스마트 팔찌, 스마트 워치 등을 포함할 수 있다. 단말 및 인텔리전트 디바이스는 휴대 가능하고, 수송 가능하며, 자동차(하늘, 바다 및/또는 육지)에 설치될 수 있고, 지역적으로 또는 지구 및/또는 우주의 어떤 위치에서 분산된 방식으로 동작하도록 적용될 수 있다. 단말 및 인텔리전트 디바이스는 PDA, 모바일 인터넷 디바이스(Moblie Internet Device: MID) 및/또는 음악/비디오 재생 기능을 갖는 모바일 폰 또는 인텔리전트 글래스, 스마트 팔찌, 스마트 워츠 등과 같은 통신 단말, 인터넷 단말, 음악/비디오 플레이어 단말을 포함할 수 있다.
명세서 전체에서 서버라 함은, 단일 서버, 서버의 집합체, 클라우드 서버등을 포함할 수 있으며, VOIP 서비스, 컨텐트 제공 서비스 등의 서비스를 제공하는 서비스 서버를 포함할 수 있다. 다만 상기 예시에 제한되지 않는다.
본 명세서에서는, 인텔리전트 디바이스가 실시간으로 검색된 필기 초점을 추적하고, 로컬 필기 영역을 촬영하고, 로컬 핸드라이팅을 획득한다. 로컬 핸드라이팅을 조합함으로써, 전체 핸드라이팅을 획득한 후, 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식한다. 검색된 핸드라이팅은 이미 필기 표면에 필기된 사용자의 핸드라이팅으로, 사용자의 펜업(pen-up), 펜다운(pen-down)의 움직임과는 관계 없기 때문에, 필기 도구 말단의 이동 궤적에 따른 핸드라이팅 검색이 부정확하다는 문제점을 방지할 수 있고, 사용자의 핸드라이팅을 인식하는 정확도가 증가한다.
추가적으로, 인텔리전트 디바이스는 로컬 필기 영역을 촬영하기 때문에, 촬영된 이미지 프레임으로부터 핸드라이팅의 검색이 용이하게 되고, 핸드라이팅이 촬영된 때 핸드라이팅이 두껍고 부정확한 관련 기술의 문제점을 회피하면서도 핸드라이팅이 촬영된 이미지 프레임에 명백하도록 보장된다.
본 명세서에서, 핸드라이팅은 사용자가 손으로 필기한 글자, 숫자, 선, 점 등의 모든 컨텐츠를 포함할 수 있으며, 상기 예시에 제한되지 않는다. 다시 말해서, 핸드라이팅은 필기 도구에 의해 생성되는 소정의 길이, 넓이 및 색상을 나타내는 선들 또는 선들의 집합을 나타낸다. 선은 직선 또는 곡선일 수 있다.
본 명세서에서, 로컬 핸드라이팅은 전체 핸드라이팅 중 일부의 핸드라이팅을 의미할 수 있으며, 로컬 필기 영역에서 검출된 핸드라이팅을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
본 명세서에서, 전체 핸드라이팅은 로컬 핸드라이팅이 결합된 핸드라이팅을 의미할 수 있다. 예를 들면, 전체 핸드라이팅은 사용자가 필기 표면에 필기한 모든 컨텐츠 또는 인텔리전트 디바이스에 의해 소정의 단위(예를 들면, 라인 단위)마다 결합된 핸드라이팅을 포함할 수 있다. 물론 상기 예시에 제한되지 않는다.
본 명세서에서 필기 정보는 사용자의 핸드라이팅에 기초하여 인텔리전트 디바이스가 생성한 데이터 또는 정보를 포함할 수 있다. 필기 정보는 워드 파일과 같은 문서 포맷의 파일, 이미지 포맷의 파일, 비디오 포맷의 파일, 오디오 포맷의 파일 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
이하에서는 본 개시의 기술적 해결 방안들을 첨부된 도면들을 참조하여 자세하게 설명한다.
실시예 1
본 개시의 실시예 1은 사용자의 핸드라이팅을 인식하는 방법을 제공한다. 실시예 1은 인텔리전트 디바이스에 의해 구현될 수 있다. 도 1a에서 도시된 바와 같이, 실시예 1은 아래의 단계들을 포함할 수 있다.
블록 S101에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점이 추적하고, 로컬 핸드라이팅 영역을 촬영할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자에 의해 입력된 핸드라이팅 인식 시작 지시가 수신된 이후, 사용자의 필기 절차를 연속적으로 촬영할 수 있다. 다시 말해서, 실시간으로 검출된 필기 초점 추적을 통해 로컬 필기 영역이 촬영될 수 있다.
사용자가 필기를 시작할 때, 핸드라이팅 인식 시작 지시는 다양한 방식에 의해 생성될 수 있다. 예를 들면, 핸드라이팅 인식 시작 지시는 음성, 버튼, 제스쳐, 증강 현실과 같은 인간 - 컴퓨터 상호 작용 인터페이스 및 외부 컨트롤러(즉, 인텔리전트 디바이스와 관련 있는, 핸드폰과 같은 리모트 제어 기능을 가진 디바이스)에 의해 생성될 수 있다.
만약, 핸드라이팅 인식 시작 지시가 음성에 의해 시작되는 경우, 사용자가 ‘핸드라이팅 인식 시작’과 같은 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시를 수신하고, 음성 지시가 핸드라이팅 인식 시작 지시인지를 판단하기 위해 음성 지시에 따라 음성 인식을 시작하며, 핸드라이팅 인식 동작을 시작한다. 음성 지시는 ‘시작 핸드라이팅 인식’, ‘핸드라이팅 인식 시작’, ‘인식 시작’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들을 포함할 수 있으며, 상기 예시에 제한되지 않는다. 또한, 음성 지시와 핸드라이팅 인식 시작 지시 간의 대응 관계는 음성 지시와 핸드라이팅 인식 시작 지시를 연관짓기 위해 인텔리전스 디바이스 내에 대응 테이블과 같은 형태로 저장될 수 있다. 물론 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 핸드라이팅 인식 시작 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
핸드라이팅 인식 시작 지시가 버튼에 의해 시작될 수도 있다. 일부 실시예에 따르면, 버튼은 홈버튼, 소리 조절 버튼, 파워 버튼, 프로그램 조절 버튼, 새롭게 추가된 버튼 또는 도 1b에 도시된 바와 같은 버튼과 같은 하드웨어 버튼 또는 소프트웨어로 구현된 소프트웨어 버튼 일 수도 있으며, 인텔리전트 디바이스의 사용자 인터페이스(User interface)일 수도 있다. 물론 상기 예시에 제한되지 않는다. 사용자가 소정의 방식에 따라 버튼을 누르면, 인텔리전트 디바이스는 핸드라이팅 인식 시작 지시를 수신하였다고 판단할 수 있다. 소정의 방식은 짧게 누르기, 길게 누르기, 소정의 횟수를 짧게 누르기 또는 짧게 및 길게 번갈아 가며 누르는 등의 방식을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
만약, 핸드라이팅 인식 시작 지시가 제스쳐에 의해 시작되는 경우, 제스쳐는 한손 또는 두손에 의해 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 인텔리전트 디바이스는 기존의 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다. 인텔리전트 디바이스는 인식된 제스쳐에 따라 핸드라이팅 인식 시작 지시가 수신되었다고 판단할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역을 촬영하는 핸드라이팅 인식 시작 지시가 외부 컨트롤러(예를 들면, 인텔리전트 디바이스와 연결된 셀룰러폰)로부터 수신될 수도 있다. 인텔리전트 디바이스와 외부 컨터롤러의 연결은 물리적 연결(도 1c에 도시된 바와 같이)일 수도 있고, 매크로 네트워크(Macro network), WiFi(Wireless Fidelity) 네트워크, 로컬 영역 네트워크(Local Area Network) 중 적어도 하나의 네트워크를 통한 무선 연결일 수도 있으며, 상기 예시에 제한되지 않는다. 또한 외부 컨트롤러의 지시는 적외선 지시(Infrared instruction) 또는 셀룰러폰에 의해 송신되는 메시지일 수도 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 핸드라이팅 인식 시작 지시가 사용되지 않을 수도 있다. 예를 들면, 인텔리전트 디바이스는 항상 핸드라이팅을 인식하는 상태일 수도 있다.
일부 실시예에 따르면, 필기 초점은 아래의 방법들 중 하나의 방법에 의해 결정될 수 있으나, 하기 예시에 제한되지 않는다.
첫번째 방법은, 필기 초점은 실시간으로 검출되는 시각 초점을 추적함으로써 추적될 수 있다. 첫번째 방법은 인텔리전트 글래스와 같은 헤드 웨어러블 디바이스에 의해 구현될 수 있으나 상기 예시에 제한되지 않으며, 시각 초점을 추적할 수 있는 모든 디바이스에서 수행될 수 있다.
도 1d 및 도 1e에 도시된 바와 같이 사용자의 필기 절차 동안, 일반적으로 시각 초점은 필기 초점과 함께 움직인다. 사용자가 필기 할 때, 필기 영역이 시야 내에 포함될 수 있다. 그러므로, 필기 초점은 사용자의 시각 초점에 따라 결정될 수 있다.
일부 실시예에 따르면, 시각 초점은 사용자의 머리 자세를 검출하는 방식 및/또는 사용자의 안구 활동을 실시간으로 검출하는 방식에 의해 검출될 수 있다. 또한 일부 실시예에 따르면, 검출된 머리 자세 및/또는 검출된 안구 활동에 기초하여 인텔리전트 디바이스가 시각 초점이 결정할 수도 있다. 예를 들면, 사용자의 얼굴의 방향이 검출된 머리 자세에 따라 결정될 수도 있고, 사용자의 눈의 방향이 사용자의 안구 활동에 따라 결정될 수도 있다. 인텔리전트 디바이스는 얼굴의 방향 및/또는 눈의 방향에 따라 사용자의 시각 초점이 결정할 수 있다. 머리 자세는 인텔리전트 디바이스에 포함된 또는 별도로 구비된 머리 자세를 검출하기 위한 검출 디바이스를 통해 검출될 수 있고, 안구 활동 또한 인텔리전트 디바이스에 포함된 또는 별도로 구비된 안구 활동 검출 디바이스에 의해 검출될 수 있다.
예를 들면, 사용자가 ‘Today's weather is very good’를 필기하는 동안, 인텔리전트 글래스는 사용자의 시각 초점이 ‘g’라는 글자인 것을 검출하고, 필기 초점이 ‘g’라고 결정할 수 있다.
두번째 방법으로, 필기 초점은 필기 도구의 말단을 추적함으로써 추적될 수 있이다. 두번째 방법은 카메라가 구비된 인텔리전트 디바이스에 의해 구현될 수 있으나 상기 예시에 제한되지 않으며, 필기 도구의 말단을 추적할 수 있는 모든 디바이스에 의해 구현될 수 있다.
일부 실시예에 따르면, 사용자의 필기 절차 동안, 필기 초점은 필기 도구의 말단의 위치와 함께 움직일 수 있다. 도 1f 및 도 1h에서 도시된 바와 같이, 사용자의 필기 절차 동안 필기도구의 말단은 현재 로컬 필기 영역 내에 포함될 수 있다. 따라서, 필기 초점은 실시간으로 필기 도구의 말단의 위치를 검출함으로써 결정될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사전에 등록된 필기 도구의 말단의 모양에 따라 촬영된 이미지 프레임으로부터 필기도구의 말단을 인식한 후, 필기 도구의 말단의 위치를 판단함으로써, 필기 도구의 말단의 위치를 검출할 수 있다.
일부 실시예에 따르면, 손으로 필기 도구를 잡는 자세가 필기 도구의 말단의 위치를 결정하는데 사용될 수도 있다. 인텔리전트 디바이스는 필기 도구의 말단의 위치를 찾는 것을 돕기 위해 사람의 손을 검출함으로써, 손가락의 쥐는 방향을 결정할 수 있고, 손가락의 쥐는 방향에 따라 필기도구의 말단을 검출할 수 있다. 예를 들면, 인텔리전트 디바이스는 손가락 상단이 필기 도구의 말단으로부터 3cm 거리에 있고, 필기 도구와 필기 표면간의 각도가 60도인 것과 같은 유저 A의 필기 도구를 쥐는 습관이 검출할 수 있다. 인텔리전트 디바이스는 사용자의 손가락의 위치 C가 검출된 후, 손가락의 방향에 따라 손가락 상단의 방향을 결정할 수 있고, 필기 도구의 말단의 위치가 위치 C로부터 1.5cm에 놓여지는 것으로 판단될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 절차 동안 일반적인 사람들의 필기 도구를 쥐는 습관, 필기 도구의 말단과 필기 도구를 쥐는 위치 간의 거리의 범위와 같은 통계 자료를 수집함으로써 획득할 수 있다. 통계 자료는 실제 필기 도구의 말단을 검출하는 동안 필기 도구의 말단의 대략적인 범위를 결정하는데 참고자료로써 사용될 수 있다. 인텔리전트 디바이스는 통계 자료로써 결정된 대략적인 범위 내의 필기 도구의 말단의 모양을 검출할 수 있으며, 필기 도구의 말단을 검출하기 위한 영역이 줄어들고, 성공적인 위치 검출이 가능하다. 일부 실시예에 따르면, 통계 자료는 사용자의 입력, 서버 또는 다른 디바이스로부터의 입력, 인텔리전트 디바이스 내에 저장된 데이터 또는 정보로부터 획득할 수 있다.
나아가, 스마트 팔찌 또는 스마트 워치와 같은 웨어러블 디바이스에서도 상기에서 설명한 위치 검출을 돕는 방법이 사용될 수 있다. 예를 들면, 스마트 팔찌또는 스마트 워치와 같이 사용자의 손목에 있는 웨어러블 디바이스는 사용자가 쥐고 있는 필기 도구의 말단과의 거리가 8cm이고, 필기 도구와 팔목간의 각도가 30도인 것과 같은 유저 A의 필기 도구를 쥐는 습관을 검출할 수 있다. 또한 웨어러블 디바이스는 필기 절차 동안 손목이 오른쪽으로 움직이는 것을 검출할 수 있다. 따라서, 스마트 팔찌 또는 스마트 워치와 같은 웨어러블 디바이스의 위치에 기초하여 필기 도구의 말단의 위치가 결정될 수 있다. 일부 실시예에 따르면, 필기 절차 동안 일반적인 사람들의 필기 도구를 쥐는 습관을 포함하는 통계 자료에 의해 필기 도구의 말단의 위치가 결정될 수도 있다. 예를 들면, 팔목과 필기 도구의 말단 간의 거리는 일반적으로 5cm 내지 15cm이고, 팔목과 필기 표면간의 각도의 범위는 15도 내지 65도 일 수 있으며, 인텔리전트 디바이스는 상기와 같은 통계 자료를 실제 필기 도구의 말단을 검출하는 동안 필기 도구의 말단의 대략적인 범위를 결정하는데 참고자료로써 사용할 수 있다. 인텔리전트 디바이스는 통계 자료로써 결정된 대략적인 범위 내에서 필기 도구의 말단의 모양을 검출할 수 있으며, 필기 도구의 말단을 검출을 위해 조사가 필요한 영역이 줄어들게 되므로, 성공적인 위치 검출이 가능하다.
필기 초점이 검출된 이후, 실시간으로 검출된 사용자의 필기 초점의 변화에 따라 카메라의 촬영 초점이 조절될 수 있다. 일부 실시예에 따르면, 필기 도구의 말단의 위치는 필기 초점으로 선택될 수 있고, 필기 초점이 촬영을 위한 카메라의 촬영 초점으로 선택될 수 있다. 또한 일부 실시예에 따르면, 필기 도구의 말단의 위치에 오프셋(Offset)이 더해질 수 있으며, 오프셋이 더해진 위치가 필기 초점으로 선택되고, 필기 초점이 촬영을 위한 카메라의 촬영 초점으로 선택될 수 있이다. 오프셋은 사전에 수동으로 설정될 수 있이다. 예를 들어, 사용자의 필기 습관에 따라, 왼쪽 쉬프트(Left shift) 또는 오른쪽 쉬프트(Right shift)되도록 오프셋이 설정될 수 있다. 만약 사용자가 왼쪽에서 오른쪽으로 필기한다면, 인텔리전트 디바이스는 1cm 왼쪽으로 쉬프트되도록 오프셋을 설정할 수 있다. 만약 사용자가 오른쪽에서 왼쪽으로 필기한다면, 인텔리전트 디바이스는 1cm 오른쪽으로 쉬프트되도록 오프셋을 설정할 수 있다. 오프셋은 시간-가변(Time-variant)일 수 있다. 예를 들면, 오프셋은 인텔리전트 디바이스에 의해 검출된 시각 초점의 위치의 함수거나, 사용자의 머리 움직임에 대한 함수일 수 있다.
예를 들면, 사용자가 ‘Today's weather is very good’를 쓰고 있고, 인텔리전트 디바이스가 ‘g’라는 글자에서 필기 도구의 말단을 검출했다고 가정한다. 이 때, 인텔리전트 디바이스는 ‘g’라는 글자를 촬영을 위한 촬영 시점으로 선택하거나, ‘g’라는 글자에서 1cm 왼쪽으로 쉬프트한 ‘y’(very의 y)라는 글자를 촬영을 위한 촬영 시점으로 선택할 수 있다.
일부 실시예에 따르면, 촬영되는 로컬 필기 영역은 합리적인 크기를 가질 수 있다. 만약 촬영되는 로컬 필기 영역이 너무 크면, 카메라의 해상도에 비해 촬영된 이미지 프레임 내의 사용자의 핸드라이팅이 더 두꺼워 보일 수 있고, 이후의 핸드라이팅 검색에 좋지 않다. 만약 촬영되는 로컬 필기 영역이 너무 작으면, 이후의 핸드라이팅 조합에 좋지 않다. 로컬 필기 영역의 크기는 사용자의 입력에 의해 사전에 결정될 수 있다. 물론 인텔리전트 디바이스가 로컬 필기 영역의 크기를 설정하기 위한 정보를 서버로부터 수신할 수도 있으며, 상기 예시에 제한되지 않는다.
예를 들면, 로컬 필기 영역은 촬영 초점을 중심으로 사각형일 수 있으며, 사각형의 한 변의 길이는 2cm 일 수 있다. 또한 로컬 필기 영역은 촬영 절차 동안 실시간으로 변화하는 인텔리전트 헤드 웨어러블 디바이스와 같은 인텔리전트 디바이스와 필기 표면 간의 거리의 함수에 기초하여 결정될 수도 있다.
일부 실시예에 따르면, 도 1h 및 도 1i은 로컬 필기 영역의 선택을 도시한다. 도 1h에서 도시된 바와 같이 사용자의 필기 도구의 말단이 ‘g’에 위치할 수 있다. 필기된 컨텐츠를 명확하게 캡쳐하기 위하여, 인텔리전트 디바이스는 필기 초점을 획득하기 위해 캡쳐된 필기도구의 말단을 왼쪽으로 이동시키고, 선택된 사각형의 영역이 촬영을 위한 로컬 필기 영역으로 선택될 수 있다. 도 1i의 로컬 필기 영역의 선택 방법 또한 도 1h와 유사하다.
일부 실시예에 따르면, 사용자가 ‘Today's weather is very good’을 필기할 수 있다. 촬영 초점이 ‘g’ 문자에 있는 것으로 판단되면, 인텔리전트 디바이스는 ‘very good’을 포함하는 로컬 필기 영역의 이미지 프레임이 획득되도록 ‘g’ 문자를 중심으로 2cm 길이의 영역을 촬영할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역을 명확하게 캡쳐하기 위해 카메라의 촬영 파라미터(예를 들면, 초점. 초점 거리, 조리개, 확대, 화이트 밸런스)가 촬영 절차 동안 실시간으로 자기-적응적(self-adaptively)으로 조절될 수 있다.
예를 들면, 촬영 절차에서, 로컬 필기 영역이 촬영되는 때의 빛과 초점 상황들에 따라 카메라의 촬영 파라미터는 동적이고, 자기 적응적으로 변경될 수 있다. 빛이 약한 때에는, 카메라의 조리개가 확대되고, 만약 필기 표면이 상대적으로 카메라로부터 멀리 있는 경우, 카메라는 필기 표면에 초점을 가지도록 조절된다.
일부 실시예에 따르면, 인텔리전트 디바이스는, 로컬 필기 영역을 촬영하는 동안, 사용자의 머리 자세의 각도 변경을 검출함으로써, 카메라의 현재 방향 및 필기 표면과의 상대적인 위치를 결정하고, 현재 방향 및 카메라의 위치에 따라 카메라의 촬영 파라미터들을 조절할 수 있다. 사용자의 머리 움직임의 검출은 웨어러블 디바이스가 포함하는 센서에 의해 구현될 수 있다.
예를 들면, 만약 사용자가 인텔리전트 글래스와 같은 인텔리전트 디바이스를 쓰는 경우, 카메라의 방향이 360도 자유롭게 조정될 수 있고, 카메라는 안경 프레임이 고정되어 있기 때문에, 사용자의 눈들 및 머리의 방향은 카메라의 방향과 일치할 수 있다. 필기 절차 동안 만약 카메라가 인텔리전트 디바이스에 고정되어 있고, 인텔리전트 디바이스가 사용자의 머리가 30도 오른쪽으로 돈 것을 검출한 경우, 인텔리전트 디바이스는 카메라의 현재 방향을 오른쪽으로 30도 회전된 것으로 결정할 수 있다. 머리가 회전한 이후, 눈과 필기 표면간의 거리는 확실히 변경되었을 가능성이 높기 때문에, 인텔리전트 디바이스는 카메라의 초점이 필기 초점 근처에 있도록 각도의 변경 이전에 알고 있던 카메라의 초점 및 초점 거리, 및 회전된 각도에 기초하여 이동된 새로운 초점 및 초점 거리를 추정할 수 있다.
일부 실시예에 따르면, 촬영하는 동안, 이미지 프레임의 촬영 시간은 타임스탬프(time stamp)를 통해 기록될 수 있고, 촬영된 이미지 프레임들은 이미지 프레임 시퀀스를 형성하도록 촬영 시간에 따라 배열될 수 있다. 또한 촬영 시간에 따라 시퀀스를 이용하여 촬영된 이미지 프레임이 배열될 수도 있다. 예를 들면, 기록된 촬영 시간이 0.01초, 0.02초. 0.03초..., 2.95초, 3.00초라면, 촬영 시간의 타임 시퀀스에 따라 촬영시간과 대응되는 촬영 이미지 프레임들을 배열하기 위해 시퀀스 1, 2, 3, 4... 295, 300이 사용될 수 있다. 일부 실시예에 따르면, 오프라인 인식방법 보다 더 높은 인식 정확도를 가지는 온라인 핸드라이팅 인식방식이 이용될 수 있으며, 인텔리전트 디바이스는 온라인 핸드라이팅 인식방식을 이용하기 위해 사용자의 핸드라이팅의 타임 시퀀스 정보를 예약하고, 저장할 수 있다.
블록 S103에서, 로컬 핸드라이팅이 로컬 필기 영역의 촬영된 이미지 프레임로부터 검색된다.
일부 실시예에 따르면, 로컬 핸드라이팅은 핸드라이팅 색상 정보에 따라 로컬 필기 영역의 촬영된 이미지 프레임으로부터 검색된다. 도 1j 및 도 1k에서 도시된 바와 같이 로컬 필기 영역의 촬영 이미지 프레임은 왼쪽이다. 인텔리전트 디바이스는 핸드라이팅 색상 정보에 따라 오른쪽에 도시된 바와 같은 로컬 핸드라이팅을 검색할 수 있다.
로컬 필기 영역의 이미지 프레임로부터 로컬 핸드라이팅을 검색하는데는 아래의 두 방법이 적용될 수 있다. 다만 실시예에 따라 다른 방법이 적용될 수도 있으며, 하기 예시에 제한되지 않느다.
첫번째 방법으로, 사전에 등록된 필기 도구의 핸드라이팅 색상 정보에 따라 로컬 필기 영역의 이미지 프레임로부터 로컬 핸드라이팅이 검색될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사전에 등록된 필기 도구의 핸드라이팅 색상과 동일한 색상을 가지는 로컬 필기 영역의 이미지 프레임 내의 컨텐츠를 로컬 핸드라이팅으로써 검색될 수 있다. 컨텐츠란 앞서 설명한 바와 같이 점, 선, 글씨, 숫자, 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
예를 들면, 사전에 등록된 필기 도구의 핸드라이팅 색상이 빨간색이면, 로컬 필기 영역의 이미지 프레임 내의 빨간색 컨텐츠는 ‘Today's weather is very good’일 수 있다. 따라서, 인텔리전트 디바이스는 ‘Today's weather is very good’을 로컬 핸드라이팅 정보라고 인식하고, 검색할 수 있다.
일부 실시예에 따르면, 이진화 방식(A binarized manner)이 로컬 필기 영역의 이미지 프레임으로부터 로컬 핸드라이팅을 검색하는데 적용될 수 있다. 인텔리전트 디바이스는 필기 도구와 동일한 핸드라이팅 색상 정보를 가지는 현재 이미지 프레임 내의 픽셀들을 1로 식별하고, 다른 픽셀들을 0으로 식별할 수 있다. 인텔리전트 디바이스는 현재 이미지 프레임의 이진화된 이미지 내의 1로 식별된 모든 픽셀들을 검색하고, 검색된 픽셀들을 현재 이미지 프레임과 대응하는 로컬 필기 영역의 핸드라이팅으로써 선택할 수 있다.(즉, 현재 이미지 프레임의 로컬 핸드라이팅)
예를 들면, 사전에 등록된 필기 도구의 핸드라이팅 색상이 빨간색이고, 필기 표면의 색상이 하얀색인 경우, 로컬 필기 영역의 이미지 프레임 내의 빨간 영역은 ‘ Today's weather is very good’라는 컨텐츠이다. 인텔리전트 디바이스는 현재 이미지 프레임 내의 빨간 영역의 픽셀들은 1로 식별하고 다른 픽셀들(예를 들면, 하얀색의 픽셀들)은 0으로 식별할 수 있다. 인텔리전트 디바이스는 1로 식별된 모든 픽셀들은 검출함으로써, ‘Today's weather is very good’라는 핸드라이팅을 인식 및 획득할 수 있다.
두번째 방법으로, 핸드라이팅 색상과 필기 배경(필기 표면)의 색상 간의 색상 차에 따라 로컬 필기 영역의 이미지로부터 로컬 핸드라이팅이 검색될 수 있다.
일부 실시예에 따르면, 필기 표면과 핸드라이팅 간의 색상 차에 따라 로컬 필기 영역의 이미지 프레임에 이진화된 프로세싱이 수행될 수 있다. 이진화된 이미지 프레임을 획득하기 위해 하나의 종류의 색상로 커버되는 영역이 0으로 식별되고 다른 종류의 색상으로 커버되는 영역이 1로 식별될 수 있다. 이진화된 이미지 프레임에 기초하여 선형 이미지 영역(line-shaped image area)가 결정된다. 핸드라이팅은 보통 선형이기 때문에, 선형 이미지가 로컬 핸드라이팅으로써 검색될 수 있다.
예를 들어, 사용자가 ‘Today's weather is very good’을 검은 잉크의 필기 도구를 사용하여 하얀 종이에 필기한 경우, 인텔리전트 디바이스는 하얀색으로 커버되는 영역을 0으로 식별한다. 하얀색으로 커버되는 영역은 배경이고, 일반적으로 면형 영역(sliced-shaped area)이다. 또한 인텔리전트 디바이스는 검은색으로 커버되는 영역은 1로 식별할 수 있다. 검은색으로 커버되는 영역은 핸드라이팅이며 일반적으로 선형 영역이다. 이진화된 이미지 프레임에서, ‘Today's weather is very good’를 획득하기 위해 선형 영역이 검색된다. 다시말해서 인텔리전트 디바이스는 ‘Today's weather is very good’와 같은 문장을 로컬 핸드라이팅으로 검색할 수 있다.
일부 실시예에 따르면, 핸드라이팅이 결정된 이후, 핸드라이팅 영역 내의 모든 픽셀들이 1로 식별되고, 다른 픽셀들은 0으로 식별될 수 있다. 따라서, 최종적으로 획득된 이미지 프레임 내에는, 로컬 핸드라이팅의 픽셀들이 1로 식별되고, 배경 픽셀들은 0으로 식별된다.
일부 실시예에 따르면, 이미지 프레임내에 두가지 이상의 색상이 있을 수 있다. 이 경우, 이미지 프레임 내의 모든 픽셀들의 값을 평균 내고, 이진화된 이미지 프레임을 획득하기 위해 계산된 평균 값에 따라 현재 이미지 프레임에 이진화 프로세싱이 수행될 수 있다.
계산된 평균 값에 따라 이미지 프레임에 이진화 프로세싱을 수행하는 방법은 아래와 같다. 인텔리전트 디바이스는 이미지 프레임 내의 각 픽셀에서, 계산된 평균 값보다 작은 픽셀은 0으로 식별하고 그렇지 않은 픽셀은 1로 식별한다. 그러므로, 이미지 프레임은 1로 식별된 픽셀들로 구성되는 이미지 영역과 0으로 식별된 픽셀들로 구성되는 이미지 영역으로 분할된다(이진화된 이미지). 그 후, 각 이미지 영역의 모양이 판단되고, 선형 이미지 영역이 로컬 핸드라이팅으로 판단된다.
예를 들면, 예를 들어, 사용자가 ‘Today's weather is very good’을 검은 잉크의 필기 도구를 사용하여 하얀 종이에 필기할 수 있다. 하얀 종이는 노란색 영역을 가지거나, 하얀 종이의 일부 영역이 빛나기 때문에 노란 빛을 반사한다. 인텔리전트 디바이스는 사용자의 손으로 필기된 컨텐츠를 촬영한 후, 이미지 프레임을 획득한다. 이미지 프레임은 하얀색 종이의 영역, 검은 핸드라이팅인 ‘ Today's weather is very good’ 도시된 영역을 포함할 뿐만 아니라, 하얀 종이의 노란색 영역 또한 포함할 수 있다. 하얀색 및 노란색 픽셀들이 평균 값보다 작다고 가정하고, 검은색 픽셀들이 평균값보다 크다고 가정한다. 인텔리전트 디바이스는 이진화된 이미지 프레임을 획득하기 위해 하얀색 및 노란색으로 커버되는 영역은 0으로 식별하고, 검은색으로 커버되는 영역은 1로 식별한다. 이진화된 이미지 프레임에서, 1로 식별된 영역은 선형 영역이며, 인텔리전트 디바이스는 ‘Today's weather is very good’와 같은 로컬 핸드라이팅 문장을 획득하기 위해 선형 영역을 검색할 수 있다.
일부 실시예에 따르면, 핸드라이팅의 필기 정보에 따라 손으로 필기한 정보가 검색되기 때문에, 사용자의 핸드라이팅이 필기 표면과 색상이 상이한 경우라면, 사용자는 필기를 위해 어떤 필기 표면에라도 일반적인 필기 도구를 사용할 수 있으며, 사용자가 손으로 필기한 정보를 편리하게 인식할 수 있으므로, 사용자 경험이 개선된다.
블록 S105에서, 전체 핸드라이팅을 획득하기 위해 검색된 로컬 핸드라이팅을 조합한다.
전체 핸드라이팅을 획득하기 위해서는 아래의 방법들에 따라 검색된 로컬 핸드라이팅이 조합될 수 있다. 물론 하기의 예시에 제한되지 않는다.
첫번째 방법으로, 현재 이미지 프레임의 변화된 핸드라이팅을 판단하기 위해 현재 이미지 프레임으로부터 검색된 로컬 핸드라이팅 및 이전 이미지 프레임에서 검색된 로컬 핸드라이팅이 비교된다. 전체 핸드라이팅을 획득하기 위해 모든 이미지 프레임들의 변화된 핸드라이팅이 조합된다. 변화된 핸드라이팅은 이전 이미지 프레임 내에는 존재하지 않았으나, 현재 이미지 프레임에 존재하는 핸드라이팅을 나타낼 수 있다.
일부 실시예에 따르면, 현재 이미지 프레임에서 변화된 핸드라이팅을 판단하기 위해 현재 이미지 프레임으로부터 검색된 로컬 핸드라이팅 및 이전 이미지 프레임에서 검색된 로컬 핸드라이팅을 비교하는 프로세스는 아래의 단계들을 포함할 수 있다. 인텔리전트 디바이스는 핸드라이팅이 겹치는 부분에 따라, 현재 이미지 프레임의 로컬 핸드라이팅의 이진화된 이미지 프레임 및 이전 이미지 프레임의 로컬 핸드라이팅의 이진화된 이미지 프레임을 비교할 수 있다. 인텔리전트 디바이스는 현재 이미지 프레임 내에 존재하지만 이전 이미지 프레임 내에는 존재하지 않는 핸드라이팅을 이전 이미지 프레임과의 관계에서 변화된 핸드라이팅(즉, 현재 이미지 프레임의 변화된 핸드라이팅)으로 판단할 수 있따. 로컬 핸드라이팅의 이진화된 이미지 프레임은 블록 S103에서 설명했던 이진화 프로세싱 방식 중 하나에 따라 획득될 수 있다.
예를 들면, 도 1l 및 도 1m은 각각 변화된 핸드라이팅 도시한다. 도 1l에서 도시된 바와 같이 왼쪽 사각형은 t번째 이미지 프레임을 도시하고, 오른쪽 사각형은 t+1번째 이미지 프레임을 도시한다(t는 정수). 두 이미지 프레임은 핸드라이팅이 겹치는 부분에 따라 비교된다. t번째 이미지 프레임에 상대적으로 t+1번째 이미지 프레임의 추가된 컨텐츠는 ay 글자이다. 물론 도 1m과 같이 글자의 일부(선 또는 획)이 추가된 컨텐츠일 수도 있다.
다른 실시예에서, 사용자가 ‘Today's weather is very good’을 하얀 종이에 필기한다. 필기 절차 동안, 인텔리전트 디바이스는 연속적인 두개의 이미지 프레임을 캡쳐하고, 첫번째 이미지 프레임은 하얀 종이 위에 필기된 ‘Today's weather is very’ 도시하고, 두번째 이미지 프레임은 ‘Today's weather is very good’을 도시한다. 두 이미지 프레임들의 로컬 핸드라이팅은 각각 ‘ Today's weather is very ‘와 ‘ Today's weather is very good ‘이다. 두 이미지 프레임은 핸드라이팅이 겹치는 부분에 따라 비교된다. 두번째 이미지 프레임은 첫번째 이미지 프레임에 비해 추가적인 핸드라이팅인 ‘good’을 포함하고 있다. 즉, 두번째 이미지 프레임에서 증가된 핸드라이팅은 ‘good’이다. 물론 상기 실시예는 구문, 단어 단위로 이미지 프레임이 캡쳐된 실시예이며, 도 1n에 도시된 바와 같이 하나의 글씨를 작성하는 때, 복수개의 이미지 프레임이 도시될 수도 있다. 즉, 각 이미지 프레임의 핸드라이팅 증가가 상대적으로 짧을 수도 있다. 또한 이전의 이미지 프레임에 비해 나중의 이미지 프레임에 추가된 컨텐츠는 나중의 이미지 프레임의 변화된 핸드라이팅이다.
일부 실시예에 따르면, 변화된 핸드라이팅이 획득된 이후, 각 이미지의 변화된 핸드라이팅이 타임 시퀀스 정보를 포함하는 전체 핸드라이팅 정보를 획득하기 위해 각 이미지 프레임의 변화된 핸드라이팅의 타임 시퀀스에 따라 차례로 연결될 수 있다.
예를 들면, 사용자가 하얀색 종이에 검은 잉크 필기 도구로 ‘od’을 기재할 때, 네개의 연속적인 이미지 프레임이 캡쳐될 수 있다. 직관적인 선으로 설명하자면, ‘od’라는 글자를 기재할 때의 4개의 프레임의 변화된 핸드라이팅은 각각 ‘왼쪽 반 동그라미’, ‘오른쪽 반 동그라미’, ‘왼쪽 반 동그라미’, ‘직선’ 수 있다. 전체 핸드라이팅인 ‘od’ 글자를 얻기 위해 연속적인 이미지의 타임 시퀀스에 따라 모든 변화된 핸드라이팅이 연결된다.
일부 실시예에 따르면, 이미지 프레임들 간의 인터벌은 소정의 길이보다 길지 않고, 각 이미지 프레임의 변화된 핸드라이팅이 하나의 선을 포함할 수 있다. 도 1n은 ‘d’ 글자가 쓰여질 때의 네개의 이미지 프레임을 도시한다. 인텔리전트 디바이스는 핸드라이팅으로 구성된 글자 ‘d’를 획득하기 위해 연속적인 이미지 프레임들의 타임 시퀀스 정보에 따라 4개의 이미지 프레임의 변화된 핸드라이팅을 조합할 수 있다.
변화된 핸드라이팅의 타임 시퀀스 관계는 아래의 방법에 의해 획득될 수 있으나, 하기 예시에 제한되지 않는다.
일부 실시예에 따르면, 인텔리전트 디바이스는 상이한 프레임들 간의 변화된 핸드라이팅들의 타임 시퀀스 관계를 획득하기 위해 타임 시퀀스에 따라 각 이미지 프레임을 차례로 처리할 수 있다. 예를 들면, 인텔리전트 디바이스는 현재 이미지 프레임에 기록된 타임 스탬프와 현재 이미지 프레임과 근접한 이미지 프레임 간의 타임 시퀀스 정보에 따라, 현재 이미지 프레임의 변화된 핸드라이팅과 대응되는 타임 스탬프 및 현재 이미지 프레임의 변화된 핸드라이팅과 근접한 이미지 프레임의 변화된 핸드라이팅 간의 타임 시퀀스 관계를 획득할 수 있다.
도 1o 및 도 1p는 각각 변화된 핸드라이팅을 조합하는 방법을 도시한다. 도 1o에서 도시된 바와 같이 각 사각형은 이미지 프레임을 나타낸다. 사용자는 왼쪽에서 오른쪽으로 ‘Today’s weather is very good’을 기재한다. 인텔리전트 디바이스는 타임 시퀀스에 따라 복수의 이미지 프레임을 획득하기 위해 왼쪽부터 오른쪽으로 촬영하고, 각 이미지 프레임의 타임시퀀스 정보를 기록한다. 예를 들면, 모든 이미지 프레임들의 타임 스탬프 획득을 위해, 인텔리전트 디바이스는 왼쪽의 첫번째 이미지 프레임의 촬영 타임 스탬프는 2014년 10월 31일 14:10:04로 기록하고, 왼쪽의 두번째 이미지 프레임의 촬영 타임 스탬프는 2014년 10월 31일 14:10:15 등등으로 기록할 수 있다. 그 이후, 인텔리전트 디바이스는 이미지 프레임들의 타임 스탬프들의 시퀀스에 따라 이미지 프레임들의 변화된 핸드라이팅을 조합할 수 있다. 도 1p의 조합 방식 도한 도 1o와 유사하다.
나아가, 타임시퀀스 정보가 상대적인 정보에 의해 표현될 수 있다. 예를 들면, 도 1o에서 사용자는 왼쪽에서 오른쪽으로 ‘Today’s weather is very good’을 기재한다. 인텔리전트 디바이스는 타임 시퀀스에 따라 복수의 이미지 프레임을 획득하기 위해 왼쪽부터 오른쪽으로 촬영한다. 인텔리전트 디바이스는 왼쪽으로부터 오른쪽으로 증가 인덱스(increasing index) 또는 감소 인덱스(decreasing index)로 각 이미지 프레임의 타임시퀀스 정보를 기록할 수 있다. 예를 들면, 인텔리전트 디바이스는 모든 이미지 프레임들의 인덱스들을 획득하기 위해 왼쪽의 첫번째 이미지프레임의 프레임 인덱스는 1로 기록할 수 있고, 왼쪽에서 두번째 이미지 프레임의 프레임 인덱스는 2 등으로 기록할 수 있다. 그 이후, 인텔리전트 디바이스는 이미지 프레임들의 프레임 인덱스들에 의해 표현되는 타임 시퀀스에 따라 이미지 프레임들의 변화된 핸드라이팅을 조합할 수 있다.
추가적으로, 변화된 핸드라이팅의 타임 시퀀스는 현재 이미지 프레임의 변화된 핸드라이팅의 내부 픽셀들 간의 타임 시퀀스 관계를 더 포함할 수 있다. 현재 이미지 프레임의 변화된 핸드라이팅의 내부 픽셀들 간의 타임 시퀀스 관계는 아래의 방법들 중 하나에 의해 결정될 수 있으나, 하기 예시에 제한되지 않는다.
첫번째 방법으로, 현재 프레임의 변화된 핸드라이팅이 이전 프레임들의 조합된 핸드라이팅과 연결되는 경우, 인텔리전트 디바이스는 연결 지점을 현재 프레임의 변화된 핸드라이팅의 시작 지점으로 선택하고, 연결 포인트와 연결된 선(stroke)의 다른 지점을 종료 지점으로 선택할 수 있다. 시작 지점과 종료 지점 간의 픽셀들은 순서대로 인덱싱될 수 있다.
도 1q에서 도시된 바와 같이 왼쪽 사각형은 t번째 이미지 프레임을 나타내며, 오른쪽 사각형은 t+1번째 이미지 프레임을 나타낸다. a 지점 및 b 지점 간의 핸드라이팅은 t+1 번째 프레임의 변화된 핸드라이팅이다. t+1번째 프레임의 변화된 핸드라이팅은 조합된 이전 프레임의 핸드라이팅과 지점 a에서 연결된다. t+1번째 프레임의 변화된 핸드라이팅 내에서, 인텔리전트 디바이시는 지점 a를 시작 지점으로, 지점 b를 종료 지점으로 선택할 수 있다. t+1번째 프레임의 변화된 핸드라이팅 내의 타임 시퀀스 정보를 획득하기 위해 지점 a 및 지점 b간의 픽셀들은 순차적으로 인덱싱될 수 있다.
두번째 방법으로, 현재 이미지 프레임의 변화된 핸드라이팅이 조합된 이전 이미지 프레임들의 핸드라이팅과 연결되어 있지 않은 경우, 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅과 조합된 이전 이미지 프레임들의 조합된 핸드라이팅에서의 각 선의 말단 지점 간의 가장 짧은 거리를 계산하고, 현재 이미지 프레임의 변화된 핸드라이팅의 가장 짧은 거리를 가지는 선의 말단 지점을 시작 지점으로 선택하고, 선의 다른 말단 지점을 종료 지점으로 선택할 수 있다. 시작 지점 및 말단 지점 간의 픽셀들은 순서대로 인덱싱될 수 있다.
도 1r에 도시된 바와 같이, c 지점과 d 지점 간의 해드라이팅이 t+1 번째 이미지 프레임의 변화된 핸드라이팅이다. t+1번째 이미지 프레임의 변화된 핸드라이팅은 조합된 이전 이미지 프레임들의 핸드라이팅과 연결되지 않는다. 인텔리전트 디바이스는 c 지점과 조합된 이전 이미지 프레임들의 핸드라이팅 간의 가장 짧은 거리 및 d 지점과 이전 이미지 프레임들의 핸드라이팅 간의 가장 짧은 거리를 각각 계산한다. 인텔리전트 디바이스는 계산 결과에 기초하여 c 지점과 조합된 이전 프레임들의 핸드라이팅 간의 거리가 상대적으로 짧다는 것을 알 수 있다. 그러므로, 인텔리전트 디바이스는 c 지점을 시작 지점으로 선택할 수 있고, d 지점을 종료 지점으로 선택할 수 있다. t+1 이미지 프레임의 변화된 핸드라이팅 내의 타임 시퀀스 정보를 획득하기 위해 지점 c 및 지점 d 간의 픽셀들은 순차적으로 인덱싱 될 수 있다.
세번째 방법으로, 만약 현재 프레임의 변화된 핸드라이팅이 적어도 두 개의 선을 포함하는 경우, 인텔리전트 디바이스는 현재 프레임의 변화된 핸드라이팅 내의 각 선의 각 말단 지점과 조합된 이전 프레임들의 핸드라이팅 간의 가장 짧은 거리를 계산하고, 가장 짧은 거리를 가지는 선의 말단 지점을 현재 프레임의 변화된 핸드라이팅의 첫번째 선의 시작 지점으로 선택하고, 선의 다른 말단 지점을 종료 지점으로 선택할 수 있다. 시작 지점 및 말단 지점 간의 픽셀들은 순서대로 인덱싱될 수 있다. 상기에서 설명한 프로세스는 타임 시퀀스가 식별된 모든 선들 및 모든 픽셀들에 반복적으로 적용될 수 있다.
도 1s에 도시된 바와 같이, e 부터 f까지의 핸드라이팅 및 h 부터 i까지의 핸드라이팅은 모두 t+1번째 이미지 프레임의 변화된 핸드라이팅이다. t+1번째 이미지 프레임의 변화된 핸드라이팅은 조합된 이전 이미지 프레임들의 핸드라이팅과 연결되지 않는다. 인텔리전트 디바이스는 e, f, g, h 및 조합된 이전 프레임들의 핸드라이팅 간의 가장 짧은 거리를 각각 계산할 수 있다. 인텔리전트 디바이스는 e 지점이 시작 지점으로 선택할 수 있고, f 지점이 종료 지점으로 선택할 수 있다. e와 f 간의 픽셀들은 순차적으로 인덱싱 될 수 있다. 이후, 인텔리전트 디바이스는 h, i 및 식별된 선 간의 가장 짧은 거리를 각각 계산할 수 있다. 인텔리전트 디바이스는 계산 결과에 기초하여 h 지점과 식별된 선 간의 거리가 상대적으로 짧다는 것을 알 수 있다. 그러므로, 인텔리전트 디바이스는 h 지점을 시작 지점으로 선택할 수 있고, i 지점이 종료 지점으로 선택할 수 있다. t+1 이미지 프레임의 변화된 핸드라이팅 내의 타임 시퀀스 정보를 획득하기 위해 지점 h 및 지점 i 간의 픽셀들은 순차적으로 인덱싱될 수 있다.
일부 실시예에 따르면, 현재 프레임 이미지의 변화된 핸드라이팅의 연결 상황이 분석될수도 있다. 즉, 인텔리전트 디바이스는 선들의 유형에 따라 핸드라이팅의 시간 시퀀스 정보를 획득할 수도 있다. 인텔리전트 디바이스는 연결이 끊어진 부분들을 각각 상이한 선들로써 선택할 수 있다. 또한 인텔리전트 디바이스는 변화된 핸드라이팅 내의 교차하는 선들을 교차점을 기준으로 각각 겹치지 않는 보조의 선(sub-stroke)으로 나눌 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자의 필기 방향(예를 들면, 왼쪽에서 오른쪽 또는 위에서 아래) 또는 대응하는 언어에 따라, 완전한 선들을 획득하기 위해 교차점에서 보조의 선들을 쌍으로 연결한다.(예를 들면, 도 1s에서 e-f 및 h-i가 2개의 선이 교차점 g에서 잘려져 4개의 보조의 선이 되며, 왼쪽에서 오른쪽으로 및 위에서 아래로의 원칙에 따라, 보조의 선 e-g 및 g-f가 연결되어 e-f 선을 형성하고, 보조의 선 i-g와 i-h가 연결되오 h-i 선을 형성한다.)
일부 실시예에 따르면, 변화된 핸드라이팅이 원형 선인 경우, 시작 지점 및 종료 지점의 역할을 하는 소정의 점에서 잘려질 수 있다. 카메라의 샘플링 주파수가 사용자의 필기 속도보다 훨씬 더 높기 때문에 두개의 근접한 이미지 프레임들은 일반적으로 핸드라이팅이 겹치는 부분이 많으며, 변화된 핸드라이팅이 복수의 선들을 포함하는 경우가 존재하지 않을 수도 있다.
상기 설명한 예시에 따라 현재 이미지 프레임의 변화된 핸드라이팅 내의 시작 지점 및 종료 지점이 결정되면, 변화된 핸드라이팅의 조합이 수행될 수 있다. 즉, 인텔리전트 디바이스는 현재 이미지 프레임의 로컬 핸드라이팅의 조합 시작 지점 및 조합 종료 지점이 결정하고, 결정된 조합 시작 지점 및 조합 종료 지점에 기초하여 변화된 핸드라이팅의 조합을 수행할 수 있다. 예를 들어, 현재 이미지 프레임의 변화된 핸드라이팅 내의 제 1 선의 시작 지점이 현재 이미지 프레임의 로컬 핸드라이팅의 조합 시작 지점으로 선택될 수 있고, 현재 이미지 프레임의 변화된 핸드라이팅 내의 마지막 선의 종료 지점이 현재 이미지 프레임의 로컬 핸드라이팅의 조합 종료 지점으로 선택될 수 있다.
일부 실시예에 따르면, 변화된 핸드라이팅이 획득된 이후, 인텔리전트 디바이스는 변화된 핸드라이팅의 선들에 대해 신뢰도 평가를 수행할 수 있다. 일부 실시예에 따르면, 로컬 핸드라이팅 내의 선들의 신뢰도 평가 값은 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 상대적 위치 또는 이전 도는 이후 선들에 대한 선의 연속성 및 선과 필기 도구의 말단의 이동 궤적의 매칭 정도 및 중 적어도 하나에 따라 결정될 수 있다.
예를 들면, 인텔리전트 디바이스는 합리적인 선의 길이에 대한 범위를 설정할 수 있다. 만약 선의 길이가 너무 짧은 경우(예를 들면, 선이 점에 불과한 경우), 너무 짧은 선은 사용자가 원하지 않는 액션에 의해 필기된 것일 수 있으므로, 핸드라이팅의 일부로 형성되지 않을 수 있다. 다시 말해서, 너무 짧은 선의 신뢰도 평가 값은 감소할 수 있다.
다른 실시예로서, 이전 또는 이후의 선들과 높은 연속성을 가지는 선일수록 더 높은 신뢰도 평가 값을 가질 수 있으며, 그 역 또한 같다. 예를 들여, 사용자가 ‘Today’s weather is very good’을 쓸 때, ‘good’ 내의 ‘go’는 이전 또는 이후의 선들과 높은 연속성을 가질 수 있다. 따라서, ‘go’는 상대적으로 높은 신뢰도 평가 값을 가질 수 있다. 인텔리전트 디바이스는 연속성을 판단하기 위한 정보를 사용자 입력, 서버 또는 외부 디바이스로부터 획득할 수 있으며, 상기 예시에 제한되지 않는다.
다른 실시예로써, 선과 필기 도구의 말단의 이동 궤적이 매칭 정도가 높을수록, 더 높은 신뢰도 평가 값을 가질 수 있으며, 그 역 또한 같다. 예를 들어, 사용자가 ‘Today’s weather is very good’을 쓸 때, ‘good’ 중 ‘o’는 옅은 색을 가질 수 있지만, 필기 도구의 말단의 움직인 궤적이 ‘o’와 매칭되므로, ‘o’ 또한 상대적으로 높은 신뢰도 평가 값을 가질 수 있다.
일부 실시예에 따르면, 필기 도구의 이동 궤적은 아래의 방법을 통해 획득될 수 있으나, 하기 예시에 제한되지 않는다.
일부 실시예에 따르면, 카메라에 의해 사용자의 핸드라이팅이 촬영되는 동안, 인텔리전트 디바이스는 필기도구의 말단의 이동 궤적을 획득하기 위해 필기 도구의 말단의 위치 및 모양에 따라 등록된 필기 도구의 말단을 추적할 수 있다. 사용자가 필기 도구를 등록할 때, 필기 도구의 말단의 모양이 인텔리전트 디바이스에 등록되고, 저장될 수 있다. 필기 도구와 같은 오브젝트 추적 방법은 당업자에게 자명하므로 자세한 설명은 생략한다. 선과 대응되는 필기 도구의 말단의 이동 궤적 간의 매칭을 위해, 두 이동 궤적들의 비교가 가능한 알고리즘 또는 모델들이 적용될 수 있다. 예를 들면, 이동 궤적 간의 매칭에는 다이나믹 타임 랩핑(Dynamic Time Wrapping(DTW) 알고리즘, 히든 마코브 모델(Hidden Markov Model(HMM), 인공신경망(Artificial Neural Network)과 같은 알고리즘 또는 모델이 사용될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 선과 필기 도구의 말단의 이동 궤적 간의 매칭 정도에 따라 선의 신뢰 평가 값이 결정되기 전, 선과 필기 도구의 말단의 이동 궤적 간의 매칭 정도에 따라 선에 향상 프로세스가 수행될 수 있다. 예를 들면, 만약 선이 선 및 필기 도구의 말단의 이동 궤적에 있는 경우, 인텔리전트 디바이스는 문턱값에 비해 선의 신뢰도 평가 값이 낮은 선이라도 캡쳐할 수 있다. 즉, 인텔리전트 디바이스는 문턱값보다 낮은 신뢰도 평가 값을 가지는 선이더라도, 이동 궤적과 비교함으로써, 문턱값보다 낮은 신뢰도 평가 값을 선을 캡쳐할 수 있다.
두번째 방법으로, 현재 이미지 프레임의 선행 조합된 핸드라이팅(anterior combined handwriting)을 획득하기 위해 현재 이미지 프레임보다 먼저 모든 이미지 프레임들의 변화된 핸드라이팅이 조합될 수 있다. 즉, 인텔리전트 디바이스는 현재 이미지 프레임을 제외한 현재 이미지 프레임 이전의 모든 프레임들의 변경된 핸드라이팅을 조합함으로써, 현재 이미지 프레임의 선행 조합된 핸드라이팅을 획득할 수 잇다.
또한 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임의 변경된 핸드라이팅과 현재 프레임의 선행 조합된 핸드라이팅을 조합할 수 있다. 인텔리전트 디바이스는 상기 방법을 반복함으로써, 방식을 반복함으로써, 전체 핸드라이팅이 조합할 수 있다.
예를 들면, 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅의 타임 시퀀스 정보에 현재 따라 이미지 프레임의 이전 모든 이미지 프레임(즉, 현재 이미지 프레임보다 먼저 촬영된 이미지 프레임들)의 변화된 핸드라이팅을 조합할 수 있으며, 현재 이미지 프레임의 선행 조합된 핸드라이팅으로써 조합된 핸드라이팅을 선택할 수 있다. 그 후, 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임의 변화된 핸드라이팅을 현재 이미지 프레임의 선행 조합된 핸드라이팅과 조합할 수 있다. 예를 들면, 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지의 변화된 핸드라이팅의 시작 지점을 현재 이미지 프레임의 선행 조합된 핸드라이팅의 종료 지점과 연결할 수 있다.
예를 들면, 사용자가 ‘very’을 검은 잉크의 필기 도구로 하얀 종이에 기재하는 경우, 4개의 이미지 프레임이 캡쳐될 수 있다. 4개의 이미지 프레임들의 변화된 핸드라이팅은 각각 ‘v’, ‘e’, ‘r’, ‘y’일 수 있다. 세번째 이미지 프레임의 선행 조합된 핸드라이팅을 ‘ve’를 획득하기 위해 첫번째 이미지 프레임이 두번째 이미지 프레임의 변화된 핸드라이팅과 조합된다. 네번째 이미지 프레임의 선행 조합된 핸드라이팅 ‘ver’을 획득하기 위해 세번째 이미지 프레임의 변화된 핸드라이팅과 선행 조합된 핸드라이팅(첫번째 이미지 프레임 및 두번째 이미지 프레임의 조합의 결과)이 조합된다. 다음 이미지 프레임(예를 들면, 네번째 이미지 프레임 이후 촬영되는 다섯 번째 이미지 프레임)의 선행 조합된 핸드라이팅 ‘very’를 획득하기 위해 네번째 이미지 프레임의 변화된 핸드라이팅 및 선행 조합된 핸드라이팅이 조합될 수 있으며, 상기와 같은 방식이 전체 핸드라이팅이 획득될 때까지 반복될 수 있다.
상기 실시예는 각각의 글자를 기준으로 변화된 핸드라이팅을 조합하는 방법을 설명하였으나, 다른 실시예에서는 두 이미지 프레임의 간격이 짧고, 각 이미지 프레임의 변화된 핸드라이팅이 선의 일부일 수도 있다. 도 1n은 ‘d’가 쓰여질 때의 4개의 이미지 프레임을 도시한다. 각 이미지 프레임의 변화된 핸드라이팅은 하나의 글자가 아닌 글자의 일부로써, 앞서 설명한 예시에 비해 변화된 핸드라이팅이 상대적으로 적을 수 있다. 이미지 프레임 3에서 도시된 바와 같이 네번째 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 첫번째 이미지 프레임 내지 세번째 이미지 프레임의 변화된 핸드라이팅이 조합될 수 있다. 다음 이미지 프레임의 선행 조합된 핸드라이팅 ‘d’를 획득하기 위해 네번째 이미지 프레임의 선행 조합된 핸드라이팅 및 변화된 핸드라이팅이 조합될 수 있다.
두번째 방법은, 앞서 설명한 변화된 핸드라이팅을 획득하는 첫번째 방법 및 타임 시퀀스 정보를 획득하는 첫번째 방법을 포함할 수 있다. 변화된 핸드라이팅을 획득하는 방법 및 타임 시퀀스 정보를 획득하는 방법은 상기에서 설명한 바 있으므로, 자세한 설명은 생략한다.
세번째 방법은, 각 이미지 프레임의 로컬 핸드라이팅에 기초하여 직접 조합을 수행하는 방법이다. 인텔리전트 디바이스는 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 각 이미지 프레임의 핸드라이팅과 선행 조합된 핸드라이팅과 겹치는 부분을 선택하여 조합할 수 있다.
예를 들면, 사용자가 검은 잉크의 필기 도구를 이용하여 하얀 종이에 ‘good’을 필기 할 때, 네개의 연속적인 이미지 프레임이 캡쳐될 수 있다. 네개의 이미지 프레임들의 로컬 핸드라이팅은 각각 ‘g’, ‘go’, ‘goo’ 및 ‘good’일 수 있다. 두 이미지 프레임들 ‘go’의 조합된 핸드라이팅을 획득하기 위해 첫번째 이미지 프레임이 두번째 이미지 프레임의 로컬 핸드라이팅의 겹치는 부분인 ‘g’와 조합될 수 있다. ‘goo’의 조합된 핸드라이팅을 획득하기 위해 두 이미지 프레임의 조합된 핸드라이팅이 세번째 이미지 프레임의 로컬 핸드라이팅의 겹치는 부분 ‘go’와 조합될 수 있다. ‘good’의 조합된 핸드라이팅을 획득하기 위해 세 이미지 프레임의 조합된 핸드라이팅이 세번째 이미지 프레임의 로컬 핸드라이팅의 겹치는 부분 ‘goo’와 조합될 수 있다. 상기 실시예는 로컬 핸드라이팅의 조합 방법에 대해 설명하고 있으나, 일부 실시예에서는 두 프레임들 간의 인터벌이 길지 않을 수 있으며, 로컬 핸드라이팅 간에 겹치는 부분이 많을 수도 있다.
일부 실시예에 따르면, 도 1t에 도시된 글자 또는 도 1u에 도시된 단어와 같이 인텔리전트 디바이스는 글자 또는 단어를 조합함으로써, 전체 핸드라이팅을 획득할 수 있다. 도 1v 및 도 1w에서 도시된 바와 같이 조합에 의해 획득되는 전체 핸드라이팅은 문장(sentence)일 수도 있다. 조합에 의해 획득되는 전체 핸드라이팅은 글자들의 복수의 라인들을 포함할 수도 있고, 레이아웃 정보를 포함할 수도 있다.
블록 S106에서, 인텔리전트 디바이스는 전체 핸드라이팅에 따라 사용자의 손으로 필기한 컨텐츠를 인식할 수 있다.
즉, 인텔리전트 디바이스는 획득한 전체 핸드라이팅을 인식함으로써, 컨텐츠를 인식하고, 필기 정보를 생성할 수 있다.
예를 들면, 인텔리전트 디바이스는 온라인 핸드라이팅 인식 방법을 이용하여 컨텐츠 인식을 수행할 수 있다. 온라인 핸드라이팅 인식 방법은 타임 시퀀스 정보, 필기 시퀀스(writing sequence) 및/또는 핸드라이팅의 펜업(pen-up) 및 펜다운(pen-down) 정보에 따라 컨텐츠를 인식하는 방법을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오프라인 핸드라이팅 인식 방법을 이용하여 컨텐츠 인식을 수행할 수 있다. 오프라인 핸드라이팅 인식 방법은 필기 시퀀스를 알 수 없으나, 이미지에 표시된 정보만을 기초로 컨텐츠를 인식하는 방법을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 전체 핸드라이팅의 인식을 수행할 때, 촬영된 이미지에 대해 전처리(Pre-processing)이 수행될 수 있다. 만약 이미지가 왜곡 또는 기울어진 경우, 교정(calibration)이 수행될 수 있다. 만약 이미지의 퀄리티가 좋지 않은 경우, 이미지에 대해 향상 프로세스가 수행될 수 있다. 그 이후, 인텔리전트 디바이스는 촬영된 이미지에 대해 레이아웃 분석을 수행할 수 있고, 이진화, 블록 분할, 라인 분할, 문자 분할 등을 포함하는 프로레싱을 통해 레이아웃 정보를 획득할 수 있다. 레이아웃 정보는 단락의 좌표들, 텍스트 영역의 라인들, 단락의 시퀀스 및 각 글자들의 라인들 및 좌표들, 그래프 영역의 좌표 및 그래프 영역을 둘러싼 텍스트 및 배경 등을 포함할 수 있다. 획득된 레이아웃 정보에 기초하여 인텔리전트 디바이스는 폰트, 크기 및 각 글자의 대응하는 코드와 같은 글자 정보를 획득하기 위해 글자 인식을 수행할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 핸드라이팅 인식 엔진을 이용하여 획득한 전체 핸드라이팅에 컨텐츠 인식을 수행할 수 있고, 획득된 인식 결과를 사용자의 핸드라이팅으로써 선택할 수 있다. 핸드라이팅 인식 엔진의 핸드라이팅 인식 방법은 당업자에게 자명하므로 자세한 설명은 생략한다.
상기에서 설명한 실시예 1에서, 직접 핸드라이팅을 검색함으로써, 핸드라이팅을 인식하는 방법은 종래의 필기 도구의 말단을 추적하는 방법에 의해 결정되는 펜업/펜다운에 의한 어려움을 극복할 수 있으며, 핸드라이팅 인식의 정확도가 증가할 수 있다. 나아가 실시예 1에서 로컬 필기 영역의 촬영을 통해 핸드라이팅을 획득하는 방법은 촬영된 선들의 명확성을 보장할 수 있다. 촬영된 선들이 조합된 이후, 명확한 전체 선이 획득될 수 있다. 따라서, 전체 촬영에 의해 획득한 선들이 불명확했던 종래 기술의 문제점을 해결할 수 있다. 추가적으로, 인텔리전트 디바이스가 포함하는 하나의 카메라만이 핸드라이팅을 기록하는데 사용되므로, 추가적인 하드웨어가 필요하지 않아 비용 절감의 효과 또한 존재한다.
실시예 2
일부 실시예 따르면, 인텔리전트 디바이스는 핸드라이팅을 인식하는 방법을 제공할 수 있다. 도 2a는 핸드라이팅을 인식하는 방법을 도시한다.
블록 S201에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점이 추적하고, 로컬 필기 영역을 촬영할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S202에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영 이미지 프레임에 전처리를 수행할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역의 촬영된 이미지 프레임은 필기 표면에 표시된 사용자의 핸드라이팅 뿐만 아니라, 필기 도구 및 사용자의 손 또한 포함할 수 있다. 이 경우, 촬영된 이미지 프레임내의 필기 표면으로부터 사용자의 손 및 필기 도구를 분리하는 전처리가 필요할 수 있다.
예를 들면, 로컬 필기 영역의 이미지 프레임을 촬영한 후, 인텔리전트 디바이스는 사전에 등록된 필기 도구의 말단의 모양에 따라 촬영된 이미지 프레임 내의 필기 도구의 말단의 위치 및 모양을 판단하고, 촬영된 이미지로부터 필기 도구를 제거할 수 있다. 인텔리전트 디바이스는 사용자의 필기 도구를 쥐는 자세 및 필기 도구를 쥘 때의 손의 모양에 따라 촬영된 이미지 프레임으로부터 사용자의 손을 제거할 수도 있다.
도 2b 및 도 2c는 컨텐츠에 전처리가 수행되는 방법을 도시한다. 도 2b에 도시된 바와 같이, 사용자의 필기 절차 동안, 인텔리전트 디바이스는 도 2b의 왼쪽 그림에 도시된 바와 같이, 사용자의 손 및 필기 도구가 포함된 이미지 프레임을 캡쳐한다. 이후, 인텔리전트 디바이스는 전처리를 수행함으로써, 도 2b의 왼쪽 그림에서 사용자의 손 및 필기 도구를 제거한 도 2b의 오른쪽 그림을 획득한다. 도 2c에서의 프로세스 또한 도 2b와 유사하다.
나아가, 핸드라이팅의 차후의 검색이 가능하도록 하기 위해, 전처리 단계는 각 이미지 프레임의 노멀라이즈 동작를 포함할 수 있다. 노멀라이즈 동작은 각 이미지 프레임이 동일한 기하학적 크기를 가지도록 각 이미지 프레임의 크기를 조절하는 단계, 각 이미지 프레임이 동일한 방향을 가지도록 각 이미지 프레임에 기울기 및/또는 회전 교정을 수행하는 단계; 및 각 이미지 프레임에 밝기 및/또는 명암 조절을 수행하는 단계를 포함할 수 있다.
상기 설명한 전처리를 통해, 이미지 프레임은 핸드라이팅 인식에 적합하도록 소정의 포맷으로 조절될 수 있다.
블록 S203에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영된 이미지로부터 로컬 핸드라이팅이 검색할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S205에서, 인텔리전트 디바이스는 전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S206에서, 인텔리전트 디바이스는 획득된 전체 핸드라이팅에 따라 사용자의 손으로 필기한 컨텐츠를 인식할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 블록 S202의 로컬 필기 영역의 이미지가 전처리 이후의 이미지일 수 있다. 전처리 이후의 이미지 프레임 내의 색상들이 주로 사용자의 핸드라이팅의 색상 및 필기 표면의 색상을 포함하기 때문에, 전처리를 수행한 이미지 프레임의 핸드라이팅 인식의 정확도가 전처리를 수행하지 않았을 때보다 높을 수 있다.
실시예 3
일부 실시예 따르면, 인텔리전트 디바이스는 핸드라이팅을 인식하는 방법을 제공할 수 있다. 도 3a는 핸드라이팅을 인식하는 방법을 도시한다.
블록 S301에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역이 촬영할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S302에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영 이미지에 전처리를 수행할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S303에서, 인텔리전트 디바이스는 로컬 필기 영역의 촬영된 이미지로부터 로컬 핸드라이팅을 검색할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S304에서, 인텔리전트 디바이스는 검색된 로컬 핸드라이팅에 향상 프로세스를 수행할 수 있다.
핸드라이팅의 인식의 정확도를 증가시키기 위해, 하기의 상황들 중 적어도 하나에 따라 로컬 핸드라이팅에 향상 프로세스가 수행될 수 있다. 예를 들면, 촬영 프로세스 도중 빛 밝기(light brightness) 또는 선명도(definition)가 소정의 요구를 충족시키지 못하는 경우, 촬영된 이미지 프레임 내의 핸드라이팅의 두께가 소정의 값보다 작은 경우, 촬영된 이미지 프레임 내의 핸드라이팅의 색상(즉, 검색된 로컬 핸드라이팅의 픽셀들의 색상) 및 배경의 색상(즉, 필기 표면의 색상) 간의 차이가 소정의 값보다 작은 경우에는 향상 프로세스가 수행될 수 있다.
일부 실시예에 따르면, 향상 프로세스는 아래의 단계들을 포함할 수 있다. 물론 하기 예시에 제한되는 것은 아니다. 예를 들면, 인텔리전트 디바이스는 촬영 절차 동안 밝기 또는 선명도에 따라 카메라의 초점이나 조리개를 조절하는 단계; 촬영된 이미지 내의 핸드라이팅의 두께에 따라 카메라의 배율을 조절하는 단계; 촬영된 이미지에 기울기 및/또는 회전 교정을 수행하는 단계; 및 각 이미지 프레임에 밝기 및/또는 명암 조절을 수행하는 단계를 수행함으로써, 향상 프로세스를 수행할 수 있다,
일부 실시예에 따르면, 검색된 로컬 핸드라이팅을 수정하는 단계는 검색된 로컬 핸드라이팅에 평활 처리(smoothing processing)를 수행하는 단계를 포함할 수 있다. 이진화 프로세스 동안 생성된 노이즈 포인트들이 검출되면, 인텔리전트 디바이스는 검색된 로컬 핸드라이팅에 슬라이드 연산(slide operation)을 수행하고, 인식을 위한 사용 가능한 핸드라이팅 데이터를 획득할 수 있도록 노이즈 포인트를 필터링할 수 있다.
도 3b 및 도 3c는 각각 필기된 컨텐츠를 수정하는 방법을 도시한다. 도 3b의 왼쪽 그림에는 로컬 필기 영역의 촬영 이미지 내에는 일부의 노이즈 포인트들이 존재한다. 인텔리전트 디바이스는 노이즈 포인트를 검출한 이후, 노이즈 포인트들을 필터링하고, 도 3b의 오른쪽 그림과 같이 인식을 위해 사용 가능한 핸드라이팅을 획득할 수 있다. 도 3c 또한 도 3b와 유사하다.
추가적으로, 향상 프로세스는, 선들의 신뢰도 평가 값에 따라 로컬 핸드라이팅을 프로세싱 하는 단계를 더 포함할 수 있다. 예를 들어, 로컬 핸드라이팅 내의 문턱값 보다 낮은 신뢰도 평가 값을 가지는 선이 존재하는 경우, 문턱값 보다 낮은 신뢰도 평가 값을 가지는 선은 제거될 수 있으며, 문턱값 보다 높은 신뢰도 평가 값을 가지는 선들만이 남을 수 있다.
블록 S305에서, 인텔리전트 디바이스는 전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
블록 S306에서, 인텔리전트 디바이스는 획득된 전체 핸드라이팅에 따라 사용자의 손으로 필기한 컨텐츠를 인식할 수 있다. 이는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
실시예 4
핸드라이팅을 인식하기 전에, 인텔리전트 디바이스는 필기 도구를 등록하고, 핸드라이팅의 인식을 위해 적합한 필기 도구를 선택하는 것이 가능하다. 이하에서는 필기도구의 등록 및 선택에 관하여 설명한다.
일부 실시예에 따르면, 필기 도구는 필기 표면에 필기가 가능하고, 핸드라이팅을 만드는 오브젝트(예를 들면, 연필, 만년필, 볼필기 도구 또는 분필)를 포함할 수 있다. 필기 표면은 필기 도구가 필기할 수 있는 모든 표면(예를 들면, 종이 또는 칠판)을 포함할 수 있다. 핸드라이팅은 필기 표면에 필기할 때 필기 도구에 의해 생성되는 소정의 길이, 넓이 및 색상을 나타내는 선들 또는 선들의 집합을 나타낸다. 선들은 직선 또는 곡선일 수 있다. 근접한 펜업 지점과 펜다운 지점 간의 핸드라이팅은 선으로 나타낼 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자의 손으로 필기한 정보를 인식하기 전에, 필기 도구를 등록할 수 있다. 필기도구의 등록은, 필기 도구의 핸드라이팅의 색상을 등록 및/또는 필기 도구의 말단의 모양의 등록을 포함할 수 있다.
필기 도구를 등록할 때, 사용자는 웨어러블 디바이스(예를 들면, 인텔리전트 글래스) 또는 카메라가 장착된 모바일 디바이스(예를 들면, 셀룰러 폰 또는 타블렛 컴퓨터)와 같은 인텔리전트 디바이스에 등록 지시를 입력할 수 있다. 등록 지시는 음성, 버튼, 제스쳐, 증강 현실과 같은 인간 - 컴퓨터 상호 작용 인터페이스 및 외부 컨트롤러(즉, 인텔리전트 디바이스와 관련 있는, 핸드폰과 같은 리모트 제어 기능을 가진 디바이스)에 의해 생성될 수 포함할 수 있다.
예를 들면, 필기 도구의 등록 지시가 음성에 의해 시작되는 경우, 사용자가 ‘핸드라이팅 인식 시작’과 같은 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시를 수신하고, 음성 지시가 등록 지시인지를 판단하기 위해 음성 지시에 따라 음성 인식을 시작하며, 필기 도구의 등록을 시작한다. 인텔리전트 디바이스는 음성 지시와 등록 지시 간의 대응 관계를 저장할 수 있다. 예를 들면, 음성 지시와 등록 지시는 대응 테이블을 통해 대응될 수 있으며, 음성 지시는 ‘등록을 시작’, ‘등록 시작’, ‘필기 도구 등록’ 및 영어, 중국어, 한국어 또는 다른 언어들로 구성된 지시들을 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 핸드라이팅 등록 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
등록 시작 지시가 버튼에 의해 시작될 수도 있다. 버튼은 홈버튼, 소리 조절 버튼, 파워 버튼, 프로그램 조절 버튼, 새롭게 추가된 버튼 또는 도 1b에 도시된 바와 같은 버튼과 같은 하드웨어 버튼 또는 소프트웨어로 구현된 소프트웨어 버튼일 수도 있고 또는 인텔리전트 디바이스의 사용자 인터페이스(User interface)일 수도 있으며 상기 예시에 제한되지 않는다. 만약 사용자가 소정의 방식에 따라 버튼을 누르면, 인텔리전트 디바이스는 등록 지시를 수신하였다고 판단할 수 있다. 소정의 방식은 짧게 누르기, 길게 누르기, 소정의 횟수를 짧게 누르기 또는 짧게 및 길게 번갈아 가며 누르는 등의 방식을 포함할 수 있다.
만약, 등록 시작 지시가 제스쳐에 의해 시작되는 경우, 제스쳐는 한손 또는 두손에 의해 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 인텔리전트 디바이스는 기존의 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다. 또한 인텔리전트 디바이스는 인식된 제스쳐에 따라 등록 지시가 수신되었다고 판단할 수 있다.
만약, 등록 시작 지시가 외부 컨트롤러(예를 들면, 인텔리전트 디바이스와 연결된 셀룰러폰)로부터 수신되는 경우, 인텔리전트 디바이스는 필기 도구의 등록을 시작한다. 인텔리전트 디바이스와 외부 컨터롤러의 연결은 물리적 연결일 수도 있고, 매크로 네트워크(Macro network), WiFi(Wireless Fidelity) 네트워크, 로컬 영역 네트워크 중 적어도 하나의 네트워크를 통한 무선 연결일 수도 있으며, 상기 예시에 제한되지 않는다. 또한 외부 컨트롤러의 지시는 적외선 지시(Infrared instruction) 또는 셀룰러폰에 의해 송신되는 메시지일 수도 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 만약 필기 도구의 등록이 필기 도구의 핸드라이팅 색상의 등록을 포함하는 경우, 인텔리전트 디바이스는 등록 지시를 수신한 후, 카메라(인텔리전트 디바이스 또는 모바일 디바이스에 장착된)를 이용하여 필기 도구에 의해 필기 표면에 생성된 핸드라이팅을 촬영하고, 검색된 핸드라이팅의 색상을 필기 도구의 핸드라이팅 색상 정보로써 등록할 수 있다.
도 4a는 필기 표면(401), 가상 필기 프레임(402) 및 사용자의 핸드라이팅(403)을 도시한다. 가상 필기 프레임은 인텔리전트 디바이스에 의해 필기 표면에 투영된 프레임을 포함할 수 있다. 인텔리전트 디바이스는 사용자가 필기 프레임 내에 필기하는 것을 안내하기 위해 사용자의 시야 내에서 필기 표면에 필기 프레임(필기 영역)을 투영하거나 표시할 수 있다. 필기 도구를 등록할 때, 카메라는 사용자의 등록 프로세스를 캡쳐할 수 있고, 모든 이미지 프레임들에 노멀라이즈 프로세스를 수행할 수 있다. 그 후, 노멀라이즈된 이미지 프레임들로부터 필기 도구의 핸드라이팅 색상 정보가 검색될 수 있다.
일부 실시예에 따르면, 필기 도구의 핸드라이팅 색상을 획득하는 방법은 아래의 방법들에 의해 구현될 수 있으나, 하기 예시에 제한되는 것은 아니다.
첫번째 방법으로, 인텔리전트 디바이스는 각 노멀라이즈된 이미지 프레임에서 필기 표면으로부터 필기 도구 및 사용자의 손을 분리하고, 두 개의 근접한 이미지 프레임의 필기 표면들을 비교하고, 구별되는 픽셀들을 검색하고, 구별되는 픽셀들의 색상을 필기 도구의 핸드라이팅 색상으로 선택한다.
예를 들면, 사용자가 ‘go’라는 글자를 등록된 필기 도구로 필기 할 때, 두 개의 근접한 이미지 프레임은 각각 ‘g’와 ‘go’를 포함할 수 있다. 두 이미지 프레임은 ‘o’가 위치한 부분에 차이가 있다. 만약 ‘o’의 픽셀들이 빨간색인 경우, 인텔리전트 디바이스는 필기 도구의 핸드라이팅 색상을 빨간색으로 판단할 수 있다.
두번째 방법으로, 인텔리전트 디바이스는 사용자가 필기 도구를 등록하기 이전의 이미지 프레임과 사용자가 필기를 완료한 이후의 이미지 프레임을 비교하고, 두 이미지 프레임의 구별되는 픽셀들을 검색하고, 구별되는 픽셀들의 색상을 필기 도구의 핸드라이팅 색상으로 선택할 수 있다. 사용자가 필기를 완료한 이후의 이미지 프레임은 필기 프레임 밖으로 필기 도구 및 사용자의 손이 이동한 후에 촬영된 이미지일 수 있다. 사용자가 필기를 완료한 이후의 이미지 프레임은 손이나 필기 도구와 같은 간섭을 포함하지 않으므로, 필기 도구의 색상을 정확히 인식하기 쉽다. 필기 도구 및 사용자의 손이 이동하였는지 여부는 이동하는 객체의 검출 방법에 의해 구현될 수 있다.
예를 들면, 필기 표면이 하얀색이고, 사용자가 필기 도구를 등록하기 전인 경우, 이미지 프레임은 하얀색 픽셀들만을 포함할 수 있다. 만약 사용자가 등록 동안 빨간색으로 필기하는 경우, 사용자가 필기를 완료한 후의 이미지 프레임은 하얀색 픽셀들과 빨간색 픽셀들 둘 모두를 포함할 수 있다. 빨간색 픽셀들은 새롭게 추가된 픽셀들(즉, 구별되는 픽셀들)이므로, 인텔리전트 디바이스는 등록된 필기 도구의 핸드라이팅 색상이 빨간색이라 판단할 수 있다.
세번째 방법으로, 필기 도구의 등록 동안 인텔리전트 디바이스에 등록을 가능하게 하기 위한 가상의 패턴이 사전에 설정될 수 있다. 사용자는 등록될 필기 도구를 이용하여 가상의 패턴을 그릴 수 있다. 인텔리전트 디바이스는 사용자에 의해 그려진 가상의 패턴을 촬영하고, 가상의 패턴에 대응하는 픽셀들의 색상을 검색할 수 있으며, 검색된 색상을 필기 도구의 핸드라이팅 색상으로 선택할 수 있다.
일부 실시예에 따르면, 가상 패턴은 곧은 선, 굽은 선, 원, 삼각형, 정사각형, 직사각형, 다이아몬드, 파운드 모양(Pound sign), 별 모양, 콜론(Colon), 따옴표를 포함할 수 있다.
예를 들면, 인텔리전트 디바이스는 가상 패턴이 삼각형임을 스크린에 표시하거나, 직접 필기 표면에 삼각형을 투영할 수 있다. 사용자는 등록된 필기 도구를 이용하여 필기 표면에 삼각형을 그릴 수 있다. 인텔리전트 디바이스는 삼각형을 포함하는 이미지를 획득하기 위해 촬영할 수 있으며, 삼각형의 색상을 검색하고, 필기 도구의 색상으로 선택할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 표면에 삼각형을 투영할 수 있으며, 사용자에게 투영된 위치에 삼각형을 그리라고 지시할 수 있다. 사용자가 등록된 필기 도구를 이용하여 투영된 위치에 삼각형을 그리면, 인텔리전트 디바이스는 이미지의 소정의 위치(즉, 삼각형이 투영된 위치)로부터 삼각형을 검색하고, 삼각형의 색상을 필기 도구의 색상으로 선택할 수 있다.
일부 실시예에 따르면, 필기 도구의 등록 동안, 인텔리전트 디바이스는 필기 도구를 이용하여 사용자가 정확하게 가상의 패턴을 그릴 수 있도록 안내하기 위해 소정의 동작들을 수행할 수 있다. 예를 들면, 인텔리전트 디바이스는 표시된 컨텐츠 또는 투영된 컨텐츠에 따라 사용자가 필기할 수 있도록 유도하기 위해 설명하는 텍스트를 표시할 수 있고, 각 선을 그리는 방향을 나타내는 화살표를 표시할 수도 있고, 가상 패턴을 어떻게 그리는지 도시하는 애니메이션을 표시할 수도 있으며, 사운드를 통해 언제, 어디에, 어떤 패턴을 그리도록 사용자를 유도할 수도 있다.
나아가, 인텔리전트 디바이스는 사용자에 의해 입력된 핸드라이팅 색상 정보를 직접 수신할 수 있고, 필기 도구 및 사용자에 의해 입력된 핸드라이팅 정보를 연관시킬 수 있다. 입력된 핸드라이팅 색상 정보는 핸드라이팅 색상의 RGB 값일 수도 있고, 빨강, 노랑, 파랑, 검정 등과 같은 색상의 이름일 수도 있으며, 상기 예시에 제한되지 않는다.
예를 들면, 사용자는 필기 도구의 핸드라이팅의 색상이 빨간 색임을 알 수 있다. 사용자는 인텔리전트 디바이스에 직접 색상이 빨간 색임을 입력할 수 있다. 인텔리전트 디바이스는 필기 도구와 사용자로부터 입력된 빨간 색을 연관시킴으로써, 필기 도구의 핸드라이팅 색상을 빨간색으로 선택할 수 있다. 또한 사용자는 빨간색의 RGB 값(255, 0, 0)을 입력할 수 있다. 인텔리전트 디바이스는 필기 도구와 사용자로부터 입력된 RGB 값을 연관시킴으로써, 필기 도구의 핸드라이팅 색상을 빨간색으로 선택할 수 있다.
일부 실시예에 따르면, 필기 도구를 등록은 필기 도구의 말단의 모양의 등록을 포함할 수 있다. 인텔리전트 디바이스는 카메라에 의해 촬영된 비디오에서 최대 이동 오브젝트를 검출함으로써, 사용자의 손의 위치 및 필기 도구의 위치를 판단할 수 있으며, 필기 도구의 모양을 검색할 수도 있다. 최대 이동 오브젝트라 함은 가장 많이 움직인 오브젝트를 포함할 수 있다.
또한 일부 실시예에 따르면, 인텔리전트 디바이스는 필기 도구의 말단에 말단 검색(Endpoint Detection)을 수행할 수도 있다, 인텔리전트 디바이스는 가장 뾰족하거나, 가장 큰 곡률을 가지는 말단을 필기 도구의 말단의 위치로 선택할 수 있다. 이후의 필기 도구의 말단의 추적을 용이하게 하기 위해, 필기 도구의 말단의 모양을 위한 형상(Model)이 설정될 수 있다. 비디오에서의 이동 오브젝트의 검출은 관련 필드에서 연구 및 적용되고 있으며, 필기도구의 말단의 형상 또한 형상 인식 관련 필드에서 빈번하게 사용되는 형상에 의해 표현될 수 있으므로, 자세한 설명은 생략한다.
예를 들면, 도 4b 및 도 4c에서 도시된 바와 같이 필기 도구의 말단의 모양을 등록 할 때, 인텔리전트 디바이스는 필기 도구를 이용하여 사용자기 필기하는 필기 절차의 비디오를 촬영할 수 있다. 인텔리전트 디바이스는 비디오 내의 필기 도구와 손을 최대 이동 오브젝트로 판단할 수 있다. 필기 도구의 가장 뾰족한 말단이 필기 도구의 말단(예를 들면, 펜 촉)일 수 있으므로, 인텔리전트 디바이스는 필기 도구의 말단에 말단 검색(Endpoint Detection)을 수행하고, 가장 뾰족한 부분(예를 들면, 도 4b 내의 점선으로 도시된 부분)을 필기 도구의 말단으로 선택할 수 있다.
추가적으로, 인텔리전트 디바이스는 사용자의 입력에 따라 등록될 필기 도구의 말단의 모양을 획득할 수도 있다. 이하에서는 사용자의 입력에 따라 필기 도구의 말단의 모양을 획득하는 방법을 설명한다. 물론 하기 예시에 제한되지 않는다.
첫번째 방법은 일반적으로, 필기 도구들의 종류가 상이하면 필기도구의 말단 모양 또한 상이할 수 있고, 필기 도구의 종류가 같으면 동일하거나 유사한 필기 도구의 말단 모양을 가질 수 있으므로, 필기 도구를 등록할 때, 사용자는 인텔리전트 디바이스에 필기 도구의 이름을 입력할 수 있다. 인텔리전트 디바이스는 입력된 이름에 대응되는 필기 도구의 말단의 모양을 결정할 수 있다. 예를 들어, 사용자에 의해 등록된 필기 도구 A가 연필이라고 가정하면, 사용자가 인텔리전트 디바이스에 필기 도구의 이름으로써 연필을 입력한다. 인텔리전트 디바이스는 필기 도구 및 필기 도구의 말단의 모양 간의 대응 관계에 따라 필기 도구 A의 말단 모양을 결정할 수 있다. 필기 도구와 필기 도구의 말단 모양 간의 대응 관계는 인텔리전트 디바이스에 저장되거나, 인텔리전트와 유선 또는 무선으로 연결된 다른 디바이스에 저장될 수 있으며, 상기 예시에 제한되지 않는다.
두번째 방법으로, 인텔리전트 디바이스는 다양한 종류의 필기 도구의 말단의 모양에 대한 그림들을 저장할 수 있다. 사용자가 필기 도구의 말단의 모양을 등록할 때, 인텔리전트 디바이스는 사용자의 선택을 위해 다양한 종류의 필기 도구의 말단의 그림들을 표시할 수 있고, 사용자에 의해 선택된 필기 도구의 말단 모양을 등록될 필기 도구의 말단 모양으로 저장할 수 있다.
예를 들면, 인텔리전트 디바이스는 연필의 말단 모양, 만년필의 말단 모양, 볼 펜의 말단 모양, 서명 펜(signature pen)의 말단 모양 등의 다양한 종류의 필기 도구의 말단 모양의 그림을 저장할 수 있다. 물론 필기 도구의 말단 모양은 상기 예시에 제한되지 않는다. 사용자가 연필과 같은 필기 도구 A의 말단 모양을 등록하고 싶어한다고 가정하면, 필기 도구의 말단 모양의 등록이 시작된 이후, 인텔리전트 디바이스는 다양한 필기 도구의 말단 모양의 그림을 표시하고, 사용자로부터 연필의 말단 모양과 대응되는 그림을 선택하는 지시를 수신할 수 있다. 인텔리전트 디바이스는 연필의 말단 모양을 필기 도구 A의 말단 모양으로 저장할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 등록된 필기 도구의 핸드라이팅 색상과 필기 표면의 배경 색상을 비교할 수 있다. 비교 결과, 핸드라이팅 색상과 및 필기 표면의 배경 색상 간의 색상 차가 소정의 문턱값보다 큰 경우, 인텔리전트 디바이스는 두 색상 간의 차이가 있다고 판단할 수 있다. 반대의 경우라면, 인텔리전트 디바이스는 두 색상들 간의 차이가 없다고 판단할 수 있다. 두 색상들 간의 차이가 없다고 판단된 경우, 인텔리전트 디바이스는 사용자에게 필기 도구를 변경하거나 필기 표면을 변경할 것을 유도할 수 있다. 필기 표면의 배경 색상은 사용자가 필기를 시작하기 전에 필기 표면의 촬영에 의해 획득될 수 있다.
예를 들면, 필기 도구의 핸드라이팅 색상이 검은 색이고, 필기 표면의 배경 색상이 하얀 색인 경우, 인텔리전트 디바이스는 핸드라이팅 색상과 필기 표면의 배경 색상이 차이가 있다고 판단할 수 있다. 따라서, 사용자는 하얀색 필기 표면 위에 검은색 필기 도구를 사용할 수 있다.
그러나, 필기 도구의 핸드라이팅 색상이 노란 색이고, 필기 표면의 배경 색상 또한 노란 색인 경우, 인텔리전트 디바이스는 핸드라이팅 색상과 및 필기 표면의 배경 색상이 차이가 없다고 판단할 수 있다. 인텔리전트 디바이스는 사용자가 필기 도구 또는 필기 표면을 변경하도록 유도할 수 있다. 인텔리전트 디바이스는 ‘필기 도구 또는 필기 표면의 변경해주시길 바랍니다’라고 기재된 대화 상자를 표시하거나, 현재 사용되는 필기 도구 또는 필기 표면이 부적합함을 나타내는 알람 소리를 제공하거나, 음성을 통해 사용자가 필기 도구 또는 필기 표면을 변경하도록 유도 할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 등록된 필기 도구들 중, 필기 표면의 배경 색상과 상이한 핸드라이팅 색상 정보를 가지는 필기 도구를 선택하도록 사용자를 유도할 수 있으며, 사용자는 인텔리전트 디바이스가 핸드라이팅을 인식할 수 있도록 필기 표면에 선택한 필기 도구를 이용하여 필기 할 수 있다.
실시예 5
핸드라이팅의 인식 동안, 고려되어야 할 특별한 상황들이 발생할 수 있다. 이하에서는, 인텔리전트 디바이스가 핸드라이팅을 인식 할 때 발생할 수 있는 특별한 상황에 대해 설명한다.
1. 라인 변경(Line break)
필기 절차 동안, 사용자는 복수의 라인들에 핸드라이팅을 필기할 수 있다. 새로운 라인에 필기를 시작하기 전의 이미지 프레임 내의 핸드라이팅 및 새로운 라인에 필기를 시작한 이후의 이미지 프레임 내의 핸드라이팅은 겹치지 않을 수 있다.
예를 들면, 사용자는 ‘Today’s weather is very good’을 첫번째 라인에 필기하고, ‘I walk to my office’를 두번째 라인에 필기할 수 있다. 첫번째 라인의 마지막 이미지 프레임은 ‘good’을 도시하지만, 두번째 라인의 첫번째 이미지 프레임은 ‘I’만을 도시할 수 있다. 이 경우, 첫번째 라인의 마지막 이미지 프레임과 두번째 라인의 첫번째 프레임의 조합은 부적절할 수 있다.
상기 예시와 같은 경우, 인텔리전트 디바이스의 핸드라이팅 인식의 정확도 및 완전성을 개선하기 위해서, 인텔리전트 디바이스는 각 이미지 프레임의 핸드라이팅을 조합할 때, 라인 변경 정보가 존재하는지 검출할 수 있다. 만약 라인이 바뀐 경우, 인텔리전트 디바이스는 라인 변경 정보에 따라 로컬 핸드라이팅의 조합을 수행할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 존재하는지 검출할 수 있다. 인텔리전트 디바이스는 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 검출되지 않는 것으로 판단되면, 라인 변경 정보가 검출된 것으로 판단할 수 있다. 앞선 예와 같이, 첫번째 라인의 마지막 이미지 프레임이 ‘good’ 만을 도시하고, 두번째 라인의 첫번째 이미지 프레임은 ‘I’만을 도시할 수 있다. 인텔리전트 디바이스는 첫번째 라인의 마지막 이미지 프레임과 두번째 라인의 첫번째 프레임 간에 겹치는 핸드라이팅이 없다고 판단할 수 있으므로, 첫번째 라인의 마지막 이미지 프레임과 두번째 라인의 첫번째 프레임 간에 라인 변경 정보가 검출되었다고 판단할 수 있다. 다시 말해서, 인텔리전트 디바이스는 근접한 이미지 프레임들 간의 겹치는 핸드라이팅이 없는 것으로 판단되면, 라인이 바뀌었다고 판단할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 각 이미지 프레임의 로컬 핸드라이팅 내에 라인 변경 식별자가 존재하는지 검출할 수도 있다. 만약 라인 변경 식별자가 검출되면, 인텔리전트 디바이스는 라인 변경 정보가 검출되었다고 판단할 수 있다. 라인 변경 식별자는 사전에 정의될 수 있다.
일부 실시예에 따르면, 라인 변경 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 라인 변경 정보는 또한 라인 변경을 가리키는 오디오 또는 비디오 데이터에 의해 식별될 수도 있다. 라인 변경을 나타내는 오디오 데이터가 수신되는 경우, 인텔리전트 디바이스는 라인 변경 정보가 검출되었다고 판단할 수 있다. 예를 들면, 사용자가 ‘라인 변경’이라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 라인 변경 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 라인 변경 지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 라인 변경 지시는 ‘라인 변경’, ‘새로운 라인’, ‘다음 라인’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 라인 변경 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
라인 변경 정보가 결정된 이후, 인텔리전트 디바이스는 라인 변경 정보에 따라 로컬 핸드라이팅 조합을 수행할 수 있다. 일부 실시예에 따르면, 인텔리전트 디바이스는 라인 변경 정보에 따라 조합하는 로컬 핸드라이팅의 시작 지점 또는 종료 지점을 결정한 후, 로컬 핸드라이팅의 조합을 수행할 수도 있다.
인텔리전트 디바이스는 라인 변경 정보가 검출되면, 현재 이미지 프레임의 선행 조합된 핸드라이팅을 제 1 라인의 핸드라이팅 정보로써 선택할 수 있다 또한, 인텔리전트 디바이스는 현재 이미지 프레임을 제 2 라인의 첫번째 이미지로써 선택할 수 있다. 다시 말해서, 인텔리전트 디바이스는 현재 이미지 프레임의 로컬 핸드라이팅을 제 2 라인의 조합된 핸드라이팅의 조합 시작 포인트로 선택될 수 있다.
또한 인텔리전트 디바이스는 제 2 라인의 조합된 핸드라이팅 정보를 획득하기 위해, 현재 이미지 프레임의 로컬 핸드라이팅을 라인 변경 정보가 검출되기 전까지의 모든 이미지 프레임들의 로컬 핸드라이팅과 조합할 수 있다. 인텔리전트 디바이스는 사용자에 의해 입력된 레이아웃 정보(예를 들면, 라인 변경 정보)를 포함하는 전체 핸드라이팅을 획득하기 위해, 타임 시퀀스에 따라 각 라인의 조합된 핸드라이팅을 조합할 수 있다.
예를 들면, 사용자가 연습장(exercise book)에 ‘Today’s weather is very good’을 필기하고, 라인 변경 식별자인 삼각형 신호를 필기한 후, ‘I walk to my office’를 필기할 수 있다. 인텔리전트 디바이스는 삼각형 신호 전의 마지막 변화된 핸드라이팅인 ‘good’을 조합 종료 지점으로 선택하고, 라인 변경 전의 핸드라이팅을 획득할 수 있다. 인텔리전트 디바이스는 삼각형 신호 후의 첫번째 변화된 핸드라이팅인 ‘I’를 조합 시작 지점으로 선택하고, 라인 변경 후의 핸드라이팅을 조합할 수 있다.
2. 멈춤(Pause)
필기 절차 동안, 사용자가 일시적으로 필기를 멈출 수도 있다. 예를 들면, 수업 시간에 필기를 할 때, 사용자는 칠판을 본 후, 필기를 하고, 다시 칠판을 보고 필기를 하는 동작과 같이, 필기 도중 잠시 필기를 멈출 수 있다. 멈춤 기간(Pause period) 동안에는 새로운 핸드라이팅이 생성되지 않으므로, 인텔리전트 디바이스는 멈춤 신호가 검출된 이후에는 로컬 핸드라이팅의 검색을 일시적으로 멈추고 전체 영역을 관찰 할 수 있다.
일부 실시예에 따르면, 전체 영역이라 함은, 전체 필기 영역으로써, 로컬 필기 영역을 포함할 수 있다. 즉, 전체 영역은, 필기 표면 또는 배경 전체 또는 로컬 필기 영역보다 넓거나 같은 영역을 포함할 수 있다.
인텔리전트 디바이스는 새로운 핸드라이팅이 생성되지 않는 때에 로컬 핸드라이팅의 검색을 멈춤으로써, 중복 데이터(redundancy data)를 줄이고, 핸드라이팅의 인식 효율을 증가시킬 수 있으며, 프로세서의 로드를 감소시키고, 컴퓨팅 리소스 또한 절약할 수 있다.
인텔리전트 디바이스는 아래의 하나의 상황 중 하나일 때, 멈춤 신호가 검출되었다고 판단할 수 있다. 물론 하기 예시에 제한되는 것은 아니다.
인텔리전트 디바이스는 촬영된 이미지 프레임으로부터 새로운 핸드라이팅을 검색할 수 있다. 예를 들면, 사용자가 ‘Tdoay’s weather is very good’을 하얀 종이에 필기하고, 더 이상의 새로운 컨텐츠(핸드라이팅)를 기재하지 않을 수 있다. 인텔리전트 디바이스는 ‘good’이 기재된 이미지 프레임들을 연속적으로 촬영한다. 인텔리전트 디바이스는 새롭게 검색된 핸드라이팅이 없는 경우, 사용자가 필기를 임시적으로 멈췄다고 판단할 수 있다.
사용자의 필기 절차 동안, 사용자의 시각 초점은 항상 필기 표면 내에 위치할 수 있다. 사용자의 시각 초점이 필기 표면에서 떠나거나, 다른 정보를 보는 때(칠판 또는 컴퓨터 스크린을 보는 때) 사용자는 일반적으로 필기를 멈춘다. 따라서, 인텔리전트 디바이스는 사용자의 시각 초점이 필기 표면을 떠난 때를 검출함으로써, 멈춤 신호가 검출된 것으로 판단할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 도구의 말단의 위치를 검출할 수 없는 경우, 멈춤 신호가 검출된 것으로 판단할 수 있다. 인텔리전트 디바이스는 필기 도구의 핸드라이팅을 인식하기 위해 사용되므로, 만약 필기 도구의 말단의 위치가 인텔리전트 디바이스에 의해 촬영된 이미지들 내에서 소정의 기간 동안(예를 들면 5초) 검출되지 않는 경우, 인텔리전트 디바이스는 사용자가 소정의 기간 동안 필기를 멈춘 것으로 판단할 수 있다.
일부 실시예에 따르면 인텔리전트 디바이스는 멈춤 식별자를 검출할 수도 있다. 멈춤 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면 인텔리전트 디바이스는 멈춤을 나타내는 오디오 데이터를 검출할 수도 있다. 오디오 데이터가 멈춤을 나타내기 위해 사용 되는 때, 만약 사용자가 ‘멈춤’ 이라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 멈춤 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 멈춤지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 멈춤 지시는 ‘멈춤’, ‘잠시 기다려주세요(wait a moment)’, ‘잠시 쉼(rest a while)’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 멈춤 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
사용자의 핸드라이팅의 완전한 검색이 가능하도록 하게 위해, 인텔리전트 디바이스는 멈춤 신호가 검출되면, 멈춤 신호가 검출되기 이전의 마지막 이미지 프레임을 판단하고 저장 또는 캐싱할 수 있다.
인텔리전트 디바이스는 멈춤 신호가 검출되기 이전의 마지막 이미지 프레임의 변화된 핸드라이팅과 멈춤 신호가 검출되기 이전의 마지막 이미지 프레임의 선행 조합된 핸드라이팅을 조합함으로써, 멈춤 신호 이전의 전체 핸드라이팅을 획득하고, 획득된 전체 핸드라이팅을 캐싱할 수 있다. 또한 인텔리전트 디바이스는 촬영에 의해 획득한 필기 표면에 대한 이미지 프레임을 캐싱할 수도 있다. 일부 실시예에 따르면, 인텔리전트 디바이스는 조합된 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식하고, 각 이미지 프레임의 변화된 핸드라이팅 및 각 이미지 프레임의 타임 시퀀스 정보를 캐싱할 수 있다.
예를 들면, 사용자가 ‘Today's weather is very good’을 하얀색 종이 위에 기재한 후, 인텔리전트 디바이스는 멈춤 식별자를 검출할 수 있다. 인텔리전트 디바이스는 향후 재시작 신호가 수신될 때 사용하기 위해 선행 조합된 핸드라이팅인 ‘ Today's weather is very good’, 촬영에 의해 획득된 필기 표면에 관한 이미지, 각 이미지 프레임의 변화된 핸드라이팅 및 타임 시퀀스 정보를 캐싱할 수 있다.
3. 재시작(Restore)
멈춤 이후, 로컬 핸드라이팅의 검색이 재시작(restored)될 수 있다. 인텔리전트 디바이스는 전체 영역을 모니터링 하고 있으며, 필기 절차의 촬영을 종료하지 않았으므로, 멈춤 신호가 검출된 이후 전체 영역에서의 재시작 신호를 검출할 수 있다. 만약 재시작 신호가 검출되면, 인텔리전트 디바이스는 로컬 핸드라이팅의 검색을 재시작할 수 있다.
인텔리전트 디바이스는 아래의 예시 상황들에서 재시작 신호가 수신되었다고 판단할 수 있다. 물론 하기 예시에 제한되는 것은 아니다.
일부 실시예에 따르면, 인텔리전트 디바이스는 캐싱된 필기 표면의 이미지 프레임과 전체 영역의 촬영된 이미지 프레임의 매칭 여부에 따라 재시작 신호의 수신 여부를 판단할 수 있다. 필기가 멈춘 때, 사용자는 인텔리전트 디바이스의 초점을 필기 표면 밖으로 이동시킬 수 있다. 따라서, 인텔리전트 디바이스에 의해 촬영된 이미지는 필기 표면을 포함하지 않을 수 있다. 만약 필기가 재시작되면, 사용자는 인텔리전트 디바이스의 초점을 필기 표면 내로 이동시킬 수 있다. 따라서, 인텔리전트 디바이스에 의해 촬영된 이미지는 필기 표면을 다시 포함수 있다. 따라서, 인텔리전트 디바이스는 캐싱된 필기 표면의 이미지 프레임과 전체 영역의 촬영된 이미지 프레임의 매칭 여부를 판단함으로써, 재시작 신호가 검출되었는지 판단할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자의 시각 초점이 필기 표면으로 돌아왔을 때를 재시작 신호가 수신된 것으로 판단할수도 있다. 필기가 멈춘 때, 사용자의 시각 초점이 필기 표면 밖으로 이동될 수 있다. 만약 필기가 재시작되면, 사용자의 시각 초점이 필기 표면 내로 돌아올 수 있다. 따라서, 인텔리전트 디바이스는 사용자의 시각 초점이 필기 표면으로 돌아왔는지 여부를 판단함으로써, 재시작 신호가 수신되었는지 판단할 수 있다. 예를 들어, 수업을 들으면서 필기한다면, 사용자가 칠판을 볼 때에는 필기가 멈추고, 시각 초점이 필기 표면인 노트를 떠날 수 있다. 만약 사용자가 칠판을 본 이후, 다시 필기를 시작한다면, 사용자의 시각 초점은 필기 표면인 노트로 돌아올 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 필기 도구가 새로운 핸드라이팅을 필기 표면에 생성한 때, 재시작 신호를 수신되었다고 판단할 수 있다. 필기가 멈춘 때, 사용자는 더 이상 필기 표면에 필기하지 않으므로, 필기 표면에 새로운 핸드라이팅이 생성되지 않는다. 만약 필기가 재시작되면, 사용자는 필기 도구를 이용하여 필기 표면에 필기하게 된다. 즉, 새로운 핸드라이팅이 생성된다. 따라서, 인텔리전트 디바이스는 필기 표면에 필기 도구를 이용하여 새로운 핸드라이팅이 생성되었는지 여부를 판단함으로써, 재시작 신호가 검출되었는지 여부를 판단할 수 있다. 예를 들면, 사용자가 ‘Today's weather is very good’을 필기한 후, 필기를 멈추고, 다시 사용자가 ‘I walk to my offce’라고 필기함으로써, 필기를 계속하는 경우, 인텔리전트 디바이스는 필기 표면에 새로운 핸드라이팅이 생성되었다고 판단하고, 재시작 신호가 검출되었다고 판단할 수 있다.
일부 실시예에 따르면 인텔리전트 디바이스는 재시작 식별자를 검출할 수도 있다. 재시작 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면 인텔리전트 디바이스는 재시작을 나타내는 오디오 데이터를 검출할 수도 있다. 만약 사용자가 ‘재시작’ 이라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 재시작 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 재시작 지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 재시작을 나타내는 음성 지시는 ‘재시작’, ‘다시 시작(start again)’, ‘인식 계속(continue to recognize)’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 재시작 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 재시작 신호가 검출된 이후 촬영된 이미지 프레임으로부터 로컬 핸드라이팅이 검색하고, 가장 마지막으로 멈춤 신호가 검출된 때에 캐싱된 정보에 따라 핸드라이팅의 조합을 계속할 수 있다.
예를 들면, 사용자가 ‘very’을 하얀 종이 위에 필기할 때, 네 개의 이미지 프레임들이 촬영될 수 있다. 각 이미지 프레임의 변화된 핸드라이팅은 각각 ‘v’, ‘e’, ‘r’ 및 ‘y’일 수 있다. 만약 사용자가 ‘v’, ‘e’, ‘r’을 필기한 후, 인텔리전트 디바이스가 멈춤 신호를 검출한 경우, 인텔리전트 디바이스는 로컬 핸드라이팅 ‘v’, ‘e’, ‘r’ 및 로컬 핸드라이팅의 타임 시퀀스 정보를 캐싱할 수 있다. 이후, 인텔리전트 디바이스가 재시작 신호를 검출하고, 재시작 신호 검출 이후 ‘y’와 같은 변화된 핸드라이팅을 검출할 수 있다. 인텔리전트 디바이스는 핸드라이팅 ‘very’를 획득하기 위해 재시작 이후의 이미지 프레임의 변화된 핸드라이팅(‘y’)과 캐싱된 이미지 프레임(‘v’, ‘e’, ‘r’와 같은 로컬 핸드라이팅과 로컬 핸드라이팅의 타임 시퀀스 정보)를 조합할 수 있다.
물론 상기 실시예는 구문, 단어 단위로 이미지 프레임이 캡쳐된 실시예이며, 도 1n에 도시된 바와 같이 하나의 글씨를 작성하는 때, 복수개의 이미지 프레임이 도시될 수도 있다. 즉, 각 이미지 프레임의 핸드라이팅 증가가 상대적으로 짧을 수도 있다. 도 1n은 ‘d’가 쓰여질 때의 4개의 이미지 프레임을 도시한다. 각 이미지 프레임의 변화된 핸드라이팅은 상대적으로 적다. 인텔리전트 디바이스는 프레임 1, 2 및 3의 변화된 핸드라이팅을 캐싱하고, 변화된 핸드라이팅 간의 타임 시퀀스 관계를 기록할 수 있다. 이후, 인텔리전트 디바이스가 재시작 신호를 수신하면, 촬영을 계속하고, 프레임 4를 획득할 수 있다. 인텔리전트 디바이스는 ‘d’를 획득하기 위해 네개의 프레임들(프레임 1, 2, 3 및 4)의 변화된 핸드라이팅을 조합할 수 있다.
4. 종료(Ending)
일부 실시예에 따르면, 인텔리전트 디바이스가 새로운 핸드라이팅을 검출 할수 없을 때, 핸드라이팅의 인식을 종료할 수 있다. 예를 들면, 인텔리전트 디바이스는 종료 신호가 검출되었는지 판단하고, 종료 신호가 검출된 경우, 핸드라이팅의 인식 및 검출을 종료하고, 획득한 핸드라이팅을 저장할 수 있다.
인텔리전트 디바이스는 아래의 예시 상황들에서 종료 신호가 수신되었다고 판단할 수 있다. 물론 하기 예시에 제한되는 것은 아니다.
일부 실시예에 따르면, 사용자의 시각 초점이 소정의 기간 이상 필기 표면을 떠나있는 경우, 인텔리전트 디바이스는 종료 신호가 수신되었다고 판단할 수 있다. 필기 절차 동안, 사용자의 시각 초점은 항상 필기 표면 내에 존재할 수 있다. 만약 인텔리전트 디바이스가 사용자의 시각 초점이 오랜 시간 동안 필기 표면 내에 존재히자 않음을 검출하는 경우, 인텔리전트 디바이스는 사용자의 필기가 종료되었다고 판단할 수 있다. 또한, 인텔리전트 디바이스는 멈춤 신호를 수신 후 소정의 기간 이상이 경과한 경우, 종료 신호가 수신되었다고 판단할 수도 있다.
일부 실시예에 따르면, 소정의 기간 내에 새로운 핸드라이팅이 검출되지 않는 경우, 인텔리전트 디바이스는 종료 신호가 수신되었다고 판단할 수 있다. 필기 절차 동안, 사용자는 필기 표면에 새로운 핸드라이팅을 생성할 수 있다. 인텔리전트 디바이스가 오랜 시간 동안 새로운 핸드라이팅을 검출하지 못한 경우, 인텔리전트 디바이스는 사용자의 필기가 종료되었다고 판단할 수 있다.
일부 실시예에 따르면 인텔리전트 디바이스는 종료 식별자를 검출할 수도 있다. 종료 식별자는 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함하는 심볼들을 통해 구현될 수 있으나, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면 인텔리전트 디바이스는 종료을 나타내는 오디오 데이터를 검출할 수도 있다. 만약 사용자가 ‘종료’ 라는 음성 지시를 내리면, 인텔리전트 디바이스는 음성 지시가 종료 지시인지를 판단하기 위해 음성 인식을 시작한다. 음성 지시와 종료 지시와의 관계는 대응 테이블과 같은 형태로 저장될 수 있다. 종료 지시는 ‘종료’, ‘정지(stop)’ 및 영어, 중국어, 한국어 또는 다른 언어들의 지시들과 같은 음성 지시를 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 종료 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
일부 실시예에 따르면, 라인 변경, 멈춤, 재시작 및 종료를 나타내기 위해 심볼들이 사용되는 때, 라인 변경, 멈춤, 재시작 및 종료에 대응되는 심볼들은 상이할 수 있다.
실시예 6
일부 실시예에 따르면, 인텔리전트 디바이스는 핸드라이팅을 인식하는 방법을 제공할 수 있다. 도 5에 도시된 바와 같이 핸드라이팅을 인식하는 방법은 아래의 단계를 포함할 수 있다.
블록 S501에서, 인텔리전트 디바이스는 실시간으로 검출된 필기 초점이 추적하고, 로컬 필기 영역을 촬영하며, 로컬 핸드라이팅을 획득하고, 로컬 필기 영역이 촬영된 때 생성된 오디오 데이터를 기록할 수 있다.
일부 실시예에 따르면, 로컬 필기 영역을 촬영하는 디바이스 및 오디오 데이터를 기록하는 디바이스는 동일한 디바이스일 수도 있고, 상이한 디바이스일 수도 있다.
예를 들면, 사용자 A는 스마트폰을 이용해서 로컬 필기 영역의 이미지를 촬영하고, 스마트폰을 이용하여 오디오 데이터를 수신할 수도 있다.
일부 실시예에 따르면, 사용자 A는 인텔리전트 글래스와 스마트 폰 둘 모두를 가지고 있다. 사용자는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 스마트 폰을 이용하여 오디오 데이터를 수신할 수도 있다. 로컬 필기 영역과 관련된 데이터(이미지 프레임 또는 핸드라이팅 등) 및 오디오 데이터는 동일한 디바이스에 송신될 수 있으며, 서로 연관될 수 있다, 동일한 디바이스는 로컬 필기 영역을 촬영하는 인텔리전트 디바이스나, 오디오 데이터를 수신하는 스마트폰 또는 다른 디바이스일 수 있다.
일부 실시예에 따르면, 사용자 A가 복수의 다른 사용자들이 회의를 시작할 수 있다. 회의 장소는 비교적 클 수 있으며, 만약 다른 사용자들의 오디오 데이터가 사용자 A의 디바이스를 이용하여 수집되는 경우 선명도가 낮을 수 있다. 이 때, 사용자 A의 인텔리전트 디바이스가 로컬 필기 영역을 촬영할 수 있고, 다른 사용자들 중 적어도 하나의 인텔리전트 디바이스가 오디오 데이터를 기록할 수 있다. 그 후, 로컬 필기 영역을 촬영한 이미지 프레임 또는 필기 정보 및 오디오 데이터가 하나의 디바이스에 송신될 수 있으며, 로컬 필기 영역을 촬영한 적어도 하나의 이미지 프레임 또는 필기 정보와 오디오 데이터는 서로 관련될 수 있다. 로컬 필기 영역을 촬영한 이미지 프레임 또는 필기 정보 및 오디오 데이터를 획득하는 하나의 디바이스는 로컬 필기 영역을 촬영한 인텔리전트 디바이스나, 오디오 데이터를 기록한 스마트폰 또는 다른 디바이스일 수 있으며, 상기 예시에 제한되지 않는다.
로컬 필기 영역을 촬영하는 방법 및 로컬 핸드라이팅을 획득하는 방법은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다. 오디오 데이터를 기록 또는 수신하는 방법은 하기에서 설명한다.
로컬 필기 영역을 촬영하는 동안, 인텔리전트 디바이스는 수신된 사운드 기록 시작 지시에 따라 내부 또는 외부의 관련된 사운드 수집 장치들을 이용하여, 로컬 필기 영역을 촬영하는 기간 동안 수신된 오디오 데이터가 기록할 수 있다.
일부 실시예에 따르면, 사운드 기록 시작 지시는 음성, 버튼, 제스쳐, 증강 현실과 같은 인간 - 컴퓨터 상호 작용 인터페이스 및 외부 컨트롤러(즉, 인텔리전트 디바이스와 관련 있는, 핸드폰과 같은 리모트 제어 기능을 가진 디바이스)에 의해 생성될 수 포함할 수 있다.
예를 들면, 만약 사용자가 ‘사운드 기록 시작’과 같은 음성 지시를 내리는 경우, 인텔리전트 디바이스는 음성 지시를 수신하고, 음성 지시가 사운드 기록 시작 지시인지를 판단하기 위해 음성 지시에 따라 음성 인식을 시작하며, 사운드 기록 동작을 시작한다. 인텔리전트 디바이스는 음성 지시와 사운드 기록 시작 지시 간의 대응 관계를 저장할 수 있다. 예를 들면, 음성 지시와 사운드 기록 시작 지시는 대응 테이블을 통해 대응될 수 있으며, 음성 지시는 ‘사운드 기록 시작’, ‘음성 기록’, ‘시작 사운드 기록’ 및 영어, 중국어, 한국어 또는 다른 언어들로 구성된 지시들을 포함할 수 있다. 물론 음성 지시는 상기 예시에 제한되지 않는다. 또한 사용자 및 인텔리전트 디바이스는 사운드 기록 시작 지시와 음성 지시가 대응되도록 다른 방법을 사용할 수도 있다.
만약, 사운드 기록 시작 지시가 버튼에 의해 시작되는 경우, 버튼은 홈버튼, 소리 조절 버튼, 파워 버튼, 프로그램 조절 버튼, 새롭게 추가된 버튼 또는 도 1b에 도시된 바와 같은 버튼과 같은 하드웨어 버튼일 수도 있고 소프트웨어로 구현된 소프트웨어 버튼일 수 있다. 또는 인텔리전트 디바이스의 사용자 인터페이스(User interface)일 수도 있다. 만약 사용자가 소정의 방식에 따라 버튼을 누르면, 인텔리전트 디바이스는 사운드 기록 시작 지시를 수신하였다고 판단할 수 있다. 소정의 방식은 짧게 누르기, 길게 누르기, 소정의 횟수를 짧게 누르기 또는 짧게 및 길게 번갈아 가며 누르는 등의 방식을 포함할 수 있다.
만약, 사운드 기록 시작 지시가 제스쳐에 의해 시작되는 경우, 제스쳐는 한손 또는 두손에 의해 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 인텔리전트 디바이스는 기존의 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다. 또한 인텔리전트 디바이스는 인식된 제스쳐에 따라 사운드 기록 시작 지시가 수신되었다고 판단할 수 있다.
만약, 사운드 기록 시작 지시가 외부 컨트롤러(예를 들면, 로컬 필기 영역을 촬영하는 인텔리전트 디바이스와 연결된 셀룰러폰)로부터 수신되는 경우, 인텔리전트 디바이스는 셀룰러폰으로부터 사운드를 기록하라는 지시를 수신하면, 사운드의 기록을 시작한다. 인텔리전트 디바이스와 외부 컨터롤러의 연결은 물리적 연결일 수도 있고, 매크로 네트워크(Macro network), WiFi(Wireless Fidelity) 네트워크, 로컬 영역 네트워크 중 적어도 하나의 네트워크를 통한 무선 연결일 수도 있으며, 상기 예시에 제한되지 않는다. 또한 외부 컨트롤러의 지시는 적외선 지시(Infrared instruction) 또는 셀룰러폰에 의해 송신되는 메시지일 수도 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 사운드 기록 시작 지시가 사용되지 않을 수도 있다. 다시 말해서, 인텔리전트 디바이스는 사운드 기록 시작 지시 없이도, 항상 사운드를 기록할 수도 있다.
일부 실시예에 따르면, 사운드 수집 장치는 마이크로폰, 또는 복수의 마이크로폰을 포함하는 마이크로폰 어레이를 포함할 수 있다. 마이크로폰 어레이는 하나의 디바이스이거나 복수의 디바이스들일 수 있다. 예를 들면, 많은 스마트폰들은 둘 이상의 마이크로폰을 포함할 수 있으며, 둘 이상의 마이크로폰이 마이크로폰 어레이일 수 있다. 만약 복수의 디바이스들 내에 마이크로폰 어레이가 위치하는 경우, 마이크로폰 어레이를 이용하여 오디오 데이터를 수신하기 전, 마이크로폰 간의 클럭 동기화가 필요할 수 있다.
일부 실시예에 따르면, 기록된 오디오 데이터는 사람의 음성 및 음악을 포함할 수 있으며, 상기 예시에 제한되지 않는다. 기록된 오디오 데이터는 필기하고 있는 사람에 의해 발생한 소리 또는 다른 사람 또는 오브젝트들에 의해 발생한 소리를 포함할 수 있다.
만약 필기하고 있는 사람 주위에 아무 것도 없는 경우, 기록된 오디오 데이터는 필기하고 있는 사용자 자신에 의해 발생한 소리를 포함할 수 있다. 만약 필기하고 있는 사용자가 회의 중인 경우, 기록된 오디오 데이터는 회의 중인 다른 사람에 의해 발생한 소리를 포함할 수 있다. 만약 필기 중인 사용자가 회의록을 기록하는 경우, 회의록은 기록된 오디오 데이터에 의해 수정 및 보완될 수 있다.
예를 들면, 사용자 A가 회의록을 기록할 때, 회의 구성원 B가 작업 효율을 높이기 위한 몇가지 방법들에 대해 소개한다. 그러나 사용자 A가 ‘작업 효율의 증가’라는 키워드만을 필기할 수도 있다. 이 때, 회의록은 기록된 오디오 데이터에 의해 보완될 수 있다.
일부 실시예에 따르면, 오디오 데이터의 시간 특성으로써, 기록된 오디오 데이터 내의 각 오디오 샘플링 지점의 샘플링 시간이 기록될 필요가 있다. 일부 실시예에 따르면, 보편적인 오디오 데이터 저장 포맷(WAV, MP3와 같은)에서, 오디오 샘플링 포인트의 인덱스 및 샘플링 주파수에 따라 각 오디오 샘플링 지점의 샘플링 시간이 계산될 수 있다.
일부 실시예에 따르면, 로컬 필기 영역의 촬영 시간 및 오디오 데이터의 각 오디오 샘플링 포인트의 샘플링 시간이 하나의 클럭 또는 두개의 상이한 클럭들에 의해 생성될 수 있다, 두개의 상이한 클럭들이 적용되는 경우, 두개의 클럭은 오디오 및 핸드라이팅 간의 동기화를 실현하기 위해 동기화될 필요가 있다.
일부 실시예에 따르면, 사용자 A는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 오디오 데이터를 수신할 수 있다. 이 때, 로컬 필기 영역의 촬영 시간 및 오디오 데이터의 각 샘플링 포인트의 샘플링 시간이 인텔리전트 글래스의 클럭에 의해 생성될 수 있다. 따라서, 동기화가 필요하지 않을 수 있다.
일부 실시예에 따르면, 사용자 A는 둘 이상의 인텔리전트 디바이스들을 가질 수 있다. 사용자 A는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 스마트폰을 이용하여 오디오 데이터를 수신할 수 있다. 이 때, 로컬 필기 영역의 촬영 시간은 인텔리전트 글래스의 클럭에 의해 생성되며, 반면에 오디오 데이터의 각 오디오 샘플링 포인트의 샘플링 시간은 스마트폰의 클럭에 의해 생성될 수 있다. 오디오 및 핸드라이팅 간의 동기화를 실현하기 위해 두 클럭들 간의 동기화가 필요하다.
일부 실시예에 따르면, 사용자 A는 인텔리전트 글래스를 이용하여 로컬 필기 영역을 촬영하고, 사용자 B가 스마트폰을 이용하여 오디오 데이터를 수신할 수 있다. 이 때, 로컬 필기 영역의 촬영 시간 및 오디오 데이터의 오디오 샘플링 포인트의 샘플링 시간은 각각 상이한 클럭들에 의해 생성될 수 있다. 오디오 및 핸드라이팅 간의 동기화를 실현하기 위해 두 클럭들 간의 동기화가 필요하다.
일부 실시예에 따르면, 만약 오디오 데이터를 수신하는데 마이크로폰 어레이가 사용된다면, 오디오 데이터가 수신되는 복수의 수신 경로들이 별도로 저장될 수 있다. 예를 들면, 오디오 데이터는 복수-경로(multi-path)를 조합한 오디오 데이터가 저장될 수도 있고, 또는 각 경로를 통해 획득한 오디오 데이터가 별도로 저장될 수도 있다. 또는 사운드 향상 프로세스 이후 조합된 경로의 오디오 데이터가 저장될 수도 있다. 만약 오디오 데이터의 각 경로가 별도로 저장되는 경우, 시간 축 상의 오디오 데이터의 경로의 동기화가 보장되어야 한다.
블록 S502에서, 로컬 핸드라이팅 및 오디오 데이터가 서로 연관된다.
일부 실시예에 따르면, 로컬 핸드라이팅 및 오디오 데이터 내의 컨텐츠의 연관은 하기의 실시예들에 의해 구현될 수 있으나, 하기 예시에 제한되지 않는다.
첫번째 방법으로, 오디오 데이터 및 로컬 핸드라이팅을 포함하는 파일이 연관적으로 저장된다.
예를 들면, 오디오 파일은 오디오 데이터에 의해 생성될 수 있다. 인텔리전트 디바이스는 로컬 핸드라이팅을 포함하는 데이터 또는 파일. 즉, 레이아웃 정보가 포함되지 않은 텍스트 파일, 레이아웃 정보가 포함된 문서 파일, 이미지 파일 및 비디오 파일 중 적어도 하나의 파일을 생성할 수 있다. 인텔리전트 디바이스는 오디오 파일 및 로컬 핸드라이팅을 포함하는 텍스트 파일, 문서 파일, 이미지 파일 및 비디오 파일 중 적어도 하나를 하나의 폴더 내에 저장할 수도 있고, 두 개의 관련된 폴더들에 저장할 수도 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오디오 데이터와 로컬 핸드라이팅을 포함하는 파일 간의 대응 관계를 먼저 획득할 수도 있다. 오디오 데이터 및 로컬 핸드라이팅 간의 대응 관계를 획득하는 방법은 아래의 단계들을 포함할 수 있다. 물론 상기 예시에 제한되지 않는다. 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅을 판단하고, 오디오 데이터 내의 각 오디오 샘플링 포인트의 샘플링 시간에 따라 현재 프레임과 현재 프레임의 근접한 프레임 간의 촬영 시간에 기록된 오디오 데이터를 결정할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오디오 데이터 및 로컬 핸드라이팅 간의 대응 관계를 획득한 후, 현재 프레임과 현재 프레임에 근접한 프레임의 촬영 시간 간에 기록된 오디오 데이터에 따라 변화된 핸드라이팅을 저장할 수도 있다.
두번째 방법으로는, 오디오 데이터 및 로컬 핸드라이팅 간의 대응관계가 저장될 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 오디오 데이터 및 로컬 핸드라이팅 간의 대응 관계를 테이블 또는 로컬 핸드라이팅을 포함하는 파일 또는 비디오 파일을 이용하여 저장할 수 있다.
만약 대응 관계가 테이블로 저장되는 경우, 테이블 내의 로컬 핸드라이팅의 프레임 인덱스가 오디오 데이터의 타임스탬프와 대응될 수 있다. 로컬 핸드라이팅의 프레임 인덱스는 로컬 핸드라이팅이 촬영된 촬영 시간을 나타낼 수 있다. 오디오 데이터의 타임스탬프는 오디오 데이터의 오디오 샘플링 포인트의 샘플링 시간을 나타낸다.
도 6에 도시된 바와 같이 인텔리전트 디바이스는 이전 이미지 프레임과 비교하여 현재 이미지 프레임의 변화된 핸드라이팅을 결정한다. 또한 인텔리전트 디바이스는 현재 이미지 프레임과 대응하는 오디오 데이터를 결정한다. 대응되는 오디오 데이터란, 변화된 핸드라이팅이 필기될 때 수신된 오디오 데이터일 수 있다. 인텔리전트 디바이스는 오디오 데이터와 로컬 핸드라이팅의 대응을 실현하기 위해 현재 이미지 프레임의 프레임 인덱스 및 현재 이미지 프레임과 대응되는 오디오 데이터의 타임 스탬프가 테이블 내에 대응되도록 저장할 수 있다.
일부 실시예에 따르면, 검색된 변화된 핸드라이팅 및 수집된 오디오 데이터를 저장하기 전, 인텔리전트 디바이스는 타임스탬프에 따라 동기화를 수행할 수 있다. 현재 이미지 프레임의 변화된 핸드라이팅과 관련된 타임스탬프가 시작 지점으로 선택되고, 다음 이미지 프레임의 변화된 핸드라이팅과 관련된 타임스탬프가 종료 지점으로 선택될 수 있다. 인텔리전트 디바이스는 시작 지점과 종료 지점 간의 기간과 대응되는 기간 내에 수집된 오디오 데이터를 검색할 수 있다. 시작 지점과 종료 지점 간의 기간과 대응되는 기간 내에 수집된 오디오 데이터 및 현재 프레임의 변화된 핸드라이팅은 일대일 대응관계를 설립하기 위해 서로 연관되고, 함께 저장될 수 있다.
만약 로컬 핸드라이팅을 포함하는 파일 내에 저장된 대응 관계가 저장되면, 파일 내의 로컬 핸드라이팅에 식별자가 설정될 수 있다. 식별자는 대응되는 오디오 데이터로의 링크를 제공할 수 있다. 예를 들면, 인텔리전트 디바이스는 먼저 이전 이미지 프레임과 비교하여 현재 이미지 프레임의 변화된 핸드라이팅을 결정한다. 또한 인텔리전트 디바이스는 현재 이미지 프레임과 대응하는 오디오 데이터를 결정한다. 대응되는 오디오 데이터는 변화된 핸드라이팅이 필기될 때 수신된 오디오 데이터일 수 있다. 인텔리전트 디바이스는 파일 내의 변화된 핸드라이팅을 과 대응되는 위치에 식별자를 설정할 수 있으며, 식별자는 오디오 데이터와 로컬 핸드라이팅과의 대응을 실현하기 위해 대응되는 오디오 데이터로의 링크를 제공할 수 있다.
사용자가 텍스트 문서(또는 이미지 문서)를 읽는 중에 기록된 오디오 정보를 듣는 것을 가능하게 하기 위해, 문서가 표시될 때, 오디오 재생 식별자가 대응되는 오디오 데이터를 가지는 글자, 단어, 문장, 단락, 챕터, 그래프(또는 대응되는 픽셀들) 주위에 표시될 수 있다. 사용자는 소정의 방식을 통해 오디오 재생 식별자의 촉발을 통해 기록된 사운드(기록된 오디오 정보)를 들을 수 있다.
일부 실시예에 따르면 사용자가 한번에 복수의 오디오 재생 식별자들을 촉발시킬수도 있다. 예를 들면, 인텔리전트 디바이스는 복수의 오디오 재생 식별자들을 선택하는 사용자 입력(예를 들면. 복수의 오디오 재생 식별자들을 손가락으로 미끄러트릴는 사용자 입력)을 수신할 수 있다. 이 때, 인텔리전트 디바이스는 오디오 재생 식별자가 촉발된 타임 시퀀스 정보에 따라 오디오를 재생할 수 있다. 만약 사용자가 복수의 오디오 식별자를 동시에 촉발한 경우(예를 들면, 사용자가 문서 내의 복수의 오디오 재생 식별자들을 선택하기 위해 제스쳐를 통해 원을 그린 경우), 오디오 재생 식별자들과 대응되는 오디오들의 타임 스탬프의 시퀀스에 따라 오디오가 재생될 수 있다.
일부 실시에에 따르면, 비디오 파일을 통해 로컬 핸드라이팅과 오디오 데이터 간의 대응 관계가 저장될 수도 있다. 비디오 파일은 필기 궤적 및 오디오 데이터 둘 모두를 포함할 수 있으며, 오디오 데이터와 필기 궤적은 동기화될 수 있다. 예를 들면, 인텔리전트 디바이스는 전체 핸드라이팅에 따라 사용자의 핸드라이팅이 인식된 이후, 비디오 파일을 통해 변화된 핸드라이팅의 필기 절차가 재생되는 동안 오디오 데이터가 재생되도록, 전체 핸드라이팅의 각 이미지 프레임의 타임시퀀스 정보, 변화된 핸드라이팅 및 각 이미지 프레임의 변화된 핸드라이팅과 대응하는 오디오 데이터를 포함하는 비디오 파일을 생성할 수 있다. 또한 오디오 파일과 비디오 파일이 시간 축에서 동기화되는 것이 보장된다면, 인텔리전트 디바이스는 오디오 파일과 비디오 파일을 각각 저장할 수도 있다.
오디오 파일 및 비디오 파일을 저장하는 방법은 사용자에 의해 선택될 수 있다. 예를 들면, 인텔리전트 디바이스는 핸드라이팅을 인식하거나, 오디오 데이터를 수신하기 전에, 오디오 데이터를 포함하는 비디오 데이터를 생성할 것인 지, 오디오 데이터와 핸드라이팅을 별도로 저장할 것인지 선택하는 사용자의 입력을 수신할 수 있다. 또는 비디오 파일을 저장할 때, 인텔리전트 디바이스는 대화 상자를 팝업시킴으로써, 사용자의 선택을 유도할 수도 있다. 만약 사용자가 선택하지 않는 경우, 인텔리전트 디바이스는 오디오 파일을 포함하는 비디오 파일을 생성할 수도 있고, 오디오 파일을 포함하지 않은 비디오 파일을 생성할 수도 있다.
일부 실시예에 따르면, 현재 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 시작 지점으로 선택되고, 다음 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 종료 지점으로 선택될 수 있다. 또는 현재 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 종료 지점으로 선택되고, 마지막 이미지 프레임의 변화된 핸드라이팅과 대응하는 타임스탬프가 시작 지점으로 선택될 수도 있다. 이후, 인텔리전트 디바이스는 현재 이미지 프레임의 변화된 핸드라이팅에 대응하는 오디오 데이터를 형성하기 위해 오디오 데이터 내의 각 오디오 샘플링 포인트의 샘플링 시간에 따라 시작 지점과 종료 지점 간의 모든 오디오 샘플링 포인트들이 기록된 오디오 데이터로부터 검색할 수 있다.
일부 실시예에 따르면, 오디오 데이터 및 변화된 핸드라이팅이 서로 관련되기 전, 기록된 오디오 데이터에 향상 프로세스가 적용될 수도 있다.
인텔리전트 디바이스는 기록을 위한 사운드를 수신할 때 잡음들(noise)을 수신할 수도 있다. 예를 들면, 인텔리전트 디바이스는 시끄러운 환경에서 사용자의 음성을 수신하는 경우, 주위 잡음들이 함께 기록될 수 있다. 그러므로, 인텔리전트 디바이스는 사용자의 요구에 의해 음성을 향상시키고, 백그라운드 잡음들을 필터링함으로써, 기록된 음성에서 잡음들을 제거할 수 있다.
나아가, 기록될 사운드 및 잡음들이 동시에 수신된 경우, 인텔리전트 디바이스는 기록될 사운드(기본 소리(foreground))를 향상 및 수정할 수 있다. 예를 들면, 인텔리전트 디바이스는 시끄러운 환경에서 사용자의 음성을 수신하는 경우, 주위 잡음들이 함께 기록될 수 있다. 그러므로, 인텔리전트 디바이스는 사용자의 음성이 잡음에 비해 더 쉽게 인식될 수 있도록 사용자의 목소리를 향상 및 수정할 수 있다.
인텔리전트 디바이스에 의해 수신된 사운드는 다양한 방향에서 올 수 있는 반면에, 기록될 사운드는 특정한 음원으로부터 올 수 있다. 이 경우, 인텔리전트 디바이스는 특정한 음원으로부터의 사운드를 수신하기 위해 특정한 방향을 선택할 수 있다.
상기에서 설명한 사운드 향상은 오디오 데이터를 수신하기 전에 설정될 수 있고, 수신 절차 도중 조절될 수도 있으며, 오디오 데이터가 기록된 이후 오디오 데이터에 전처리를 수행하는 동안에 수행될 수도 있다.
일부 실시예에 따르면, 만약 각 이미지 프레임의 로컬 핸드라이팅을 조합하는 동안 멈춤 신호가 검출되면, 오디오 데이터의 수신 또한 로컬 핸드라이팅이 멈춘 동안 함께 멈출 수 있고, 수신된 오디오 데이터는 저장될 수 있다. 따라서, 이후 재시작 신호가 검출되면, 로컬 핸드 라이팅의 검색이 재시작된 동안 오디오 데이터의 수신 또한 계속될 수 있다.
예를 들면, 사용자는 컨텐츠를 읽는 동안 컨텐츠를 필기할 수 있다. 인텔리전트 디바이스는 사용자에 의해 필기된 로컬 필기 영역을 촬영하고, 읽혀지는 음성을 기록할 수 있다. 사용자가 ‘Today's weather is very good’을 읽고 필기할 때, 인텔리전트 디바이스는 멈춤 신호를 수신할 수 있다. 인텔리전트 디바이스는 핸드라이팅의 검색 및 기록을 잠시 일시적으로 멈추고 ‘Today's weather is very good’의 로컬 핸드라이팅 및 오디오 데이터를 캐싱할 수 있다. 인텔리전트 디바이스가 재시작 신호를 수신한 후, 사용자는 ‘I walk to my office’를 필기하고 읽을 수 있다. 인텔리전트 디바이스는 ‘I walk to my office’의 로컬 핸드라이팅의 검색을 계속하고, 읽혀진 컨텐츠의 저장을 계속할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 멈춤 신호를 수신한 후, 오디오 데이터의 수신을 계속하고, 멈춤 기간 동안의 오디오 데이터와 멈춤 신호가 수신되기 이전의 마지막 이미지 프레임의 로컬 핸드라이팅 또는 변화된 핸드라이팅을 연관시킬 수도 있다.
예를 들면, 사용자 A가 회의록을 기록할 때, 회의 구성원 B가 작업 효율을 높이기 위한 몇가지 방법들에 대해 소개한다. 그러나 사용자 A가 ‘작업 효율의 증가’라는 키워드만을 기록할 수도 있다. 사용자가 ‘작업 효율의 증가’를 기록한 후, 인텔리전트 디바이스는 멈춤 신호를 수신할 수 있다. 이 경우, 인텔리전트 디바이스는 사용자 A가 회의 이후 기록된 오디오 데이터에 따라 회의록을 보완할 수 있도록 로컬 핸드라이팅의 검색은 일시적으로 멈추지만, 회의 구성원 B에 의해 발표되는 ‘작업 효율의 증가’에 대한 음성은 계속 기록할 수 있다.
일부 실시예에 따르면, 필기 및 오디오 데이터 간의 동기화를 실현하기 위해, 인텔리전트 디바이스는 종료 신호가 검출된 이후, 사용자의 핸드라이팅의 인식이 멈춘 동안은 오디오 데이터의 수신은 멈출 수 있다.
일부 실시예에 따르면, 로컬 필기 영역이 촬영될 때, 로컬 필기 영역이 촬영되는 구간 동안 수신된 오디오 데이터는 기록되며, 기록된 오디오 데이터에 따라 검색된 핸드라이팅의 추가적인 검증이 가능하고, 사용자의 경험을 개선할 수 있다.
실시예 7
사용자의 핸드라이팅이 인식된 이후, 인텔리전트 디바이스는 필기 정보를 생성할 수 있다. 필기 정보는 핸드라이팅 정보를 포함하는 상이한 포맷들의 파일을 포함할 수 있다. 다시 말해서, 인텔리전트 디바이스는 핸드라이팅 정보를 포함하는 상이한 포맷들의 파일들을 생성할 수 있다. 이하에서는 파일 생성에 대해 설명한다.
인텔리전트 디바이스가 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식한 이후, 사용자의 핸드라이팅에 따라 레이아웃 정보가 저장되지 않은 문서 파일, 레이아웃 정보가 함께 저장된 문서 파일, 이미지 파일, 비디오 파일 중 적어도 하나의 파일이 생성될 수 있다. 인텔리전트 디바이스는 생성된 파일을 저장부에 저장할 있고, 다른 디바이스에 송신함으로써 저장할 수도 있다. 또한 인텔리전트 디바이스는 유선 또는 무선으로 연결된 매체를 통해 생성된 파일을 송신할 수 있다. 인텔리전트 디바이스는 컴퓨터의 소프트웨어(예를 들면, 워드 프로세싱 소프트웨어) 또는 어플리케이션을 이용하여 생성된 파일을 편집 및 수정할 수 있다.
이하에서는 네 종류의 생성되는 파일에 대해 설명한다. 물론 생성되는 파일은 하기 예시에 제한되지 않는다.
레이아웃 정보가 저장되지 않은 문서 파일: 사용자의 핸드라이팅은 핸드라이팅 인식 엔진을 이용하여 인식되고, 인식된 결과가 문서 파일로 저장될 수 있다. 문서 파일은 txt 포맷 또는 워드 포맷과 같은 텍스트 파일이거나, 다른 포맷들일 수 있다.
예를 들면, 사용자가 연습장에 두 라인으로 필기하였다고 가정한다. 사용자는 첫번째 라인에 ‘Today's weather is very good’라고 기재하고, 두번째 라인에는 ‘I walk to my office’를 기재하였다면, 인텔리전트 디바이스는 핸드라이팅을 인식하고, 파일을 생성할 때, 레이아웃 정보가 함께 저장되지 않은 파일을 생성할 수 있다. 레이아웃 정보가 함께 저장되지 않은 파일에는 라인 정보가 저장되지 않는다. 즉, 레이아웃 정보가 함께 저장되지 않은 파일에는 ‘ Today's weather is very good, I walk to my office.’가 동일한 라인에 필기된 것으로 저장될 수 있다.
레이아웃 정보가 저장된 문서 파일: 일부 실시예에 따르면, 인식된 핸드라이팅에 따라 레이아웃 정보가 저장된 문서 파일이 생성될 수 있다. 인텔리전트 디바이스는 레이아웃 분석기를 이용하여 핸드라이팅을 분석할 수 있다. 만약 사용자의 핸드라이팅에 라인 변경 정보가 존재하는 경우, 레이아웃 분석기에 의해 라인 변경 정보가 분석될 수 있다. 분석 동안, 인텔리전트 디바이스는 전체 핸드라이팅 내의 선들의 상대적인 위치들에 따라 사용자의 핸드라이팅의 레이아웃을 획득할 수 있다. 사용자의 핸드라이팅은 전체 핸드라이팅 내의 각 선의 특성에 따라 텍스트 부분과 그림 파트로 나뉠 수 있다. 그 후, 사용자의 핸드라이팅은 핸드라이팅 인식 엔진을 이용하여 인식될 수 있다. 인식된 결과는 분석을 통해 획득된 레이아웃에 따라 배열될 수 있다. 배열된 텍스트 및 검색된 그림은 조합되고, 텍스트 및 그림을 포함하는 문서 파일로 저장될 수 있다. 레이아웃 분석기를 이용한 레이아웃 분석 및 텍스트 부분과 그림 부분의 분할은 당업자에게 자명하므로 자세한 설명은 생략한다.
예를 들면, 사용자가 연습장에 두 라인으로 필기하였다고 가정한다. 사용자는 첫번째 라인에 ‘Today's weather is very good’라고 기재하고, 두번째 라인에는 ‘I walk to my office’를 기재하였다면, 인텔리전트 디바이스는 핸드라이팅을 인식하고, 파일을 생성할 때, 레이아웃 정보가 함께 저장된 파일을 생성할 수 있다. 레이아웃 정보가 함께 저장된 문서 파일이 생성되면, 문서 파일의 첫번째 라인은 ‘Today's weather is very good’이고, 두번째 라인은 ‘I walk to my office’이다.
일부 실시예에 따르면, 도 7a에 도시된 것처럼 사용자는 필기 표면에 핸드라이팅을 필기할 수 있다. 인텔리전트 디바이스는 촬영된 이미지 프레임으로부터 손 및 필기 도구를 제거하고, 로컬 핸드라이팅을 획득할 수 있다. 로컬 핸드라이팅은 전체 핸드라이팅으로 조합될 수 있다. 따라서 인텔리전트 디바이스는 도 7b에 도시된 것과 같은 문서 파일을 획득할 수 있다. 도 7b에 표시된 컨텐츠는 출력된 컨텐츠로써, 사용자가 필기한 핸드라이팅을 인식할 수 있도록 한다.
도 7c는 사용자에 의해 필기된 영어 컨텐츠를 도시한다. 도 7d는 도 7c에 따른 레이아웃 정보와 함께 저장된 문서 파일을 도시한다. 이는 도 7a 및 도 7b와 유사한 방식으로 생성된다.
일부 실시예에 따르면, 레이아웃 정보와 함께 저장된 문서 파일은 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자 및 컨텐츠 설명에 따라 생성될 수 있다. 즉, 레이아웃 정보는 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자에 관한 정보 또한 포함할 수 있다.
일부 실시예에 따르면, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자 및 강조 식별자 각각은 배경 색상, 밑줄, 점선, 물결 모양 선, 사각형 프레임, 강조 표시, 괄호, 삼각형 기호, 별 기호(star/asterisk) 및 파운드 기호와 중 적어도 하나를 포함할 수 있으며, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 필기 절차 동안, 사용자는 몇몇 컨텐츠를 반복하여 필기하는 것이 고려될 수 있다. 예를 들면, 사용자는 동일한 글자, 단어, 문장, 단락, 그래프등을 필기할 수 있다. 반복 특성 식별자는 사용자에 의해 필기되는 동일한 컨텐츠의 반복을 피할 때 사용함으로써, 필기 효율을 높일 수 있다.
예를 들면, 사용자의 필기 절차 동안, 사용자는 ‘writing information’을 첫번째로 기재하고, 반복 특성 식별자가 ‘ writing information’에 추가될 수 있다. 이후의 필기 절차에서 반복 특성 식별자는 ‘ writing information’을 대체하여 사용될 수 있다.
레이아웃 정보가 함께 저장된 문서 파일이 생성되기 전, 인텔리전트 디바이스는 반복 특성 식별자를 검출하고, 반복 특성 식별자를 가장 먼저 나타나는 위치를 판단할 수 있다. 인텔리전트 디바이스는 레이아웃 정보와 함께 저장되는 문서 파일을 생성하기 위해 첫번째로 나타나는 반복 특성 식별자에 의해 식별되는 컨텐츠를 이후의 반복 특성 식별자의 위치로 복사할 수 있다.
반복 특성 식별자에 의해 식별되는 컨텐츠는 반복 특성 식별자에 따라 인식된 정보일 수 있다. 예를 들어, 반복 특성 식별자에 의해 식별되는 컨텐츠는 글자, 단어, 문장, 단락, 그래프 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
사용자의 필기 절차 동안, 필기된 컨텐츠는 대체될 수 있다. 도 7e에서 도시된 바와 같이, x가 대체 식별자를 나타내고 사용자가 ‘분류’를 ‘작용’으로 대체하기를 원한다고 가정하면, 도 3c에서 도시된 방법이 수정을 위해 사용될 수 있다. 인텔리전트 디바이스는 대체 식별자 x를 검출하고, 컨텐츠를 대체하며, 도 7f에 도시된 레이아웃과 함께 저장된 문서 파일을 생성할 수 있다.
도 7g는 사용자에 의해 필기된 대체 식별자를 포함하는 영어 컨텐츠를 도시한다. 도 7h는 도 7g에 따른 레이아웃 정보와 함께 저장된 문서 파일을 도시한다. 이는 도 7e 및 도 7f와 유사한 방식으로 생성된다.
이미지 파일: 사용자의 검색된 핸드라이팅은 이미지 파일로 직접 저장될 수도 있다. 예를 들면, 인텔리전트 디바이스는 전체 핸드라이팅을 이미지 파일로 저장할 수 있다. 도 7i는 도 7e에서 도시된 필기된 컨텐츠가 저장된 이미지 파일을 도시한다. 도 7j 또한 도 7c에서 도시된 컨텐츠가 저장된 이미지 파일을 도시한다. 이미지 파일은 사용자의 원본 핸드라이팅을 기록할 수 있다.
비디오 파일: 사용자의 검색된 핸드라이팅은 사용자의 검색된 핸드라이팅 내의 픽셀들의 타임 시퀀스에 따라 비디오 파일로 직접 저장될 수도 있다. 예를 들면, 비디오 파일은 각 이미지 프레임의 변화된 핸드라이팅 및 시간 시퀀스 정보에 따라 생성되고 저장될 수 있다. 비디오 파일은 사용자의 완전한 필기 절차를 기록할 수있다.
일부 실시예에 따르면, 레이아웃 정보가 함께 저장된 문서 파일, 레이아웃 정보가 저장되지 않은 문서 파일, 이미지 파일 및 비디오 파일은 서로 관련될 수 있다. 만약 오디오 데이터가 로컬 필기 영역 촬영 동안 기록된 경우, 레이아웃 정보가 함께 저장된 문서 파일, 레이아웃 정보가 저장되지 않은 문서 파일, 이미지 파일 및 비디오 파일 중 적어도 하나와 관련된 오디오 데이터에 따라 오디오 파일이 생성될 수 있다.
일부 실시예에 따르면, 연관이란, 두 데이터가 관련이 있는 의미를 포함할 수 있다. 연관은, 파일 계층 연관 및 컨텐츠 계층 연관과 같은 두 종류의 연관을 포함할 수 있다. 이하에서는 두 계층들의 연관에 대해 설명한다.
일부 실시예에 따르면, 파일 계층 연관은 동일한 필기 절차에 대해 생성된 다양한 종류의 파일들 간에 설립된 대응 관계를 나타낼 수 있다. 파일 계층 연관은 복수의 파일들 중 하나에 기초하여 다른 파일들을 빠르게 찾고, 획득할 수 있도록 한다.
예를 들면, 인텔리전트 디바이스는 파일 이름을 통해 파일을 식별할 수 있다. 파일 계층 연관은 ‘생성된 문서 파일의 이름 <-> 생성된 이미지 파일의 이름’, ‘생성된 이미지 파일의 이름 <-> 생성된 비디오 파일의 이름’, ‘생성된 문서 파일의 이름 <-> 생성된 비디오 파일의 이름’과 같은 대응 관계를 포함할 수 있다. ‘<->‘로 표시된 기호는 대응 관계를 의미할 수 있다. 즉, 인텔리전트 디바이스는 연관된 데이터를 파일 이름에 기초하여 식별할 수 있도록 파일 계층에서 적어도 하나의 파일을 연관시킬 수 있다.
만약 오디오 파일이 저장되는 경우, 파일 계층 연관은 ‘생성된 문서 파일의 이름 <-> 생성된 오디오 파일의 이름’, ‘생성된 이미지 파일의 이름 <-> 생성된 오디오 파일의 이름’, ‘생성된 오디오 파일의 이름 <-> 생성된 비디오 파일의 이름’과 같은 대응 관계를 더 포함할 수 있다.
일부 실시예에 따르면, 파일 계층 연관에 따른 대응 관계는 맵핑 테이블(mapping table)의 형태로 저장되거나, 파일 이름들 내의 동일한 프리픽스(prefix)를 설정함으로써 구현될 수 있다. 물론 상기 예시에 제한되는 것은 아니다.
일부 실시예에 따르면, 컨텐츠 계층 연관은 문서 파일 내의 글자들과 이미지 파일 내의 픽셀들 간의 대응 관계, 문서 파일 내의 글자들과 비디오 파일 내의 이미지 프레임들 간의 대응 관계 등을 포함할 수 있다.
예를 들면, 문서 파일 내의 글자들과 이미지 파일 내의 픽셀들 간의 대응 관계는 문서 파일의 생성 동안 변화된 핸드라이팅 및 글자 간의 대응 관계 및 이미지 파일의 생성 동안 변화된 핸드라이팅 및 픽셀 간의 대응 관계에 따라 결정될 수 있다.
일부 실시예에 따르면, 컨텐츠 계층 연관에 따른 대응 관계는 맵핑 테이블(mapping table)의 형태로 저장될 수 있다. 문서 파일의 글자가 보여질 때, 맵핑 테이블의 검색을 통해 실제 필기 절차 및 글자의 핸드라이팅이 검색될 수 있다.
만약 로컬 필기 영역을 촬영하는 동안 대응하는 오디오 데이터가 기록되는 경우, 컨텐츠 계층 연관은 문서 파일 내의 글자들과 오디오 파일 내의 오디오 샘플링 포인트 간의 대응 관계를 더 포함할 수 있다. 따라서, 문서 파일의 글자가 보여질 때, 글자가 필기 될 때의 기록된 오디오 데이터가 검색될 수 있다.
일부 실시예에 따르면, 텍스트 파일(레이아웃 정보가 저장되지 않은 문서), 레이아웃 정보가 함께 저장된 문서, 이미지 파일 및 비디오 파일 간의 대응관계가 인텔리전트 디바이스(예를 들면, 인텔리전트 글래스) 내에 저장될 수도 있고, 다른 저장 장치에 저장될 수도 있으며, 향후의 사용을 위해 유선 또는 무선 네트워크 연결을 통해 송신될 수도 있다.
또한 일부 실시예에 따르면, 데이터를 연관시키는 동작을 수행한다는 의미는, 제 1 데이터와 제 2 데이터가 연관된다는 것을 알 수 있도록 소정의 동작을 수행하는 것을 포함할 수 있다. 예를 들면, 제 1 데이터와 제 2 데이터를 연관짓기 위해, 인텔리전트 디바이스는 동일한 태그 정보를 삽입하거나, 동일한 카테고리로 분류하거나, 동일한 저장 공간에 저장하는 등의 제 1 데이터와 연관된 제 2 데이터가 존재함을 알 수 있도록 표시 또는 제어하는 동작을 모두 포함할 수 있으며, 상기 예시에 제한되지 않는다.
또한 일부 실시예에 따르면, 핸드라이팅을 인식하는 방법은 있어서, 인텔리전트 디바이스는, 실시간으로 검출된 필기 초점을 추적하는 단계; 로컬 필기 영역을 촬영하는 단계; 로컬 필기 영역의 촬영된 이미지 프레임로부터 로컬 핸드라이팅을 검색하는 단계; 전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합하는 단계; 및 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식하는 단계를 포함하는 방법을 수행할 수 있다.
필기 초점은 시각 초점에 따라 결정되거나, 검출된 필기 도구의 말단의 위치에 따라 결정될 수 있다.
필기 도구의 말단의 위치는, 사전에 등록된 필기 도구의 말단의 모양에 따라 촬영된 이미지로부터 필기 도구의 말단을 인식함으로써, 인식된 필기도구의 말단에 기초하여 결정될 수 있다.
로컬 필기 영역의 촬영된 이미지로부터 상기 로컬 핸드라이팅을 검색하는 단계는, 핸드라이팅 색상에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 획득하는 단계를 포함할 수 있다.
핸드라이팅 색상에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 획득하는 단계는, 사전에 등록된 필기 도구의 핸드라이팅 색상에 기초하여 이미지 프레임로부터 로컬 핸드라이팅을 검색하는 단계 또는 핸드라이팅의 색상과 필기 배경의 색상 간의 색상 차이에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 검색하는 단계를 포함할 수 있다.
핸드라이팅의 색상과 필기 배경의 색상 간의 색상 차이에 기초하여 이미지 프레임으로부터 로컬 핸드라이팅을 검색하는 단계는, 이진화된 이미지를 획득하기 위해 핸드라이팅 색상과 필기 표면의 색상 간의 색상 차이에 기초하여 이미지 프레임에 이진화 프로세싱을 수행하는 단계; 이진화된 이미지 내의 선형 이미지 영역(line-shaped image area)를 판단하는 단계; 및 선형 이미지 영역을 로컬 핸드라이팅으로써 검색하는 단계를 포함할 수 있다.
전체 핸드라이팅을 획득하기 위해 로컬 핸드라이팅을 조합하는 단계는, 현재 이미지 프레임으로부터 검색된 로컬 핸드라이팅과 이전의 이미지 프레임으로부터 검색된 로컬 핸드라이팅을 비교하는 단계; 현재 이미지의 프레임의 변화된 핸드라이팅을 판단하는 단계; 및 전체 핸드라이팅을 획득하기 위해 각 이미지 프레임의 변화된 핸드라이팅을 조합할 수 있다.
전체 핸드라이팅을 획득하기 위해 상기 로컬 핸드라이팅을 조합하는 단계는, 현재 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임보다 빠른 이전의 모든 이미지 프레임들의 변화된 핸드라이팅을 조합하고, 다음 이미지 프레임의 선행 조합된 핸드라이팅을 획득하기 위해 현재 이미지 프레임의 변화된 핸드라이팅과 현재 이미지 프레임의 선행 조합된 핸드라이팅을 조합하는 단계; 및 전체 핸드라이팅을 획득할 때까지, 이미지 프레임의 변화된 핸드라이팅과 이미지 프레임의 상기 선행 조합된 핸드라이팅을 조합을 반복적으로 수행하는 단계를 포함할 수 있다.
핸드라이팅을 인식하는 방법은, 전체 핸드라이팅을 인식한 후, 인식된 핸드라이팅을 레이아웃 정보가 저장되지 않은 문서 파일을 생성하거나, 레이아웃 정보가 함께 저장된 문서 파일을 생성하거나, 이미지 파일을 생성하거나, 각 이미지 프레임의 타임 시퀀스 정보와 변화된 핸드라이팅에 기초하여 비디오 파일을 생성하는 단계를 더 포함할 수 있다.
레이아웃이 함께 저장된 문서 파일은 레이아웃 정보와 함께 저장된 문서 파일은 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자, 컨텐츠 설명에 따라 생성될 수 있다.
반복 특성 식별자에 기초하여, 상기 레이아웃 정보와 함께 저장된 문서 파일을 생성하는 경우, 반복 특성 식별자가 첫번째로 나타나는 위치를 판단하고, 첫번째로 나타나는 반복 특성 식별자에 의해 식별되는 컨텐츠를 이후의 반복 특성 식별자의 위치로 복사함으로써, 상기 레이아웃 정보와 함께 저장된 문서 파일을 생성할 수 있다.
핸드라이팅을 인식하는 방법은, 로컬 필기 영역을 촬영하는 동안 생성된 오디오 데이터를 수신하는 단계; 로컬 핸드라이팅과 상기 수신된 오디오 데이터를 연관시키는 단계를 더 포함할 수 있다.
로컬 핸드라이팅과 오디오 데이터를 연관시키는 단계는, 로컬 핸드라이팅을 포함하는 파일과 저장된 오디오 데이터를 연관시켜 저장하거나, 오디오 데이터와 로컬 핸드라이팅 간의 대응 관계를 저장하는 단계를 포함할 수 있다.
만약 상기 오디오 데이터와 상기 로컬 핸드라이팅 간의 대응 관계를 저장하는 경우, 식별된 컨텐츠와 대응하는 오디오 데이터가 존재한다면, 로컬 핸드라이팅과 대응하는 컨텐츠를 식별하는 단계를 포함할 수 있다.
로컬 핸드라이팅과 오디오 데이터를 연관시키는 단계는 로컬 핸드라이팅과 오디오 데이터를 연관시킨 이후, 오디오 데이터와 로컬 핸드라이팅 간의 대응 관계에 기초하여 로컬 핸드라이팅과 오디오 데이터를 포함하는 비디오 파일을 생성하는 단계를 더 포함할 수 있다.
로컬 핸드라이팅과 상기 오디오 데이터를 연관시키는 단계는, 현재 이미지 프레임의 촬영 시간과 근접한 이미지 프레임의 촬영 시간 사이에 수신된 오디오 데이터와 현재 이미지 프레임 및 현재 이미지 프레임에 근접한 이미지 프레임에서 변화된 핸드라이팅을 연관시키는 단계를 포함할 수 있다.
핸드라이팅 인식 방법은, 로컬 핸드라이팅을 획득한 이후, 라인 변경 정보가 검출되었는지 판단하는 단계; 및 라인 변경 정보에 기초하여 로컬 핸드라이팅을 조합하는 단계를 더 포함할 수 있다.
라인 변경 정보가 검출되었는지 판단하는 단계는, 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 없는지, 라인 변경 식별자가 검출되었는지, 라인 변경을 나타내는 오디오 데이터가 수신되었는지 여부 중 적어도 하나에 기초하여 결정될 수 있다.
라인 변경 정보에 기초하여 로컬 핸드라이팅을 조합하는 단계는, 라인 변경 정보에 기초하여 로컬 핸드라이팅의 조합 시작 지점 또는 조합 종료 지점을 판단하는 단계; 및 로컬 핸드라이팅을 조합하는 단계를 포함할 수 있다.
핸드라이팅 인식 방법은, 멈춤 신호가 검출되는지 판단하는 단계; 판단 결과에 기초하여 로컬 핸드라이팅의 검색을 멈추고 전체 영역을 모니터링 하는 단계를 포함할 수 있다.
멈춤 신호가 검출되는지 판단하는 단계는, 촬영된 이미지로부터 새로운 핸드라이팅이 검색되지 않는 경우, 필기 표면으로부터 사용자의 시각 초점이 떠났는지 여부, 사용자의 머리 자세의 각도 변경이 소정의 값을 초과하는지 여부, 필기 도구의 말단의 위치가 검출되는지 여부, 멈춤 신호를 나타내는 오디오 데이타가 수신되는지 여부에 중 적어도 하나에 기초하여 판단될 수 있다.
멈춤 신호가 검출되는지 판단하는 단계는, 멈춤 신호가 검출된 이후, 전체 핸드라이팅 및 필기 표면의 촬영된 이미지를 캐싱하는 단계를 더 포함할 수 있다.
핸드라이팅 인식 방법은 멈춤 신호가 검출된 이후, 전체 영역에서 재시작 신호가 검출되는지 판단하는 단계; 판단 결과에 기초하여 로컬 핸드라이팅의 검색을 재시작하는 단계; 및 캐싱된 정보에 기초하여 로컬 핸드라이팅의 조합을 계속하는 단계를 더 포함할 수 있다.
재시작 신호가 검출되는지 판단하는 단계는, 상기 전체 영역의 촬영된 이미지가 필기 표면의 캐싱된 이미지와 매칭되는 여부, 상기 사용자의 시각 초점이 필기 표면으로 돌아오는 여부, 상기 필기 표면에 상기 필기 도구에 의한 새로운 필기된 정보가 생성되는지 여부, 재시작을 나타내는 오디오 데이터가 수신되는 여부에 기초하여 중 적어도 하나에 기초하여 판단될 수 있다.
핸드라이팅 인식 방법은, 종료 신호가 검출되는지 판단하는 단계; 판단 결과에 기초하여 사용자의 핸드라이팅의 인식을 종료하는 단계를 더 포함할 수 있다.
종료 신호가 검출되는지 판단하는 단계는, 소정의 시간 동안 사용자의 시각 초점이 필기 표면을 떠났는지 여부, 소정의 시간 동안 새로운 핸드라이팅의 검출되었는지 여부, 종료 명령이 수신되었는지 여부, 종료를 나타내는 오디오 데이터가 수신되었는지 여부 중 적어도 하나에 기초하여 판단될 수 있다.
핸드라이팅 인식 방법은, 상기 로컬 핸드라이팅을 조합하기 전, 로컬 핸드라이팅에 향상 프로세스를 수행할 지 여부를 결정하는 단계를 더 포함할 수 있다.
향상 프로세스를 수행할 지 여부를 결정하는 단계는, 이미지 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하는지 여부, 촬영된 이미지의 핸드라이팅의 두께가 소정의 값보다 낮은지 여부, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 소정의 값보다 작은지 여부 중 적어도 하나에 기초하여 결정될 수 있다.
향상 프로세스는, 촬영시 빛의 강도 및 선명도에 따라 카메라의 초점 또는 조리개를 조절하거나, 촬영된 이미지 프레임의 핸드라이팅의 두께에 따라 카메라의 배율을 조절하거나, 촬영된 이미지 프레임에 경사 및/또는 회전 교정을 수행하거나, 촬영된 이미지 프레임에 밝기 및/또는 명암 수정을 수행하거나, 검색된 로컬 핸드라이팅에 평활 처리를 수행하는 것을 포함할 수 있다.
향상 프로세스를 수행하는 단계는, 로컬 핸드라이팅으로부터 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 단계를 더 포함할 수 있다.
신뢰도 평가 값은, 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 선과 이전과 이후의 선들간의 대응 위치 관계 및 선의 연속성 및 선과 필기도구의 말단의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다.
본 발명의 기술적 해결 방안으로써, 필기 도구의 필기 초점은 로컬 필기 영역을 촬영하기 위해 추적될 수 있다. 로컬 필기 영역 내에 사용자에 의해 필기된 핸드라이팅은 로컬 필기 영역의 촬영된 이미지 프레임으로부터 검색되고, 사용자에 의해 전체 영역에 필기된 전체 핸드라이팅을 획득하기 위해 조합이 수행된다. 검색된 핸드라이팅이 이미 사용자에 의해 필기 표면에 필기된 핸드라이팅이므로, 사용자의 펜업(pen-up), 펜다운(pen-down)의 움직임과는 관계 없기 때문에, 필기 도구 말단의 이동 궤적에 따른 핸드라이팅 검색이 부정확하다는 문제점을 방지할 수 있고, 사용자의 핸드라이팅을 인식하는 정확도가 증가한다.
추가적으로, 로컬 필기 영역의 촬영 절차 동안 수신된 오디오 데이터가 기록될 수 있다. 기록된 오디오 데이터는 향후 사용자의 인식된 핸드라이팅의 수정이 편리하며, 검색된 핸드라이팅의 정확도를 증가시킬 수 있다.
또한 본 발명의 기술적 해결 방안으로써, 오디오 데이터 및 동시에 입력된 로컬 핸드라이팅 간의 대응 관계가 저장될 수 있다. 대응하는 오디오 데이터는 필기된 컨텐츠가 나중에 표시될 때 재생될 수 있으며, 사용자의 경험을 개선하고, 향후 사용자의 인식된 핸드라이팅의 수정이 편리하며, 검색된 핸드라이팅의 정확도를 증가시킬 수 있다.
실시예 8
일부 실시예에 따르면, 상기에서 설명한 방법들 중 적어도 하나를 구현하는 핸드라이팅을 인식하기 위한 장치가 제공될 수 있다. 핸드라이팅을 인식하는 장치는 인텔리전트 디바이스를 포함할 수 있다. 도 8에서는 핸드라이팅을 인식하는 장치의 내부 구조에 대해 도시한다.
일부 실시예에 따르면, 도 8에 도시된 장치는 촬영 모듈(402), 획득 모듈(404), 조합모듈(406) 및 인식 모듈(408)을 포함할 수 있다.
일부 실시예에 따르면, 촬영 모듈(402)는 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역을 촬영할 수 있다.
일부 실시예에 따르면, 획득 모듈(404)은 로컬 필기 영역을 촬영된 이미지로부터 로컬 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면 조합 모듈(406)는 획득된 로컬 핸드라이팅을 조합하고, 전체 핸드라이팅을 획득할 수 있이다.
일부 실시예에 따르면, 인식 모듈(408)은 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식할 수 있다.
일부 실시셰에 따르면, 필기 초점은 시각 초점에 따라 결정되거나, 검출된 필기 도구의 말단의 위치에 따라 결정될 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 필기 도구의 말단의 위치는 사전에 등록된 필기 도구의 말단의 모양, 촬영된 이미지로부터 필기 도구의 말단을 인식하거나, 인식된 필기 도구의 말단에 따라 필기 도구의 말단의 위치를 판단함으로써, 결정될 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 획득 모듈(404)은 핸드라이팅 색상에 따라 이미지로부터 로컬 핸드라이팅을 검색할 수 있다.
일부 실시예에 따르면, 획득 모듈(404)은 사전에 등록된 필기 도구의 핸드라이팅 색상에 따라 검색된 로컬 핸드라이팅 또는 핸드라이팅 색상과 필기 배경의 색상 간의 차이에 따라 이미지로부터 검색된 로컬 핸드라이팅의 핸드라이팅 색상에 따라 이미지로부터 로컬 핸드라이팅을 검색할 수 있다.
일부 실시예에 따르면, 획득 모듈(404)은 이진화된 이미지를 획득하기 위해 필기 표면의 색상과 핸드라이팅의 색상 간의 차이에 따라 이미지에 이진화 프로세스를 수행하고, 이진화된 이미지 내의 선형 이미지 영역을 판단하고, 선형 이미지 영역을 로컬 핸드라이팅으로 검색한 핸드라이팅 색상과 필기 배경의 색상 간의 차이에 따라 이미지로부터 로컬 핸드라이팅을 검색할 수 있다.
일부 실시예에 따르면, 핸드라이팅 인식 장치는 생성 모듈(미도시)를 더 포함할 수 있다. 생성 모듈은 전체 핸드라이팅을 인식한 이후, 인식된 핸드라이팅을 문서 파일로 생성 및 저장할 수 있다. 예를 들면, 생성 모듈은 인식된 핸드라이팅에 따라 레이아웃이 함께 저장된 문서 파일을 파일을 생성하고, 전체 핸드라이팅을 이미지 파일로 저장하고, 각 이미지 프레임의 변화된 핸드라이팅 및 타임 시퀀스 정보에 따라 비디오 파일을 생성할 수 있다.
일부 실시예에 따르면, 레이아웃 정보와 함께 저장된 문서 파일은 라인 변경 정보, 삭제 식별자, 대체 식별자, 반복 특성 식별자, 컨텐츠 삽입, 삽입 식별자, 위치 조절 식별자, 강조 식별자, 컨텐츠 설명에 따라 생성될 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 생성 모듈은 반복 특성 식별자를 검출하고, 반복 특성 식별자를 가장 먼저 나타나는 위치를 판단할 수 있다. 인텔리전트 디바이스는 레이아웃 정보와 함께 저장되는 문서 파일을 생성하기 위해 첫번째로 나타나는 반복 특성 식별자에 의해 식별되는 컨텐츠를 이후의 반복 특성 식별자의 위치로 복사할 수 있다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 수신 모듈(미도시)를 더 포함할 수 있다. 수신 모듈은 로컬 필기 영역이 촬영되는 동안 생성된 오디오 데이터를 수신할 수 있다.
또한 일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 연관 모듈(미도시)을 더 포함할 수 있다. 연관 모듈은 오디오 데이터와 로컬 핸드라이팅을 연관시킬 수 있다.
일부 실시예에 따르면, 연관 모듈은 오디오 데이터와 로컬 핸드라이팅을 연관 시킬 수 있다. 예를 들어, 연관 모듈은 오디오 데이터와 로컬 핸드라이팅을 포함하는 파일을 연관적으로 저장할 수 있고, 오디오 데이터와 로컬 핸드라이팅 간의 대응 관계를 저장할 수도 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 생성 모듈은 로컬 핸드라이팅 및 오디오 데이터를 연관시킨 이후, 로컬 핸드라이팅과 오디오 데이터 간의 대응 관계에 따라 오디오 데이터와 로컬 핸드라이팅을 포함하는 비디오 파일을 생성할 수도 있다.
일부 실시예에 따르면, 연관 모듈은 현재 이미지 프레임의 촬영 시간과 근접한 이미지 프레임의 촬영 시간 사이에 수신된 오디오 데이터와 현재 이미지 프레임과 근접한 이미지 프레임에 따라 결정된 변화된 핸드라이팅을 연관시킬 수 있다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 라인 변경 정보 판단 모듈(미도시)을 더 포함할 수 있다. 라인 변경 정보 판단 모듈은 라인 정보를 판단할 수 있다. 조합 모듈(406)은 라인 변경 정보에 따라 로컬 핸드라이팅을 조합할 수 있다.
일부 실시예에 따르면, 라인 변경 정보 판단 모듈은 라인 변경 정보가 검출되었는지 판단할 수 있다. 예를 들면, 라인 변경 정보 판단 모듈은 근접한 이미지 프레임들의 로컬 핸드라이팅 간에 겹치는 핸드라이팅이 없는지, 라인 식별자가 검출되었는지, 라인 변경을 나타내는 오디오 데이터가 수신되었는지 여부를 판단함으로써, 라인 변경 정보가 검출되었는지 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 멈춤 신호 검출 모듈(미도시)을 더 포함할 수 있다. 멈춤 신호 검출 모듈은 멈춤 신호가 검출되면 전체 모니터링을 수행할 수 있다.
일부 실시예에 따르면, 멈춤 신호 검출 모듈은 촬영 이미지로부터 새로운 핸드라이팅이 검색되지 않는 경우, 필기 표면으로부터 사용자의 시각 초점이 떠난 경우, 사용자의 머리 자세의 각도 변경이 소정의 값을 초과하는 경우, 필기 도구의 말단의 위치가 검출되지 않는 경우, 멈춤 신호를 나타내는 오디오 데이타가 수신되는 경우 멈춤 신호가 검출된 것으로 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 캐싱 모듈(미도시)을 더 포함할 수 있다. 캐싱 모듈은 멈춤 신호가 검출된 이후, 조합된 전체 핸드라이팅 및 필기 표면이 촬영된 이미지를 캐싱할 수 있다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 재시작 신호 검출 모듈(미도시)을 더 포함할 수 있다. 재시작 신호 검출 모듈은 멈춤 신호가 검출된 이후 전체 영역에서 재시작 신호가 검출되었는지 판단할 수 있다. 획득 모듈(404)는 재시작 신호가 검출되면 로컬 핸드라이팅의 검색을 재시작할 수 있다. 조합 모듈(406)은 캐싱된 정보에 따라 로컬 핸드라이팅의 조합을 재시작할 수 있다.
일부 실시예에 따르면, 재시작 신호 검출 모듈은 전체 영역의 촬영된 이미지가 필기 표면의 캐싱된 이미지와 매칭되는 경우, 사용자의 시각 초점이 필기 표면으로 돌아오는 경우, 필기 표면에 필기 도구에 의한 새로운 핸드라이팅이 생성되는 경우, 재시작을 나타내는 오디오 데이터가 수신되는 경우 재시작 신호가 검출되었다고 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 종료 신호 검출 모듈(미도시)을 더 포함할 수 있다. 인식 모듈(408)는 만약 종료 신호가 검출되면 사용자의 핸드라이팅의 인식을 종료할 수 있다.
일부 실시예에 따르면, 종료 신호 검출 모듈은 소정의 시간 동안 사용자의 시각 초점이 필기 표면을 떠난 경우, 소정의 시간 동안 새로운 핸드라이팅의 검출이 없는 경우, 종료 명령이 수신된 경우, 종료를 나타내는 오디오 데이터가 수신된 경우, 종료 신호가 검출되었다고 판단할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 손으로 필기된 컨텐츠를 인식하는 장치는 향상 프로세스 모듈(미도시)을 더 포함할 수 있다. 향상 프로세스 모듈은 로컬 핸드라이팅 조합 이전에 로컬 핸드라이팅에 향상 프로세스를 수행할 수 있다.
일부 실시예에 따르면, 향상 프로세스 모듈은 이미지 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하는 경우, 촬영된 이미지의 핸드라이팅의 두께가 소정의 값보다 낮은 경우, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 소정의 값보다 작은 경우에 로컬 핸드라이팅에 향상 프로세스를 수행할 수 있다.
일부 실시예에 따르면, 향상 프로세스는 이미지 촬영시 빛의 강도 및 선명도에 따라 카메라의 초점 또는 조리개를 조절하는 방법, 촬영된 이미지의 핸드라이팅의 두께에 따라 카메라의 배율을 조절하는 방법, 촬영된 이미지에 경사 및/또는 회전 교정을 수행하는 방법, 촬영된 이미지에 밝기 및/또는 명암 수정을 수행하는 방법 및 검색된 로컬 핸드라이팅에 평활 처리를 수행하는 방법 중 적어도 하나의 방법을 포함할 수 있다. 물론 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 향상 프로세스 모듈은 로컬 핸드라이팅으로부터 신뢰도 평가 값이 문턱값보다 낮은 선을 제거할 수도 있다.
일부 실시예에 따르면, 신뢰도 평가 값은, 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 이전과 이후의 선들 간의 대응 위치 관계 및 선의 연속성 및 선과 필기도구의 말단의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다. 물론 상기 예시에 제한되지 않는다.
도 9는 일부 실시예에 따른 손으로 필기된 컨텐츠를 인식하는 전자 디바이스의 구조를 도시한다.
도 9에서 도시된 바와 같이, 손으로 필기된 컨텐츠를 인식하는 전자 디바이스(900)는 중앙 연산 유닛(Central Processing Unit: CPU)와 프로세서(910), 출력 인터페이스(920) 또는 사용자 인터페이스(930), 메모리(940), 통신 버스(950)을 포함할 수 있다. 프로세서(910), 출력 인터페이스(920), 메모리(940) 및 통신 버스(950)는 구현예에 따라 하나 이상일 수도 있다.
통신 버스(950)는 전자 디바이스(900)의 구성 요소들 간의 통신을 구현하기 위해 사용될 수 있다. 전자 디바이스(900)는 선택적으로 사용자 인터페이스(930)을 포함할 수 있으며, 사용자 인터페이스(930)는 디스플레이 장치, 키보드 또는 클릭 디바이스(예를 들면, 마우스, 트랙볼(Trackball), 터치보드(Touchboard) 또는 터치 스크린(Touch screen))을 포함할 수 있다. 메모리(940)는 랜덤 액세스 메모리(Random Access Memory: RAM) 또는 비휘발성 메모리(Non-volatile Memory)과 같은 적어도 하나의 디스크 메모리(Disk Memeory)를 포함할 수 있다. 또한 일부 실시예에 따르면, 메모리(940)는 부가적으로 프로세서(910)에 의해 원격 조절되는 적어도 하나의 저장 디바이스를 포함할 수도 있다.
일부 실시예에 따르면, 메모리는 실행 가능한 모듈들 또한 데이터 구조들 또는 실행 가능한 모듈들과 데이터 구조들의 집합 및 서브 집합 또는 실행 가능한 모듈들과 데이터 구조들의 확장 세트(extended set)을 저장할 수 있다.
일부 실시예에 따르면, 오퍼레이팅 시스템(941)은 하드웨어 기반 업무들읠 처리하고, 다양한 기본 서비스들을 구현하기 위한 다양한 시스템 프로그램들을 포함할 수 있다.
일부 실시예에 따르면, 어플리케이션 프로그램(942)는 다양한 어플리케이션 서비스들을 구현하기 위해 사용되는 다양한 어플리케이션 프로그램들을 포함할 수 있다.
일부 실시예에 따르면 어플리케이션 프로그램(942)는 앞서 설명한 방법들을 실행하는데 사용되는 프로그램들을 포함할 수 있다. 예를 들면, 어플리케이션 프로그램은 일부 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역을 촬영하는 촬영 유닛, 로컬 필기 영역을 촬영된 이미지로부터 로컬 핸드라이팅을 획득하는 획득 유닛, 획득된 로컬 핸드라이팅을 조합하고, 전체 핸드라이팅을 획득하는 조합 유닛, 및 전체 핸드라이팅에 따라 사용자의 핸드라이팅을 인식하는 인식 유닛을 포함할 수 있다.
다른 어플리케이션 프로그램들은 상기에서 설명한 실시예들에 의해 참조될 수 있으므로, 자세한 설명은 생략한다.
일부 실시예에 따르면, 프로세서(910)는 호출 프로그램들 또는 메모리(940) 내에 저장된 지시들을 통해 대응되는 블록들을 수행 할 수 있다. 예를 들면, 프로세서(910)는 실시간으로 검출된 필기 초점을 추적하고, 로컬 필기 영역을 촬영하고, 로컬 필기 영역의 촬영된 이미지로부터 로컬 핸드라이팅을 획득하고, 전체 핸드라이팅을 획득하기 위해 획득한 로컬 핸드라팅을 조합하고, 전체 핸드라이팅에 따라 사용자의 손으로 필기한 정보를 인식할 수 있이다.
일부 실시예에 따르면 프로세서(910)는 상기에서 설명한 실시예들을 구현하는데 사용될 수 있다. 프로세서(910)의 다른 동작들은 앞서 설명한 실시예들에 의해 참조될 수 있으므로, 자세한 설명은 생략한다.
일부 실시예에 따르면, 상기에서 설명한 방법들을 수행하는 컴퓨터 프로그램이 저장되기 위해 사용되는 기록매체가 제공될 수 있다. 컴퓨터 프로그램에 의해 수행되는 방법은 앞서 설명한 실시예들에 의해 참조될 수 있으므로, 자세한 설명은 생략한다.
도 10은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법의 순서도를 도시한다.
단계 1001에서, 인텔리전트 디바이스는 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는, 사용자의 시각 초점을 추적하고, 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다. 또한 인텔리전트 디바이스는 필기 도구의 말단을 추적하고, 필기 도구의 말단의 위치를 결정하며, 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수도 있다.
인텔리전트 디바이스는 사용자로부터 필기 도구의 말단의 모양에 대한 정보를 획득하고, 획득한 정보에 기초하여, 촬영된 제 1 로컬 필기 영역 및 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 내의 필기 도구의 말단을 검출하고, 검출 결과에 기초하여 필기 도구의 말단의 위치를 결정할 수 있다.
필기 초점을 추적 또는 결정하는 단계는 앞서 설명한 내용과 대응되므로 자세한 설명은 생략한다.
단계 1003에서, 인텔리전트 디바이스는 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영할 수 있다.
로컬 필기 영역의 촬영은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
단계 1005에서, 인텔리전트 디바이스는 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 사용자에 의해 입력된 핸드라이팅의 색상에 관한 정보에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 도 있다.
핸드라이팅을 획득하는 방법은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
단계 1007에서, 인텔리전트 디바이스는 제 1 핸드라이팅 및 제 2 핸드라이팅을 조합할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 제 1 핸드라이팅과 제 2 핸드라이팅을 비교하고, 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하고, 판단 결과에 기초하여, 변경된 핸드라이팅을 조합할 수 있다.
핸드라이팅의 조합은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
단계 1009에서, 인텔리전트 디바이스는 조합 결과에 기초하여 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 필기 정보는, 레이아웃 정보 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함할 수 있다. 또한 필기 정보는 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장될 수 있다. 인텔리전트 디바이스는 레이아웃이 포함된 문서 파일 포맷, 이미지 파일 포맷, 비디오 파일 포맷을 생성함으로써, 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 레이아웃 정보는 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함할 수 있다. 레이아웃 정보는 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
또한 일부 실시예에 따르면, 인텔리전트 디바이스는 제 1 로컬 필기 영역 및 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득할 수 있다. 오디오 데이터는 다른 디바이스로부터 수신하거나, 인텔리전트 디바이스가 직접 기록할 수도 있다. 또한 인텔리전트 디바이스는 획득한 오디오 데이터를 제 1 핸드라이팅과 제 2 핸드라이팅과 대응되도록 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 인텔리전트 디바이스는 제 1 로컬 영역의 촬영 시간과 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 필기 정보를 생성할 수 있다. 다시 말해서 인텔리전트 디바이스는 제 1 로컬 영역의 촬영 시간과 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 필기 정보를 연관시킬 수 있다.
오디오 데이터에 관한 내용은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 인텔리전트 디바이스는 멈춤 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행할 수 있다. 인텔리전트 디바이스는 로컬 필기 영역 또는 전체 필기 영역을 모니터링 할 수 있다.
인텔리전트 디바이스는 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호가 검출되는지 판단할 수 있다. 일부 실시예에 따르면, 인텔리전트 디바이스는 모니터링 결과 재시작 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작할 수도 있다. 멈춤 및 재시작 신호에 대한 내용은 앞서 설명한 바와 대응된다.
일부 실시예에 따르면, 인텔리전트 디바이스는 종료 신호가 검출되는지 판단하고, 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료할 수 있다. 인텔리전트 디바이스는, 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호가 검출되는지 판단할 수 있다. 종료 신호에 대한 내용은 앞서 설명한 바와 대응된다.
일부 실시예에 따르면, 인텔리전트 디바이스는 획득한 제 1 핸드라이팅 및 제 2 핸드라이팅에 향상 프로세스를 적용할 수 있다. 향상 프로세스는 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 프레임 내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용될 수 있다. 또한 향상 프로세스는 제 1 핸드라이팅 및 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 것을 포함할 수 있다.
신뢰도 평가 값은, 제 1 핸드라이팅 또는 제 2 핸드라이팅 내에 포함된 선의 길이, 선의 넓이, 선의 곡률, 선의 색상, 선과 다른 선들간의 대응 위치 관계 및 연속성 및 선과 필기도구의 끝의 움직임 궤적 간의 매칭 정도에 따라 결정될 수 있다. 향상 프로세스 및 신뢰도 평가 값에 대한 내용은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
도 11은 일부 실시예에 따른 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스의 구조를 도시한다.
도 11의 필기 정보를 생성하는 디바이스(1100)는 앞서 설명한 도 8의 핸드라이팅 인식 장치 및 도 9의 전자 디바이스와 동일한 디바이스일 수 있다. 또한 도 11의 필기 정보를 생성하는 디바이스(1100)는 앞서 설명한 인텔리전트 디바이스와 동일한 디바이스일 수 있다.
도 11에 도시된 구성 요소가 모두 디바이스(1100)의 필수 구성 요소인 것은 아니다. 도 11에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(1100)가 구현될 수도 있고, 도 11에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(1100)가 구현될 수도 있다. 또한 디바이스(110)의 각 구성요소는 프로세서와 같은 제어부를 각각 포함할 수도 있다.
도 11을 참조하면, 디바이스(1100)는 제어부(1110), 사용자 인터페이스부(1130) 및 신호획득부(1150)를 포함 할 수 있다.
일부 실시예에 따르면 제어부(1110)는 통상적으로 디바이스(1100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1110)는 디바이스(1100)에 저장된 프로그램을 실행함으로써, 디바이스(1100)가 포함하는 구성요소들을 전반적으로 제어할 수 있다. 제어부(1100)는 중앙 제어 장치와 같은 연산 유닛 또는 프로세서 중 적어도 하나를 포함할 수 있으며, 다른 구성요소 내에 포함될 수도 있다. 다만, 상기 예시에 제한되지 않는다.
일부 실시예에 따르면, 제어부(1110)는, 제 1 필기 초점 및 제 2 필기 초점을 결정하고, 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하고, 제 1 핸드라이팅 및 제 2 핸드라이팅을 조합하며, 조합 결과에 기초하여 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 필기 도구의 말단의 위치를 결정하고, 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 사용자 입력에 기초하여, 촬영된 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 촬영한 적어도 하나의 이미지 내의 필기 도구의 말단을 검출하고, 검출 결과에 기초하여 필기 도구의 말단의 위치를 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110) 핸드라이팅의 색상에 관한 정보에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득할 수 있다.
일부 실시예에 따르면, 제어부(1110)는, 제 1 핸드라이팅과 제 2 핸드라이팅을 비교하고, 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하며, 판단 결과에 기초하여, 변경된 핸드라이팅을 조합할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 획득된 오디오 데이터와 제 1 핸드라이팅과 상기 제 2 핸드라이팅과 대응되도록 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 제 1 로컬 영역의 촬영 시간과 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 필기 정보를 생성할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 멈춤 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하도록 신호 획득부(1150)를 제어할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호의 수신 여부를 판단할 수 있다..
일부 실시예에 따르면, 제어부(1110)는 모니터링 결과 재시작 신호가 검출되는지 판단하고, 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 재시작할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 종료 신호가 검출되는지 판단하고, 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호의 검출 여부를 결정할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용할 수 있다.
일부 실시예에 따르면, 제어부(1110)는 멈춤 신호가 검출된 이후 소정의 시간이 경과하였는지 여부 또는 종료 명령이 수신되었는지 여부에 기초하여 종료 신호의 검출 여부를 결정할 수 있다. 제어부(1110)의 동작은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
사용자 인터페이스부(1130)는 사용자 입력을 수신할 수 있다.
일부 실시예에 따르면, 사용자 인터페이스부(1130)는 사용자로부터 상기 필기 도구의 말단의 모양에 대한 정보를 수신할 수 있다.
일부 실시예에 따르면, 사용자 인터페이스부(1130)는 사용자로부터 핸드라이팅의 색상에 관한 정보를 수신할 수 있다. 사용자 인터페이스부(1130)의 동작은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 신호 획득부(1150) 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영할 수 있다.
또한 일부 실시예에 따르면, 신호 획득부(1150)는 사용자의 시각 초점을 추적할 수 있고, 필기 도구의 말단을 추적할 수도 있다.
추가적으로 일부 실시예에 따르면, 신호 획득부(1150)는 멈춤 신호, 재시작 신호, 종료 신호와 같은 각종 신호를 검출할 수 있다. 신호 획득부(1150)의 동작은 앞서 설명한 바와 대응되므로 자세한 설명은 생략한다.
일부 실시예에 따르면, 신호 획득부(1150)는 카메라 및 마이크로폰 등을 포함할 수 있다. 카메라는 화상 통화모드 또는 촬영모드에서 이미지 센서를 통해 이미지 프레임을 획득할 수 잇다. 이미지 센서를 통해 캡쳐된 이미지 프레임은 제어부(1110) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라에서 처리된 이미지 프레임은 저장부에 저장되거나 통신부(미도시)를 통하여 외부로 전송될 수 있다.
마이크로폰은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰은 사용자 또는 다른 디바이스로부터 음향 신호를 수신할 수 있다.
추가적으로, 신호 획득부(1150)는 센서부(미도시)를 더 포함할 수 있다. 센서부는 지자기 센서(Magnetic sensor) 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, 및 광센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다
또한 디바이스(1100)는 출력부(미도시)를 더 포함할 수 있다. 출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부는 디스플레이부, 음향 출력부, 및 진동 모터 중 적어도 하나를 포함할 수 있다.
음향 출력부는 오디오 데이터를 출력한다. 또한, 음향 출력부는 디바이스(1100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음, 사용자 유도음)과 관련된 음향 신호를 출력한다. 음향 출력부는 스피커(speaker), 버저(Buzzer) 등을 포함할 수 있다.
진동 모터는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 또한 디바이스 내에 설치된 컴퓨터 프로그램들은 선택적으로 활성화되거나, 재구성될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 물론 상기 예시에 제한되지 않는다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터 프로그램 지시어들은 블록 다이어그램들 및/또는 순서도 및/또는 도면들의 각 블록 및 블록들의 조합을 실현하기 위해 사용될 수 있음은 당업자에게 자명하다. 또한 컴퓨터 프로그램 지시어들은 블록 다이어그램들 및/또는 순서도 및/또는 도면들의 각 블록 및 블록들의 조합을 실현하기 위해 일반적인 목적의 컴퓨터, 프로페셔널 컴퓨터 또는 다른 프로그램 가능한 데이터들을 프로세싱하는 방법을 위한 프로세서에 제공될 수 있음은 당업자에게 자명하다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. ‘매커니즘’, ‘요소’, ‘수단’, ‘구성’과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, ‘필수적인’, ‘중요하게’ 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 ‘상기’의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 디바이스에 있어서,
    사용자 입력을 수신하는 사용자 인터페이스부;
    제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 신호 획득부; 및
    상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하고, 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하고, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하며, 상기 조합 결과에 기초하여 필기 정보를 생성하는 제어부를 포함하는 디바이스.
  2. 제 1 항에 있어서,
    상기 신호 획득부는,
    사용자의 시각 초점을 추적하고,
    상기 제어부는,
    상기 추적된 시각 초점에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 디바이스.
  3. 제 1 항에 있어서,
    상기 사용자 인터페이스부는,
    사용자로부터 핸드라이팅의 색상에 관한 정보를 수신하고,
    상기 제어부는,
    상기 핸드라이팅의 색상에 관한 정보에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 것을 특징으로 하는 디바이스.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 제 1 핸드라이팅과 상기 제 2 핸드라이팅을 비교하고, 상기 비교 결과에 기초하여 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅을 판단하며, 상기 판단 결과에 기초하여, 변경된 핸드라이팅을 조합하는 것을 특징으로 하는 디바이스.
  5. 제 1 항에 있어서,
    상기 필기 정보는, 레이아웃 정보, 로컬 핸드라이팅의 타임 시퀀스 정보 중 적어도 하나를 포함하고,
    상기 필기 정보는, 문서 포맷, 이미지 포맷, 비디오 포맷 중 적어도 하나의 포맷으로 저장되며,
    상기 레이아웃 정보는, 라인 변경 정보와 삭제 식별자, 대체 식별자, 반복 특성 식별자, 삽입 식별자, 위치 조절 식별자, 강조 식별자 중 적어도 하나의 식별자 정보를 포함하는 것을 특징으로 하는 디바이스.
  6. 제 1 항에 있어서,
    상기 신호획득부는,
    상기 제 1 로컬 필기 영역 및 상기 제 2 로컬 필기 영역을 순차적으로 촬영하는 동안 생성된 오디오 데이터를 획득하고,
    상기 제어부는,
    상기 획득된 오디오 데이터와 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 것을 특징으로 하는 디바이스.
  7. 제 6 항에 있어서,
    상기 제어부는,
    상기 제 1 로컬 영역의 촬영 시간과 상기 제 2 로컬 영역의 촬영 시간 사이에 수신된 오디오 데이터와 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임 간의 변경된 핸드라이팅이 대응되도록 상기 필기 정보를 생성하는 것을 특징으로 하는 디바이스.
  8. 제 4 항에 있어서,
    상기 제어부는,
    멈춤 신호가 검출되는지 판단하고, 상기 판단 결과에 기초하여, 핸드라이팅의 획득 및 조합을 멈추고, 모니터링을 수행하도록 상기 신호 획득부를 제어하는 것을 특징으로 하는 디바이스.
  9. 제 8항에 있어서,
    상기 제어부는,
    상기 제 1 로컬 필기 영역을 촬영한 이미지 프레임과 제 2 로컬 필기 영역을 촬영한 이미지 프레임에서 변경된 핸드라이팅 또는 필기 도구의 말단이 검출되는지 여부, 사용자의 머리 자세의 변경된 각도가 소정의 값을 초과하는지 여부, 사용자의 시각 초점과 상기 필기 초점과의 거리가 소정의 값을 초과하는지 여부 또는 멈춤 명령을 수신하였는지 여부에 기초하여 멈춤 신호의 수신 여부를 판단하는 것을 특징으로 하는 디바이스.
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 획득한 제 1 핸드라이팅 및 상기 제 2 핸드라이팅에 향상 프로세스를 적용하고,
    상기 향상 프로세스는, 촬영 시의 빛의 강도 또는 선명도가 소정의 요구조건을 만족하지 못하거나, 획득된 제 1 핸드라이팅 또는 제 2 핸드라이팅의 두께가 소정의 기준보다 얇거나, 촬영된 이미지 내의 핸드라이팅의 색상과 배경 색상이 차이 값이 소정의 값보다 적은 경우에 적용되며,
    상기 향상 프로세스는, 상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅 내에 포함된 적어도 하나의 선 중 신뢰도 평가 값이 문턱 값보다 낮은 선을 제거하는 것을 특징으로 하는 디바이스.
  11. 사용자에 의해 필기된 핸드라이팅에 관한 필기 정보를 생성하는 방법에 있어서,
    제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계;
    상기 제 1 필기 초점으로부터 소정의 범위 내의 영역인 제 1 로컬 필기 영역 및 상기 제 2 필기 초점으로부터 소정의 범위 내의 영역인 제 2 로컬 필기 영역을 순차적으로 촬영하는 단계;
    상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계;
    상기 제 1 핸드라이팅 및 상기 제 2 핸드라이팅을 조합하는 단계; 및
    상기 조합 결과에 기초하여 필기 정보를 생성하는 단계를 포함하는 정보 생성 방법.
  12. 제 11 항에 있어서,
    상기 제 1 필기 초점 및 상기 제 2 필기 초점을 결정하는 단계는,
    필기 도구의 말단을 추적하는 단계;
    상기 필기 도구의 말단의 위치를 결정하는 단계; 및
    상기 결정된 필기 도구의 말단의 위치에 기초하여 제 1 필기 초점 및 제 2 필기 초점을 결정하는 단계를 포함하는 방법.
  13. 제 11 항에 있어서,
    상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계는,
    핸드라이팅 색상과 필기 배경의 색상의 차이에 기초하여 상기 제 1 로컬 필기 영역으로부터 제 1 핸드라이팅을 획득하고, 상기 제 2 로컬 필기 영역으로부터 제 2 핸드라이팅을 획득하는 단계를 포함하는 방법.
  14. 제 11 항에 있어서,
    상기 방법은,
    종료 신호가 검출되는지 판단하는 단계; 및
    상기 판단 결과에 기초하여 핸드라이팅의 획득, 조합 및 필기 정보의 생성을 종료하는 단계를 더 포함하는 것을 특징으로 하는 필기 정보 인식 방법.
  15. 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2016/001396 2015-02-12 2016-02-11 핸드라이팅 인식 방법 및 장치 WO2016129934A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16749474.9A EP3258423B1 (en) 2015-02-12 2016-02-11 Handwriting recognition method and apparatus
US15/550,974 US10438080B2 (en) 2015-02-12 2016-02-11 Handwriting recognition method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510075362.1 2015-02-12
CN201510075362.1A CN105988567B (zh) 2015-02-12 2015-02-12 手写信息的识别方法和装置

Publications (1)

Publication Number Publication Date
WO2016129934A1 true WO2016129934A1 (ko) 2016-08-18

Family

ID=56614828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001396 WO2016129934A1 (ko) 2015-02-12 2016-02-11 핸드라이팅 인식 방법 및 장치

Country Status (5)

Country Link
US (1) US10438080B2 (ko)
EP (1) EP3258423B1 (ko)
KR (1) KR102559028B1 (ko)
CN (1) CN105988567B (ko)
WO (1) WO2016129934A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871135A (zh) * 2016-09-23 2018-04-03 创意引晴(开曼)控股有限公司 避免辨识结果混淆的影像辨识方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US20170236318A1 (en) * 2016-02-15 2017-08-17 Microsoft Technology Licensing, Llc Animated Digital Ink
CN105929957A (zh) * 2016-04-26 2016-09-07 深圳市奋达科技股份有限公司 一种智能眼镜的控制方法、装置及设备
TWI622938B (zh) * 2016-09-13 2018-05-01 創意引晴（開曼）控股有限公司 避免辨識結果混淆之影像辨識方法
CN106778720B (zh) * 2016-11-23 2020-05-22 武汉工程大学 一种对手写过程数字化记录和电子化重建的系统及方法
CN106598291B (zh) * 2016-11-29 2019-09-03 广州视源电子科技股份有限公司 一种智能书写方法、红外触摸屏与智能书写系统
CN106778725A (zh) * 2016-12-07 2017-05-31 南京仁光电子科技有限公司 会议信息录入方法和装置
CN106709435A (zh) * 2016-12-07 2017-05-24 南京仁光电子科技有限公司 信息录入方法和装置
CN106896967A (zh) * 2017-03-28 2017-06-27 广州视源电子科技股份有限公司 一种智能书写方法、红外触摸屏与智能书写系统
US10650813B2 (en) * 2017-05-25 2020-05-12 International Business Machines Corporation Analysis of content written on a board
CN107391015B (zh) * 2017-07-19 2021-03-16 广州视源电子科技股份有限公司 一种智能平板的控制方法、装置、设备及存储介质
JP7069631B2 (ja) * 2017-10-16 2022-05-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
CN107734303B (zh) * 2017-10-30 2021-10-26 北京小米移动软件有限公司 视频标识方法及装置
CN108171282B (zh) * 2017-12-29 2021-08-31 安徽慧视金瞳科技有限公司 一种黑板笔迹自动合成方法
CN108154191B (zh) * 2018-01-12 2021-08-10 北京经舆典网络科技有限公司 文档图像的识别方法和系统
CN108287895B (zh) * 2018-01-19 2020-11-06 广东小天才科技有限公司 一种基于显性框调节的搜题方法及系统、手持拍照设备
CN108492377A (zh) * 2018-02-13 2018-09-04 网易（杭州）网络有限公司 一种虚拟场景中的书写控制方法及装置、移动终端
US10826572B2 (en) * 2018-04-16 2020-11-03 Microsoft Technology Licensing, Llc Preserving digital ink spatial relationships in electronic messages
CN108363522A (zh) * 2018-04-24 2018-08-03 石家庄科达文教用品有限公司 同步书写系统及其方法
US10997402B2 (en) * 2018-07-03 2021-05-04 Fuji Xerox Co., Ltd. Systems and methods for real-time end-to-end capturing of ink strokes from video
CN108805108B (zh) * 2018-07-17 2024-03-12 珠海向导科技有限公司 一种板书笔迹记录方法
CN109243244B (zh) * 2018-08-13 2020-10-30 广东小天才科技有限公司 一种书写评分方法、装置、设备及存储介质
CN109254717B (zh) * 2018-08-13 2021-06-22 广东小天才科技有限公司 一种写字板的手写引导方法、装置、写字板及存储介质
CN109308118B (zh) * 2018-09-04 2021-12-14 安徽大学 基于eog的中文眼写信号识别系统及其识别方法
US11036284B2 (en) 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
CN111611203B (zh) * 2019-02-25 2023-04-18 宏碁股份有限公司 电子装置及手写板系统
CN110059678A (zh) * 2019-04-17 2019-07-26 上海肇观电子科技有限公司 一种检测方法、装置及计算机可读存储介质
CN111027358B (zh) * 2019-04-19 2023-06-30 广东小天才科技有限公司 一种基于书写进度的听写报读方法及电子设备
CN111031232B (zh) * 2019-04-24 2022-01-28 广东小天才科技有限公司 一种听写实时检测的方法及电子设备
CN111028558A (zh) * 2019-05-10 2020-04-17 广东小天才科技有限公司 一种听写检测方法及电子设备
CN110222584A (zh) * 2019-05-14 2019-09-10 深圳传音控股股份有限公司 手写输入的识别方法及设备
CN110119216A (zh) * 2019-06-12 2019-08-13 卓阅科技(深圳)有限公司 智能笔及教学设备
CN111081102B (zh) * 2019-07-29 2022-03-25 广东小天才科技有限公司 一种听写结果的检测方法及学习设备
CN111753607A (zh) * 2019-07-29 2020-10-09 广东小天才科技有限公司 一种书写轨迹检测方法及电子设备
CN111079503B (zh) * 2019-08-02 2023-08-25 广东小天才科技有限公司 一种文字识别方法及电子设备
CN110569800B (zh) * 2019-09-10 2022-04-12 武汉大学 一种手写信号的检测方法
CN110602709B (zh) * 2019-09-16 2022-01-04 腾讯科技（深圳）有限公司 可穿戴式设备的网络数据安全方法、装置及存储介质
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
CN110620912A (zh) * 2019-10-10 2019-12-27 北京华文众合科技有限公司 运笔过程展示和记录设备及系统
CN110531831A (zh) * 2019-10-15 2019-12-03 李尹帆 一种电子日记本
CN110955355A (zh) * 2019-11-29 2020-04-03 随锐科技集团股份有限公司 电子白板的文件处理方法及装置、计算机可读存储介质
CN111078073B (zh) * 2019-12-17 2021-03-23 科大讯飞股份有限公司 一种笔迹放大的方法和相关装置
RU2765884C2 (ru) * 2019-12-17 2022-02-04 Общество с ограниченной ответственностью "Аби Продакшн" Идентификация блоков связанных слов в документах сложной структуры
US11645372B2 (en) * 2020-01-22 2023-05-09 International Business Machines Corporation Multifactor handwritten signature verification
CN111428445A (zh) * 2020-03-23 2020-07-17 维沃移动通信有限公司 文档的生成方法和电子设备
CN111475096B (zh) * 2020-03-30 2021-07-23 掌阅科技股份有限公司 将页面投射至显示屏的方法、装置及计算机可读存储介质
CN111477040B (zh) * 2020-05-19 2021-07-20 西北大学 一种诱导式书法训练系统、设备及方法
CN113934345A (zh) * 2020-06-29 2022-01-14 华为技术有限公司 一种取色/纹理方法、装置、系统和电子设备
CN111949157A (zh) * 2020-07-30 2020-11-17 通彩视听科技(上海)有限公司 仿真书写笔迹处理方法、计算机设备及存储介质
CN111881904A (zh) * 2020-07-31 2020-11-03 城云科技（中国）有限公司 板书记录方法和系统
US11044282B1 (en) 2020-08-12 2021-06-22 Capital One Services, Llc System and method for augmented reality video conferencing
JP7504723B2 (ja) 2020-08-25 2024-06-24 株式会社ワコム 入力システム及び入力方法
CN112183521B (zh) * 2020-09-30 2023-09-12 中国银行股份有限公司 一种智能输入方法、系统、设备及可读存储介质
KR20220046906A (ko) * 2020-10-08 2022-04-15 삼성전자주식회사 전자 장치 및 이의 제어 방법
RU2757713C1 (ru) * 2020-11-24 2021-10-20 АБИ Девелопмент Инк. Распознавание рукописного текста посредством нейронных сетей
CN112396032B (zh) * 2020-12-03 2023-04-07 北京有竹居网络技术有限公司 书写检测方法、装置、存储介质及电子设备
US11514695B2 (en) * 2020-12-10 2022-11-29 Microsoft Technology Licensing, Llc Parsing an ink document using object-level and stroke-level processing
CN112711341B (zh) * 2021-01-05 2023-06-20 北京字节跳动网络技术有限公司 书写装置的控制方法、装置、终端和存储介质
CN112699840A (zh) * 2021-01-13 2021-04-23 深圳市锦上科技有限公司 书写过程评价与反馈方法、及其系统、计算机存储介质
CN113568514B (zh) * 2021-07-28 2024-05-07 咪咕数字传媒有限公司 一种书写数据采集笔具、笔迹处理方法和设备
WO2023060207A1 (en) * 2021-10-06 2023-04-13 Tangible Play, Inc. Detection and virtualization of handwritten objects
CN113688838B (zh) * 2021-10-25 2022-03-22 江西软云科技股份有限公司 红色笔迹提取方法、系统、可读存储介质及计算机设备
CN114237430A (zh) * 2021-12-01 2022-03-25 安徽淘云科技股份有限公司 书写轨迹展示方法、装置、系统、电子设备和存储介质
CN114510159A (zh) * 2021-12-30 2022-05-17 锐捷网络股份有限公司 书写轨迹显示方法、装置及存储介质
WO2024021078A1 (zh) * 2022-07-29 2024-02-01 京东方科技集团股份有限公司 一种图文交互的方法及显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330590B2 (en) * 2002-02-08 2008-02-12 Microsoft Corporation Pen out-of-proximity handwriting-recognition trigger
KR20120040970A (ko) * 2010-10-20 2012-04-30 삼성전자주식회사 디스플레이에서 제스쳐를 인식하는 방법 및 그 장치
KR20120087868A (ko) * 2010-05-28 2012-08-07 야후! 인크. 웹 질의에서의 온라인 핸드라이팅 인식을 위한 시스템 및 방법
KR101372837B1 (ko) * 2011-12-30 2014-03-13 주식회사 인프라웨어 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR20140112814A (ko) * 2013-03-14 2014-09-24 주식회사 인프라웨어 옵션 필터링 기반의 핸드라이팅 변환인식 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238525A (ja) * 1991-01-22 1992-08-26 Sony Corp 文字入力制御装置および方法
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
US6633671B2 (en) 1998-01-28 2003-10-14 California Institute Of Technology Camera-based handwriting tracking
US6456740B1 (en) * 1999-07-26 2002-09-24 International Business Machines Corporation System and method for identifying form type in a handwriting recognition based form completion system
US20050111735A1 (en) 2003-11-21 2005-05-26 International Business Machines Corporation Video based handwriting recognition system and method
US20070273674A1 (en) * 2005-03-18 2007-11-29 Searete Llc, A Limited Liability Corporation Machine-differentiatable identifiers having a commonly accepted meaning
US8787706B2 (en) 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US7627703B2 (en) 2005-06-29 2009-12-01 Microsoft Corporation Input device with audio capabilities
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US9648287B2 (en) 2007-02-15 2017-05-09 Stewart Carl Note capture device
US8064702B2 (en) * 2007-12-21 2011-11-22 Microsoft Corporation Handwriting templates
US8830212B2 (en) 2010-06-01 2014-09-09 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
US20120082964A1 (en) * 2010-09-09 2012-04-05 Michael Scott Weitzman Enhanced graphological detection of deception using control questions
US9830831B2 (en) 2011-01-05 2017-11-28 Pathway Innovations And Technologies, Inc. Mobile handwriting recording instrument and group lecture delivery and response system using the same
CN202018638U (zh) * 2011-02-14 2011-10-26 中兴通讯股份有限公司 一种集成耳机的手机手写笔
JP2013125487A (ja) 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
US10067568B2 (en) 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
US9354725B2 (en) 2012-06-01 2016-05-31 New York University Tracking movement of a writing instrument on a general surface
CN103871276A (zh) * 2012-12-10 2014-06-18 中国电信股份有限公司 电子板书信息的显示方法、系统与书写终端
US9940015B2 (en) * 2015-07-13 2018-04-10 Lenovo (Singapore) Pte. Ltd. Interacting with application beneath transparent layer
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330590B2 (en) * 2002-02-08 2008-02-12 Microsoft Corporation Pen out-of-proximity handwriting-recognition trigger
KR20120087868A (ko) * 2010-05-28 2012-08-07 야후! 인크. 웹 질의에서의 온라인 핸드라이팅 인식을 위한 시스템 및 방법
KR20120040970A (ko) * 2010-10-20 2012-04-30 삼성전자주식회사 디스플레이에서 제스쳐를 인식하는 방법 및 그 장치
KR101372837B1 (ko) * 2011-12-30 2014-03-13 주식회사 인프라웨어 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR20140112814A (ko) * 2013-03-14 2014-09-24 주식회사 인프라웨어 옵션 필터링 기반의 핸드라이팅 변환인식 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3258423A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871135A (zh) * 2016-09-23 2018-04-03 创意引晴(开曼)控股有限公司 避免辨识结果混淆的影像辨识方法

Also Published As

Publication number Publication date
KR20160099497A (ko) 2016-08-22
KR102559028B1 (ko) 2023-07-24
US20180025248A1 (en) 2018-01-25
EP3258423B1 (en) 2020-06-24
CN105988567A (zh) 2016-10-05
EP3258423A1 (en) 2017-12-20
US10438080B2 (en) 2019-10-08
EP3258423A4 (en) 2017-12-20
CN105988567B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
WO2016129934A1 (ko) 핸드라이팅 인식 방법 및 장치
WO2016129940A1 (ko) 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법
WO2016114428A1 (ko) 문법 모델을 이용하여 음성인식을 수행하는 방법 및 디바이스
WO2017119531A1 (ko) 이동 단말기 및 그 제어방법
WO2016133350A1 (ko) 복수의 사용자의 활동에 기초하여 콘텐트를 추천하는 방법 및 이를 위한 장치
WO2015178714A1 (en) Foldable device and method of controlling the same
WO2015142023A1 (en) Method and wearable device for providing a virtual input interface
WO2014010998A1 (en) Method for transmitting and receiving data between memo layer and application and electronic device using the same
WO2016018111A1 (en) Message service providing device and method of providing content via the same
WO2016018070A1 (en) Wearable glasses and method of displaying image via the wearable glasses
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2015076463A1 (en) Mobile terminal and control method thereof
WO2016200136A1 (en) Portable device and method of changing screen of portable device
WO2016085173A1 (en) Device and method of providing handwritten content in the same
WO2016018062A1 (en) Method and device for providing content
WO2015093667A1 (ko) 전자기기 및 전자기기의 제어방법
WO2016060409A2 (ko) 전자펜, 전자펜과 연동되는 전자기기 및 전자기기의 제어방법
WO2017126727A1 (ko) 와치 타입 이동 단말기 및 그의 동작 방법
WO2015093665A1 (ko) 전자기기 및 전자기기의 제어방법
WO2015199381A1 (en) Mobile terminal and method for controlling the same
WO2015122664A1 (ko) 엄지손가락을 이용한 터치 실행 장치
WO2021029627A1 (en) Server that supports speech recognition of device, and operation method of the server
WO2016182368A1 (ko) 콘텐트를 제공하는 방법 및 디바이스
WO2014010975A1 (en) User interface apparatus and method for user terminal
WO2020218635A1 (ko) 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16749474

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016749474

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15550974

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE