KR20200103236A - 수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치 - Google Patents
수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20200103236A KR20200103236A KR1020190021339A KR20190021339A KR20200103236A KR 20200103236 A KR20200103236 A KR 20200103236A KR 1020190021339 A KR1020190021339 A KR 1020190021339A KR 20190021339 A KR20190021339 A KR 20190021339A KR 20200103236 A KR20200103236 A KR 20200103236A
- Authority
- KR
- South Korea
- Prior art keywords
- character
- input
- font
- electronic device
- displaying
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000015654 memory Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- YREOLPGEVLLKMB-UHFFFAOYSA-N 3-methylpyridin-1-ium-2-amine bromide hydrate Chemical compound O.[Br-].Cc1ccc[nH+]c1N YREOLPGEVLLKMB-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/226—Character recognition characterised by the type of writing of cursive writing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/00402—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/226—Character recognition characterised by the type of writing of cursive writing
- G06V30/2268—Character recognition characterised by the type of writing of cursive writing using stroke segmentation
- G06V30/2276—Character recognition characterised by the type of writing of cursive writing using stroke segmentation with probabilistic networks, e.g. hidden Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G06K2209/01—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
수기(handwriting)에 기반한 입력을 디스플레이하기 위한 방법이 제공된다. 상기 방법은 수기에 기반한 적어도 하나의 제 1 문자(letter)의 입력을 검출하는 단계, 상기 적어도 하나의 제 1 문자의 서체를 식별하는 단계, 및 상기 적어도 하나의 제 1 문자과 연관되는 적어도 하나의 제 2 문자를 상기 식별된 적어도 하나의 제 1 문자의 서체에 기초하여 디스플레이하는 단계를 포함한다.
Description
본 개시는 수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치에 대한 것으로서, 특히, 사용자 적응적인(user-adaptively) 디스플레이 방법에 관련된다.
많은 경우 전자 디바이스에서 사용자의 입력은 타이핑(typing)을 통해 이루어진다. 타이핑은 키보드 또는 키보드의 형상이 디스플레이되는 터치 스크린 디스플레이를 통해 이루어질 수 있다. 그러나, 수기(handwriting)는 인간에 의한 가장 기본적인 문자를 표현하는 방법이며, 많은 상황들에서 타이핑보다 용이하고 다양하게 문자를 표현할 수 있다. 따라서, 전자 디바이스에 의한 수기에 기반한 사용자의 입력을 인식하고 그리고 디스플레이 하기 위한 기술들의 개발이 이루어지고 있다.
본 개시는 사용자 적응적으로 수기에 기반한 사용자의 입력을 디스플레이하기 위한 방법을 제공하기 위한 것이다.
본 개시는 사용자의 수기를 통한 문자 입력의 속도를 향상시키기 위한 방법을 제공하기 위한 것이다.
본 개시의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 개시의 일 실시예에 따른 수기(handwriting)에 기반한 입력을 디스플레이하기 위한 방법은, 수기에 기반한 적어도 하나의 제 1 문자(letter)의 입력을 검출하는 단계, 상기 적어도 하나의 제 1 문자의 서체를 식별하는 단계, 및 상기 적어도 하나의 제 1 문자과 연관되는 적어도 하나의 제 2 문자를 상기 식별된 적어도 하나의 제 1 문자의 서체에 기초하여 디스플레이하는 단계를 포함한다.
본 개시의 다른 실시예에 따른 수기(handwriting)에 기반한 입력을 디스플레이하기 위한 전자 디바이스로서, 메모리, 및 상기 메모리에 연결된 제어기를 포함하고, 상기 제어기는, 수기에 기반한 적어도 하나의 제 1 문자(letter)의 입력을 검출하고, 상기 적어도 하나의 제 1 문자의 서체를 식별하고, 그리고 상기 적어도 하나의 제 1 문자과 연관되는 적어도 하나의 제 2 문자를 상기 식별된 적어도 하나의 제 1 문자의 서체에 기초하여 디스플레이하도록 구성된다.
본 개시의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
즉, 사용자 적응적인 수기 입력의 디스플레이를 제공할 수 있다.
또, 사용자의 수기를 통한 문자 입력의 속도를 향상시킬 수 있다.
본 개시에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 개시의 일 실시예에 따른 수기에 기반한 입력을 디스플레이하기 위한 방법을 나타낸 흐름도이다.
도 2 내지 도 4는 본 개시의 일 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 타나낸다.
도 5 내지 도 7은 본 개시의 또 다른 실시예에 따른 예시적인 수기이 기반한 입력에 대한 디스플레이를 나타낸다.
도 8 내지 도 9는 본 개시의 또 다른 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 나타낸다.
또 10은 본 개시의 또 다른 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 나타낸다.
도 11은 본 개시의 또 다른 실시예에 따른 사용자의 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
도 12는 본 개시의 또 다른 실시예에 따른 사용자의 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
도 13은 본 개시의 또 다른 실시예에 따른 사용자에 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
도 14는 도 13의 실시예에서 입력되는 문자들과 디스플레이되는 문자들을 예시적으로 나타낸다.
도 15는 본 개시의 사용자의 수기 입력으로부터 적어도 하나의 문자를 식별하기 위한 예시적인 방법을 나타낸 흐름도이다.
도 16은 본 개시의 후속하는 적어도 하나의 문자를 예측하는 예시적인 방법을 나타낸 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 전자 디바이스를 나타낸 블록도이다.
도 18은 본 개시의 실시예들에 따른, 수기 인식을 위한 디코딩 네트워크를 나타낸다.
도 2 내지 도 4는 본 개시의 일 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 타나낸다.
도 5 내지 도 7은 본 개시의 또 다른 실시예에 따른 예시적인 수기이 기반한 입력에 대한 디스플레이를 나타낸다.
도 8 내지 도 9는 본 개시의 또 다른 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 나타낸다.
또 10은 본 개시의 또 다른 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 나타낸다.
도 11은 본 개시의 또 다른 실시예에 따른 사용자의 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
도 12는 본 개시의 또 다른 실시예에 따른 사용자의 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
도 13은 본 개시의 또 다른 실시예에 따른 사용자에 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
도 14는 도 13의 실시예에서 입력되는 문자들과 디스플레이되는 문자들을 예시적으로 나타낸다.
도 15는 본 개시의 사용자의 수기 입력으로부터 적어도 하나의 문자를 식별하기 위한 예시적인 방법을 나타낸 흐름도이다.
도 16은 본 개시의 후속하는 적어도 하나의 문자를 예측하는 예시적인 방법을 나타낸 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 전자 디바이스를 나타낸 블록도이다.
도 18은 본 개시의 실시예들에 따른, 수기 인식을 위한 디코딩 네트워크를 나타낸다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 개시의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.
도 1은 본 개시의 일 실시예에 따른 수기에 기반한 입력을 디스플레이하기 위한 방법을 나타낸 흐름도이다. 도 1의 단계들은 전자 디바이스에 의해 수행될 수 있다. 전자 디바이스는 내장된 또는 개별적으로 구성되고 유선 또는 무선을 통해 연결된 터치 스크린 디스플레이, 또는 태블릿을 통해 사용자로부터 수기에 기반한 입력을 수신할 수 있다. 몇몇 실시예들에서, 전자 디바이스는 내장된 또는 개별적으로 구성되고 유선 또는 무선을 통해 연결된 모션 검출기를 이용하여, 사용자의 모션을 통해 표현되는 수기에 기반한 사용자로부터의 입력을 검출 및 수신할 수 있다. 전자 디바이스는 휴대폰, 스마트폰, 태블릿 컴퓨터, 그 밖의 터치 스크린을 포함하거나 연결된 터치스크린을 통해 입력을 수신하고 처리할 수 있는 디바이스, 개인용 컴퓨터, 노트북 컴퓨터, 가상 현실(virtual reality) 디바이스, 및 증강 현실(augmented reality) 디바이스, 중 어느 하나일 수 있으나 반드시 이에 한정되는 것은 아니다.
전자 디바이스는 수기에 기반한 적어도 하나의 제 1 문자의 입력을 검출할 수 있다 (110). 수기에 기반한 적어도 하나의 제 1 문자의 입력은 터치 스크린 디스플레이, 태블릿 또는 모션 검출기를 통해 검출될 수 있다. 사용자는 수기에 기반한 적어도 하나의 제 1 문자를 입력하기 위해, 신체에 의한 터치 스크린 디스플레이에 대한 접촉, 터치 스크린 디스플레이에 의해 인식 가능한 펜과 같은 도구에 의한 터치 스크린 디스플레이 또는 태블릿에 대한 접촉, 또는 제스처를 이용할 수 있다. 전자 디바이스는 입력된 수기에 기반한 적어도 하나의 제 1 문자를 디스플레이할 수 있다. 전자 디바이스는 입력된 적어도 하나의 제 1 문자의 검출된 형상 그대로를 트레이싱하며 디스플레이할 수 있다. 몇몇 실시예들에서 수기에 기반한 입력에 대응하는 형상이 문자가 아니더라도, 전자 디바이스는 입력된 형상 그대로를 디스플레이할 수 있다. 수기에 기반한 적어도 하나의 제 1 문자의 입력을 검출하는 것(110)은 입력된 적어도 하나의 제 1 문자의 형상을 식별하는 것 및 적어도 하나의 제 1 문자를 식별하는 것을 포함할 수 있다. 적어도 하나의 제 1 문자의 형상을 식별하는 것은 적어도 하나의 제 1 문자를 식별하는 것을 의미할 수 있다. 적어도 하나의 제 1 문자를 식별하는 방법에 대하여는 이후 도 15를 참조하여 보다 자세히 설명하도록 한다.
전자 디바이스는 적어도 하나의 제 1 문자의 서체(style)를 식별할 수 있다 (120). 사용자는 수기에 대하여 고유한 서체를 가질 수 있다. 사용자의 서체는 수기에 기반한 적어도 하나의 제 1 문자의 입력에 반영될 수 있다. 전자 디바이스는 식별된 입력된 적어도 하나의 제 1 문자의 형상으로부터 사용자로부터 기인한 적어도 하나의 제 1 문자의 서체를 식별할 수 있다. 적어도 하나의 제 1 문자의 서체를 식별하는 것은 적어도 하나의 제 1 문자를 제외한 문자들을 제 1 문자의 서체와 동일한 서체로 표현하기 위한 서체를 식별하는 것을 포함할 수 있다.
전자 디바이스는 이전의 사용자들로부터의 수기에 기반한 문자의 입력들에 기초하여 사용자의 서체에 대한 데이터베이스를 구축할 수 있다. 데이터베이스는 전자 디바이스의 메모리에 저장될 수 있다. 전자 디바이스는 입력된 적어도 하나의 제 1 문자의 서체가 데이터베이스에 저장된 사용자의 서체와 동일한 것인지 여부를 확인하는 것을 통해 적어도 하나의 제 1 문자의 서체를 식별할 수 있다. 사용자의 서체에 대한 데이터베이스는 입력된 적어도 하나의 제 1 문자의 서체에 대한 정보에 기초하여 업데이트될 수 있다.
몇몇 실시예들에서, 전자 디바이스는 복수의 사용자들 각각의 서체에 대한 데이터베이스를 구축할 수 있다. 전자 디바이스는 데이터베이스에 포함된 복수의 사용자들 각각의 서체 중 입력된 적어도 하나의 제 1 문자의 서체에 대응하는 사용자의 서체를 식별하는 것을 통해 적어도 하나의 제 1 문자의 서체를 식별할 수 있다.
몇몇 실시예들에서, 전자 디바이스는 적어도 하나의 제 1 문자의 입력에 대한 정보를 서버로 전송할 수 있다. 적어도 하나의 제 1 문자의 입력에 대한 정보는 적어도 하나의 제 1 문자의 입력된 형상에 대한 정보를 포함할 수 있다. 서버는 수신된 적어도 하나의 제 1 문자의 입력에 대한 정보에 기초하여 입력된 적어도 하나의 제 1 문자의 서체를 식별할 수 있다. 서버는 복수의 사용자들 각각의 서체에 대한 데이터베이스를 포함하며, 이를 이용하여 적어도 하나의 제 1 문자의 서체를 식별할 수 있다. 몇몇 실시예들에서, 서버는 딥 러닝(deep learning)을 이용하여, 수집된 복수의 문자의 입력들에 대한 정보에 기초하여 적어도 하나의 제 1 문자의 서체를 식별할 수 있다. 서버는 전자 디바이스로 식별된 적어도 하나의 제 1 문자의 서체를 전송할 수 있다.
전자 디바이스는 적어도 하나의 제 1 문자와 연관되는 적어도 하나의 제 2 문자를 식별된 적어도 하나의 제 1 문자의 서체에 기초하여 디스플레이할 수 있다 (130). 몇몇 실시예들에서, 적어도 하나의 제 2 문자는 적어도 하나의 제 1 문자와 함께 하나의 단어를 완성할 수 있다. 몇몇 실시예들에서, 적어도 하나의 제 2 문자는 적어도 하나의 제 1 문자와 함께, 하나의 문장 또는 하나의 문장의 일부를 완성할 수 있다. 전자 디바이스는 적어도 하나의 제 1 문자 및 적어도 하나의 제 2 문자를 통해 완성되는 단어, 문장 또는 문장의 일부를 사용자 적응적으로 선택할 수 있다. 전자 디바이스는 사용자에 의해 수기를 통해 입력된 또는 수기 또는 타이핑을 통해 입력된 단어들 및 문장들의 데이터베이스를 생성하고 메모리에 저장할 수 있다. 전자 디바이스는 데이터베이스 및 적어도 하나의 제 1 문자에 기초하여 사용자가 입력하고자 하는 단어 또는 문장을 추정할 수 있다. 전자 디바이스는 추정된 사용자가 입력하고자 하는 단어 또는 문장에 기초하여 디스플레이되는 적어도 하나의 제 2 문자를 식별할 수 있다. 전자 디바이스는 식별된 적어도 하나의 제 1 문자의 서체와 동일한 서체를 이용하여 적어도 하나의 제 2 문자를 식별할 수 있다. 사용자의 디스플레이된 적어도 하나의 제 2 문자에 대한 추가적인 입력 또는 확인을 검출하는 것에 응답하여, 전자 디바이스는 적어도 하나의 제 1 문자와 적어도 하나의 제 2 문자를 통해 구성되는 단어, 문장 또는 문장의 일부를 사용자에 의해 입력된 것처럼 디스플레이할 수 있다. 이러한 방식을 통해문자 또는 문장의 자동완성 기능을 실행함으로써, 사용자의 서체를 유지하면서, 수기를 통한 문자 입력의 속도를 향상시킬 수 있다. 적어도 하나의 제 2 문자를 예측하는 방법에 대하여는 이후 도 16을 참조하여 보다 구체적으로 설명하도록 한다.
이하 구체적인 예시들을 통해, 본 개시의 실시예들에 따른 수기에 기반한 문자들을 디스플레이하는 방법에 대하여 설명하도록 한다. 도 2 내지 도 4는 본 개시의 일 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 타나낸다. 우선, 도 2에서와 같이, 전자 디바이스는 사용자의 수기에 기반하여 입력된 제 1 문자들(W1)을 디스플레이할 수 있다. 제 1 문자들(W1)은 사용자가 입력한 제 1 문자들(W1)의 형상 그대로 디스플레이될 수 있다. 제 1 문자들(W1)은 사용자의 입력을 트레이싱(tracing)하며 디스플레이될 수 있다. 전자 디바이스는 자신의 데이터베이스를 통해 아니면 서버에 대한 질의를 통해 제 1 문자들(W1)의 서체를 식별할 수 있다.
전자 디바이스는 제 1 문자들(W1)을 식별하여 사용자가 입력하고자 하는 단어를 사용자 적응적으로 식별할 수 있다. 예를 들어, 전자 디바이스는 'Possi'라는 제 1 문자들(W1)로부터 사용자가 입력하고자 하는 단어가 'Possible'인 것으로 추정할 수 있다. 전자 디바이스는 사전에 구성된 데이터베이스를 이용하여 사용자 적응적으로 사용자가 입력하고자 하는 단어를 추정할 수 있다.
도 3을 참고하면, 전자 디바이스는 제 1 문자들(W1)에 부가하여 사용자가 입력하고자 하는 단어를 완성하기 위한 제 2 문자들(W2)을 식별하고, 그리고 디스플레이할 수 있다. 제 2 문자들(W2)은 예를 들어 'ble'일 수 있다. 제 2 문자들(W2)는 제 1 문자들(W1)과 상이한 서식으로 표현될 수 있다. 도 3의 예시에서 제 1 문자들(W1)은 실선으로 표현되고, 제 2 문자들(W2)은 점선으로 표현될 수 있다. 몇몇 실시예들에 따르면, 제 1 문자들(W1)과 제 2 문자들(W2)은 상이한 색상들 또는 굵기들로 표현될 수 있다. 제 1 문자들(W1)과 상이한 서식으로 제 2 문자들(W2)을 표현하는 방법은 상술한 방법들에 한정되지 않는다. 제 2 문자들(W2)은 식별된 제 1 문자들(W1)의 서체에 따라 디스플레이될 수 있다.
제 1 문자들(W1)과 상이한 서식으로 제 2 문자들(W2)을 표현한 이후 제 2 문자들(W2)의 입력을 확인하기 위한 사용자로부터의 입력이 검출되는 경우, 도 4에서와 같이, 제 2 문자들(W2)의 서식은 제 1 문자들(W1)의 서식과 동일하게 변경될 수 있다. 제 2 문자들(W2)의 입력을 확인하기 위한 사용자로부터의 입력은 예를 들어, 제 2 문자들(W2)에 대한 터치 스크린 상의 탭, 더블 탭, 롱 탭 또는 모션 검출기에 의해 식별 가능한 특정한 제스처일 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 5 내지 도 7은 본 개시의 또 다른 실시예에 따른 예시적인 수기이 기반한 입력에 대한 디스플레이를 나타낸다. 도 5에서와 같이, 전자 디바이스는 사용자의 수기에 기반하여 입력된 제 3 문자들(W3)을 디스플레이할 수 있다. 제 3 문자들(W3)은 사용자가 입력한 제 3 문자들(W3)의 형상 그대로 디스플레이될 수 있다. 전자 디바이스는 자신의 데이터베이스를 통해 아니면 서버에 대한 질의를 통해 제 3 문자들(W3)의 서체를 식별할 수 있다.
전자 디바이스는 제 3 문자들(W3)을 식별하여 사용자가 입력하고자 하는 문장을 사용자 적응적으로 식별할 수 있다. 예를 들어, 전자 디바이스는 'Where are you'라는 제 3 문자들(W3)로부터 사용자가 입력하고자 하는 문장이 'Where are you going?'인 것으로 추정할 수 있다. 전자 디바이스는 사전에 구성된 데이터베이스를 이용하여 사용자 적응적으로 사용자가 입력하고자 하는 문장을 추정할 수 있다.
도 6을 참고하면, 같이 전자 디바이스는 제 3 문자들(W3)에 부가하여 사용자가 입력하고자 하는 문장을 완성하기 위한 제 4 문자들(W4)을 식별하고, 그리고 디스플레이할 수 있다. 제 4 문자들(W4)은 예를 들어 'going?'일 수 있다. 제 4 문자들(W4)은 제 3 문자들(W3)과 상이한 서식으로 표현될 수 있다. 제 4 문자들(W4)은 식별된 제 3 문자들(W3)의 서체에 따라 디스플레이될 수 있다.
제 3 문자들(W3)과 상이한 서식으로 제 4 문자들(W4)을 표현한 이후 제 4 문자들(W4)의 입력을 확인하기 위한 사용자로부터의 입력이 검출되는 경우, 도 7에서와 같이, 제 4 문자들(W4)의 서식은 제 3 문자들(W3)의 서식과 동일하게 변경될 수 있다.
도 8 내지 도 9는 본 개시의 또 다른 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 나타낸다. 도 8을 참고하면, 전자디바이스는 사용자의 수기에 기반한 제 5 문자들(W5)의 입력을 검출 및 디스플레이한 이후, 사용자가 제 5 문자들(W5)로부터 완성하고자 하는 단어에 대한 복수의 후보들을 추정할 수 있다. 예를 들어, 'Prog'라는 제 5 문자들(W5)의 입력으로부터, 전자 디바이스는 사용자가 완성하고자 하는 단어에 대한 복수의 후보들로서, 'Program' 및 'Progress'를 추정할 수 있다. 사용자가 완성하고자 하는 단어에 대한 복수의 후보들은 데이터베이스에 기초하여 사용자 적응적으로 선택될 수 있다. 전자 디바이스는 'Program'에 기초하여 제 6 문자들(W6)(즉, 'ram')을 식별하고, 'Progress'에 기초하여 제 7 문자들(W7)(즉, 'ress')을 식별할 수 있다. 전자 디바이스는 식별된 제 6 문자들(W6) 및 제 7 문자들(W7)을 동시에 디스플레이할 수 있다. 제 6 문자들(W6) 및 제 7 문자들(W7)은 전자 디바이스에 의해 식별된 제 5 문자들(W5)의 서체에 따라 디스플레이될 수 있다. 제 6 문자들(W6) 및 제 7 문자들(W7)은 제 5 문자들(W5)의 서식과는 상이한 서식으로 디스플레이될 수 있다.
전자 디바이스는 디스플레이된 제 6 문자들(W6) 및 제 7 문자들(W7) 중 어느 하나를 선택하기 위한 사용자로부터의 입력을 검출하는 것에 응답하여, 제 6 문자들(W6) 및 제 7 문자들(W7) 중 선택되지 않은 문자들을 디스플레이하지 않으며, 선택된 문자들을 제 5 문자들(W5)과 동일한 서식 및 서체로 제 5 문자들(W5)과 연결하여 하나의 단어를 완성할 수 있도록 디스플레이할 수 있다. 도 9를 참고하면, 제 6 문자들(W6)을 선택하기 위한 사용자로부터의 입력이 검출되는 것에 응답하여, 제 6 문자들(W6)이 제 5 문자들(W5)과 동일한 서식 및 서체로 제 5 문자들(W5)과 연결되어 단어 'Program'을 완성하도록 디스플레이된다.
전자 디바이스가 사용자로부터 입력된 문자들에 기초하여 문장을 완성하기 위한 복수의 후보들을 디스플레이하는 경우의 실시예에 대한 설명도, 도 8 내지 도 9에서의 실시예에 대한 설명과 실질적으로 동일하다.
도 10은 본 개시의 또 다른 실시예에 따른 예시적인 수기에 기반한 입력에 대한 디스플레이를 나타낸다. 전자 디바이스는 제 8 문자들(W8)의 입력 및 제 10 문자들(W10)의 입력을 검출하고 제 8 문자들(W8) 및 제 10 문자들(W10)을 동시에 디스플레이할 수 있다. 제 8 문자들(W8)과 제 10 문자들(W10)은 상이한 서체로 입력될 수 있다. 예를 들어, 제 8 문자들(W8)과 제 10 문자들(W10)은 상이한 사용자들에 의해 입력될 수 있다. 전자 디바이스는 제 8 문자들(W8) 및 제 10 문자들(W10) 각각의 서체를 식별할 수 있다. 전자 디바이스는 제 8 문자들(W8)과 관련하여 사용자가 입력하고자 하는 단어 및 제 10 문자들(W10)과 관련하여 다른 사용자가 입력하고자 하는 단어를 식별할 수 있다. 전자 디바이스는 복수의 사용자들에 의해 입력된 단어들의 데이터베이스를 이용하여 제 8 문자들(W8)과 관련하여 사용자가 입력하고자 하는 단어 및 제 10 문자들(W10)과 관련하여 다른 사용자가 입력하고자 하는 단어를 사용자 적응적으로 추정할 수 있다. 몇몇 실시예들에 의하면, 전자 디바이스는 식별된 제 8 문자들(W8)의 서체에 기초하여 제 8 문자들(W8)을 입력한 사용자를 식별하고 그리고 식별된 제 10 문자들(W10)의 서체에 기초하여 제 10 문자들(W10)을 입력한 사용자를 식별할 수 있다. 전자 디바이스는 제 8 문자들(W8) 및 제 8 문자들(W8)을 입력한 사용자가 입력고하고자 하는 것으로 추정된 단어에 기초하여 추정된 단어를 완성시키기 위한 제 9 문자들(W9)을 식별할 수 있다. 예를 들어, 제 8 문자들(W8)이 'Prog'이고, 사용자가 입력고하고자 하는 것으로 추정된 단어가 'Program'인 경우 제 9 문자들(W9)은 'ram'으로 식별될 수 있다. 전자 디바이스는 제 10 문자들(W10) 및 제 10 문자들(W10)을 입력한 사용자가 입력고하고자 하는 것으로 추정된 단어에 기초하여 추정된 단어를 완성시키기 위한 제 11 문자들(W11)을 식별할 수 있다. 예를 들어, 제 10 문자들(W10)이 'Possi'이고, 사용자가 입력고하고자 하는 것으로 추정된 단어가 'Possible'인 경우 제 11 문자들(W11)은 'ble'으로 식별될 수 있다.
식별된 제 9 문자들(W9) 및 제 11 문자들(W11)은 전자 디바이스에 의해 디스플레이될 수 있다. 제 9 문자들(W9)은 제 8 문자들(W9)의 서체에 따라 디스플레이되고, 제 11 문자들(W11)은 제 10 문자들(W10)의 서체에 따라 디스플레이될 수 있다. 제 9 문자들(W9)은 제 8 문자들(W8)의 서식과 상이한 서식으로 디스플레이되고, 제 11 문자들(W11)은 제 10 문자들(W10)의 서식과는 상이한 서식으로 디스플레이될 수 있다. 제 9 문자들(W9) 및 제 11 문자들(W11)이 디스플레이된 이후, 제 9 문자들(W9)의 입력을 확인하기 위한 사용자의 입력을 검출하는 것에 응답하여, 전자 디바이스는 제 9 문자들(W9)의 서식을 제 8 문자들(W8)의 서식과 동일하게 변경할 수 있고, 그리고 제 11 문자들(W11)의 입력을 확인하기 위한 사용자의 입력을 검출하는 것에 응답하여, 전자 디바이스는 제 11 문자들(W11)의 서식을 제 10 문자들(W10)의 서식과 동일하게 변경할 수 있다.
몇몇 실시예들에서, 앞서 설명된 실시예들과 유사한 방식으로 사용자의 문자 입력의 오기를 정정하기 방법이 수행될 수 있다. 예를 들어, 전자 디바이스는 수기에 기반한 문자들의 입력을 검출 및 디스플레이할 수 있다. 전자 디바이스는 입력된 문자들에 오기가 존재하는지 여부를 식별할 수 있다. 전자 디바이스는 사용자에 의해 입력된 단어들 또는 문장들에 대한 데이터베이스에 기초하여, 사용자 적응적으로 사용자가 입력할 것을 의도한 단어 또는 문장을 식별하고, 식별된 사용자가 입력할 것을 의도한 단어 또는 문장과 입력된 문자들에 기초하여 오기가 존재하는지 여부를 식별할 수 있다. 입력된 문자들에 오기가 존재하는 것으로 식별되면, 전자 디바이스는 오기를 정정하기 위한 추가적인 적어도 하나의 문자를 디스플레이할 수 있다. 오기를 정정하기 위한 추가적인 적어도 하나의 문자는 입력된 문자들의 서체에 따라 정정의 대상인 문자에 인접하여 디스플레이될 수 있다. 오기의 정정을 확인하기 위한 사용자의 입력을 검출하는 경우, 정정된 문자들이 입력된 문자들의 서체에 따라 디스플레이될 수 있다.
도 11은 본 개시의 또 다른 실시예에 따른 사용자의 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
전자 디바이스는 음성을 인식할 수 있다 (1110). 음성을 인식하는 것은 음성에 의해 표현되는 언어를 구성하는 적어도 하나의 문자를 식별하는 것을 포함할 수 있다. 몇몇 실시예들에서, 음성을 인식하는 것은 전자 디바이스에 대한 복수의 사용자들 중 인식된 음성을 말한 사용자를 식별하는 것을 더 포함할 수 있다.
전자 디바이스는 음성에 대응하는 적어도 하나의 문자를 사용자의 서체에 기초하여 디스플레이할 수 있다 (1120). 사용자의 서체에 대한 정보는 전자 디바이스 또는 서버의 데이터베이스에 저장될 수 있다. 몇몇 실시예들에서, 사용자의 서체는 전자 디바이스에 디폴트로 설정된 사용자의 서체일 수 있다. 몇몇 실시예들에서, 전자 디바이스는 전자 디바이스에 대한 복수의 사용자들 중 인식된 음성을 말한 사용자를 식별할 수 있으며, 식별된 사용자의 서체에 기초하여 음성에 대응하는 적어도 하나의 문자를 디스플레이할 수 있다.
도 12는 본 개시의 또 다른 실시예에 따른 사용자의 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
전자 디바이스는 이미지로부터 적어도 하나의 문자를 식별할 수 있다 (1210). 이미지는 전자 디바이스에 포함된 카메라, 또는 전자 디바이스에 유선 또는 무선으로 연결된 카메라에 의해 캡처된 이미지일 수 있으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 이미지는 다른 디바이스로부터 수신한 이미지일 수도 있다. 이미지로부터 적어도 하나의 문자를 식별하는 것은 알려진 OCR(optical character recognition) 기술을 이용하여 수행될 수 있다.
전자 디바이스는 식별된 적어도 하나의 문자를 사용자의 서체에 기초하여 디스플레이할 수 있다(1220). 사용자의 서체는 전자 디바이스에 디폴트로 설정된 사용자의 서체일 수 있다. 몇몇 실시예들에서, 식별된 적어도 하나의 문자를 디스플레이하는 것은 원본 이미지로부터 수정된 이미지를 디스플레이하는 것을 포함할 수 있다. 수정된 이미지는 원본 이미지의 적어도 하나의 문자가 식별된 영역을 사용자의 서체에 따른 적어도 하나의 문자가 표시되는 영역으로 수정하여 생성될 수 있다. 몇몇 실시에들에서, 식별된 하나의 문자는 원본 이미지와 무관하게 디스플레이될 수도 있다.
도 13은 본 개시의 또 다른 실시예에 따른 사용자에 서체에 기초하여 적어도 하나의 문자를 디스플레이하기 위한 방법을 나타낸 흐름도이다.
전자 디바이스는 수기에 기초한 적어도 하나의 문자의 입력을 식별할 수 있다 (1310). 해당 단계에 대한 설명은 도 1의 참조번호 110의 단계에 대한 설명과 실질적으로 동일하므로 생략한다.
전자 디바이스는 적어도 하나의 문자를 사용자의 서체에 대한 정보에 기초하여 디스플레이할 수 있다 (1320). 보다 구체적으로, 전자 디바이스는 입력된 적어도 하나의 문자의 형상에 대한 디스플레이를 전자 디바이스에 저장된 또는 전자 디바이스가 네트워크로부터 획득한 사용자의 서체에 대한 정보에 의 해 표현되는 사용자의 서체에 따라 입력된 적어도 하나의 문자를 디스플레이할 수 있다.
도 14는 도 13의 실시예에서 입력되는 문자들과 디스플레이되는 문자들을 예시적으로 나타낸다. 입력 문자들(1410)은 단계 1310에서 수기에 기초하여 실제로 입력될 수 있는 문자들의 형상을 나타낸다. 출력 문자들(1420)는 단계 1320에서 디스플레이될 수 있는 문자들의 형상을 나타낸다. 즉, 도 13 및 도 14의 실시예에 의하면, 입력 문자들(1410)의 형상과 출력 문자들(1420)의 형상은 상이할 수 있다. 이러한 방법을 통해, 입력 문자들(1410)이 거친 형상으로 입력되더라도, 정돈된 형상의 출력 문자들(1420)을 디스플레이 할 수 있으며, 동시에 출력 문자들(1420)이 사용자의 서체에 따라 디스플레이되도록 할 수 있다.
도 15는 본 개시의 사용자의 수기 입력으로부터 적어도 하나의 문자를 식별하기 위한 예시적인 방법을 나타낸 흐름도이다.
전자 디바이스는 수기 입력을 검출할 수 있다 (1510).
전자 디바이스는 검출된 수기 입력에 대하여 사전 처리(preprocessing)을 수행할 수 있다(1520). 사전 처리는 검출된 수기 입력에 대하여, 기울기(slant) 정규화(normalization), 뒤틀림(skew) 정규화, 크기 정규화 중 적어도 하나를 수행하는 것을 포함할 수 있다.
전자 디바이스는 사전 처리된 수기 입력에 대하여 특징(feature) 추출을 수행할 수 있다(1520). 특징 추출을 통해 수기 입력에 대한 서체의 특징들이 식별될 수 있다. 추출되는 특징들은 각각의 지점(point)에 대하여 시계열적으로(in the time series) 주변의 지점들을 고려하여 추출되는 제 1 클래스의 특징들 및 오프라인 매트릭스 표현에 의해 주어지는 공간 정보에 기초하는 제 2 클래스의 특징들을 포함할 수 있다. 예를 들어, 제 1 클래스의 특징들은 다음과 같다.
- 펜-팁(pen-tip)이 보드를 터치하는지 또는 아닌지 여부를 나타내는 특징
- y축에서 지연된 획(stroke)이 제거되었는지 여부를 나타내는 햇-특징(hat-feature)
- 재샘플링 이전에 계산된 속도
- 하이-패스 필터링 이후(즉, 실제 수평 위치로부터 이동 평균(moving average)를 차감한 이후)의 x 좌표
- 정규화 이후의 y 좌표
- 지점 에서 시작하는 라인 세그먼트와 x 축 사이의 각도의 사인 및 코사인 값 (필기 방향; writing direction)
- 이전의 지점으로의 라인과 다음 지점으로의 라인 사이의 각도의 코사인 및 사인 값 (곡률; curvature)
- 인접도 양상(vicinity aspect): 궤적의 양상과 동일함
- 첫 번째 인접 지점(first vicinity point)으로부터 마지막 인접 지점(last vicinity point)까지의 직선의 각도의 코사인 및 사인
- max(Δx(t), Δy(t))에 의해 나누어진 인접한 궤적의 길이
- 첫 번째 인접 지점으로부터 마지막 인접 지점까지의 직선에 인접한 각각의 지점의 거리의 제곱의 평균
제 2 클래스의 특징들은 데이터를 나타내는 2차원 매트릭스 B=bi,j 를 이용하여 계산된다. 각각의 지점 bi,j 에 대하여, 획들의 궤적 상의 지점들의 수가 저장되며, 수기 데이터의 저-해상도 이미지를 제공한다. 예를 들어, 제 2 클래스의 특징들은 다음과 같다.
- 현재 지점에 인접한 코퍼스(corpus) 라인 위의 점들(즉, ascenders) 베이스라인 아래의 점들(즉, descenders)의 수
- 컨텍스트 맵의 각각의 영역 내의 검은 지점들의 수 (현재 지점의 2-차원 인접도는 코퍼스의 높이로 설정되는 높이 및 폭을 갖는 3 × 3 맵으로 변환된다.)
전자 디바이스는 추출된 특징들에 RNN(Recurrent Neural Networks)을 적용할 수 있다(1540). 몇몇 실시예들에서, RNN은 딥(deep) RNN일 수 있다. 전다 디바이스는 RNN을 이용하여 수기 입력의 각각의 문자들을 식별할 수 있다. 몇몇 실시예들에서, 전자 디바이스는 수기 입력의 각각의 문자를 식별하기 위해 네트워크(즉, 서버)를 통한 RNN을 이용할 수 있다.
전자 디바이스는 수기 입력의 식별된 문자들을 디코딩할 수 있다 (1550). 전자 디바이스는 디코딩을 통해 수기 입력의 텍스트를 식별할 수 있다. 디코딩은 언어 모델(language model)을 이용하여 가장 확률높은(probable) 문자들의 시퀀스(즉, 단어 또는 문장)을 식별하는 것을 포함할 수 있다. 디코딩은 추가적으로 사용자의 과거 수기에 의해 입력된 텍스트에 대한 데이터베이스를 이용하여 가장 확률높은 문자들의 시퀀스를 식별하는 것을 포함할 수 있다. 몇몇 실시예들에서, 전자 디바이스는 수기 입력의 텍스트를 식별하기 위해 네트워크(즉, 서버)를 통한 디코딩을 이용할 수 있다.
몇몇 실시예들에서, 수기 디코딩은 수식 (1)과 같이 주어진 관측(observation) 시퀀스 O를 이용해 가장 가능성높은 단어 시퀀스 W를 찾아내는 전통적인 argmax 문제로서 기술될 수 있다.
수식(2)에서 
는 ARPA Word N-gram과 같은 언어 모델(LM)을 나타낸다. 
는 Dictionary Word -> Characters의 LM을 나타낸다. 
는 BLSTM 뉴럴 네트워크로부터의 문자 출력 확률들을 의미하는 트레이스 모델을 나타낸다. 
는 비터비(Viterbi) 알고리즘 및 빔 서치와 같은 탐색 알고리즘을 나타낸다.
전자 디바이스는 디코딩의 결과물을 이용하여 적어도 하나의 문자를 인식할 수 있다 (1560).
도 16은 본 개시의 후속하는 적어도 하나의 문자를 예측하는 예시적인 방법을 나타낸 흐름도이다.
전자 디바이스는 주어진 텍스트를 식별할 수 있다 (1610). 주어진 텍스트는 수기를 통하여 입력된 적어도 하나의 문자를 포함할 수 있다.
전자 디바이스는 주어진 텍스트의 다음 문자의 확률을 계산할 수 있다 (1620). 전자 디바이스는 주어진 텍스트를 포함하는 단어들, 문장들, 사용되는 단어들에 대한 통계, 및 사용되는 문장들에 대한 통계에 기초하여 주어진 텍스트의 다음의 적어도 하나의 문자 또는 적어도 하나의 문자열 각각의 확률을 계산할 수 있다.전자 디바이스는 주어진 텍스트의 다음의 적어도 하나의 문자 또는 적어도 하나의 문자열 각각의 확률에 기초하여 가장 가능성이 높은 문자 또는 문자열을 선택할 수 있다 (1630).
몇몇 실시예들에서, 후속하는 적어도 하나의 문자를 확률에 따라 선택하기 위해 N-gram 언어 모델(language model)이 이용될 수 있다. 통계적 언어 모델은 단어(예측되는 출현 빈도들을 갖는 단어들의 세트) 및 N-gram 모델(예측되는 출현 빈도들을 갖는 N 개의 단어들의 조합)의 두 부분들로 구성될 수 있다. 몇몇 실시예들에서 bigram 모델들(두 개의 단어들의 조합들)이 사용될 수 있다. 이러한 언어 모델에 기초하여, 다음의 적어도 하나의 문자(예를 들어, 단어)에 대한 확률 및 가장 가능성 높은 후보들을 다음의 수식 (2)을 통해 계산할 수 있다.
- 수식 (2)
몇몇 실시예들에 의하면, 후속하는 적어도 하나의 문자를 확률에 따라 선택하기 위해 NN(neural network) 모델이 이용될 수도 있다. NN 모델을 이용한 문자 예측 방법에 대한 예시는 "PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks" (Jian Tang, Meng Qu, Qiaozhu Mei)와 같은 논문의 의해 개시에 따라 구현될 수 있다.
이하, 본 개시의 실시예들에 따른, 텍스트 합성(synthesis) 방법에 대하여 설명하도록 한다. 자동으로 완성하고자 하는 수기 텍스트의 일부인 포인트들의 시퀀스들에 대하여 LSTM(long short-term memory modes)이 적용될 수 있다. 몇몇 실시예들에서 LSTM은 400개의 셀들을 가질 수 있다.
수기로 입력되는 문자들의 시퀀스의 입력에 대하여 one-hot 벡터 인코딩이 수행될 수 있다. one-hot 벡터 인코딩이 수행된 문자들의 시퀀스의 입력, 포인트들의 시퀀스 및 LSTM이 적용된 포인트들의 시퀀스들에 대하여 10개의 가우시안(Gaussian) 함수들의 혼합(mixture)이 적용될 수 있다. 혼합을 위한 가우시안 함수들에 대한 가중치 계수들은 사용자 특정 데이터를 이용하여 계산될 수 있다. 몇몇 실시예들에서, 가중치 계수들은 서버 측에서 고정적으로 적용되는 계수와, 사용자 디바이스 측에서 사용자-특정적으로 적용되는 계수들로 구분될 수 있다.
10 개의 가우시안 함수들의 혼합이 적용된 결과물들에 대해 LSTM이 반복적으로 적용될 수 있다. 반복적인 LSTM의 적용 이후 20개의 이변수(bivariate) 가우시안 혼합물 컴포넌트들을 적용하여, 수기 텍스트를 형성하는 획(stroke)들의 시퀀스를 획득할 수 있다. 획은 포인트들의 시퀀스로 구성될 수 있다. 몇몇 실시예들에서 이변수 가우시안 혼합물 컴포넌트들을 적용하는 것은 사용자 디바이스에서 적응적으로 구성되는 출력 혼합물 밀도 계층에서 구현될 수 있다.
상술한 텍스트 합성 방법은 논문 "Generating Sequences With Recurrent Neural Networks" (Alex Graves)의 기재에 의해 보충될 수 있다.
이하, 사용자-특정 적응적 모델링에서의 공통 부분과 개인적 부분에 대하여 기술하도록 한다. 사용자-특정 수기 정보는 사용자 수기 스타일 및 사용자 특정 어휘(vocabulary)(디폴트 어휘에 포함되지 않는 사용자에 의해 사용되는 단어들의 리스트)를 의미할 수 있다. 공통 수기 정보는 특정한 언어에 대한 상이한 종류의 수기 스타일들에 대한 정보를 의미할 수 있다. 사용자-특정 수기 정보 및 공통 수기 정보는 지식 베이스(knowledge base)(정보의 이진적 표현)에 저장될 수 있다.
지식 베이스는 수기 합성을 수행하기 위한 사용자 특정 트레이스(trace) 모델과 공통 트레이스 모델을 포함할 수 있다. 지식 베이스는 추가적으로 수기 인식을 수행하기 위한 사용자 특정 트레이스 모델과 공통 트레이스 모델을 포함할 수 있다. 지식 베이스는 텍스트 예측을 위한 사용자 특정 언어 모델과 공통 언어 모델을 포함할 수 있다. 사용자 특정 언어 모델은 수기 인식을 수행하기 위하여도 이용될 수 있다.
도 18은 본 개시의 실시예들에 따른, 수기 인식을 위한 디코딩 네트워크를 나타낸다. 본 개시의 실시예들에 따르면, 도 18에서 도시된 바와 같이 언어 모델은 어휘의 트리(lexical tree)로 변환될 수 있고, 최적화를 통해 원래의 수기에 대한 인식이 수행될 수 있다.
도 17은 본 개시의 일 실시예에 따른 전자 디바이스를 나타낸 블록도이다. 전자 디바이스(1700)는 통신 인터페이스(1710), 메모리(1720) 및 제어기(1730)를 포함할 수 있다. 전자 디바이스(1700)는 휴대폰, 스마트폰, 태블릿 컴퓨터, 개인용 컴퓨터, 노트북 컴퓨터, 가상 현실(virtual reality) 디바이스, 및 증강 현실(augmented reality) 디바이스, 중 어느 하나일 수 있으나 반드시 이에 한정되는 것은 아니다. 몇몇 실시예들에서 전자 디바이스(1700)가 가상 현실(virtual reality) 디바이스, 또는 증강 현실(augmented reality) 디바이스인 경우 전자 디바이스(1700)는 사용자의 허공에서의 제스처로부터 사용자의 수기에 기반한 적어도 하나의 문자의 입력을 검출할 수 있다. 몇몇 실시예들에 의하면, 전자 디바이스(1700)는 터치 스크린 디스플레이 패널을 포함하는 냉장고와 같은 가전 기기(home appliance)일 수 있다.
몇몇 실시예들에 의하면, 전자 디바이스(1700)는 차량(vehicle) 내에 임베디드될 수 있다. 전자 디바이스(1700)는 차량 내부의 임의의 표면 상의 수기에 기초한 사용자의 입력을 검출하고, 사용자의 입력으로부터 식별된 적어도 하나의 문자를 사용자의 서체에 기초하여 디스플레이할 수 있다. 차량 내부의 사용자의 입력이 검출되는 위치와 적어도 하나의 문자가 디스플레이되는 위치는 동일할 수 있으나, 반드시 이에 한정되는 것은 아니다.
전자 디바이스(1700)는 통신 인터페이스(1710)를 이용하여 다른 디바이스들과 통신할 수 잇다. 예를 들어, 전자 디바이스(1700)는 통신 인터페이스(1710)를 이용하여, 입력된 문자들의 서체에 대한 정보를 획득하기 위해 서버와 통신할 수 있다. 예를 들어, 전자 디바이스(1100)는 전자 디바이스(1700)와 개별적으로 구성된 터치 스크린 디스플레이, 태블릿 또는 모션 검출기와 통신하기 위해 통신 인터페이스(1710)를 이용할 수 있다. 몇몇 실시예들에서, 전자 디바이스(1700)는 터치 스크린 디스플레이, 태블릿 또는 모션 검출기를 포함할 수 있다.
메모리(1720)에는 전자 디바이스(1700) 및 제어기(1730)의 동작에 필요한 명령들, 일시적인 데이터들, 비-일시적인 데이터들 및/또는 영구적인 데이터들이 저장될 수 있다. 예를 들어, 메모리(1720)에는 적어도 하나의 사용자 각각의 서체에 대한 데이터베이스, 및 적어도 하나의 사용자 각각에 의해 입력된 단어들 및/또는 문장들에 대한 데이터베이스가 저장될 수 있다.
제어기(1730)는 적어도 하나의 프로세서를 이용하여 구성될 수 있다. 제어기(1730)는 통신 인터페이스(1710) 및 메모리(1720)에 연결될 수 있다. 제어기(1730)는 통신 인터페이스(1710) 및 메모리(1720)를 포함하는 전자 디바이스(1700)의 엘리먼트들 및 전자 디바이스(1100)과 유선 또는 무선으로 연결된 다른 디바이스들의 동작을 제어함으로써, 전자 디바이스(1700)의 동작을 실질적으로 제어할 수 있다. 따라서, 앞서 설명된 전자 디바이스의 동작들은 제어기(1730)에 의해 실질적으로 수행되는 것으로 해석될 수 있다.
이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
Claims (20)
- 수기(handwriting)에 기반한 입력을 디스플레이하기 위한 방법으로서,
수기에 기반한 적어도 하나의 제 1 문자(letter)의 입력을 검출하는 단계;
상기 적어도 하나의 제 1 문자의 서체를 식별하는 단계; 및
상기 적어도 하나의 제 1 문자과 연관되는 적어도 하나의 제 2 문자를 상기 식별된 적어도 하나의 제 1 문자의 서체에 기초하여 디스플레이하는 단계를 포함하는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 1 항에 있어서,
상기 적어도 하나의 제 1 문자의 입력을 검출하는 단계는:
터치 스크린 디스플레이 상의 상기 적어도 하나의 제 1 문자의 입력을 검출하는 단계; 또는
사용자의 움직임에 따라 표현되는 상기 적어도 하나의 제 1 문자의 입력을 상기 사용자의 움직임에 대한 모션 인식에 기반하여 검출하는 단계, 중 하나를 포함하는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 1 항에 있어서,
상기 적어도 하나의 적어도 하나의 서체를 식별하는 단계는,
서버로 상기 검출된 적어도 하나의 제 1 문자의 입력에 대한 정보를 전송하는 단계; 및
상기 서버로부터 상기 제 1 문자의 서체에 대한 정보를 수신하는 단계를 포함하고,
상기 제 1 문자의 서체는 상기 서버에 의해 딥 러닝을 이용하여 상기 제 1 문자의 입력에 대한 정보에 기초하여 식별되는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 1 항에 있어서,
상기 적어도 하나의 제 1 문자의 서체를 식별하는 단계는 상기 제 1 문자에 포함되지 않은 적어도 하나의 문자를 표현하기 위한 서체를 식별하는 것을 포함하는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 1 항에 있어서,
상기 적어도 하나의 제 2 문자들을 디스플레이하는 단계는,
상기 적어도 하나의 제 1 문자를 포함하는 단어 또는 문장를 완성하기 위해 상기 적어도 하나의 제 2 문자들을 디스플레이하는 단계; 또는
상기 적어도 하나의 제 1 문자와 관련된 오기를 정정하기 위해 상기 적어도 하나의 제 2 문자를 디스플레이하는 단계를 포함하는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 5 항에 있어서,
상기 완성하기 위한 단어 또는 문장은 사용자 적응적으로(user-adaptively) 선택되는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 5 항에 있어서,
상기 오기를 정정하기 위해 상기 적어도 하나의 제 2 문자들을 디스플레이하는 단계는,
상기 적어도 하나의 제 1 문자로부터 추정되는 의도된 단어 또는 문장을 사용자 적응적으로 추정하는 단계;
상기 추정된 의도된 단어 또는 문장에 기초하여 상기 적어도 하나의 제 1 문자에 상기 오기가 존재하는지 여부를 식별하는 단계; 및
상기 적어도 하나의 제 1 문자에 상기 오기가 존재하는 경우, 상기 오기를 정정하기 위해 상기 적어도 하나의 제 2 문자를 디스플레이하는 단계를 포함하는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 1 항에 있어서,
수기에 기반한 적어도 하나의 제 3 문자의 입력을 검출하는 단계;
상기 적어도 하나의 제 3 문자의 서체를 식별하는 단계; 및
상기 적어도 하나의 제 3 문자와 연관되는 적어도 하나의 제 4 문자를 상기 식별된 적어도 하나의 제 3 문자의 서체에 기초하여 디스플레이하는 단계를 더 포함하고,
상기 적어도 하나의 제 2 문자 및 상기 적어도 하나의 제 4 문자는 동시에 디스플레이되는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 1 항에 있어서,
상기 적어도 하나의 제 2 문자는 상기 적어도 하나의 제 1 문자와 상이한 서식으로 디스플레이되고,
상기 적어도 하나의 제 2 문자의 입력을 확인(confirm)하기 위한 사용자의 입력을 검출하는 것에 응답하여, 상기 적어도 하나의 제 2 문자의 서식은 상기 적어도 하나의 제 1 문자의 서식과 동일하게 변경되는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 제 1 항에 있어서,
상기 적어도 하나의 제 2 문자는 상기 적어도 하나의 제 1 문자와 함께 각각 상이한 단어 또는 문장을 완성시키기 위한 적어도 하나의 제 3 문자 및 적어도 하나의 제 4 문자를 포함하고,
상기 적어도 하나의 제 3 문자 및 상기 적어도 하나의 제 4 문자 중 어느 하나를 선택하기 위한 입력을 검출하는 것에 응답하여, 상기 적어도 하나의 제 3 문자 및 상기 적어도 하나의 제 4 문자 중 선택된 적어도 하나의 문자에 기반하여 완성되는 단어 또는 문장을 디스플레이하는 단계를 더 포함하는,
수기에 기반한 입력을 디스플레이하기 위한 방법. - 수기(handwriting)에 기반한 입력을 디스플레이하기 위한 전자 디바이스로서,
메모리;
통신 인터페이스; 및
상기 메모리 및 상기 통신 인터페이스에 연결된 제어기를 포함하고,
상기 제어기는:
수기에 기반한 적어도 하나의 제 1 문자(letter)의 입력을 검출하고;
상기 적어도 하나의 제 1 문자의 서체를 식별하고; 그리고
상기 적어도 하나의 제 1 문자과 연관되는 적어도 하나의 제 2 문자를 상기 식별된 적어도 하나의 제 1 문자의 서체에 기초하여 디스플레이하도록 구성되는,
전자 디바이스. - 제 11 항에 있어서,
상기 제어기는:
터치 스크린 디스플레이 상의 상기 적어도 하나의 제 1 문자의 입력을 검출하거나; 또는
사용자의 움직임에 따라 표현되는 상기 적어도 하나의 제 1 문자의 입력을 상기 사용자의 움직임에 대한 모션 인식에 기반하여 검출하는 것에 의해
상기 적어도 하나의 제 1 문자의 입력을 검출하도록 구성되는,
전자 디바이스. - 제 11 항에 있어서,
상기 제어기는 상기 적어도 하나의 적어도 하나의 서체를 식별하기 위해,
서버로 상기 검출된 적어도 하나의 제 1 문자의 입력에 대한 정보를 전송하고; 그리고
상기 서버로부터 상기 제 1 문자의 서체에 대한 정보를 수신하도록 구성되고,
상기 제 1 문자의 서체는 상기 서버에 의해 딥 러닝을 이용하여 상기 제 1 문자의 입력에 대한 정보에 기초하여 식별되는,
전자 디바이스. - 제 11 항에 있어서,
상기 적어도 하나의 제 1 문자의 서체를 식별하는 것은 상기 제 1 문자에 포함되지 않은 적어도 하나의 문자를 표현하기 위한 서체를 식별하는 것을 포함하는,
전자 디바이스. - 제 11 항에 있어서,
상기 제어기는,
상기 적어도 하나의 제 1 문자를 포함하는 단어 또는 문장를 완성하기 위해 상기 적어도 하나의 제 2 문자들을 디스플레이하는 것; 또는
상기 적어도 하나의 제 1 문자와 관련된 오기를 정정하기 위해 상기 적어도 하나의 제 2 문자를 디스플레이하는 것에 의해,
상기 적어도 하나의 제 2 문자들을 디스플레이하도록 구성되는,
전자 디바이스. - 제 15 항에 있어서,
상기 완성하기 위한 단어 또는 문장은 사용자 적응적으로(user-adaptively) 선택되는,
전자 디바이스. - 제 15 항에 있어서,
상기 제어기는 상기 오기를 정정하기 위해 상기 적어도 하나의 제 2 문자들을 디스플레이하기 위해,
상기 적어도 하나의 제 1 문자로부터 추정되는 의도된 단어 또는 문장을 사용자 적응적으로 추정하고;
상기 추정된 의도된 단어 또는 문장에 기초하여 상기 적어도 하나의 제 1 문자에 상기 오기가 존재하는지 여부를 식별하고; 그리고
상기 적어도 하나의 제 1 문자에 상기 오기가 존재하는 경우, 상기 오기를 정정하기 위해 상기 적어도 하나의 제 2 문자를 디스플레이하도록 구성되는,
전자 디바이스. - 제 11 항에 있어서,
상기 제어기는:
수기에 기반한 적어도 하나의 제 3 문자의 입력을 검출하고;
상기 적어도 하나의 제 3 문자의 서체를 식별하고; 그리고
상기 적어도 하나의 제 3 문자와 연관되는 적어도 하나의 제 4 문자를 상기 식별된 적어도 하나의 제 3 문자의 서체에 기초하여 디스플레이하도록 추가로 구성되고,
상기 적어도 하나의 제 2 문자 및 상기 적어도 하나의 제 4 문자는 동시에 디스플레이되는,
전자 디바이스. - 제 11 항에 있어서,
상기 적어도 하나의 제 2 문자는 상기 적어도 하나의 제 1 문자와 상이한 서식으로 디스플레이되고,
상기 적어도 하나의 제 2 문자의 입력을 확인(confirm)하기 위한 사용자의 입력을 검출하는 것에 응답하여, 상기 적어도 하나의 제 2 문자의 서식은 상기 적어도 하나의 제 1 문자의 서식과 동일하게 변경되는,
전자 디바이스. - 제 11 항에 있어서,
상기 적어도 하나의 제 2 문자는 상기 적어도 하나의 제 1 문자와 함께 각각 상이한 단어 또는 문장을 완성시키기 위한 적어도 하나의 제 3 문자 및 적어도 하나의 제 4 문자를 포함하고,
상기 적어도 하나의 제 3 문자 및 상기 적어도 하나의 제 4 문자 중 어느 하나를 선택하기 위한 입력을 검출하는 것에 응답하여, 상기 적어도 하나의 제 3 문자 및 상기 적어도 하나의 제 4 문자 중 선택된 적어도 하나의 문자에 기반하여 완성되는 단어 또는 문장을 디스플레이하는 단계를 더 포함하는,
전자 디바이스.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190021339A KR20200103236A (ko) | 2019-02-22 | 2019-02-22 | 수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치 |
| US16/441,364 US11087156B2 (en) | 2019-02-22 | 2019-06-14 | Method and device for displaying handwriting-based entry |
| PCT/KR2019/008365 WO2020171306A1 (en) | 2019-02-22 | 2019-07-08 | Method and device for displaying handwriting-based entry |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190021339A KR20200103236A (ko) | 2019-02-22 | 2019-02-22 | 수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200103236A true KR20200103236A (ko) | 2020-09-02 |
Family
ID=72141226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190021339A KR20200103236A (ko) | 2019-02-22 | 2019-02-22 | 수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11087156B2 (ko) |
| KR (1) | KR20200103236A (ko) |
| WO (1) | WO2020171306A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024014655A1 (ko) * | 2022-07-14 | 2024-01-18 | 삼성전자 주식회사 | 획들에 의해 나타나는 문장을 식별하기 위한 전자 장치 및 방법 |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6002799A (en) * | 1986-07-25 | 1999-12-14 | Ast Research, Inc. | Handwritten keyboardless entry computer system |
| US5680480A (en) * | 1994-07-29 | 1997-10-21 | Apple Computer, Inc. | Method and apparatus for training a recognizer |
| US6111985A (en) * | 1997-06-06 | 2000-08-29 | Microsoft Corporation | Method and mechanism for providing partial results in full context handwriting recognition |
| US7286115B2 (en) | 2000-05-26 | 2007-10-23 | Tegic Communications, Inc. | Directional input system with automatic correction |
| US6922810B1 (en) | 2000-03-07 | 2005-07-26 | Microsoft Corporation | Grammar-based automatic data completion and suggestion for user input |
| JP4006239B2 (ja) * | 2002-02-21 | 2007-11-14 | 株式会社日立製作所 | 文書の検索方法および検索システム |
| US8411958B2 (en) * | 2004-05-04 | 2013-04-02 | Nokia Corporation | Apparatus and method for handwriting recognition |
| US7561740B2 (en) | 2004-12-10 | 2009-07-14 | Fuji Xerox Co., Ltd. | Systems and methods for automatic graphical sequence completion |
| US9606634B2 (en) | 2005-05-18 | 2017-03-28 | Nokia Technologies Oy | Device incorporating improved text input mechanism |
| US7886233B2 (en) | 2005-05-23 | 2011-02-08 | Nokia Corporation | Electronic text input involving word completion functionality for predicting word candidates for partial word inputs |
| US8413069B2 (en) | 2005-06-28 | 2013-04-02 | Avaya Inc. | Method and apparatus for the automatic completion of composite characters |
| US7646913B2 (en) | 2005-12-19 | 2010-01-12 | Microsoft Corporation | Allograph based writer adaptation for handwritten character recognition |
| US8615131B2 (en) * | 2006-07-27 | 2013-12-24 | Bgn Technologies Ltd | Online Arabic handwriting recognition |
| KR101457456B1 (ko) * | 2008-01-28 | 2014-11-04 | 삼성전자 주식회사 | 개인 폰트 생성 장치 및 방법 |
| GB0905457D0 (en) | 2009-03-30 | 2009-05-13 | Touchtype Ltd | System and method for inputting text into electronic devices |
| US8782556B2 (en) | 2010-02-12 | 2014-07-15 | Microsoft Corporation | User-centric soft keyboard predictive technologies |
| JP5642809B2 (ja) * | 2010-03-12 | 2014-12-17 | ニュアンス コミュニケーションズ， インコーポレイテッド | 携帯電話のタッチスクリーンとの使用等のためのマルチモーダルテキスト入力システム |
| US9626429B2 (en) | 2010-11-10 | 2017-04-18 | Nuance Communications, Inc. | Text entry with word prediction, completion, or correction supplemented by search of shared corpus |
| KR20130128681A (ko) * | 2012-05-17 | 2013-11-27 | 삼성전자주식회사 | 서체 보정을 수행하도록 하기 위한 방법 및 그 전자 장치 |
| US9093072B2 (en) * | 2012-07-20 | 2015-07-28 | Microsoft Technology Licensing, Llc | Speech and gesture recognition enhancement |
| US9740925B2 (en) * | 2012-11-19 | 2017-08-22 | Imds America Inc. | Method and system for the spotting of arbitrary words in handwritten documents |
| KR102057647B1 (ko) | 2013-02-15 | 2019-12-19 | 삼성전자주식회사 | 데이터 입력 방법 및 그 방법을 처리하는 전자 장치 |
| US9721362B2 (en) | 2013-04-24 | 2017-08-01 | Microsoft Technology Licensing, Llc | Auto-completion of partial line pattern |
| US10387721B2 (en) * | 2013-07-17 | 2019-08-20 | Lenovo (Singapore) Pte. Ltd. | Information handling device handwriting clean-up |
| US10684771B2 (en) * | 2013-08-26 | 2020-06-16 | Samsung Electronics Co., Ltd. | User device and method for creating handwriting content |
| US9881224B2 (en) * | 2013-12-17 | 2018-01-30 | Microsoft Technology Licensing, Llc | User interface for overlapping handwritten text input |
| US9411508B2 (en) * | 2014-01-03 | 2016-08-09 | Apple Inc. | Continuous handwriting UI |
| US9652678B2 (en) * | 2014-05-23 | 2017-05-16 | Samsung Electronics Co., Ltd. | Method and device for reproducing content |
| JP6271728B2 (ja) | 2014-06-12 | 2018-01-31 | 株式会社東芝 | 手書きのための電子機器および方法 |
| US20160004672A1 (en) * | 2014-07-07 | 2016-01-07 | Patty Sakunkoo | Method, System, and Tool for Providing Self-Identifying Electronic Messages |
| JP6392036B2 (ja) * | 2014-09-03 | 2018-09-19 | 株式会社東芝 | 電子機器および方法 |
| US9824266B2 (en) | 2014-11-28 | 2017-11-21 | Samsung Electronics Co., Ltd. | Handwriting input apparatus and control method thereof |
| CN107430486B (zh) * | 2015-01-28 | 2020-05-05 | 摩托罗拉解决方案公司 | 用于输入手写字符的方法和装置 |
| CN105893338B (zh) * | 2015-02-17 | 2021-07-09 | 北京三星通信技术研究有限公司 | 用于输入公式的方法、装置和电子设备 |
| US9715623B2 (en) * | 2015-06-10 | 2017-07-25 | Lenovo (Singapore) Pte. Ltd. | Reduced document stroke storage |
| US20170052696A1 (en) * | 2015-08-19 | 2017-02-23 | Sharon L. Oviatt | Adapting computer functionality based on handwriting energy expenditure |
| KR102482850B1 (ko) * | 2016-02-15 | 2022-12-29 | 삼성전자 주식회사 | 전자 장치 및 전자 장치의 필체 교정 기능 제공 방법 |
| US10248635B2 (en) | 2016-02-29 | 2019-04-02 | Myscript | Method for inserting characters in a character string and the corresponding digital service |
| US20170270357A1 (en) * | 2016-03-15 | 2017-09-21 | Microsoft Technology Licensing, Llc | Handwritten auto-completion |
| US10083163B2 (en) * | 2016-08-10 | 2018-09-25 | Adobe Systems Incorporated | Completing fields in electronic documents by automatically assigning drawing input |
| WO2019022567A2 (en) * | 2017-07-27 | 2019-01-31 | Samsung Electronics Co., Ltd. | METHOD FOR AUTOMATICALLY PROVIDING AUTOMATIC COMPLETION SUGGESTIONS BASED ON GESTURES AND ASSOCIATED ELECTRONIC DEVICE |
| US10489642B2 (en) * | 2017-10-12 | 2019-11-26 | Cisco Technology, Inc. | Handwriting auto-complete function |
| US10664658B2 (en) * | 2018-08-23 | 2020-05-26 | Microsoft Technology Licensing, Llc | Abbreviated handwritten entry translation |
-
2019
- 2019-02-22 KR KR1020190021339A patent/KR20200103236A/ko not_active Application Discontinuation
- 2019-06-14 US US16/441,364 patent/US11087156B2/en active Active
- 2019-07-08 WO PCT/KR2019/008365 patent/WO2020171306A1/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024014655A1 (ko) * | 2022-07-14 | 2024-01-18 | 삼성전자 주식회사 | 획들에 의해 나타나는 문장을 식별하기 위한 전자 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020171306A1 (en) | 2020-08-27 |
| US20200272840A1 (en) | 2020-08-27 |
| US11087156B2 (en) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108369484B (zh) | 引导手写图输入的系统和方法 | |
| CN108700996B (zh) | 用于多输入管理的系统和方法 | |
| JP6914260B2 (ja) | デジタルインクを美しくするためのシステム及び方法 | |
| KR20180100207A (ko) | 디지털 잉크 상호작용을 위한 시스템 및 방법 | |
| US10996843B2 (en) | System and method for selecting graphical objects | |
| JP2017511917A (ja) | 音楽記号を認識するための方法および装置 | |
| US20200401796A1 (en) | System and method for processing text handwriting in a free handwriting mode | |
| CN105549890A (zh) | 一维手写文字输入设备和一维手写文字输入方法 | |
| US20230008529A1 (en) | Gesture stroke recognition in touch-based user interface input | |
| US11429259B2 (en) | System and method for selecting and editing handwriting input elements | |
| US20210365179A1 (en) | Input apparatus, input method, program, and input system | |
| EP3535652B1 (en) | System and method for recognizing handwritten stroke input | |
| US11048408B2 (en) | Display apparatus, recording medium, and display method | |
| KR20200103236A (ko) | 수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치 | |
| WO2014207985A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| EP4086744B1 (en) | Gesture stroke recognition in touch-based user interface input | |
| US20240134507A1 (en) | Modifying digital content including typed and handwritten text | |
| WO2022071448A1 (en) | Display apparatus, display method, and program | |
| US20220382964A1 (en) | Display apparatus, display system, and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |