KR102128415B1 - 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템 - Google Patents

딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템 Download PDF

Info

Publication number
KR102128415B1
KR102128415B1 KR1020180125571A KR20180125571A KR102128415B1 KR 102128415 B1 KR102128415 B1 KR 102128415B1 KR 1020180125571 A KR1020180125571 A KR 1020180125571A KR 20180125571 A KR20180125571 A KR 20180125571A KR 102128415 B1 KR102128415 B1 KR 102128415B1
Authority
KR
South Korea
Prior art keywords
processor
deep learning
key
learning model
computer device
Prior art date
Application number
KR1020180125571A
Other languages
English (en)
Other versions
KR20200046192A (ko
Inventor
박선영
서대룡
이승윤
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020180125571A priority Critical patent/KR102128415B1/ko
Publication of KR20200046192A publication Critical patent/KR20200046192A/ko
Application granted granted Critical
Publication of KR102128415B1 publication Critical patent/KR102128415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템을 제공한다. 일실시예에 따른 키보드 오타 보정 방법은, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하는 단계, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하는 단계, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계 및 상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계를 포함할 수 있다.

Description

딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템{METHOD AND SYSTEM FOR CORRECTING KEYBOARD TYPO BASED ON DEEP LEARNING MODEL}
아래의 설명은 딥러닝 모델 기반 키보드 오타 보정 방법, 상기 키보드 오타 보정 방법을 수행하는 컴퓨터 장치, 그리고 컴퓨터 장치와 결합되어 본 발명의 실시예들에 따른 키보드 오타 보정 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체에 관한 것이다.
일반적인 키보드와 달리 스마트폰의 터치스크린 등에서 활용되는 가상키보드는 환경의 제약에 의해 오타가 상대적으로 많이 발생하는 경향이 있다. 예를 들어, 터치스크린의 크기가 단말의 기종에 따라 서로 달라 가상키보드의 크기 역시 서로 다를 뿐만 아니라, 가상 키보드의 가상 키 사이의 물리적 경계가 없기 때문에 사용자의 손가락의 두께나 사용자의 사용 패턴에 따라 오입력이 발생할 가능성이 높다.
이러한 오타와 관련된 다양한 종래기술들이 존재한다. 예를 들어, 한국등록특허 제10-1858999호는 가상 키보드의 입력 보정 장치에 관한 것으로, 가상 키보드를 구성하는 각 키에 대응하는 기준좌표를 저장하고, 사용자를 통해 가상 키보드가 터치된 터치 위치와 기준좌표의 거리를 기초로 보정 후보키를 도출하고, 선택된 복수의 보정 후보키를 조합하여 보정 후보어를 도출하여 제시함으로써, 사용자가 잘못 입력된 단어를 지우고 일일이 재입력하지 않아도 보정 가이드 정보를 활용하여 입력오류를 해소할 수 있는 기술을 개시하고 있다. 그러나, 이러한 종래기술들은 사용자가 직접 오타를 정정하는 것을 돕기 위한 기술에 관한 것일 뿐, 오타를 정정해주는 기술에 관한 것이 아니다.
또한, 특정한 사용자의 입력 패턴을 활용하여 오타를 정정해주는 종래기술이 존재한다. 그러나, 이러한 종래기술들에서 사용자의 입력 패턴은 특정한 스마트폰의 가상 키보드 환경, 및/또는 특정한 사용자에 대해서만 적용 가능하기 때문에 다양한 가상 키보드 환경 및/또는 다양한 사용자들에 대해 적용할 수 없다는 문제점이 있다.
딥러닝 모델 기반 키보드 오타 보정 방법, 상기 키보드 오타 보정 방법을 수행하는 컴퓨터 장치, 그리고 컴퓨터 장치와 결합되어 본 발명의 실시예들에 따른 키보드 오타 보정 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 키보드 오타 정정 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계를 포함하는 키보드 오타 정정 방법을 제공한다.
컴퓨터 장치와 결합되어 상기 키보드 오타 정정 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 키보드 오타 정정 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터 장치에 있어서, 상기 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하고, 상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥 러닝 모델을 위한 학습 데이터를 생성하고,상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키고, 상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
오타 보정에 데이터를 정규화하여 사용함에 따라 다양한 스마트폰의 가상 키보드 환경 및/또는 다양한 사용자에 대해서도 성능의 차이 없이 키보드 오타를 보정할 수 있다.
기 학습된 딥러닝 모델을 바로 적용하여 추가적인 데이터의 수집 없이 바로 키보드 오타의 보정에 활용할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 키보드 오타 보정 방법의 예를 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 복수의 딥러닝 모델들의 결과를 종합하여 활용하는 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 가상 키보드의 예를 도시한 도면이다.
도 6은 본 발명의 일실시예에 있어서, 패널티가 존재하는 경우의 키율의 계산 방법의 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 패널티가 존재하지 않는 경우의 키율의 계산 방법의 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 키 매트릭스를 설명하기 위한 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 있어서, 입력키에 대한 주변키들의 예를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 있어서, 3개의 자모를 사용하여 다음에 나올 자모의 확률을 계산하는 예를 도시한 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 딥러닝 모델 기반의 키보드 오타 보정 방법은 이후 설명될 컴퓨터 장치를 통해 구현될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 이어셋 제어 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 이어셋 제어 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다. 실시예에 따라, 키보드 오타 보정 방법은 네트워크를 통해 서로 통신하는 둘 이상의 컴퓨터 장치들을 통해 수행될 수도 있다. 예를 들어, 딥러닝 모델의 학습이 서버를 구현하는 제1 컴퓨터 장치에서 수행되고, 서버에서 학습된 딥러닝 모델이 클라이언트를 구현하는 제2 컴퓨터 장치 장치에 탑재되어 클라이언트에서의 키보드 오타를 보정하는데 활용될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기 1(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기 1(110)은 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 금융 서비스, 결제 서비스, 소셜 네트워크 서비스, 메시징 서비스, 검색 서비스, 메일 서비스, 컨텐츠 제공 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)은 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일실시예에 따른 키보드 오타 보정 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 키보드 오타 보정 방법은 일례로 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 중 어느 하나를 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 예를 들어, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 3의 방법이 포함하는 단계들(310 내지 340)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 예를 들어, 상술한 적어도 하나의 프로그램은 키보드 오타의 보정을 위해 컴퓨터 장치(200)에 설치(install)된 어플리케이션일 수 있다.
단계(310)에서 컴퓨터 장치(200)는 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집할 수 있다. 예를 들어, 사용자 로그는 사용자 입력에 의해 선택된 가상 키보드의 키의 식별자와 상기 사용자 입력의 좌표를 포함할 수 있다. 실시예에 따라, 사용자 로그는 상기 사용자 입력이 발생하는 시점에 컴퓨터 장치(200)가 포함하는 센서를 통해 측정되는 컴퓨터 장치(200)의 기울기 값(일례로, 요(yaw), 피치(pitch) 및 롤(roll) 각각의 값)을 더 포함할 수 있다. 한편, 컴퓨터 장치(200)는 가상 키보드의 크기(너비(width), 높이(height))에 대한 정보와 가상 키보드의 키 각각의 중심 좌표를 알고 있을 수 있다.
단계(320)에서 컴퓨터 장치(200)는 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성할 수 있다. 학습 데이터의 생성을 위한 사용자 로그의 가공 방식에 대해서는 이후 더욱 자세히 설명한다.
단계(330)에서 컴퓨터 장치(200)는 학습 데이터를 이용하여 딥러닝 모델을 학습시킬 수 있다. 예를 들어, 딥러닝 모델은 이전 n(n은 자연수) 개의 키 입력에 기초하여 다음 인식될 키에 대한 확률값(키율(key ratio))이 도출되도록 학습될 수 있다. 이때, 딥러닝 모델은 가상 키보드에서 문자 입력과 직접적으로 연관된 m(m은 자연수) 개의 키들 각각에 대해 키율을 계산하여 반환하도록 학습될 수 있다. 여기서 키율은 현재 인식된 키와 인접 키간의 근접도로서 활용될 수 있다.
단계(340)에서 컴퓨터 장치(200)는 학습된 딥러닝 모델을 이용하여 사용자 입력에 따른 문법적 오류 여부를 결정할 수 있다. 실시예에 따라 컴퓨터 장치(200)는 학습된 딥러닝 모델이 제시하는 키율을 통해 문법적 오류가 발생한 키 입력을 정정할 수도 있다.
한편, 딥러닝 모델들은 학습 데이터의 종류에 따라 정답(일례로, 문법적 오류 없음)을 잘 맞추는 딥러닝 모델도 존재하고, 역으로 오답(일례로, 문법적 오류 있음)을 잘 맞추는 딥러닝 모델도 존재한다. 따라서, 하나의 딥러닝 모델을 통해 다양한 입력 데이터들에 대한 문법적 오류 여부를 결정하는 것은 상대적으로 낮은 문법적 오류 여부의 판단을 위한 낮은 성능을 도출할 수도 있다. 따라서, 실시예에 따라 컴퓨터 장치(200)는 학습 데이터를 이용하여 다수의 딥러닝 모델들 각각을 학습시킬 수도 있다. 이때, 다수의 딥러닝 모델들이 학습되어 컴퓨터 장치(200)에 탑재된 경우, 컴퓨터 장치(200)는 사용자 입력을 다수의 딥러닝 모델들 각각에 입력하고, 그 결과를 종합하여 오타의 존재 등과 같은 문법적 오류 여부를 최종적으로 결정하거나 문법적 오류 결정에 따라 인식된 키 입력을 정정할 수 있다.
보다 구체적인 예로, 사이즈 제한이 없는 딥러닝 모델로서 3 개의 레이어를 가지는 3 개의 FFNN(Feed Forward Neural Network) 모델과, 1MB 사이즈 제한이 있는 딥러닝 모델로서 2 개의 레이어를 가지는 3 개의 FFNN 모델이 활용될 수 있다. 전자의 딥러닝 모델은 언어 모델을 포함하여, 각 모델별로 다른 가공된 데이터를 사용할 수 있다. 후자의 딥러닝 모델은 언어 모델을 포함하지 않으며 각 모델별로 다른 가공된 데이터를 사용할 수 있다. FFNN 모델 이외에도 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등의 서로 다른 딥러닝 모델들이 활용될 수도 있다.
도 4는 본 발명의 일실시예에 있어서, 복수의 딥러닝 모델들의 결과를 종합하여 활용하는 예를 도시한 도면이다. 도 4는 3 개의 FFNN 모델들 각각의 결과를 종합하여 최종 결과를 산출하는 예를 나타내고 있다.
또한, 실시예에 따라 도 3의 방법이 포함하는 단계들(310 내지 340) 중 적어도 하나의 단계는 앞서 설명한 서버(150, 160) 중 어느 하나를 구현하는 다른 컴퓨터 장치에 의해 수행될 수도 있다. 예를 들어, 서버(150)는 컴퓨터 장치(200)로부터 수집된 사용자 로그를 수신하여 가공함으로써 딥러닝 모델을 위한 학습 데이터를 생성할 수 있으며, 생성된 학습 데이터를 이용하여 딥러닝 모델을 학습할 수 있다. 이때, 학습된 딥러닝 모델이 컴퓨터 장치(200)로 제공되어 탑재될 수 있으며, 컴퓨터 장치(200)는 탑재된 딥러닝 모델을 이용하여 단계(340)에서 사용자 입력에 따른 문법적 오류 여부를 결정하거나 문법적 오류 결정에 따라 인식된 키 입력을 정정할 수 있다.
이하에서는 학습 데이터를 생성하는 과정의 예를 설명한다. 학습 데이터는 이후 설명되는 데이터와 같이 다양한 종류의 데이터를 포함할 수 있으며, 이후 설명되는 데이터 중 적어도 일부를 학습 데이터로서 사용할 수도 있다.
우선, 학습 데이터의 생성을 위해 요구되는 데이터들을 설명한다.
1. 정규화된 좌표
사용자 입력에 따른 좌표는 가상 키보드의 너비 w와 높이 h에 기초하여 정규화될 수 있다. 예를 들어, 컴퓨터 장치(200)는 하나의 좌표 (x, y)에 대해, (x/w, y/h)를 정규화된 좌표로서 산출할 수 있다. 아래 표 1은 본 발명의 일실시예에 있어서, 입력 스트링(Input String) 'ㅇ'(한글 자음 '이응')에 대한 좌표 (x, y)의 값과 가상 키보드의 너비와 높이, 그리고 정규화된 좌표 (x/w, y/h)의 값을 나타내고 있다. 정규화된 좌표 (x/w, y/h)의 값은 소수점 셋째 자리에서 반올림한 값을 나타내고 있다.
입력 스트링
/ 식별값		 인식된 좌표
x / y		 너비 w / 높이 h 정규화된 좌표
x/w / y/h
ㅇ 12.0 124.50 66.00 37.50 54.00 3.32 1.22
ㅇ 12.0 128.67 98.67 41.40 56.50 3.10 1.74
동일한 입력 스트링에 대해서도 인식된 좌표 (x, y)는 달라질 수 있기 때문에 정규화된 좌표 역시 달라질 수 있다.한편, 가상 키보드가 포함하는 키들의 중심 좌표들 역시 정규화된 좌표계의 좌표들로 계산될 수 있다.
도 5는 본 발명의 일실시예에 있어서, 가상 키보드의 예를 도시한 도면이다. 도 5는 다수의 키들을 포함하고 있는 가상 키보드(510)의 예를 나타내고 있다. 이때, 가상 키보드(510)가 포함하고 있는 다수의 키들 각각을 위한 중심 좌표 (a, b) 역시 정규화된 좌표계에서의 정규화된 좌표 (a/w, b/h)로 표현될 수 있으며, 컴퓨터 장치(200)는 이러한 정규화된 좌표 (a/w, b/h)를 계산 및 저장할 수 있다. 예를 들어, 아래 표 2는 도 5에 나타난 가상 키보드(510)의 키들 중 문자의 입력과 직접적으로 관련된 29개의 키들에 대한 중심 좌표의 예를 나타내고 있다.
키 중심 좌표 열
'ㅂ' [0.5, 0.5] 1 열
'ㅈ' [1.5, 0.5] 1 열
'ㄷ' [2.5, 0.5] 1 열
'ㄱ' [3.5, 0.5] 1 열
'ㅅ' [4.5, 0.5] 1 열
'ㅛ' [5.5, 0.5] 1 열
'ㅕ' [6.5, 0.5] 1 열
'ㅑ' [7.5, 0.5] 1 열
'ㅐ' [8.5, 0.5] 1 열
'ㅔ' [9.5, 0.5] 1 열
'ㅁ' [1, 1.5] 2 열
'ㄴ' [2, 1.5] 2 열
'ㅇ' [3, 1.5] 2 열
'ㄹ' [4, 1.5] 2 열
'ㅎ' [5, 1.5] 2 열
'ㅗ' [6, 1.5] 2 열
'ㅓ' [7, 1.5] 2 열
'ㅏ' [8, 1.5] 2 열
'ㅣ' [9.25, 1.5] 2 열
'C' (Control) [0.5, 2.5] 3 열
'ㅋ' [2, 2.5] 3 열
'ㅌ' [3, 2.5] 3 열
'ㅊ' [4, 2.5] 3 열
'ㅍ' [5, 2.5] 3 열
'ㅠ' [6, 2.5] 3 열
'ㅜ' [7, 2.5] 3 열
'ㅡ' [8, 2.5] 3 열
'D' (Delete) [9.25, 2.5] 3 열
'S' (Space) [5, 3.5] 4 열
2. 정규화된 좌표 수정컴퓨터 장치(200)는 키의 중심좌표와 인식된 좌표에 대한 정규화된 좌표간의 차이값 Diff x, Diff y를 계산하여 누적할 수 있다. 이때, 인식된 좌표가 해당 키의 중심좌표에서 왼쪽에 있으면 Diff x가 양의 값을 가질 수 있고, 오른쪽에 있으면, Diff x가 음의 값을 가질 수 있다. 이와 유사하게 인식된 좌표가 해당 키의 중심좌표에서 위쪽에 있으면, Diff y가 양의 값을 가질 수 있고, 아래쪽에 있으면, Diff y가 음의 값을 가질 수 있다.
이 경우, 자음과 모음 각각에 대한 차이값의 평균이 활용될 수 있다. 예를 들어, 계산된 차이값의 평균값인 Revision x, Revision y가 정규화된 좌표에 더해져서 보정된 좌표 (a/w+Revision x, b/h+Revision y)로서 활용될 수 있다.
일례로, 표 3은 특정한 입력 스트링들에 대한 정규화된 좌표 (a/w, b/h)와 차이값 Diff x, Diff y를 나타내고 있다.
입력 스트링 정규화된 좌표 차이값 (Diff x, Diff y)
'ㅇ' 2.72 1.76 0.28 -0.26
'ㅏ' 8.32 1.24 0.32 0.26
'ㄴ' 1.78 1.46 0.22 0.04
'ㅕ' 6.89 0.33 -0.39 0.17
'ㅇ' 2.88 1.90 0.12 -0.40
'ㅎ' 5.11 1.46 -0.10 0.04
이 경우, 자음에 대한 수정값의 평균값인 Revision x는 0.13((0.28 + 0.22 + 0.12 + (- 0.10)) / 4)의 값으로, 자음에 대한 수정값 Revision y는 0.15(((-0.26) + 0.04 + (-0.40) + 0.04) / 4)의 값으로 각각 결정될 수 있다. 이 경우, 다음 자음 예측 시의 보정된 좌표 (a/w+Revision x, b/h+Revision y)는 일례로 아래 표 4와 같이 계산될 수 있다.
입력 스트링 정규화된 좌표 보정된 좌표
'ㅇ' 2.86 1.46 2.86 + 0.13 = 2.99 1.46 + 0.15 = 1.61
3. 키율(Key Ratio)키율은 정규화된 좌표를 이용하여 계산된 키보드의 모든 키들 각각에 대한 확률로서, 일례로 표 2를 통해 설명한 29개의 키들에 대해 하나의 정규화된 좌표는 29개의 키율을 갖는 배열(array)의 형태로 키율이 계산될 수 있다.
예를 들어, 표 5는 하나의 정규화된 좌표에 대해 계산된 키율의 예를 나타내고 있다.
키 키율
'ㅂ' 0.00
'ㅈ' 0.00
'ㄷ' 0.00
'ㄱ' 0.18
'ㅅ' 0.00
'ㅛ' 0.00
'ㅕ' 0.00
'ㅑ' 0.00
'ㅐ' 0.00
'ㅔ' 0.00
'ㅁ' 0.00
'ㄴ' 0.07
'ㅇ' 0.67
'ㄹ' 0.86
'ㅎ' 0.00
'ㅗ' 0.00
'ㅓ' 0.00
'ㅏ' 0.00
'ㅣ' 0.00
'C' (Control) 0.00
'ㅋ' 0.00
'ㅌ' 0.48
'ㅊ' 0.43
'ㅍ' 0.00
'ㅠ' 0.00
'ㅜ' 0.00
'ㅡ' 0.00
'D' (Delete) 0.00
'S' (Space) 0.00
이러한 키율은 입력키와 비교키가 서로 동일한 경우와 서로 다른 경우로 나눠서 계산될 수 있다.도 6은 본 발명의 일실시예에 있어서, 패널티가 존재하는 경우의 키율의 계산 방법의 예를 도시한 도면이고, 도 7은 본 발명의 일실시예에 있어서, 패널티가 존재하지 않는 경우의 키율의 계산 방법의 예를 도시한 도면이다.
도 6은 입력키와 비교키가 서로 동일한 경우에는 패널티를 주어 키율을 산출하고, 입력키와 비교키가 서로 다른 경우에는 패널티를 주지 않고 키율을 산출하는 예를 나타내고 있다. 도 6에 나타난 바와 같이, 입력키와 비교키가 서로 동일한 키인 경우(현재 인식된 키의 자모에 대해 키율을 계산하는 경우), 자모키인 비교키는 0.7의 확률값을, 제어키(Control) / 삭제키(Delete)인 비교키는 0.9의 확률값을, 그리고 스페이스키(Space)인 비교키는 0.5의 상대적으로 낮은 확률값을 갖도록 계산될 수 있다. 한편, 도 6에서와 같이 입력키와 비교키가 서로 다른 키인 경우, 비교키의 키율은 아래 수학식 1과 같이 계산될 수 있다.
Figure 112018103593677-pat00001
여기서 'standard'는 입력키의 중심과 비교키 사이의 가장 먼 거리를 의미할 수 있으며, 'diff'는 정규화된 좌표와 대응하는 키(입력키)의 중심과의 거리를 의미할 수 있다.
한편, 도 7은 이미 설명한 바와 같이, 패널티가 존재하지 않는 경우의 키율의 계산 방법의 예로서, 모든 비교키들에 대해 수학식 1과 같이 키율이 계산될 수 있다. 다시 말해, 도 7의 방식은 입력키와 동일한 비교키에 대해 패널티를 주지 않고 키율을 계산하는 방식일 수 있다.
한편, 학습 데이터가 포함할 수 있는 데이터는 아래 설명되는 데이터 중 적어도 하나를 포함할 수 있다.
(1) 정규화된 좌표에 대한 키율
정규화된 좌표에 대한 키율을 계산하는 예시에 대해서는 앞서 표 5, 도 7 및 수학식 1을 통해 자세히 설명한 바 있다.
(2) 패널티를 갖는 키율
입력키에 대응하는 자모에 대해 낮은 확률값을 갖도록 패널티를 부여하는 예시에 대해서는 앞서 도 6을 통해 설명한 바 있다.
(3) 보정된 좌표를 이용한 키율
앞서 설명한 키율이 정규화된 좌표를 이용한 반면, 정규화된 좌표에 수정값의 평균값(Revision x, Revision y, 이하 'Revision' 값)을 반영하여 계산되는 보정된 좌표 (a/w+Revision x, b/h+Revision y)에 대해 계산되는 키율이 학습 데이터에 포함될 수 있다.
(4) 키 매트릭스
키 매트릭스는 정규화된 좌표와 각 자모의 중심 좌표간의 차이를 해당 키를 9개의 구역으로 나눈 영역을 통해 표시한 값을 나타낼 수 있다.
도 8은 본 발명의 일실시예에 있어서, 키 매트릭스를 설명하기 위한 예를 도시한 도면이다. 도 8은 하나의 키를 k(k는 자연수) 개의 구역으로 나눈 후, k 개의 구역에 대응하는 k 개의 비트들의 배열을 키 매트릭스로서 생성한 예를 나타내고 있다. 이때, 도 8에서 k가 9인 예를 나타내고 있으며, 정규화된 좌표에 해당하는 구역인 ③에 대응하는 비트는 '1'의 값을 갖도록 설정될 수 있고 나머지 구역들에 대응하는 비트들이 모두 '0'의 값을 갖도록 설정될 수 있다. 이때, 딥러닝 모델은 이러한 키 매트릭스를 이용하여 사용자가 키 각각에 대해 상기 키의 중심 좌표에서 어느쪽으로 치우쳐진 위치를 터치하는가를 측정할 수 있다.
(5) 정규화된 기울기 값(일례로, 요(yaw), 피치(pitch) 및 롤(roll) 각각의 값)
기울기 값은 -1.0과 1.0 사이의 유리수 값을 갖도록 정규화될 수 있다.
예를 들어, 요의 정규화는 아래 수학식 2를 통해, 피치의 정규화는 아래 수학식 3을 통해, 롤의 정규화는 아래 수학식 4를 통해 각각 이루어질 수 있다.
Figure 112018103593677-pat00002
Figure 112018103593677-pat00003
Figure 112018103593677-pat00004
(6) 입력 문자열 원 핫 인코딩(one-hot encoding)
입력 문자열의 원 핫 인코딩은 도 4를 통해 설명한 가상 키보드(410)의 경우, 29개의 문자에 대한 29개의 비트와 패딩(padding) 비트 값을 포함하는 30개의 비트들의 배열로서 얻어질 수 있다. 이때, 비트 값은 입력 문자열에 대응하는 비트에는 '1'의 값을 설정하고, 나머지 비트에는 '0'의 값을 설정하는 방식으로 이루어질 수 있다. 표 6은 인식된 문자열 'ㄱ'과 그 다음 인식된 문자열 'ㅗ', 그리고 그 다음 인식된 스페이스(space)에 대한 원 핫 인코딩의 예를 나타내고 있다.
키 인식된 문자열 'ㄱ'의 비트 값 인식된 문자열 'ㅗ'의 비트 값 인식된 문자열 '스페이스'의 비트 값
'ㅂ' 0 0 0
'ㅈ' 0 0 0
'ㄷ' 0 0 0
'ㄱ' 1 0 0
'ㅅ' 0 0 0
'ㅛ' 0 0 0
'ㅕ' 0 0 0
'ㅑ' 0 0 0
'ㅐ' 0 0 0
'ㅔ' 0 0 0
'ㅁ' 0 0 0
'ㄴ' 0 0 0
'ㅇ' 0 0 0
'ㄹ' 0 0 0
'ㅎ' 0 0 0
'ㅗ' 0 1 0
'ㅓ' 0 0 0
'ㅏ' 0 0 0
'ㅣ' 0 0 0
'C' (Control) 0 0 0
'ㅋ' 0 0 0
'ㅌ' 0 0 0
'ㅊ' 0 0 0
'ㅍ' 0 0 0
'ㅠ' 0 0 0
'ㅜ' 0 0 0
'ㅡ' 0 0 0
'D' (Delete) 0 0 0
'S' (Space) 0 0 1
Padding 0 0 0
딥러닝 모델은 학습 데이터가 포함할 수 있는 원 핫 인코딩의 나열을 통해 사용자 입력의 순서와 종류를 파악할 수 있게 된다. 이 경우, 딥러닝 모델은 현재 출현할 문자열의 키율(29개 키들 각각의 키율)을 이전 n개의 문자열들을 이용하여 예측하여 출력하도록 학습될 수 있다. 보다 구체적인 예로, 특정 문장을 공백 단위로 분할하고, 분할된 어절을 자모로 분리한 후, 딥러닝 모델이 분리된 자모(또는 문자열)에서 앞 n개를 이용하여 현재 나올 자모(또는 문자열)의 확률을 출력하도록 딥러닝 모델을 학습시킬 수 있다. 이 경우, 딥러닝 모델은 앞 n개의 자모(또는 문자열)을 이용하여 현재 나올 자모(또는 문자열)의 확률 값(키율)을 29개 키들 각각에 대해 계산하고, 현재 입력된 자모(또는 문자열)를 중심으로 인접 자모(또는 문자열)의 확률 값만을 남기고 나머지 확률 값들은 0으로 변경한 후, 확률의 전체 합이 1이 되도록 현재 남아 있는 값의 전체 합으로 전체 데이터를 나눠서 사용할 수 있다.
도 9는 본 발명의 일실시예에 있어서, 입력키에 대한 주변키들의 예를 나타낸 도면이다. 도 8은 가상 키보드(910)에서 입력키 'ㅇ'의 주변키들 'ㄷ', 'ㄱ', 'ㄴ', 'ㄹ', 'ㅋ', 'ㅌ' 및 'ㅊ'을 나타내고 있다.
한편, 아래 표 7은 입력키 'ㅇ'의 비트 값과 입력키 'ㅇ'의 주변키들의 비트 값이 1로 매핑된 예를 나타내고 있다.
키 비트 값
'ㅂ' 0
'ㅈ' 0
'ㄷ' 1
'ㄱ' 1
'ㅅ' 0
'ㅛ' 0
'ㅕ' 0
'ㅑ' 0
'ㅐ' 0
'ㅔ' 0
'ㅁ' 0
'ㄴ' 1
'ㅇ' 1
'ㄹ' 1
'ㅎ' 0
'ㅗ' 0
'ㅓ' 0
'ㅏ' 0
'ㅣ' 0
'C' (Control) 0
'ㅋ' 1
'ㅌ' 1
'ㅊ' 1
'ㅍ' 0
'ㅠ' 0
'ㅜ' 0
'ㅡ' 0
'D' (Delete) 0
'S' (Space) 0
Padding 0
예를 들어, 딥러닝 모델은 앞서 설명한 "(3) 보정된 좌표를 이용한 키율"과 "(1) 정규화된 좌표에 대한 키율"(패널티를 갖지 않는 키율)에서 키율이 가장 큰 키가 서로 동일한 경우, 해당 키를 입력키로 하여 주변키들의 비트 값을 1로 매핑할 수 있다.도 10은 본 발명의 일실시예에 있어서, 3개의 자모를 사용하여 다음에 나올 자모의 확률을 계산하는 예를 도시한 도면이다. 도 10에서 제1 점선박스(1010)는 n개의 자모(또는 문자열)을 이용하여 현재 나올 자모(또는 문자열)의 확률 값(키율)을 29개 키들 각각에 대해 계산한 예를 나타내고 있다. 또한, 도 10에서 제2 점선박스(1020)는 하고, 현재 입력된 자모(또는 문자열)를 중심으로 인접 자모(또는 문자열)의 확률 값만을 남기고 나머지 확률 값들은 0으로 변경한 후, 전체 합이 1이 되도록 현재 남아 있는 값의 평균으로 전체 데이터를 나누어 얻어진 현재 입력된 자모와 인접 자모들 각각의 확률값의 예를 나타내고 있다.
이처럼 본 발명의 실시예들에 따르면, 오타 보정에 데이터를 정규화하여 사용함에 따라 다양한 스마트폰의 가상 키보드 환경 및/또는 다양한 사용자에 대해서도 성능의 차이 없이 키보드 오타를 보정할 수 있다. 또한, 기 학습된 딥러닝 모델을 바로 적용하여 추가적인 데이터의 수집 없이 바로 키보드 오타의 보정에 활용할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 키보드 오타 정정 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계
    를 포함하고,
    상기 학습 데이터를 생성하는 단계는,
    상기 가상 키보드에 대해 정규화된 좌표에 대한 확률값을 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대해 계산하되, 상기 정규화된 좌표에 대응하는 키가 패널티를 갖도록 확률값을 계산하는 단계
    를 포함하는 것을 특징으로 하는 키보드 오타 정정 방법.
  2. 제1항에 있어서,
    상기 딥러닝 모델은 상기 학습 데이터에 포함된 이전 n(상기 n은 자연수) 개의 키 입력에 기초하여 다음 키 입력에 대한 확률값이 상기 가상 키보드에서 기 설정된 m(상기 m은 자연수)개의 키들 각각에 대해 도출하도록 학습되는 것을 특징으로 하는 키보드 오타 정정 방법.
  3. 제1항에 있어서,
    상기 학습 데이터를 생성하는 단계는,
    상기 가상 키보드에 대해 정규화된 좌표에 대한 확률값을 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대해 계산하는 단계
    를 포함하는 것을 특징으로 하는 키보드 오타 정정 방법.
  4. 삭제
  5. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 키보드 오타 정정 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계
    를 포함하고,
    상기 학습 데이터를 생성하는 단계는,
    상기 가상 키보드에 대해 정규화된 좌표를 보정한 보정된 좌표에 대한 확률값을 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대해 계산하는 단계
    를 포함하고,
    상기 보정된 좌표는 자음과 모음 각각에 대한 차이값의 평균값을 이용하여 보정되고,
    상기 차이값은 상기 사용자 입력에 의해 인식된 좌표와 상기 사용자 입력에 의해 인식된 키의 중심좌표간의 차이값을 포함하는 것을 특징으로 하는 키보드 오타 정정 방법.
  6. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 키보드 오타 정정 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계
    를 포함하고,
    상기 학습 데이터를 생성하는 단계는,
    k(상기 k는 자연수) 개의 구역으로 구분되는 키에 대해, k 개의 구역에 대응하는 k 개의 비트의 배열을 키 매트릭스로서 생성하되, 정규화된 좌표에 대응하는 구역의 비트를 '1'로 설정하고, 나머지 구역의 비트를 '0'으로 설정한 비트의 배열을 생성하는 단계
    를 포함하는 것을 특징으로 하는 키보드 오타 정정 방법.
  7. 제3항, 제5항 또는 제6항 중 어느 한 항에 있어서,
    상기 정규화된 좌표는 상기 사용자 입력을 통해 인식된 좌표를 상기 가상 키보드의 너비 및 높이에 기초하여 정규화한 좌표를 포함하는 것을 특징으로 하는 키보드 오타 정정 방법.
  8. 제1항에 있어서,
    상기 학습 데이터를 생성하는 단계는,
    상기 컴퓨터 장치가 포함하는 센서를 통해 출력되는 상기 컴퓨터 장치의 기울기 값을 정규화하는 단계
    를 포함하는 것을 특징으로 하는 키보드 오타 정정 방법.
  9. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 키보드 오타 정정 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계
    를 포함하고,
    상기 학습 데이터를 생성하는 단계는,
    하나의 인식된 문자열에 대해 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대한 비트를 포함하되, 상기 인식된 문자열에 대응하는 키에 대한 비트가 '1'로 설정되고, 나머지 비트들이 모두 '0'으로 설정되는 배열을 생성하는 단계
    를 포함하는 것을 특징으로 하는 키보드 오타 정정 방법.
  10. 제9항에 있어서,
    상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계는,
    현재 인식된 좌표에 대응하는 제1 키와 상기 제1 키의 인접 키들에 대해 계산된 확률값의 평균으로 전체 데이터를 나눈 값에 기초하여 현재 인식된 좌표에 대응하는 키를 결정하고, 제1 키와 상기 결정된 키를 비교하여 상기 문법적 오류 여부를 결정하거나 또는 상기 제1 키를 상기 키로 변경함으로써, 오타를 정정하는 것을 특징으로 하는 키보드 오타 정정 방법.
  11. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 키보드 오타 정정 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계
    를 포함하고,
    상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키는 단계는,
    복수의 딥러닝 모델에 상기 학습 데이터를 각각 입력하여 상기 복수의 딥러닝 모델 각각을 학습시키고,
    상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 단계는,
    상기 복수의 딥러닝 모델들 각각에서 출력되는 결과를 종합한 최종 결과를 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하는 것을 특징으로 하는 키보드 오타 정정 방법.
  12. 컴퓨터 장치와 결합되어 제1항 내지 제3항, 제5항, 제6항 또는 제8항 내지 제11 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  13. 제1항 내지 제3항, 제5항, 제6항 또는 제8항 내지 제11 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
  14. 컴퓨터 장치에 있어서,
    상기 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하고,
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하고,
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키고,
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하고,
    상기 가상 키보드에 대해 정규화된 좌표에 대한 확률값을 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대해 계산하되, 상기 정규화된 좌표에 대응하는 키가 패널티를 갖도록 확률값을 계산하는 것
    을 특징으로 하는 컴퓨터 장치.
  15. 제14항에 있어서,
    상기 딥러닝 모델은 상기 학습 데이터에 포함된 이전 n(상기 n은 자연수) 개의 키 입력에 기초하여 다음 키 입력에 대한 확률값이 상기 가상 키보드에서 기 설정된 m(상기 m은 자연수)개의 키들 각각에 대해 도출하도록 학습되는 것을 특징으로 하는 컴퓨터 장치.
  16. 제14항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 가상 키보드에 대해 정규화된 좌표에 대한 확률값을 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대해 계산하는 것
    을 특징으로 하는 컴퓨터 장치.
  17. 삭제
  18. 컴퓨터 장치에 있어서,
    상기 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하고,
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하고,
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키고,
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하고,
    상기 가상 키보드에 대해 정규화된 좌표를 보정한 보정된 좌표에 대한 확률값을 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대해 계산하고,
    상기 보정된 좌표는 자음과 모음 각각에 대한 차이값의 평균값을 이용하여 보정되고,
    상기 차이값은 상기 사용자 입력에 의해 인식된 좌표와 상기 사용자 입력에 의해 인식된 키의 중심좌표간의 차이값을 포함하는 것
    을 특징으로 하는 컴퓨터 장치.
  19. 컴퓨터 장치에 있어서,
    상기 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    가상 키보드에 대한 사용자 입력과 연관된 사용자 로그를 수집하고,
    상기 적어도 하나의 프로세서에 의해, 상기 수집된 사용자 로그를 가공하여 딥러닝 모델을 위한 학습 데이터를 생성하고,
    상기 적어도 하나의 프로세서에 의해, 상기 학습 데이터를 이용하여 딥러닝 모델을 학습시키고,
    상기 적어도 하나의 프로세서에 의해, 상기 학습된 딥러닝 모델을 이용하여 상기 사용자 입력에 따른 문법적 오류 여부를 결정하고,
    하나의 인식된 문자열에 대해 상기 가상 키보드에서 기설정된 m(상기 m은 자연수)개의 키들 각각에 대한 비트를 포함하되, 상기 인식된 문자열에 대응하는 키에 대한 비트가 '1'로 설정되고, 나머지 비트들이 모두 '0'으로 설정되는 배열을 생성하는 것
    을 특징으로 하는 컴퓨터 장치.
  20. 제19항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    현재 인식된 좌표에 대응하는 제1 키와 상기 제1 키의 인접 키들에 대해 계산된 확률값의 평균으로 전체 데이터를 나눈 값에 기초하여 현재 인식된 좌표에 대응하는 키를 결정하고, 제1 키와 상기 결정된 키를 비교하여 상기 문법적 오류 여부를 결정하거나 또는 상기 제1 키를 상기 키로 변경함으로써, 오타를 정정하는 것
    을 특징으로 하는 컴퓨터 장치.
KR1020180125571A 2018-10-19 2018-10-19 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템 KR102128415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180125571A KR102128415B1 (ko) 2018-10-19 2018-10-19 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180125571A KR102128415B1 (ko) 2018-10-19 2018-10-19 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077008A Division KR20200078454A (ko) 2020-06-24 2020-06-24 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200046192A KR20200046192A (ko) 2020-05-07
KR102128415B1 true KR102128415B1 (ko) 2020-06-30

Family

ID=70733089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180125571A KR102128415B1 (ko) 2018-10-19 2018-10-19 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102128415B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220151483A (ko) * 2021-05-06 2022-11-15 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US11899852B2 (en) 2021-05-06 2024-02-13 Samsung Electronics Co., Ltd. Electronic device and operation method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090281979A1 (en) * 2005-11-23 2009-11-12 Research In Motion Limited System and method for recognizing a keystroke in an electronic device
KR101858999B1 (ko) 2016-11-28 2018-05-17 (주)헤르메시스 가상 키보드의 입력 보정 장치, 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090281979A1 (en) * 2005-11-23 2009-11-12 Research In Motion Limited System and method for recognizing a keystroke in an electronic device
KR101858999B1 (ko) 2016-11-28 2018-05-17 (주)헤르메시스 가상 키보드의 입력 보정 장치, 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
네이버 AI로 키보드 오타 줄인다, 인터넷 기사, http://www.bloter.net/archives/318983 (2018.09.06.) 1부.*
사이코 고키 지음, 개앞맵시 옮김, 밑바닥부터 시작하는 딥러닝, 한빛미디어 (2017.01.03.) 1부.*

Also Published As

Publication number Publication date
KR20200046192A (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
CN105009064B (zh) 使用语言和空间模型的触摸键盘
US8812302B2 (en) Techniques for inserting diacritical marks to text input via a user device
US10372328B2 (en) Intelligent touchscreen keyboard with finger differentiation
CN101246410B (zh) 上下文或语境输入法和系统
AU2017408800B2 (en) Method and system of mining information, electronic device and readable storable medium
KR102326395B1 (ko) 다수의 객체 입력을 인식하기 위한 시스템 및 그 방법 및 제품
US20160364558A1 (en) User authentication via known text input cadence
CN105190489A (zh) 用于文本预测的语言模型词典
CN105160397A (zh) 训练精炼的机器学习模型
JP2011511370A (ja) ダイナミックソフトキーボード
CN104123012B (zh) 使用替代评分的非字典字符串的姿态键盘输入
US11409374B2 (en) Method and device for input prediction
CN104063063A (zh) 输入法的数学计算输入方法和输入法系统
CN116935169A (zh) 文生图模型训练方法以及文生图方法
EP3702953A1 (en) Electronic device for obfuscating and decoding data and method for controlling same
CN111488732B (zh) 一种变形关键词检测方法、系统及相关设备
KR102128415B1 (ko) 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템
JP6821751B2 (ja) 仮想キーボードの誤タイピングを補正するための方法、システム、およびコンピュータプログラム
WO2019092868A1 (ja) 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体
WO2019092867A1 (ja) 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体
CN111324277A (zh) 一种输入校验方法及装置
KR20200078454A (ko) 딥러닝 모델 기반 키보드 오타 보정 방법 및 시스템
CN111090341A (zh) 输入法候选结果展示方法、相关设备及可读存储介质
CN105683873A (zh) 容错输入法编辑器
KR101349967B1 (ko) 모바일 키보드 오타 패턴에 대한 검색어 제안 로직 개선 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant