KR20160061229A - 동적 터치 인식 시스템 및 이를 구현하는 방법 - Google Patents

Abstract

본 발명의 동적 터치 인식 시스템은 사용자에게 노출되는 버추얼 키보드 인터페이스와 상기 인터페이스에 대응하고, 사용자에 의해 실제 터치된 위치 정보를 생성하는 터치맵을 포함하고, 사용자의 터치 패턴에 따라 상기 키보드 인터페이스 및/또는 터치맵을 변화시킨다. 본 발명의 동적 터치 인식 시스템의 특징적인 점은 상기 터치맵의 특정 영역의 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 수단과 상기 수집된 위치 데이터를 기반으로 상기 특정 영역에 대한 "from 맵"을 작성하여 저장하는 수단을 포함하는데 있다. 본 발명에서는 향후 상기 특정 영역에 대한 터치가 이루어지면 상기 작성하여 저장된 "from 맵"을 터치맵으로 사용하여 추가 입력에 대한 인식이 이루어짐으로써 동적 터치 인식 시스템의 성능이 대폭 개선될 수 있다.

Description

동적 터치 인식 시스템 및 이를 구현하는 방법{DYNAMIC TOUCH RECOGNITION SYSTEM AND METHOD FOR IMPLEMENTING THE SAME}

본 발명은 동적 터치 인식 시스템 및 이를 구현하는 방법으로서, 보다 구체적으로는 사용자의 터치 패턴에 따라 터치 인식 시스템을 구성하는 키보드 인터페이스 및/또는 터치맵을 변화시키는 동적 터치 인식 및 이를 구현하는 방법에 관한 것이다.

본 발명의 배경이 되는 기술은 다음 특허문헌들에 개시되어 있다.

IBM의 미국 특허 제8,493,346 B2호(발명의 명칭: Morphing touchscreen keyboard interface)

IBM의 미국 특허출원공개 제2011/0310019A1호(발명의 명칭: Recofiguration of virtual keyboard)

IBM의 미국 특허출원공개 제2013/0019191A1호(발명의 명칭: Dynamically customizable touch screen keyboard for adapting to user physiology)

Thomson Licensing의 국제 특허공개 제2014083370A1호(발명의 명칭: Adaptive virtual keyboard)

이들은 모두 상술한 동적 터치 인식 시스템에 관한 것으로서, 터치 스크린의 터치를 위하여 사용되는 사용자의 손가락의 크기나 사용자의 터치 습관을 반영하여 터치 스크린 상의 버추얼 키보드 영역 및 그 모양을 변화시켜 오타를 줄이고자 하는 기술이다.

한편, 시장에 출시된 선행 제품으로서 다음의 것들이 있다.

Thumb keyboard: 본 제품은 사전에 기반하여 버추얼 키보드 영역을 변화시킨다. 예컨대 사용자가 "g"를 입력하면 다음 문자로서 "o"나 "r" 등이 빈번히 입력된다는 점을 사전의 추천단어를 통하여 분석하여, "o"나 "r"의 입력 영역을 확대하고, 다음 문자로서 가능성이 떨어지는 문자의 입력 영역을 축소하여 실시간 동적인 타이핑 영역을 매핑하는 기술을 채용하고 있다.

알키보드: 본 제품 역시 상기 Thumb keyboard와 유사하게, 사전에 기반한 분석을 통하여 다음에 입력될 가능성이 높은 문자 영역을 확대하여 오타를 줄이고자 하는 제품이다.

Dryft keyboard: 본 제품은 실제 시장에 상용제품으로서 출시되지는 않았으나, www.dryft.com에 제품의 개념이 제시되어 있다. 이 제품은 사용자가 버추얼 키보드의 특정 영역을 입력함에 있어서 특정 영역 내의 예컨대 왼쪽 상단을 지속적으로 터치하더라는 것을 장치가 감지하면, 전체 버추얼 키보드 영역이 실시간으로 왼쪽 상단으로 이동하여 사용자의 습관적인 입력을 돕는 개념의 제품이다.

이상 기술한 바와 같이, 사전 기반으로 입력 영역의 크기를 변화시키거나, 버추얼 키보드를 이동하는 기술은 이미 존재하고 있다.

그러나, 사전을 기반으로 하는 기술은 사전 데이터베이스의 질과 정확성에의 의존성이 높을 수밖에 없는 한계가 있다. 신조어/새롭게 사용되는 줄임말 등이 특히 모바일 입력 환경에서는 빈번히 사용되는 경향이 있는데, 이들이 지속적으로 사전에 업데이트되지 않는 이상 동적 변화의 성능이 불완전하다는 단점이 있다.

또한, 버추얼 키보드의 위치를 변화시키거나(Dryft) 그 크기를 실시간으로 변화시키는 것은(Thumb keyboard나 알키보드) 그 변화가 너무 빈번하게 사용자에게 인식되는 결과로 사용자에게 혼란을 줄 수 있고, 빠른 입력 시에 안정적인 성능을 보장하기 힘들다는 단점이 있다.

나아가, 1차원적으로, 즉 특정 영역의 입력 행태만을 분석하여 동적 키보드 맵핑에 반영하는 배경기술에 설명된 모든 기술들은 당해 특정 영역을 어떠한 환경에서 누르게 되었는지가 전혀 고려되지 않기 때문에 근본적으로 동적 키보드 맵핑의 성능이 만족스럽지 못하다. 예컨대, "a" 키를 누르는 환경을 고려해 보면, "a"키에 바로 인접한 "s"키를 누른 이후 "a"키를 누르게 되는 환경과 "a"키와 멀리 떨어진 "p"키를 누른 후 "a"키를 누르게 되는 환경이 전혀 다르다. 전자는 손가락의 구부림 정도를 조절하여 원하는 이동을 달성할 수 있는 반면, 후자는 손가락 자체를 횡방향 및 종방향으로 다소 멀리 이동해야만 원하는 이동을 달성할 수 있다.

본 발명이 해결하고자 하는 과제는 특정 영역의 입력 환경을 고려하지 않는 1차원적인 기존의 동적 터치 인식 시스템의 성능을 개선하는 것이다. 또한, 특정 영역의 입력 환경, 즉 문자의 입력 시퀀스(sequence)를 반영하는 동적인 터치맵을 활용함으로써, 오타를 줄이고 사용자의 입력을 편리하게 하는 동적 터치 인식 시스템 및 이를 구현하는 방법을 제공하는 것이다.

이하에서, 위 과제를 해결하기 위하여 본 발명이 채용하고 있는 특유의 기술수단에 대하여 설명한다.

먼저, 본 발명은 사용자에게 노출되는 버추얼 키보드 인터페이스와, 상기 인터페이스에 대응하고, 사용자에 의해 실제 터치된 위치 정보를 생성하는 터치맵을 포함하고, 사용자의 터치 패턴에 따라 상기 키보드 인터페이스 및/또는 터치맵을 변화시키는 동적 터치 인식 시스템을 기반으로 하고 있다.

여기에 추가하여 본 발명의 특징적인 기술수단은 상기 터치맵의 특정 영역의 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 수단과,상기 수집된 위치 데이터를 기반으로 상기 특정 영역에 대한 "from 맵"을 작성하여 저장하는 수단을 포함하고, 향후 상기 특정 영역에 대한 터치가 이루어지면 상기 작성하여 저장된 "from 맵"을 터치맵으로 사용하여 추가 입력을 인식한다는 것이다.

한편, 상기한 "from 맵"의 작성, 저장 및 터치맵으로의 사용에 있어서 한손 엄지 입력, 양손 엄지 입력 및 양손 복수 손가락 입력 모드를 포함하는 복수의 입력 모드를 구분하여 인식하도록 하는 수단을 포함할 수 있다. 또한, 상기 복수의 입력 모드의 구분 인식 수단은 사용자 설정에 의해 작동되거나 사용자의 터치 행태에 따라 자동으로 인식하는 수단을 포함할 수 있다.

상기 복수의 입력 모드 각각은 구체적인 실시예와 함께 후술하기로 한다. 또한, 터치 행태 분석에 의해 입력 모드를 자동 인식하는 구체적인 방식도 후술하기로 한다.

본 발명에 따른 동적 터치 인식 시스템은 사용자에게 보여지는 인터페이스에 상응하며 계층적으로 인터페이스 하부에 위치되어 실제로 터치를 감지하는 터치맵의 변화를 필연적으로 수반하는 것이지만, 사용자에게 보여지는 인터페이스는 선택적으로 터치맵의 변화에 상응하여 변경될 수 있다. 인터페이스의 변경 방법은 터치맵의 변경에 상응하는 어떠한 형태일 수도 있으며, 특히 터치맵에 대한 데이터가 축적되는 정도가 심화 될수록 인터페이스의 경계가 점진적으로 사라지는 형태의 구현을 포함할 수 있다.

또한, 본 발명에 따른 동적 터치 인식 시스템은 "from 맵"을 위한 데이터의 수집, "from 맵"의 작성/저장 및 사용에 국한되지 않고, 터치맵의 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 수단과, 상기 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 기반으로 상기 특정 영역에 대한 "to 맵"을 작성하여 저장하는 수단을 포함할 수 있다.

이와 같이, "to 맵"이 "from 맵"과 별도로 작성되어 저장되면 자동 수정에 있어서, 상기 "to 맵"이 상기 "from 맵"과 함께 사용되어 터치 인식의 정확성을 보다 향상시킬 수 있다.

본 발명은 상술한 바와 같은 동적 터치 인식 시스템을 제공하는 것뿐만 아니라, 이러한 동적 터치 인식 시스템의 구현을 위한 방법을 제공한다.

이러한 방법의 제공에 있어서, 본 발명은 사용자에게 노출되는 버추얼 키보드 인터페이스와, 상기 인터페이스에 대응하고, 사용자에 의해 실제 터치된 위치 정보를 생성하는 터치맵을 포함하고, 사용자의 터치 패턴에 따라 상기 키보드 인터페이스 및/또는 터치맵을 변화시키는 것을 기반으로 한다.

여기서 특징적인 점은, 동적 터치 인식 시스템 자체를 제공할 때와 마찬가지로, 상기 터치맵의 특정 영역의 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 단계와, 상기 수집된 위치 데이터를 기반으로 상기 특정 영역에 대한 "from 맵"을 작성하여 저장하는 단계와, 향후 상기 특정 영역에 대한 터치가 이루어지면 상기 작성하여 저장된 "from 맵"을 터치맵으로 사용하여 추가 입력을 인식하는 단계를 포함한다는 점이다.

본 발명에 따른 방법에 있어서도, "from 맵"의 작성, 저장 및 터치맵으로의 사용에 있어서 한손 엄지 입력, 양손 엄지 입력 및 양손 복수 손가락 입력 모드를 포함하는 복수의 입력 모드를 구분하여 인식하며, 상기 복수의 입력 모드의 구분 인식은 사용자 설정에 의해 작동되거나 사용자의 터치 행태에 따라 자동으로 행해질 수 있다.

또한, 본 발명에 따른 동적 터치 인식 시스템의 구현 방법에서는 물건으로서의 동적 터치 인식 시스템 관련하여 설명한 것과 동일하게, 버추얼 키보드 인터페이스가 "from 맵"의 변화에 상응하여 변화될 수 있으며, 그 변화에 대한 부분도 동일하게 적용될 수 있다.

본 발명에 따른 방법에서는 "from 맵"을 위한 데이터의 수집, "from 맵"의 작성/저장 및 사용하는 단계를 포함하는 것에만 머물지 않고, 터치맵의 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 단계와, 상기 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 기반으로 상기 특정 영역에 대한 "to 맵"을 작성하여 저장하는 단계 및 자동 수정에 있어서, 상기 "to 맵"을 상기 "from 맵"과 함께 사용하는 단계를 추가적으로 포함할 수 있다. 이로써, 상기 "to 맵"이 상기 "from 맵"과 함께 사용되어 터치 인식의 정확성을 보다 향상시킬 수 있다.

보다 구체적인 본원 발명에 따른 동적 터치 인식 시스템과 동적 터치 인식 시스템의 구현 방법에 대해서는 후속하는 구체적인 실시형태에서 보다 상세히 설명하기로 한다.

이상 설명된 사항 이외에도, 본 발명의 기술적 사상에 따라 다른 구성이 더 제공될 수도 있다.

사람들은 손이나 손가락의 크기, 사용자 개개인의 입력 습관 등에 따라 입력 행태에 많은 차이가 있다. 사용자가 실제 구획된 터치맵의 특정 영역을 입력하는데 있어서는 이와 같은 요인뿐만이 아니라 특정 영역이 어떠한 과정을 거쳐서 입력되고 있는지, 즉 문자의 입력 시퀀스(sequence)가 많은 영향을 미친다. 본 발명에 따르면, 특정 영역의 입력 과정 내지 환경을 고려하지 않는 1차원적인 기존의 동적 터치 인식 시스템의 성능을 개선할 수 있다. 특정 영역의 입력 환경, 즉 문자의 입력 시퀀스(sequence)를 반영하는 동적인 터치맵을 활용함으로써, 오타를 줄이고 사용자의 입력을 편리하게 하는 동적 터치 인식 시스템 및 이를 구현하는 방법을 제공할 수 있게 된다.

도1 내지 도3은 본 발명에 따른 여러 실시예들 중 제1 실시예인 한 손 엄지 입력의 경우를 도시하는 도면이다.
도4 내지 도7은 본 발명의 제2 실시예로서, 양손 엄지 입력의 경우를 도시하는 도면이다.
도8 내지 도10은 본 발명에 따른 "from 맵"의 작성 방법을 보다 구체적으로 설명하는 도면이다.
도11은 양손 엄지 손가락 입력 모드에서 "s"의 좌측 하단을 터치한 경우를 도시하는 도면이다.
도12는 도11을 벡터 보정한 결과를 도시하는 도면이다.
도13과 도14에는 사용자에게 피드백을 주기 위하여 터치맵의 변경에 따라 사용자에게 보여지는 인터페이스 자체도 상응하여 변경되는 것을 도시하는 도면이다.
도15는 각 키의 입력 영역을 표시하는 인터페이스로서의 경계선이 존재하지 않는 상태를 도시하는 도면이다.
도16과 도17은 "from 맵"과는 구별되는 "to 맵" 및 그 활용 방법에 대해서 설명하는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 방법은 본 발명의 정신 및 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 발명의 바람직한 실시예

도1 내지 도3은 본 발명에 따른 여러 실시예들 중 제1 실시예인 한 손 엄지 입력의 경우를 도시한다.

도1은 "o"키를 입력함에 있어서 이전 입력이 "s"일 경우 "o"키의 입력을 위하여 엄지 손가락의 이동 경로를 도시한다.

도2는 "o"키를 입력함에 있어서 이전 입력이 "j"일 경우 "o"키의 입력을 위하여 엄지 손가락의 이동 경로를 도시한다.

도1과 도2를 대비하여 보면, 동일한 "o"키를 입력함에 있어서, 이전 키 입력이 무엇이었냐에 따라 "o"키를 입력하는 환경이 달라짐을 알 수 있다. 즉, 도1에서와 같이 이전 입력 키와 현재 입력 키 사이의 거리가 버추얼 키보드 배치 상 멀 경우, 엄지 손가락 자체를 상당 부분 횡이동하여야 한다. 한편, 도2에서와 같이 이전 입력 키와 현재 입력 키 사이의 거리가 버추얼 키보드 배치 상 가까운 경우, 엄지 손가락의 구부림 정도 조절에 의하여 키 입력이 가능하다.

이와 같이, 키 입력을 위한 엄지 손가락의 변경 메커니즘에 따라, 즉 엄지 손가락을 횡이동 또는 수직이동 해야하는가, 단지 구부림 정도 조절에 의하여 키 입력이 가능한가, 아니면 횡 또는 수직 이동과 구부림 정도 조절을 소정 정도 혼합할 필요가 있는가에 따라 동일한 키 입력을 하더라도 이러한 키 입력을 위해 마련된 터치맵 상의 특정 영역의 다른 위치를 터치하는 경향이 있다는 점을 본 발명자는 발견하였다. 또한, 이러한 엄지 손가락 변경 메커니즘은 현재 입력 키의 직전 입력 키가 무엇인지에 영향을 받는다는 점을 본 발명자는 발견하였다.

이러한 점을 고려하여, 본 발명자는 터치맵 상의 특정 영역에 대한 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하였다. 이와 같이 수집된 데이터는 현재 키 입력이 어떠한 시퀀스에서 이루어지고 있는 지를 고려한 데이터로서 이루어진 당해 키 입력을 할 때 사용자가 터치맵 상 영역의 어느 위치를 자주 터치하는지만을 1차원적으로 고려한 종래기술에서는 전혀 고려하지 않은 데이터이다.

이러한 데이터는 터치 스크린을 포함하는 장치의 프로세서를 거쳐 저장 장치에 저장될 수 있다. 이러한 데이터를 기반으로 하여 장치는 특정 영역에 대한 "from 맵"을 작성하여 저장한다.

도3은 이러한 "from 맵"의 예제로서 "s"에 대한 "from 맵"을 예시적으로 도시한 것이다.

"s"에 대한 "from 맵"이란 "s" 영역의 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하여 통계처리함으로써, 사용자가 "s"영역을 터치 후 추가의 키 입력 시 실제로 어떠한 영역을 터치하는 경향이 높은지를 반영한 터치맵을 의미한다.

도3을 보면, "s"에서 가까운 "q", "w", "e" 등은 실제 기본 버추얼 키보드 상의 배치보다 약간 상방향으로 이동한 상태이고, "s"에서 먼 "i", "o", "p" 등은 실제 기본 버추얼 키보드 상의 배치보다 점진적으로 하방향으로 이동한 상태라는 점을 알 수 있다.

본 발명에 따르면, 도3과 같은 "from 맵"의 작성을 위한 데이터를 수집하고 있다가 미리 설정된 소정 정도 이상의 경향성이 달성된 경우, "from 맵"을 작성하여 저장하고, 특정 키의 입력 이전에 입력된 문자가 "s"인 경우 실시간으로 "s"에 상응하는 "from 맵"을 터치맵으로 활용하여 상기 특정 키의 입력을 인식함으로써 오타를 줄이고 사용자 편의성을 높일 수 있다.

알파벳 문자를 예로 들면, "a"에서 "z"까지 총 26개의 문자가 있다. 따라서, 상술한 바와 같은 "from 맵"은 알파벳 영역에 대해서는 총 26개가 작성되고 저장된다. 이러한 "from 맵"은 단지 문자 입력만을 위하여 작성되고 저장되는 것이 아니라 각종 기능키를 포함한 버추얼 키보드 상에 마련된 모든 키 입력 영역의 갯수만큼 작성되고 저장될 수 있음이 이해되어야 한다. 또한, 도3은 "from 맵"의 개념적인 도시이므로, 각 영역 사이의 경계가 직선으로 도시되었으나, 사용자 터치 위치를 반영한 실제 구현 "from 맵"은 직선적인 경계가 아닌 도8 또는 도9에 도시된 바와 같은 경계선 형태를 가질 수 있음이 이해되어야 한다.

도4 내지 도7은 본 발명의 제2 실시예로서, 양손 엄지 입력의 경우를 도시한다.

도4는 "r"키를 입력함에 있어서 이전 입력이 "a"일 경우 "r"키의 입력을 위하여 왼쪽 엄지 손가락의 이동 경로를 도시한다.

도5는 "r"키를 입력함에 있어서 이전 입력이 "c"일 경우 "r"키의 입력을 위하여 왼쪽 엄지 손가락의 이동 경로를 도시한다.

도4과 도5를 대비하여 보면, 동일한 "r"키를 입력함에 있어서, 이전 키 입력이 무엇이었냐에 따라 "r"키를 입력하는 환경이 달라짐을 알 수 있다. 즉, 도4에서와 같이 왼쪽 엄지 손가락이 횡이동과 수직이동을 소정 정도 함께하여야 하는 상황과 도5에서와 같이 왼쪽 엄지 손가락이 횡이동은 거의 없이 수직 이동을 더 많이 하어야 하는 상황의 차이로 인하여 최종 입력 목표인 "r"키에 배정된 터치맵 영역을 터치함에 있어서는 서로 다른 위치를 터치하게 되는 경향성이 있다.

한편, 도6은 양손 엄지 입력의 경우가 도1 내지 도3의 한손 엄지 입력의 경우와 다른 점을 도시한다. 양손 엄지 입력의 경우 두 개의 엄지 손가락이 각각 서로 다른 버추얼 키보드 상의 영역을 커버하게 되므로, 각각의 엄지 손가락 별로 독립적인 터치맵이 작성된다. 도6에서 흰색으로 표시된 좌측 영역은 왼쪽 엄지 손가락이 커버하는 영역이고, 짙은 색으로 표시된 우측 영역은 오른쪽 엄지 손가락이 커버하는 영역이다. 좌측과 우측의 엄지 손가락이 각각 커버하는 영역과 그 사이의 경계는 경우에 따라 명확하지 않을 수도 있는데, 이 경우 수집되는 데이터를 통계처리하여 소정의 임계값을 기준으로 장치가 임의로 분할할 수도 있고, 사용자가 자신이 파악한 습관에 따라 설정하도록 하는 것도 가능하다.

또한, 도6은 본 발명의 제2 실시예에 따른 양손 엄지 손가락 입력 모드에서 수집된 데이터를 기반으로 작성한 "s"에 대한 "from 맵"을 예시적으로 보여준다.

상술한 바와 같이, "s"에 대한 "from 맵"이란 "s" 영역의 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하여 통계처리함으로써, 사용자가 "s"영역을 터치 후 추가의 키 입력 시 실제로 어떠한 영역을 터치하는 경향이 높은지를 반영한 터치맵을 의미한다. 도6의 "s"에 대한 "from 맵"이 도3의 "s"에 대한 "from 맵"과 상이한 이유는 각각의 입력 모드가 양손 엄지 손가락 입력 모드와 한손 엄지 손가락 입력 모드로 서로 다르기 때문이다. 도6의 "from 맵"은 도3의 것과 달리 버추얼 키보드의 오른쪽에 짙은 색으로 표시된 영역은 전혀 변화가 없다는 점을 알 수 있다. 양손 엄지 입력의 경우 두 개의 엄지 손가락이 각각 서로 다른 버추얼 키보드 상의 영역을 커버하므로, "s"가 포함된 왼쪽 엄지 손가락 영역만 변화하고, "s"가 포함되지 않은 오른쪽 엄지 손가락 담당 영역은 "s"에 대한 "from 맵"에서는 전혀 변화가 없다.

반면, 도7은 본 발명의 제2 실시예에 따른 양손 엄지 손가락 입력 모드에서 수집된 데이터를 기반으로 작성한 "j"에 대한 "from 맵"을 예시적으로 도시한 것인데, 도6에서와는 달리 "j"가 포함된 오른쪽 엄지 손가락 영역만 변화하고, "j"가 포함되지 않은 왼쪽 엄지 손가락 담당 영역은 전혀 변화가 없음을 알 수 있다.

"from 맵"의 작성, 저장 및 터치맵으로의 사용에 있어서는 본 발명의 제1 실시예에 따른 한손 엄지 입력과 제2 실시예에 따른 양손 엄지 입력을 포함하는 복수의 입력 모드를 구분하여 인식하도록 하고 있다.

이러한 구분 인식은 사용자 설정에 의하도록 할 수 있다. 본 발명자의 연구에 따르면, 대부분의 사용자들은 어느 하나의 입력 모드를 대부분의 입력 환경에서 고정하여 사용하고, 이와 같은 습관은 하나의 장치(스마트폰 또는 태블릿 등)를 사용하는 내내 좀처럼 바뀌지 않는다. 따라서, 사용자가 자신이 선호하는 입력 모드를 선택하여 설정하면, 장치는 설정된 입력 모드를 기준으로만 "from 맵"을 작성하고 저장하여 이를 터치맵으로 사용할 수 있다.

사용자가 별도로 설정하지 않는 경우, 사용자의 터치 행태에 따라 자동으로 입력 모드를 인식하도록 하는 것도 물론 가능하다. 본 발명의 제1 실시예에 따른 한손 엄지 손가락 입력 모드와 제2 실시예에 따른 양손 엄지 손가락 입력 모드는 입력 패턴에 명확한 차이가 있다. 상술한 바와 같이, 양손 엄지 손가락 입력 모드는 버추얼 키보드를 양분한 각각의 영역이 상호 간에 영향을 미치지 않는 반면, 한손 엄지 손가락 입력 모드에서는 이러한 구분이 발생하지 않는다. 따라서, 장치는 사용자가 입력하는 패턴을 분석하여 사용되는 모드가 한손 엄지 손가락 입력 모드인지 양손 엄지 손가락 입력 모드인지 정확하게 인식할 수 있다.

이러한 사용자에 의한 입력 모드 설정 및 자동 패턴 인식에 의한 설정은 본 발명의 또 다른 실시예인 양손 복수 손가락 입력 모드(도시 생략)에 대해서도 완전히 동일한 방식으로 적용 가능하다.

양손 복수 손가락 입력 모드는 터치 스크린의 크기가 매우 커서 PC용 키보드를 사용할 때와 마찬가지로 양손의 열 손가락 모두를 버추얼 키보드 상에 위치시키고 타이핑하는 경우에 활성화된다. 일반적으로 스마트폰에서는 적용되지 않고, 소정 크기 이상의 터치 스크린(일반적으로 7인치 이상)을 포함하는 태블릿에 적용된다. 양손 복수 손가락 입력 모드에서는 양손 엄지 입력 모드에서와 마찬가지로 버추얼 키보드가 각 손이 담당하는 영역으로 양분되어 분할된 영역끼리는 서로 영향을 미치지 않는다. 각 손의 담당 영역으로 국한하여 보면, 다섯 개의 손가락이 각각 담당하는 영역이 정해진다는 점에서 한손 엄지 입력 모드와도 차별화된다.

이와 같이, 양손 복수 손가락 입력 모드에서는 서로 영향을 미치지 않는 영역의 수가 대폭 증가된다는 측면에서 다른 입력 모드들과 차별화되지만, "from 맵"의 작성을 위한 데이터 수집, 맵의 작성 및 사용의 본질적인 점에서는 다른 입력 모드들과 공통된다.

도8 내지 도10은 본 발명에 따른 "from 맵"의 작성 방법을 보다 구체적으로 설명하는 도면이다.

본 발명에서는 특정 영역의 입력을 위한 터치맵을 활성화시키는 데 있어서, 직전 입력한 문자가 무엇인가에 따라 서로 다른 터치맵을 활성화시키고, 이를 위해 버추얼 키보드 영역 상에 마련된 모든 입력 영역의 갯수만큼 "from 맵"을 마련한다는 점을 설명하였다. 도8 내지 도10은 맵 작성의 방법을 설명하기 위하여 본 명세서에 포함되었으나, 본 발명의 맵 작성 방법이 이에 한정되는 것은 아니다.

도8은 배경기술 부분에 설명한 US2013/0019191A1의 도4이며, 도9는 동일 특허출원 공개공보의 도5A 내지 도5C이다.

도8은 전체 버추얼 키보드의 동적 키보드 맵핑의 예시를 도시하고 있다. 도9는 도8에서 "B", "H", "N" 입력 영역을 확대하여 도시한 것이며, 구체적인 맵핑 영역의 보정 또는 조정 방법을 설명하고 있다.

도9의 가장 좌측 도면을 보면, 도면부호 62로 도시된 것이 입력 영역 "B"의 중앙 기준 선이다. 이와 같이 중앙 기준 선이 설정된 상태에서 입력 영역 "B"의 입력을 위한 터치가 도면부호 64로 도시된 바와 같이 우측 상단 영역에 이루어지면, 시스템은 이에 상응하여 중앙 기준 선을 상단으로 이동시키는 보정을 행하게 된다. 이 상태가 도9의 중앙 도면에 도시된다. 도면부호 62'로 도시된 것이 중앙 기준 선이 상단으로 이동되는 보정이 실행된 신규 중앙 기준 선이 된다. 이와 같이 중앙 기준 선이 이동되면, 입력 영역 "B"에 상응하는 터치맵 영역이 도9의 중앙 도면에 도시된 바와 같이 상단으로 확대된다. 이 상태에서 도9의 중앙 도면에 도면부호 70으로 지시된 바와 같이 재차 우측 상단 영역으로의 터치가 이루어지면, 도10의 가장 우측 도면에 도시된 바와 같이, 중앙 기준 선을 62''로 이동시키는 보정이 행해지며, 그 결과로 입력 영역 "B"에 상응하는 터치맵 영역은 보다 상단으로 확대되게 된다.

본 발명에 따른 터치맵 영역의 보정 또는 조정은 도8과 도9에 도시된 방법과 동일하게 이루어질 수 있다.

도10은 키 입력의 시퀀스(sequence)를 고려하는 본 발명 특유의 방법에 있어서의 터치맵 영역의 보정 또는 조정 방법을 추가적으로 도시하는 도면이다.

도10의 좌측 도면은 "r"키를 입력함에 있어서 그 이전 입력 키가 "a"인 경우를 도시한다.

"a"키에서 "r"키로의 이동이 총 2회 이루어졌다고 가정할 때, 1회차의 이동 입력은 "a"키의 우측 하단으로부터 "r"키의 중앙 상단으로 이루어졌고, 2회차의 이동 입력은 "a"키의 좌측 상단으로부터 "r"키의 중앙 하단으로 이루어졌다.

이러한 상태에서 "a" 입력 영역에 대한 "from 맵"을 작성하는데 있어서는 "a" 입력의 중심점을 기준으로 삼는다. 이를 위해 도10의 좌측 도면의 이동 입력 벡터를 "a" 입력 영역의 중심점으로 이동한다. 그 결과가 도10의 우측 도면에 도시된다. 도10의 우측 도면에 도시된 바와 같은 형태로 특정 영역의 "from 맵"의 작성에 있어서는 당해 특정 영역의 중심점으로 벡터 이동한 data를 수집하여 저장할 수 있다.

도8과 도9에 도시된 기존의 터치맵 조정 방식을 기반으로 도10에 도시된 바와 같은 본원 발명 특유의 시퀀스(sequence)를 고려한 벡터 보정을 실행함으로써 특정 영역에 대한 "from 맵"을 마련하였다. 이와 같이 마련된 "from 맵"은 버추얼 키보드 상에 존재하는 모드 키 입력 영역의 갯수 만큼 존재한다.

이러한 "from 맵"은 버추얼 키보드 상의 특정 영역을 터치하였을 때, 그 직후 터치되는 영역의 확률적 터치 분포를 표시한다. 그런데, 상기 특정 영역의 어느 부분을 터치하느냐에 따라 그 직후 터치되는 영역의 확률적 터치 분포 정보를 담고 있는 "from 맵"의 벡터 이동 필요성이 존재하게 된다. 만일 특정 영역의 정 중앙을 터치한 경우(도11의 실시예에서는 양손 엄지 손가락 입력 모드에서 "s"의 정중앙을 터치한 경우), 이에 상응하는 "from 맵"은 도10과 관련하여 설명한 바와 같이, 특정 영역의 정중앙 터치를 기준으로 하여 직후 터치 영역의 확률적 터치 분포를 나타내는 것이므로, "from 맵"을 벡터 이동할 필요가 없다. 그러나, 특정 영역에서 정중앙을 벗어난 터치를 행한 경우(도11의 실시예에서는 양손 엄지 손가락 입력 모드에서 "s"의 좌측 하단을 터치한 경우), 이에 상응하는 "from 맵"은 정중앙에서 벗어난 만큼 벡터 보정 이동을 하여 적용됨이 바람직하다. 이와 같은 벡터 보정 이동을 한 결과가 도12에 도시된다. 도12를 보면, 점선으로 표시된 "s"의 정중앙 입력 기준 "from 맵"이 좌측 하단으로 벡터 이동하여 실선으로 도시되어 있음을 알 수 있다.

이제까지는 터치맵의 맵핑 방식에 대하여 설명하였다. 이러한 터치맵의 맵핑과 사용자에게 보여지는 인터페이스로서의 버추얼 키보드 디자인 영역은 구분된다. 터치맵의 맵핑이 조정 또는 보정되어 변경되더라도, 그 보정된 영역이 버추얼 키보드 인터페이스의 입력 영역을 크게 벗어나지 않는 한 사용자에게 보여지는 버추얼 키보드 인터페이스는 변경되지 않도록 실행하는 것도 가능하다. 사용자에게 보여지는 인터페이스가 빈번히 변경되는 경우 사용자에게 혼란을 줄 가능성도 있기에 이러한 실행 형태는 경우에 따라 바람직할 수도 있다.

다만, 도13과 도14에는 사용자에게 피드백을 주기 위하여 터치맵의 변경에 따라 사용자에게 보여지는 인터페이스 자체도 상응하여 변경되는 것을 도시하고 있다.

도13과 도14 모두 양손 엄지 입력의 경우를 도시한다. 도13은 왼쪽 엄지를 사용한 입력 직후, 예컨대 "s"의 입력 직후, "s"에 상응하는 "from 맵"이 상술한 벡터 보정을 거쳐 활성화된 상태에서 이에 상응하게 인터페이스가 변경되어 표시된 것을 도시한다. 도14는 오른쪽 엄지를 사용한 입력 직후, 예컨대 "j"의 입력 직후, "j"에 상응하는 "from 맵"이 상술한 벡터 보정을 거쳐 활성화된 상태에서 이에 상응하게 인터페이스가 변경되어 표시된 것을 도시한다.

도13 및 도14와 마찬가지로 도15 역시 사용자에게 보여지는 인터페이스를 도시한 것인데, 도15에서는 각 키의 입력 영역을 표시하는 인터페이스로서의 경계선이 존재하지 않는다. 도15의 상태와 같은 인터페이스는 "from 맵"의 작성을 위한 타이핑 데이터가 충분히 쌓여서 버추얼 키보드 상에 존재하는 모든 키 입력 영역의 갯수만큼 "from 맵"이 작성된 것을 전제로 실행될 수 있다.

인터페이스의 경계가 사라졌다는 것은 장치가 사용자의 입력 시퀀스를 고려한 터치 행태의 커스터마이징을 소정 정도 이상 완료하여 굳이 경계선이 존재하지 않더라도 키 입력 인식의 오류 가능성을 시스템이 매우 낮게 평가하고 있는 상태라는 것을 의미한다. 이와 같은 경계가 사라지는 인터페이스는 점진적으로 실행되는 것도 가능하다. 즉, 뚜렷한 경계가 존재하는 상태와 경계가 완전히 사라진 상태를 소정 단계로 나누어 데이터 축적 정도에 따라 장치가 자동으로 단계를 판단하여 사용자에게 피드백을 줄 수 있다. 가장 뚜렷한 경계가 존재하는 단계가 5단계라 가정하고, 경계가 완전히 사라진 단계를 1단계라 가정하면, 예컨대 3단계까지 내려왔다가 그 상태에서의 터치맵을 사용하였을 때 입력 오류가 발생하는 빈도가 높아지면, 즉, 사용자가 백스페이스 등의 삭제 기능 키를 사용하여 입력을 수정하는 경우가 소정 횟수 이상 발생하면, 단계를 다시 상항 조정하여 4단계 내지 5단계까지 높이는 것도 가능하다.

도16과 도17은 이제까지 설명한 "from 맵"과는 구별되는 "to 맵" 및 그 활용 방법에 대해서 설명하기 위한 도면이다.

이상 설명한 바와 같이, "from 맵"이란 터치맵의 특정 영역에 대한 터치가 이루어진 직후 추가 입력 영역의 실제 터치된 위치 데이터를 수집함으로써 작성되는 것이다.

반면, "to 맵"은 터치맵의 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집함으로써 작성된다.

도16은 이러한 "to 맵"의 작성 방법을 도시하는 것으로서, 도10의 "from 맵"의 작성 방법과 대비하여 보면, 그 차이를 명확히 알 수 있다.

"from 맵"은 터치맵의 특정 영역의 터치 직후 사용자의 터치 행태를 분석하기 위한 것으로서, 입력 시퀀스(sequence)에서 이전 영역을 기준으로 맵핑을 하는 것이었다면, "to 맵"은 터치앱의 특정 영역의 터치 직전 사용자의 터치 행태를 분석하기 위한 것으로서, 입력 시퀀스(sequence)에서 후속하는 영역을 기준으로 맵핑을 하는 것이다. 따라서, 도16에 도시된 "a"에서 "r"로의 입력 이동 벡터에서 기준으로 삼아야 하는 것은 "r"이며, 이러한 "r"을 기준으로 "to 맵"이 작성된다. 도10에서와 마찬가지로, 기준이 되는 "r"의 중심점으로 벡터 이동을 하여 이전 터치 영역의 데이터를 수집하게 된다. 도16의 우측 도면이 벡터 이동한 상태를 도시한다.

도17은 이와 같은 방식으로 데이터를 수집하여 작성하고 저장한 "to 맵"의 활용 방법이 자동 수정과 관련하여 도시된다.

예컨대, 사용자가 "average"란 단어를 입력할 의도로 첫 글자인 "a"를 입력한 상태이다. 그 상태에서 둥근 점으로 표시된 영역을 터치하였다.

도17에서 속이 찬 좌우측 사각형은 각각 "a"의 "from 맵" 중 "c"의 영역과 "v"의 영역이다.

도17에서 속이 빈 좌우측 사각형은 각각 "e"의 "to 맵" 중 "c"의 영역과 "v"의 영역이다.

둥근 점 영역을 터치한 상황에서는, 이 둥근 점이 "a"의 입력에 이어서 입력되었으므로, "a"의 "from 맵"이 활성화되고, "a"의 "from 맵"상에서 "c"의 영역에 속하기 때문에, 장치는 "c"의 입력을 인식한다. 이제 입력은 "ac"가 되었다.

그런데, 그 다음 입력된 문자가 "e"이다. 이제 입력된 상태는 "ace"가 되었는데, "e"에 대해서는 "to 맵"이 존재한다. 그리고, "e"의 "to 맵"상으로 터치된 둥근 점은 속이 빈 우측 사각형 영역, 즉 "v"의 영역에 속하게 된다.

본 발명에 따른 동적 터치 인식 시스템에 존재하는 복수의 터치맵들이 서로 다른 입력 인식 결과를 나타내는 상황이다. 보다 구체적으로 일정한 단어의 입력 시퀀스(sequence) 상에서 "from 맵"과 "to 맵"이 경합하는 상황이 발생한 것이다.

이러한 경합 상황에 대해서 시스템은 히스토리 누적을 통하여 어떠한 맵을 우선하여 적용할 것인지를 결정한다. 만일, 시스템이 해당 터치 포인트에 대해서 "a"의 "from 맵"을 사용하여 최종 인식하여 입력된 경우보다 "e"의 "to 맵"을 사용하여 최종 인식한 경우가 확률적으로 더 가능성이 높다고 판단하면, 본 발명에 따른 동적 터치 인식 시스템은 "a"의 "from 맵"을 통하여 "c"의 입력으로 인식된 입력을 "e"의 "to 맵"을 통하여 "v"의 입력으로 인식되도록 수정하여 줄 수 있고, 그 결과 "ace"까지의 입력이 인식된 상태에서 "ave"로 자동 수정이 이루어지는 입력 형태의 구현이 가능하다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

1. 사용자에게 노출되는 버추얼 키보드 인터페이스와,
   상기 인터페이스에 대응하고, 사용자에 의해 실제 터치된 위치 정보를 생성하는 터치맵을 포함하고,
   사용자의 터치 패턴에 따라 상기 키보드 인터페이스 및/또는 터치맵을 변화시키는 동적 터치 인식 시스템에 있어서,
   상기 터치맵의 특정 영역의 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 수단과,
   상기 수집된 위치 데이터를 기반으로 상기 특정 영역에 대한 "from 맵"을 작성하여 저장하는 수단을 포함하고,
   향후 상기 특정 영역에 대한 터치가 이루어지면 상기 작성하여 저장된 "from 맵"을 터치맵으로 사용하여 추가 입력을 인식하는 것을 특징으로 하는 동적 터치 인식 시스템.
2. 제1항에 있어서, 상기 "from 맵"의 작성, 저장 및 터치맵으로의 사용에 있어서 한손 엄지 입력, 양손 엄지 입력 및 양손 복수 손가락 입력 모드를 포함하는 복수의 입력 모드를 구분하여 인식하도록 하는 수단을 포함하는 것을 특징으로 하는 동적 터치 인식 시스템.
3. 제2항에 있어서, 상기 복수의 입력 모드의 구분 인식 수단은 사용자 설정에 의해 작동되거나 사용자의 터치 행태에 따라 자동으로 인식하는 수단을 포함하는 것을 특징으로 하는 동적 터치 인식 시스템.
4. 제1항 또는 제2항에 있어서, 상기 버추얼 키보드 인터페이스는 상기 "from 맵"의 변화에 상응하여 변화되는 것을 특징으로 하는 동적 터치 인식 시스템.
5. 제1항 또는 제2항에 있어서, 상기 터치맵의 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 수단과,
   상기 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 기반으로 상기 특정 영역에 대한 "to 맵"을 작성하여 저장하는 수단을 포함하고,
   자동 수정에 있어서, 상기 "to 맵"을 상기 "from 맵"과 함께 사용하는 것을 특징으로 하는 동적 터치 인식 시스템.
6. 사용자에게 노출되는 버추얼 키보드 인터페이스와,
   상기 인터페이스에 대응하고, 사용자에 의해 실제 터치된 위치 정보를 생성하는 터치맵을 포함하고,
   사용자의 터치 패턴에 따라 상기 키보드 인터페이스 및/또는 터치맵을 변화시키는 동적 터치 인식 시스템을 구현하는 방법에 있어서,
   상기 터치맵의 특정 영역의 터치 직후 이루어진 추가 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 단계와,
   상기 수집된 위치 데이터를 기반으로 상기 특정 영역에 대한 "from 맵"을 작성하여 저장하는 단계와,
   향후 상기 특정 영역에 대한 터치가 이루어지면 상기 작성하여 저장된 "from 맵"을 터치맵으로 사용하여 추가 입력을 인식하는 단계를 포함하는 것을 특징으로 하는 동적 터치 인식 시스템의 구현 방법.
7. 제6항에 있어서, 상기 "from 맵"의 작성, 저장 및 터치맵으로의 사용에 있어서 한손 엄지 입력, 양손 엄지 입력 및 양손 복수 손가락 입력 모드를 포함하는 복수의 입력 모드를 구분하여 인식하는 것을 특징으로 하는 동적 터치 인식 시스템의 구현 방법.
8. 제7항에 있어서, 상기 복수의 입력 모드의 구분 인식은 사용자 설정에 의해 작동되거나 사용자의 터치 행태에 따라 자동으로 행해지는 것을 특징으로 하는 터치 인식 시스템.
9. 제6항 또는 제7항에 있어서, 상기 버추얼 키보드 인터페이스는 상기 "from 맵"의 변화에 상응하여 변화되는 것을 특징으로 하는 동적 터치 인식 시스템의 구현 방법.
10. 제6항 또는 제7항에 있어서, 상기 터치맵의 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 수집하는 단계와,
    상기 특정 영역의 터치 직전 이루어진 입력의 터치 맵 상의 실제 터치된 위치 데이터를 기반으로 상기 특정 영역에 대한 "to 맵"을 작성하여 저장하는 단계와,
    자동 수정에 있어서, 상기 "to 맵"을 상기 "from 맵"과 함께 사용하는 단계를 포함하는 것을 특징으로 하는 동적 터치 인식 시스템의 구현 방법.

Images