KR101760526B1 - 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법 - Google Patents

Abstract

본 발명은 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법에 관한 것이다. 가속도 센서를 이용한 기존의 터치 세기 측정 방법은, 화면을 터치한 위치에 따라 휴대기기가 움직이는 정도가 다르며 또한 가속도 센서가 위치한 곳과 흔들림의 중심과의 거리에 따라 가속도 센서에 검출되는 가속도 값이 달라질 수 있기 때문에 동일한 세기로 화면을 터치하더라도 추정된 터치 세기가 상이할 수 있다. 따라서, 본 발명에서는 이를 해결하기 위하여 위치에 따라 유사한 세기의 터치에도 가속도 값이 다르게 나타나는 현상을 보정하는 모델을 학습하는 방법과, 이를 이용하여 터치 세기 추정을 효과적으로 하는 방법을 제시한다.

Description

가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법{METHOD FOR ESTIMATTING TOUCH PRESSURE OF MOBILE DEVICE USING ACCELERATION SENSOR}

본 발명은 휴대기기에 관한 것으로, 보다 상세하게는 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법에 관한 것이다.

아직 힘을 감지하는 터치스크린을 탑재한 휴대기기에서 대중화가 되지 않은 상황에서, 기존 휴대기기에 내장된 가속도센서를 활용하여 화면을 두드리는 힘을 추정하고자 하는 시도가 이루어지고 있으며, 그 일례로 애플(Apple)사의 아이패드(iPad)용 애플리케이션인 GarageBand 가 있다.

또한 내장 가속도 센서를 이용하여 휴대 기기 터치스크린에서의 터치 세기를 추정하는 방법이 특허로 출원된 바 있다(출원번호: 10-2010-0122254).

또한, Hinckley & Song (2011)은 논문에서 가속도 센서 데이터와 터치스크린 입력을 함께 사용하여 기존보다 다양한 입력을 가능하게 하는 여러 가지 방법을 제안하였으며, 이 중에는 가속도 센서를 이용하여 화면을 터치하는 힘을 추정하고 이 힘에 기반하여 동일한 위치에서의 터치스크린 입력을 다양하게 처리하는 방법 또한 포함되어 있다.

또한, 터치스크린 외에도 랩탑 컴퓨터에 내장된 가속도 센서를 이용하여 키보드의 키를 입력하는 힘을 추정하는 연구 또한 Ken Iwasaki et al.(2009)에 의하여 발표된 바 있다. 하지만 위와 같은 방법들은 실제 힘을 측정하는 것이 아니라 가속도 센서 값에 기반하여 추정하는 방식으로, 사용자가 어느 부분을 터치하는가에 따라 동일한 힘으로 조작함에도 불구하고 가속도 값이 상이하게 나오는 문제가 존재할 수 있다.

대한한국특허출원번호 10-2010-0122254(내장 가속도 센서를 이용한 휴대 기기 터치스크린에서의 터치 세기 추정 방법, 2010. 12. 02.)

Ken Hinckley and Hyunyoung Song. 2011. Sensor synaesthesia: touch in motion, and motion in touch. In　Proceedings of the 2011 annual conference on Human factors in computing systems(CHI '11). ACM, New York, NY, USA, 801-810. Ken Iwasaki, Takashi Miyaki, and Jun Rekimoto. 2009. Expressive typing: a new way to sense typing pressure and its applications. In　Proceedings of the 27th international conference extended abstracts on Human factors in computing systems　(CHI EA '09). ACM, New York, NY, USA, 4369-4374.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 터치스크린의 터치 위치를 기준으로 격자형태로 영역을 나누고, 사용자 입력을 받아 각 영역별로 다른 전달 함수를 생성한 후 사용자가 화면을 터치하면, 터치된 지점이 속한 영역의 전달 함수를 이용하여 터치한 세기를 추정하여 보정하도록 한 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 일실시예에 따른 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정방법의 특징은, 터치스크린의 터치 위치를 기준으로 격자형태로 영역을 나누고, 사용자 입력을 받아 각 영역별로 다른 전달 함수를 생성한 후 사용자가 화면을 터치하면, 터치된 지점이 속한 영역의 전달 함수를 이용하여 터치한 힘을 추정하여 보정 하도록 하는 데 있다.

이상에서 설명한 바와 같이 본 발명에 따른 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법은 터치스크린의 터치 위치를 기준으로 격자형태로 영역을 나누고, 사용자 입력을 받아 각 영역별로 다른 전달 함수를 생성한 후 사용자가 화면을 터치하면, 터치된 지점이 속한 영역의 전달 함수를 이용하여 터치한 힘을 추정함으로써 영역별로 터치 힘이 고르게 인식되면 현재에 비해 더욱 신뢰성 있게 사용될 수 있는 효과가 있다.

도 1은 본 발명이 적용되는 가속도 센서와 터치스크린을 포함하는 휴대기기와 가속도 센서에서 검출하는 가속도의 축을 나타낸 도면
도 2는 본 발명이 적용되는 가속도 센서를 이용하여 터치 세기를 추정할 때 발생할 수 있는 문제점을 설명하기 위한 도면
도 3은 본 발명이 적용되는 가속도 신호를 이용하여 터치 세기를 추정하는 방법을 설명하기 위한 도면
도 4는 본 발명의 일실시예에 따른 위치에 따라 달라지는 가속도 값을 보정하는 모델을 생성하는 화면을 설명하기 위한 도면
도 5는 본 발명의 일실시예에 따라 실제로 사용자 실험을 통하여 얻은 위치에 따라 다르게 나타나는 가속도 값을 나타낸 도면
도 6은 본 발명의 일실시예에 따른 위치에 따라 달라지는 가속도 값을 보정하는 모델을 생성하는 방법을 설명하기 위한 도면
도 7은 본 발명의 일실시예에 따른 위치에 따라 달라지는 가속도 값을 보정하는 모델을 생성하는 과정을 순차적으로 표현한 플로우 차트
도 8은 본 발명의 일실시예에 따른 애플리케이션에서 가속도 보정 모델을 사용하는 과정을 순차적으로 표현한 플로우 차트

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명에 따른 가속도 센서를 이용한 휴대기기에서의 터치스크린 조작 방법의 기술적 사상에 대하여 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략하기로 한다.

본 발명이 적용되는 휴대기기는 일반적으로 터치스크린과, 디스플레이부와, 가속도센서와, 제어부 등등으로 구성되며, 이러한 기술적 구성은 공지의 기술이므로 이에 대한 설명을 생략하기로 한다.

아울러 본 발명에 따른 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법은 휴대기기의 제어부에서 사용자의 터치스크린 터치에 따른 가속도센서의 가속도값을 입력받아 수행하는 것을 전제로 한다.

도 1은 일반적인 가속도 센서와 터치스크린을 포함하는 휴대기기와 가속도 센서에서 검출하는 가속도의 축을 나타낸 도면이다. 도시된 바와 같이, 터치스크린(101)과 가속도 센서를 포함하는 휴대기기(100)는 화면의 면과 수평 방향이며 각각 기기의 짧은 축과 긴 축을 따르는 X, Y 축(102, 103)과 화면의 면과 수직한 방향의 Z 축(104) 방향의 가속도를 측정할 수 있어야 한다.

도 2는 일반적인 가속도 센서를 이용하여 터치 세기를 추정할 때 발생할 수 있는 문제점을 설명하기 위한 도면이다. 도시된 바와 같이, 휴대기기(100)를 손에 쥐고 조작할 때, 휴대기기 내부에 장착된 가속도 센서(201)가 휴대기기의 움직임을 측정할 수 있다. 이때, 터치스크린(101)을 조작하는 손가락(200) 이 화면을 터치하는 위치에 따라 가속도 센서(201)에서 검출한 가속도의 크기가 달라질 수 있다. 예를 들어, 동일한 세기로 화면을 터치하더라도 가속도 센서(201)와 인접한 위치에서 터치를 하게 되면 가속도 센서(201)가 Z 축(104) 방향으로 크게 움직일 수 있으나, 가속도 센서(201)에서 먼 위치에서 터치를 하고, 휴대기기(100)가 가속도 센서(201)와 인접한 부분을 중심으로 진동하게 되면 가속도 센서(201)에서 측정된 Z 축(104) 방향의 가속도는 적게 나타날 수 있다.

도 3은 일반적인 가속도 신호를 이용하여 터치 세기를 추정하는 방법을 설명하기 위한 도면이다. 도시된 바와 같이, 터치스크린(101)을 터치할 때, 화면을 터치한 힘에 의하여 휴대기기(100)가 흔들리게 된다. 이 흔들림은 휴대기기(100) 내부에 내장된 가속도 센서(201)에서 가속도의 변화로써 검출될 수 있다. 터치스크린(101)과 가속도 센서(201)를 탑재한 휴대기기(100)에서 화면을 터치하였을 때 발생하는 터치 이벤트를 기준으로 Z 축(104) 방향의 가속도를 검출하는 방법을 이용하여 터치 세기를 추정할 수 있다. 이때, 터치스크린(101)의 하드웨어적 특성에 따라 터치 이벤트가 실제로 화면을 터치한 순간보다 늦게 발생할 수 있으므로, 터치 이벤트 이전 20ms 부터 이후 20ms 사이의 Z 축(104) 방향 가속도를 모두 측정함으로써 화면을 터치한 힘을 추정할 수 있다.

도 4는 본 발명에 따른 가속도 센서를 이용한 휴대기기에서의 터치 세기 추정 방법의 일실시예에 따른 위치에 따라 달라지는 가속도 값을 보정하는 모델을 생성하는 화면을 설명하기 위한 도면이다. 도시된 바와 같이, 휴대기기(100)를 잡는 자세, 혹은 휴대기기(100) 내부의 가속도 센서의 위치 등에 따라 각 위치별로 화면을 터치하였을 때 검출되는 가속도 센서의 값이 달라질 수 있으므로 각 위치에서 동일한 힘으로 화면을 터치할 때 가속도 값이 위치별로 어떻게 달라지는지를 학습할 필요가 있다.
도 4에서는 화면을 터치한 위치별로 달라지는 가속도 값을 학습하기 위한 애플리케이션 인터페이스를 나타낸다. 화면에 격자형으로 버튼을 배치하고, 각각의 버튼 위치에서 화면을 가볍게 그리고 강하게 터치하도록 한다. 이때, 모든 영역을 빠짐없이 학습하기 위하여 현재 가속도 값을 학습해야 하는 영역의 버튼(301)의 색을 변화시켜 그 영역의 학습을 수행할 수 있도록 한다.

도 5는 본 발명의 일실시예에 따라 실제로 사용자 실험을 통하여 얻은 화면을 터치한 위치에 따라 다르게 나타나는 가속도 값을 나타낸 도면이다.
도시된 바와 같이, 동일한 힘으로 터치를 하였을 때, 밝은 색의 영역이 가속도 값이 크게 나온 영역이며, 어두운 색의 영역이 가속도 값이 작게 나온 영역이다. 이러한 결과가 발생한 원인은 가속도 센서(201)의 배치, 휴대기기(100)를 잡은 손의 자세, 기타 인체공학적 요인 등 여러 가지가 있을 수 있다.

도 6은 본 발명의 일실시예에 따른 화면을 터치한 위치에 따라 달라지는 가속도 값을 보정하는 모델을 생성하는 방법을 설명하기 위한 도면이다. 도 5에서 확인한 바와 같이 동일한 힘으로 화면을 터치하였을 때 가속도 센서의 값이 화면을 터치한 영역에 따라 다르게 발생하며 이를 보정하기 위한 모델이 필요하다. 도 4에서 영역별로 가벼운 터치 및 강한 터치에 대한 가속도 값을 저장하였고, 이 저장된 가속도 값을 각각 a1, a2라고 하자. 그렇다면 이후 가속도 값 A가 주어졌을 때 추정된 힘(F)을 구하기 위한 전달 함수는 다음과 같이 수학식 1에 의해 생성할 수 있다.

도 7은 본 발명의 일실시예에 따른 화면을 터치한 위치에 따라 달라지는 가속도 값을 보정하는 모델을 생성하는 과정을 순차적으로 표현한 플로우 차트이다.
도 7에 도시된 바와 같이, 가속도 값 보정 모델을 생성하기 위하여 먼저, 화면에 격자 형태로 버튼을 표시하고(S701), 사용자가 화면을 가볍게 터치하도록 "가볍게 터치하세요"라는 안내 메시지를 표시한다(S702).
그 후 버튼들 중 아직 학습을 수행하지 않은 영역에 위치한 버튼 하나에 색상을 표시하여 사용자가 그 버튼 영역을 터치할 수 있도록 한(S703) 다음 가속도 값을 취득한다(S704). 이때 가속도 값은 중력의 영향을 줄이기 위하여 고역 필터를 적용하여 사용한다(S705).
이후 계속해서 가속도 값을 취득하다가 터치 이벤트가 발생(S706)하게 되면 터치 이벤트 발생 이전 20ms부터 이후 20ms까지의 가속도 센서 값을 관찰하여 그 중 최대값을 저장한다(S707).
이후 모든 버튼 영역에 대하여 이 과정을 반복하며(S708), 더 이상 학습이 완료되지 않은 영역이 없을 때 사용자가 힘을 주어 화면을 터치하도록 "힘을 주어 화면을 터치하세요"라는 안내 메시지를 표시한(S709).
이후 전술한 가볍게 화면을 터치하는 학습과정과 동일한 과정(S703~S708)으로 강한 터치에 대하여 가속도 값을 저장한다.
즉, S709 단계 후에 버튼들 중 아직 학습을 수행하지 않은 영역에 위치한 버튼 하나에 색상을 표시하여 사용자가 그 버튼 영역을 터치할 수 있도록 한다(S710). 이후 가속도 값을 취득한다(S711). 이때 가속도 값은 중력의 영향을 줄이기 위하여 고역 필터를 적용하여 사용한다(S712).
이후 계속해서 가속도 값을 취득하다가 터치 이벤트가 발생(S713)되면 터치 이벤트 발생 이전 20ms부터 이후 20ms까지의 가속도 센서 값을 관찰하여 그 중 최대값을 저장한다(S714).
이후 모든 버튼 영역에 대하여 이 과정을 반복하며, 모든 버튼 영역의 학습이 완료되면(S715), 각 영역별로 약한 터치에 의한 가속도 값을 a1, 강한 터치에 의한 가속도 값을 a2로 하는 전달함수를 생성하여 저장한다(S716).

도 8은 본 발명의 일실시예에 따른 애플리케이션에서 가속도 보정 모델을 사용하는 과정을 순차적으로 표현한 플로우 차트이다.
도 8에 도시된 바와 같이, 계속해서 가속도 값을 취득하고 고역 필터를 적용하여 저장하며 터치 이벤트가 발생하면 터치 이벤트 전 20ms부터 터치 이벤트 후 20ms 사이의 가속도 값 중 최대값을 찾아 터치 위치에 해당하는 영역의 전달함수에 대입하여 터치 세기(힘)를 계산한다(S801~S805).
터치 세기 추정이 끝나면 세기 정보를 포함한 터치 정보를 애플리케이션에 전달하여 애플리케이션에서 사용하게 한다(S806).

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위 및 그와 균등한 것들에 의하여 정해져야 한다.

110 : 휴대 기기
101 : 터치 스크린
102 : X 축 방향의 가속도
103 : Y 축 방향의 가속도
104 : Z 축 방향의 가속도
200 : 화면을 터치하는 엄지손가락
201 : 휴대기기에 내장된 가속도 센서
300 : 격자 형태로 버튼이 배치된 학습 애플리케이션 화면
301 : 현재 터치 입력을 받기 위해 채색된 버튼

Claims (5)

1. 터치스크린 및 가속도 센서를 구비하는 휴대 단말에서 가속도 변화를 이용하여 상기 터치스크린의 터치 강도를 추정하는 방법에 있어서,
   상기 터치스크린에 영역 구분을 위한 복수의 버튼을 형성하는 과정과;
   제1 터치 강도로 상기 복수의 버튼 각각을 터치한 경우의 다수의 제1 가속도 값 중 제1 최대값(a1)과 상기 제1 터치 강도보다 큰 제2 터치 강도로 상기 복수의 버튼 각각을 터치한 경우의 다수의 제2 가속도 값 중 제2 최대값(a2)을 저장하는 과정과;
   상기 터치스크린에 터치 이벤트 발생시 하기 수학식 1과 같은 터치 위치에 해당하는 영역의 전달함수에 대입하여 터치 강도를 계산하는 과정을 포함하는 것을 특징으로 하는 터치스크린의 터치 강도 추정 방법.
   [수학식 1]
   

   

   
   여기서, F는 터치 강도를, A는 상기 터치 위치에 해당하는 영역의 가속도 값을 각각 나타낸다.
   
2. 제 1 항에 있어서, 상기 제1 최대값(a1) 및 상기 제2 최대값(a2)을 저장하는 과정은
   상기 제1 터치 강도로 상기 복수의 버튼 중 하나씩 순차적으로 터치하는 제1 단계와,
   상기 제1 단계의 터치에 대한 상기 다수의 제1 가속도 값 중 최대값을 상기 제1 최대값(a1)으로 저장하는 제2 단계와,
   상기 복수의 버튼 모두에 대해 상기 제1 단계 및 제2 단계를 수행하는 제3 단계와,
   상기 제2 터치 강도로 상기 복수의 버튼 중 하나씩 순차적으로 터치하는 제4 단계와,
   상기 제4 단계의 터치에 대한 상기 다수의 제2 가속도 값 중 최대값을 상기 제2 최대값(a2)으로 저장하는 제5 단계 및
   상기 복수의 버튼 모두에 대해 상기 제4 단계 및 제5 단계를 수행하는 제6 단계를 포함하는 것을 특징으로 하는 터치스크린의 터치 강도 추정 방법.
   
3. 제 1 항 또는 제 2 항에 있어서, 상기 제1 최대값(a1) 또는 상기 제2 최대값(a2) 중 적어도 하나는
   터치 이벤트 발생 이전 20ms부터 터치 이벤트 발생 이후 20ms까지의 가속도 센서 값 중 최대값인 것을 특징으로 하는 터치스크린의 터치 강도 추정 방법.
   
4. 제 1 항 또는 제 2 항에 있어서, 상기 가속도 값은
   중력의 영향을 줄이기 위해 고역필터를 적용하여 취득하는 것을 특징으로 하는 터치스크린의 터치 강도 추정 방법.
   
5. 제 1 항에 있어서, 상기 복수의 버튼은 격자형태로 형성되는 것을 특징으로 하는 터치스크린의 터치 강도 추정 방법.

Images