KR20230080935A - 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치 - Google Patents
터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20230080935A KR20230080935A KR1020210168525A KR20210168525A KR20230080935A KR 20230080935 A KR20230080935 A KR 20230080935A KR 1020210168525 A KR1020210168525 A KR 1020210168525A KR 20210168525 A KR20210168525 A KR 20210168525A KR 20230080935 A KR20230080935 A KR 20230080935A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- touch
- touch panel
- axis
- accelerometer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000003064 k means clustering Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치에 관한 것이다.
본 발명에서는 i초(i는 임의의 양의 실수임) 동안 측정된 가속도계의 x축값을 이용하여 사용자가 터치패널을 조작하는 손이 왼손, 오른손 또는 양쪽 손인지 여부를 추론하고, 구해진 데이터셋을 세 개로 clustering한 후 시각적으로 제공하는 터치 방법 및 장치가 개시된다.
본 발명에 따른 스마트폰 사용자 특성 유추 방법 및 장치에 의하면 터치패널, 자이로스코프(Gyroscope), 가속도계(Accelerometer)의 센서 값들을 복합적으로 활용하여 스마트폰을 사용하는 사용자의 특성을 예측할 수 있게 되었다.
본 발명에서는 i초(i는 임의의 양의 실수임) 동안 측정된 가속도계의 x축값을 이용하여 사용자가 터치패널을 조작하는 손이 왼손, 오른손 또는 양쪽 손인지 여부를 추론하고, 구해진 데이터셋을 세 개로 clustering한 후 시각적으로 제공하는 터치 방법 및 장치가 개시된다.
본 발명에 따른 스마트폰 사용자 특성 유추 방법 및 장치에 의하면 터치패널, 자이로스코프(Gyroscope), 가속도계(Accelerometer)의 센서 값들을 복합적으로 활용하여 스마트폰을 사용하는 사용자의 특성을 예측할 수 있게 되었다.
Description
본 발명은 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 가속도센서 및 자이로스코프를 이용하여 사용자가 화면을 터치하는 특성을 파악하고 이를 이용하여 편리한 터치를 제공하기 위한 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치에 관한 것이다.
다양한 사용자 및 서비스의 요구에 따라 전자기기의 스크린 크기는 나날이 커져가고 있다. 스크린의 크기가 커짐에 따라 스크린의 모든 영역을 한 손으로 조작하는데 많은 사용자들이 어려움을 겪고 있다. 이러한 어려움을 완화하기 위해 일부 전자기기 제조사들은 한 손 모드(one-hand mode)를 제공하고 있으나 가로와 세로 비율이 고정되어 있고, 적절한 화면의 크기를 사용자가 직접 조절해야만 하는 불편함이 존재한다. 또한 대부분의 어플리케이션과 서비스들은 단순히 넓은 화면을 꽉 채우는 유연하지 못한 디자인과 고정된 형태의 버튼 배치를 가지고 있어, 서로 다른 사용자 특성을 User Interface/Experience에 반영하지 못하는 한계를 가지고 있다.
이러한 이유로 대화면으로 구비되는 전자기기의 경우 터치가 쉬운 영역에 사용 빈도가 많은 어플리케이션을 배치하고 터치가 어려운 영역에는 사용 빈도가 낮은 어플리케이션을 배치하는 등의 배치 작업이 필요하다. 어플리케이션 개발사의 경우도 터치가 쉬운 영역에 자주 터치할 필요가 있는 정보가 배치되도록 프로그래밍하는 것이 좋다. 전자기기 사용자에게 보다 편리한 사용 환경을 제공하기 위해서는 대화면 터치패널을 갖는 전자기기의 경우 사용자가 한 손 및 두 손으로 터치하는 경우 각 경우에서 터치가 쉽게 이루어지는 화면 영역과 터치가 어렵게 이루어지는 화면 영역을 정확하게 파악하는 것이 필요하다.
본 발명은 상기와 같은 필요성을 해결하고자 하는 것으로서, 터치패널의 각 영역이 한 손 또는 두 손으로 사용할 때 터치가 용이한 영역인지 또는 불편한 영역인지 여부를 판별하고 이를 시인성이 좋게 제공하는 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 상기 목적은 터치패널을 구비하는 전자기기에서 터치패널 위치에 따른 터치의 편리함을 감지하는 방법으로서, 일정시간 동안 터치위치, 가속도계의 x축값 및 자이로스코프의 y축값을 수집하는 제1단계와, - 제1단계에서 수집하는 데이터에는 시각, 해당 시각에서 상기 터치패널이 터치되었는지 여부, 터치위치, 가속도계 x축값 및 자이로스코프 y축값이 포함됨 - 터치가 발생한 각 시각을 기준으로 ±n ms 동안(n은 양의 정수임) 상기 제1단계에서 수집된 가속도계의 x축값의 최대값에서 최소값을 제하여 구해진 가속도x값 및 자이로스코프의 y축값의 최대값에서 최소값을 제하여 구해진 자이로스코프y값을 포함하는 데이터셋으로 가공하는 제2단계와, i초(i는 임의의 양의 실수임) 동안 측정된 가속도계의 x축값을 이용하여 사용자가 터치패널을 조작하는 손이 왼손, 오른손 또는 양쪽 손인지 여부를 추론하고, 상기 제2단계에서 구해진 데이터셋을 세 개로 clustering하는 제3단계 및 세 개로 clustering된 영역을 터치패널의 화면 영역으로 매핑하여 표시하는 제4단계를 포함하는 것을 특징으로 하는 터치패널 위치에 따른 터치의 편리함을 감지하는 방법에 의해서 달성 가능하다.
제3단계는 i초 동안 측정된 가속도계의 x축값들의 평균값이 (1) 제1임계치보다 큰 값을 가질 경우에는 사용자가 터치패널을 조작하는 손을 왼손으로 추론하고, 상기 평균값이 (2) 제1임계치의 음의 값보다 작은 음의 값을 가질 경우에는 사용자가 터치패널을 조작하는 손을 오른손으로 추론하고, 상기 평균값이 (3) 제1임계치의 음의 값 이상이면서 제1임계치 이하일 경우는 양쪽 손 사용으로 추론하는 제3-1단계를 더 포함하는 것이 바람직하며, clustering은 k-means clustering 기법을 통한 unsupervised classification으로 수행하는 것이 바람직하다.
본 발명의 또 다른 목적은 터치패널 및 터치패널로부터 터치좌표를 입력받는 본체로 구성되는 터치패널 위치에 따른 터치의 편리함을 감지하는 전자기기에 있어서, 가속도계 및 자이로스코프가 구비되고, 일정시간 동안 상기 가속도계의 x축값 및 상기 자이로스코프의 y축값을 수집하는 수집부와, - 상기 수집부에서 수집하는 데이터에는 시각, 해당 시각에서 상기 터치패널이 터치되었는지 여부, 터치위치, 가속도계 x축값 및 자이로스코프 y축값이 포함됨 - 터치가 발생한 각 시각을 기준으로 ±n ms 동안(n은 양의 정수임) 상기 수집부에서 수집된 가속도계의 x축값의 최대값에서 최소값을 제하여 구해진 가속도x값 및 자이로스코프의 y축값의 최대값에서 최소값을 제하여 구해진 자이로스코프y값을 포함하는 데이터셋으로 가공하는 가공부와, i초(i는 임의의 양의 실수임) 동안 측정된 가속도계의 x축값을 이용하여 사용자가 터치패널을 조작하는 손이 왼손, 오른손 또는 양쪽 손인지 여부를 추론하고, 가공부에서 구해진 데이터셋을 세 개로 clustering하는 추론부 및 세 개로 clustering된 영역을 터치패널의 화면 영역으로 매핑하여 표시하는 표현부를 포함하는 것을 특징으로 하는 터치패널 위치에 따른 터치의 편리함을 감지하는 전자기기에 의해서 달성 가능하다.
본 발명에 따른 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치에 의하면 터치패널, 자이로스코프(Gyroscope), 가속도계(Accelerometer)의 센서 값들을 복합적으로 활용하여 스마트폰을 사용하는 사용자의 특성을 예측할 수 있게 되었다.
대표적으로 예측할 수 있는 사용자 정보의 예로는 사용자가 현재 어떤 손(왼손, 오른손 또는 양손)으로 스마트폰을 사용하는지, 그리고 해당 사용자가 편하게 닿거나 닿을 수 있는 또는 닿지 않는 화면 영역이 어디인지 등이 있다. 본 발명에 따른 스마트폰 사용자 특성 유추 방법 및 장치에 의해서 디바이스 제조사 또는 어플리케이션 개발사 등은 사용자의 특화된 정보를 활용하여 각 사용자에 맞춤형 서비스를 제공할 수 있게 되었다.
본 발명에서 제안한 기술을 통해 얻은 사용자 특화 정보를 바탕으로 디바이스 제조사들은 사용자 맞춤형 기능을 디바이스에 포함할 수 있다. 또한 어플리케이션 개발자들은 본 발명에서 제안한 기술을 통해 얻은 정보를 활용하여 어플리케이션의 디자인과 버튼의 위치 등을 각 사용자에 특화시킴으로써 UI(User Interface)와 UE(User Experience)를 향상시키고 궁극적으로 사용자의 체감 품질을 개선할 수 있다.
본 발명은 사용자의 사전 정보를 전혀 필요로 하지 않으며 사용자가 기기를 사용함으로써 측정되는 센서 값들을 활용하기 때문에 사용자의 실제적인 행동 특성을 어떠한 편견 없이 정확하게 파악한다. 또한 값비싼 센서를 필요로 하지 않아 기술의 적용이 쉬우며, 매우 적은 연산량만을 필요로 하므로 기술이 적용된 기기의 성능에 거의 영향을 주지 않으며 IoT(Internet of Things) 디바이스와 같은 작은 연산 능력을 가지는 기기에서도 활용될 수 있다. 또한 본 발명은 스마트폰에 국한되지 않으며 터치패널을 활용하는 수많은 기기에 적용될 수 있어 기술 적용의 범위가 넓다.
도 1은 터치패널을 갖는 통상의 전자기기의 구성도.
도 2는 본 발명에 따른 일 실시예로서 터치패널 위치에 따른 터치의 편리함을 감지하는 장치의 구성 블록도.
도 3은 본 발명에 따른 일 예의 수집부를 설명하는 설명도.
도 4는 본 발명에 따른 일 예의 가공부를 설명하는 설명도.
도 5는 통상의 전자기기의 가속도계와 자이로스코프의 x, y, z축 구성을 표시하는 설명도.
도 6a 및 도 6b는 사용자가 스크린의 서로 다른 지점을 터치하는 동작을 연속적으로 수행하였을 때 측정된 가속도계 값과 자이로스코프의 값을 표현하는 그래프.
도 7은 사용자가 왼손, 오른손, 또는 양손으로 터치패널을 터치할 때 시간에 따라 측정된 가속도계 x축값의 측정치를 보여주는 그래프.
도 8a, 도 8b 및 도 8c는 사용자가 오른손, 왼손, 또는 양손으로, 스크린을 총 40개의 영역으로 구분하여 터치를 할 때 측정된 데이터들을 가공하여 얻은 좌표값들을 clustering 한 예를 보여주는 그래프.
도 9는 3-means clustering을 설명하는 설명도.
도 10은 스마트폰의 화면에 40개의 버튼을 분포시켜 각 버튼을 터치한 후 분석을 수행한 실험 결과의 예시 화면.
도 2는 본 발명에 따른 일 실시예로서 터치패널 위치에 따른 터치의 편리함을 감지하는 장치의 구성 블록도.
도 3은 본 발명에 따른 일 예의 수집부를 설명하는 설명도.
도 4는 본 발명에 따른 일 예의 가공부를 설명하는 설명도.
도 5는 통상의 전자기기의 가속도계와 자이로스코프의 x, y, z축 구성을 표시하는 설명도.
도 6a 및 도 6b는 사용자가 스크린의 서로 다른 지점을 터치하는 동작을 연속적으로 수행하였을 때 측정된 가속도계 값과 자이로스코프의 값을 표현하는 그래프.
도 7은 사용자가 왼손, 오른손, 또는 양손으로 터치패널을 터치할 때 시간에 따라 측정된 가속도계 x축값의 측정치를 보여주는 그래프.
도 8a, 도 8b 및 도 8c는 사용자가 오른손, 왼손, 또는 양손으로, 스크린을 총 40개의 영역으로 구분하여 터치를 할 때 측정된 데이터들을 가공하여 얻은 좌표값들을 clustering 한 예를 보여주는 그래프.
도 9는 3-means clustering을 설명하는 설명도.
도 10은 스마트폰의 화면에 40개의 버튼을 분포시켜 각 버튼을 터치한 후 분석을 수행한 실험 결과의 예시 화면.
본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, "~ 상에 또는 ~ 상부에" 라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것은 아니다. 또한, 영역, 판 등의 부분이 다른 부분 "상에 또는 상부에" 있다고 할 때, 이는 다른 부분 "바로 상에 또는 상부에" 접촉하여 있거나 간격을 두고 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 터치패널을 갖는 통상의 전자기기의 구성도이다. 전자기기는 디스플레이부(미 도시)를 갖는 본체(150)와 디스플레이 상부에 구비되는 터치패널(170)로 구성된다. 본체(150)에는 인쇄회로기판(미 도시)이 구비되고 인쇄회로기판에는 자이로센서(110), 가속도센서(120)를 포함하는 복수 개 센서, 메모리소자(140) 및 컴퓨터의 중앙처리장치(CPU)에 대응되는 제어칩(130) 등을 포함한 다양한 회로소자가 구비된다. 사용자가 터치패널을 터치하면 해당 터치 좌표가 본체의 인쇄회로기판에 전달되고 이러한 터치 좌표를 이용하여 제어칩(130)은 디스플레이부 등을 제어한다.
도 2는 본 발명에 따른 일 실시예로서 터치패널 위치에 따른 터치의 편리함을 감지하는 장치의 구성 블록도이다. 도 2에 제시된 구성 블록은 도 1의 본체(150)에 구비되는 적어도 하나의 회로소자에 소프트웨어 방식으로 구현 가능하다. 이러한 회로소자는 제어칩(130) 일 수도 있으며 디스플레이부를 제어하는 디스플레이 제어 전용소자(칩, 미 도시)일 수도 있으며 한 개 이상의 회로소자에 구현될 수도 있다. 본 발명에 따른 터치패널 위치에 따른 터치의 편리함을 감지하는 장치는 센서 데이터를 수집하는 수집부, 수집된 센서 데이터를 가공하는 가공부, 가공된 데이터를 이용하여 사용자 특성을 추론하는 추론부 및 추론된 특성들을 시각적으로 디스플레이부에 표현하는 표현부로 구성된다. 본 발명의 수집부에서는 터치패널로부터 터치 위치값을 받으며 자이로센서 및 가속도계로부터 출력되는 데이터를 수집한다. 이하 본 발명에 따른 터치패널 위치에 따른 터치의 편리함을 감지하는 장치를 이용하여 추론하는 방식에 대해 설명하기로 한다.
1. 수집부
수집부는 터치 시각과 터치 동작 발생의 유무, 터치된 위치값, 자이로스코프 및 가속도계의 측정 값들(x, y, z 축)을 지속적으로 수집한다. 도 3은 수집부의 동작 예를 보인 예시 도면이다. 도 3으로 파악되는 바와 같이 각 시각에 입력되는 데이터는 터치 시각, false, true로 표시되는 터치 여부(true의 경우 터치가 발생한 것임), 터치위치, 자이로스코프 및 가속도계의 (x, y, z 축) 측정값으로 구성된다.
2. 가공부
가공부는 수집부로부터 입력받은 일련의 데이터들 중 터치 동작이 일어난 시각으로부터 인접한 시간대(예: ±n ms)에 측정된 센서데이터들을 하나의 이벤트 데이터셋으로 여기며, 각 이벤트 데이터셋 내 가속도계의 x축과 자이로스코프의 y축값을 기반으로 최대값과 최소값의 차이들을 구한다. 도 4는 가공부의 동작 예를 보인다. 도 4에서 이벤트는 터치가 발생한 상황을 의미한다. 예를 들어, t1 시각에 터치가 발생할 경우, (t1-2, t1-1, t1, t1+1, t1+2) 시각 동안 수집부를 통해 입력된 가속도계의 x축값 및 자이로스코프의 y축값 각각의 최대값 및 최소값을 구한다. 가속도계 x축값의 최대값에서 최소값을 제한 값 및 자이로스코프 y축값의 최대값에서 최소값을 제한 값으로 t1 이벤트에 대한 데이터셋을 형성한다.
일반적으로 전자기기의 가속도계와 자이로스코프의 x, y, z축 구성은 도 5와 같다. 사용자가 어떠한 전자기기를 조작할 때 사용하는 손이 왼손인지, 오른손인지에 따라 일반적으로 기기의 좌측 또는 우측을 잡고 사용을 하게 되므로 이에 가장 영향을 받는 축은 가속도계의 x축값과, 자이로스코프의 y축(Roll) 값이다(도 5에서 빨간 색으로 표시).
도 6a 및 도 6b에 제시된 그래프들은 사용자가 스크린의 서로 다른 지점을 터치하는 동작을 연속적으로 수행하였을 때 측정된 가속도계 값과 자이로스코프의 값이다. 도 6a의 가속도계의 경우 x축의 값이 가장 변동폭이 크며, 도 6b의 자이로스코프의 경우 y축의 값이 가장 변동폭이 큰 것을 알 수 있다. 즉, 가속도계의 x축값과 자이로스코프의 y축값이 스크린을 터치하는 동작에 의해 가장 영향을 많이 받으므로 이 두 축의 값을 활용한다.
3. 추론부
추론부는 가공부가 가공한 데이터를 바탕으로 사용자의 특성을 추론한다. 본 발명에서는 두 가지의 특성을 예측하는 예시를 보인다.
첫 번째로 사용자가 현재 기기를 왼손, 오른손, 또는 양손으로 사용하는지를 예측한다. 터치 동작을 수행하는 손을 추론할 때는 가속도계의 x축 값만으로 사용한다. 도 7에 제시된 그래프는 사용자가 왼손, 오른손, 또는 양손으로 터치패널을 터치할 때 가속도계 x축값의 측정치 예를 보여준다. 도 7의 그래프에서 보듯 왼손으로 터치패널을 터치할 경우 주로 양의 영역에 값들이 분포하는 것을 알 수 있으며, 오른손으로 스크린을 터치하는 경우 주로 음의 영역에 값들이 분포하는 것을 알 수 있다. 이에 반해 양손으로 스크린을 터치하는 경우 0을 주변으로 하여 음과 양의 영역에 모두 값들이 분포하는 것을 알 수 있다. 따라서 값들이 주로 분포하는 영역의 비율을 통해 사용자가 어떤 손으로 기기를 사용 중인지를 예측한다.
어느 손을 사용하는지에 대한 추론은 여러 가지 방식으로 가능하다. 두 가지 방식에 대해 설명하기로 한다.
(1) 시간 t1를 기준으로 이전 i 초 동안에 수집된 값들의 평균 값이 (a) x1 보다 큰 값일 경우 왼손, (b) -x1 보다 작은 값일 경우 오른손, (c) -x1 이상이면서 x1 이하의 값일 경우 양손사용으로 판단하는 방식(x1은 임의의 양의 실수)
(2) 시간 t1를 기준으로 이전 i 초 동안에 수집된 값들을 n초 단위로 나누어, 각 단위 시간 영역에서의 최소/최대 값들을 구하였을 때, (a) 최대값들의 합의 절대값이 최소값들의 합의 절대값 보다 p배 클 경우 왼손 사용, (b) 최소값들의 합의 절대값이 최대값들의 합의 절대값보다 p배 클 경우 오른손 사용, (c) 나머지는 양손 사용으로 판단하는 방식(p은 임의의 양의 실수)
두 번째로 사용자가 스크린을 터치할 때 Natural zone(터치가 자연스러운 영역, '터치가 편한 영역'으로도 표현할 수 있음), Reach zone(닿는데 약간의 어려움을 겪는 영역, '터치가 가능한 영역'으로도 표현할 수 있음), Unreachable zone(닿는데 큰 어려움을 겪는 영역, '터치가 불가능한 영역'으로도 표현할 수 있음)이 어디인지를 예측한다. 가공된 데이터들을 바탕으로, 가속도계의 최대값과 최소값의 차이값을 x축, 자이로스코프의 최대값과 최소값의 차이값을 y축의 값으로 하는 좌표값들을 2차원 도메인에 구성하고 k-means clustering 기법을 통한 unsupervised classification을 수행함으로써 Natural, Reach, Unreachable 영역으로 구분한다. 도 8a, 도 8b 및 도 8c에 제시된 그래프들은 사용자가 오른손, 왼손, 또는 양손으로, 스크린을 총 40개의 영역으로 구분하여 터치를 할 때 측정된 데이터들을 가공하여 얻은 좌표값들을 clustering 한 예를 보여주는 그래프들이다. 이렇게 clustering 된 결과들을 바탕으로 사용자의 Natural, Reach, 그리고 Unreachable 영역을 추론한다.
도 8a, 도 8b 및 도 8c에 제시된 그래프에서 x축은 가속도계의 x축값의 차이값(최대값과 최소값의 차이값)으로 표시하고, y축은 자이로스코프의 y축값의 차이값(최대값과 최소값의 차이값)을 표시한다.
K-means clustering은 비지도 분류(unsupervised classification)의 한 기법으로서, 도 8a, 도 8b 및 도 8c에 제시된 그래프는 3-means clustering을 사용한 것이다. Natural 영역은 터치가 자연스러운 영역이므로 터치를 할 때 디바이스의 흔들림이 작다. 그렇기 때문에 도 8a, 도 8b 및 도 8c에서 낮은 값들로 구성이 되어있다. 즉, 도 8a, 도 8b 및 도 8c에 제시된 그래프에서 x, y 값들이 낮은 쪽에 있는 cluster를 Natural, 가운데를 Reach, 맨 끝을 Unreachable로 구분하며, 빨간점들이 Natural, 초록점들이 Reach, 파란점들이 Unreachable로 표현하였다.
3-means clustering을 간단히 설명하면, 임의로 세 영역을 나누고 각 영역의 중심점과 해당 영역에 포함된 점들과의 거리들의 합이 최소가 되도록 조금씩 조절해가며 영역을 나누는 기법이다. 도 9는 3-means clustering을 설명하는 설명도이다.
4. 표현부
표현부는 추론부가 추론한 결과를 이해하기 쉽도록 가시화 해주는 영역이다. 터치 이벤트가 발생한 스크린의 각 위치에 대해 사용자가 얼마만큼 수월하게 터치를 하였는지를 가시적으로 보여줌으로써 디바이스 제조사나 어플리케이션 개발자들이 보다 쉽게 사용자 특성을 파악할 수 있게 해준다.
도 10은 스마트폰의 화면에 40개의 버튼을 분포시켜 각 버튼을 터치한 후 분석을 수행한 실험 결과의 예이다. 도 10에서 Natural 영역, Reach 영역 및 Unreachable 영역을 각각 파랑색, 초록색 및 노란색으로 구분하여 도시하었다. 도 10 (a)는 오른손을 사용하여 터치패널을 조작하는 경우, (b)는 왼손을 사용하여 터치패널을 조작하는 경우 및 (c)는 양손을 사용하여 터치패널을 조작하는 경우에 대한 실험 결과의 예이다. 터치값을 수집할 때 터치를 한 위치값도 함께 포함을 하여 수집한다. 그렇기 때문에 지금까지 설명한 실시예와 같이 꼭 버튼을 누르는 방식이 아니더라도, 터치액션에 대한 위치값과 함께 가속도계와 자이로스코프 값을 활용하여 본 발명을 적용 가능하다. 터치 위치값, 가속도계와 자이로스코프 값들은 사용자가 의도적으로 수집해야 하는 값이 아니라 일반적으로 계속해서 수집이 되는 값이므로 전자기기의 추가적인 동작을 필요로 하지는 않는다. 다시 말해, 스마트폰에서 가속도계, 자이로스코프는 일반적으로 수집되고 있는 센서값이며, 터치의 위치값도 터치가 있을 때마다 수집 되는 값이므로 본 발명을 적용하기 위해 특정 모듈을 새롭게 동작시켜야 한다든지와 같은 기기의 추가 동작을 요구하지 않는다.
본 발명을 통한 사용자 별 터치 범위에 대한 예측값과 사용자들에 의한 직접적인 응답을 비교하였을 때 표 1과 같이 높은 정확도로 사용자 특성을 예측함을 보였다. 이는 본 발명의 feasibility와 validity를 보여준다고 할 수 있다.
| Average match rate of each case | ||
| Right hand | Left hand | Both hands |
| 89.6% | 91.2% | 93.3% |
스마트폰이 오늘날 가장 널리 활용되는 터치패널이 포함된 기기이므로 본 발명 설명서에서는 스마트폰을 기반으로 발명에 대한 설명 및 실시 예를 보였으나, 본 발명은 스마트폰에 국한되지 않으며 터치패널을 활용하는 수많은 전자기기에 적용될 수 있는 것으로 이해되어져야 한다.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.
110: 자이로센서
120: 가속도센서
130: 제어칩
140: 메모리소자
150: 본체
170: 터치패널
120: 가속도센서
130: 제어칩
140: 메모리소자
150: 본체
170: 터치패널
Claims (8)
- 터치패널을 구비하는 전자기기에서 터치패널 위치에 따른 터치의 편리함을 감지하는 방법으로서,
일정시간 동안 터치위치, 가속도계의 x축값 및 자이로스코프의 y축값을 수집하는 제1단계와,
- 상기 제1단계에서 수집하는 데이터에는 시각, 해당 시각에서 상기 터치패널이 터치되었는지 여부, 터치위치, 가속도계 x축값 및 자이로스코프 y축값이 포함됨 -
터치가 발생한 각 시각을 기준으로 ±n ms 동안(n은 양의 정수임) 상기 제1단계에서 수집된 가속도계의 x축값의 최대값에서 최소값을 제하여 구해진 가속도x값 및 자이로스코프의 y축값의 최대값에서 최소값을 제하여 구해진 자이로스코프y값을 포함하는 데이터셋으로 가공하는 제2단계와,
i초(i는 임의의 양의 실수임) 동안 측정된 가속도계의 x축값을 이용하여 사용자가 터치패널을 조작하는 손이 왼손, 오른손 또는 양쪽 손인지 여부를 추론하고, 상기 제2단계에서 구해진 데이터셋을 세 개로 clustering하는 제3단계 및
상기 세 개로 clustering된 영역을 터치패널의 화면 영역으로 매핑하여 표시하는 제4단계를 포함하는 것을 특징으로 하는 터치패널 위치에 따른 터치의 편리함을 감지하는 방법.
- 제1항에 있어서,
상기 제3단계는 i초 동안 측정된 가속도계의 x축값들의 평균값이 (1) 제1임계치보다 큰 값을 가질 경우에는 사용자가 터치패널을 조작하는 손을 왼손으로 추론하고, 상기 평균값이 (2) 제1임계치의 음의 값보다 작은 음의 값을 가질 경우에는 사용자가 터치패널을 조작하는 손을 오른손으로 추론하고, 상기 평균값이 (3) 제1임계치의 음의 값 이상이면서 제1임계치 이하일 경우는 양쪽 손 사용으로 추론하는 제3-1단계를 더 포함하는 것을 특징으로 하는
- 제1임계치는 임의의 양의 실수임 -
터치패널 위치에 따른 터치의 편리함을 감지하는 방법.
- 제1항에 있어서,
상기 제3단계는 i초 동안 측정된 가속도계의 x축값들을 n초 단위로 나누어, 각 단위 시간 영역에서의 최소값 및 최대값을 구하고, 1) 최대값들의 합의 절대값이 최소값들의 합의 절대값보다 p배 클 경우 왼손 사용으로 추론하고, 2) 최소값들의 합의 절대값이 최대값들의 합의 절대값보다 p배 클 경우 오른손 사용으로 추론하고, 3) 나머지 경우는 양손 사용으로 추론하는 제3-1단계를 더 포함하는 것을 특징으로 하는
- n 및 p는 임의의 양의 실수임 -
터치패널 위치에 따른 터치의 편리함을 감지하는 방법.
- 제1항 내지 제3항 중에서 선택된 어느 한 항에 있어서,
상기 제4단계의 세 개로 clustering된 영역은 터치가 편한 영역, 터치가 가능한 영역 및 터치가 불가능한 영역으로 이루어지는 것을 특징으로 하는 터치패널 위치에 따른 터치의 편리함을 감지하는 방법.
- 터치패널 및 터치패널로부터 터치좌표를 입력받는 본체로 구성되는 터치패널 위치에 따른 터치의 편리함을 감지하는 전자기기에 있어서,
가속도계 및 자이로스코프가 구비되고,
일정시간 동안 상기 가속도계의 x축값 및 상기 자이로스코프의 y축값을 수집하는 수집부와,
- 상기 수집부에서 수집하는 데이터에는 시각, 해당 시각에서 상기 터치패널이 터치되었는지 여부, 가속도계 x축값 및 자이로스코프 y축값이 포함됨 -
터치가 발생한 각 시각을 기준으로 ±n ms 동안(n은 양의 정수임) 상기 수집부에서 수집된 가속도계의 x축값의 최대값에서 최소값을 제하여 구해진 가속도x값 및 자이로스코프의 y축값의 최대값에서 최소값을 제하여 구해진 자이로스코프y값을 포함하는 데이터셋으로 가공하는 가공부와,
i초(i는 임의의 양의 실수임) 동안 측정된 가속도계의 x축값을 이용하여 사용자가 터치패널을 조작하는 손이 왼손, 오른손 또는 양쪽 손인지 여부를 추론하고, 상기 가공부에서 구해진 데이터셋을 세 개로 clustering하는 추론부 및
상기 세 개로 clustering된 영역을 터치패널의 화면 영역으로 매핑하여 표시하는 표현부를 포함하는 것을 특징으로 하는 터치패널 위치에 따른 터치의 편리함을 감지하는 전자기기.
- 제5항에 있어서,
상기 추론부는 i초 동안 측정된 가속도계의 x축값들의 평균값이 (1) 제1임계치보다 큰 값을 가질 경우에는 사용자가 터치패널을 조작하는 손을 왼손으로 추론하고, 상기 평균값이 (2) 제1임계치의 음의 값보다 작은 음의 값을 가질 경우에는 사용자가 터치패널을 조작하는 손을 오른손으로 추론하고, 상기 평균값이 (3) 제1임계치의 음의 값 이상이면서 제1임계치 이하일 경우는 양쪽 손 사용으로 추론하는 것을 특징으로 하는
- 제1임계치는 임의의 양의 실수임 -
터치패널 위치에 따른 터치의 편리함을 감지하는 전자기기.
- 제5항에 있어서,
상기 추론부는 i초 동안 측정된 가속도계의 x축값들을 n초 단위로 나누어, 각 단위 시간 영역에서의 최소값 및 최대값을 구하고, 1) 최대값들의 합의 절대값이 최소값들의 합의 절대값보다 p배 클 경우 왼손 사용으로 추론하고, 2) 최소값들의 합의 절대값이 최대값들의 합의 절대값보다 p배 클 경우 오른손 사용으로 추론하고, 3) 나머지 경우는 양손 사용으로 추론하는 제3-1단계를 더 포함하는 것을 특징으로 하는
- n 및 p는 임의의 양의 실수임 -
터치패널 위치에 따른 터치의 편리함을 감지하는 전자기기.
- 제5항 내지 제7항 중에 선택된 어느 한 항에 있어서,
상기 세 개로 clustering된 영역은 터치가 편한 영역, 터치가 가능한 영역 및 터치가 불가능한 영역으로 이루어지는 것을 특징으로 하는 터치패널 위치에 따른 터치의 편리함을 감지하는 전자기기.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210168525A KR102601375B1 (ko) | 2021-11-30 | 2021-11-30 | 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210168525A KR102601375B1 (ko) | 2021-11-30 | 2021-11-30 | 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230080935A true KR20230080935A (ko) | 2023-06-07 |
| KR102601375B1 KR102601375B1 (ko) | 2023-11-14 |
Family
ID=86761450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210168525A KR102601375B1 (ko) | 2021-11-30 | 2021-11-30 | 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102601375B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102660921B1 (ko) * | 2023-09-26 | 2024-04-25 | 주식회사 이노피아테크 | 가상 키패드 동작 인지 장치 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110098953A (ko) * | 2008-12-15 | 2011-09-02 | 심볼테크놀로지스,인코포레이티드 | 인터페이스 적응 시스템 |
| KR20120008355A (ko) * | 2010-07-16 | 2012-01-30 | 삼성전자주식회사 | 메뉴 표시 방법 및 장치 |
| KR20120064756A (ko) | 2010-12-10 | 2012-06-20 | 삼성전자주식회사 | 터치스크린을 구비한 휴대 단말기의 화면 표시 방법 및 장치 |
| KR20120067445A (ko) * | 2010-12-16 | 2012-06-26 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| KR20140051590A (ko) * | 2012-10-23 | 2014-05-02 | 삼성전자주식회사 | 터치 디바이스의 ui 표시방법 및 장치 |
| KR20150009043A (ko) * | 2013-07-10 | 2015-01-26 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| KR20150022003A (ko) * | 2012-06-18 | 2015-03-03 | 유롱 컴퓨터 텔레커뮤니케이션 테크놀로지즈 (셴첸) 코., 엘티디. | 단말 및 인터페이스 조작 관리 방법 |
| KR20150033310A (ko) * | 2013-09-24 | 2015-04-01 | 엘지전자 주식회사 | 이동 단말기 |
| KR20160121302A (ko) * | 2015-04-10 | 2016-10-19 | 주식회사 포워드벤처스 | 사용자 인터페이스 제공 시스템 및 방법 |
| KR20160138787A (ko) * | 2015-05-26 | 2016-12-06 | 삼성전자주식회사 | 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법 |
-
2021
- 2021-11-30 KR KR1020210168525A patent/KR102601375B1/ko active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110098953A (ko) * | 2008-12-15 | 2011-09-02 | 심볼테크놀로지스,인코포레이티드 | 인터페이스 적응 시스템 |
| KR20120008355A (ko) * | 2010-07-16 | 2012-01-30 | 삼성전자주식회사 | 메뉴 표시 방법 및 장치 |
| KR20120064756A (ko) | 2010-12-10 | 2012-06-20 | 삼성전자주식회사 | 터치스크린을 구비한 휴대 단말기의 화면 표시 방법 및 장치 |
| KR20120067445A (ko) * | 2010-12-16 | 2012-06-26 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| KR20150022003A (ko) * | 2012-06-18 | 2015-03-03 | 유롱 컴퓨터 텔레커뮤니케이션 테크놀로지즈 (셴첸) 코., 엘티디. | 단말 및 인터페이스 조작 관리 방법 |
| KR20140051590A (ko) * | 2012-10-23 | 2014-05-02 | 삼성전자주식회사 | 터치 디바이스의 ui 표시방법 및 장치 |
| KR20150009043A (ko) * | 2013-07-10 | 2015-01-26 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| KR20150033310A (ko) * | 2013-09-24 | 2015-04-01 | 엘지전자 주식회사 | 이동 단말기 |
| KR20160121302A (ko) * | 2015-04-10 | 2016-10-19 | 주식회사 포워드벤처스 | 사용자 인터페이스 제공 시스템 및 방법 |
| KR20160138787A (ko) * | 2015-05-26 | 2016-12-06 | 삼성전자주식회사 | 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102660921B1 (ko) * | 2023-09-26 | 2024-04-25 | 주식회사 이노피아테크 | 가상 키패드 동작 인지 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102601375B1 (ko) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10162447B2 (en) | Detecting multiple simultaneous force inputs to an input device | |
| EP3404515B1 (en) | Electronic system and proximity sensing method | |
| US9864516B2 (en) | Universal keyboard | |
| US9052817B2 (en) | Mode sensitive processing of touch data | |
| US10540083B2 (en) | Use of hand posture to improve text entry | |
| US20150185857A1 (en) | User interface method and apparatus based on spatial location recognition | |
| CN102402320B (zh) | 手持终端的控制方法及手持终端 | |
| KR20100051386A (ko) | 촉각 피드백 제공 장치 및 방법 | |
| KR20070011387A (ko) | 터칭 도구 또는 손가락의 사용에 따라 제공 정보를적합화하는 터치 스크린 | |
| GB2510333A (en) | Emulating pressure sensitivity on multi-touch devices | |
| WO2021213274A1 (zh) | 移动终端防误触方法、装置、计算机设备及存储介质 | |
| JP2020170311A (ja) | 入力装置 | |
| US20190302949A1 (en) | Methods and systems for enhanced force-touch based gesture solutions | |
| CN107390923A (zh) | 一种屏幕防误触方法、装置、存储介质和终端 | |
| JPWO2009031213A1 (ja) | 携帯端末装置及び表示制御方法 | |
| US10649555B2 (en) | Input interface device, control method and non-transitory computer-readable medium | |
| KR102601375B1 (ko) | 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치 | |
| US9235338B1 (en) | Pan and zoom gesture detection in a multiple touch display | |
| JP5538596B1 (ja) | タッチ入力装置、タッチ入力装置入力検出方法、およびコンピュータプログラム | |
| CA2749267A1 (en) | Mouse | |
| CN105786392A (zh) | 触控显示方法、触控显示系统和终端 | |
| CN113419646B (zh) | 压力感应通道的校准方法、装置及电子设备 | |
| WO2022193988A1 (zh) | 触控事件上报方法、装置、终端及存储介质 | |
| US20110267271A1 (en) | Mouse | |
| US20170336881A1 (en) | Discrete cursor movement based on touch input region |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211130 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230816 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20231106 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20231108 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20231109 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |