KR20240062249A - 전자 장치 및 그 터치 좌표 획득 방법 - Google Patents

전자 장치 및 그 터치 좌표 획득 방법 Download PDF

Info

Publication number
KR20240062249A
KR20240062249A KR1020220141497A KR20220141497A KR20240062249A KR 20240062249 A KR20240062249 A KR 20240062249A KR 1020220141497 A KR1020220141497 A KR 1020220141497A KR 20220141497 A KR20220141497 A KR 20220141497A KR 20240062249 A KR20240062249 A KR 20240062249A
Authority
KR
South Korea
Prior art keywords
touch
output
layer block
image
block
Prior art date
Application number
KR1020220141497A
Other languages
English (en)
Inventor
스비틀라나 알크히모바
드미트로 시도렌코
비탈리 클리모브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220141497A priority Critical patent/KR20240062249A/ko
Priority to PCT/KR2023/011374 priority patent/WO2024090745A1/ko
Priority to US18/376,058 priority patent/US20240143110A1/en
Publication of KR20240062249A publication Critical patent/KR20240062249A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 정전식 터치 스크린을 포함하는 디스플레이, 적어도 하나의 명령어를 저장하는 메모리 및, 디스플레이 및 메모리와 연결되어 전자 장치를 제어하는 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는, 적어도 하나의 명령어를 실행함으로써, 터치 입력에 대응되는 정전 용량 정보를 포함하는 이미지를 획득하고, 획득된 이미지를 학습된 인공 지능 모델에 입력하여 터치 입력에 대응되는 터치 좌표를 획득할 수 있다. 학습된 인공 지능 모델은, 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 터치 입력에 대응되는 터치 좌표를 출력하도록 학습될 수 있다.

Description

전자 장치 및 그 터치 좌표 획득 방법 { Electronic apparatus and method of acquiring touch coordinates thereof }
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 정전식 터치 스크린을 구비하는 전자 장치 및 그 터치 좌표 획득 방법에 관한 것이다.
스마트폰, 태블릿 또는 스마트워치와 같은 대부분의 최신 기기는 정전식 터치 스크린을 사용한다. 터치 스크린과의 다양한 인터랙션은 사용자의 UX 경험을 향상시킬 수 있다. 한편, 사용자의 터치 스크린과의 인터렉션에 있어 터치 인식의 정확도는 중요한 요소이다.
일 실시 예에 따른 전자 장치는, 정전식 터치 스크린을 포함하는 디스플레이, 적어도 하나의 명령어를 저장하는 메모리 및, 상기 디스플레이 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령어를 실행함으로써, 터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지를 획득하고, 상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득할 수 있다. 상기 학습된 인공 지능 모델은, 상기 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 상기 터치 입력에 대응되는 터치 좌표를 출력하도록 학습될 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 획득된 이미지에 대해 노이즈 필터링을 적용하여 전처리 이미지를 획득하고, 상기 전처리 이미지를 상기 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 노이즈 필터링이 적용된 이미지를 복수의 영역으로 세그먼테이션하여 상기 복수의 영역에 대응되는 그레이 레벨 정보를 포함하는 상기 전처리 이미지를 획득하고, 상기 전처리 이미지를 상기 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표 정보를 획득할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 전자 장치가 제1 방향으로 위치한 상태에서 상기 이미지가 획득되면, 상기 이미지에 대해 노이즈 필터링을 적용하여 상기 전처리 이미지를 획득하고, 상기 전자 장치가 상기 제1 방향과 상이한 제2 방향으로 위치한 상태에서 상기 이미지가 획득되면, 상기 이미지에 대해 노이즈 필터링을 적용하고 상기 노이즈 필터링이 적용된 이미지를 상기 제1 방향으로 회전시켜 상기 전처리 이미지를 획득할 수 있다.
일 예에 따르면, 상기 학습된 인공 지능 모델은, 터치 상태 정보를 출력하도록 학습된 제1 레이어 블록, 터치 타입정보를 출력하도록 학습된 제2 레이어 블록 및 터치 좌표를 출력하도록 학습된 제3 레이어 블록을 포함하며, 상기 제1 레이어 블록의 출력은 상기 제2 레이어 블록으로 제공되고, 상기 제2 레이어 블록의 출력은 상기 제3 레이어 블록으로 제공되도록 구성될 수 있다.
일 예에 따르면, 상기 제1 레이어 블록은, wet 상태 및 dry 상태 중 어느 하나의 터치 상태 정보를 출력하도록 학습되며, 상기 제2 레이어 블록은, 손가락 터치 또는 비손가락 터치의 제1 타입 정보, 전체 손가락 터치 또는 부분 손가락 터치의 제2 타입 정보, 및 엄지 손가락 터치 또는 다른 손가락 터치의 제3 타입 정보 중 적어도 하나의 터치 타입 정보를 출력하도록 학습될 수 있다.
일 예에 따르면, 상기 학습된 인공 지능 모델은, 상기 제1 레이어 블록의 출력 및 상기 제2 레이어 블록의 출력을 연결(concatenation)하는 제1 연산 블록 및, 상기 제3 레이어 블록의 출력 및 상기 제1 연산 블록의 출력을 연결하는 제2 연산 블록을 더 포함하며, 상기 터치 좌표는, 상기 제2 연산 블록의 출력에 기초하여 획득될 수 있다.
일 예에 따르면, 상기 제1 레이어 블록, 상기 제2 레이어 블록 및 상기 제3 레이어 블록은 CNN(Convolution Neural Network)으로 구현되고, 상기 학습된 인공 지능 모델은, 상기 제1 레이어 블록 및 상기 제2 레이어 블록 사이에 위치된 제1 중간 레이어 및 상기 제2 레이어 블록 및 상기 제3 레이어 블록 사이에 위치된 제2 중간 레이어를 포함하며, 상기 제1 중간 레이어 및 상기 제2 중간 레이어는, RNN(Recurrent Neural Network)으로 구현될 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상이한 시간에 입력된 복수의 터치 입력에 대응되는 정전 용량 정보를 포함하는 복수의 이미지를 획득하고, 상기 복수의 이미지를 상기 학습된 인공 지능 모델로 입력하여 상기 복수의 터이 입력에 대응되는 터치 좌표를 획득할 수 있다. 상기 학습된 인공 지능 모델은, 상기 복수의 이미지가 상기 제1 레이어 블록으로 입력되면, 상기 제1 레이어 블록의 출력을 상기 제1 중간 레이어로 입력하고 상기 제1 중간 레이어의 출력을 상기 제2 레이어 블록으로 입력하며, 상기 제2 레이어 블록의 출력을 상기 제2 중간 레이어로 입력하고 상기 제2 중간 레이어의 출력을 상기 제3 레이어 블록으로 입력하도록 구성될 수 있다.
일 예에 따르면, 상기 학습된 인공 지능 모델은, 상기 제1 중간 레이어의 출력 및 상기 제2 레이어 블록의 출력을 연결(concatenation)하는 제3 연산 블록 및, 상기 제3 레이어 블록의 출력 및 상기 제2 중간 레이어 블럭의 출력을 연결하는 제4 연산 블록을 더 포함하며, 상기 터치 좌표는, 상기 제4 연산 블록의 출력에 기초하여 획득될 수 있다.
일 실시 예에 따른 정전식 터치 스크린을 포함하는 전자 장치의 터치 좌표 획득 방법은, 터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지를 획득하는 단계 및, 상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득하는 단계를 포함할 수 있다. 상기 학습된 인공 지능 모델은, 상기 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 상기 터치 입력에 대응되는 터치 좌표를 출력하도록 학습될 수 있다.
일 실시 예에 따른 전자 장치의 하나 이상의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지를 획득하는 단계, 및 상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득하는 단계를 포함할 수 있다. 상기 학습된 인공 지능 모델은, 상기 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 상기 터치 입력에 대응되는 터치 좌표를 출력하도록 학습될 수 있다.
도 1a 내지 도 1c는 일 실시 예에 따른 정전식 터치 스크린의 동작슬 설명하기 위한 도면들이다.
도 2a는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2b는 일 실시 예에 따른 전자 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 3은 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면이다.
도 4는 일 예에 따른 인공 지능 모델의 구성을 나타내는 도면이다.
도 5는 일 예에 따른 인공 지능 모델의 구성을 나타내는 도면이다.
도 6은 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는 일 실시 예에 따른 커패시티브 이미지의 노이즈 필터링 방법을 설명하기 위한 도면이다.
도 8 및 도 9는 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면들이다.
도 10, 도 11a 및 도 11b은 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면들이다.
도 12는 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면이다.
도 13은 일 예에 따른 인공 지능 모델의 구성을 나타내는 도면이다.
도 14a, 도 14b, 도 15, 도 16, 도 17, 도 18 및 도 19는 일 실시 예에 따른 유즈 케이스를 설명하기 위한 도면들이다.
도 20a 내지 도 20c은 일 실시 예에 따른 침해 적발 방법을 설명하기 위한 도면들이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어(operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1a 내지 도 1c는 일 실시 예에 따른 정전식 터치 스크린의 동작슬 설명하기 위한 도면들이다.
정전식 터치 스크린은 화면 위에 매우 미세한 전류를 흘려 보내고 전도체인 사람의 손가락이 닿으면 발생되는 정전 용량의 변화가 일어난 부분을 전극의 좌표를 이용해 터치 위치를 인식할 수 있다.
일 예에 따르면, 정전식 터치 스크린은 도 1a에서와 같은 전극 패턴 구조를 가질 수 있다. 도 1a에 도시된 격자 무늬의 전극 패턴은 세로 방향 라인(111) 및 가로 방향 라인(112-1, 112-2, 112-3)을 포함한다. 이러한 방식은 전기적 필드(electric field)를 송신하는 송신부, 전기적 필드의 변화를 감지하는 수신부로 구분되어 도체의 접촉에 의한 전기적 필드의 변화를 감지하여 좌표를 검출할 수 있다. 구체적으로, 입력 장치(100) 자체에서 전기적 필드를 출력하면, 전극 패턴에서 전기적 필드의 변화를 감지하게 된다. 만약 손가락의 접촉을 감지하고자 한다면, 교차하는 두 방향의 전극 중, 제1 방향의 전극을 송신부, 제2 방향의 전극을 수신부로 나누어 기능하게 하는 방법을 사용할 수도 있다.
일 예에 따르면 정전식 터치 스크린은 터치의 각 접촉 영역을 추가 입력 처리를 위한 포인트(즉, 터치 좌표)으로 나타낼 수 있다. 다만 입력 타겟 주변에서 다소 간의 오차 오프셋이 발생될 수 있다. 예를 들어, 도 1b에 도시된 바와 같이 사용자 손가락에 의한 터치 영역(10)에서 타겟 터치 위치(10)와 검출된 터치 위치(20) 간 오프셋이 발생될 수 있다. 이러한 오프셋은 터치에 이용되는 손가락 또는 제스처, 터치 습관, 디바이스의 방향, 디바이스를 잡는 습관 등에 따라 달라질 수 있다.
일 예에 따르면, 정전식 터치 스크린 기술의 특성으로 인해 젖은 손으로 터치하는 경우, 빗 속에서 터치하는 경우, 또는 화면 가장자리 근처에서의 터치하는 경우 등에는 터치 성능이 훨씬 더 저하될 수 있다. 예를 들어, 도 1c에 도시된 바와 같이 다양한 케이스의 터치 입력(40, 50, 50, 70, 80)에 있어서, 상측에 도시된 dry 터치 스크린의 경우(41, 51, 61, 71, 81)에 비해 wet 터치 스크린의 경우(42, 52, 62, 72, 82)에 상대적으로 큰 오프셋이 발생될 수 있다. 여기서, dry 터치 스크린은 사용자 손가락 및 터치 스크린 모두에 물기가 없는 경우이고, wet 터치 스크린은 사용자 손가락 또는 터치 스크린 중 적어도 하나에 물기가 있는 경우일 수 있다. 예를 들어, 검지 손가락으로 터치하는 경우(40), 엄지 손가락으로 터치하는 경우(50), 손가락 관절로 터치하는 경우(60), 화면 가장자리를 터치하는 경우(70), 손가락 옆 부분으로 터치하는 경우(80)를 가정한다. 이 경우, dry 터치 스크린의 경우(41, 51, 61, 71, 81)라도, 타겟 터치 위치(41-1, 51-1, 61-1, 71-1, 81-1)와 검출된 터치 위치(42-1, 52-1, 62-1, 72-1, 82-1) 간 오프셋이 발생될 수 있다. 즉, 디바이스를 한 손으로 잡는 경우, 손가락 관절로 터치하는 너클 탭(knuckle tap)과 같은 일반적인지 않은 제스처, 엄지 손가락 및 다른 손가락과 인터렉션하는 동안 다를 수 있는 접촉 형상(contact geometry of touch)에 따라 다양한 오프셋이 발생될 수 있다. 또한, wet 터치 스크린의 경우(42, 52, 62, 72, 82)의 타겟 터치 위치(42-1, 52-1, 62-1, 72-1, 82-1)와 검출된 터치 위치(42-1, 52-1, 62-1, 72-1, 82-1) 간 오프셋은, dry 터치 스크린의 경우(41, 51, 61, 71, 81)의 타겟 터치 위치(41-1, 51-1, 61-1, 71-1, 81-1)와 검출된 터치 위치(42-1, 52-1, 62-1, 72-1, 82-1) 간 오프셋 보다 상대적으로 클 수 있다.
이에 따라 이하에서는 추가 센서 없이 터치 위치 검출의 정확도를 향상시킬 수 있는 다양한 실시 예에 대해 설명하도록 한다.
도 2a는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2a에 따르면 전자 장치(100)은 디스플레이(110), 메모리(120) 및 하나 이상의 프로세서(130)를 포함한다.
전자 장치(100)는 터치 패널, 터치 스크린과 같은 입력 패널로 구현되거나, 터치 패널 또는 터치 스크린을 구비하는 노트북, 랩탑, 휴대폰, 스마트폰, 전자칠판, 디지털 사이니지, PMP, MP3 player, 게임기, 키오스크, 모니터 등과 같은 전자 기기로 구현될 수 있다.
디스플레이(110)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
일 실시 예에 따라 디스플레이(100)는 정전식 터치 스크린을 포함할 수 있다. 일 예에 따라 디스플레이(110)의 전면에는 터치 필름, 터치 시트, 터치 패드 등을 포함할 수 있고, 터치(touch) 동작을 감지하는 터치 센서가 배치되어 다양한 유형의 터치 입력을 감지할 수 있도록 구현될 수 있다. 예를 들어, 디스플레이(110)는 사용자 손가락에 의한 터치 입력, 스타일러스 펜과 같은 입력 장치에 의한 터치 입력, 특정 정전 물질에 의한 터치 입력 등 다양한 유형의 터치 입력을 감지할 수 있다. 일 예에 따라 디스플레이(110)는 평면(flat) 디스플레이, 커브드(curved) 디스플레이, 폴딩(folding) 또는/및 롤링(rolling) 가능한 플렉서블 디스플레이 등으로 구현될 수 있다.
메모리(120)는 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100')에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
하나 이상의 프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 하나 이상의 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 하나 이상의 프로세서(130)는 디스플레이(110) 및 메모리(120)와 전기적으로 연결되어 전자 장치(100))의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다.
하나 이상의 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 전자 장치의 프로세서와 메모리를 통해 동작된다.
하나 이상의 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서로, NPU는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 이상의 프로세서(130)는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 이상의 프로세서(130)는 이외에 메모리(120), 및 프로세서(130)와 메모리(120) 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
전자 장치(100)에 포함된 SoC(System on Chip)에 복수의 프로세서가 포함된 경우, 전자 장치(100)는 복수의 프로세서 중 일부 프로세서를 이용하여 인공지능과 관련된 연산(예를 들어, 인공 지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 전자 장치는 복수의 프로세서 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 전자 장치(100)는 하나의 프로세서에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 전자 장치는 프로세서에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 이상의 프로세서(130)는, 메모리(120)에 저장된 기정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DNN(Deep Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크(Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다. 이하에서는 설명의 편의를 위하여 하나 이상의 프로세서(130)를 프로세서(130)로 명명하도록 한다.
도 2b는 일 실시 예에 따른 전자 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 2b에 따르면, 전자 장치(100')은 디스플레이(110), 메모리(120), 하나 이상의 프로세서(130), 통신 인터페이스(140), 사용자 인터페이스(150), 스피커(160), 센서(170), 카메라(180) 및 마이크(190)를 포함할 수 있다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(140)는 전자 장치(100')의 구현 예에 따라 다양한 인터페이스로 구현될 수 있다. 예를 들어 통신 인터페이스(140)는 블루투스(Bluetooth), AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치, 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등과 통신을 수행할 수 있다. 일 예에 따라 통신 인터페이스(140)는 원격 제어 장치(미도시) 또는/및 원격 제어 기능을 가지는 사용자 단말(미도시)과 통신을 수행할 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린 등으로 구현될 수 있다.
스피커(160)는 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성일 수 있다. 프로세서(130)는 본 개시의 다양한 실시 예에 따른 UI 화면에 대응되는 정보 또는 각종 알림을 오디오 형태로 출력하도록 스피커를 제어할 수 있다.
센서(170)는 터치 센서, 근접 센서, 가속도 센서, 지자기 센서, 자이로 센서, 압력 센서, 위치 센서, 조도 센서 등과 같은 다양한 유형의 센서를 포함할 수 있다.
카메라(180)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(180)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다.
마이크(190)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 다만, 다른 실시 예에 따라 전자 장치(100')는 외부 장치를 통해 입력된 사용자 음성을 통신 인터페이스(150)를 통해 수신할 수 있다.
도 3은 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면이다.
도 3에 도시된 실시 예에 따르면, 프로세서(130)는 터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지를 획득할 수 있다(S310). 정전 용량 정보를 포함하는 이미지(이하, 커패시티브 이미지)는 디스플레이(110)의 전체 영역 또는 일부 영역에 대응되는 정전 용량의 세기를 포함하는 이미지일 수 있다. 여기서, 정전 용량의 세기는 복수의 단계로 구분된 그레이 스케일(gray scale)로 표현될 수 있으나 반드시 이에 한정되는 것은 아니다.
프로세서(130)는 획득된 커패시티브 이미지를 학습된 인공 지능 모델에 입력하여 터치 입력에 대응되는 터치 좌표를 획득할 수 있다(S320). 여기서, 학습된 인공 지능 모델은 CNN(Convolution Neural Network) 또는 RNN(Recurrent Neural Network) 중 적어도 하나로 구현될 수 있으나, 이에 한정되는 것은 아니다. CNN은 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조로 컨벌루션 레이어(Convolution Layer) 및 풀링 레이어(Pooling Layer)(또는 맥스 풀링 레이어(Max Pooling Layer))를 반복적으로 스택(stack)을 쌓는 특징 추출 부분 및 덴스 레이어(Dense Layer)(또는 풀 커넥티드 레이어(Full Connected Layer))를 구성하고 마지막 출력 층에 classification을 위한 소프트맥스(Softmax)를 적용(소프트맥스 레이어)한 분류 부분으로 구분될 수 있다.
RNN은 반복적이고 순차적인 데이터(Sequential data) 학습에 특화된 인공신경망의 한 종류로써 내부의 순환구조가 들어있다는 특징을 가지고 있다. RNN은 순환구조를 이용하여 과거의 학습을 Weight를 통해 현재 학습에 반영할 수 있고, 현재의 학습과 과거의 학습의 연결을 가능하게 하고 시간에 종속된다는 특징을 가질 수 있다.
일 예에 따르면, 학습된 인공 지능 모델(이하, 인공 지능 모델)은, 커패시티브 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 터치 입력에 대응되는 터치 좌표를 출력하도록 학습될 수 있다. 여기서, 터치 상태 정보는 wet 상태 및 dry 상태를 포함할 수 있다. 터치 상태 정보는 터치 스크린의 상태 또는 터치 손가락의 상태 중 적어도 하나에 기초하여 식별될 수 있다. 터치 타입 정보는, 손가락 터치/비손가락 터치의 제1 타입, 전체 손가락 터치/부분 손가락 터치의 제2 타입, 엄지 손가락 터치/다른 손가락 터치의 제3 타입 중 적어도 하나를 포함할 수 있다.
도 4는 일 예에 따른 인공 지능 모델의 구성을 나타내는 도면이다.
일 예에 따라 인공 지능 모델은 도 4에 도시된 바와 같은 CNN으로 구현될 수 있다.
도 4에 따르면 CNN은 제1 레이어 블럭(410), 제2 레이어 블럭(420), 제3 레이어 블럭(430)을 포함할 수 있다. 각 레이어 블럭(410, 420, 430)은 복수의 컨벌루션 레이어를 포함할 수 있다. 또한, 제2 레이어 블럭(420) 및 제3 레이어 블럭(430)은 풀링 레이어를 포함할 수 있다. 그 외, 각 레이어 블럭(410, 420, 430)중 적어도 하나는 덴스 레이어를 더 포함할 수 있다. 컨벌루션 레이어는 주어진 이미지를 합성곱으로 처리해 활성화 함수를 사용해 활성화하는 과정이며, 풀링 레이어는 합성곱으로 처리된 결과를 정해진 단위 별로 모아 특성을 강화시키는 과정이며, 덴스 레이어는 이전 단계의 결과를 벡터화해 최종적으로 출력하고자 하는 결과 사이를 신경망으로 연결해 주는 역할을 할 수 있다.
일 예에 따라 제1 레이어 블럭(410)은 터치 스크린의 상태 정보를 출력하도록 학습될 수 있다. 예를 들어, 제1 레이어 블럭(410)은 wet 상태의 터치 또는 dry 상태의 터치 중 어느 하나의 터치 상태 분류(classification)를 출력하도록 학습된 분류기 블럭으로 구현될 수 있다.
또한, 제2 레이어 블럭(420)은 터치 타입 정보를 출력하도록 학습될 수 있다. 예를 들어, 제2 레이어 블럭(430)은 손가락 터치/비손가락 터치의 제1 타입 분류, 전체 손가락 터치/부분 손가락 터치의 제2 타입 분류, 엄지 손가락 터치/다른 손가락 터치의 제3 타입 분류 중 적어도 하나를 출력하도록 학습된 분류기 블럭으로 구현될 수 있다.
또한, 제3 레이어 블럭(430)은 터치 좌표를 출력하도록 학습될 수 있다.
도 4에 도시된 바와 같이 제1 레이어 블록(410)의 출력은 제2 레이어 블록(420)으로 제공되고, 제2 레이어 블록(420)의 출력은 제3 레이어 블록(430)으로 제공될 수 있다.
일 예에 따르면, 도 4와 같은 CNN으로 커패시티브 이미지가(40)가 입력되면, 터치 좌표(50)가 출력될 수 있다.
도 5는 일 예에 따른 인공 지능 모델의 구성을 나타내는 도면이다.
일 예에 따라 인공 지능 모델은 도 4에 도시된 바와 같은 CNN을 기반으로 구현될 수 있다.
도 5에 따르면 인공 지능 모델(500)은 커패시티브 이미지(40)가 입력되면, 터치 좌표(50)를 출력하도록 구현될 수 있다.
도 5에 따르면 인공 지능 모델(500)은 제1 레이어 블럭(410), 제2 레이어 블럭(420), 제3 레이어 블럭(430)을 포함할 수 있다. 각 레이어 블럭(410, 420, 430)은 복수의 컨벌루션 레이어를 포함할 수 있다. 또한, 제2 레이어 블럭(420) 및 제3 레이어 블럭(430)은 풀링 레이어를 포함할 수 있다. 그 외, 각 레이어 블럭(410, 420, 430)은 FC 레이어(Fully Connected Layer)를 더 포함할 수 있다. 제1 레이어 블럭(410), 제2 레이어 블럭(420), 제3 레이어 블럭(430)의 동작은 도 4에 도시된 구성과 동일하므로 자세한 설명은 생략하도록 한다.
도 5에 도시된 인공 지능 모델(500)은 도 4에 도시된 인공 지능 모델(400)과 비교하여 추가적으로 제1 연산 블럭(510) 및 제2 연산 블럭(520)을 포함할 수 있다. 제1 연산 블럭(510)은 제1 레이어 블록(410)의 출력 및 제2 레이어 블록(420)의 출력을 연결(concatenation)할 수 있다. 즉, 제1 연산 블럭(510)은 제1 레이어 블록(410)의 출력 및 제2 레이어 블록(420)의 출력에 대해 concatenation 연산을 수행할 수 있다. 제2 연산 블럭(530)은 제3 레이어 블록(430)의 출력 및 제1 연산 블록(510)의 출력을 연결(concatenation)할 수 있다. 즉, 제2 연산 블럭(530)은 제3 레이어 블록(430)의 출력 및 제1 연산 블록(510)의 출력에 대해 concatenation 연산을 수행할 수 있다.
도 5에 도시된 인공 지능 모델(500)은에 따르면 터치 입력에 대응되는 터치 좌표(50)는 제2 연산 블럭(530)의 출력에 기초하여 획득될 수 있다.
도 5에 따르면, 제1 레이어 블럭(410)의 출력은 덴스 레이어(dense layer)(530)를 통해 제1 연산 블럭(510)으로 제공되고, 제2 레이어 블럭(420)의 출력은 덴스 레이어(dense layer)(550)를 통해 제1 연산 블럭(510)으로 제공될 수 있다. 또한, 제1 연산 블럭(510)의 출력은 제2 연산 블럭(520)으로 제공되고, 제3 레이어 블럭(430)의 출력은 덴스 레이어(570)을 통해 제2 연산 블럭(520)으로 제공될 수 있다. 또한, 제2 연산 블럭(520)의 출력에 연결된 덴스 레이어(580)를 통해 터치 좌표(50)가 출력될 수 있다.
여기서, 덴스 레이어는 입력과 출력을 연결해주며, 입력과 출력을 각각 연결해주는 가중치를 포함할 수 있다. 일 예에 따라 덴스 레이어의 출력층 이전에 은닉 레이어(Hidden Layer)가 이용될 수 있다.
한편, 제1 레이어 블럭(410)의 덴스 레이어(540)를 통해 획득되는 출력 즉, 터치 상태 정보(60) 및 제1 연산 블럭(510)의 덴스 레이어(560)를 통해 획득되는 출력, 즉, 터치 타입 정보(70)는 여러 가지 형태로 응용될 수 있다. 예를 들어, 사용자 터치 습관을 판단하거나, 사용자 알림 제공에 이용될 수 있다. 여기서, 제1 레이어 블럭(410)의 덴스 레이어(540)은 덴스 레이어(530)와 동일할 수 있으나, 각 연결 관계를 명확히 하기 위하여 다른 식별 부호로 도시하였다.
상술한 바에 따르면, 덴스 레이어를 통한 덴스 벡터는 각 레이어 블럭을 통과한 representation vector와 concatenation 될 수 있다. 이와 같이 이전 분류기 블록으로부터의 임베딩(embedding), 즉 덴스 벡터를 이용하면 다음 분류기 블록의 정확도가 향상될 수 있다.
일 예에 따라 제1 레이어 블럭(410)은 터치 상태 정보를 출력하도록 학습될 수 있다, 또한, 제2 레이어 블럭(420)은 터치 타입 정보를 출력하도록 학습될 수 있다. 또한, 제3 레이어 블럭(430)은 터치 좌표를 출력하도록 학습될 수 있다. 도 4에 도시된 바와 같이 제1 레이어 블록(410)의 출력은 제2 레이어 블록(420)으로 제공되고, 제2 레이어 블록(420)의 출력은 제3 레이어 블록(430)으로 제공될 수 있다.
일 실시 예에 따라 프로세서(130)는 커패시티브 이미지를 전처리하여 전처리 이미지를 획득하고, 획득된 전처리 이미지를 학습된 인공 지능 모델에 입력할 수 있다. 여기서, 전처리는 노이즈 필터링 처리, 세그먼테이션 처리 또는 방향 회전 처리 중 적어도 하나의 처리를 포함할 수 있다.
도 6은 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면이다.
도 6에 도시된 실시 예에 따르면, 프로세서(130)는 터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지(이하, 커패시티브 이미지)를 획득할 수 있다(S610).
프로세서(130)는 획득된 커패시티브 이미지에 노이즈 필터링을 적용하여 전처리 이미지를 획득할 수 있다(S620). 이 경우, 기존의 다양한 노이즈 필터링 방법이 적용될 수 있다.
프로세서(130)는 전처리 이미지를 학습된 인공 지능 모델에 입력하여 터치 입력에 대응되는 터치 좌표를 획득할 수 있다(S630). 예를 들어, 학습된 인공 지능 모델은 도 4 또는 도 5에 도시된 바와 같이 구현될 수 있다.
도 7a 및 도 7b는 일 실시 예에 따른 커패시티브 이미지의 노이즈 필터링 방법을 설명하기 위한 도면이다.
일 예에 따라 도 7a에 도시된 바와 같이 커패시티브 이미지(711, 712)에 대한 노이즈 필터링을 적용하면, 노이즈가 제거된 커패시티브 이미지(712, 722)를 획득할 수 있다. 예를 들어, Mean filter, Median Filter, Order Statistics Filter, Adaptive Filter 중 적어도 하나의 필터를 이용한 노이즈 필터링이 이용될 수 있다. 한편 노이즈의 유형은 다양할 수 있으며 노이즈에 유형에 따라 적용되는 노이즈 필터링 방법이 상이할 수도 있다.
한편, 터치에 의해 발생하는 노이즈는 동일한 주기적인 구조(periodical structure)(패턴)를 가질 수 있다. 이에 따라 도 7b에 도시된 바와 같이 커패시티브 이미지(711, 712)에 대해 2차원 푸리에 변환 및 추가 이미지 복원을 수행하여 노이즈가 제거된 커패시티브 이미지(713, 723)를 획득할 수도 있다. 2차원 푸리에 변환은 이미지를 x축 또는 y축 방향으로 따라가면서 픽셀의 밝기 변화를 파형 또는 신호로 보고 주파수 분석을 적용하는 것으로, 푸리에 변환을 통해 얻은 각 주파수 성분의 강도를 스펙트럼(spectrum)이라고 명칭하며 이 스펙트럼도 이미지처럼 표현이 가능하다. 예를 들어, 도 7b에 도시된 바와 같이 커패시티브 이미지(711, 712)를 주파수 도메인(frequency domain) 이미지로 변환한 후, 노이즈를 제거할 수 있다. 즉, 주파수 영역을 나타내는 스펙트럼 이미지에서 노이즈 부분에 해당하는 부분(예를 들어, 고주파 영역이나 저주파 영역)을 제거하여 개선된 이미지를 획득할 수 있게 된다.
도 8 및 도 9는 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면들이다.
도 8에 도시된 실시 예에 따르면, 프로세서(130)는 터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지(이하, 커패시티브 이미지)를 획득할 수 있다(S810).
이어서, 프로세서(130)는 획득된 커패시티브 이미지에 노이즈 필터링을 적용하여 이미지를 획득할 수 있다(S820). 이 경우, 도 6, 도 7a 및 도 7b에서 설명한 바와 같은 다양한 노이즈 필터링 방법이 적용될 수 있다.
이어서, 프로세서(130)는 S820 단계에서 획득된 이미지를 복수의 영역으로 세그먼테이션하여 전처리 이미지를 획득할 수 있다(S830). 예를 들어, 도 9에 도시된 바와 같이 커패시티브 이미지(910)에서 정전 용량 값이 임계 값 이상인 영역을 세그먼트하고(920), 세그먼트된 각 영역에 대한 정전 용량 값을 포함하는 전처리 이미지(930, 940)를 획득할 수 있다. 일 예에 따라 최대 크기 값을 가지는 픽셀로부터 영역 확장(Pal, N. R., & Pal, S. K. (1993). A review on image segmentation techniques. Pattern recognition, 26(9), 1277-1294), Otsu thresholding을 이용하는 이진화(Otsu, N. (1979). A threshold selection method from gray-level histograms. IEEE transactions on systems, man, and cybernetics, 9(1), 62-66)등의 방법이 이용될 수 있다. 그 외, 그레이 스케일 이미지의 세그먼테이션을 위한 다양한 방법이 S830 단계에서 이용될 수 있다.
프로세서(130)는 전처리 이미지를 학습된 인공 지능 모델에 입력하여 터치 입력에 대응되는 터치 좌표를 획득할 수 있다(S840). 예를 들어, 학습된 인공 지능 모델은 도 4 또는 도 5에 도시된 바와 같이 구현될 수 있다.
도 10, 도 11a 및 도 11b은 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면들이다.
도 10에 도시된 실시 예에 따르면, 프로세서(130)는 전자 장치(100)가 제1 방향으로 위치한 상태에서 커패시티브 이미지가 획득되면(S1010:Y), 커패시티브 이미지에 대해 노이즈 필터링을 적용하여 전처리 이미지를 획득할 수 있다(S1020). 여기서, 제1 방향은 세로 방향(또는 portrait orientation)일 수 있다. 예를 들어, 도 11a에 도시된 바와 같이 스마트폰으로 구현되는 전자 장치(100)가 세로 방향으로 위치한 상태(예를 들어, 사용자가 세로 방향으로 잡고 있는 상태)에서 입력된 터치에 따라 세로 방향의 커패시티브 이미지(41)가 획득되면, 커패시티브 이미지(41)의 방향 회전이 필요하지 않게 된다. 이는 화면에 제공되는 콘텐츠(예를 들어, 어플리케이션 아이콘)가 커패시티브 이미지(41)와 동일한 방향이기 때문이다.
반면, 프로세서(130)는 전자 장치(100)가 제1 방향과 상이한 제2 방향으로 위치한 상태에서 커패시티브 이미지가 획득되면(S1030:Y), 커패시티브 이미지에 대해 노이즈 필터링을 적용하고 노이즈 필터링이 적용된 이미지를 제1 방향, 콘텐츠(예를 들어, 어플리케이션 아이콘)의 방향과 동일한 방향으로 회전시켜 전처리 이미지를 획득할 수 있다(S1040). 여기서, 제2 방향은 가로 방향(또는 landscape orientation)일 수 있다. 예를 들어, 도 11b에 도시된 바와 같이 스마트폰으로 구현되는 전자 장치(100)가 가로 방향으로 위치한 상태(예를 들어, 사용자가 가로 방향으로 잡고 있는 상태)에서 입력된 터치에 따라 가로 방향의 커패시티브 이미지(42)가 획득되면 커패시티브 이미지(42)에 대한 방향 회전이 필요하게 된다. 이는 화면에 제공되는 콘텐츠(예를 들어, 어플리케이션 아이콘)가 커패시티브 이미지(42)와 다른 방향이기 때문이다.
한편, 필요에 따라 도 8 및 도 9에서 설명한 세그먼테이션도 전처리의 일부로 적용될 수 있음은 물론이다.
도 12는 일 실시 예에 따른 터치 좌표 획득 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 프로세서(130)는 상이한 시간에 입력된 복수의 터치 입력에 대응되는 정전 용량 정보를 포함하는 복수의 이미지 즉, 복수의 커패시티브를 획득하고, 복수의 커패시티브 이미지를 학습된 인공 지능 모델(이하, 인공 지능 모델)로 입력하여 복수의 터치 입력에 대응되는 터치 좌표를 획득할 수 있다.
도 12에 도시된 실시 예에 따르면, 프로세서(130)는 제1 터치 입력에 대응되는 정전 용량 정보를 포함하는 제1 이미지 즉, 제1 커패시티브 이미지를 획득할 수 있다(S1210).
이어서, 프로세서(130)는 제1 터치 입력과 상이한 시간에 입력된 제2 터치 입력에 대응되는 정전 용량 정보를 포함하는 제2 이미지 즉, 제2 커패시티브 이미지를 획득할 수 있다(S1220).
이 후, 프로세서(130)는 제1 커패시티브 이미지 및 제2 커패시티브 이미지를 학습된 인공 지능 모델에 입력하여 제1 터치 입력 및 제2 터치 입력 각각에 대응되는 터치 좌표를 획득할 수 있다(S1230).
일 예에 따르면, 인공 지능 모델은, 제1 레이어 블록, 제2 레이어 블록 및 제3 레이어 블록 뿐 아니라, 제1 레이어 블록 및 제2 레이어 블록 사이에 위치된 제1 중간 레이어 및 제2 레이어 블록 및 제3 레이어 블록 사이에 위치된 제2 중간 레이어를 포함할 수 수 있다. 예를 들어, 제1 레이어 블록, 제2 레이어 블록 및 제3 레이어 블록은 도 4에 도시된 바와 같이 CNN(Convolution Neural Network)으로 구현되고, 제1 중간 레이어 및 제2 중간 레이어는, RNN(Recurrent Neural Network)으로 구현될 수 있다. RNN은 순환구조를 이용하여 과거의 학습을 Weight를 통해 현재 학습에 반영할 수 있고 현재의 학습과 과거의 학습의 연결을 가능하게 하고 시간에 종속된다는 특징을 가질 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 중간 레이어 및 제2 중간 레이어는, 예를 들어, attention mechanism을 가지는 biLSTM 또는 biGRU와 같은 다른 시간 종속 레이어나, attention layer을 가지는 인코더(예를 들어, Transformer architectur)로 구현 가능하다.
일 예에 따라, 인공 지능 모델은, 복수의 이미지가 제1 레이어 블록으로 입력되면, 제1 레이어 블록의 출력을 제1 중간 레이어로 입력하고 제1 중간 레이어의 출력을 제2 레이어 블록으로 입력하며, 제2 레이어 블록의 출력을 제2 중간 레이어로 입력하고 제2 중간 레이어의 출력을 제3 레이어 블록으로 입력하도록 구성될 수 있다.
또한, 인공 지능 모델은, 제1 중간 레이어의 출력 및 제2 레이어 블록의 출력을 연결(concatenation)하는 제3 연산 블록 및, 제3 레이어 블록의 출력 및 상기 제2 중간 레이어 블럭의 출력을 연결하는 제4 연산 블록을 더 포함할 수 있다. 이 경우, 터치 입력에 대응되는 터치 좌표는, 제4 연산 블록의 출력에 기초하여 획득될 수 있다.
도 13은 일 예에 따른 인공 지능 모델의 구성을 나타내는 도면이다.
일 실시 예에 따르면, 인공 지능 모델은 시간 종속 피쳐 블럭(time-dependent feature block)을 포함할 수 있다. 예를 들어, 커패시티브 이미지를 통해 획득된 다양한 정보는 시간 종속 피쳐 블럭을 이용하여 타임 라인에 따라 축적되어 터치 입력의 정확도를 향상시킬 수 있다. 예를 들어, move action, hover touch action 등에 대한 정확도를 향상시킬 수 있고, touch down action 에 대해서도 더욱더 정확도를 향상시킬 수 있다.
도 13에 따르면, 인공 지능 모델(1300)은 도 5에 도시된 바와 같은 구성들(410, 420, 430, 510, 520, 530, 540, 550, 560, 580)) 외에 시간 종속 피쳐 블럭들(1310, 1320)을 포함할 수 있다. 여기서, 시간 종속 피쳐 블럭들(1310, 1320)은 RNN 레이어로 구현될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, attention mechanism을 가지는 biLSTM 또는 biGRU와 같은 다른 시간 종속 레이어나, attention layer을 가지는 인코더(예를 들어, Transformer architectur)로 구현 가능하다. 이하에서는 설명의 편의를 위하여 간 종속 피쳐 블럭들(1310, 1320)은 RNN 레이어로 구현되는 것으로 상정하도록 한다.
도 13에 도시된 인공 지능 모델(1300)에 따르면, 타임 라인에 따라 획득된 복수의 커패시티브 이미지(41, 42, 43...)가 입력되면, 복수의 커패시티브 이미지(41, 42, 43...) 각각에 대해 제1 레이어 블럭(410)의 출력은 덴스 레이어(dense layer)(530)를 통해 제1 RNN 레이어(1310)로 제공될 수 있다. 여기서, 설명의 편의를 위하여 제1 RNN 레이어(1310)의 마지막 출력을 별도의 RNN 레이어(1311)로 도시하였다.
복수의 커패시티브 이미지(41, 42, 43...) 각각에 대해 제1 RNN 레이어(1310)의 출력은 제1 연산 블럭(510)으로 제공되고, 제2 레이어 블럭(420)의 출력은 덴스 레이어(dense layer)(550)를 통해 제1 연산 블럭(510)으로 제공될 수 있다.
또한, 복수의 커패시티브 이미지(41, 42, 43...) 각각에 대해 제1 연산 블럭(510)의 출력은 제2 RNN 레이어(1320)로 제공될 수 있다. 여기서, 설명의 편의를 위하여 제2 RNN 레이어(1320)의 마지막 출력을 별도의 RNN 레이어(1312)로 도시하였다.
복수의 커패시티브 이미지(41, 42, 43...) 각각에 대해 제2 RNN 레이어(1320)의 출력은 제2 연산 블럭(520)으로 제공되고, 제3 레이어 블럭(430)의 출력은 덴스 레이어(570)을 통해 제2 연산 블럭(520)으로 제공될 수 있다.
또한, 복수의 커패시티브 이미지(41, 42, 43...) 각각에 대해 제2 연산 블럭(520)의 출력에 연결된 덴스 레이어(580)를 통해 터치 좌표(51, 52, 53...)가 출력될 수 있다.
한편, 복수의 커패시티브 이미지(41, 42, 43...) 각각에 대해 제1 레이어 블럭(410)의 덴스 레이어(540)를 통해 획득되는 출력 즉, 복수의 터치 상태 정보(61, 62, 63) 및 제1 연산 블럭(510)의 덴스 레이어(560)를 통해 획득되는 출력, 즉, 복수의 터치 타입 정보(71, 72, 73..)는 여러 가지 형태로 응용될 수 있다. 예를 들어, 사용자 터치 습관을 판단하거나, 사용자 알림 제공에 이용될 수 있다.
도 14a, 도 14b, 도 15, 도 16, 도 17, 도 18 및 도 19는 일 실시 예에 따른 유즈 케이스를 설명하기 위한 도면들이다.
도 14a, 도 14b, 도 15, 도 16, 도 17, 도 18 및 도 19에서는 전자 장치(100)가 스마트폰으로 구현되는 경우를 상정하도록 한다.
도 14a 내지 도 14c에 따르면, 전자 장치(100)의 화면 크기에 따라 화면(특히, 작은 화면)에 표시되는 인터렉티브 컨텐츠의 크기는 작을 수 있다. 예를 들어, 도 14a에 도시된 바와 같은 연락처 리스트를 탐색하기 위한 알파벳 리스트(1410), 도 14b에 도시된 바와 같은 재생 바(1420), 도 14c에 도시된 바와 같은 화면 선택 인디케이터(1430) 등의 크기는 다른 컨텐츠들에 비해 상대적으로 작을 수 있다. 이 경우 사용자는 원하는 결과를 획득하기 위하여 화면의 정확한 영역을 터치해야 한다. 하지만, 손가락이 두꺼운 사용자(fat finger user)는 원하는 영역을 정확히 터치하기 어렵다는 문제가 있다. 하지만, 본 개시에 따르면, 정확하지 못한 터치 및 미스클릭(misclicks) 등로 발생할 수 있는 문제를 방지할 수 있으므로 사용자의 UX 경험을 향상시킬 수 있게 된다.
도 15에 따르면, 사용자의 터치 유형이 일반적이지 않은 경우가 있을 수 있다. 일 예에 따라 사용자가 평소처럼 화면을 탭할 수 없는 경우 너클 탭(knuckle tap)을 이용하여 아이템(1510)을 터치하는 경우가 있을 수 있다. 예를 들어 손이 더러운 경우, 손가락이 젖은 경우 등에 사용자는 너클 탭으로 화면을 터치할 수 있다. 더러운 손으로 화면을 터치하는 경우 디스플레이의 오염, 디스플레이 잠재적 손상 등으로 이어질 수 있고 손가락 끝으로 터치하는 경우보다 장치를 보다 생산적으로 이용할 수 있기 때문이다.
본 개시에 따르면, 이와 같이 일반적이지 않은 유형의 터치에도 정확한 터치 위치를 획득할 수 있게 된다.
도 16에 따르면, wet condition(예를 들어, 비가 오는 상황, 젖은 손가락으로 터치하는 경우)에서 터치 입력에 문제가 있을 수 있다. 물은 전기를 위한 또 다른 채널을 제공하여 부정확한 터치(예를 들어,손가락과 화면 사이의 물이 터치 영역을 증가시키고 불규칙한 입력을 유발함)를 발생시키고, 사용자가 장치와 인터렉션하지 않는 경우에는 '고스트 터치(ghost touches)'의 원인이 될 수 있다. 이러한 wet condition은 스와이프(Swype) 입력, 글라이드(Glide) 입력), 또는 그 밖에 다른 연속적(continuous) 입력 등을 이용하는 시나리오에서 특히 두드러질 수 있다.
본 개시에 따르면, 손가락에 물이 남아 있거나 비가 오는 경우에도 정확한 터치 위치를 획득할 수 있게 된다.
도 17에 따르면, 화면 가장자리의 UI 요소(예를 들어, 가장자리에 위치하는 메뉴)(1710)는 화면의 메인 영역에 콘텐츠를 위한 더 많은 공간을 남길 수 있으므로 장치의 사용성을 확장할 수 있다. 사용자가 화면 가장자리에서 인터렉션하는 동안 손가락의 일부만 화면 영역을 커버하기 때문에 정확한 입력을 얻기 위해 일반적으로 화면 가장자리와 UI 요소 사이에 마진 영역이 필요하게 된다. 결과적으로 UI 요소는 화면에서 더 많은 공간을 차지하게 된다.
하지만, 본 개시에 따르면 마진 영역을 추가하지 않고 화면 가장자리 근처에 위치하는 UI 요소에 대한 인터렉션 정확도를 향상시킬 수 있게 된다.
도 18에 따르면, 사용자는 다양한 손 자세(hand postures)를 이용하여 장치를 잡고 인터렉션할 수 있다. 동시에, 사용자는 한 손으로 들고 있는 장치와의 인터렉션에 있어, 다른 물건(예를 들어, 가방 또는 열쇠)으로 인해 방해를 받을 수 있다. 이 경우, 타겟 UI 요소가 터치 가능한 손가락의 반대 측에 위치하는 경우 사용자가 해당 위치로 손가락을 드래그해야 하며 상대적으로 큰 화면에서는 터치가 어려울 수 있다. 예를 들어, 이 경우의 터치는 다른 터치 입력 케이스에 비해 터치치 면적이 넓어 입력 정확도가 떨어질 수 있다.
하지만, 본 개시에 따르면 사용자가 장치를 한손으로 잡고 터치하는 경우에도 UI 요소에 대한 인터렉션 정확도를 향상시킬 수 있게 된다.
도 19에 따르면, 사용자 손톱의 길이는 손가락이 화면에 닿는 각도에 직접적인 영향을 미칠 수 있다. 긴 손톱의 경우 손가락 끝보다 더 큰 접촉면을 제공하는 손가락 패드(finger pad)로 화면을 터치하게 되며, 입력 정확도가 떨어질 수 있다. 정확도 향상을 위한 솔루션으로 웨어러블 액세서리(예를 들어, 특수 전도성 소재로 제작된 웨어러블 핑거 스타일러스, 네일 스타일러스 팁 등)가 사용되기도 하지만, 해당 액세서리의 착용은 불편을 초래하게 된다.
하지만, 본 개시에 따르면 웨어러블 액세서리을 사용자지 않더라고 긴 손톱을 가진 사용자의 인터렉션 정확도를 향상시킬 수 있게 된다.
도 20a 내지 도 20c은 일 실시 예에 따른 침해 적발 방법을 설명하기 위한 도면들이다.
도 20a에 따르면, 대상 기기(200)의 터치 위치(2011) 위에 십자선을 표시하고, 도 20b에 도시된 바와 같이 손가락과의 접촉으로부터 터치 스크린을 격리할 수 있는 얇은 유전체 재료(예를 들어, 플라스틱)의 유전체 시트(2020)를 준비할 수 있다. 이 경우, 유전체 시트(2020)에는 동일한 십자선(2021)이 표시되어 있어야 한다.
도 20c에 도시된 바와 같이 유전체 시트(2020)로 대상 기기(200)를 덮고, 유전체 시트(2020)의 십자선이 장치에 표시된 십자선과 일치하도록 할 수 있다. 이 경우, 십자선의 중심은 마진을 두고 위치해야 하므로 타겟 터치 위치를 조준할 때 손가락으로 화면을 부분적으로 터치할 수 있다. 타겟 터치 위치(2011) 및 검출된 터치 위치(2031)이 일치하면 제안된 방법에 대한 침해가 성립된 것으로 판단할 수 있다. 만약 제안된 방법을 이용하지 않는 경우, 도 20c에 도시된 바와 같이 검출된 터치 위치(2031)는 손가락으로 덮인 화면 영역(2040)의 geometric center에 위치할 수 있게 된다.
상술한 다양한 실시 예들에 따르면, 추가 센서 없이 터치 위치 검출의 정확도를 향상시킬 수 있게 되므로 비용을 절감하면서 사용자의 UX 경험을 향상시킬 수 있게 된다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 디스플레이
120: 하나 이상의 프로세서 130: 메모리

Claims (20)

  1. 전자 장치에 있어서,
    정전식 터치 스크린을 포함하는 디스플레이;
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 디스플레이 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서;를 포함하며,
    상기 하나 이상의 프로세서는,
    상기 적어도 하나의 명령어를 실행함으로써,
    터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지를 획득하고,
    상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득하며,
    상기 학습된 인공 지능 모델은,
    상기 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 상기 터치 입력에 대응되는 터치 좌표를 출력하도록 학습된, 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 획득된 이미지에 대해 노이즈 필터링을 적용하여 전처리 이미지를 획득하고,
    상기 전처리 이미지를 상기 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득하는, 전자 장치.
  3. 제2항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 노이즈 필터링이 적용된 이미지를 복수의 영역으로 세그먼테이션하여 상기 복수의 영역에 대응되는 그레이 레벨 정보를 포함하는 상기 전처리 이미지를 획득하고,
    상기 전처리 이미지를 상기 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표 정보를 획득하는, 전자 장치.
  4. 제2항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 전자 장치가 제1 방향으로 위치한 상태에서 상기 이미지가 획득되면, 상기 이미지에 대해 노이즈 필터링을 적용하여 상기 전처리 이미지를 획득하고,
    상기 전자 장치가 상기 제1 방향과 상이한 제2 방향으로 위치한 상태에서 상기 이미지가 획득되면, 상기 이미지에 대해 노이즈 필터링을 적용하고 상기 노이즈 필터링이 적용된 이미지를 상기 제1 방향으로 회전시켜 상기 전처리 이미지를 획득하는, 전자 장치.
  5. 제1항에 있어서,
    상기 학습된 인공 지능 모델은,
    터치 상태 정보를 출력하도록 학습된 제1 레이어 블록, 터치 타입정보를 출력하도록 학습된 제2 레이어 블록 및 터치 좌표를 출력하도록 학습된 제3 레이어 블록을 포함하며,
    상기 제1 레이어 블록의 출력은 상기 제2 레이어 블록으로 제공되고, 상기 제2 레이어 블록의 출력은 상기 제3 레이어 블록으로 제공되도록 구성된, 전자 장치.
  6. 제5항에 있어서,
    상기 제1 레이어 블록은,
    wet 상태 및 dry 상태 중 어느 하나의 터치 상태 정보를 출력하도록 학습되며,
    상기 제2 레이어 블록은,
    손가락 터치 또는 비손가락 터치의 제1 타입 정보, 전체 손가락 터치 또는 부분 손가락 터치의 제2 타입 정보, 및 엄지 손가락 터치 또는 다른 손가락 터치의 제3 타입 정보 중 적어도 하나의 터치 타입 정보를 출력하도록 학습된, 터치 좌표 획득 방법.
  7. 제5항에 있어서,
    상기 학습된 인공 지능 모델은,
    상기 제1 레이어 블록의 출력 및 상기 제2 레이어 블록의 출력을 연결(concatenation)하는 제1 연산 블록 및, 상기 제3 레이어 블록의 출력 및 상기 제1 연산 블록의 출력을 연결하는 제2 연산 블록을 더 포함하며,
    상기 터치 좌표는,
    상기 제2 연산 블록의 출력에 기초하여 획득되는, 전자 장치.
  8. 제5항에 있어서,
    상기 제1 레이어 블록, 상기 제2 레이어 블록 및 상기 제3 레이어 블록은 CNN(Convolution Neural Network)으로 구현되고,
    상기 학습된 인공 지능 모델은,
    상기 제1 레이어 블록 및 상기 제2 레이어 블록 사이에 위치된 제1 중간 레이어 및 상기 제2 레이어 블록 및 상기 제3 레이어 블록 사이에 위치된 제2 중간 레이어를 포함하며,
    상기 제1 중간 레이어 및 상기 제2 중간 레이어는,
    RNN(Recurrent Neural Network)으로 구현되는, 전자 장치.
  9. 제8항에 있어서,
    상기 하나 이상의 프로세서는,
    상이한 시간에 입력된 복수의 터치 입력에 대응되는 정전 용량 정보를 포함하는 복수의 이미지를 획득하고,
    상기 복수의 이미지를 상기 학습된 인공 지능 모델로 입력하여 상기 복수의 터이 입력에 대응되는 터치 좌표를 획득하며,
    상기 학습된 인공 지능 모델은,
    상기 복수의 이미지가 상기 제1 레이어 블록으로 입력되면, 상기 제1 레이어 블록의 출력을 상기 제1 중간 레이어로 입력하고 상기 제1 중간 레이어의 출력을 상기 제2 레이어 블록으로 입력하며, 상기 제2 레이어 블록의 출력을 상기 제2 중간 레이어로 입력하고 상기 제2 중간 레이어의 출력을 상기 제3 레이어 블록으로 입력하도록 구성된, 전자 장치.
  10. 제9항에 있어서,
    상기 학습된 인공 지능 모델은,
    상기 제1 중간 레이어의 출력 및 상기 제2 레이어 블록의 출력을 연결(concatenation)하는 제3 연산 블록 및, 상기 제3 레이어 블록의 출력 및 상기 제2 중간 레이어 블럭의 출력을 연결하는 제4 연산 블록을 더 포함하며,
    상기 터치 좌표는,
    상기 제4 연산 블록의 출력에 기초하여 획득되는, 전자 장치.
  11. 정전식 터치 스크린을 포함하는 전자 장치의 터치 좌표 획득 방법에 있어서,
    터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지를 획득하는 단계; 및
    상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득하는 단계;를 포함하며,
    상기 학습된 인공 지능 모델은,
    상기 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 상기 터치 입력에 대응되는 터치 좌표를 출력하도록 학습된, 터치 좌표 획득 방법.
  12. 제11항에 있어서,
    상기 획득된 이미지에 대해 노이즈 필터링을 적용하여 전처리 이미지를 획득하는 단계;를 더 포함하고,
    상기 터치 좌표를 획득하는 단계는,
    상기 전처리 이미지를 상기 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득하는, 터치 좌표 획득 방법.
  13. 제12항에 있어서,
    상기 전처리 이미지를 획득하는 단계는,
    상기 노이즈 필터링이 적용된 이미지를 복수의 영역으로 세그먼테이션하여 상기 복수의 영역에 대응되는 그레이 레벨 정보를 포함하는 상기 전처리 이미지를 획득하는 단계;를 더 포함하며,
    상기 터치 좌표를 획득하는 단계는,
    상기 전처리 이미지를 상기 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표 정보를 획득하는, 터치 좌표 획득 방법.
  14. 제12항에 있어서,
    상기 전처리 이미지를 획득하는 단계는,
    상기 전자 장치가 제1 방향으로 위치한 상태에서 상기 이미지가 획득되면, 상기 이미지에 대해 노이즈 필터링을 적용하여 상기 전처리 이미지를 획득하는 단계; 및
    상기 전자 장치가 상기 제1 방향과 상이한 제2 방향으로 위치한 상태에서 상기 이미지가 획득되면, 상기 이미지에 대해 노이즈 필터링을 적용하고 상기 노이즈 필터링이 적용된 이미지를 상기 제1 방향으로 회전시켜 상기 전처리 이미지를 획득하는 단계;를 포함하는, 터치 좌표 획득 방법.
  15. 제11항에 있어서,
    상기 학습된 인공 지능 모델은,
    터치 상태 정보를 출력하도록 학습된 제1 레이어 블록, 터치 타입정보를 출력하도록 학습된 제2 레이어 블록 및 터치 좌표를 출력하도록 학습된 제3 레이어 블록을 포함하며,
    상기 제1 레이어 블록의 출력은 상기 제2 레이어 블록으로 제공되고, 상기 제2 레이어 블록의 출력은 상기 제3 레이어 블록으로 제공되도록 구성된, 터치 좌표 획득 방법.
  16. 제15항에 있어서,
    상기 제1 레이어 블록은,
    wet 상태 및 dry 상태 중 어느 하나의 터치 상태 정보를 출력하도록 학습되며,
    상기 제2 레이어 블록은,
    손가락 터치 또는 비손가락 터치의 제1 타입 정보, 전체 손가락 터치 또는 부분 손가락 터치의 제2 타입 정보, 및 엄지 손가락 터치 또는 다른 손가락 터치의 제3 타입 정보 중 적어도 하나의 터치 타입 정보를 출력하도록 학습된, 터치 좌표 획득 방법.
  17. 제15항에 있어서,
    상기 학습된 인공 지능 모델은,
    상기 제1 레이어 블록의 출력 및 상기 제2 레이어 블록의 출력을 연결(concatenation)하는 제1 연산 블록 및, 상기 제3 레이어 블록의 출력 및 상기 제1 연산 블록의 출력을 연결하는 제2 연산 블록을 더 포함하며,
    상기 터치 좌표는,
    상기 제2 연산 블록의 출력에 기초하여 획득되는, 터치 좌표 획득 방법.
  18. 제15항에 있어서,
    상기 제1 레이어 블록, 상기 제2 레이어 블록 및 상기 제3 레이어 블록은 CNN(Convolution Neural Network)으로 구현되고,
    상기 학습된 인공 지능 모델은,
    상기 제1 레이어 블록 및 상기 제2 레이어 블록 사이에 위치된 제1 중간 레이어 및 상기 제2 레이어 블록 및 상기 제3 레이어 블록 사이에 위치된 제2 중간 레이어를 포함하며,
    상기 제1 중간 레이어 및 상기 제2 중간 레이어는,
    RNN(Recurrent Neural Network)으로 구현되는, 터치 좌표 획득 방법.
  19. 제15항에 있어서,
    상기 이미지를 획득하는 단계는,
    상이한 시간에 입력된 복수의 터치 입력에 대응되는 정전 용량 정보를 포함하는 복수의 이미지를 획득하는 단계;를 포함하고,
    상기 터치 좌표를 획득하는 단계
    상기 복수의 이미지를 상기 학습된 인공 지능 모델로 입력하여 상기 복수의 터이 입력에 대응되는 터치 좌표를 획득하는 단계;를 포함하며,
    상기 학습된 인공 지능 모델은,
    상기 복수의 이미지가 상기 제1 레이어 블록으로 입력되면, 상기 제1 레이어 블록의 출력을 상기 제1 중간 레이어로 입력하고 상기 제1 중간 레이어의 출력을 상기 제2 레이어 블록으로 입력하며, 상기 제2 레이어 블록의 출력을 상기 제2 중간 레이어로 입력하고 상기 제2 중간 레이어의 출력을 상기 제3 레이어 블록으로 입력하도록 구성된, 터치 좌표 획득 방법.
  20. 전자 장치의 하나 이상의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서,
    상기 동작은,
    터치 입력에 대응되는 정전 용량(capacitive) 정보를 포함하는 이미지를 획득하는 단계; 및
    상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 터치 입력에 대응되는 터치 좌표를 획득하는 단계;를 포함하며,
    상기 학습된 인공 지능 모델은,
    상기 이미지로부터 식별된 터치 상태 정보 및 터치 타입 정보에 기초하여 상기 터치 입력에 대응되는 터치 좌표를 출력하도록 학습된, 비일시적 컴퓨터 판독 가능 매체.
























KR1020220141497A 2022-10-28 2022-10-28 전자 장치 및 그 터치 좌표 획득 방법 KR20240062249A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220141497A KR20240062249A (ko) 2022-10-28 2022-10-28 전자 장치 및 그 터치 좌표 획득 방법
PCT/KR2023/011374 WO2024090745A1 (ko) 2022-10-28 2023-08-02 전자 장치 및 그 터치 좌표 획득 방법
US18/376,058 US20240143110A1 (en) 2022-10-28 2023-10-03 Electronic apparatus and method of acquiring touch coordinates thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220141497A KR20240062249A (ko) 2022-10-28 2022-10-28 전자 장치 및 그 터치 좌표 획득 방법

Publications (1)

Publication Number Publication Date
KR20240062249A true KR20240062249A (ko) 2024-05-09

Family

ID=90831232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220141497A KR20240062249A (ko) 2022-10-28 2022-10-28 전자 장치 및 그 터치 좌표 획득 방법

Country Status (3)

Country Link
US (1) US20240143110A1 (ko)
KR (1) KR20240062249A (ko)
WO (1) WO2024090745A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542045B2 (en) * 2012-03-14 2017-01-10 Texas Instruments Incorporated Detecting and tracking touch on an illuminated surface using a mean-subtracted image
US10088947B2 (en) * 2016-03-25 2018-10-02 Sensel Inc. System and method for detecting and characterizing force inputs on a surface
JP2019156263A (ja) * 2018-03-15 2019-09-19 株式会社東海理化電機製作所 操作位置検出装置
WO2021026365A1 (en) * 2019-08-07 2021-02-11 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Touch-sensing via excitation of a surface with a waveform
JP2021071830A (ja) * 2019-10-30 2021-05-06 富士電機株式会社 静電容量型タッチパネル

Also Published As

Publication number Publication date
US20240143110A1 (en) 2024-05-02
WO2024090745A1 (ko) 2024-05-02

Similar Documents

Publication Publication Date Title
US10572072B2 (en) Depth-based touch detection
EP3167352B1 (en) Touch classification
US10001838B2 (en) Feature tracking for device input
US9939951B2 (en) Electronic device operating according to pressure state of touch input and method thereof
JP5784141B2 (ja) 重畳筆記による手書き入力方法
US20150160779A1 (en) Controlling interactions based on touch screen contact area
US9824266B2 (en) Handwriting input apparatus and control method thereof
WO2015084665A1 (en) User interface adaptation from an input source identifier change
US20150160794A1 (en) Resolving ambiguous touches to a touch screen interface
JP7181375B2 (ja) 目標対象の動作認識方法、装置及び電子機器
US11709593B2 (en) Electronic apparatus for providing a virtual keyboard and controlling method thereof
KR20200008845A (ko) 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US20180136822A1 (en) Automatically modifying an input area based on a proximity to one or more edges
CN111598149A (zh) 一种基于注意力机制的回环检测方法
KR20220135914A (ko) 학습 기반의 필기 입력을 처리하는 전자 장치, 그 동작 방법 및 저장매체
US20170085784A1 (en) Method for image capturing and an electronic device using the method
KR20240062249A (ko) 전자 장치 및 그 터치 좌표 획득 방법
US11782548B1 (en) Speed adapted touch detection
KR102570007B1 (ko) 필기 입력을 보정하는 방법 및 전자 장치
JP2013077180A (ja) 認識装置およびその制御方法
KR102353919B1 (ko) 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법
NL2031789B1 (en) Aggregated likelihood of unintentional touch input
Lee et al. Finger gesture input utilizing the rear camera of a mobile phone: A perspective of mobile CAD
US11762515B1 (en) Touch and hover sensing on single-layer segmented sheets
TWI715252B (zh) 電子裝置及其利用觸控資料的物件資訊辨識方法