KR20240097663A - 입력 모션을 식별하는 방법 및 전자 장치 - Google Patents

입력 모션을 식별하는 방법 및 전자 장치 Download PDF

Info

Publication number
KR20240097663A
KR20240097663A KR1020230017881A KR20230017881A KR20240097663A KR 20240097663 A KR20240097663 A KR 20240097663A KR 1020230017881 A KR1020230017881 A KR 1020230017881A KR 20230017881 A KR20230017881 A KR 20230017881A KR 20240097663 A KR20240097663 A KR 20240097663A
Authority
KR
South Korea
Prior art keywords
input
touch
motion
touch input
result information
Prior art date
Application number
KR1020230017881A
Other languages
English (en)
Inventor
배혜찬
황진영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2023/016635 priority Critical patent/WO2024136080A1/ko
Publication of KR20240097663A publication Critical patent/KR20240097663A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]

Abstract

본 개시의 일 실시예에 따르면, 입력 모션을 식별하는 방법이 개시될 수 있다.
전자 장치는 터치 디스플레이와 관련된 터치 데이터 및 제1 알고리즘에 기초하여, 터치 디스플레이에 대한 제1 터치 입력이 입력 모션의 유효한 입력에 대응하는지 여부를 식별할 수 있다. 전자 장치는 제1 터치 입력이 유효한 입력에 대응하는 경우, 터치 데이터 및 제2 알고리즘에 기초하여, 제1 터치 입력에 대한 입력 모션과 관련된 추론(inference) 결과 정보를 식별할 수 있다. 전자 장치는 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 입력 모션에 대응하는지 여부를 식별할 수 있다.
한편, 인공지능 모델을 이용하여 상기 전자 장치의 입력 모션을 식별하는 방법을 수행할 수도 있다.

Description

입력 모션을 식별하는 방법 및 전자 장치{METHOD AND ELECTRONIC DEVICE FOR IDENTIFYING INPUT MOTION}
본 개시는 일 실시예에 따른 입력 모션을 식별하는 방법 및 전자 장치에 대한 것이다.
전자 장치는 평면 좌표 내에서 터치의 이동 거리 변화량으로 사용자의 입력 모션(예, 스와이프 모션)을 식별한다. 이 경우, 전자 장치는 사용자의 손날에 의한 스와이프 동작뿐 만이 아니라 사용자의 2개 이상의 터치 포인트에 의한 스와이프 동작도 스와이프 모션으로 식별한다. 따라서, 전자 장치가 사용자의 서로 다른 입력 모션을 구별하지 못하는 문제점이 존재한다.
또한, 사용자의 2개 이상의 터치 포인트가 시간 차이로 전자 장치의 터치 디스플레이에 접촉되는 경우, 전자 장치는 대표 좌표 값(예, 사용자의 새끼손가락에 의한 터치, 또는 좌표값들의 중간 값)을 결정한다. 스와이프 동작이 수행되는 동안, 이동 거리 변화량을 결정하기 위한 대표 좌표가 사라지는 경우, 전자 장치는 사용자의 해당 동작을 스와이프 모션으로 식별하지 못하는 문제점이 존재한다.
따라서, 전자 장치가 좌표에 기반한 인식 방법보다 정확하게 입력 모션을 식별하는 방법이 필요한 실정이다.
본 개시의 일 실시예에 따르면, 입력 모션을 식별하는 방법이 제공될 수 있다. 전자 장치는 터치 디스플레이와 관련된 터치 데이터 및 제1 알고리즘에 기초하여, 터치 디스플레이에 대한 제1 터치 입력이 입력 모션의 유효한 입력에 대응하는지 여부를 식별할 수 있다. 전자 장치는 제1 터치 입력이 유효한 입력에 대응하는 경우, 터치 데이터 및 제2 알고리즘에 기초하여, 제1 터치 입력에 대한 입력 모션과 관련된 추론(inference) 결과 정보를 식별할 수 있다. 전자 장치는 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 입력 모션에 대응하는지 여부를 식별할 수 있다.
본 개시의 일 실시예에 따르면, 입력 모션을 식별하는 전자 장치가 제공될 수 있다. 전자 장치는 터치 디스플레이, 하나 이상의 명령어를 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 상기 하나 이상의 명령어(instruction)를 실행함으로써, 터치 디스플레이와 관련된 터치 데이터 및 제1 알고리즘에 기초하여, 상기 터치 디스플레이에 대한 제1 터치 입력이 상기 입력 모션의 유효한 입력에 대응하는지 여부를 식별할 수 있다. 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제1 터치 입력이 상기 유효한 입력에 대응하는 경우, 상기 터치 데이터 및 제2 알고리즘에 기초하여, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보를 식별할 수 있다. 적어도 하나의 프로세서는 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션에 대응하는지 여부를 식별할 수 있다.
도 1은 일 실시예에 따른 전자 장치의 입력 모션을 식별하는 방법을 설명하기 위한 도면이다.
도 2은 일 실시예에 따른 전자 장치가 입력 모션을 식별하는 방법에 대한 흐름도이다.
도 3는 일 실시예에 따른 터치 데이터를 설명하기 위한 도면이다.
도 4a는 일 실시예에 따른 전자 장치가 터치 영역을 획득하는 방법을 설명하기 위한 도면이다.
도 4b는 일 실시예에 따른 전자 장치가 터치 영역의 길이를 식별하는 방법을 설명하기 위한 도면이다.
도 4c는 일 실시예에 따른 전자 장치가 제1 알고리즘에 기초하여 유효한 입력을 식별하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 전자 장치가 제2 알고리즘에 기초하여 동작하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 장치가 제2 알고리즘에 기초하여 복수개의 터치 입력에 대한 추론 결과 정보를 식별하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 추론 결과 정보 및 추론 결과 정보가 저장된 큐를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 전자 장치가 복수개의 추론 결과 정보에 기초하여 입력 모션을 결정하는 방법을 설명하기 위한 도면이다.
도 9a는 일 실시예에 따른 전자 장치가 제1 알고리즘 및 제2 알고리즘에 기초하여 동작하는 방법을 설명하기 위한 도면이다.
도 9b는 일 실시예에 따른 전자 장치가 입력 모션에 대응하는 이벤트를 수행하기 위한 방법을 설명하기 위한 도면이다.
도 10는 일 실시예에 따른 전자 장치의 블록도를 나타내는 예시이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에 따른 인공지능(Artificial Intelligence, AI)과 관련된 기능은 프로세서와 메모리를 통해 동작될 수 있다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신 내지 업데이트될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 명세서의 실시예에서 사용자라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미하며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 전자 장치의 입력 모션을 식별하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 전자 장치(10)는 적어도 하나 이상의 터치 입력이 입력 모션(110)에 대응되는지 여부를 식별할 수 있다. 전자 장치(10)는 적어도 하나 이상의 터치 입력이 입력 모션(110)에 대응되는 경우, 입력 모션에 대응되는 이벤트(150)를 발생시킬 수 있다.
본 개시에서 입력 모션(110)은 일정 영역 이상이 터치 디스플레이(140)와 접촉된 터치 입력(120)의 연속적인 이동(130)을 의미할 수 있다. 입력 모션(110)에서 터치 입력(120)의 위치는 터치 디스플레이(140) 상에서 제1 위치에서 제2 위치로 변경될 수 있다. 예로, 일정 영역은 터치 디스플레이(140) 상에서 터치 입력을 식별할 수 있는 크기를 가진 영역일 수 있다. 예로, 제1 위치 및 제2 위치는 입력 모션(110)을 식별할 수 있을 정도의 거리일 수 있으며, 제1 위치와 제2 위치는 서로 다를 수 있다.
예로, 입력 모션(110)은 사용자의 손날을 전자 장치(10)의 터치 디스플레이(140) 상에서 문지르는 것, 슬라이딩(sliding)하는 것, 또는 흔드는 것 등을 의미할 수 있으나, 이에 한정되지 않는다. 또한, 입력 모션(110)은 스와이프(swipe) 입력 동작, 슬라이딩 입력 동작으로 지칭될 수 있으나, 이에 한정되지 않는다.
본 개시에서 터치 입력(120)은 제1 터치 입력, 또는 적어도 하나의 제2 터치 입력 중 적어도 하나를 포함할 수 있다. 입력 모션(110)을 위한 터치 입력(120)은 연속적인 입력일 수 있다. 일 예로, 전자 장치(10)는 터치 디스플레이(140)의 주파수에 기초하여 터치 입력(120)을 복수개의 터치 입력들로 구분하여 획득할 수 있다. 일 예로, 전자 장치(10)는 기 설정된 주기에 기초하여 연속적인 터치 입력(120)을 복수개의 터치 입력들로 획득될 수 있다.
본 개시에서 입력 모션의 유효한 입력은 입력 모션(110)을 식별하기 위한 기준 단위, 또는 조건을 의미할 수 있다. 일 예로, 입력 모션의 유효한 입력은 터치 디스플레이(140) 상에서 특정 영역 이상의 크기를 가진 입력을 의미할 수 있다. 한정되지 않은 예로, 입력 모션의 유효한 입력은 터치 입력(120)이 사용자의 손날로 식별된 경우를 의미할 수 있고, 전자 장치(10)는 제1 알고리즘 및 터치 디스플레이(140)와 관련된 터치 데이터에 기초하여, 터치 입력(120)을 특정 영역 이상의 크기를 가진 입력으로 식별하면 제2 알고리즘을 동작하기 위한 전제 조건이 충족된 것으로 식별할 수 있다.
일 실시예에 따른 전자 장치(10)는 제1 알고리즘(20)에 기초하여, 터치 입력(120)이 어떤 입력인지를 식별할 수 있다. 본 개시에서 제1 알고리즘(20)은 터치 디스플레이(140)에 대해 수신된 터치 입력이 입력 모션에 대한 유효한 입력에 대응하는지 여부가 식별될 수 있는 알고리즘을 의미할 수 있다. 예로, 전자 장치(10)는 제1 알고리즘(20)를 이용하여, 터치 디스플레이(140)에 대해 수신된 터치 입력이 사용자의 손날인지 또는 단순히 사용자의 손가락이 터치된 상태인지 여부를 식별할 수 있다. 제1 알고리즘(20)은 손날을 인식하기 위한 알고리즘으로 지칭될 수 있으나 해당 명칭에 한정되지 않는다. 제1 알고리즘(20)에 대해서는 도 4a, 도 4b, 및 도 4c에서 보다 자세히 후술된다.
일 실시예에 따른 전자 장치(10)는 제2 알고리즘(30)에 기초하여, 터치 입력(120)이 입력 모션(110)을 구성하는 하나의 터치 입력인지 여부를 식별할 수 있다. 본 개시에서 제2 알고리즘(30)은 터치 디스플레이(140)에 대해 수신된 연속적인 터치 입력들 중 특정된 터치 입력(120)이 입력 모션(110)에 대응될 수 있는지 여부가 식별될 수 있고, 추론된 결과 값인 입력 모션과 관련된 추론 결과 정보를 출력하는 알고리즘을 의미할 수 있다. 예로, 전자 장치(10)는 제2 알고리즘(30)를 이용하여, 터치 디스플레이(140)에 대해 수신된 터치 입력(120)이 스와이프 입력 동작을 구성하는 하나의 터치 입력인지 여부를 식별할 수 있고, 입력 모션과 관련된 추론 결과 정보를 결정할 수 있다.
일 예로, 제2 알고리즘(30)은 손날 스와이프을 추론하기 위한 모델, 스와이프 동작을 인식하기 위한 모델 등으로 지칭될 수 있으나 해당 명칭에 한정되지 않는다. 제2 알고리즘(30)은 적어도 하나의 레이어로 구성될 수 있다. 제2 알고리즘(30)에 대해서는 도 5 및 도 6에서 보다 자세히 후술된다.
본 개시에서 추론 결과 정보는 특정된 터치 입력(120)이 입력 모션(110)을 구성하는 터치 입력인지에 대해 추론 모델을 이용하여 획득된 결과 정보를 의미할 수 있다. 추론 결과 정보에 대해서는 도 7에서 보다 자세히 후술된다.
본 개시에서 터치 데이터는 제1 알고리즘 및 제2 알고리즘에 대한 인풋 정보를 의미할 수 있다. 터치 데이터에 대한 보다 자세한 설명은 도 3에서 후술된다.
일 실시예에 따른 전자 장치(10)는 터치 디스플레이(140)에 대해 수신된 연속적인 터치 입력들이 입력 모션(110)에 대응될 수 있는지 여부를 식별할 수 있다. 전자 장치(10)는 복수개의 터치 입력들 각각에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 복수개의 터치 입력들이 입력 모션(110)에 대응될 수 있는지 여부를 식별할 수 있다. 이와 관련된 식별 방법에 대해서는 도 8에서 보다 자세히 후술된다.
일 실시예에 따른 복수개의 터치 입력들이 입력 모션(110)에 대응되는 것으로 식별된 경우, 전자 장치(10)는 입력 모션에 대응되는 이벤트(150)를 발생시킬 수 있다. 본 개시에서 입력 모션에 대응되는 이벤트(150)는 전자 장치(10)가 수신한 입력이 입력 모션으로 식별되었을 때, 수행되는 이벤트를 의미할 수 있다. 이벤트(150)는 기 설정된 프로세스를 의미할 수 있다. 한정되지 않은 예로 이벤트(150)는 화면 캡쳐 프로세스, 또는 화면 캡쳐 이벤트를 의미할 수 있다.
도 2은 일 실시예에 따른 전자 장치가 입력 모션을 식별하는 방법에 대한 흐름도이다.
단계 S210에서, 전자 장치(10)는 터치 디스플레이와 관련된 터치 데이터 및 제1 알고리즘(20)에 기초하여, 터치 디스플레이에 대한 제1 터치 입력이 입력 모션의 유효한 입력에 대응하는지 여부를 식별할 수 있다.
일 실시예에 따른 전자 장치(10)는 상기 터치 디스플레이(140) 상에서 상기 제1 터치 입력을 획득할 수 있다. 일 예로, 상기 터치 데이터는 제1 터치 입력이 입력된 상기 터치 디스플레이(140)의 정전용량 데이터에 대응할 수 있다.
일 실시예에 따른 전자 장치(10)는 터치 데이터에 기초하여, 제1 터치 입력에 대응하는 터치 영역을 식별할 수 있다. 일 예로, 터치 영역의 길이가 기 설정된 길이 임계값보다 큰 경우, 전자 장치(10)는 제1 터치 입력을 유효한 입력에 대응하는 것으로 식별할 수 있다.
단계 S220에서, 전자 장치(10)는 제1 터치 입력이 유효한 입력에 대응하는 경우, 터치 데이터 및 제2 알고리즘(30)에 기초하여, 제1 터치 입력에 대한 입력 모션과 관련된 추론(inference) 결과 정보를 식별할 수 있다.
일 실시예에 따른 제2 알고리즘은 특징 추출에 관련된 제1 레이어, 시간 특징에 관련된 제2 레이어, 또는 특징 분류와 관련된 제3 레이어 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 제1 터치 입력이 입력 모션에 대응할 가능성 정보, 또는 제1 터치 입력이 상기 입력 모션에 대응하는지 여부를 지시하는 정보에 대응할 수 있다.
일 실시예에 따른 전자 장치(10)는 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보가 터치 입력 순으로 저장된 큐(queue)에, 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보를 저장할 수 있다.
단계 S230에서, 전자 장치(10)는 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 입력 모션(110)에 대응하는지 여부를 식별할 수 있다.
일 실시예에 따른 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 상기 터치 디스플레이(140)에 대한 다른 터치 데이터 및 제2 알고리즘에 기초하여 식별될 수 있다.
일 실시예에 따른 적어도 하나의 제2 터치 입력은 입력 모션의 유효한 입력에 대응할 수 있다. 적어도 하나의 제2 터치 입력은 제1 알고리즘 및 상기 다른 터치 데이터에 기초하여 식별될 수 있다.
일 실시예에 따른 전자 장치(10)는 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 중에서, 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보를 식별할 수 있다.
일 실시예에 따른 전자 장치(10)는 연속되면서 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보의 개수가 제1 설정 값보다 큰 경우, 제1 터치 입력 및 적어도 하나의 제2 터치 입력이 입력 모션(110)에 대응하는 것으로 식별할 수 있다. 일 예로, 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보는 터치 입력 순으로 연속된 적어도 하나의 정보일 수 있다. 일 예로, 제1 설정 값은 연속된 추론 결과 정보의 기준 개수를 의미할 수 있다.
일 실시예에 따른 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 작은 경우, 제1 설정 값은 제1 값에 대응할 수 있다. 일 예로, 제2 설정 값은 기 설정된 추론 결과 정보의 기준 개수를 의미할 수 있다.
일 실시예에 따른 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 크거나 같은 경우, 제1 설정 값은 제2 값에 대응할 수 있다.
일 실시예에 따른 제1값은 상기 제2값보다 작은 값일 수 있다.
일 실시예에 따른 전자 장치(10)는 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 입력 모션(110)에 대응하는 경우, 입력 모션(110)에 대응하는 이벤트(150)를 수행할 수 있다. 일 예로, 이벤트(150)는 터치 디스플레이(140)에 디스플레이된 이미지를 캡쳐하는 프로세스에 대응할 수 있다.
도 2에서 상술한 단계는 추가되거나 생략될 수 있다.
일 실시예에 따른 전자 장치(10)는 가공을 하기 전의 미 가공 데이터(즉, 로우(raw) 데이터)를 이용하여 입력 모션을 식별하므로 오인식이 발생할 확률이 낮아질 수 있다. 도3에서는 제1 알고리즘 및 제2 알고리즘에 대한 인풋 정보를 의미하는 터치 데이터에 대해 보다 자세히 설명된다.
도 3는 일 실시예에 따른 터치 데이터를 설명하기 위한 도면이다.
일 실시예에 따른 터치 데이터(310)는 미 가공 데이터(즉, 로우(raw) 데이터)를 의미할 수 있으며, 터치 디스플레이(140)가 정전식 터치 디스플레이인 경우, 터치 데이터(310)는 정전량에 대한 정보, 정전식 데이터, 정전용량에 대한 데이터 등을 포함할 수 있다. 예로, 터치 데이터(310)는 정전식 로우 데이터를 의미할 수 있다.
터치 데이터(310)는 터치 입력에 대응되는 영역(320)과 터치 입력을 제외한 바깥 영역(330)을 포함할 수 있다. 도3를 참고하면, 터치 입력에 대응되는 영역(320)에 대한 정전량은 바깥 영역(330)에 대한 정전량보다 값이 큰 것을 확인할 수 있다.
일 실시예에 따른 전자 장치(10)는 터치 디스플레이(140)에 대해 터치 입력이 수신된 경우, 터치 디스플레이(140)에 대응하는 터치 데이터(310)를 획득할 수 있다.
일 예로, 터치 데이터(310)는 기 설정된 주기에 기초하여 획득될 수 있다. 터치 데이터(310)는 정전식 터치 디스플레이(1030)의 주파수 정보에 기초하여 획득될 수 있다. 예로, 정전식 터치 디스플레이(140)의 주파수 정보가 90Hz이고 사용자의 입력 모션(110)이 1초 동안 발생하는 경우, 전자 장치(10)는 해당 입력 모션(110)에 대해 90개의 프레임을 획득할 수 있다. 전자 장치(10)는 90개의 각 프레임에 대응하는 터치 데이터(310)를 획득할 수 있으나, 전술한 예로 한정되지 않는다.
일 실시예에 따른 전자 장치(10)는 전자 장치(10)는 제2 알고리즘(30)의 인풋 터치 데이터를 필터링 하기 위해 제1 알고리즘(20)을 수행할 수 있다. 따라서, 전자 장치(10)는 제1 알고리즘(20)에 기초하여 터치 입력이 유효한 입력인지(예, 사용자의 손날) 여부가 식별되면, 제2 알고리즘(30)을 동작할 수 있다. 하기의 도면들에서 제1 알고리즘(20)에 기초한 전자 장치(10)의 동작 방법이 보다 자세히 설명된다.
도 4a는 일 실시예에 따른 전자 장치가 터치 영역을 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 전자 장치(10)는 터치 데이터(310)에 대해 최대 값 클리핑 (Max value clipping)을 수행할 수 있다. 전자 장치(10)는 최대 값 클리핑을 수행하여 미 가공 데이터인 터치 데이터(310)에 포함된 노이즈 값을 제거할 수 있다. 전자 장치(10)는 최소 값과 최대 값의 차이가 심하게 발생하여 부적절한 결과를 도출하는 것을 방지할 수 있다.
일 실시예에 따른 전자 장치(10)는 최대 값 클리핑을 수행한 값에 대해 하기의 수학식 1에 기초하여, Z 점수 표준화 (Z-score standardize)를 수행할 수 있다. 전자 장치(10)는 표준화를 계산한 후, 데이터들을 클리핑하여 -z-score ~ +z-score 사이 값의 데이터로 변경할 수 있다. 전자 장치(10)는 너무 낮은 값을 갖거나, 너무 높은 값을 제거하여 유의미한 데이터를 획득할 수 있다.
[수학식 1]
수학식 1에서, μ 는 평균값(mean)을 의미할 수 있고, σ는 표준 편차(standard deviation)를 의미할 수 있다.
일 실시예에 따른 전자 장치(10)는 표준화된 데이터에 대해 정규화(normalization)를 수행할 수 있다. 일 예로, 전자 장치(10)는 상술한 방법에 따라 처리된 데이터에 대해, 수학식2에 기초하여 Min-max normalization을 수행할 수 있다.
[수학식 2]
전자 장치(10)는 표준화된 최소 값(standardized minimum value)과 최대 값 사이 값으로 데이터를 변경할 수 있다. 일 예로, 전자 장치(10)는 너무 낮은 값들로만 분포된 데이터에 대응하기 위해 lower max란 값을 사용할 수 있다. 이 때, 최대 값은 표준화된 최대 값(standardized maximum value) 또는 lower max 값일 수 있고, (즉, max(standardized max, lower max)) 전자 장치(10)는 표준화된 최소 값과 표준화된 최대 값 또는 lower max 사이 값으로 데이터를 변경할 수 있다. (즉, standardized min ~ max(standardized max, lower max)) 일 예로, 도3을 참고하면, 바깥 영역(330)에 포함된 전정량 중에서 일부의 값들은 터치 입력에 대응되는 영역(320)으로 오인될 수 있는 값을 가진 전정량이 있음을 확인할 수 있다. 터치 입력에 대응되는 영역(320)으로 오인될 수 있는 값을 가진 전정량을 제거하기 위해서, 전자 장치(10)는 2개의 최대 값을 사용할 수 있다. 예로, 최대 값은 서로 다른 m1의 값 및 m2의 값을 포함할 수 있다.
일 실시예에 따른 전자 장치(10)는 표준화된 최소 값과 최대 값 사이 값으로 변경된 데이터 값에 대해, 이진화(Binarized) 처리를 수행할 수 있다. 일 실시예에 따른 전자 장치(10)는 해당 값이 특정 임계값 이상인 경우 해당 값을 1로 변경하고, 전자 장치(10)는 해당 값이 특정 값보다 작은 경우 해당 값을 0으로 변경할 수 있다. 특정 임계값은 기 설정된 값일 수 있고, 한정되지 않은 예로 0.5일 수 있으나, 전자 장치(10)의 동작 성능에 기초하여 변경될 수 있다.
일 실시예에 따른 전자 장치(10)는 1과 0으로 구성된 이진화 데이터 프레임(410)을 획득할 수 있다. 전자 장치(10)는 1로 변경된 영역을 터치 디스플레이(140)에서 터치 입력이 입력된 영역으로 판단할 수 있고, 0으로 변경된 영역을 터치 디스플레이(140)에서 터치 입력이 되지 않은 영역으로 판단할 수 있다.
일 실시예에 따른 전자 장치(10)는 이진화 데이터 프레임(410)에서 특정 조건을 만족하는 적어도 하나의 터치 영역(420)을 식별할 수 있다. 예로, 전자 장치(10)는 이진화 데이터 프레임(410)에서 길이 임계 값 이상의 길이를 가지는 모든 터치 영역(420)을 추출할 있다. 전자 장치(10)는 추출된 적어도 하나의 터치 영역(420)을 길이 순으로 내림차순 정렬할 수 있다.
도 4b는 일 실시예에 따른 전자 장치가 터치 영역의 길이를 식별하는 방법을 설명하기 위한 도면이다.
전자 장치(10)는 제1 이진화 데이터 프레임(440)에 포함된 터치 영역(450)에 대한 적어도 하나의 길이를 식별할 수 있다. 도 4b는 전자 장치(10)가 하나의 터치 영역(450)을 식별한 상황을 설명하기 위한 도면이며, 터치 영역(450)의 개수는 도시된 개수에 한정되지 않는다. 도 4b를 참고하면, 전자 장치(10)는 제1 길이(452) 및 제2 길이(455)를 결정할 수 있다. 일 예로, 터치 영역(450)에 대한 적어도 하나의 길이는 터치 영역(450)의 수평 길이, 또는 터치 영역(450)의 수직 길이 중 적어도 하나를 포함할 수 있으나, 상술한 예에 한정되지 않는다.
일 실시예에 따른 전자 장치(10)는 추출된 적어도 하나의 터치 영역이 포함된 이진화 데이터 프레임(410)을 일정 각도만큼 회전하면서, 터치 영역(420)에 대한 가장 긴 길이를 식별할 수 있다. 예로, 전자 장치(10)는 수직축을 기준으로 D1 각도만큼 회전된 제1 이진화 데이터 프레임(440)을 획득할 수 있다. 전자 장치(10)는 제1 이진화 데이터 프레임(440)에 포함된 터치 영역(450)에 대해 가장 긴 길이를 식별 수 있다. 제1 이진화 데이터 프레임(440)에 포함된 터치 영역(450)에 대한 가장 긴 길이는 제1 길이(452)로 식별될 수 있다. 일 실시예에 따른 D1 각도는 0도에서 360도 사이의 임의의 값일 수 있고, 0도를 포함할 수 있다.
일 실시예에 따른 전자 장치(10)는 수직축을 기준으로 D2 각도만큼 회전된 제2 이진화 데이터 프레임(470)을 획득할 수 있다. 일 실시예에 따른 D1 각도는 0도에서 360도 사이의 임의의 값일 수 있다. 이와 관련된 설명은 도 4c에서 설명된다.
도 4c는 일 실시예에 따른 전자 장치가 제1 알고리즘에 기초하여 유효한 입력을 식별하는 방법을 설명하기 위한 도면이다.
전자 장치(10)는 제2 이진화 데이터 프레임(470)에 포함된 터치 영역(480)에 대해 제3 길이(482) 및 제4 길이(485)를 결정할 수 있다. 전자 장치(10)는 제2 이진화 데이터 프레임(470)에 포함된 터치 영역(480)에 대해 가장 긴 길이를 식별할 수 있다. 제2 이진화 데이터 프레임(470)에 포함된 터치 영역(480)에 대한 가장 긴 길이는 제3 길이(482)로 식별될 수 있다.
일 실시예에서 전자 장치(10)는 회전된 복수개의 이진화 데이터 프레임을 획득할 수 있다. 일 실시예에서, 전자 장치(10)는 복수개의 임의의 회전 각도 만큼 수직축을 기준으로 회전된 복수개의 이진화 데이터 프레임을 획득할 수 있다. 각각의 복수개의 임의의 회전 각도는 0도에서 360도 사이의 값에 대응될 수 있고, 기 설정된 값일 수 있으며, 전자 장치(10)의 성능에 따라 변경되는 값일 수 있다. 일 실시예에서, 전자 장치(10)는 이전 이진화 데이터 프레임을 기준으로 임의의 차이 각도 만큼 이진화 데이터 프레임을 회전 시켜 다음 이진화 데이터 프레임을 획득할 수 있다. 일 예로, 이전 이진화 데이터 프레임과 다음 이진화 데이터 프레임의 차이 각도는 하나의 값일 수 있다. 일 예로, 차이 각도는 복수개의 값일 수 있다. 일 예로, 차이 각도는 기 설정된 복수개의 값들이 반복되어 설정될 수 있다.
전자 장치(10)는 회전된 복수개의 이진화 데이터 프레임을 획득하고, 이 중 가장 긴 길이를 식별할 수 있다. 도 4b 및 도 4c를 참고할 때, 전자 장치(10)는 제1 이진화 데이터 프레임(440)에 포함된 터치 영역(450)에 대한 가장 긴 길이를 제1 길이(452)로 식별하고, 제2 이진화 데이터 프레임(470)에 포함된 터치 영역(480)에 대한 가장 긴 길이를 제3 길이(482)로 식별할 수 있다. 이 중 가장 긴 길이는 제1 길이(452)일 수 있으며, 전자 장치(10)는 터치 영역(420)에 대해 가장 긴 길이로 제1 길이(452)를 결정할 수 있다.
전자 장치(10)는 터치 영역(420)의 길이인 제1 길이(452)와 길이 임계값을 비교할 수 있다. 전자 장치(10)는 터치 영역(420)의 길이가 기 설정된 길이 임계값보다 큰 경우, 터치 입력을 유효한 입력에 대응하는 것으로 식별할 수 있다. 전자 장치(10)가 복수개의 회전된 이진화 데이터 프레임을 획득하여 각각에 대해 가장 긴 길이를 식별하는 동작을 통해, 전자 장치(10)는 전자 장치(10)의 터치 디스플레이(140)에 대해 다양한 각도에서 수신되는 사용자의 터치 입력이 유효한 입력에 대응되는지 여부에 대해 안정적인 결과를 획득할 수 있다.
전자 장치(10)는 딥 러닝 알고리즘인 제2 알고리즘을 이용하여 터치 입력에 대한 입력 모션과 관련된 추론(inference) 결과 정보를 식별할 수 있으며, 제2 알고리즘에 대한 보다 자세한 설명이 후술된다.
도 5는 일 실시예에 따른 전자 장치가 제2 알고리즘에 기초하여 독작하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 전자 장치(10)는 터치 데이터(510)를 입력하여, 제1 레이어(520)을 통해 적어도 하나의 특징(feature)(522)을 추출할 수 있다. 예로, 전자 장치(10)는 터치 데이터(510) 및 제1 레이어(520)에 기초하여, 특징 맵(Feature Map)을 획득할 수 있다. 제1 레이어(520)은 데이터에 대한 특징을 추출할 수 있는 레이어는 모두 포함할 수 있다. 일 예로, 제1 레이어(520)은 터치 데이터(510)와 같은 이미지 프레임 형식으로 생성된 이미지 데이터 또는 영상 데이터에 대한 특징을 추출할 수 있는 레이어를 포함할 수 있다.
한정되지 않은 예로, 제1 레이어(520)은 컨볼루션 신경망(CNN, Convolution Neural Network) 레이어일 수 있으며, 전자 장치(10)는 이미지 프레임 형식으로 생성된 터치 데이터(510)에 대해 컨볼루션 신경망 레이어를 이용하여 터치 데이터(510)의 특징을 추출할 수 있다.
일 실시예에 따른 전자 장치(10)는 제1 레이어(520)을 통해 추출된 적어도 하나의 특징(522), 또는 이전 터치 데이터에 대한 제2 레이어의 결과 관련 정보(532) 중 적어도 하나를 입력하여, 제2 레이어(530)를 통해 터치 데이터(510)의 시간 순서와 관련된 적어도 하나의 특징(534)을 식별할 수 있다. 제2 레이어(530)은 순서가 있는 시퀀스 데이터(Sequence data)에서 특징들을 추출하여 문제를 해결하고 예측하는 것이 가능한 레이어는 모두 포함할 수 있다. 일 예로, 제2 레이어(530)는 RNN (순환신경망, Recurrent Neural Network) 레이어, 또는 LSTM (장단기메모리, Long Short-Term Memory) 레이어 중 적어도 하나를 포함할 수 있다.
일 예로, 터치 데이터(510)에 대한 제2 레이어의 결과 관련 정보(536)는 다음 터치 데이터에 대한 입력 정보로 이용될 수 있다. 터치 데이터(510)에 대한 제2 레이어의 결과 관련 정보(536)는 시간 순서와 관련된 적어도 하나의 특징(534)에 기초하여 생성된 정보이거나, 시간 순서와 관련된 적어도 하나의 특징(534)와 동일한 정보일 수 있다.
한정되지 않은 예로, 제2 레이어(530)은 LSTM 레이어일 수 있으며, 전자 장치(10)는 제1 레이어(520)을 통해 추출된 적어도 하나의 특징(522)과 이전 터치 데이터에 대한 제2 레이어의 결과 관련 정보(532)에 기초하여, LSTM 레이어를 이용하여 터치 데이터(510)의 시간 순서와 관련된 적어도 하나의 특징(534)을 추출할 수 있다.
일 실시예에 따른 전자 장치(10)는 제2 레이어(530)을 통해 추출된 시간 순서와 관련된 적어도 하나의 특징(534)을 제3 레이어(540)에 기초하여 분류 및 예측할 수 있다. 제3 레이어(540)은 데이터에 대한 특징을 분류 또는 예측할 수 있는 레이어는 모두 포함할 수 있다.
일 예로, 전자 장치(10)는 제3 레이어(540)에 기초하여, 터치 입력이 입력 모션에 대응할 확률에 대한 정보, 또는 터치 입력이 입력 모션에 대응하는지 여부를 지시하는 정보를 획득할 수 있다. 예로, 터치 입력이 입력 모션에 대응하는지 여부를 지시하는 정보가 1인 경우 전자 장치(10)는 터치 입력이 입력 모션에 대응하는 것으로 식별하고, 터치 입력이 입력 모션에 대응하는지 여부를 지시하는 정보가 0인 경우 전자 장치(10)는 터치 입력이 입력 모션에 대응하지 않는 것으로 식별할 수 있다.
한정되지 않은 예로, 제3 레이어(540)은 FC (완전 연결, Fully Connected) 레이어일 수 있으며, 전자 장치(10)는 추출된 터치 데이터(510)의 시간 순서와 관련된 적어도 하나의 특징(534)에 대해 FC 레이어를 이용하여 터치 데이터(510)의 특징을 분류할 수 있다.
도 6은 일 실시예에 따른 전자 장치가 제2 알고리즘에 기초하여 복수개의 터치 입력에 대한 추론 결과 정보를 식별하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 전자 장치(10)는 복수개의 시간적으로 연속된 터치 데이터들 (610, 620, 630, 640, 650)을 수신할 수 있다.
일 실시예에서, 터치 데이터는 제1 알고리즘(20)에 기초하여 터치 입력이 유효한 입력에 대응되지 않는 것으로 식별된 데이터일 수 있다. 전자 장치(10)는 제2 알고리즘(30)를 수행하지 않을 수 있다.
일 실시예에서, 제1 터치 데이터(610), 제2 터치 데이터(620), 제3 터치 데이터(630), 제4 터치 데이터(640) 및 제5 터치 데이터(650)는 제1 알고리즘(20)에 기초하여 터치 입력이 유효한 입력에 대응되는 것으로 식별된 데이터일 수 있다.
일 실시예에서, 전자 장치(10)는 제1 터치 데이터(610)에 기초하여, 제2 알고리즘(30)를 수행할 수 있다. 예로, 전자 장치(10)는 제1 터치 데이터(610)를 제2 알고리즘(30)에 대한 입력 정보로 사용할 수 있다. 전자 장치(10)는 제1 레이어(612), 제2 레이어(614), 또는 제3 레이어(616) 중 적어도 하나에 기초하여 제1 터치 데이터(610)에 대한 추론 결과 정보를 획득할 수 있다. 예로, 제1 터치 데이터(610)에 대한 추론 결과 정보는 터치 입력이 입력 모션에 대응하지 않는 것을 지시하는 정보일 수 있다. 이때, 제1 터치 데이터(610)는 시간 t일 때의 프레임(frame)에 대응될 수 있다.
일 실시예에서, 전자 장치(10)는 제2 터치 데이터(620)에 기초하여, 제2 알고리즘(30)를 수행할 수 있다. 예로, 전자 장치(10)는 제2 터치 데이터(620)를 제2 알고리즘(30)에 대한 입력 정보로 사용할 수 있다. 전자 장치(10)는 제1 레이어(622), 제2 레이어(624), 또는 제3 레이어(626) 중 적어도 하나에 기초하여 제2 터치 데이터(620)에 대한 추론 결과 정보를 획득할 수 있다. 예로, 제2 터치 데이터(620)에 대한 추론 결과 정보는 터치 입력이 입력 모션에 대응하는 것을 지시하는 정보일 수 있다. 제2 터치 데이터(620)는 시간 t+1일 때의 프레임에 대응될 수 있다.
일 실시예에서, 전자 장치(10)는 제3 터치 데이터(630) 에 기초하여, 제2 알고리즘(30)를 수행할 수 있다. 예로, 전자 장치(10)는 제3 터치 데이터(630)를 제2 알고리즘(30)에 대한 입력 정보로 사용할 수 있다. 전자 장치(10)는 제1 레이어(632), 제2 레이어(634), 또는 제3 레이어(636) 중 적어도 하나에 기초하여 제3 터치 데이터(630)에 대한 추론 결과 정보를 획득할 수 있다. 예로, 제3 터치 데이터(630)에 대한 추론 결과 정보는 터치 입력이 입력 모션에 대응하는 것을 지시하는 정보일 수 있다. 제3 터치 데이터(630)는 시간 t+2일 때의 프레임에 대응될 수 있다.
일 실시예에서, 전자 장치(10)는 제4 터치 데이터(640)에 기초하여, 제2 알고리즘(30)를 수행할 수 있다. 예로, 전자 장치(10)는 제4 터치 데이터(640)를 제2 알고리즘(30)에 대한 입력 정보로 사용할 수 있다. 전자 장치(10)는 제1 레이어(642), 제2 레이어(644), 또는 제3 레이어(646) 중 적어도 하나에 기초하여 제4 터치 데이터(640)에 대한 추론 결과 정보를 획득할 수 있다. 예로, 제4 터치 데이터(640)에 대한 추론 결과 정보는 터치 입력이 입력 모션에 대응하는 것을 지시하는 정보일 수 있다. 제4 터치 데이터(640)는 시간 t+3일 때의 프레임에 대응될 수 있다.
일 실시예에서, 전자 장치(10)는 제5 터치 데이터(650)에 기초하여, 제2 알고리즘(30)를 수행할 수 있다. 예로, 전자 장치(10)는 제5 터치 데이터(650)를 제2 알고리즘(30)에 대한 입력 정보로 사용할 수 있다. 전자 장치(10)는 제1 레이어(652), 제2 레이어(654), 또는 제3 레이어(656) 중 적어도 하나에 기초하여 제5 터치 데이터(650)에 대한 추론 결과 정보를 획득할 수 있다. 예로, 제5 터치 데이터(650)에 대한 추론 결과 정보는 터치 입력이 입력 모션에 대응하지 않는 것을 지시하는 정보일 수 있다. 이때, 제5 터치 데이터(650)는 시간 t+4일 때의 프레임에 대응될 수 있다.
일 실시예에서, 제1 터치 입력에 대한 터치 데이터 및 적어도 하나의 제2 터치 입력에 대한 터치 데이터는 제1 터치 데이터(610), 제2 터치 데이터(620), 제3 터치 데이터(630), 제4 터치 데이터(640), 또는 제5 터치 데이터(650) 중 적어도 하나를 포함할 수 있다. 한정되지 않은 일 예로, 제1 터치 입력에 대한 터치 데이터는 제5 터치 데이터(650)를 의미할 수 있고, 적어도 하나의 제2 터치 입력에 대한 터치 데이터는 제1 터치 데이터(610), 제2 터치 데이터(620), 제3 터치 데이터(630), 또는 제4 터치 데이터(640) 중 적어도 하나의 데이터를 의미할 수 있다.
도 7은 일 실시예에 따른 추론 결과 정보 및 추론 결과 정보가 저장된 큐를 설명하기 위한 도면이다.
일 실시예에 따른 전자 장치(10)는 복수개의 시간적으로 연속된 터치 데이터들 (610, 620, 630, 640, 650)에 대한 추론 결과 정보가 저장된 큐(700)를 식별할 수 있다.
일 실시예에서, 터치 데이터는 제1 알고리즘(20)에 기초하여 터치 입력이 유효한 입력에 대응되지 않는 것으로 식별된 데이터일 수 있고, 추론 결과 정보는 획득되지 않을 수 있다.
일 실시예에서, 제1 추론 결과 정보(710)는 제1 터치 데이터(610)에 대한 추론 결과 정보일 수 있고, 터치 입력이 입력 모션에 대응하지 않는 것을 지시하는 정보일 수 있다. 제2 추론 결과 정보(720)는 제2 터치 데이터(620)에 대한 추론 결과 정보일 수 있고, 터치 입력이 입력 모션에 대응하는 것을 지시하는 정보일 수 있다. 제3 추론 결과 정보(730)는 제3 터치 데이터(630)에 대한 추론 결과 정보일 수 있고, 터치 입력이 입력 모션에 대응하는 것을 지시하는 정보일 수 있다. 제4 추론 결과 정보(740)는 제4 터치 데이터(640)에 대한 추론 결과 정보일 수 있고, 터치 입력이 입력 모션에 대응하는 것을 지시하는 정보일 수 있다. 제5 추론 결과 정보(750)는 제5 터치 데이터(650)에 대한 추론 결과 정보일 수 있고, 터치 입력이 입력 모션에 대응하지 않는 것을 지시하는 정보일 수 있다.
일 실시예에서, 추론 결과 정보는 해당 터치 입력이 입력 모션(110)에 대응할 확률 값에 대응할 수 있다. 예로, 전자 장치(10)는 제2 알고리즘(30)의 결과 값(즉, 제3 레이어(540)의 결과 정보)으로 해당 터치 입력이 입력 모션(110)에 대응할 확률 값을 획득할 수 있다. 예로, 해당 터치 입력이 입력 모션(110)에 대응될 확률은 70%일 수 있다. 전자 장치(10)는 해당 터치 입력이 입력 모션(110)에 대응할 확률 값을 큐에 저장할 수 있다.
일 실시예에 따른 추론 결과 정보는 해당 터치 입력이 입력 모션(110)에 대응하는지 여부를 지시하는 정보에 대응할 수 있다. 일 예로, 전자 장치(10)는 제2 알고리즘(30)의 결과 값(즉, 제3 레이어(540)의 결과 정보)으로 터치 입력이 입력 모션에 대응하는지 여부를 지시하는 정보를 획득할 수 있다. 예로, 터치 입력이 입력 모션에 대응하는지 여부를 지시하는 정보가 1인 경우 전자 장치(10)는 터치 입력이 입력 모션에 대응하는 것으로 식별하고, 터치 입력이 입력 모션에 대응하는지 여부를 지시하는 정보가 0인 경우 전자 장치(10)는 터치 입력이 입력 모션에 대응하지 않는 것으로 식별할 수 있다. 전자 장치(10)는 해당 터치 입력이 입력 모션(110)에 대응하는지 여부를 지시하는 정보를 큐에 저장할 수 있다.
일 실시예에 따른 추론 결과 정보는 해당 터치 입력이 입력 모션(110)에 대응하는지 여부를 지시하는 정보에 대응할 수 있다. 예로, 전자 장치(10)는 제2 알고리즘(30)의 결과 값(즉, 제3 레이어(540)의 결과 정보)으로 해당 터치 입력이 입력 모션(110)에 대응할 확률 값을 획득할 수 있다. 해당 터치 입력이 입력 모션(110)에 대응할 확률 값이 기설정된 확률값 이상의 경우 전자 장치(10)는 터치 입력이 입력 모션에 대응하는 것으로 식별하고, 전자 장치(10)는 해당 터치 입력이 입력 모션(110)에 대응할 확률 값이 기설정된 확률값보다 작은 경우 전자 장치(10)는 터치 입력이 입력 모션에 대응하는 것으로 식별할 수 있다. 기설정된 확률값은 임의의 값을 의미할 수 있으며, 시스템 환경, 전자 장치(10)의 성능 등에 따라 달라질 수 있는 값이다. 전자 장치(10)는 해당 터치 입력이 입력 모션(110)에 대응할 확률 값에 기초하여 식별된 지시 정보를 큐에 저장할 수 있다.
도 8은 일 실시예에 따른 전자 장치가 복수개의 추론 결과 정보에 기초하여 입력 모션을 결정하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 큐의 사이즈(810)는 전자 장치(10)가 획득한 복수개의 시간적으로 연속된 터치 데이터들에 대한 추론 결과 정보가 포함될 수 있는 크기일 수 있다.
일 실시예에서, 큐의 사이즈(810)는 전자 장치(10)가 획득한 복수개의 시간적으로 연속된 터치 데이터들 중 일부의 추론 결과 정보가 포함될 수 있는 크기일 수 있다. 큐(800)는 기 설정된 개수의 추론 결과 정보를 저장할 수 있다. 예로, 큐(800)는 기 설정된 개수의 최신 추론 결과 정보를 저장할 수 있다. 여기서, 추론 결과 정보의 기 설정된 개수는 전자 장치(10)가 최종적으로 복수개의 터치 입력이 입력 모션(110)에 대응하는지 여부를 식별할 수 있을 정도의 추론 결과 정보의 개수를 의미할 수 있으며, 전자 장치(10)의 메모리 성능 등에 따라 변경될 수 있는 값이다. 한정되지 않은 예로, 도 8을 참고할 때, 큐의 사이즈(810)는 12일 수 있다.
일 실시예에서 전자 장치(10)는 복수개의 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 중에서, 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보를 식별할 수 있다. 예로, 전자 장치(10)는 복수개의 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보가 저장된 큐(800)에서, 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 적어도 하나의 추론 결과 정보(820, 822, 824, 826, 828)를 식별할 수 있다.
일 실시예에서 전자 장치(10)는 터치 입력이 입력 모션에 대응하는 것을 지시하면서 터치 입력 순으로 연속된 적어도 하나의 추론 결과 정보(824, 826, 828)를 식별할 수 있다.
일 실시예에서 전자 장치(10)는 해당 터치 입력이 입력 모션(110)에 대응할 확률 값이 기설정된 확률값 이상인 값이면서 터치 입력 순으로 연속된 적어도 하나의 추론 결과 정보(824, 826, 828)를 식별할 수 있다.
일 실시예에서 전자 장치(10)는 연속되면서 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보(824, 826, 828)의 개수를 식별할 수 있다. 도 8을 참고할 때, 연속되면서 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보(824, 826, 828)의 개수는 3이다.
일 실시예에서 전자 장치(10)는 연속된 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보(824, 826, 828)의 개수가 제1 설정 값보다 큰지 여부를 식별할 수 있다.
일 실시예에서 전자 장치(10)는 제1 설정 값을 식별할 수 있다. 제1 설정 값은 제1 값 또는 제2값에 대응될 수 있고, 제1값은 제2값보다 작은 값일 수 있다. 일 예로, 제1 설정 값은 연속된 추론 결과 정보에 대한 기준 개수, 또는 복수개의 터치 데이터의 개수에 대한 기준 개수를 의미할 수 있다. 일 예로, 제1 값은 1보다 크거나 같은 정수를 포함할 수 있다.
일 실시예에서 복수개의 추론 결과 정보가 저장된 큐의 사이즈(810)가 제2 설정 값보다 작은 경우, 제1 설정 값은 제1 값에 대응할 수 있다. 복수개의 추론 결과 정보가 저장된 큐의 사이즈(810)가 제2 설정 값보다 크거나 같은 경우, 제1 설정 값은 제2 값에 대응할 수 있다.
일 실시예에서 전자 장치(10)는 전자 장치(10)가 획득한 복수개의 추론 결과 정보의 개수가 제2 설정 값보다 작은 경우, 상기 제1 설정 값은 제1 값에 대응할 수 있다. 전자 장치(10)가 획득한 복수개의 추론 결과 정보의 개수가 제2 설정 값보다 크거나 같은 경우, 제1 설정 값은 제2 값에 대응할 수 있다.
일 실시예에서 전자 장치(10)는 전자 장치(10)가 획득한 복수개의 터치 데이터의 개수가 제2 설정 값보다 작은 경우, 제1 설정 값은 제1 값에 대응할 수 있다. 전자 장치(10)가 획득한 복수개의 터치 데이터의 개수가 제2 설정 값보다 크거나 같은 경우, 제1 설정 값은 제2 값에 대응할 수 있다. 예로, 전자 장치(10)는 터치 디스플레이(140)에 터치 입력이 수신된 순간(즉, press 상태)부터 터치 입력이 해제된 순간(즉, Release 상태)까지의 프레임 개수를 고려하여, 제1 설정 값을 설정할 수 있다.
일 실시예에서 전자 장치(10)는 연속된 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보(824, 826, 828)의 개수가 제1 설정 값보다 큰 경우, 복수개의 터치 입력이 입력 모션(110)에 대응하는 것으로 식별할 수 있다. 한정되지 않은 예로, 제1 설정 값은 2일 수 있다. 전자 장치(10)는 연속된 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보(824, 826, 828)의 개수는 3이고, 제1 설정 값은 2이므로, 복수개의 터치 입력이 입력 모션(110)에 대응하는 것으로 식별할 수 있다.
도 9a는 일 실시예에 따른 전자 장치가 제1 알고리즘 및 제2 알고리즘에 기초하여 동작하는 방법을 설명하기 위한 도면이다.
일 실시예에서 전자 장치(10)는 1단계 (900)의 동작을 시작할 수 있고, 전자 장치(10)가 추론한 프레임 개수(CNT)는 0일 수 있다.
단계 S910에서, 전자 장치(10)는 터치 디스플레이(140)와 관련된 터치 데이터(310)를 수신할 수 있다. 예로, 전자 장치(10)는 정전식 터치 프레임 정보를 수신할 수 있다.
단계 S915에서, 전자 장치(10)는 터치 입력이 존재하는지 여부를 식별할 수 있다. 예로, 전자 장치(10)는 입력(예, press) 상태인지, 또는 해제(예, Release) 상태인지 식별할 수 있다. 전자 장치(10)는 터치 입력이 존재하지 않는 것으로 판단하면, 도 9b에서 설명되는 2단계 (950) 동작을 수행할 수 있다.
단계 S920에서, 전자 장치(10)는 터치 데이터(310)에 기초하여, 제1 알고리즘을 수행할 수 있다. 예로, 전자 장치(10)는 사용자의 손날을 인식하기 위한 알고리즘을 수행할 수 있다.
단계 S925에서, 전자 장치(10)는 터치 입력이 상기 입력 모션의 유효한 입력에 대응하는지 여부를 식별할 수 있다. 예로, 전자 장치(10)는 해당 터치 입력이 사용자의 손날 터치인지 여부를 식별할 수 있다.
단계 S930에서, 터치 입력이 상기 입력 모션의 유효한 입력에 대응하는 것으로 식별된 경우, 전자 장치(10)는 터치 데이터(310)에 기초하여, 제2 알고리즘 수행을 수행할 수 있다. 예로, 전자 장치(10)는 정전식 터치 프레임 정보를 입력으로 하여, 손날 스와이프 추론 모델을 동작할 수 있다. 또한, 전자 장치(10)는 입력 모션에 대응되는 이벤트가 아닌 일반 터치 이벤트 발생을 중지할 수 있다.
단계 S935에서, 전자 장치(10)는 추론 결과 정보를 큐에 저장할 수 있다. 전자 장치(10)는 다음 터치 데이터를 처리할 수 있다. (즉, 다음 프레임 처리, CNT = CNT + 1)
단계 S940에서, 터치 입력이 상기 입력 모션의 유효한 입력에 대응하지 않는 것으로 식별된 경우, 전자 장치(10)는 일반 터치 이벤트를 발생시킬 수 있다.
도 9b는 일 실시예에 따른 전자 장치가 입력 모션에 대응하는 이벤트를 수행하기 위한 방법을 설명하기 위한 도면이다.
단계 S960에서, 전자 장치(10)는 획득한 추론 결과 정보의 개수가 제2 설정 값보다 큰지 여부를 식별할 수 있다.
단계 S965에서, 획득한 추론 결과 정보의 개수가 제2 설정 값보다 큰 경우, 제1 설정 값은 제2 값에 대응될 수 있다.
단계 S970에서, 획득한 추론 결과 정보의 개수가 제2 설정 값보다 작은 경우, 제1 설정 값은 제1 값에 대응될 수 있고, 제1 값은 1도 포함할 수 있다.
단계 S980 에서, 전자 장치(10)는 터치 입력이 입력 모션에 대응하는 것을 지시하는 연속된 추론 결과 정보의 개수가 제1 설정 값보다 큰 지 여부를 식별할 수 있다.
단계 S990에서, 터치 입력이 입력 모션에 대응하는 것을 지시하는 연속된 추론 결과 정보의 개수가 제1 설정 값보다 큰 경우, 전자 장치(10)는 입력 모션에 대응하는 이벤트(150)를 수행할 수 있다.
도 10는 일 실시예에 따른 전자 장치의 블록도를 나타내는 예시이다.
도 10에 도시된 전자 장치(10)는, 입력 모션을 식별하는 전자 장치로, 사용자 단말 또는 서버 장치일 수 있다. 예를 들어, 전자 장치(10)는 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트 글래스(smart glass), 네비게이션(navigation) 장치, 웨어러블 디바이스(wearable device), AR 디바이스(augmented reality device), VR 디바이스(virtual reality device), 디지털 신호 송수신기(digital signal transceiver) 등의 사용자 단말일 수 있다.
일 실시예에서, 전자 장치(10)는 적어도 하나의 프로세서(1010), 메모리(1020) 및 터치 디스플레이(1030)를 포함할 수 있으나, 이에 한정되지 않는다.
프로세서(1010)는 전자 장치(10)에 포함된 구성들과 전기적으로 연결되어, 전자 장치(10)에 포함된 구성들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 일 실시예에서, 프로세서(1010)는 다른 구성들 중 적어도 하나로부터 수신된 요청, 명령 또는 데이터를 메모리에 로드하여 처리하고, 결과 데이터를 메모리에 저장할 수 있다. 다양한 실시예에 따르면, 프로세서(1010)는 CPU(central processing unit), AP(application processor), DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU(graphic processing unit), VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서, 또는 NPU(neural processing unit)와 같은 인공지능 전용 프로세서 중 적어도 하나를 포함할 수 있다.
프로세서(1010)는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델(예: 뉴럴 네트워크 모델)에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(1010)가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 할 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미할 수 있다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
본 개시에 따른 전자 장치(10)의 입력 모션을 식별하는 방법에 있어서, 입력 모션(예, 손날을 이용한 스와이프 동작)을 추론 또는 예측하기 위한 방법으로 터치 디스플레이(1030)와 관련된 터치 데이터(310)(예, 정전식 패널에서 획득한 로우(raw) 데이터)를 이용하여 입력 모션에 대응하는 이벤트(예, 캡쳐)를 추천/실행하기 위해 인공지능 모델(예, 제2 알고리즘)을 이용할 수 있다. 프로세서(1010)는 상기 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다.
메모리(1020)는 프로세서(1010)와 전기적으로 연결되고 전자 장치(10)에 포함된 구성들의 동작과 관련된 하나 이상의 모듈, 적어도 하나의 학습 모델, 프로그램, 명령어 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(1020)는 프로세서(1010)의 처리 및 제어를 위한 하나 이상의 모듈, 학습 모델, 프로그램, 명령어 또는 데이터를 저장할 수 있다. 메모리(1020)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에서, 메모리(1020)는 전자 장치(10)가 수신하거나 생성한 데이터, 정보를 저장할 수 있다. 예를 들어, 메모리(1020)는 원시 이미지 데이터, 원시 이미지 데이터에 대한 카메라 메타 데이터를 저장할 수 있다. 예를 들어, 메모리(1020)는 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 등을 저장할 수 있다. 또한, 메모리(1020)는 상기 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보가 터치 입력 순으로 저장된 큐(queue)를 저장할 수 있다. 예를 들어, 메모리(1020)는 전자 장치(10)가 수신하거나 생성한 데이터, 정보를 압축된 형태로 저장할 수 있다.
메모리(1020)에 포함된 모듈 또는 모델은, 프로세서(1010)의 제어 또는 명령에 따라 실행되며, 입력 데이터에 대한 출력 데이터를 도출하는 동작들을 수행하도록 구성된 프로그램, 모델 또는 알고리즘을 포함할 수 있다. 메모리(1020)는 이미지 처리를 위한 적어도 하나의 뉴럴 네트워크 모델, 인공지능 모델, 기계학습 모델, 알고리즘 등을 포함할 수 있다. 일 실시예에서, 메모리(1020)는 입력 모션을 식별하는 뉴럴 네트워크 모델을 포함할 수 있다. 메모리(1020)는 뉴럴 네트워크 모델을 구성하는 복수의 파라미터 값(가중치 값)을 포함할 수 있다. 예를 들어, 뉴럴 네트워크 모델은, 지도 학습, 비지도 학습, 준지도 학습 또는 강화 학습으로 훈련된 학습 모델일 수 있으나, 이에 한정되지 않는다. 뉴럴 네트워크 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 뉴럴 네트워크 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 뉴럴 네트워크 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 뉴럴 네트워크 모델은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 이에 한정되지 않는다.
전자 장치(10)의 적어도 하나의 동작을 수행하는 일부 모듈은 하드웨어 모듈, 소프트웨어 모듈 및/또는 그 조합으로 구현될 수 있다. 메모리(1020)는 상술한 전자 장치(10)의 동작들 중 적어도 일부를 수행하는 소프트웨어 모듈들을 포함할 수 있다. 예를 들어, 메모리(1020)는 제1 알고리즘 모듈 및 제2 알고리즘 모듈 등을 포함할 수 있다. 메모리(920)에 포함된 모듈 중 적어도 일부는 복수의 서브 모듈로 구성되거나, 하나의 모듈을 구성할 수 있다. 일 실시예에서, 메모리(920)에 포함된 각 모듈은 프로세서(910)에 의해 실행됨으로써, 동작을 수행할 수 있다.
전자 장치(10)는 도 2에 도시된 구성 요소들보다 더 많은 구성 요소들을 포함할 수 있다. 예를 들어, 전자 장치(10)는, 외부 장치와의 통신을 위한 통신 인터페이스(또는 통신 모듈)을 더 포함할 수 있다. 예를 들어, 전자 장치(10)는 외부 장치와 신호를 송수신하기 위한 송수신부를 더 포함할 수 있다.
일 실시예에서, 전자 장치(10)는 입출력 장치 및/또는 입출력 인터페이스를 더 포함할 수 있다. 예를 들어, 전자 장치(10)는 영상 촬영을 위한 렌즈 및 이미지 센서를 더 포함할 수 있다. 예를 들어, 전자 장치(10)는 이미지 데이터를 출력하기 위한 디스플레이를 더 포함할 수 있다.
적어도 하나의 프로세서(1010)는 도 1 내지 도 9에 개시된 적어도 하나의 실시예에 따라 전자 장치(10)가 동작할 수 있도록 일련의 과정을 제어할 수 있다. 즉, 적어도 하나의 프로세서(1010)는 전자 장치(10)의 각 구성이 동작할 수 있도록 제어할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(1010)는 메모리에 저장된 하나 이상의 명령어를 실행할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(1010)는 하나 이상의 명령어를 실행함으로써, 입력 모션을 식별하기 위한 동작을 수행할 수 있다.
터치 디스플레이(1030)는 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 디스플레이(1030)는 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 디스플레이 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 디스플레이 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 디스플레이에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 디스플레이에서　발생하는　터치　이벤트는　주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는 상기 하나 이상의 명령어(instruction)를 실행함으로써, 터치 디스플레이(140; 1030)와 관련된 터치 데이터(310) 및 제1 알고리즘(20)에 기초하여, 터치 디스플레이(1030)에 대한 제1 터치 입력이 상기 입력 모션의 유효한 입력에 대응하는지 여부를 식별할 수 있다.
본 개시에 따르면 H/W 리소스 비용을 절약할 수 있는 효과가 제공될 수 있다. 모든 터치 데이터를 모델로 구동시키면 H/W 리소스 비용이 너무 크게 발생되므로, 일 실시예에 따른 전자 장치(10)는 제2 알고리즘(30)의 입력 터치 데이터를 필터링 하기 위해 제1 알고리즘(20)을 수행할 수 있다. 따라서, 전자 장치(10)는 제1 알고리즘에 기초하여 터치 입력이 유효한 입력인지(예, 사용자의 손날) 여부가 식별되면, 제2 알고리즘을 동작할 수 있다.
본 개시에 따르면 입력 모션을 2차 판단하므로 오인식 확률이 감소되는 효과를 제공할 수 있다. 제1 알고리즘에 의해 유효한 입력에 대한 오인식(False positive)이 발생하였더라도, 제2 알고리즘에 의해 입력 모션을 추론(예, 사용자의 손날에 의한 스와이프 동작인지)하므로 오동작의 확률이 감소한다는 이점이 존재한다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는 상기 제1 터치 입력이 상기 유효한 입력에 대응하는 경우, 상기 터치 데이터 및 제2 알고리즘(30)에 기초하여, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론(inference) 결과 정보를 식별할 수 있다.
본 개시에 따르면 터치 좌표가 아닌 터치 데이터 (즉, 프레임 전체)를 입력으로 입력 모션에 대한 추론 모델을 수행하므로, 입력 모션에 대한 인식 정확도가 향상되는 효과를 제공할 수 있다. 손날과 같이 특이한 터치 형태는 사람에 따라 실제 터치가 되는 면적이 다를 수 있기 때문에 좌표 위치값 만으로는 파악하기 쉽지 않고 오인식되는 경우가 상대적으로 높다. 반면 본 개시는 터치 패널의 정전식 raw 데이터 자체를 사용하므로, 누르는 세기에 따라 값이 달라지므로 오인식되는 경우가 적다.
본 개시에 따르면 터치 좌표가 아닌 터치 데이터 (즉, 프레임 전체)를 입력으로 입력 모션에 대한 추론 모델을 수행하므로(즉, 제2 알고리즘 수행), 다양한 케이스에 대해 강건한 효과가 제공될 수 있다. 예로, 터치 좌표의 경우 멀티 터치 시에 각종 산술 값이 크게 증가 되어 오인식이 발생될 확률이 크다. 그러나 본 개시에 따르면 멀티 터치 상황에서도 정보 훼손이 없기 때문 오인식이 발생될 확률이 적다.
본 개시에 따르면 메모리 공간을 절약할 수 있는 효과가 제공될 수 있다. 전자 장치(10)는 매 프레임에 대해 제2 알고리즘을 적용하여 모델 추론을 수행하므로, 터치 입력의 입력(press) 순간부터 릴리즈(release) 순간까지의 모든 터치 데이터를 저장하지 않을 수 있다. 따라서 본 개시에 따르면 90hz 터치 디스플레이를 기준으로, 터치 입력 시간이 1.5초인 경우 135프레임 만큼의 메모리 공간을 절약할 수 있다는 이점을 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는지 여부를 식별할 수 있다.
일 실시예에서, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 상기 제1 터치 입력이 상기 입력 모션에 대응할 가능성 정보, 또는 상기 제1 터치 입력이 상기 입력 모션에 대응하는지 여부를 지시하는 정보에 대응할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는, 상기 터치 데이터(310)에 기초하여, 상기 제1 터치 입력에 대응하는 터치 영역(320)을 식별할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는, 상기 터치 영역의 길이가 길이 임계값보다 큰 경우, 상기 제1 터치 입력을 상기 유효한 입력에 대응하는 것으로 식별할 수 있다.
본 개시는 사용자의 특성을 파악하여 입력 모션을 식별하는 효과를 제공할 수 있다. 예로, 손날 혹은 일반 손가락 터치는 터치 면적만으로 사용자의 특성을 파악하기는 어렵다. 그러나, 본 개시는 제1 알고리즘을 통해 사용자의 손날이 터치 디스플레이에 입력되는 상황인지를 식별하고, 제2 알고리즘을 통해 시간적 특성이 있는 입력들의 특징을 추론하여 사용자의 터치 입력이 특정 입력 모션에 대응되는지를 식별하는 방법을 제공할 수 있다.
일 실시예에서, 제2 알고리즘(30)은 특징 추출에 관련된 제1 레이어, 시간 특징에 관련된 제2 레이어, 또는 특징 분류와 관련된 제3 레이어 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 중에서, 터치 입력이 상기 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보를 식별할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는, 연속되면서 상기 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보의 개수가 제1 설정 값보다 큰 경우, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는 것으로 식별할 수 있다.
본 개시에 따르면 전자 장치(10)가 연속되면서 상기 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보를 이용하여, 최종적으로 입력 모션(110)인지 여부를 식별하므로 오인식(False positive) 확률이 감소되는 효과가 제공될 수 있다. 릴리즈 상태 바로 직전의 터치 데이터들은 입력 모션 (예, 스와이프)가 아닌 것으로 추론되는 경우가 많다. 왜냐하면, 손과 터치 디스플레이(140)의 접촉이 떨어지기 직전이라 터치 데이터가 불안정하기 때문이다. 따라서, 불안정한 데이터들을 배제하고, 입력 모션(110)인지 여부를 식별하기 위해서, 전자 장치(10)는 연속되면서 상기 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보를 이용할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는, 상기 터치 입력이 입력 모션에 대응하는 것을 지시하는 추론 결과 정보는 터치 입력 순으로 연속된 적어도 하나의 정보일 수 있다.
일 실시예에서, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 작은 경우, 상기 제1 설정 값은 제1 값에 대응할 수 있다.
일 실시예에서, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 크거나 같은 경우, 상기 제1 설정 값은 제2 값에 대응할 수 있다.
일 실시예에서, 상기 제1값은 상기 제2값보다 작은 값일 수 있다.
본 개시에 따르면 연속되면서 상기 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보의 기준 개수인 제1 설정 값은, 사용자가 입력 모션을 입력하는 속도를 고려하여 설정될 수 있으므로, 본 개시는 전자 장치(10)의 사용자를 고려한 입력 모션을 식별할 수 있는 효과를 제공할 수 있다. (예, 사용자가 굉장히 짧은 시간에 입력 모션을 수행한 경우, 제1 값이 작게 설정될 수 있음.)
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는 경우, 상기 입력 모션에 대응하는 이벤트(150)를 수행할 수 있다.
일 실시예에서, 이벤트는 상기 터치 디스플레이(140; 1030)에 디스플레이된 이미지를 캡쳐하는 프로세스에 대응할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는, 상기 터치 디스플레이(140; 1030) 상에서 상기 제1 터치 입력을 획득할 수 있다.
일 실시예에서, 터치 데이터는 제1 터치 입력이 입력된 상기 터치 디스플레이(140; 1030)의 정전용량 데이터에 대응할 수 있다.
일 실시예에서, 상기 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 상기 터치 디스플레이(140; 1030)에 대한 다른 터치 데이터 및 상기 제2 알고리즘에 기초하여 식별될 수 있다.
일 실시예에서, 상기 적어도 하나의 제2 터치 입력은 상기 입력 모션의 유효한 입력에 대응하고, 제1 알고리즘 및 상기 다른 터치 데이터에 기초하여 식별될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(1010)는 상기 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보가 터치 입력 순으로 저장된 큐(queue)에 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보를 저장할 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (20)

  1. 전자 장치(10)가 입력 모션을 식별하는 방법에 있어서,
    터치 디스플레이(140; 1030)와 관련된 터치 데이터(310) 및 제1 알고리즘(20)에 기초하여, 상기 터치 디스플레이(1030)에 대한 제1 터치 입력이 상기 입력 모션의 유효한 입력에 대응하는지 여부를 식별하는 단계(S210);
    상기 제1 터치 입력이 상기 유효한 입력에 대응하는 경우, 상기 터치 데이터 및 제2 알고리즘(30)에 기초하여, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론(inference) 결과 정보를 식별하는 단계(S220); 및
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는지 여부를 식별하는 단계(S230);를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 상기 제1 터치 입력이 상기 입력 모션에 대응할 가능성 정보, 또는 상기 제1 터치 입력이 상기 입력 모션에 대응하는지 여부를 지시하는 정보에 대응하는, 방법.
  3. 제1항 내지 제2항 중 어느 한 항에 있어서, 상기 터치 디스플레이에 대한 상기 제1 터치 입력이 상기 입력 모션의 유효한 입력에 대응하는지 여부를 식별하는 단계;는,
    상기 터치 데이터(310)에 기초하여, 상기 제1 터치 입력에 대응하는 터치 영역(320)을 식별하는 단계; 및
    상기 터치 영역의 길이가 길이 임계값보다 큰 경우, 상기 제1 터치 입력을 상기 유효한 입력에 대응하는 것으로 식별하는 단계;를 포함하는 방법.
  4. 제1항 내지 3항 중 어느 한 항에 있어서,
    상기 제2 알고리즘(30)은 특징 추출에 관련된 제1 레이어, 시간 특징에 관련된 제2 레이어, 또는 특징 분류와 관련된 제3 레이어 중 적어도 하나를 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션에 대응하는지 여부를 식별하는 단계;는,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 중에서, 터치 입력이 상기 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보를 식별하는 단계; 및
    연속되면서 상기 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보의 개수가 제1 설정 값보다 큰 경우, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는 것으로 식별하는 단계;를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 작은 경우, 상기 제1 설정 값은 제1 값에 대응하고,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 크거나 같은 경우, 상기 제1 설정 값은 제2 값에 대응하고,
    상기 제1값은 상기 제2값보다 작은 값인, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는 경우, 상기 입력 모션에 대응하는 이벤트(150)를 수행하는 단계;를 더 포함하고,
    상기 이벤트는 상기 터치 디스플레이(140; 1030)에 디스플레이된 이미지를 캡쳐하는 프로세스에 대응하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 터치 디스플레이(140; 1030) 상에서 상기 제1 터치 입력을 획득하는 단계;를 더 포함하고,
    상기 터치 데이터는 제1 터치 입력이 입력된 상기 터치 디스플레이(140; 1030)의 정전용량 데이터에 대응하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 상기 터치 디스플레이(140; 1030)에 대한 다른 터치 데이터 및 상기 제2 알고리즘에 기초하여 식별되고,
    상기 적어도 하나의 제2 터치 입력은 상기 입력 모션의 유효한 입력에 대응하고, 제1 알고리즘 및 상기 다른 터치 데이터에 기초하여 식별되는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보가 터치 입력 순으로 저장된 큐(queue)에 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보를 저장하는 단계;를 더 포함하는, 방법.
  11. 입력 모션을 식별하는 전자 장치(10)에 있어서,
    터치 디스플레이(1030);
    하나 이상의 명령어를 저장하는 메모리(1020); 및
    상기 메모리(1020)에 저장된 상기 하나 이상의 명령어를 실행하는 적어도 하나의 프로세서(1010)를 포함하고,
    상기 적어도 하나의 프로세서(1010)는 상기 하나 이상의 명령어(instruction)를 실행함으로써,
    터치 디스플레이(140; 1030)와 관련된 터치 데이터(310) 및 제1 알고리즘(20)에 기초하여, 상기 터치 디스플레이(1030)에 대한 제1 터치 입력이 상기 입력 모션의 유효한 입력에 대응하는지 여부를 식별하고,
    상기 제1 터치 입력이 상기 유효한 입력에 대응하는 경우, 상기 터치 데이터 및 제2 알고리즘(30)에 기초하여, 상기 제1 터치 입력에 대한 입력 모션과 관련된 추론(inference) 결과 정보를 식별하며,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보에 기초하여, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는지 여부를 식별하는, 전자 장치.
  12. 제11항에 있어서,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 상기 제1 터치 입력이 상기 입력 모션에 대응할 가능성 정보, 또는 상기 제1 터치 입력이 상기 입력 모션에 대응하는지 여부를 지시하는 정보에 대응하는, 전자 장치.
  13. 제11항 내지 제12항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서(1010)는,
    상기 터치 데이터(310)에 기초하여, 상기 제1 터치 입력에 대응하는 터치 영역(320)을 식별하고,
    상기 터치 영역의 길이가 길이 임계값보다 큰 경우, 상기 제1 터치 입력을 상기 유효한 입력에 대응하는 것으로 식별하도록 구성된, 전자 장치.
  14. 제11항 내지 13항 중 어느 한 항에 있어서,
    상기 제2 알고리즘(30)은 특징 추출에 관련된 제1 레이어, 시간 특징에 관련된 제2 레이어, 또는 특징 분류와 관련된 제3 레이어 중 적어도 하나를 포함하는, 전자 장치.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서(1010)는,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 중에서, 터치 입력이 상기 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보를 식별하고,
    연속되면서 상기 터치 입력이 입력 모션(110)에 대응하는 것을 지시하는 추론 결과 정보의 개수가 제1 설정 값보다 큰 경우, 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는 것으로 식별하도록 구성되는, 전자 장치.
  16. 제15항에 있어서,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 작은 경우, 상기 제1 설정 값은 제1 값에 대응하고,
    상기 제1 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보 및 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보의 개수가 제2 설정 값보다 크거나 같은 경우, 상기 제1 설정 값은 제2 값에 대응하고,
    상기 제1값은 상기 제2값보다 작은 값인, 전자 장치.
  17. 제11항 내지 제16항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서(1010)는 상기 제1 터치 입력 및 상기 적어도 하나의 제2 터치 입력이 상기 입력 모션(110)에 대응하는 경우, 상기 입력 모션에 대응하는 이벤트(150)를 수행하도록 구성되고,
    상기 이벤트는 상기 터치 디스플레이(140; 1030)에 디스플레이된 이미지를 캡쳐하는 프로세스에 대응하는, 전자 장치.
  18. 제11항 내지 제17항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서(1010)는 상기 터치 디스플레이(140; 1030) 상에서 상기 제1 터치 입력을 획득하고,
    상기 터치 데이터는 제1 터치 입력이 입력된 상기 터치 디스플레이(140; 1030)의 정전용량 데이터에 대응하는, 전자 장치.
  19. 제11항 내지 제18항 중 어느 한 항에 있어서,
    상기 적어도 하나의 제2 터치 입력에 대한 입력 모션과 관련된 추론 결과 정보는, 상기 터치 디스플레이(140; 1030)에 대한 다른 터치 데이터 및 상기 제2 알고리즘에 기초하여 식별되고,
    상기 적어도 하나의 제2 터치 입력은 상기 입력 모션의 유효한 입력에 대응하고, 제1 알고리즘 및 상기 다른 터치 데이터에 기초하여 식별되는, 전자 장치.
  20. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020230017881A 2022-12-20 2023-02-10 입력 모션을 식별하는 방법 및 전자 장치 KR20240097663A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/016635 WO2024136080A1 (ko) 2022-12-20 2023-10-25 입력 모션을 식별하는 방법 및 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220179867 2022-12-20

Publications (1)

Publication Number Publication Date
KR20240097663A true KR20240097663A (ko) 2024-06-27

Family

ID=

Similar Documents

Publication Publication Date Title
US20210191971A1 (en) Electronic apparatus for searching related image and control method therefor
US20190102044A1 (en) Depth-Based Touch Detection
CN114494935B (zh) 视频信息的处理方法、装置、电子设备和介质
CN113256583A (zh) 图像质量检测方法及装置、计算机设备和介质
US20230195303A1 (en) Electronic device and control method thereof
CN114445667A (zh) 图像检测方法和用于训练图像检测模型的方法
KR102586170B1 (ko) 전자 장치 및 이의 검색 결과 제공 방법
CN113723305A (zh) 图像和视频检测方法、装置、电子设备和介质
CN114140852B (zh) 图像检测方法和装置
KR20240097663A (ko) 입력 모션을 식별하는 방법 및 전자 장치
CN111476144A (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
KR20210089038A (ko) 전자 장치 및 그 제어 방법
CN113139542B (zh) 目标检测方法、装置、设备和计算机可读存储介质
US20220139113A1 (en) Method and device for detecting object in image
CN114140547B (zh) 图像生成方法和装置
CN114494797A (zh) 用于训练图像检测模型的方法和装置
CN114842476A (zh) 水印检测方法及装置、模型训练方法及装置
CN113486853A (zh) 视频检测方法及装置、电子设备和介质
CN114495292A (zh) 身份识别方法、装置、设备及可读存储介质
CN115170536B (zh) 图像检测方法、模型的训练方法和装置
CN114677691B (zh) 文本识别方法、装置、电子设备及存储介质
CN114842474B (zh) 文字识别方法、装置、电子设备和介质
CN114140851B (zh) 图像检测方法和用于训练图像检测模型的方法
CN116070711B (zh) 数据处理方法、装置、电子设备和存储介质
CN114511694B (zh) 图像识别方法、装置、电子设备和介质