KR20220102042A - 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법 - Google Patents

사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법 Download PDF

Info

Publication number
KR20220102042A
KR20220102042A KR1020210004241A KR20210004241A KR20220102042A KR 20220102042 A KR20220102042 A KR 20220102042A KR 1020210004241 A KR1020210004241 A KR 1020210004241A KR 20210004241 A KR20210004241 A KR 20210004241A KR 20220102042 A KR20220102042 A KR 20220102042A
Authority
KR
South Korea
Prior art keywords
electronic device
touch
data
artificial intelligence
intelligence model
Prior art date
Application number
KR1020210004241A
Other languages
English (en)
Inventor
황진영
김동찬
변동남
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210004241A priority Critical patent/KR20220102042A/ko
Priority to PCT/KR2021/016889 priority patent/WO2022154236A1/ko
Priority to EP21919860.3A priority patent/EP4261663A4/en
Publication of KR20220102042A publication Critical patent/KR20220102042A/ko
Priority to US18/221,288 priority patent/US20230359348A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개시된 실시예들은 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 전자 장치 및 전자 장치가 동작을 수행하는 방법에 관한 것으로서, 상기 방법은 사용자의 터치 입력에 관한 터치 데이터를 획득하는 단계, 미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하는 단계, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델 을 학습하는 단계, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 단계 및 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 단계를 포함할 수 있다.

Description

사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법{Customized electronic device to infer user input and Controlling method for thereof}
개시된 실시예들은 사용자 입력을 추론하는 전자 장치 및 이를 제어하는 방법에 관한 것이다.
전자 장치의 심플한 디자인을 구현하고 편리한 사용자 인터페이스를 제공하기 위하여, 터치 스크린, 터치 패드 등의 터치 입력에 관련된 기술이 디바이스에 적용되고 있다. 전자 장치는 사용자의 터치 입력을 정확하게 식별함으로써 사용자에게 만족스러운 경험을 제공할 수 있다. 근래에는, 보다 만족도가 높은 사용자 경험을 위해서 인공지능 시스템을 이용하여 사용자의 터치 입력을 정확하게 식별하기 위한 방안들이 고려되고 있다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
개시된 실시예들은 인공지능 기술을 이용하여 사용자 입력을 정확히 추론하고, 사용자 입력에 대응하는 동작을 수행하는 전자 장치 및 이를 제어하는 방법을 제공하고자 한다.
본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않는다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 인공지능 모델을 이용하여 전자 장치가 사용자 입력에 대응하는 동작을 수행하는 방법은, 사용자의 터치 입력에 관한 터치 데이터를 획득하는 단계, 미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하는 단계, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 단계, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 단계 및 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 전자 장치는, 메모리, 사용자의 터치 입력을 수신함으로써 터치 데이터를 획득하는 사용자 입력부 및 미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하고, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하고, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하고, 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하도록 상기 전자 장치를 제어하는, 프로세서를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터로 읽을 수 있는 기록매체는 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 기록매체에 저장된 어플리케이션은 개시된 방법의 실시예들 중에서 적어도 하나의 기능을 실행시키기 위한 것일 수 있다.
도 1은 전자 장치가 수신한 사용자 입력에 대응하는 동작을 수행하는 예시를 설명하는 도면이다.
도 2는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 방법의 순서도이다.
도 3은 일 실시예에 따른, 전자 장치가 사용자 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득하는 방법을 설명하는 도면이다.
도 4는 일 실시예에 따른, 전자 장치가 터치 데이터 및 기압 데이터 중에서 적어도 하나를 인공지능 모델에 적용하는 방법을 설명하는 도면이다.
도 5는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 6은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 7은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 8은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 9는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 10은 일 실시예에 따른, 전자 장치 또는 서버 중에서 하나가 사용자의 터치 데이터와 유사한 학습 데이터를 식별하고, 식별된 학습 데이터를 이용하여 인공지능 모델을 학습하는 방법을 설명하는 도면이다.
도 11은 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 12는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 13은 일 실시예에 따른, 전자 장치의 블록도이다.
도 14는 일 실시예에 따른, 전자 장치에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
도 15는 일 실시예에 따른, 서버의 블록도이다.
도 16은 일 실시예에 따른, 서버에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다. 개시된 실시예들은 단독으로 구현되거나, 적어도 2이상의 실시예가 조합되어 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부’(part, portion)라는 용어는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있으며, 실시예들에 따라 복수개의 ‘부’가 하나의 요소(unit, element)로 구현되거나, 하나의 ‘부’가 복수개의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 본 명세서에서 사용되는 “제1” 또는 “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다.
본 개시에 따른 전자 장치를 제어하는 방법에 있어서, 사용자 입력을 식별하기 위해 사용자 입력을 추론 또는 예측하기 위하여 인공지능 모델을 이용할 수 있다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다
한편, 본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 프로세서는 인공지능 모델에 적용되는 데이터에 대해서 인공지능 모델에 적용되기에 적합한 형태로 변환하는 전처리 과정을 수행할 수 있다.
인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 전자 장치가 수신한 사용자 입력에 대응하는 동작을 수행하는 예시를 설명하는 도면이다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델을 포함하는 모바일 장치(예를 들면, 스마트폰, 태블릿PC 등), 범용 컴퓨터(PC, Personal Computer)와 같은 연산 장치를 포함할 수 있다. 또한, 전자 장치(10)는 인공지능 모델을 포함하는 서버와 네트워크를 통해서 데이터를 송수신 할 수 있는 모바일 장치(예를 들면, 스마트폰, 태블릿PC 등), 범용 컴퓨터(PC, Personal Computer)와 같은 연산 장치를 포함할 수 있다.
개시된 실시예들에 이용되는 인공지능 모델은 목적과 용도에 따라서 복수개로 구성될 수 있다. 예를 들면, 개시된 실시예들에 이용되는 인공지능 모델은 초기 설정을 위해서 사용자로부터 수신한 터치 데이터로부터 특징 벡터를 획득하는 제1 인공지능 모델, 사용자의 터치 입력에 의해서 발생되는 전자 장치 내부의 기압의 변동에 관한 기압 데이터로부터 특징 벡터를 획득하는 제2 인공지능 모델, 터치 데이터의 특징 벡터와 복수의 학습 데이터 세트들에 포함된 터치 데이터들의 각각으로부터 획득한 특징 벡터의 유사도를 비교하는 제3 인공지능 모델, 기압 데이터의 특징 벡터와 복수의 학습 데이터 세트들에 포함된 기압 데이터들의 각각으로부터 획득한 특징 벡터의 유사도를 비교하는 제4 인공지능 모델 및 사용자 입력의 유형을 식별하는 제5 인공지능 모델과 같이 복수개 일 수 있다. 또한, 목적과 용도에 따라서, 제1 인공지능 모델 및 제2 인공지능 모델이 하나의 인공지능 모델로 구성될 수 있으며, 제3 인공지능 모델과 제4 인공지능 모델이 하나의 인공지능 모델로 구성될 수 있다. 또한, 제1 인공지능 모델 내지 제5 인공지능 모델도 하나의 인공지능 모델로 구성될 수 있다. 즉, 개시된 실시예들에 이용되는 인공지능 모델은 전자 장치의 제조사나 전자 장치의 사용자에 따라서 다양한 실시 태양(embodiment)으로 구현될 수 있으며, 위의 예(example)들에 의해서 한정되지 않는다.
한편, 개시된 실시예들에 이용되는 인공지능 모델은 적어도 하나의 프로세서의 형태로 존재할 수 있다. 예를 들면, 전자 장치(10) 및 서버(20) 중에서 적어도 하나는 터치 데이터 및 기압 데이터 중에서 적어도 하나에 대한 특징 벡터를 획득하는 인공지능 모델을 프로세서의 형태로 포함할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자 입력을 식별하는 인공지능 모델을 프로세서의 형태로 포함할 수 있다. 프로세서는 범용적으로 이용되는 적어도 하나의 프로세서 (예를 들면, CPU, Application processor) 및 사용자 입력을 식별하는 기능을 수행하기 위하여 제작된 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 적어도 하나의 명령어를 실행함으로써, 사용자 입력을 식별하고, 식별된 사용자 입력에 대응하는 동작을 수행하기 위한 제어 신호를 생성할 수 있다.
도 1을 참조하면, 전자 장치(10)는 사용자(1)로부터 입력을 수신할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 사용자(1)로부터 입력을 수신할 수 있다. 이 경우, 사용자 입력은 터치 스크린의 일부 영역을 짧은 시간 동안 터치(이하, 일반 터치라 함)하는 입력, 터치 스크린의 일부 영역을 긴 시간 동안 터치(이하, 롱 터치라 함)하는 입력, 터치 스크린의 일부 영역을 강하게 누르는 터치(이하, 포스 터치라 함)하는 입력, 터치 스크린의 일부 영역을 터치 한 후 끌기(이하, 드래그라 함)하는 입력을 포함할 수 있으나, 이에 제한되는 것은 아니다.
도 1을 참조하면, 전자 장치(10)는 인공지능 모델(19)을 이용하여 사용자의 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 수신된 사용자 입력을 인공지능 모델(19)을 이용하여 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 유형으로 식별할 수 있다. 또한, 전자 장치(10)는 인공지능 모델(19)을 이용하여, 사용자 입력이 롱 터치 후 드래그 또는 포스 터치 후 드래그와 같은 유형으로 식별할 수 있다. 일 실시예에 따르면, 전자 장치(10)는 사용자 맞춤형 인공지능 모델을 이용하여 사용자로부터 수신한 입력의 유형을 식별할 수 있다.
도 1을 참조하면, 전자 장치(10)는 식별한 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다.
예를 들면, 전자 장치(10)는 일반 터치에 대응하여 터치가 입력된 영역에 대응하는 오브젝트를 선택하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 롱 터치에 대응하여 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치로 식별된 사용자 입력에 대응하여 바로가기 기능을 제공하는 사용자 인터페이스를 제공할 수 있다.
다른 예를 들면, 전자 장치(10)는 드래그로 식별된 사용자 입력에 대응하여 오브젝트의 위치를 이동하는 기능을 제공하는 사용자 인터페이스를 제공할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치 후 드래그 입력으로 식별된 사용자 입력에 대응하여, 전자 장치의 소정의 기능을 제어하는 사용자 인터페이스를 제공할 수 있다. 구체적으로, 전자 장치(10)는 포스 터치 후 상하 드래그 입력으로 식별된 사용자 입력에 대응하여 디스플레이의 밝기를 조절하는 사용자 인터페이스를 제공할 수 있다. 전자 장치(10)는 포스 터치 후 좌우 드래그 입력으로 식별된 사용자 입력에 대응하여 출력되는 소리의 세기를 조절하는 사용자 인터페이스를 제공할 수 있다.
전자 장치(10)에 구축된 인공지능 모델(19)은 사용자로부터 수신된 터치 데이터와 유사한 학습 데이터를 학습함으로써 획득된 사용자 맞춤형 인공지능 모델일 수 있다. 전자 장치(10)는 미리 저장된 복수의 학습 데이터 세트들 중에서 터치 데이터와 유사한 학습 데이터 세트를 식별하여 인공지능 모델(19)을 학습시킬 수 있다. 또는, 전자 장치(10)는 서버(20)를 이용하여 인공지능 모델(19)을 학습 시킬 수 있다. 학습되는 인공지능 모델(19)은 초기 설정용 인공지능 모델일 수 있다. 또한, 전자 장치(10)는 인공지능 모델(19)을 이용하여 식별한 사용자의 입력의 유형의 결과에 기초하여, 인공지능 모델(19)을 갱신할 수 있다.
개시된 실시예에 따르면, 전자 장치는 사용자 입력의 유형을 식별함으로써, 사용자가 의도한 전자 장치의 동작을 정확하게 수행할 수 있다. 또한, 전자 장치는 사용자 입력의 유형을 다양하게 식별함으로써, 물리키를 대신하는 사용자 인터페이스를 제공할 수 있다. 또한, 전자 장치는 종래의 포스 터치를 식별하는 센서(이하, 포스 터치 센서)를 포함하지 않아도 포스 터치를 식별할 수 있다. 포스 터치 센서는 전자 장치의 두께 및 무게를 증가 시키므로, 개시된 실시예의 전자 장치는 종래의 전자 장치보다 얇고 가볍게 제작될 수 있다.
도 2는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 방법의 순서도이다.
단계 S210을 참조하면, 전자 장치(10)는 사용자로부터 터치 입력을 수신할 수 있다.
전자 장치(10)는 터치 스크린을 통해서 사용자의 터치 입력이 수신된 영역에 관한 터치 데이터를 소정의 시간 간격으로 획득할 수 있다. 터치 데이터는 전자 장치(10)의 터치 스크린을 통해서 사용자의 터치 입력이 수신된 시간 및 영역을 나타내는 데이터를 의미한다.
또한, 전자 장치(10)는 터치 데이터를 획득하는 동안, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터를 획득할 수 있다.
전자 장치(10)는 인터페이스를 이용해서 사용자의 터치 데이터를 획득할 수 있다.
예를 들면, 전자 장치(10)는 사용자의 개인 정보(예를 들면, 사용자의 나이, 성별 등)에 대한 사용자의 입력을 수신하는 인터페이스를 통해서 사용자의 터치 데이터를 획득할 수 있다.
다른 예를 들면, 전자 장치(10)는 초기 설정을 위한 사용자 입력을 수신하는 인터페이스를 통해서 사용자의 터치 데이터를 획득할 수 있다. 전자 장치(10)는 사용자에게 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력을 요청하는 인터페이스를 통해서 일반 터치, 롱 터치, 포스 터치, 드래그에 대한 터치 데이터를 획득할 수 있다.
구체적으로, 전자 장치(10)는 터치 스크린 상의 소정의 위치에 대해서 사용자에게 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력을 요청하는 인터페이스를 디스플레이할 수 있다. 전자 장치(10)는 터치 스크린 상의 소정의 위치에 디스플레이된 원형의 인디케이터를 일반 터치, 롱 터치, 포스 터치 및 드래그할 것을 요청하는 문자를 디스플레이하거나 음성을 출력할 수 있다. 전자 장치(10)는 사용자의 터치 입력에 대한 가이드(예를 들면, 터치 입력을 하는 손가락을 지정하는 가이드, 터치 입력을 하는 손가락의 부위를 지정하는 가이드)를 문자로 디스플레이 하거나 음성을 출력할 수 있다. 전자 장치(10)는 사용자로부터 터치 입력의 수신 정도에 대응하는 피드백(예를 들면, 음성을 출력하는 피드백, 진동을 출력하는 피드백, 인디케이터의 색을 변경하는 피드백)을 출력할 수 있다. 전자 장치(10)는 수신되는 터치 입력의 유형에 대응하는 컬러(예를 들면, 일반 터치는 파란색, 롱 터치는 노란색, 포스 터치는 빨간색)로 인디케이터의 색을 출력할 수 있다. 전자 장치(10)는 획득된 터치 데이터를 메모리에 저장할 수 있다. 전자 장치(10)는 사용자로부터 수신한 터치 데이터를 사용자에게 요청한 터치 입력의 유형과 함께 저장할 수 있다. 또는 전자 장치(10)는 획득된 터치 데이터를 서버(20)로 전송할 수 있다. 전자 장치(10)는 사용자로부터 수신한 터치 데이터를 사용자에게 요청한 터치 입력의 유형과 함께 서버(20)로 전송할 수 있다.
단계 S220을 참조하면, 전자 장치(10)는 사용자의 입력 데이터와 유사한 학습 데이터를 식별 할 수 있다. 전자 장치(10)는 미리 저장된 복수의 학습 데이터 세트들 중에서 터치 데이터와 유사한 제1 학습 데이터 세트를 식별할 수 있다. 학습 데이터 세트는 사용자 입력의 유형을 식별하는 사용자 맞춤형 인공지능 모델을 획득하기 위해서, 소정의 기준에 따라서 유사하다고 분류된 터치 데이터 및/또는 기상 데이터들의 그룹을 의미한다. 일 실시예에 따르면, 미리 저장된 복수의 학습 데이터는 사용자의 나이, 성별, 손가락의 크기, 특징 벡터 중에서 적어도 하나에 기초하여 분류된 것일 수 있다. 전자 장치(10)는 사용자로부터 수신한 사용자의 나이, 성별과 같은 개인 정보에 기초하여, 사용자의 입력 데이터와 유사한 학습 데이터를 선택할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델을 이용하여 터치 데이터와 미리 저장된 복수의 학습 데이터 세트들의 각각에 포함된 터치 데이터를 비교함으로써, 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 인공지능 모델은 초기 설정용 인공지능 모델일 수 있다. 초기 설정용 인공지능 모델은 사용자 입력의 유형 및 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하도록, 미리 저장된 복수의 학습 데이터 세트들을 학습한 범용 인공지능 모델일 수 있다.
예를 들면, 전자 장치(10)는 인공지능 모델을 이용하여 사용자 입력이 수신된 영역을 나타내는 터치 영역 이미지와 학습 데이터에 포함된 터치 영역 이미지를 비교함으로써, 사용자의 입력 데이터와 유사한 학습 데이터를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터에 포함된 터치 입력이 수신된 영역의 면적과 복수의 학습 데이터 세트들의 각각에 포함된 터치 입력이 수신된 영역의 면적을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터가 획득된 터치 입력이 수신된 시간과 복수의 학습 데이터 세트들의 각각에 포함된 터치 입력이 수신된 시간을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 인공지능 모델에 터치 데이터를 이용하여 획득한 특징 데이터와 복수의 학습 데이터 세트들의 각각의 특징 데이터를 비교한 결과에 기초하여 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 특징 데이터는 터치 데이터의 특징 맵, 터치 데이터의 특징 벡터 및 터치 데이터의 유형에 해당할 확률 값을 포함할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터와 함께 기압 데이터를 이용하여 제1 식별 데이터 세트를 식별할 수 있다. 전자 장치(10)는 적어도 하나의 인공지능 모델에 터치 데이터 및 기압 데이터를 적용함으로써 획득한 적어도 하나의 특징 데이터와 복수의 학습 데이터 세트들의 각각의 특징 데이터를 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 특징 데이터는 터치 데이터의 특징 맵, 터치 데이터의 특징 벡터 및 터치 데이터의 유형에 해당할 확률 값을 포함할 수 있다.
예를 들면, 전자 장치(10)는 하나의 인공지능 모델에 터치 데이터 및 기압 데이터를 적용함으로써, 획득한 제1 특징 벡터와 복수의 학습 데이터 세트들의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터 및 기압 데이터의 각각을 별도의 인공지능 모델에 적용하여 획득한 특징 벡터들을 복수의 학습 데이터 세트들의 각각의 특징 벡터와 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)를 이용하여 제1 학습 데이터 세트를 식별할 수 있다. 전자 장치(10)는 서버(20)에 저장된 복수의 학습 데이터 세트들 중에서 제1 학습 데이터 세트를 선택하도록 서버(20)에게 요청할 수 있다. 서버(20)는 전자 장치(10)의 요청에 따라서, 복수의 학습 데이터 세트들 중에서 제1 학습 데이터 세트를 선택할 수 있다. 이 경우, 위에 기재된 제1 학습 데이터 세트를 식별하는 방법이 유추 적용될 수 있으므로, 중복되는 내용은 생략한다. 전자 장치(10)는 서버(20)가 식별한 제1 학습 데이터 세트에 관한 정보를 수신함으로써, 제1 학습 데이터 세트를 식별할 수 있다. 제1 학습 데이터 세트에 관한 정보는 복수의 학습 데이터들 중에서 제1 학습 데이터 세트를 나타내는 식별 정보를 포함할 수 있다. 또한, 제1 학습 데이터 세트에 관한 정보는 제1 학습 데이터 세트를 구성하는 데이터를 포함할 수 있다.
예를 들면, 전자 장치(10)는 터치 데이터 및 터치 데이터의 제1 특징 벡터 중에서 적어도 하나를 서버(20)로 전송할 수 있다. 전자 장치(10)는 서버(20)가 터치 데이터 및 제1 특징 벡터 중에서 적어도 하나를 이용하여 식별한 제1 학습 데이터 세트에 관한 정보(예를 들면, 제1 학습 데이터 세트의 식별 정보)를 서버(20)로부터 수신함으로써, 제1 학습 데이터 세트를 식별할 수 있다.
또한, 전자 장치(10)는 서버(20)로부터 제1 학습 데이터 세트를 구성하는 데이터를 수신함으로써, 제1 학습 데이터 세트를 식별할 수 있다.
단계 S230을 참조하면, 전자 장치(10)는 식별된 학습 데이터 세트를 이용하여 적어도 하나의 인공지능 모델을 학습시킴으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 전자 장치(10)는 전자 장치(10)의 메모리로부터 리드아웃(readout)된 학습 데이터 세트를 이용하여 인공지능 모델을 학습시킬 수 있다. 또는, 전자 장치(10)는 서버(20)로부터 수신한 학습 데이터 세트를 이용하여 인공지능 모델을 학습 시킬 수 잇다.
일 실시예에 따르면, 전자 장치(10)는 학습 데이터를 학습한 적 없는 인공지능 모델에게 단계 S220에서 식별된 학습 데이터 세트를 학습시킬 수 있다.
일 실시예에 따르면, 전자 장치(10)는 초기 설정용 인공지능 모델에게 단계 S220에서 식별된 학습 데이터 세트를 학습 시킬 수 있다. 초기 설정용 인공지능 모델은 복수의 학습 데이터 세트들을 중에서 적어도 일부를 학습한 범용 인공지능 모델일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터 및 기압 데이터에 대한 학습 데이터가 포함된 학습 데이터 세트로 하나의 인공지능 모델을 학습시킴으로써, 하나의 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터에 대한 학습 데이터와 기압 데이터에 대한 학습 데이터의 각각으로 별도의 인공지능 모델을 학습시킴으로써, 둘 이상의 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 구체적으로, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 터치 데이터에 대한 제1 학습 데이터로 제1 인공지능 모델을 학습시키고, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 기압 데이터에 대한 제2 학습 데이터로 제2 인공지능 모델을 학습시킴으로써, 제1 사용자 맞춤형 인공지능 모델 및 제2 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델을 수신하고, 전자 장치(10)내에 구축(build)된 인공지능 모델을 수신된 인공지능 모델로 대체(replace)함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다. 또는, 전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델의 파라미터를 수신하고, 수신된 파라미터를 이용하여 전자 장치(10)내에 구축(build)된 인공지능 모델을 갱신함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다. 서버(20)가 인공지능 모델을 학습시키는 방법은 위에 기재된 전자 장치(10)가 인공지능 모델을 학습시키는 방법이 유추 적용될 수 있으므로, 중복되는 내용은 생략한다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트들의 각각에 대응하는 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 식별할 수 있다. 복수의 인공지능 모델들의 각각은 복수의 인공지능 모델들의 각각에 대응하는 학습 데이터 세트를 미리 학습한 것일 수 있다. 복수의 인공지능 모델들은 전자 장치(10)의 메모리에 저장되거나, 서버(20)의 DB에 저장된 것일 수 있다. 전자 장치(10)는 전자 장치(10)내에 구축된 인공지능 모델을 제1 인공지능 모델로 대체(replace)함으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 예를 들면, 전자 장치(10)는 제1 인공지능 모델을 메모리로부터 리드아웃(readout)함으로써 전자 장치(10)내에 구축된 인공지능 모델을 대체할 수 있다. 다른 예를 들면, 전자 장치(10)는 서버(20)로부터 수신한 제1 인공지능 모델로 전자 장치(10)내에 구축된 인공지능 모델을 대체할 수 있다.
단계 S240을 참조하면, 전자 장치(10)는 사용자 입력을 수신할 수 있다.
전자 장치(10)는 소정의 동작을 수행하기 위한 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 사용자 입력을 터치 스크린을 통해서 수신할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 스크린을 통해서 사용자의 터치 입력이 수신된 영역에 관한 터치 데이터를 소정의 시간 간격으로 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터를 획득하는 동안, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터를 획득할 수 있다.
단계 S250을 참조하면, 전자 장치(10)는 학습된 인공지능 모델을 이용하여 수신된 사용자 입력을 식별할 수 있다.
전자 장치(10)는 단계 S240에서 수신한 사용자 입력을 단계 S230에서 학습된 인공지능 모델에 적용함으로써, 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 수신된 사용자 입력을 인공지능 모델(19)을 이용하여 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 유형으로 식별할 수 있다
일 실시예에 따르면, 전자 장치(10)는 사용자 입력으로부터 획득한 터치 데이터 및 기압 데이터를 인공지능 모델에 적용함으로써, 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터 및 기압 데이터 중에서 적어도 하나를 인공지능 모델에 적용함으로써 사용자 입력이 소정의 유형에 해당할 확률 값을 획득하고, 획득된 확률 값에 기초하여 사용자 입력의 유형을 식별할 수 있다. 구체적으로, 전자 장치(10)는 인공지능 모델을 이용하여 사용자 입력이 일반 터치, 롱 터치, 포스 터치 및 드래그의 각각에 해당할 확률 값을 획득하고, 획득된 확률 값들 중에서 가장 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 하나의 인공지능 모델에 사용자 입력으로부터 터치 데이터 및 기압 데이터를 적용함으로써, 획득한 확률 값을 이용하여 사용자 입력의 유형을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터 및 기압 데이터의 각각을 별도의 인공지능 모델에 적용하여 획득한 확률 값들에 가중치 값을 적용함으로써 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터를 제1 인공지능 모델에게 적용함으로써 획득한 제1 확률 값과 기압 데이터를 제2 인공지능 모델에게 적용함으로써 획득한 제2 확률 값의 각각에 가중치 값을 적용할 수 있다. 전자 장치(10)는 가중치 값이 적용된 제1 확률 값과 제2 확률 값 중에서 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다.
단계 S260을 참조하면, 전자 장치(10)는 단계 S250에서 식별된 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다. 전자 장치(10)는 단계 S240에서 사용자의 터치 입력이 수신된 영역과 단계 250에서 식별된 사용자 입력의 유형에 기초하여, 사용자 입력의 유형에 대응하는 동작이 실행되는 사용자 인터페이스를 제공할 수 있다.
예를 들면, 전자 장치(10)는 사용자 입력이 일반 터치로 식별한 결과에 대응하여 터치 스크린을 통해서 터치가 입력된 영역에 대응하는 오브젝트를 선택하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 사용자 입력이 롱 터치로 식별된 결과에 대응하여 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작을 수행할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자 입력이 포스 터치로 식별된 결과에 대응하여 바로가기 기능을 제공하는 동작을 수행할 수 있다. 구체적으로, 전자 장치(10)는 전자 장치(10)에 디스플레이된 어플리케이션 아이콘에 대해서 입력된 사용자 입력이 포스 터치로 식별된 경우, 어플리케이션이 사용하는 메모리 용량과 같은 상세 정보를 표시하는 페이지로 바로 가기하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 사용자 입력이 포스 터치로 식별된 결과에 대응하여 전자 장치(10)의 터치 스크린 상에 디스플레이된 컨텐츠를 변경하는 사용자 인터페이스를 제공할 수 있다. 구체적으로, 전자 장치(10)는 인터넷 브라우저 어플리케이션이 디스플레이된 터치 스크린의 하단에 포스 터치가 입력되었다고 식별한 결과에 대응하여, 터치 스크린 상에 디스플레이된 컨텐츠가 위로 이동되도록 사용자 인터페이스를 제공할 수 있다. 또는, 전자 장치(10)는 갤러리 어플리케이션을 통해서 제1 폴더에 포함된 사진이 디스플레이된 터치 스크린의 우측에 포스 터치가 입력되었다고 식별한 결과에 대응하여, 제2 폴더에 포함된 사진이 디스플레이되도록 사용자 인터페이스를 제공할 수 있다.
다른 예를 들면, 전자 장치(10)는 사용자 입력이 포스 터치 후 끌기 입력으로 식별된 결과에 대응하여 전자 장치(10)의 하드웨어 기능을 제어하는 동작을 수행할 수 있다.
도 3은 일 실시예에 따른, 전자 장치가 사용자 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득하는 방법을 설명하는 도면이다.
도 3을 참조하면, 전자 장치(10)는 터치 스크린을 통해서 사용자(1)로부터 터치 입력을 수신할 수 있다. 전자 장치(10)는 사용자(1)로부터 터치 입력을 수신하는 동안 터치 데이터(310) 및 기압 데이터(320) 중에서 적어도 하나를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 스크린을 통해서 사용자의 터치 입력이 수신된 영역(300)에 관한 터치 데이터(310)를 소정의 시간 간격으로 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 MxN의 영역으로 분할(segmentation)하고, 분할된 영역들의 각각을 소정의 시간 간격(Tms, 1/T Hz)으로 스캔함으로써, X개의 프레임의 터치 데이터(310)를 획득할 수 있다. 전자 장치(10)는 사용자의 손가락에 흐르는 미세 전류 또는 사용자의 입력이 수신되는 영역에 대응하는 전극의 전기장을 측정하고, 측정된 미세 전류 또는 전기장 값을 0 내지 1 사이의 실수값이 되도록 정규화 함으로써, 분할된 영역들의 각각으로부터 터치 데이터(310)를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 소정의 개수의 터치 데이터(310)들을 하나의 세트로 그룹화 할 수 있다. 예를 들면, 전자 장치(10)는 MxN 영역으로 분할되어 Tms 마다 획득된 X개의 프레임의 터치 데이터(310)를 하나의 세트로 그룹화 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(310)를 획득하는 동안, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터(320)를 획득할 수 있다. 전자 장치(10)는 방수 기능을 지원하기 위해서 내부가 밀폐될 수 있다. 따라서, 전자 장치(10)는 기압 센서를 이용하여 전자 장치(10)를 누르는 사용자의 터치 입력에 의해서 변화되는 전자 장치(10)의 내부의 기압을 소정의 시간 간격으로 측정함으로써, 기압 데이터(320)를 획득할 수 있다. 전자 장치(10)는 터치 데이터(310)를 획득하는 시간마다 기압 데이터(320)를 획득할 수 있다. 전자 장치(10)는 하나의 세트로 그룹화된 터치 데이터(310)들의 각각에 대응하는 기압 데이터(320)들을 하나의 세트로 그룹화 할 수 있다. 예를 들면, 전자 장치(10)는 Tms 마다 획득된 X개의 프레임의 터치 데이터(310)들의 각각에 대응하는 기압 데이터(320)들을 하나의 세트로 그룹화 할 수 있다.
전자 장치(10)는 획득한 터치 데이터 및 기압 데이터를 전자 장치(10)의 메모리에 저장할 수 있다. 또한, 전자 장치(10)는 터치 데이터 및 기압 데이터를 서버(20)로 전송할 수 있다.
도 4는 일 실시예에 따른, 전자 장치가 터치 데이터 및 기압 데이터 중에서 적어도 하나를 인공지능 모델에 적용하는 방법을 설명하는 도면이다.
도 4를 참조하면, 전자 장치(10)는 사용자 입력을 수신한 터치 스크린으로부터 획득한 터치 데이터(410) 및 기압 데이터(420) 중에서 적어도 하나를 인공지능 모델(19)로 적용할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 터치 데이터(410) 및 기압 데이터(420) 중에서 적어도 하나에 기초하여, 사용자 입력과 유사한 학습 데이터 세트를 식별하도록 학습된 초기 설정용 인공지능 모델을 포함할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 복수의 학습 데이터 세트들을 중에서 적어도 일부를 학습함으로써, 사용자 입력의 유형을 식별하도록 학습된 범용 인공지능 모델일 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 컨볼루션 레이어를 통해서 입력된 데이터로부터 특징 데이터를 획득하도록 학습된 인공지능 모델을 포함할 수 있다.
전자 장치(10)는 입력된 터치 데이터(410) 및 기압 데이터(420)에 대해서 컨볼루션 레이어에 적용되는 형식의 데이터로 변환하는 전처리를 수행할 수 있다. 전자 장치(10)는 전처리된 터치 데이터 및 기압 데이터를 전자 장치(10)의 메모리에 저장할 수 있다. 전자 장치(10)는 전처리된 터치 데이터 및 기압 데이터를 서버(20)로 전송할 수 있다. 전자 장치(10)는 전처리된 터치 데이터 및 기압 데이터를 인공지능 모델(19)에 입력할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 하나의 인공지능 모델에게 터치 데이터(410) 및 기압 데이터(420)를 적용할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터(410) 및 기압 데이터(420)를 제1 인공지능 모델에게 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(410)와 기압 데이터(420)의 각각을 별도의 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터(410)를 제1 인공지능 모델에게 적용하고, 기압 데이터(420)를 제2 인공지능 모델에게 적용할 수 있다.
도 5는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 5를 참조하면, 전자 장치(10)는 인공지능 모델(19)에 터치 데이터(510)를 적용함으로써, 인공지능 모델(19)로부터 터치 데이터(510)의 특징 데이터(530)를 획득할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)로부터 출력되는 터치 데이터(510)의 특징 맵(531), 터치 데이터(510)의 특징 벡터(532) 및 터치 데이터(530)가 터치 입력의 유형들의 각각에 해당할 확률 값(533)을 획득할 수 있다. 인공지능 모델(19)은 터치 데이터(510)의 특징 데이터(530)를 획득하도록 미리 학습 된 특징 추출 모델을 포함할 수 있다. 특징 추출 모델은 도 10의 학습 데이터를 식별하기 위한 인공지능 모델 및 도 11의 사용자 입력의 유형을 식별하기 위한 인공지능 모델과는 별도로 생성된 인공지능 모델일 수 있다. 특징 추출 모델은 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하기 위해 도 10의 학습 데이터를 식별하기 위한 인공지능 모델과 데이터 교환이 가능하다. 또한, 특징 추출 모델은 사용자 입력에 대응하는 동작을 수행하기 위해 도 11의 사용자 입력의 유형을 식별하기 위한 인공지능 모델과 데이터 교환이 가능하다.
일 실시예에 따르면, 인공지능 모델(19)은 터치 데이터(510)를 컨볼루션 레이어들(Convolutional layers)로 구성할 수 있다. 인공지능 모델(19)은 컨볼루션 레이어들로부터 터치 데이터(510)의 특징 맵(531)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 맵(531)을 벡터화(vectorize) 또는 풀링(Pooliing) 함으로써, 특징 맵(531)으로부터 특징 벡터(532)를 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 벡터(532)를 Fully Connected 함으로써, 사용자의 터치 입력이 터치 입력의 유형들의 각각에 해당할 확률 값(533)을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 사용자의 터치 입력이 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력의 유형들의 각각에 해당할 확률 값(533)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 터치 데이터(510)의 특징 데이터(530)를 전자 장치(10)로 출력할 수 있다. 예를 들면, 인공지능 모델(19)은 특징 데이터(530)로서 터치 데이터(510)의 특징 맵(531), 터치 데이터(510)의 특징 벡터(532) 및 터치 데이터(530)가 터치 입력의 유형들의 각각에 해당할 확률 값(533) 중에서 적어도 하나를 전자 장치(10)로 출력할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(530)를 메모리에 저장할 수 있다
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(530)를 서버(20)로 전송할 수 있다.
도 6은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 6을 참조하면, 전자 장치(10)는 터치 데이터(610)에 대해서 전처리를 수행하고 인공지능 모델(19)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)의 컨볼루션 레이어에 적용되는 형식에 맞도록 터치 데이터(610)에 대해서 전처리를 수행할 수 있다. 전자 장치(10)에 의해서 수행하는 전처리는 전자 장치(10)가 터치 데이터(610)를 인공지능 모델(19)에 적용함으로써 수행될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 소정의 시간에 기초하여 터치 데이터(610)를 분할함으로써, 터치 데이터 세트를 획득할 수 있다. 이 경우, 획득되는 터치 데이터 세트는 한가지 유형의 사용자 입력에 대한 터치 데이터가 포함된 것일 수 있다. 전자 장치(10)는 터치 입력들 사이에 터치 입력이 수신되지 않은 시각을 기준으로, 터치 데이터(610)를 분할할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(610)에 대해서 전처리를 수행한 결과로 터치 스크린 상에 사용자의 터치 입력이 수신된 영역을 나타내는 터치 영역 이미지를 획득할 수 있다. 전자 장치(10)는 소정의 시간으로 분할된 터치 데이터 세트들의 각각에 대응하는 터치 영역 이미지 세트(611)를 전처리를 수행한 결과로서 획득할 수 있다. 전자 장치(10)는 터치 영역 이미지 세트(611)를 인공지능 모델(19)에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(610)에 대해서 전처리를 수행한 결과로 터치 데이터(610)에 대응하는 행렬을 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터(610)에게 사용자의 터치 입력이 수신된 영역에 1을 터치 입력이 수신되지 않은 영역에 0을 적용함으로써, 터치 데이터(610)에 대응하는 행렬을 획득할 수 있다. 또는, 전자 장치(10)는 사용자의 터치 입력에 따라서 측정된 미세 전류 또는 전기장 값이 정규화 된 0 내지 1 사이의 실수값을 갖는 영역들의 각각을 행렬의 엘리먼트로 변환함으로써, 터치 데이터(610)에 대응하는 행렬을 획득할 수 있다. 이 경우, 전자 장치(10)는 MxN 영역으로 분할된 터치 데이터(610)로부터 MxN 행렬을 획득할 수 있다. 전자 장치는 터치 데이터 세트들의 각각에 대응하는 행렬들(613)을 전처리를 수행한 결과로서 획득할 수 있다. 전자 장치(10)는 행렬들(613)을 인공지능 모델(19)에 적용할 수 있다.
도 7은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 7을 참조하면, 전자 장치(10)는 인공지능 모델(19)에 기압 데이터(720)를 적용함으로써, 인공지능 모델(19)로부터 기압 데이터(720)의 특징 데이터(730)를 획득할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)로부터 출력되는 기압 데이터(720)의 특징 맵(731), 기압 데이터(720)의 특징 벡터(732) 및 기압 데이터(730)가 터치 입력의 유형들의 각각에 해당할 확률 값(733)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 기압 데이터(720)를 컨볼루션 레이어들(Convolutional layers)로 구성할 수 있다. 인공지능 모델(19)은 컨볼루션 레이어들로부터 기압 데이터(720)의 특징 맵(731)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 맵(731)을 벡터화(vectorize) 또는 풀링(Pooliing) 함으로써, 특징 맵(731)으로부터 특징 벡터(732)를 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 벡터(732)를 Fully Connected 함으로써, 사용자의 터치 입력이 터치 입력의 유형들의 각각에 해당할 확률 값(733)을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 사용자의 터치 입력이 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력의 유형들의 각각에 해당할 확률 값(733)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 기압 데이터(720)의 특징 데이터(730)를 전자 장치(10)로 출력할 수 있다. 예를 들면, 인공지능 모델(19)은 특징 데이터(730)로서 기압 데이터(720)의 특징 맵(731), 기압 데이터(720)의 특징 벡터(732) 및 기압 데이터(730)가 터치 입력의 유형들의 각각에 해당할 확률 값(733) 중에서 적어도 하나를 전자 장치(10)로 출력할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(730)를 메모리에 저장할 수 있다
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(730)를 서버(20)로 전송할 수 있다.
도 8 및 도 9는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 8 및 도 9를 참조하면, 전자 장치(10)는 기압 데이터(820, 920)에 대해서 전처리를 수행하고 인공지능 모델(19)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)의 컨볼루션 레이어에 적용되는 형식에 맞도록 기압 데이터(820, 920)에 대해서 전처리를 수행할 수 있다. 전자 장치(10)에 의해서 수행하는 전처리는 전자 장치(10)가 기압 데이터(820, 920)를 인공지능 모델(19)에 적용함으로써 수행될 수 있다.
도 8을 참조하면, 전자 장치(10)는 기압 데이터(820)에 전처리를 수행함으로써, 기압 데이터(820)에 대응하는 행렬(850)들을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 기압 데이터(820)로부터 소정 시간의 전자 장치(10)의 내부의 기압 값의 변동 값을 획득할 수 있다. 예를 들면, 전자 장치(10)는 제1 시각의 기압 값(831)과 제2 시각의 기압 값(832)의 차이 값을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전자 장치(10)의 내부의 기압의 변동 값으로부터 행렬(850)을 획득할 수 있다. 예를 들면, 전자 장치(10)는 제2 시각의 기압 값(832)과 제1 시각의 기압 값(831)의 차이 값을 갖는, 제2 시각에 대응하는 행렬을 획득할 수 있다. 또한, 전자 장치(10)는 0의 값을 갖는, 제1 시각에 대응하는 행렬을 획득할 수 있다.
도 9를 참조하면, 전자 장치(10)는 기압 데이터(920)에 전처리를 수행함으로써, 행렬(950)들을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 기압 데이터(920)로부터 소정 시간의 전자 장치(10)의 내부의 기압의 변동 값을 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 입력이 수신된 시각의 기압 값과 터치 입력이 수신되지 않은 시각의 기압 값의 차이 값을 획득할 수 있다. 구체적으로, 전자 장치(10)는 터치 입력이 수신되지 않은 제1 시각의 기압 값(931)과 터치 입력이 수신된 제2 시각의 기압 값(932)의 차이 값을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전자 장치(10)의 내부의 기압의 변동 값으로부터 행렬(950)을 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 입력이 수신된 시각의 기압 값과 터치 입력이 수신되지 않은 시각의 기압 값의 차이 값을 갖는 행렬(950)을 획득할 수 있다. 구체적으로, 전자 장치(10)는 터치 입력이 수신되지 않은 제1 시각의 기압 값(931)과 터치 입력이 수신된 제2 시각의 기압 값(932)의 차이 값을 갖는 행렬을 획득할 수 있다.
도 8 및 도 9를 참조하면, 전자 장치(10)는 획득된 행렬(850, 950)들을 인공지능 모델(190)에 적용할 수 있다.
도 10은 일 실시예에 따른, 전자 장치 또는 서버 중에서 하나가 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하고, 식별된 학습 데이터를 이용하여 인공지능 모델을 학습하는 방법을 설명하는 도면이다.
전자 장치(10)는 사용자의 입력 데이터(1010)를 획득하고, 메모리(17)에 미리 저장된 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)와 비교함으로써, 입력 데이터(1010)와 유사한 제1 학습 데이터 세트를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)로부터 선택할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 입력 데이터(1010)에 포함된 터치 데이터(1011)와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다.
예를 들면, 전자 장치(10)는 입력 데이터(1010)에 포함된 터치 입력의 유형들의 각각에 대응하는 터치 데이터(1011)와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력의 유형들의 각각에 대응하는 터치 데이터를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다. 구체적으로, 전자 장치(10)는 포스 터치로서 입력된 사용자의 터치 데이터와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 포스 터치에 대한 터치 데이터를 비교함으로서, 제1 학습 데이터 세트를 선택할 수 있다. 또한, 전자 장치(10)는 롱 터치로서 입력된 사용자의 터치 데이터와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 롱 터치에 대한 터치 데이터를 비교함으로서, 제1 학습 데이터 세트를 선택할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011)로부터 획득한 터치 영역 이미지와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터로부터 획득한 터치 영역 이미지를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다. 구체적으로, 전자 장치(10)는 터치 데이터(1011)에 포함된 터치 입력이 수신된 영역의 모양(예를 들면, 테두리)과 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력이 수신된 영역의 모양을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 선택할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011) 에 포함된 터치 입력이 수신된 영역의 면적과 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력이 수신된 영역의 면적을 비교한 결과를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다. 이 경우, 전자 장치(10)는 최대 면적들을 비교한 결과에 기초하여 제1 학습 데이터 세트를 선택할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011)가 획득된 터치 입력이 수신된 시간과 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력이 수신된 시간을 비교한 결과에 기초하여, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011)의 특징 데이터와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각의 특징 데이터를 비교한 결과에 기초하여 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 특징 데이터는 터치 데이터의 특징 맵, 터치 데이터의 특징 벡터 및 터치 데이터의 유형들의 각각에 해당할 확률 값들을 포함할 수 있다.
구체적인 예를 들면, 전자 장치(10)는 터치 데이터(1011)를 인공지능 모델에 적용함으로써, 터치 데이터(1011)의 제1 특징 벡터(1015)를 획득할 수 있다. 전자 장치(10)는 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각의 제2 특징 벡터와 제1 특징 벡터(1015)를 인공지능 모델에 적용함으로써, 제1 특징 벡터(1015)와 제2 특징 벡터들의 연관도(correlation)를 식별할 수 있다. 전자 장치(10)는 제1 특징 벡터(1015)와 가장 연관도가 높은 제2 특징 벡터에 대응하는 제1 학습 데이터 세트를 식별할 수 있다. 또는, 전자 장치(10)는 제1 특징 벡터(1015)의 대표값(예를 들면, 평균값, 중간값, 최빈값)과 제2 특징 벡터들의 각각의 대표값(예를 들면, 평균값, 중간값, 최빈값)을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터와 함께 기압 데이터를 이용하여 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d) 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
예를 들면, 전자 장치(10)는 하나의 인공지능 모델에 터치 데이터(1011) 및 기압 데이터(1013)를 적용함으로써 획득한 제1 특징 벡터(1015)와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
구체적으로, 전자 장치(10)는 터치 데이터와 기압 데이터를 이어붙여서(concatenate) 인공지능 모델에 적용함으로써 획득한 제1 특징 벡터를 제2 특징 벡터와 비교하거나, 터치 데이터와 기압 데이터를 교대로 배열하여 인공지능 모델에 적용함으로써 획득한 제1 특징 벡터를 제2 특징 벡터와 비교한 결과로서, 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011) 및 기압 데이터(1013)의 각각을 별도의 인공지능 모델에 적용하여 획득한 특징 벡터들을 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터의 특징 벡터 및 기압 데이터의 특징 벡터와 비교한 결과에 기초하여, 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
구체적으로, 전자 장치(10)는 터치 데이터(1011)를 제1 인공지능 모델에 적용함으로써 제1 특징 벡터를 획득할 수 있다. 또한, 전자 장치(10)는 기압 데이터(1013)를 제2 인공지능 모델에 적용함으로써 제3 특징 벡터를 획득할 수 있다. 전자 장치(10)는 제1 특징 벡터를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터들로부터 획득된 제2 특징 벡터들과 비교함으로써, 제1 특징 벡터와 연관도(correlation)가 가장 높은 제2 특징 벡터에 대응하는 제1 학습 데이터 세트를 식별할 수 있다. 전자 장치(10)는 제3 특징 벡터를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 기압 데이터들로부터 획득된 제4 특징 벡터들과 비교함으로써, 제3 특징 벡터와 연관도(correlation)가 가장 높은 제4 특징 벡터에 대응하는 제2 학습 데이터 세트를 식별할 수 있다. 전자 장치는 가중치 값을 이용하여 제1 학습 데이터 세트 및 제2 학습 데이터 세트 중에서 인공지능 모델을 학습하는데 이용될 학습 데이터 세트를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d) 중에서 사용자의 입력 데이터와 유사한 제1 학습 데이터 세트를 식별할 수 있다. 전자 장치(10)는 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)들의 각각에 대응하는 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 식별할 수 있다. 복수의 인공지능 모델들의 각각은 다양한 터치 입력의 특성(예를 들면, 나이, 성별, 인종, 체중, 주 사용 손, 주 사용 손가락)을 가진 여러 사용자로부터 수집된 학습 데이터에 기초하여 분류된 복수의 학습 데이터 세트들(1020a, 1020b, 1020c, 1020d)의 각각을 미리 학습한 것일 수 있다.
전자 장치(10)는 사용자의 입력 데이터(1010)를 서버(20)로 전송할 수 있다. 서버(20)는 DB(27)에 미리 저장된 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)와 비교함으로써, 입력 데이터(1010)와 유사한 제1 학습 데이터 세트를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)로부터 선택할 수 있다.
서버(20)가 학습 데이터 세트를 식별하는 방법은 전자 장치(10)가 학습 데이터 세트를 식별하는 방법이 유추 적용될 수 있기 때문에, 중복되는 내용은 생략한다. 또한, 서버(20)가 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 식별하는 방법은 전자 장치(10)가 제1 인공지능 모델을 식별하는 방법이 유추 적용될 수 있기 때문에, 중복되는 내용은 생략한다.
전자 장치(10)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델(19)을 학습 시킬 수 있다.
일 실시예에 따르면, 전자 장치(10)는 학습 데이터를 학습한 적 없는 인공지능 모델에게 사용자의 입력 데이터와 유사한 학습 데이터 세트를 학습시킬 수 있다.
일 실시예에 따르면, 전자 장치(10)는 초기 설정용 인공지능 모델에게 사용자의 입력 데이터와 유사한 학습 데이터 세트를 학습 시킬 수 있다. 초기 설정용 인공지능 모델은 복수의 학습 데이터 세트들을 중에서 적어도 일부를 학습한 범용 인공지능 모델일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터 및 기압 데이터에 대한 학습 데이터가 포함된 학습 데이터 세트로 하나의 인공지능 모델을 학습시킴으로써, 하나의 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터에 대한 학습 데이터와 기압 데이터에 대한 학습 데이터의 각각으로 별도의 인공지능 모델을 학습시킴으로써, 둘 이상의 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 구체적으로, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 터치 데이터에 대한 제1 학습 데이터로 제1 인공지능 모델을 학습시키고, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 기압 데이터에 대한 제2 학습 데이터로 제2 인공지능 모델을 학습시킴으로써, 제1 사용자 맞춤형 인공지능 모델 및 제2 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트들의 각각을 미리 학습한 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 메모리로부터 리드아웃(readout)하고, 리드아웃(readout)된 제1 인공지능 모델로 전자 장치(10)내에 구축된 인공지능 모델을 대체(replace)함으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
서버(20)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습 시킬 수 있다. 서버(20)가 학습 데이터를 식별하는 방법은 전자 장치(10)가 학습 데이터를 식별하는 방법이 유추 적용될 수 있기 때문에, 중복되는 내용은 생략한다.
전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델을 수신하고, 전자 장치(10)내에 구축(build)된 인공지능 모델을 수신된 인공지능 모델로 대체(replace)함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다. 또는, 전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델의 파라미터를 수신하고, 수신된 파라미터를 이용하여 전자 장치(10)내에 구축(build)된 인공지능 모델을 갱신(update)함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트들의 각각을 미리 학습한 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 서버(20)로부터 수신하고, 수신된 제1 인공지능 모델로 전자 장치(10)내에 구축된 인공지능 모델을 대체(replace)함으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
도 11은 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 11을 참조하면, 전자 장치(10)는 사용자(1)로부터 소정의 동작을 수행하기 위한 터치 입력을 수신할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 터치가 입력된 영역에 대응하는 오브젝트를 선택하는 동작, 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작, 바로가기 기능을 제공하는 동작, 오브젝트의 위치를 이동하는 기능을 제공하는 동작 및 전자 장치(10)의 하드웨어 기능을 제어하는 동작과 같은 소정의 동작을 수행하기 위한 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 사용자(1)의 터치 입력을 수신할 수 있다.
전자 장치(10)는 사용자(1)로부터 수신한 터치 입력으로부터 터치 데이터(1110) 및 기압 데이터(1120)를 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 사용자(1)의 터치 입력이 수신된 영역에 관한 터치 데이터(1110)를 소정의 시간 간격으로 획득할 수 있다. 또한, 전자 장치(10)는 터치 데이터(1110)를 획득하는 동안, 사용자(1)의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터(1120)를 획득할 수 있다.
전자 장치(10)는 인공지능 모델(19)로 터치 데이터(1110) 및 기압 데이터(1120) 중에서 적어도 하나를 적용함으로써, 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)로부터 출력되는 사용자 입력이 롱 터치(1150a), 포스 터치(1150b) 및 포스 터치 후 드래그(1150c)의 각각에 해당할 확률 값들로부터 사용자 입력의 유형을 롱 터치(1150a), 포스 터치(1150b) 및 포스 터치 후 드래그(1150c)와 같은 유형으로 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 하나의 인공지능 모델에 터치 데이터(1110) 및 기압 데이터(1120) 중에서 적어도 하나를 적용함으로써, 하나의 인공지능 모델로부터 출력되는 확률 값을 이용하여 사용자 입력의 유형을 식별할 수 있다.
전자 장치(10)는 식별한 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다.
예를 들면, 전자 장치(10)는 롱 터치(1150a)로 식별된 사용자 입력에 대응하여 제1 동작(1170a)을 수행할 수 있다. 구체적인 예를 들면, 전자 장치(10)는 사용자 입력을 롱 터치(1150a)로 식별한 결과에 따라서 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치(1150b)로 식별된 사용자 입력에 대응하여 제2 동작(1170b)을 수행할 수 있다. 구체적인 예를 들면, 전자 장치(10)는 사용자 입력을 포스 터치(1150b)로 식별한 결과에 따라서 바로가기 기능을 제공하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치 후 드래그(1150c)로 식별된 사용자 입력에 대응하여 제3 동작(1170c)을 수행할 수 있다. 구체적인 예를 들면, 전자 장치(10)는 포스 터치 후 상하 드래그 입력으로 식별된 사용자 입력에 대응하여 디스플레이의 밝기를 조절하는 동작을 수행할 수 있다. 전자 장치(10)는 포스 터치 후 좌우 드래그 입력으로 식별된 사용자 입력에 대응하여 출력되는 소리의 세기를 조절하는 동작을 수행할 수 있다.
도 12는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 12를 참조하면, 전자 장치(10)는 사용자(1)로부터 소정의 동작을 수행하기 위한 터치 입력을 수신할 수 있다. 전자 장치(10)는 사용자(1)로부터 수신한 터치 입력으로부터 터치 데이터(1210) 및 기압 데이터(1220)를 획득할 수 있다.
전자 장치(10)는 터치 데이터(1210) 및 기압 데이터(1220)의 각각을 별도의 인공지능 모델에 적용함으로써 획득한 확률 값들의 각각에 가중치 값을 적용함으로써 사용자 입력의 유형을 식별할 수 있다.
예를 들면, 전자 장치(10)는 터치 데이터(1210)를 제1 인공지능 모델(19a)에게 적용함으로써 획득한 제1 확률 값에 제1 가중치 값(wa)을 적용하고, 기압 데이터(1220)를 제2 인공지능 모델(19b)에게 적용함으로써 획득한 제2 확률 값에 제2 가중치 값(wb)을 적용할 수 있다. 전자 장치(10)는 가중치 값(wa, wb)이 각각 적용된 제1 확률 값과 제2 확률 값 중에서 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다. 전자 장치(10)는 식별된 사용자 입력의 유형에 대응하는 동작(1270)을 수행할 수 있다.
일 실시예에 따르면, 확률 값들의 각각에 적용되는 가중치 값(wa, wb)은 사용자의 입력 데이터와 학습 데이터 세트의 유사도에 기초하여 결정될 수 있다.
예를 들면, 제1 가중치 값(wa)은 도 2의 단계 S210에서 획득한 터치 데이터와 도 2의 단계 S220에서 식별한 학습 데이터 세트의 터치 데이터의 유사도에 기초하여 결정될 수 있다. 예를 들면, 유사도가 90%인 경우, 제1 가중치 값(wa)은 0.9 일 수 있다.
다른 예를 들면, 제2 가중치 값(wb)은 도 2의 단계 S210에서 획득한 기압 데이터와 도 2의 단계 S220에서 식별한 학습 데이터 세트의 기압 데이터의 유사도에 기초하여 결정될 수 있다. 예를 들면, 유사도가 60%인 경우, 제2 가중치 값(wb)은 0.6 일 수 있다.
일 실시예에 따르면, 사용자의 입력 데이터와 학습 데이터 세트의 유사도는 사용자의 입력 데이터로부터 획득한 특징 벡터와 학습 데이터 세트의 특징 벡터의 연관도로부터 획득될 수 있다.
일 실시예에 따르면, 터치 데이터(1210)가 제1 인공지능 모델(19a)에 적용됨으로써 획득되는 제1 확률 값은 사용자의 터치 입력이 롱 터치에 해당할 제1 롱 터치 확률 값 및 사용자의 터치 입력이 포스 터치에 해당할 제1 포스 터치 확률 값을 포함할 수 있다. 또한, 기압 데이터(1220)가 제2 인공지능 모델(19b)에 적용됨으로써 획득되는 제2 확률 값은 사용자의 터치 입력이 롱 터치에 해당할 제2 롱 터치 확률 값 및 사용자의 터치 입력이 포스 터치에 해당할 제2 포스 터치 확률 값을 포함할 수 있다.
또한, 제1 확률 값에 적용되는 가중치 값(wa)은 제1 롱 터치 확률 값에 적용되는 제1 가중치 값(w1)과 제1 포스 터치 확률 값에 적용되는 제2 가중치 값(w2)을 포함할 수 있다. 제2 확률 값에 적용되는 가중치 값(wb)은 제2 롱 터치 확률 값에 적용되는 제3 가중치 값(w3)과 제2 포스 터치 확률 값에 적용되는 제4 가중치 값(w4)을 포함할 수 있다. 이 경우, 제1 가중치 값(w1)과 제2 가중치 값(w2)의 합은 1이고, 제3 가중치 값(w3)과 제4 가중치 값(w4)의 합은 1이 되도록 가중치 값들이 결정될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 포스 터치 확률 값과 제1 롱 터치 확률 값의 차이가 소정의 값(예를 들면, 0.2) 이상인 경우는 제1 확률 값에 적용되는 가중치 값(wa)을 1로 결정하고, 제2 확률 값에 적용되는 가중치 값(wb)을 0으로 결정할 수 있다. 전자 장치(10)는 제1 가중치 값(w1)과 제2 가중치 값(w2)을 동일한 값(예를 들면, 0.5)으로 결정할 수 있다.
또한, 전자 장치(10)는 제1 포스 터치 확률 값과 제1 롱 터치 확률 값의 차이가 소정의 값(예를 들면, 0.2) 미만인 경우는 전자 장치(10)는 제1 가중치 값(w1)이 적용된 제1 롱 터치 확률 값과 제3 가중치 값(w3)이 적용된 제2 롱 터치 확률 값의 합과 제2 가중치 값(w2)이 적용된 제1 포스 터치 확률 값과 제4 가중치 값(w4)이 적용된 제2 포스 터치 확률 값의 합 중에서 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다.
일 실시예에 따르면, 확률 값들의 각각에 적용되는 가중치 값(wa, wb, w1, w2, w3, w4)은 인공지능 모델의 설계자에 의해서 미리 설정된 것일 수 있다. 구체적으로, 인공지능 모델의 설계자가 실험을 통해서 적절하다고 판단한 값들이 가중치 값(wa, wb, w1, w2, w3, w4)으로 설정된 것일 수 있다.
예를 들면, 소정의 실험 환경에 놓인 전자 장치(10)에 대하여, 여러 번 실험이 수행됨에 따라, 최적의 확률 값이 획득될 수 있는, 가중치 값(wa, wb, w1, w2, w3, w4)이 미리 설정될 수 있다.
또한, 전자 장치(10) 내의 기압이 변화됨에 따라서, 기압 센서에 의해 측정된 값의 신뢰도가 변화되는 경우, 가중치 값(wa, wb, w1, w2, w3, w4)은, 적절한 값으로 조절될 수도 있다. 상술한 예에 한하지 않고, 가중치 값(wa, wb, w1, w2, w3, w4)은, 최적의 확률 값이 획득될 수 있는 값으로, 다양한 방법에 따라서, 결정될 수 있다.
일 실시예에 따르면, 제2 인공지능 모델(19b)은 수학식 1의 함수를 이용하여, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 최대값과 최소값의 차이에 따라서 사용자의 터치 입력이 포스 터치에 해당할 확률 값을 출력할 수 있다.
Figure pat00001
여기서 b는 기압 값이고, p는 사용자의 터치 입력이 포스 터치에 해당할 확률 값을 의미한다. p는 시그모이드 함수에 의한 결과 값으로서 0부터 1 사이의 값일 수 있다.
도 13은 일 실시예에 따른, 전자 장치의 블록도이다.
도 13을 참조하면, 전자 장치(10)는, 사용자 입력부(11), 출력부(12), 프로세서(13), 통신부(15) 및 메모리(17)를 포함할 수 있다. 그러나, 도 13에 도시된 구성 요소 모두가 전자 장치(10)의 필수 구성 요소인 것은 아니다. 도 13에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(10)가 구현될 수도 있고, 도 13에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(10)가 구현될 수도 있다.
사용자 입력부(11)는, 사용자가 전자 장치(10)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(11)에는 터치 스크린(touch screen), 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 터치스크린, 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(11)는 도 1 내지 도 12를 참조하여 설명한 실시예들을 전자 장치(10)가 수행하기 위해 필요한 사용자 입력을 수신할 수 있다.
출력부(12)는 전자 장치(10)에서 처리되는 정보를 출력한다. 출력부(12)는 도 1 내지 도 12을 참조하여 설명한 실시예들에 관련된 정보를 출력할 수 있다. 또한, 출력부(12)는 오브젝트, 사용자 인터페이스, 사용자의 입력에 대응하는 동작을 수행한 결과를 디스플레이하는 디스플레이부(12-1)를 포함할 수 있다.
프로세서(13)는, 통상적으로 전자 장치(10)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(13)는, 메모리(17)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 사용자에게 증강 현실 컨텐츠를 제공하기 위하여 사용자 입력부(11), 출력부(12), 통신부(15), 메모리(17) 등을 전반적으로 제어할 수 있다.
예를 들면, 프로세서(13)는 사용자 입력 데이터 획득 모듈(17a)에 저장된 인스트럭션을 실행함으로써, 사용자로부터 수신된 터치 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 학습 데이터 세트 식별 모듈(17b)에 저장된 인스트럭션을 실행함으로써, 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 인공지능 학습 모듈(17c)에 저장된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시킬 수 있다. 또는, 프로세서(13)는 인공지능 학습 모듈(17c)에 저장된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 선택할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 사용자 입력의 유형 식별 모듈(17d)에 저장된 인스트럭션을 실행함으로써, 사용자로부터 수신된 사용자 입력의 유형을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 동작 수행 모듈(17e)에 저장된 인스트럭션을 실행함으로써, 식별된 사용자 입력의 유형에 대응하는 동작을 수행하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
프로세서(13)는 범용적으로 이용되는 적어도 하나의 프로세서일 수 있다. 또한, 프로세서(13)는 인공지능 모델의 기능을 수행하기 위해서 제작된 적어도 하나의 프로세서를 포함할 수 있다. 프로세서(13)는 인공지능 모델이 새로운 학습 데이터를 학습하도록 일련의 인스트럭션를 실행할 수 있다. 프로세서(13)는 메모리(17)에 저장된 소프트웨어 모듈을 실행함으로써, 도 1 내지 도 12를 참조하여 위에서 설명한 인공지능 모델의 기능을 수행할 수 있다.
통신부(15)는, 전자 장치(10)가 다른 장치(미도시) 및 서버(20)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(10)와 같은 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.
메모리(17)는, 프로세서(13)의 처리 및 제어를 위한 적어도 하나의 인스트럭션 및 적어도 하나의 프로그램을 저장할 수 있고, 전자 장치(10)로 입력되거나 전자 장치(10)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(17)는 램(RAM, Random Access Memory) SRAM(Static Random Access Memory)과 같이 일시적으로 데이터를 저장하는 메모리 및 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크과 같이 비일시적으로 데이터를 저장하는 데이터 스토리지 중에서 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 14는 일 실시예에 따른, 전자 장치에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
도 14를 참조하면, 메모리(17)는 도 1 내지 도 12를 참조하여 위에서 설명한 실시예를 전자 장치(10)가 수행하기 위한 인스터럭션이 포함된 소프트웨어 모듈로서, 사용자 입력 데이터 획득 모듈(17a), 학습 데이터 세트 식별 모듈(17b), 인공지능 학습 모듈(17c), 사용자 입력의 유형 식별 모듈(17d) 및 동작 수행 모듈(17e)을 포함할 수 있다. 그러나, 도 14에 도시된 소프트웨어 모듈보다 많은 소프트웨어 모듈에 의해 전자 장치(10)가 사용자의 입력에 대응하는 동작을 수행할 수 있고, 도 14에 도시된 소프트웨어 모듈보다 적은 소프트웨어 모듈에 의해 전자 장치(10)가 사용자의 입력에 대응하는 동작을 수행할 수 있다.
예를 들면, 사용자 입력 데이터 획득 모듈(17a)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 사용자로부터 수신된 터치 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 학습 데이터 세트 식별 모듈(17b)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 인공지능 학습 모듈(17c)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시키거나 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 사용자 입력의 유형 식별 모듈(17d) 에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 사용자로부터 수신된 사용자 입력의 유형을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 동작 수행 모듈(17e)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 식별된 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
도 15는 일 실시예에 따른, 서버의 블록도이다.
도 15를 참조하면, 일부 실시예에 따른 서버(20)는 통신부(25), 메모리(26), DB(27) 및 프로세서(23)를 포함할 수 있다.
통신부(25)는 서버(20)가 전자 장치(10)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
메모리(26)는 프로세서(23)의 처리 및 제어를 위한 적어도 하나의 인스트럭션 및 적어도 하나의 프로그램을 저장할 수 있고, 서버(20)로 입력되거나 서버(20)로부터 출력되는 데이터를 저장할 수도 있다.
DB(27)는 전자 장치(10)로부터 수신한 데이터를 저장할 수 있다. DB(27)는 인공지능 모델을 학습하는데 이용될 복수의 학습 데이터 세트를 저장할 수 있다.
프로세서(23)는 통상적으로 서버(20)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(23)는, 서버(20)의 메모리(26)에 저장된 프로그램들을 실행함으로써, DB(27) 및 통신부(25) 등을 전반적으로 제어할 수 있다. 프로세서(23)는 프로그램들을 실행함으로써, 도 1 내지 도 12를 참조하여 설명한 서버(20)의 동작을 수행할 수 있다.
예를 들면, 프로세서(23)는 학습 데이터 세트 식별 모듈(27a)에 저장된 인스트럭션을 실행함으로써, 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(23)는 인공지능 학습 모듈(27b)에 포함된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시킬 수 있다. 또는, 프로세서(23)는 인공지능 학습 모듈(27b)에 저장된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 선택할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
도 16은 일 실시예에 따른, 서버에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
도 16을 참조하면, 메모리(26)는 도 1 내지 도 12를 참조하여 위에서 설명한 실시예들을 서버(20)가 수행하기 위한 소프트웨어 모듈로서, 학습 데이터 세트 식별 모듈(27a) 및 인공지능 학습 모듈(27b)을 포함할 수 있다. 그러나, 도 16에 도시된 소프트웨어 모듈보다 많은 소프트웨어 모듈에 의해 서버(20)가 증강 현실 컨텐츠를 생성할 수 있고, 도 16에 도시된 소프트웨어 모듈보다 적은 소프트웨어 모듈에 의해 서버(20)가 증강 현실 컨텐츠를 생성할 수 있다.
예를 들면, 학습 데이터 세트 식별 모듈(27a)에 포함된 인스트럭션을 프로세서(23)가 실행함으로써, 서버(20)는 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 인공지능 학습 모듈(27b) 에 포함된 인스트럭션을 프로세서(23)가 실행함으로써, 서버(20)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시키거나 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (19)

  1. 인공지능 모델을 이용하여 전자 장치가 사용자 입력에 대응하는 동작을 수행하는 방법에 있어서,
    사용자의 터치 입력에 관한 터치 데이터를 획득하는 단계;
    미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별하는 단계;
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 단계;
    상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 단계; 및
    상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 단계;를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터를 상기 인공지능 모델에 적용함으로써, 상기 터치 데이터로부터 제1 특징 벡터를 획득하는 단계; 및
    상기 제1 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하는 단계; 및
    상기 터치 데이터 및 상기 제1 특징 벡터 중에서 적어도 하나에 기초하여 식별된, 상기 제1 학습 데이터 세트에 관한 정보를 상기 서버로부터 수신하는 단계를 포함하고,
    상기 인공지능 모델을 학습하는 단계는,
    상기 제1 학습 데이터 세트에 관한 정보에 기초하여, 상기 인공지능 모델을 학습하는 단계를 포함하는,
    방법.
  5. 제4항에 있어서,
    상기 제1 학습 데이터 세트에 관한 정보를 상기 서버로부터 수신하는 단계는,
    상기 서버로부터 상기 제1 학습 데이터 세트를 수신하는 단계를 포함하고,
    상기 인공지능 모델을 학습하는 단계는,
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 단계를 포함하는,
    방법.
  6. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하는 단계를 포함하고,
    상기 인공지능 모델을 학습하는 단계는,
    상기 제1 학습 데이터 세트를 학습한 인공지능 모델을 상기 서버로부터 수신하는 단계를 포함하는,
    방법.
  7. 제1항에 있어서,
    상기 터치 데이터를 획득하는 단계는,
    사용자의 터치 입력에 의해서 발생되는 상기 전자 장치의 내부의 기압의 변동에 관한 기압 데이터를 획득하는 단계를 포함하고,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 기압 데이터를 상기 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 제3 특징 벡터를 획득하는 단계; 및
    상기 제3 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각에 포함된 기압 데이터들로부터 획득된 제4 특징 벡터들을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는 단계를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 제3 특징 벡터를 획득하는 단계는,
    상기 기압 데이터와 기준 값의 차이 값을 상기 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 상기 제3 특징 벡터를 획득하는 단계를 포함하는,
    방법.
  9. 제7항에 있어서,
    상기 제3 특징 벡터를 획득하는 단계는,
    제1 기압 데이터와 제1 기압 데이터 이후에 획득된 제2 기압 데이터 사이의 차이 값을 상기 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 상기 제3 특징 벡터를 획득하는 단계를 포함하는,
    방법.
  10. 전자 장치가 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하기 위한 기능들에 대한 적어도 하나의 인스트럭션이 저장된 기록 매체에 있어서, 상기 기능들은:
    사용자의 터치 입력에 관한 터치 데이터를 획득하는 기능;
    미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별하는 기능;
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 기능;
    상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 기능; 및
    상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 기능;을 포함하는,
    기록 매체.
  11. 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 전자 장치에 있어서,
    메모리;
    사용자의 터치 입력을 수신함으로써 터치 데이터를 획득하는 사용자 입력부; 및
    미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하고, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하고, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하고, 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하도록 상기 전자 장치를 제어하는, 프로세서를 포함하는,
    전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 터치 데이터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는,
    전자 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 터치 데이터를 상기 인공지능 모델에 적용함으로써, 상기 터치 데이터로부터 제1 특징 벡터를 획득하고,
    상기 제1 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는,
    전자 장치.
  14. 제11항에 있어서,
    상기 전자 장치는 서버와 데이터를 송수신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하고, 상기 터치 데이터 및 상기 제1 특징 벡터 중에서 적어도 하나에 기초하여 식별된, 상기 제1 학습 데이터 세트에 관한 정보를 상기 서버로부터 수신하도록 상기 통신부를 제어하고,
    상기 제1 학습 데이터 세트에 관한 정보에 기초하여, 상기 인공지능 모델을 학습하는,
    전자 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 서버로부터 상기 제1 학습 데이터 세트를 수신하도록 상기 통신부를 제어하고,
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는,
    전자 장치.
  16. 제11항에 있어서,
    상기 전자 장치는 서버와 데이터를 송수신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하고, 상기 제1 학습 데이터 세트를 학습한 인공지능 모델을 상기 서버로부터 수신하도록 상기 통신부를 제어하는,
    전자 장치.
  17. 제11항에 있어서,
    상기 전자 장치는 사용자의 터치 입력에 의해서 발생되는 상기 전자 장치의 내부의 기압의 변동에 관한 기압 데이터를 획득하는 기압 센서를 포함하고,
    상기 프로세서는,
    상기 기압 데이터를 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 제3 특징 벡터를 획득하고,
    상기 제3 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각에 포함된 기압 데이터들로부터 획득된 제4 특징 벡터들을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는,
    전자 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 기압 데이터와 기준 값의 차이 값을 상기 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 상기 제3 특징 벡터를 획득하는,
    전자 장치.
  19. 제17항에 있어서,
    상기 프로세서는,
    제1 기압 데이터와 제1 기압 데이터 이후에 획득된 제2 기압 데이터 사이의 차이 값을 상기 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 상기 제3 특징 벡터를 획득하는,
    전자 장치.
KR1020210004241A 2021-01-12 2021-01-12 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법 KR20220102042A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210004241A KR20220102042A (ko) 2021-01-12 2021-01-12 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법
PCT/KR2021/016889 WO2022154236A1 (ko) 2021-01-12 2021-11-17 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법
EP21919860.3A EP4261663A4 (en) 2021-01-12 2021-11-17 CUSTOMIZED ELECTRONIC DEVICE INFERRING USER INPUT AND CONTROL METHOD THEREFOR
US18/221,288 US20230359348A1 (en) 2021-01-12 2023-07-12 Personalized electronic device inferring user input, and method for controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210004241A KR20220102042A (ko) 2021-01-12 2021-01-12 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법

Publications (1)

Publication Number Publication Date
KR20220102042A true KR20220102042A (ko) 2022-07-19

Family

ID=82447449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210004241A KR20220102042A (ko) 2021-01-12 2021-01-12 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법

Country Status (4)

Country Link
US (1) US20230359348A1 (ko)
EP (1) EP4261663A4 (ko)
KR (1) KR20220102042A (ko)
WO (1) WO2022154236A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024136080A1 (ko) * 2022-12-20 2024-06-27 삼성전자 주식회사 입력 모션을 식별하는 방법 및 전자 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009025045A1 (ja) * 2007-08-22 2009-02-26 Fujitsu Limited 化合物の物性予測装置、物性予測方法およびその方法を実施するためのプログラム
US20110007023A1 (en) * 2009-07-09 2011-01-13 Sony Ericsson Mobile Communications Ab Display device, touch screen device comprising the display device, mobile device and method for sensing a force on a display device
KR101809892B1 (ko) * 2016-03-29 2017-12-20 휴먼플러스(주) 컴퓨터를 포함한 스마트 디바이스 및 그것의 동작 방법
KR102280581B1 (ko) * 2017-03-21 2021-07-22 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN107734089A (zh) * 2017-09-29 2018-02-23 努比亚技术有限公司 压力触控屏及具有该压力触控屏的移动终端
KR102077669B1 (ko) * 2018-03-06 2020-02-14 네이버랩스 주식회사 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
US11531864B2 (en) * 2018-03-21 2022-12-20 Lg Electronics Inc. Artificial intelligence server
US11455383B2 (en) * 2019-04-30 2022-09-27 TruU, Inc. Supervised and unsupervised techniques for motion classification
KR20190104101A (ko) * 2019-08-19 2019-09-06 엘지전자 주식회사 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법, 장치 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024136080A1 (ko) * 2022-12-20 2024-06-27 삼성전자 주식회사 입력 모션을 식별하는 방법 및 전자 장치

Also Published As

Publication number Publication date
EP4261663A1 (en) 2023-10-18
US20230359348A1 (en) 2023-11-09
WO2022154236A1 (ko) 2022-07-21
EP4261663A4 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
KR102520627B1 (ko) 상품을 추천하는 디바이스 및 방법
US11544524B2 (en) Electronic device and method of obtaining emotion information
KR20190113119A (ko) 합성곱 신경망을 위한 주의집중 값 계산 방법
KR102532749B1 (ko) 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치
KR102473447B1 (ko) 인공지능 모델을 이용하여 사용자 음성을 변조하기 위한 전자 장치 및 이의 제어 방법
KR102548732B1 (ko) 신경망 학습 방법 및 이를 적용한 장치
US11887215B2 (en) Image processing apparatus and method for style transformation
CN111418198B (zh) 提供文本相关图像的电子装置及其操作方法
KR102474246B1 (ko) 복수 개의 전자 디바이스를 이용하여 신경망 모델을 처리하는 방법 및 시스템
EP3820369B1 (en) Electronic device and method of obtaining emotion information
CN112232355B (zh) 图像分割网络处理、图像分割方法、装置和计算机设备
KR102474245B1 (ko) 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법
KR20200036084A (ko) 애플리케이션의 번역 정보를 제공하는 디바이스 및 방법
Halvardsson et al. Interpretation of swedish sign language using convolutional neural networks and transfer learning
US20230359348A1 (en) Personalized electronic device inferring user input, and method for controlling same
KR102384878B1 (ko) 동영상을 필터링하는 방법 및 장치
KR20190096752A (ko) 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치
US20230419721A1 (en) Electronic device for improving quality of image and method for improving quality of image by using same
KR102464906B1 (ko) 패션 상품을 추천하는 전자 장치, 서버 및 그 동작 방법
KR20200092453A (ko) 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법
KR20200094607A (ko) 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법
KR102143227B1 (ko) 객체의 3차원 형상 정보 생성 방법 및 그 장치
KR20180102987A (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
KR20210048270A (ko) 복수 객체에 대한 오디오 포커싱 방법 및 장치
KR20200016174A (ko) 사용자 인터페이스를 제공하는 방법 및 시스템