KR20190115498A - 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법 - Google Patents
사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법Info
- Publication number
- KR20190115498A KR20190115498A KR1020180029786A KR20180029786A KR20190115498A KR 20190115498 A KR20190115498 A KR 20190115498A KR 1020180029786 A KR1020180029786 A KR 1020180029786A KR 20180029786 A KR20180029786 A KR 20180029786A KR 20190115498 A KR20190115498 A KR 20190115498A
- Authority
- KR
- South Korea
- Prior art keywords
- control data
- electronic device
- external electronic
- processor
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004044 response Effects 0.000 title claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 104
- 230000006870 function Effects 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 18
- 238000013473 artificial intelligence Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 다양한 실시예들은 사용자 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법에 관한 것으로, 상기 전자 장치는 하나 이상의 어플리케이션들을 저장하기 위한 메모리; 외부 전자 장치와 통신하기 위한 통신 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 입력을 수신하고, 상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 제 1 제어 데이터를 생성하고, 상기 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 상기 적어도 하나의 어플리케이션을 제어하기 위한 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하고, 상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하고, 상기 진행된 시간이 제 1 지정된 조건을 만족하는 경우, 상기 제 1 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 및 상기 진행된 시간이 제 2 지정된 조건을 만족하는 경우, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하도록 설정될 수 있다. 그 밖의 다양한 실시예들이 가능하다.
Description
본 발명의 다양한 실시예들은 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법에 관한 것이다.
전자 장치들(예: 이동 단말기, 스마트 폰, 착용형(wearable) 장치 등)은 다양한 기능을 제공할 수 있다. 예를 들어, 스마트 폰은 기본적인 음성 통신 기능에 추가적으로, 근거리 무선 통신(예: 블루투스(bluetooth), 와이파이(Wi-Fi), 또는 NFC (near field communication) 등) 기능, 이동 통신(3G(generation), 4G, 5G 등) 기능, 음악 또는 동영상 재생 기능, 촬영 기능, 또는 네비게이션 기능 등을 제공할 수 있다.
한편, 최근에는 인공지능(artificial intelligence: AI)에 대한 관심이 증가하고 있다. 인공지능은 기계가 스스로 학습(training)하고 판단하며, 사용할수록 인식률이 향상될 수 있다. 인공 지능은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 비지도 학습 모델과 학습된 데이터를 이용한 지도학습 네트워크 모델 등이 있으며 인간 두뇌의 인지, 판단 등의 기능을 묘사하는 요소 기술들로 구성될 수 있다.
요소 기술들은, 예를 들어, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
일반적으로, 인공 지능은 복잡한 연산 및/또는 과도한 처리량으로 인하여, 전자 장치가 아닌 상대적으로 고 성능의 외부 전자 장치(예: 서버)에 포함될 수 있다. 전자 장치는 사용자 입력을 수신하고, 수신된 사용자 입력을 외부 전자 장치로 전송하고, 외부 전자 장치로부터 사용자 입력에 대한 응답(예: 사용자 입력에 대한 인공 지능의 분석(예측) 결과)를 수신할 수 있다.
외부 전자 장치에 포함된 인공 지능을 이용하여 사용자 입력을 분석함에 따라, 전자 장치는 외부 전자 장치와의 통신 상태 또는 외부 전자 장치의 부하 상태에 따라 제약을 가질 수 있다. 예를 들어, 전자 장치와 외부 전자 장치의 통신 상태가 좋지 못하거나, 외부 전자 장치에 과도한 부하가 발생하는 경우(예를 들어, 다수의 전자 장치로부터 사용자 입력의 분석이 요청되는 경우) 전자 장치는 분석 결과를 매우 늦게 수신하거나, 분석 결과를 수신하지 못할 수 있다.
상술한 문제점들을 해결하기 위한, 본 발명의 다양한 실시예들은 사용자 입력을 전자 장치 및 외부 전자 장치에서 각각 분석하고, 외부 전자 장치의 응답 시간에 기초하여 상기 분석 결과들 중 하나를 이용하여 적어도 하나의 어플리케이션 및/또는 지정된 기능을 제어할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 예를 들면, 하나 이상의 어플리케이션들을 저장하기 위한 메모리; 외부 전자 장치와 통신하기 위한 통신 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 입력을 수신하고,
상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 제 1 제어 데이터를 생성하고, 상기 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 상기 적어도 하나의 어플리케이션을 제어하기 위한 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하고, 상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하고, 상기 진행된 시간이 제 1 지정된 조건을 만족하는 경우, 상기 제 1 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 및 상기 진행된 시간이 제 2 지정된 조건을 만족하는 경우, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 예를 들면, 외부 전자 장치와 통신하기 위한 통신 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 입력을 수신하고, 상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 제 1 제어 데이터를 생성하고, 상기 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하고, 상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하고, 상기 진행된 시간이 제 1 지정된 조건을 만족하는 경우 상기 제 1 제어 데이터를 이용하여 제 1 지정된 기능을 제어하고, 및 상기 진행된 시간이 제 2 지정된 조건을 만족하는 경우 상기 제 2 제어 데이터를 이용하여 제 2 지정된 기능을 제어하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 방법은, 예를 들면, 사용자의 입력을 수신하는 동작; 상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 제 1 제어 데이터를 생성하는 동작; 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 상기 적어도 하나의 어플리케이션을 제어하기 위한 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작; 상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하는 동작; 상기 진행된 시간이 제 1 지정된 조건을 만족하는 것에 대응하여, 상기 제 1 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하는 동작; 및 상기 진행된 시간이 제 2 지정된 조건을 만족하는 것에 대응하여, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들은 전자 장치와 외부 전자 장치 사이의 통신(또는 네트워크) 상태 및/또는 외부 전자 장치의 부하 상태에 관계없이, 사용자 입력에 대한 분석 결과를 일정 시간 내에 제공할 수 있고, 분석 결과에 따라 어플리케이션 또는 기능을 제어할 수 있다.
도 1은 본 발명의 한 실시예에 따른 사용자 입력을 인식하는 시스템을 도시한 도면이다.
도 2a는 본 발명의 한 실시예에 따른 시스템의 사용자 인식 방법을 개념적으로 도시한 도면이다.
도 2b는 본 발명의 한 실시예에 따른 시스템의 학습 모델을 개선하는 방법을 개념적으로 도시한 도면이다.
도 3은 본 발명의 다양한 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 4는 본 발명의 다양한 실시예에 따른 프로그램을 예시하는 블록도이다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 6은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 7은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 8은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 9는 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 10은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 2a는 본 발명의 한 실시예에 따른 시스템의 사용자 인식 방법을 개념적으로 도시한 도면이다.
도 2b는 본 발명의 한 실시예에 따른 시스템의 학습 모델을 개선하는 방법을 개념적으로 도시한 도면이다.
도 3은 본 발명의 다양한 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 4는 본 발명의 다양한 실시예에 따른 프로그램을 예시하는 블록도이다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 6은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 7은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 8은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 9는 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 10은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 설명한다. 본 문서는 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시예들을 특정한 형태로 한정하려는 것이 아니다. 예를 들어, 본 발명의 실시예들은 다양하게 변경될 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 한 실시예에 따른 사용자 입력을 인식하는 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 한 실시예에 따른 시스템(100)은 전자 장치(10) 및 외부 전자 장치(20)를 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(10)는 스마트 폰(smart phone), 웨어러블 장치(wearable device) 또는 태블릿 PC(tablet personnel computer) 등 일 수 있다.
본 발명의 한 실시예에 따른 전자 장치(10)는 다양한 입력 장치를 통해 사용자 입력을 수신할 수 있다. 예를 들어, 전자 장치(10)는 마이크를 통해 사용자의 음성을 수신할 수 있다. 어떤 실시예에 따르면, 전자 장치(10)는 카메라를 통해 획득되는 이미지 또는 저장된 이미지의 인식을 요청하는 사용자 입력을 수신할 수 있다. 어떤 실시예에 따르면, 전자 장치(10)는 물리적 키보드 또는 가상 키패드를 통해 문자 입력을 수신할 수 있다. 어떤 실시예에 따르면, 전자 장치(10)는 전자 펜 및 터치스크린을 통해 필기 입력을 수신할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(10)는 사용자 입력을 분석하여 사용자의 요구를 예측하고, 예측 결과를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있다. 예를 들어, 전자 장치(10)는 제 1 인식 모듈(11)을 통해 학습된 제 1 학습 모델(trained model)(13)을 이용하여 사용자 입력을 분석하여 사용자의 요구를 예측할 수 있다. 어떤 실시예에 따르면, 제 1 인식 모듈(11)은 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션들을 제어하기 위한 제 1 제어 데이터를 생성할 수 있다.
상기 제 1 인식 모듈(11)은 인공 지능 모듈(예: 인공 신경망(artificial neural network))일 수 있다. 상기 제 1 인식 모듈(11)은 제 2 인식 모듈(21)에 비하여 처리 속도가 빠르지만 정확도가 낮을 수 있다. 예를 들어, 제 1 인식 모듈(11)은 제 2 인식 모듈(21)에 비하여 뉴럴(neural)의 수, 사용하는 메모리의 크기, 및/또는 MAC(multiply-and-accumulate) 동작들(operations)의 수가 지정된 배수(예: 약 50배) 이상 작을 수 있다. 상기 제 1 학습 모델(13)은 제 1 인식 모듈(11)이 기계 학습, 신경 네트워크(neural network), 유전자, 딥 러닝, 분류 알고리즘 등의 인공 지능 알고리즘을 통해 학습된 데이터일 수 있다.
본 발명의 한 실시예에 따른 전자 장치(10)는 사용자 입력의 적어도 일부를 외부 전자 장치(20)로 전송할 수 있다. 예를 들어, 상기 전자 장치(10)는 외부 전자 장치(20)가 사용자 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 제 2 제어 데이터를 생성하도록 사용자 입력의 적어도 일부를 통신 모듈(미도시)을 통해 외부 전자 장치(20)로 전송할 수 있다. 상기 제 2 제어 데이터는 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 데이터일 수 있다.
본 발명의 한 실시예에 따른 전자 장치(10)는 외부 전자 장치(20)로부터 제 2 제어 데이터가 수신될 때까지의 시간에 기초하여, 제 1 제어 데이터 또는 제 2 제어 데이터 중 하나를 선택하고, 선택된 제어 데이터를 기초로 적어도 하나의 어플리케이션을 제어할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치(10)는 제 1 제어 데이터 또는 제 2 제어 데이터 중 하나를 선택하고, 선택된 제어 데이터를 기초로 제 1 지정된 기능 또는 제 2 지정된 기능 중 하나를 제어할 수 있다. 예를 들어, 상기 전자 장치(10)는 지정된 시간 내에 제 2 제어 데이터가 수신되지 않는 경우 제 1 제어 데이터를 이용하여 제 1 지정된 기능을 수행할 수 있다. 반면에, 상기 전자 치(10)는 지정된 시간 내에 제 2 제어 데이터가 수신되는 경우 제 2 제어 데이터를 이용하여 제 2 지정된 기능을 수행할 수 있다.
본 발명의 한 실시예에 따른 외부 전자 장치(20)는 유선 및/또는 무선 네트워크를 통해 전자 장치(10)와 통신이 가능한 서버일 수 있다. 외부 전자 장치(20)는 전자 장치(10)로부터 사용자 입력의 적어도 일부를 수신할 수 있다. 외부 전자 장치(20)는 수신된 사용자 입력의 적어도 일부를 분석하여 사용자의 요구를 예측하고, 예측 결과를 이용하여 적어도 하나의 어플리케이션을 제어하기 위한 제 2 제어 데이터를 생성하여 전자 장치(10)로 전송할 수 있다. 예를 들어, 외부 전자 장치(20)는 제 2 인식 모듈(21)을 통해 학습된 제 2 학습 모델(23)을 이용하여 사용자 입력을 분석하여 사용자의 요구를 예측할 수 있다. 어떤 실시예에 따르면, 제 2 인식 모듈(21)은 제 2 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션들을 제어하기 위한 제 2 제어 데이터를 생성할 수 있다.
상기 제 2 인식 모듈(21)은 인공 지능 모듈일 수 있다. 상기 제 2 인식 모듈(21)은 제 1 인식 모듈(11)에 비하여 처리 속도가 느리지만 정확도가 높을 수 있다. 예를 들어, 제 2 인식 모듈(21)은 제 1 인식 모듈(11)에 비하여 뉴럴의 수, 사용하는 메모리의 크기, 및/또는 MAC 동작들의 수가 지정된 배수(예: 약 50배) 이상 클 수 있다. 상기 제 2 학습 모델(23)은 제 2 인식 모듈(21)이 기계 학습, 신경 네트워크(neural network), 유전자, 딥 러닝, 분류 알고리즘 등의 인공 지능 알고리즘을 통해 학습된 데이터일 수 있다.
도 2a는 본 발명의 한 실시예에 따른 시스템의 사용자 인식 방법을 개념적으로 도시한 도면이다.
도 2a를 참조하면, 본 발명의 한 실시예에 따른 입력 레이어(input layer)는 사용자 입력을 수신하고, 수신된 사용자 입력을 제 1 인식 모듈(11) 및 제 2 인식 모듈(21)로 전송하여 제 1 인식 모듈(11) 및 제 2 인식 모듈(21)이 사용자 입력을 함께 분석하도록 할 수 있다. 각 분석 결과들은 출력 레이어(output layer)로 전송되며, 출력 레이어(output layer)에 의해 어느 하나가 선택될 수 있다. 예를 들어, 상기 출력 레이어는 지정된 시간 내에 제 2 인식 모듈(21)의 분석 결과가 수신되는 경우 제 2 분석 결과를 선택하고, 지정된 시간 내에 제 2 인식 모듈(21)의 분석 결과가 수신되지 않는 경우 제 1 분석 결과를 선택할 수 있다.
본 발명의 한 실시예는 전자 장치(10)에 포함된 제 1 인식 모듈(11) 및 외부 전자 장치(20)에 포함된 제 2 인식 모듈(21)을 통해 사용자 입력을 함께 분석함에 따라 분석 결과를 일정 시간 내에 항상 제공할 수 있고, 분석 결과에 따라 어플리케이션 또는 기능을 제어할 수 있다. 이에 대한 상세한 설명은 도 6을 참조하여 후술하기로 한다.
도 2b는 본 발명의 한 실시예에 따른 시스템의 학습 모델을 개선하는 방법을 개념적으로 도시한 도면이다.
도 2b를 참조하면, 제 2 인식 모듈(21)의 분석 결과는 제 1 인식 모듈(11)에 제공될 수 있다. 예를 들어, 상기 제 1 인식 모듈(11)의 분석 결과 및 상기 제 2 인식 모듈(21)의 분석 결과가 상이한 경우 출력 레이어는 정확성이 높은 제 2 인식 모듈(21)의 분석 결과를 제 1 인식 모듈(11)에 제공함으로써, 제 1 인식 모듈(11)을 학습(training)시킬 수 있다. 이를 통해, 제 1 인식 모듈(11)의 분석 결과에 대한 정확도가 향상될 수 있다. 이에 대한 상세한 설명은 도 10을 참조하여 후술하기로 한다.
도 3은, 다양한 실시예들에 따른, 네트워크 환경(300) 내의 전자 장치(301)의 블록도이다.
도 3을 참조하면, 네트워크 환경(300)에서 전자 장치(301)(예: 도 1의 전자 장치(10))는 제 1 네트워크(398)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(302)와 통신하거나, 또는 제 2 네트워크(399)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(304) 또는 서버(308)(예: 도 1의 외부 전자 장치(20))와 통신할 수 있다. 일실시예에 따르면, 전자 장치(301)는 서버(308)를 통하여 전자 장치(304)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(301)는 프로세서(320), 메모리(330), 입력 장치(350), 음향 출력 장치(355), 표시 장치(360), 오디오 모듈(370), 센서 모듈(376), 인터페이스(377), 햅틱 모듈(379), 카메라 모듈(380), 전력 관리 모듈(388), 배터리(389), 통신 모듈(390), 가입자 식별 모듈(396), 또는 안테나 모듈(397)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(301)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(360) 또는 카메라 모듈(380))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(376)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(360)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(320)는, 예를 들면, 소프트웨어(예: 프로그램(340))를 실행하여 프로세서(320)에 연결된 전자 장치(301)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(320)는 다른 구성요소(예: 센서 모듈(376) 또는 통신 모듈(390))로부터 수신된 명령 또는 데이터를 휘발성 메모리(332)에 로드하고, 휘발성 메모리(332)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(334)에 저장할 수 있다. 일실시예에 따르면, 프로세서(320)는 메인 프로세서(321)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(323)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(323)은 메인 프로세서(321)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(323)는 메인 프로세서(321)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(323)는, 예를 들면, 메인 프로세서(321)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(321)를 대신하여, 또는 메인 프로세서(321)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(321)와 함께, 전자 장치(301)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(360), 센서 모듈(376), 또는 통신 모듈(390))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(323)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(380) 또는 통신 모듈(390))의 일부로서 구현될 수 있다.
메모리(330)는, 전자 장치(301)의 적어도 하나의 구성요소(예: 프로세서(320) 또는 센서모듈(376))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(340)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(330)는, 휘발성 메모리(332) 또는 비휘발성 메모리(334)를 포함할 수 있다.
프로그램(340)은 메모리(330)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(342), 미들 웨어(344) 또는 어플리케이션(346)을 포함할 수 있다.
입력 장치(350)는, 전자 장치(301)의 구성요소(예: 프로세서(320))에 사용될 명령 또는 데이터를 전자 장치(301)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(350)은, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(355)는 음향 신호를 전자 장치(301)의 외부로 출력할 수 있다. 음향 출력 장치(355)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(360)는 전자 장치(301)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(360)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(360)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(370)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(370)은, 입력 장치(350)를 통해 소리를 획득하거나, 음향 출력 장치(355), 또는 전자 장치(301)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(302)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(376)은 전자 장치(301)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(376)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(377)는 전자 장치(301)이 외부 전자 장치(예: 전자 장치(302))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(377)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(378)는, 그를 통해서 전자 장치(301)가 외부 전자 장치(예: 전자 장치(302))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(378)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(379)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(379)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(380)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(380)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(388)은 전자 장치(301)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(389)는 전자 장치(301)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(389)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(390)은 전자 장치(301)와 외부 전자 장치(예: 전자 장치(302), 전자 장치(304), 또는 서버(308))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(390)은 프로세서(320)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(390)은 무선 통신 모듈(392)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(394)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(398)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(399)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(392)은 가입자 식별 모듈(396)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(398) 또는 제 2 네트워크(399)와 같은 통신 네트워크 내에서 전자 장치(301)를 확인 및 인증할 수 있다.
안테나 모듈(397)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(397)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크 (398) 또는 제 2 네트워크 (399)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(390)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(390)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(399)에 연결된 서버(308)를 통해서 전자 장치(301)와 외부의 전자 장치(304)간에 송신 또는 수신될 수 있다. 전자 장치(302, 304) 각각은 전자 장치(301)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(301)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(302, 304, or 308) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(301)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(301)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(301)로 전달할 수 있다. 전자 장치(301)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 4은 다양한 실시예에 따른 프로그램(340)을 예시하는 블록도(400)이다.
도 4를 참조하면, 프로그램(340)은 전자 장치(301)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(342), 미들웨어(344), 또는 상기 운영 체제(342)에서 실행 가능한 어플리케이션(346)을 포함할 수 있다.
운영 체제(342)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(340) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(301)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(302 또는 304), 또는 서버(308))로부터 다운로드되거나 갱신 될 수 있다.
운영 체제(342)는 전자 장치(301)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(342)는, 추가적으로 또는 대체적으로, 전자 장치(301)의 다른 하드웨어 디바이스, 예를 들면, 입력 장치(350), 음향 출력 장치(355), 표시 장치(360), 오디오 모듈(370), 센서 모듈(376), 인터페이스(377), 햅틱 모듈(379), 카메라 모듈(380), 전력 관리 모듈(388), 배터리(389), 통신 모듈(390), 가입자 식별 모듈(396), 또는 안테나 모듈(397)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.
미들웨어(344)는 전자 장치(301)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(346)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(346)으로 제공할 수 있다. 미들웨어(344)는, 예를 들면, 어플리케이션 매니저(401), 윈도우 매니저(403), 멀티미디어 매니저(405), 리소스 매니저(407), 파워 매니저(409), 데이터베이스 매니저(411), 패키지 매니저(413), 커넥티비티 매니저(415), 노티피케이션 매니저(417), 로케이션 매니저(419), 그래픽 매니저(421), 시큐리티 매니저(423), 통화 매니저(425), 또는 음성 인식 매니저(427)를 포함할 수 있다.
어플리케이션 매니저(401)는, 예를 들면, 어플리케이션(346)의 생명 주기를 관리할 수 있다. 윈도우 매니저(403)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI 자원들을 관리할 수 있다. 멀티미디어 매니저(405)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(407)는, 예를 들면, 어플리케이션(346)의 소스 코드 또는 메모리(330)의 메모리의 공간을 관리할 수 있다. 파워 매니저(409)는, 예를 들면, 배터리(389)의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(301)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(409)는 전자 장치(301)의 바이오스(BIOS: basic input/output system)(미도시)와 연동할 수 있다.
데이터베이스 매니저(411)는, 예를 들면, 어플리케이션(346)에 의해 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(413)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(415)는, 예를 들면, 전자 장치(301)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(417)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(419)는, 예를 들면, 전자 장치(301)의 위치 정보를 관리할 수 있다. 그래픽 매니저(421)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다.
시큐리티 매니저(423)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(425)는, 예를 들면, 전자 장치(301)에 의해 제공되는 음성 통화 기능 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(427)는, 예를 들면, 사용자의 음성 데이터를 서버(308)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(301)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(308)로부터 수신할 수 있다. 일 실시예에 따르면, 미들웨어(444)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들웨어(344)의 적어도 일부는 운영 체제(342)의 일부로 포함되거나, 또는 운영 체제(342)와는 다른 별도의 소프트웨어로 구현될 수 있다.
어플리케이션(346)은, 예를 들면, 홈(451), 다이얼러(453), SMS/MMS(455), IM(instant message)(457), 브라우저(459), 카메라(461), 알람(463), 컨택트(465), 음성 인식(467), 이메일(469), 달력(471), 미디어 플레이어(473), 앨범(475), 와치(477), 헬스(479)(예: 운동량 또는 혈당과 같은 생체 정보를 측정), 또는 환경 정보(481)(예: 기압, 습도, 또는 온도 정보 측정) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(346)은 전자 장치(301)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(301)의 다른 어플리케이션(예: 이메일 어플리케이션(469))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(301)의 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(301)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 표시 장치(360) 또는 카메라 모듈(380))의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 표시 장치(360) 또는 카메라 모듈(380)의 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 5를 참조하면, 본 발명의 한 실시예에 따른 전자 장치(500)(예: 도 1의 전자 장치(10) 또는 도 3의 전자 장치(301))는 프로세서(510)(예: 도 3의 프로세서(320)), 메모리(520)(예: 도 3의 메모리(330)), 통신 모듈(540)(예: 도 3의 통신 모듈(390))을 포함할 수 있다.
상기 프로세서(510)는 전자 장치(500)의 전반적인 동작을 제어할 수 있다. 예를 들어, 상기 프로세서(510)는 상기 메모리(520), 상기 통신 모듈(540)과 작동적(operatively)(또는 전기적(electrically))으로 연결되어, 전자 장치(500)의 각 구성 요소들을 제어할 수 있다.
상기 프로세서(510)는 메모리(520)로부터 명령(command) 또는 인스트럭션들(instructions)을 수신하고, 수신된 명령 또는 인스트럭션들에 따라 각 구성 요소들을 제어하여, 다양한 기능들을 수행할 수 있다. 상기 프로세서(510)는 중앙 처리 장치(central processing unit: CPU), 어플리케이션 프로세서(application processor: AP), 마이크로 컨트롤 유닛(micro control unit: MCU), 마이크로 프로세서 유닛(micro processor unit: MPU) 등으로 형성될 수 있다. 상기 프로세서(510)는 싱글 코어 프로세서(single core processor) 또는 멀티 코어 프로세서(multi-core processor)로 형성될 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 다수의 프로세서로 구성된 멀티 프로세서일 수 있다. 또 다른 실시예에서는, 상기 프로세서(510)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 또 다른 실시예에 따르면, 상기 프로세서(510)는 GPU 또는 이미지 신호 프로세서로 형성될 수 있다.
본 발명의 한 실시예에 따른 프로세서(510)는 사용자 입력을 분석(또는 인식)을 위한 동작을 제어할 수 있다. 이에 대한 상세한 설명은 도 6 내지 도 10을 참조하여 후술하기로 한다.
상기 메모리(520)는 프로세서(510)와 기능적(또는 전기적)으로 연결될 수 있다. 상기 메모리(520)는 전자 장치(500)를 동작시키기 위한 다양한 프로그램들을 저장하며, 상기 다양한 프로그램들을 수행하는 중에 발생되는 데이터 또는 다운로드된 데이터 등을 저장할 수 있다. 또한, 상기 메모리(520)는 프로세서(510)를 동작시키기 위한 다양한 명령(command) 및/또는 인스트럭션(instruction)들을 저장할 수 있다.
본 발명의 한 실시예에 따른 메모리(520)는 사용자 입력을 분석하기 위한 인식 모듈(521) 및 인공 지능 알고리즘을 통해 학습된 학습 모델(523)을 저장할 수 있다. 상기 인식 모듈(521) 및 학습 모델(523)은 도 1의 제 1 인식 모듈(11) 및 제 1 학습 모델(13)와 유사한 바, 상세한 설명을 생략하기로 한다.
본 발명의 한 실시예에 따른 메모리(520)는 외부 전자 장치로부터 예측 결과(또는 제 2 제어 데이터)의 수신을 대기하도록 지정된 시간(이하, 디폴트 시간)(예: 0.3 초)을 저장할 수 있다. 상기 디폴트 시간은 사용자에 의해 변경될 수 있다.
본 발명의 한 실시예에 따른 메모리(520)는 인식 모듈(521)의 예측 결과(제 1 제어 데이터)의 정확도에 따른 대기 시간을 저장할 수 있다. 예를 들어, 상기 대기 시간은 아래 <표 1>과 같이 저장될 수 있다.
| 정확도 > 0.5(50 %) | 대기 시간 = 디폴트 시간 x 0.5 |
| 0.5 > 정확도 > 0.4 | 대기 시간 = 디폴트 시간 x 0.6 |
| 0.4 > 정확도 > 0.3 | 대기 시간 = 디폴트 시간 x 0.7 |
| 0.3 > 정확도 > 0.2 | 대기 시간 = 디폴트 시간 x 0.8 |
| 0.2 > 정확도 > 0.1 | 대기 시간 = 디폴트 시간 x 0.9 |
| 0.1 > 정확도 > 0 | 대기 시간 = 디폴트 시간 x 1.0 |
상기 <표 1>은 일 예일 뿐, 본 발명의 실시예를 한정하지는 않는다.
상기 통신 모듈(540)은 외부 전자 장치(예: 도 1의 외부 전자 장치(20))와 통신 채널을 형성할 수 있다. 상기 통신 모듈(540)은 프로세서(510)의 제어 하에, 사용자 입력의 적어도 일부를 외부 전자 장치로 전송할 수 있다. 또한, 상기 통신 모듈(540)은 사용자 입력의 적어도 일부를 분석한 분석 결과(또는 제 2 제어 데이터)를 외부 전자 장치로부터 수신할 수 있다.
한편, 상기 도 5에 도시하지 않았지만, 상기 전자 장치(500)는 설명된 구성 요소들과 동등한 수준의 적어도 하나의 다른 구성 요소(예: 디스플레이, 카메라, 오디오 모듈 등)를 더 포함할 수 있다. 상기 디스플레이(예: 도 3의 표시 장치(360))는 프로세서(610)의 제어 하에, 상기 디폴트 시간 내에 외부 전자 장치로부터 예측 결과(제 2 제어 데이터)가 수신되지 않는 경우 제 2 제어 데이터의 수신이 지연되고 있음을 통지(또는 알림)하며, 수신 대기를 유지할 지 여부를 묻는 유저 인터페이스(user interface: UI)(예: 팝업창)를 표시할 수 있다. 상기 카메라는 제 1 인식 모듈(521)을 통해 분석할 이미지를 획득할 수 있다. 상기 카메라를 통해 획득된 이미지는 통신 모듈(540)을 통해 외부 전자 장치로 전송되어, 제 2 인식 모듈(예: 도 1, 도 2a 및 도 2b의 제2 인식 모듈(21))에 의해 분석될 수 있다.
상기 오디오 모듈은 입력 장치(예: 도 3의 입력 장치(350))(예: 마이크)를 통해 사용자의 음성을 획득할 수 있다. 상기 마이크를 통해 획득된 사용자의 음성은 제 1 인식 모듈(521)에 의해 분석될 수 있다. 또한, 상기 마이크를 통해 획득된 사용자의 음성은 통신 모듈(540)을 통해 외부 전자 장치로 전송되어, 제 2 인식 모듈에 의해 분석될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(도 1의 전자 장치(10), 도 3의 전자 장치(301), 또는 도 5의 전자 장치(500))는, 하나 이상의 어플리케이션들을 저장하기 위한 메모리(도 3의 메모리(330), 또는 도 5의 메모리(520)); 외부 전자 장치(예: 도 1의 외부 전자 장치(20), 또는 도 3의 서버(308))와 통신하기 위한 통신 모듈(도 3의 통신 모듈(390), 또는 도 5의 통신 모듈(540)); 및 프로세서(도 3의 프로세서(320), 또는 도 5의 프로세서(510))를 포함하고, 상기 프로세서는, 사용자의 입력을 수신하고,
상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 제 1 제어 데이터를 생성하고, 상기 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 상기 적어도 하나의 어플리케이션을 제어하기 위한 제 2 제어 데이터를 생성하도록 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하고, 상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하고, 상기 진행된 시간이 제 1 지정된 조건을 만족하는 경우, 상기 제 1 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 및 상기 진행된 시간이 제 2 지정된 조건을 만족하는 경우, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 제 1 인식 방식은, 제 1 인공 신경망에 적어도 기반하여 학습된 제 1 학습 모델(trained model)(예: 도 1의 제1학습 모델(13) 또는 도 5의 학습 모델(523))을 포함하고, 상기 제 2 인식 방식은, 제 2 인공 신경망에 적어도 기반하여 학습된 제 2 학습 모델(예: 도 1의 제2학습 모델(23))을 포함할 수 있다.다양한 실시예에 따르면, 상기 프로세서는, 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작에 반응하여 상기 제 2 제어 데이터가 지정된 시간을 초과한 후 수신되거나 상기 제 2 제어 데이터가 수신되지 않으면 상기 제 1 지정된 조건을 만족하는 것으로 결정하고, 및 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작에 반응하여 상기 제 2 제어 데이터가 상기 지정된 시간 이내에 수신되면 상기 제 2 지정된 조건을 만족하는 것으로 결정하도록 설정될 수 있다.다양한 실시예에 따르면, 상기 프로세서는, 상기 제 1 제어 데이터의 정확도를 확인하고, 상기 제 1 제어 데이터의 정확도에 적어도 기반하여, 상기 지정된 시간을 조정 하도록 설정된 전자 장치.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제 2 제어 데이터가 상기 지정된 시간을 초과한 후 수신되는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하고, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 경우 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제 2 지정된 조건을 만족하는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하고, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 것에 대응하여, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 디스플레이(도 3의 표시 장치(360))를 더 포함하고, 상기 프로세서는, 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작 이후 상기 지정된 시간이 되면, 상기 제 2 제어 데이터의 수신을 대기할 지 여부를 묻는 사용자 인터페이스(user interface)를 상기 디스플레이에 표시하고, 및 상기 수신 대기를 요청하는 사용자의 선택에 대응하여 상기 지정된 시간 동안 상기 제 2 데이터의 수신을 더 대기하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 외부 전자 장치와의 통신 상태를 확인하고, 상기 통신 상태가 제 3 지정된 조건을 만족하는 것에 대응하여, 상기 사용자 입력의 적어도 일부를 상기 외부 전자 장치로 전송하지 않고, 상기 제 1 인식 방식을 이용하여 상기 제 1 제어 데이터를 생성하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(도 1의 전자 장치(10), 도 3의 전자 장치(301), 또는 도 5의 전자 장치(500))는, 외부 전자 장치(예: 도 1의 외부 전자 장치(20), 또는 도 3의 서버(308))와 통신하기 위한 통신 모듈(도 3의 통신 모듈(390), 또는 도 5의 통신 모듈(540)); 및 프로세서(도 3의 프로세서(320), 또는 도 5의 프로세서(510))를 포함하고, 상기 프로세서는, 사용자의 입력을 수신하고, 상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 제 1 제어 데이터를 생성하고, 상기 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하고, 상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하고, 상기 진행된 시간이 제 1 지정된 조건을 만족하는 경우, 상기 제 1 제어 데이터를 이용하여 제 1 지정된 기능을 제어하고, 및 상기 진행된 시간이 제 2 지정된 조건을 만족하는 경우, 상기 제 2 제어 데이터를 이용하여 제 2 지정된 기능을 제어하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 제 1 인식 방식은, 제 1 인공 신경망에 적어도 기반하여 학습된 제 1 학습 모델(예: 도 1의 제1학습 모델(13) 또는 도 5의 학습 모델(523))을 포함할 수 있고, 및 상기 제 2 인식 방식은, 제 2 인공 신경망에 적어도 기반하여 학습된 제 2 학습 모델(예: 도 1의 제2학습 모델(23))을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 지정된 기능 및 상기 제 2 지정된 기능은 동일할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 경우 상기 제 2 제어 데이터를 이용하여 상기 제 2 지정된 기능을 제어하고, 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하도록 설정될 수 있다.
도 6은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 6을 참조하면, 본 발명의 한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(10), 도 3의 전자 장치(301), 도 5의 전자 장치(500))의 프로세서(도 3의 프로세서(320), 또는 도 5의 프로세서(510))는, 601 동작에서, 사용자 입력을 수신할 수 있다. 상기 사용자 입력은 다양한 방식으로 수신될 수 있다. 예를 들어, 전자 장치는 마이크(예: 도 3의 입력 장치 (350))를 통해 사용자의 음성을 수신할 수 있다. 어떤 실시예에 따르면, 전자 장치는 카메라(예: 도 3의 카메라 모듈(380))를 통해 획득되는 이미지 또는 저장된 이미지의 인식을 요청하는 사용자 입력을 수신할 수 있다. 어떤 실시예에 따르면, 전자 장치는 물리적 키보드 또는 가상 키패드를 통해 문자 입력을 수신할 수 있다. 어떤 실시예에 따르면, 전자 장치는 전자 펜 및 터치스크린을 통해 필기 입력을 수신할 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 603 동작에서, 상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 제 1 제어 데이터를 생성할 수 있다. 상기 제 1 제어 데이터는 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 데이터로, 상기 사용자 입력에 적어도 기반하여 생성될 수 있다. 상기 제 1 인식 방식은 제 1 인식 모듈(예: 도 1, 도 2a 및 도 2b의 제 1 인식 모듈(11), 또는 도 5의 인식 모듈(521))이 제 1 학습 모델(예: 도 1의 제 1 학습 모델(13), 또는 도 5의 학습 모델(523))을 이용하여 사용자 입력을 분석(또는 예측)할 수 있다. 상기 제 1 인식 모듈은 인공 지능 모듈일 수 있다. 상기 제 1 인식 모듈은 제 2 인식 모듈에 비하여 처리 속도가 빠르지만 정확도가 낮을 수 있다. 예를 들어, 제 1 인식 모듈은 제 2 인식 모듈에 비하여 뉴럴(neural)의 수, 사용하는 메모리의 크기, 및/또는 MAC 동작들의 수가 지정된 배수(예: 약 50배) 이상 작을 수 있다. 상기 제 1 학습 모델은 제 1 인식 모듈이 기계 학습, 신경 네트워크(neural network), 유전자, 딥 러닝, 분류 알고리즘 등의 인공 지능 알고리즘을 통해 학습된 데이터일 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 605 동작에서, 사용자 입력의 적어도 일부를 외부 전자 장치(예: 도 1의 외부 전자 장치(20), 또는 도 3의 서버(308))로 전송할 수 있다. 예를 들어, 상기 프로세서는 외부 전자 장치가 사용자 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 제 2 제어 데이터를 생성하도록 사용자 입력의 적어도 일부를 통신 모듈(예: 도 3의 통신 모듈(390), 또는 도 5의 통신 모듈(540))을 통해 외부 전자 장치로 전송할 수 있다. 상기 제 2 제어 데이터는 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 데이터일 수 있다. 상기 제 2 인식 방식은 제 2 인식 모듈(예: 도 1, 도 2a 및 도 2b의 제 2 인식 모듈(21))이 제 2 학습 모델(예: 도 1의 제 2 학습 모델(23))을 이용하여 사용자 입력을 분석(또는 예측)할 수 있다. 상기 제 2 인식 모듈은 인공 지능 모듈일 수 있다. 상기 제 2 인식 모듈은 제 1 인식 모듈에 비하여 처리 속도가 느리지만 정확도가 높을 수 있다. 예를 들어, 제 2 인식 모듈은 제 1 인식 모듈에 비하여 뉴럴(neural)의 수, 사용하는 메모리의 크기, 및/또는 MAC 동작들의 수가 지정된 배수(예: 약 50배) 이상 클 수 있다. 상기 제 2 학습 모델은 제 2 인식 모듈이 기계 학습, 신경 네트워크(neural network), 유전자, 딥 러닝, 분류 알고리즘 등의 인공 지능 알고리즘을 통해 학습된 데이터일 수 있다.
상기 603 동작 및 605 동작은 사용자 입력의 수신에 대응하여 동시에 또는 거의 동시에 수행될 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 607 동작에서, 외부 전자 장치로부터 제 2 인식 방식을 이용하여 생성된 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인(또는 체크)할 수 있다. 예를 들어, 상기 프로세서는 외부 전자 장치로 상기 사용자 입력의 적어도 일부를 전송한 후부터 상기 제 2 제어 데이터를 수신할 때까지 걸리는 시간을 카운트 업(count up)할 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 609 동작에서, 제 1 지정된 조건 또는 제 2 지정된 조건을 만족하는지 확인할 수 있다.
상기 609 동작의 확인 결과 상기 제 1 지정된 조건을 만족하는 경우(예: 지정된 시간 내에 제 2 제어 데이터가 수신되지 않은 경우 또는 상기 지정된 시간을 초과한 후 제 2 제어 데이터가 수신되는 경우) 상기 프로세서는, 611 동작에서, 제 1 제어 데이터를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있다.
상기 609 동작의 확인 결과 상기 제 2 지정된 조건을 만족하는 경우(예: 지정된 시간 내에 제 2 제어 데이터가 수신되는 경우) 상기 프로세서는, 613 동작에서, 제 2 제어 데이터를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있다.
상기 도 6에서는 사용자 입력에 기초하여 어플리케이션을 제어하는 것으로 설명하였다. 하지만, 본 발명의 실시예들은 이에 한정되지 않는다. 어떤 실시예에 따르면, 본 발명의 한 실시예에 따른 전자 장치는 제 1 지정된 조건을 만족하는 경우 제 1 제어 데이터를 이용하여 제 1 지정된 기능을 제어하고, 제 2 지정된 조건을 만족하는 경우 제 2 제어 데이터를 이용하여 제 2 지정된 기능을 제어할 수 있다. 상기 제 1 지정된 기능 및 상기 제 2 지정된 기능은 동일할 수 있다.
도 7은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 7을 참조하면, 본 발명의 한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(10), 도 3의 전자 장치(301), 도 5의 전자 장치(500))의 프로세서(도 3의 프로세서(320), 또는 도 5의 프로세서(510))는, 701 동작에서, 사용자 입력을 수신할 수 있다. 상기 사용자 입력은 다양한 방식으로 수신될 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 703 동작에서, 외부 전자 장치(예: 도 1의 외부 전자 장치(20), 도 3의 서버(308))와의 통신 상태가 지정된 조건(이하, 제 3 지정된 조건)을 만족하는지 확인할 수 있다. 상기 제 3 지정된 조건은 전자 장치와 외부 전자 장치 사이의 통신이 불가능하거나, 통신 속도가 매우 느린 조건(예: 와이파이 또는 이동 통신의 수신 신호 세기가 지정된 값(예: 약 -100 dBm) 미만(또는 이하))일 수 잇다.
본 발명의 한 실시예에 따른 프로세서는 와이파이 네트워크만을 이용(WiFi only)하도록 설정된 경우 와이파이 네트워크를 통한 외부 전자 장치와의 통신 상태를 확인할 수 있다. 다른 예로, 와이파이 네트워크 및 이동 통신 네트워크를 이용(WiFi + cellular)하도록 설정된 경우 프로세서는 와이파이 네트워크를 통한 외부 전자 장치와의 통신 상태를 우선적으로 확인하고, 와이파이 네트워크를 통해 통신이 가능하지 않거나, 와이파이 네트워크의 수신 신호 세기가 지정된 값(예: 약 -100 dBm) 미만인 경우 이동 통신 네트워크를 통한 외부 전자 장치와 통신 상태를 확인할 수 있다.
상기 703 동작의 확인 결과 외부 전자 장치와의 통신 상태가 제 3 지정된 조건을 만족하지 못하는 경우(예: 외부 전자 장치와 통신이 가능한 경우) 프로세서는 705, 707, 709, 711, 713 및 715 동작을 수행할 수 있다. 상기 705 동작 내지 715 동작은 도 6의 603 동작 내지 613 동작에 각각 대응할 수 있다. 이에 상기 705 동작 내지 715 동작에 대한 상세한 설명은 생략하기로 한다.
상기 703 동작의 확인 결과 외부 전자 장치와의 통신 상태가 제 3 지정된 조건을 만족하는 경우(예: 외부 전자 장치와 통신이 불가능한 경우) 프로세서는, 731 동작에서, 제 1 인식 방식을 이용하여 제 1 제어 데이터를 생성할 수 있다. 이때, 상기 프로세서는 통신이 불가능하므로 사용자 입력의 적어도 일부를 외부 전자 장치로 전송하지 않는다. 상기 제 1 제어 데이터의 생성이 완료되면, 프로세서는 상기 713 동작으로 진행할 수 있다.
도 8은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 8을 참조하면, 본 발명의 한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(10), 도 3의 전자 장치(301), 또는 도 5의 전자 장치(500))의 프로세서(도 3의 프로세서(320), 또는 도 5의 프로세서(510))는, 상기 도 6의 601, 603 및 605 동작과 유사하게, 801, 803 및 805 동작을 수행할 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 807 동작에서, 제 1 제어 데이터의 정확도(예: 확률)에 적어도 기반하여 제 2 제어 데이터의 수신 대기 시간을 조정(또는 결정)할 수 있다. 예를 들어, 상기 프로세서는 제 1 제어 데이터의 정확도를 확인하고, 제 1 제어 데이터의 정확도가 약 50 % 이상인 경우 디폴트 대기 시간(예: 0.3 초)에 0.5를 곱한 값으로 수신 대기 시간을 조정할 수 있고, 정확도가 약 40 % 이상 약 50 % 미만인 경우 디폴트 대기 시간에 0.6을 곱한 값으로 수신 대기 시간을 조정할 수 있다.
상기 수신 대기 시간이 조정되면, 상기 프로세서는, 809 동작에서, 외부 전자 장치(예: 도 1의 외부 전자 장치(20), 도 3의 서버(308))로부터 제 2 제어 데이터를 수신할 때까지의 시간을 확인할 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 811 동작에서, 상기 조정된 수신 대기 시간 내에 외부 전자 장치로부터 제 2 제어 데이터가 수신되는지 확인할 수 있다.
상기 811 동작의 확인 결과, 상기 결정된 수신 대기 시간 내에 제 2 제어 데이터가 수신되지 않는 경우(제 1 지정된 조건을 만족하는 경우) 프로세서는, 813 동작에서, 제 1 제어 데이터를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있다.
상기 811 동작의 확인 결과, 상기 결정된 수신 대기 시간 내에 제 2 제어 데이터가 수신되는 경우(제 2 지정된 조건을 만족하는 경우) 프로세서는, 815 동작에서, 제 2 제어 데이터를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있다.
도 9는 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 9를 참조하면, 본 발명의 한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(10), 도 3의 전자 장치(301), 또는 도 5의 전자 장치(500))의 프로세서(도 3의 프로세서(320), 또는 도 5의 프로세서(510))는, 상기 도 6의 601, 603, 605, 607, 609, 및 613 동작과 유사하게, 901, 903, 905, 907, 909, 및 917 동작을 수행할 수 있다.
상기 909 동작의 확인 결과, 제 1 지정된 조건을 만족하는 경우(예: 지정된 시간 내에 제 2 제어 데이터가 수신되지 않는 경우) 프로세서는, 911 동작에서, 제 2 제어 데이터의 수신 대기 여부를 묻는 유저 인터페이스(user interface: UI)(예: 팝업창)를 표시하도록 디스플레이(예: 도 3의 표시 장치(360))를 제어할 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 913 동작에서, 제 2 제어 데이터의 수신 대기가 선택(요청)되는지 확인할 수 있다. 예를 들어, 상기 프로세서는 팝업창에서 "예"가 선택되는 경우 제 2 제어 데이터의 수신 대기가 요청된 것으로 인식할 수 있다.
상기 913 동작의 확인 결과, 수신 대기가 선택되는 경우 프로세서는 상기 909 동작으로 진행할 수 있다. 예를 들어, 상기 프로세서는 상기 지정된 시간만큼 제 2 제어 데이터의 수신을 더 대기할 수 있다. 어떤 실시예에 따르면, 상기 제 2 제어 데이터의 수신 대기 시간은 상기 지정된 시간과 상이할 수 있다.
상기 913 동작의 확인 결과, 수신 대기가 선택되지 않는 경우 프로세서는, 915 동작에서, 제 1 제어 데이터를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있다.
도 10은 본 발명의 한 실시예에 따른 전자 장치의 제어 방법을 도시하는 순서도이다.
도 10을 참조하면, 본 발명의 한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(10), 도 3의 전자 장치(301), 또는 도 5의 전자 장치(500))의 프로세서(도 3의 프로세서(320), 또는 도 5의 프로세서(510))는, 상기 도 6의 601, 603, 605, 607, 및 609 동작과 유사하게, 1001, 1003, 1005, 1007, 및 1009 동작을 수행할 수 있다.
상기 1009 동작의 확인 결과, 제 1 지정된 조건을 만족하는 경우(예: 지정된 시간 내에 제 2 제어 데이터가 수신되지 않는 경우) 프로세서는, 1011 동작에서, 제 1 제어 데이터를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있다.
본 발명의 한 실시예에 따른 프로세서는, 1013 동작에서, 상기 지정된 시간의 경과 후 제 2 제어 데이터가 수신되는지 확인할 수 있다. 상기 1013 동작의 확인 결과 상기 지정된 시간의 경과 후 제 2 제어 데이터가 수신되지 않는 경우 프로세서는 전자 장치의 제어 동작을 종료할 수 있다. 반면에, 상기 1013 동작의 확인 결과 상기 지정된 시간의 경과 후 제 2 제어 데이터가 수신되는 경우 프로세서는, 1015 동작에서, 제 1 제어 데이터와 제 2 제어 데이터가 동일한지 확인 할 수 있다.
상기 1015 동작의 확인 결과 제 1 제어 데이터와 제 2 제어 데이터가 동일한 경우 상기 프로세서는 전자 장치의 제어 동작을 종료할 수 있다. 반면에, 상기 1015 동작의 확인 결과 제 1 제어 데이터와 제 2 제어 데이터가 동일하지 않은 경우 상기 프로세서는 후술하는 1021 동작으로 진행할 수 있다.
한편, 상기 1009 동작의 확인 결과 제 2 지정된 조건을 만족하는 경우(예: 지정된 시간 내에 제 2 제어 데이터가 수신되는 경우) 프로세서는, 1017 동작에서, 제 1 제어 데이터와 제 2 제어 데이터가 동일한지 확인 할 수 있다.
상기 1017 동작의 확인 결과 제 1 제어 데이터와 제 2 제어 데이터가 동일한 경우 상기 프로세서는 후술하는 1019 동작으로 진행할 수 있다. 반면에, 상기 1017 동작의 확인 결과 제 1 제어 데이터와 제 2 제어 데이터가 동일한 경우 상기 프로세서는 1019 동작에서 제 2 제어 데이터를 이용하여 적어도 하나의 어플리케이션을 제어할 수 있고, 1021 동작에서 제 2 제어 데이터를 이용하여 학습 모델(예: 도 1의 제 1 학습 모델(13), 또는 도 5의 학습 모델(523))을 개선(refine)할 수 있다. 예를 들어, 상기 프로세서는 제 1 인식 모듈(예: 도 1, 도 2a 및 도 2b의 제 1 인식 모듈(11), 또는 도 5의 인식 모듈(521))이 제 2 제어 데이터를 학습 데이터(training data)로 이용하여 학습 모델을 개선하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(도 1의 전자 장치(10), 도 3의 전자 장치(301), 또는 도 5의 전자 장치(500))의 방법은, 사용자의 입력을 수신하는 동작; 상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 제 1 제어 데이터를 생성하는 동작; 외부 전자 장치(예: 도 1의 외부 전자 장치(20), 또는 도 3의 서버(308))가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 상기 적어도 하나의 어플리케이션을 제어하기 위한 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 통신 모듈(도 3의 통신 모듈(390), 또는 도 5의 통신 모듈(540))을 통해 상기 외부 전자 장치로 전송하는 동작; 상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하는 동작; 상기 진행된 시간이 제 1 지정된 조건을 만족하는 것에 대응하여, 상기 제 1 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하는 동작; 및 상기 진행된 시간이 제 2 지정된 조건을 만족하는 것에 대응하여, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하는 동작을 포함하는 방법.
다양한 실시예에 따르면, 상기 제 1 인식 방식을 이용하여 상기 제 1 제어 데이터를 생성하는 동작은 제 1 인공 신경망에 적어도 기반하여 학습된 제 1 학습 모델(trained model)(예: 도 1의 제1학습 모델(13) 또는 도 5의 학습 모델(523))을 이용하여 상기 제 1 제어 데이터를 생성하는 동작을 포함할 수 있고, 상기 제 2 인식 방식을 이용하여 상기 제 2 제어 데이터를 생성하는 동작은 제 2 인공 신경망에 적어도 기반하여 학습된 제 2 학습 모델(예: 도 1의 제2학습 모델(23))을 이용하여 상기 제 2 제어 데이터를 생성하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 지정된 조건은 상기 제 2 제어 데이터가 지정된 시간을 초과한 후 수신되거나, 상기 제 2 제어 데이터가 수신되지 않는 조건을 포함할 수 있고, 및 상기 제 2 지정된 조건은 상기 지정된 시간 이내에 상기 제 2 제어 데이터가 수신되는 조건을 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 제 1 제어 데이터의 정확도를 확인하는 동작; 및 상기 제 1 제어 데이터의 정확도에 적어도 기반하여, 상기 지정된 시간을 조정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 제 2 제어 데이터가 상기 지정된 시간을 초과한 후 수신되는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하는 동작; 및 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 경우 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 제 2 지정된 조건을 만족하는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하는 동작; 및 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 것에 대응하여, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 입력의 적어도 일부를 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작 이후 상기 지정된 시간의 경과하면, 상기 제 2 제어 데이터의 수신을 대기할 지 여부를 묻는 사용자 인터페이스(user interface)를 표시하는 동작; 및 상기 수신 대기를 요청하는 사용자의 선택에 대응하여 상기 지정된 시간 동안 상기 제 2 데이터의 수신을 더 대기하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 방법은 상기 외부 전자 장치와의 통신 상태를 확인하는 동작; 및 상기 통신 상태가 제 3 지정된 조건을 만족하는 것에 대응하여, 상기 사용자 입력의 적어도 일부를 상기 외부 전자 장치로 전송하지 않고, 상기 제 1 인식 방식을 이용하여 상기 제 1 제어 데이터를 생성하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(10), 전자 장치(301), 전자 장치(500)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(336) 또는 외장 메모리(338), 메모리(520))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(10), 전자 장치(301), 전자 장치(500))의 프로세서(예: 프로세서(320), 프로세서(510))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
그리고 본 문서에 개시된 실시예는 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
Claims (20)
- 전자 장치에 있어서,
하나 이상의 어플리케이션들을 저장하기 위한 메모리;
외부 전자 장치와 통신하기 위한 통신 모듈; 및
프로세서를 포함하고, 상기 프로세서는,
사용자의 입력을 수신하고,
상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 제 1 제어 데이터를 생성하고,
상기 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 상기 적어도 하나의 어플리케이션을 제어하기 위한 제 2 제어 데이터를 생성하도록 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하고,
상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하고,
상기 진행된 시간이 제 1 지정된 조건을 만족하는 경우, 상기 제 1 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 및
상기 진행된 시간이 제 2 지정된 조건을 만족하는 경우, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하도록 설정된 전자 장치. - 제 1 항에 있어서,
상기 제 1 인식 방식은, 제 1 인공 신경망에 적어도 기반하여 학습된 제 1 학습 모델(trained model)을 포함하고, 및
상기 제 2 인식 방식은, 제 2 인공 신경망에 적어도 기반하여 학습된 제 2 학습 모델을 포함하는 전자 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작에 반응하여 상기 제 2 제어 데이터가 지정된 시간을 초과한 후 수신되거나 상기 제 2 제어 데이터가 수신되지 않으면 상기 제 1 지정된 조건을 만족하는 것으로 결정하고, 및
상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작에 반응하여 상기 제 2 제어 데이터가 상기 지정된 시간 이내에 수신되면 상기 제 2 지정된 조건을 만족하는 것으로 결정하도록 설정된 전자 장치. - 제 3 항에 있어서,
상기 프로세서는,
상기 제 1 제어 데이터의 정확도를 확인하고, 상기 제 1 제어 데이터의 정확도에 적어도 기반하여, 상기 지정된 시간을 조정 하도록 설정된 전자 장치. - 제 3 항에 있어서,
상기 프로세서는,상기 제 2 제어 데이터가 상기 지정된 시간을 초과한 후 수신되는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하고, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 경우 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하도록 설정된 전자 장치. - 제 3 항에 있어서,
상기 프로세서는,
상기 제 2 지정된 조건을 만족하는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하고, 및
상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 것에 대응하여, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하도록 설정된 전자 장치. - 제 3 항에 있어서,
디스플레이를 더 포함하고,
상기 프로세서는,
상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작 이후 상기 지정된 시간이 되면,, 상기 제 2 제어 데이터의 수신을 대기할 지 여부를 묻는 사용자 인터페이스(user interface)를 상기 디스플레이에 표시하고, 및
상기 수신 대기를 요청하는 사용자의 선택에 대응하여 상기 지정된 시간 동안 상기 제 2 데이터의 수신을 더 대기하도록 설정된 전자 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 외부 전자 장치와의 통신 상태를 확인하고, 상기 통신 상태가 제 3 지정된 조건을 만족하는 것에 대응하여, 상기 사용자 입력의 적어도 일부를 상기 외부 전자 장치로 전송하지 않고, 상기 제 1 인식 방식을 이용하여 상기 제 1 제어 데이터를 생성하도록 설정된 전자 장치. - 전자 장치에 있어서,
외부 전자 장치와 통신하기 위한 통신 모듈; 및
프로세서를 포함하고, 상기 프로세서는,
사용자의 입력을 수신하고,
상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 제 1 제어 데이터를 생성하고,
상기 외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 상기 통신 모듈을 통해 상기 외부 전자 장치로 전송하고,
상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하고,
상기 진행된 시간이 제 1 지정된 조건을 만족하는 경우, 상기 제 1 제어 데이터를 이용하여 제 1 지정된 기능을 제어하고, 및
상기 진행된 시간이 제 2 지정된 조건을 만족하는 경우, 상기 제 2 제어 데이터를 이용하여 제 2 지정된 기능을 제어하도록 설정된 전자 장치. - 제 9 항에 있어서,
상기 제 1 인식 방식은, 제 1 인공 신경망에 적어도 기반하여 학습된 제 1 학습 모델을 포함하고, 및
상기 제 2 인식 방식은, 제 2 인공 신경망에 적어도 기반하여 학습된 제 2 학습 모델을 포함하는 전자 장치. - 제 9 항에 있어서,
상기 제 1 지정된 기능 및 상기 제 2 지정된 기능은 동일한 전자 장치. - 제 10 항에 있어서,
상기 프로세서는
상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 경우 상기 제 2 제어 데이터를 이용하여 상기 제 2 지정된 기능을 제어하고, 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하도록 설정된 전자 장치. - 전자 장치의 방법에 있어서,
사용자의 입력을 수신하는 동작;
상기 입력에 적어도 기반하여, 제 1 인식 방식을 이용하여 하나 이상의 어플리케이션들 중 적어도 하나의 어플리케이션을 제어하기 위한 제 1 제어 데이터를 생성하는 동작;
외부 전자 장치가 상기 입력에 적어도 기반하여 제 2 인식 방식을 이용하여 상기 적어도 하나의 어플리케이션을 제어하기 위한 제 2제어 데이터를 생성하도록 상기 입력의 적어도 일부를 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작;
상기 외부 전자 장치로 상기 입력의 적어도 일부를 전송한 후에 상기 제 2 제어 데이터를 수신할 때까지 진행된 시간을 확인하는 동작;
상기 진행된 시간이 제 1 지정된 조건을 만족하는 것에 대응하여, 상기 제 1 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하는 동작; 및
상기 진행된 시간이 제 2 지정된 조건을 만족하는 것에 대응하여, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하는 동작을 포함하는 방법. - 제 13 항에 있어서,
상기 제 1 인식 방식을 이용하여 상기 제 1 제어 데이터를 생성하는 동작은
제 1 인공 신경망에 적어도 기반하여 학습된 제 1 학습 모델(trained model)을 이용하여 상기 제 1 제어 데이터를 생성하는 동작을 포함하고, 및
상기 제 2 인식 방식을 이용하여 상기 제 2 제어 데이터를 생성하는 동작은
제 2 인공 신경망에 적어도 기반하여 학습된 제 2 학습 모델을 이용하여 상기 제 2 제어 데이터를 생성하는 동작을 포함하는 방법. - 제 13 항에 있어서,
상기 제 1 지정된 조건은 상기 제 2 제어 데이터가 지정된 시간을 초과한 후 수신되거나, 상기 제 2 제어 데이터가 수신되지 않는 조건을 포함하고, 및
상기 제 2 지정된 조건은 상기 지정된 시간 이내에 상기 제 2 제어 데이터가 수신되는 조건을 포함하는 방법. - 제 15 항에 있어서,
상기 제 1 제어 데이터의 정확도를 확인하는 동작; 및
상기 제 1 제어 데이터의 정확도에 적어도 기반하여, 상기 지정된 시간을 조정하는 동작을 더 포함하는 방법. - 제 15 항에 있어서,
상기 제 2 제어 데이터가 상기 지정된 시간을 초과한 후 수신되는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하는 동작; 및
상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 경우 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하는 동작을 더 포함하는 방법. - 제 15 항에 있어서,
상기 제 2 지정된 조건을 만족하는 것에 대응하여, 상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하는지 확인하는 동작; 및
상기 제 1 제어 데이터와 상기 제 2 제어 데이터가 일치하지 않는 것에 대응하여, 상기 제 2 제어 데이터를 이용하여 상기 적어도 하나의 어플리케이션을 제어하고, 상기 제 2 제어 데이터를 상기 제 1 인식 방식의 학습 데이터(training data)로 이용하여 상기 제 1 학습 모델을 개선(refine)하는 동작을 더 포함하는 방법. - 제 15 항에 있어서,
상기 입력의 적어도 일부를 통신 모듈을 통해 상기 외부 전자 장치로 전송하는 동작 이후 상기 지정된 시간의 경과하면, 상기 제 2 제어 데이터의 수신을 대기할 지 여부를 묻는 사용자 인터페이스(user interface)를 표시하는 동작; 및
상기 수신 대기를 요청하는 사용자의 선택에 대응하여 상기 지정된 시간 동안 상기 제 2 데이터의 수신을 더 대기하는 동작을 더 포함하는 방법. - 제 13 항에 있어서,
상기 외부 전자 장치와의 통신 상태를 확인하는 동작; 및
상기 통신 상태가 제 3 지정된 조건을 만족하는 것에 대응하여, 상기 사용자 입력의 적어도 일부를 상기 외부 전자 장치로 전송하지 않고, 상기 제 1 인식 방식을 이용하여 상기 제 1 제어 데이터를 생성하는 동작을 더 포함하는 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180029786A KR102517228B1 (ko) | 2018-03-14 | 2018-03-14 | 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법 |
| US16/352,077 US11531835B2 (en) | 2018-03-14 | 2019-03-13 | Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof |
| EP19767202.5A EP3738031A4 (en) | 2018-03-14 | 2019-03-13 | ELECTRONIC DEVICE FOR CONTROLLING A PREDEFINED FUNCTION BASED ON THE RESPONSE TIME OF AN EXTERNAL ELECTRONIC DEVICE TO A USER INPUT AND METHOD FOR DOING IT |
| PCT/KR2019/002913 WO2019177373A1 (en) | 2018-03-14 | 2019-03-13 | Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180029786A KR102517228B1 (ko) | 2018-03-14 | 2018-03-14 | 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190115498A true KR20190115498A (ko) | 2019-10-14 |
| KR102517228B1 KR102517228B1 (ko) | 2023-04-04 |
Family
ID=67905818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180029786A KR102517228B1 (ko) | 2018-03-14 | 2018-03-14 | 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11531835B2 (ko) |
| EP (1) | EP3738031A4 (ko) |
| KR (1) | KR102517228B1 (ko) |
| WO (1) | WO2019177373A1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022145932A1 (ko) * | 2020-12-28 | 2022-07-07 | 삼성전자 주식회사 | 이미지 프레임 처리 방법 및 이를 지원하는 전자 장치 |
| WO2022154286A1 (ko) * | 2021-01-12 | 2022-07-21 | 삼성전자 주식회사 | 사용자 인터페이스를 제공하는 방법 및 그 전자 장치 |
| KR102431107B1 (ko) * | 2021-12-01 | 2022-08-11 | 주식회사 시제 | 인공지능을 이용한 생산 라인의 생산량 산출 방법 |
| KR102462730B1 (ko) * | 2022-07-11 | 2022-11-04 | (주)하영 | 인공지능 기반의 가구 수명 관리 시스템 |
| KR20230100933A (ko) * | 2021-12-29 | 2023-07-06 | 주식회사 커넥트시스템 | 인공지능 모델 통합 관리 및 배포 시스템과 그 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827821B (zh) * | 2019-12-04 | 2022-04-12 | 三星电子（中国）研发中心 | 一种语音交互装置、方法和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089288A (ko) * | 2005-02-03 | 2006-08-09 | 주식회사 현대오토넷 | 분산 음성 인식 시스템을 이용한 텔레매틱스 시스템의정보 제공 시스템 및 방법 |
| US20110238415A1 (en) * | 2008-08-29 | 2011-09-29 | Detlef Koll | Hybrid Speech Recognition |
| US20120179457A1 (en) * | 2011-01-07 | 2012-07-12 | Nuance Communications, Inc. | Configurable speech recognition system using multiple recognizers |
| EP2975516A1 (en) * | 2014-07-11 | 2016-01-20 | Accenture Global Services Limited | Intelligent application back stack management |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070276651A1 (en) * | 2006-05-23 | 2007-11-29 | Motorola, Inc. | Grammar adaptation through cooperative client and server based speech recognition |
| US8364481B2 (en) * | 2008-07-02 | 2013-01-29 | Google Inc. | Speech recognition with parallel recognition tasks |
| US9177550B2 (en) | 2013-03-06 | 2015-11-03 | Microsoft Technology Licensing, Llc | Conservatively adapting a deep neural network in a recognition system |
| US9454958B2 (en) | 2013-03-07 | 2016-09-27 | Microsoft Technology Licensing, Llc | Exploiting heterogeneous data in deep neural network-based speech recognition systems |
| US11087236B2 (en) * | 2016-07-29 | 2021-08-10 | Splunk Inc. | Transmitting machine learning models to edge devices for edge analytics |
-
2018
- 2018-03-14 KR KR1020180029786A patent/KR102517228B1/ko active IP Right Grant
-
2019
- 2019-03-13 WO PCT/KR2019/002913 patent/WO2019177373A1/en unknown
- 2019-03-13 US US16/352,077 patent/US11531835B2/en active Active
- 2019-03-13 EP EP19767202.5A patent/EP3738031A4/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089288A (ko) * | 2005-02-03 | 2006-08-09 | 주식회사 현대오토넷 | 분산 음성 인식 시스템을 이용한 텔레매틱스 시스템의정보 제공 시스템 및 방법 |
| US20110238415A1 (en) * | 2008-08-29 | 2011-09-29 | Detlef Koll | Hybrid Speech Recognition |
| US20120179457A1 (en) * | 2011-01-07 | 2012-07-12 | Nuance Communications, Inc. | Configurable speech recognition system using multiple recognizers |
| EP2975516A1 (en) * | 2014-07-11 | 2016-01-20 | Accenture Global Services Limited | Intelligent application back stack management |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022145932A1 (ko) * | 2020-12-28 | 2022-07-07 | 삼성전자 주식회사 | 이미지 프레임 처리 방법 및 이를 지원하는 전자 장치 |
| WO2022154286A1 (ko) * | 2021-01-12 | 2022-07-21 | 삼성전자 주식회사 | 사용자 인터페이스를 제공하는 방법 및 그 전자 장치 |
| KR102431107B1 (ko) * | 2021-12-01 | 2022-08-11 | 주식회사 시제 | 인공지능을 이용한 생산 라인의 생산량 산출 방법 |
| KR20230082549A (ko) * | 2021-12-01 | 2023-06-08 | 주식회사 시제 | 다품종 소량생산 제조방식의 생산 라인 관리 시스템 |
| WO2023101402A1 (ko) * | 2021-12-01 | 2023-06-08 | 주식회사 시제 | 인공지능을 이용한 생산 라인의 생산량 산출 방법 |
| KR20230100933A (ko) * | 2021-12-29 | 2023-07-06 | 주식회사 커넥트시스템 | 인공지능 모델 통합 관리 및 배포 시스템과 그 방법 |
| KR102462730B1 (ko) * | 2022-07-11 | 2022-11-04 | (주)하영 | 인공지능 기반의 가구 수명 관리 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190286941A1 (en) | 2019-09-19 |
| EP3738031A4 (en) | 2021-03-10 |
| US11531835B2 (en) | 2022-12-20 |
| KR102517228B1 (ko) | 2023-04-04 |
| WO2019177373A1 (en) | 2019-09-19 |
| EP3738031A1 (en) | 2020-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102607666B1 (ko) | 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치 | |
| KR102517228B1 (ko) | 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법 | |
| US20200043490A1 (en) | Electronic device and method for determining electronic device to perform speech recognition | |
| US10866706B2 (en) | Electronic device for displaying application and operating method thereof | |
| CN113330392B (zh) | 用于确定包括多个动作的任务的电子装置和方法 | |
| KR102706928B1 (ko) | 단어 추천 방법 및 그 전자 장치 | |
| US11474780B2 (en) | Method of providing speech recognition service and electronic device for same | |
| KR102512614B1 (ko) | 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법 | |
| US20230362281A1 (en) | Method for providing user interface and electronic device therefor | |
| US20220351041A1 (en) | Device and method using machine learning model shared by plurality of applications | |
| US20200201518A1 (en) | Method for starting application and electronic device for implementing same | |
| US20240080530A1 (en) | Electronic apparatus and operating method of electronic apparatus | |
| KR102524517B1 (ko) | 전자 장치 및 그의 동작 방법 | |
| US20230350730A1 (en) | Electronic device and operation method of electronic device | |
| US11308953B2 (en) | Speech recognition method and electronic device for supporting the same | |
| US20220326964A1 (en) | Processor for initializing model file of application and electronic device including the same | |
| EP4220443A1 (en) | Electronic device for providing alternative content, and operation method therefor | |
| US11113215B2 (en) | Electronic device for scheduling a plurality of tasks and operating method thereof | |
| KR20220102405A (ko) | 전자 장치 및 전자 장치의 동작 방법 | |
| KR20200094436A (ko) | 복수의 어플리케이션에 카메라에서 획득한 이미지를 제공하는 전자 장치 및 그의 동작 방법 | |
| EP4411548A1 (en) | Memory control method and electronic device for performing same | |
| US12032819B2 (en) | Electronic device for performing function matched with graphic affordance and operating method of electronic device | |
| US20240160404A1 (en) | Electronic device and operation method of electronic device | |
| US20230030132A1 (en) | Application optimization method and apparatus supporting the same | |
| KR20240020133A (ko) | 프레임드롭 검출을 위한 전자 장치 및 전자 장치의 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |