KR20220125611A - 전자 장치 및 그 제어 방법 - Google Patents
전자 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20220125611A KR20220125611A KR1020210029692A KR20210029692A KR20220125611A KR 20220125611 A KR20220125611 A KR 20220125611A KR 1020210029692 A KR1020210029692 A KR 1020210029692A KR 20210029692 A KR20210029692 A KR 20210029692A KR 20220125611 A KR20220125611 A KR 20220125611A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- task
- step information
- weight
- electronic device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 125
- 230000006870 function Effects 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Electrotherapy Devices (AREA)
Abstract
전자 장치가 개시된다. 전자 장치는 어플리케이션 실행과 관련된 음성 인식 비서 기능에 대한 태스크 정보 및 키워드 정보가 저장된 메모리 및 메모리와 연결되어 전자 장치를 제어하는 프로세서를 포함한다. 여기서, 프로세서는 태스크 정보에 포함된 복수의 스텝 정보 중 키워드 정보를 포함하는 제1 스텝 정보에 제1 가중치를 적용하고, 복수의 스텝 정보 중 사용자 모션을 포함하는 제2 스텝 정보에 제1 가중치와 상이한 제2 가중치를 적용하고, 제1 가중치가 적용된 제1 스텝 정보 및 제2 가중치가 적용된 제2 스텝 정보에 기초하여 태스크 정보를 업데이트하고, 어플리케이션에 대한 사용자 음성 명령이 입력되면 업데이트된 태스크 정보에 기초하여 음성 인식 비서 기능을 실행할 수 있다.
Description
본 발명은 어플리케이션의 기능을 수행하는 태스크를 최적화하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 모바일 전자 장치를 통해 음성 인식 비서 서비스를 제공하는 방법에 관한 기술 개발이 활발해지고 있다. 음성 인식 비서 서비스를 제공하는 전자 장치는 사용자의 명령에 기초하여 전자 장치에 설치된 어플리케이션의 기능을 수행할 수 있다. 전자 장치가 사용자가 설정한 복수의 스텝을 거쳐 특정 어플리케이션의 기능을 수행하는 경우 사용자가 설정한 복수의 스텝에 일부 불필요한 스텝이 포함되어 있더라도 이러한 스텝을 거쳐 어플리케이션의 기능을 수행하기 때문에 불필요한 시간과 전력 등이 낭비되는 문제점이 있었다. 이에 따라 음성 인식 비서가 사용자가 설정한 복수의 스텝 중 일부 불필요한 스텝을 거치지 않고 어플리케이션의 기능을 수행하는 방법에 대한 지속적인 요구가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 발명의 목적은 사용자에 발화를 구성하는 키워드와 사용자의 모션을 분석하고, 분석된 결과에 기초하여 음성 인식 비서 기능에 대한 태스크 정보를 업데이트하는 전자 장치 및 그 제어 방법을 제공함에 있다.
여기서, 상기 제2 스텝 정보와 관련된 다른 스텝 정보는, 상기 제2 스텝 정보에 대응되는 사용자 모션의 타입과 동일한 타입의 사용자 모션을 포함하는 스텝 정보일 수 있다.
또한, 상기 프로세서는, 상기 제2 스텝 정보가 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보는 유지시키고 상기 제2 스텝 정보와 상이한 복수의 스텝 정보 중 상대적으로 낮은 가중치가 적용된 스텝 정보를 우선적으로 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별할 수 있다.
한편, 상기 프로세서는, 상기 제1 스텝 정보에 대응되는 사용자 모션의 타입에 기초하여 제4 가중치를 식별하고, 상기 제1 가중치 및 상기 제4 가중치를 상기 제1 스텝 정보에 적용할 수 있다.
또한, 상기 프로세서는, 상기 복수의 스텝 정보 중 기 설정된 필수 스텝 정보를 상기 태스크 정보에 유지시켜 상기 태스크 정보를 업데이트할 수 있다.
또한, 상기 사용자 모션은, 스크롤 모션, 버튼 클릭 모션, 이미지 클릭 모션, 타이핑 모션 또는 어플리케이션 실행 모션 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 제어 방법은, 상기 태스크 정보에 포함된 복수의 스텝 정보 중 상기 키워드 정보를 포함하는 제1 스텝 정보에 제1 가중치를 적용하는 단계, 상기 복수의 스텝 정보 중 사용자 모션을 포함하는 제2 스텝 정보에 상기 제1 가중치와 상이한 제2 가중치를 적용하는 단계, 상기 제1 가중치가 적용된 제1 스텝 정보 및 상기 제2 가중치가 적용된 제2 스텝 정보에 기초하여 상기 태스크 정보를 업데이트하는 단계 및 상기 어플리케이션에 대한 사용자 음성 명령이 입력되면 상기 업데이트된 태스크 정보에 기초하여 음성 인식 비서 기능을 실행하는 단계를 포함할 수 있다.
여기서, 상기 제2 가중치를 적용하는 단계는, 상기 복수의 스텝 정보 중 제1 타입의 사용자 모션을 포함하는 상기 제2 스텝 정보에 상기 제2 가중치를 적용하는 단계 및 상기 복수의 스텝 정보 중 상기 제1 타입과 상이한 제2 타입의 사용자 모션을 포함하는 제3 스텝 정보에 상기 제2 가중치와 상이한 제3 가중치를 적용하는 단계를 포함할 수 있다.
한편, 상기 제2 가중치를 적용하는 단계는, 상기 제2 스텝 정보에 적용된 상기 제2 가중치가 임계 수치 미만이면, 상기 제2 스텝 정보를 상기 태스크 정보에서 제외시키고, 상기 제2 스텝 정보에 적용된 상기 제2 가중치가 상기 임계 수치 이상이면, 상기 제2 스텝 정보를 상기 태스크 정보에 유지시키는 단계를 포함할 수 있다.
여기서, 상기 태스크 정보를 업데이트하는 단계는, 상기 태스크 정보에서 상기 제2 스텝 정보를 제외시킨 후 태스크가 정상적으로 수행되는지 식별하고 상기 태스크가 정상적으로 수행되면, 상기 제2 스텝 정보를 상기 태스크 정보에서 제외시키는 단계를 포함할 수 있다.
여기서, 상기 태스크 정보를 업데이트하는 단계는, 상기 제2 스텝 정보가 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보는 유지시키고 상기 제2 스텝 정보와 상이한 복수의 스텝 정보 중 상대적으로 낮은 가중치가 적용된 스텝 정보를 우선적으로 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하는 단계를 포함할 수 있다.
여기서, 상기 태스크 정보를 업데이트하는 단계는, 상기 제2 스텝 정보가 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보는 유지시키고 상기 제2 스텝 정보와 상이한 스텝 정보를 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하는 단계를 더 포함할 수 있다. 여기서, 상기 제2 스텝 정보와 상이한 다른 스텝 정보는, 상기 제2 스텝 정보에 대응되는 사용자 모션의 타입과 상이한 타입의 사용자 모션을 포함하는 스텝 정보일 수 있다.
또한, 상기 태스크 정보를 업데이트하는 단계는, 상기 제2 스텝 정보 만이 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보 및 상기 제2 스텝 정보와 관련된 스텝 정보를 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하는 단계를 더 포함할 수 잇다. 여기서, 상기 제2 스텝 정보와 관련된 다른 스텝 정보는, 상기 제2 스텝 정보에 대응되는 사용자 모션의 타입과 동일한 타입의 사용자 모션을 포함하는 스텝 정보일 수 있다.
한편, 상기 제1 가중치를 적용하는 단계는, 상기 제1 스텝 정보에 대응되는 사용자 모션의 타입에 기초하여 제4 가중치를 식별하고, 상기 제1 가중치 및 상기 제4 가중치를 상기 제1 스텝 정보에 적용할 수 있다.
또한, 상기 태스크 정보를 업데이트하는 단계는, 상기 복수의 스텝 정보 중 기 설정된 필수 스텝 정보를 상기 태스크 정보에 유지시켜 상기 태스크 정보를 업데이트하는 단계를 포함할 수 있다.
또한, 상기 사용자 모션은, 스크롤 모션, 버튼 클릭 모션, 이미지 클릭 모션, 타이핑 모션 또는 어플리케이션 실행 모션 중 적어도 하나를 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치는 태스크에 포함된 일부 불필요한 스텝을 거치지 않고 어플리케이션의 기능을 수행할 수 있어 짧은 시간 내에 어플리케이션의 기능을 수행할 수 있으므로 사용자의 편의성이 향상된다.
도 1은 본 개시의 이해를 돕기 위한 음성 인식 비서 기능을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실세 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실세 예에 따른 프로세서의 기능적 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실세 예에 따른 전자 장치의 최적화 동작을 설명하기 위한 흐름도이다.
도 5는 본 개시의 일 실세 예에 따른 전자 장치가 키워드 정보를 포함하는 스텝 정보에 가중치를 적용하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실세 예에 따른 전자 장치가 모션을 포함하는 스텝 정보에 가중치를 적용하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실세 예에 따른 전자 장치가 불필요한 스텝 정보를 제외시키는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실세 예에 따른 전자 장치의 태스크 최적화 동작의 결과를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 구체적으로 설명하기 위한 블록도이다.
도 10은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
도 2는 본 개시의 일 실세 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실세 예에 따른 프로세서의 기능적 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실세 예에 따른 전자 장치의 최적화 동작을 설명하기 위한 흐름도이다.
도 5는 본 개시의 일 실세 예에 따른 전자 장치가 키워드 정보를 포함하는 스텝 정보에 가중치를 적용하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실세 예에 따른 전자 장치가 모션을 포함하는 스텝 정보에 가중치를 적용하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실세 예에 따른 전자 장치가 불필요한 스텝 정보를 제외시키는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실세 예에 따른 전자 장치의 태스크 최적화 동작의 결과를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 구체적으로 설명하기 위한 블록도이다.
도 10은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서 사용자라는 용어는 전자 장치를 사용하는 사람을 지칭할 수 있다. 이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 이해를 돕기 위한 음성 인식 비서 기능을 설명하기 위한 도면이다.
도 1에 따르면, 사용자(10)는 전자 장치(100), 예를 들어 스마트폰(100)을 통하여 특정 어플리케이션의 실행할 수 있다. 여기서, 특정 어플리케이션은 배달음식 주문 기능을 수행하는 어플리케이션일 수 있다.
사용자(10)는 전자 장치(100)에 구비된 버튼이나 터치스크린을 조작하여 어플리케이션의 기능(이하, 태스크)을 실행할 수도 있으나, 전자 장치(100)가 제공하는 음성 인식 비서 기능을 통해 태스크를 실행할 수 있다. 여기서, 전자 장치(100)는 AI(Artificial Intelligence) 음성 인식 비서 기능을 제공할 수 있으며, 일 예에 따른 음성 인식 비서 기능은 전자 장치(100)에 사용자의 음성 명령이 입력되면 그에 기초하여 사용자에게 응답 정보를 제공하는 일체의 서비스를 의미할 수 있다.
일 예에 따르면, 사용자(10)는 전자 장치(100)가 제공하는 음성 인식 비서 기능을 활성화하는 웨이크 업 워드(Wake-up word)를 포함하는 발화를 전자 장치(100)에 입력함으로써 음성 인식 비서 기능을 활성화하고, 특정 태스크에 대응되는 발화(11)를 추가 입력함으로써 태스크를 실행할 수 있다.
보다 구체적으로, 사용자(10)가 "보쌈 주문해줘"라는 텍스트에 대응되는 발화(11)를 전자 장치(100)에 입력하면 전자 장치(100)는 배달음식 주문 기능을 수행하는 어플리케이션을 구동하고, "보쌈"에 대응되는 음식을 주문하기 위한 UI(User Interface)를 사용자(10)에게 제공할 수 있다.
여기서, 전자 장치(100)는 사용자의 발화(11)에 기초하여 태스크를 실행하기 위해 특정한 알고리즘을 사용할 수 있다. 구체적으로, 사용자의 발화(11)를 인식한 전자 장치(100)는 A 단계, B단계 및 C 단계를 거쳐 사용자(10)에게 UI를 제공하는 알고리즘을 사용할 수 있다.
본 명세서에서는, 전자 장치(100)가 태스크를 실행하여 사용자(10)에게 UI를 제공하기 위해 사용하는 알고리즘을 '태스크 정보'라는 용어로써 설명하기로 한다. 또한, 태스크 정보에 포함된 복수의 단계에 관한 정보는 '스텝 정보'라는 용어로써 설명하기로 한다.
한편, 어플리케이션의 업데이트 등으로 인해 전자 장치(100)가 태스크를 실행하기 위해 사용하는 태스크 정보 또한 변경될 수 있다. 일 예에 따르면, 전자 장치(100)는 변경된 태스크 정보를 외부 서버로부터 수신하여 사용할 수도 있으나, 다른 예에 따르면 전자 장치(100)는 사용자(10)에게 입력 받은 정보에 기초하여 업데이트된 태스크 정보를 사용할 수 있다. 여기서, 업데이트란 기존에 전자 장치(100)가 저장하고 있는 태스크 정보를 전부 또는 일부 수정하여 새롭게 저장하는 동작을 의미할 수 있다.
구체적으로, 사용자(10)는 전자 장치(100)에 태스크에 대응되는 발화에 관한 정보 및 태스크를 실행하는데 필요한 사용자 모션을 포함하는 복수의 스텝 정보를 입력하고, 전자 장치(100)는 입력된 정보에 기초하여 태스크 정보를 업데이트하고, 업데이트된 태스크 정보에 기초하여 태스크를 실행할 수 있다.
여기서, 사용자(10)가 입력한 복수의 스텝 정보에는 태스크를 실행하는 데 필수적이지 않은 스텝(이하, 불필요한 스텝)에 관한 정보가 포함되어 있을 수 있다. 따라서, 전자 장치(100)는 불필요한 스텝에 대한 스텝 정보를 제외한 나머지 스텝 정보에 기초하여 태스크 정보를 업데이트할 수 있다.
이하에서는, 전자 장치(100)가 사용자(10)로부터 입력된 복수의 스텝 정보 중 불필요한 스텝에 대한 정보를 제외한 나머지 스텝 정보에 기초하여 태스크 정보를 업데이트함으로써 더욱 효율적으로 태스크를 실행할 수 있는 다양한 실시 예에 대해 좀더 구체적으로 설명하도록 한다.
본 명세서에서는, 어플리케이션 내지 태스크가 '수행'된다는 표현은 어플리케이션 내지 태스크가 '실행'된다는 것과 같은 의미이므로, '실행'과 '수행'을 혼용하도록 한다.
도 2는 본 개시의 일 실세 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2에 따르면 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
메모리(110)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
본 개시의 일 실시 예에 따른 메모리(110)는 전자 장치(100)에 저장된 어플리케이션의 실행과 관련된 음성 인식 비서 기능에 대한 태스크 정보 및 키워드 정보를 저장할 수 있다. 여기서, 키워드 정보란 태스크에 대응되는 발화에 관한 정보에 포함된 정보일 수 있다. 또한, 메모리(110)는 적어도 하나의 어플리케이션에 관한 정보 및 음성 인식 비서 기능에 관한 일체의 정보를 저장할 수 있음은 물론이다.
프로세서(120)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(120)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(120)는 메모리(110)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(120)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(120)로 기재한다.
프로세서(120)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(120)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 메모리(110)에 저장된 태스크 정보에 포함된 복수의 스텝 정보 중 키워드 정보를 포함하는 제1 스텝 정보에 제1 가중치를 적용할 수 있다. 여기서, 가중치를 적용한다 함은 스텝 정보에 가중치에 대한 정보를 포함시켜 저장하는 것을 의미할 수 있다. 일 예에 따르면, 특정 스텝에 적용되는 가중치는 해당 스텝 정보가 태스크 정보에 따라 태스크를 실행하는 데 있어 얼마나 중요한 역할을 하는지에 대응되는 수치를 가질 수 있다.
구체적으로, 배달음식 주문 기능을 수행하는 어플리케이션과 관련하여 일 예에 따른 키워드 정보는 음식의 명칭에 대응되는 텍스트를 포함할 수 있다. 여기서, 프로세서(120)는 음식의 명칭에 대응되는 텍스트를 포함하는 제1 스텝 정보에 제1 가중치에 대한 정보를 포함시켜 저장할 수 있다.
또한, 프로세서(120)는 복수의 스텝 정보 중 제1 타입의 사용자 모션을 포함하는 제2 스텝 정보에 제1 가중치와 상이한 제2 가중치를 적용할 수 있다. 일 예에 따른 사용자 모션은 스크롤 모션, 버튼 클릭 모션, 이미지 클릭 모션, 타이핑 모션 또는 어플리케이션 실행 모션 중 적어도 하나를 포함할 수 있다.
구체적으로, 일 스텝이 '버튼을 클릭하여 다음 단계로 이동'인 경우, 해당 스텝에 대응되는 사용자 모션은 '버튼 클릭 모션'일 수 있다.
또한, 프로세서(120)는 제1 타입과 상이한 제2 타입의 사용자 모션을 포함하는 제3 스텝 정보에 제2 가중치와 상이한 제3 가중치를 적용할 수 있다. 구체적으로, 일 스텝이 '검색 창에 음식의 명칭 타이핑'인 경우, 해당 스텝에 대응되는 사용자 모션은 '타이핑 모션'일 수 있다. 이 경우 프로세서(120)는 '버튼 클릭 모션'을 포함하는 스텝 정보에 적용한 제2 가중치와 상이한 제3 가중치를 '타이핑 모션'을 포함하는 스텝 정보에 적용할 수 있다.
따라서, 프로세서(120)는 다양한 타입의 사용자 모션을 포함하는 개별적인 스텝에 제1 가중치와 상이한 가중치를 각각 적용할 수 있다.
이를 통해 프로세서(120)는 제1 가중치가 적용된 제1 스텝 정보 및 제2 가중치가 적용된 제2 스텝 정보에 기초하여 태스크 정보를 업데이트할 수 있다. 즉 프로세서(120)는 가중치에 대한 정보를 포함하는 스텝 정보들로 기존의 스텝 정보들을 대체한 태스크 정보를 획득하여 저장할 수 있다.
한편, 태스크 정보가 업데이트된 후 어플리케이션에 대한 사용자 음성 명령이 입력되면 전자 장치(100)는 업데이트된 태스크 정보에 기초하여 음성 인식 비서 기능을 실행하고, 최종적으로는 사용자의 음성 명령에 대응되는 태스크를 실행할 수 있다.
한편, 프로세서(120)는 제2 스텝 정보에 적용된 제2 가중치가 임계 수치 미만이면 제2 스텝 정보를 태스크 정보에서 제외시키고, 제2 가중치가 임계 수치 이상이면 제2 스텝 정보를 태스크 정보에 유지시킬 수 있다. 여기서, 스텝 정보를 태스크 정보에서 제외시킨다 함은 태스크 정보에서 해당 스텝 정보를 삭제하여 저장하는 것을 의미할 수 있다.
여기서, 프로세서(120)는 제2 스텝 정보가 제외된 태스크 정보에 기초하여 태스크가 정상적으로 수행되지 않는 경우, 제2 스텝 정보는 유지시키고 제2 스텝 정보와 상이한 스텝 정보를 태스크 정보에서 제외시켜 태스크가 정상적으로 수행되는지 식별할 수 있다. 여기서, 제2 스텝 정보와 상이한 다른 스텝 정보는 제2 스텝 정보에 대응되는 사용자 모션의 타입과 상이한 타입의 사용자 모션을 포함하는 스텝 정보일 수 있다.
일 예에 따르면, 프로세서(120)는 제2 스텝 정보가 태스크 정보에서 제외된 상태에서 태스크가 정상적으로 수행되지 않는 경우 제2 스텝 정보는 유지시키고 제2 스텝 정보와 상이한 복수의 스텝 정보 중 상대적으로 낮은 가중치가 적용된 스텝 정보를 우선적으로 태스크 정보에서 제외시켜 태스크가 정상적으로 수행되는지 식별할 수도 있다.
한편, 프로세서(120) 제2 스텝 정보 만이 태스크 정보에서 제외된 상태에서 태스크가 정상적으로 수행되지 않는 경우, 제2 스텝 정보 및 제2 스텝 정보와 관련된 스텝 정보를 태스크 정보에서 제외시켜 태스크가 정상적으로 수행되는지 식별할 수 있다. 여기서, 제2 스텝 정보와 관련된 다른 스텝 정보는 제2 스텝 정보에 대응되는 사용자 모션의 타입과 동일한 타입의 사용자 모션을 포함하는 스텝 정보일 수 있다.
한편, 프로세서(120)는 제1 스텝 정보에 대응되는 사용자 모션의 타입에 기초하여 제4 가중치를 식별할 수 있다. 앞서 설명하였듯이, 제1 스텝 정보는 키워드 정보를 포함하는 스텝 정보일 수 있으며, 이에 관해서는 제1 가중치가 적용될 수 있다. 프로세서(120)는 스텝 정보에 포함된 키워드 정보에 대한 제1 가중치와는 별개로 해당 스텝에 포함된 사용자 모션의 타입에 기초하여 제4 가중치를 식별하고, 제1 가중치와 제4 가중치를 모두 적용한 제1 스텝 정보에 기초하여 태스크 정보를 업데이트할 수 있다.
또한, 프로세서(120)는 복수의 스텝 정보 중 기 설정된 필수 스텝 정보를 태스크 정보에 유지시켜 태스크 정보를 업데이트할 수 있다. 구체적으로, 프로세서(120)는 태스크 정보에 포함된 불필요한 스텝에 대한 정보를 제외시키는 과정에서 기 설정된 필수 스텝 정보는 제외시키지 않고 유지시킬 수 있다. 여기서, 필수 스텝 정보는 전자 장치(100)의 제조자가 제조 단계에서 설정해 놓은 정보이거나 사용자가 임의로 설정한 정보일 수 있다.
도 3은 본 개시의 일 실세 예에 따른 프로세서의 기능적 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 프로세서(120)는 문장 분석 모듈(310)과 모션 분석 모듈(320)을 포함할 수 있다. 본 모듈들 각각은 전자 장치(100)의 메모리(110)에 저장된 소프트웨어를 이용하는 모듈이거나 전자 장치(100)상에 회로적으로 구현된 하드웨어 모듈일 수 있다. 또는, 본 모듈들 각각은 소프트웨어 및 하드웨어가 조합된 형태로 구현될 수 있다.
이하에서는 상술한 각 모듈들이 도 2에서 설명한 프로세서(120)의 기능에 대응되는 동작을 수행하는 것을 전제로 설명하도록 한다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 문장 분석 모듈(310)을 통해 태스크에 대응되는 발화에 관한 정보로부터 키워드를 추출할 수 있다. 여기서, 태스크에 대응되는 발화에 관한 정보는 특정 키워드를 포함하는 텍스트 정보일 수 있다.
구체적으로, 사용자는 태스크에 대응되는 발화에 관한 정보를 전자 장치(100)에 저장할 수 있으며, 이 경우 전자 장치(100)는 문장 분석 모듈(310)를 통해 전자 장치(100)에 저장된 태스크에 대응되는 발화에 관한 정보 중에서 키워드를 식별할 수 있다(311).
예를 들어, 사용자는 배달 음식 주문과 관련된 태스크에 대응되는 발화 정보로서, "보쌈 주문해줘"라는 텍스트 정보를 전자 장치(100)에 저장할 수 있다. 이 경우 전자 장치(100)는 문장 분석 모듈(310)를 통해 음식 명칭에 대응되는 "보쌈"이라는 키워드를 추출할 수 있다.
키워드 추출과정에서, 전자 장치(100)는 발화 정보에 포함된 "보쌈 주문해줘"라는 텍스트를 기 설정된 단위로 구분할 수 있다. 여기서, 기 설정된 단위는 형태소일 수 있다. 나아가 전자 장치(100)는 기 설정된 단위로 구분된 텍스트에서 특정 품사에 대응되는 단어를 식별할 수 있다.
일 예에 따르면, 전자 장치(100)는 '명사'의 품사에 대응되는 텍스트를 식별할 수 있다. 결과적으로 "보쌈 주문해줘"라는 텍스트에서는 '보쌈'과 '주문'이라는 두 개의 키워드가 추출될 수 있다. 또한, 전자 장치(100)는 추출된 키워드에 대응되는 품사를 태깅(tagging)할 수 있다. 여기서 태깅이란 키워드의 품사에 대응되는 태그를 텍스트 정보에 포함시켜 저장하는 것을 의미할 수 있다.
나아가 전자 장치(100)는 문장 분석 모듈(310)을 통해 태스크 정보에 포함된 복수의 스텝 정보 중 식별된 키워드에 관한 정보(이하, 키워드 정보)를 포함하는 스텝에 관한 정보(이하, 스텝 정보)에 대해 키워드 정보에 상응하는 가중치를 적용하고, 해당 스텝을 중요 스텝으로 식별할 수 있다(312).
한편, 전자 장치(100)는 모션 분석 모듈(320)을 통해 스 태스크를 실행하는데 필요한 복수의 스텝 정보 각각에 포함된 다양한 타입의 사용자 모션을 식별할 수 있다(321). 구체적으로, 전자 장치(100)는 '버튼을 클릭하여 다음 단계로 이동'에 대응되는 스텝 정보에 포함된 사용자 모션으로 '버튼 클릭 모션'을, '검색 창에 음식의 명칭 타이핑'에 대응되는 스텝 정보에 포함된 사용자 모션으로 '타이핑 모션'을 각각 식별할 수 있다.
또한, 전자 장치(100)는 식별된 사용자 모션의 타입에 기초하여 복수의 스텝 정보에 대해 사용자 모션에 상응하는 가중치를 적용할 수 있다(322).
도 4는 본 개시의 일 실세 예에 따른 전자 장치의 최적화 동작을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 태스크 정보에 포함된 복수의 스텝 정보에 포함된 키워드 정보 및 사용자 모션에 기초하여 개별적인 스텝에 상이한 가중치를 적용할 수 있다(S410).
이어서, 전자 장치(100)는 가중치가 적용된 복수의 스텝 정보 중 상대적으로 낮은 가중치가 적용된 스텝 정보를 우선적으로 태스크 정보에서 제외시킬 수 있다(S420). 구체적으로, 낮은 가중치가 적용된 스텝 정보일수록 태스크 정보에 기초하여 태스크를 실행함에 있어 상대적으로 덜 중요한 스텝 정보임을 의미할 수 있으므로, 해당 스텝 정보를 태스크 정보에서 제외시키는 경우에도 불구하고 태스크가 정상적으로 실행될 수 있다.
이어서, 전자 장치(100)는 가중치가 낮은 스텝이 제외된 태스크 정보에 기초하여 태스크가 정상적으로 수행되는지 식별할 수 있다(S430). 구체적으로, 전자 장치(100) 상대적으로 낮은 가중치가 적용된 스텝 정보를 제외한 태스크 정보에 기초하여 태스크가 정상적으로 수행되는 경우라면(S440: Y) 해당 스텝을 태스크 정보에서 삭제하여 저장함으로써 태스크 정보를 업데이트할 수 있다(S450).
반대로, 전자 장치(100)는 상대적으로 낮은 가중치가 적용된 스텝 정보를 제외한 태스크 정보에 기초하여 태스크가 정상적으로 수행되지 않는 경우라면(S440: N) 해당 스텝을 태스크 정보에 유지시키고 그 다음으로 낮은 가중치가 적용된 스텝을 태스크 정보에서 제외시켜(S420) 다시 태스크가 정상적으로 실행되는지 식별할 수 있다(S430).
한편, 태스크를 실행하는데 불필요한 스텝 정보를 삭제하는 동작(S450)은 무한정으로 반복되지 않을 수 있다. 일 예에 따른 전자 장치(100)는 최적화율이 임계 수치 이상인 것으로 식별되면(S460: Y) 더 이상의 불필요한 스텝 정보를 삭제하지 않고 기 삭제된 스텝 정보 만이 제외된 태스크 정보를 메모리(110)에 저장할 수 있다.
여기서, 최적화율이란 최적화 동작 이후에 전자 장치(100)가 태스크 정보에 기초하여 태스크를 실행하는데 소요되는 시간이 최적화 이전에 비해 감소된 비율을 의미할 수 있다. 이 경우 일정수준 이상으로 태스크 정보가 최적화 되었음에도 계속하여 최적화를 진행하는 것은 효율적이지 않을 수 있다. 일 예에 따르면, 전자 장치(100)는 최적화에 의해 태스크 정보에 기초하여 태스크를 실행하는데 소요되는 시간이 최적화 이전에 비해 30% 이상 감소되었다면 최적화 동작을 중지할 수 있다.
그러나, 최적화율이 임계 수치 미만인 경우(S460: N) 전자 장치(100)는 상대적으로 낮은 가중치가 적용된 스텝 정보를 추가적으로 삭제하기 위해 종전의 동작을 반복할 수 있다(S420, S430).
도 5는 본 개시의 일 실세 예에 따른 전자 장치가 키워드 정보를 포함하는 스텝 정보에 가중치를 적용하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 배달 음식 주문과 관련된 태스크에 대응되는 발화 정보(500)에서 "보쌈 주문해줘"라는 텍스트 정보를 식별할 수 있다. 또한, 전자 장치(100)는 식별된 텍스트 정보에서 '보쌈'과 '주문'이라는 두 개의 키워드를 추출할 수 있다. 또한, 전자 장치(100)는 추출된 키워드에 대응되는 품사를 태깅할 수 있다. 그 결과 '보쌈'이라는 키워드에는 '명사(N)'라는 품사에 대응되는 태깅(501)이, '주문'이라는 키워드에는 '명사(N)'라는 품사에 대응되는 태깅(502)이 각각 추가되어 저장될 수 있다.
한편, 도 5에 도시된 각 스텝(510~570)은 배달 음식 주문이라는 태스크에 대응되는 복수의 스텝에 해당한다. 구체적으로, 음식 주문이라는 태스크는 어플리케이션을 실행하고(510), 화면을 아래로 스크롤 하고(520), 화면을 위로 스크롤하고(530), 검색 버튼을 클릭하고(540), 검색창에 '보쌈'을 입력하고(550), 화면을 아래로 스크롤하고(560) 음식 이미지를 클릭하는 스텝(570)을 거쳐 실행될 수 있다. 일 예에 따른 전자 장치(100)는 복수의 스텝 중에서 태스크가 실행되는 데 중요한 역할을 하는 스텝을 식별하기 위해 발화 정보(500)에서 추출한 키워드를 포함하는 스텝 정보에 가중치를 적용할 수 있다.
구체적으로, 검색창에 '보쌈'을 입력하는 스텝(550)에서는 '보쌈'이라는 텍스트에 대응되는 정보가 해당 스텝에 대한 스텝 정보로서 전자 장치(100)에 저장되어 있을 수 있다. 이 경우 전자 장치(100)는 복수의 스텝 중에서 식별된 키워드 중 '보쌈'이 포함된 스텝 정보(550)에 가중치(551)를 적용하고, 해당 스텝(550)을 중요 스텝으로 식별할 수 있다.
도 6은 본 개시의 일 실세 예에 따른 전자 장치가 모션을 포함하는 스텝 정보에 가중치를 적용하는 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 태스크를 실행하는데 필요한 사용자 모션(600)은 어플리케이션 실행 모션(610), 스크롤 모션(620), 버튼 클릭 모션(630), 타이핑 모션(640) 및 이미지 클릭 모션(650)에 대응되는 타입을 가질 수 있다. 도 6에서는 5 가지 타입의 사용자 모션에 대해서만 도시하였으나, 이에 한정되는 것은 아니다.
일 예에 따르면, 다양한 타입의 사용자 모션 중에서 일 모션(610)을 포함하는 스텝은 태스크 실행에 필수적인 스텝일 수 있다. 구체적으로, 어플리케이션의 기능에 대응되는 태스크를 실행하기 위해 '어플리케이션 실행 모션(610)'을 포함하는 스텝은 반드시 거쳐야 하기 때문에 전자 장치(100)는 해당 모션(610)을 포함하는 필수 스텝 정보를 태스크 정보에 유지시킬 수 있다. 이 경우 필수 스텝 정보는 전자 장치(100)의 제조자나 사용자가 미리 설정해놓은 정보일 수 있다.
한편, 전자 장치(100)는 필수 스텝 정보에 대해서는 가중치를 별도로 적용하지 않을 수 있으나, 필수 스텝 정보에 대해서 임계 수치 이상의 가중치를 부여함으로써 필수 스텝 정보가 태스크 정보에서 제외되지 않도록 할 수도 있다. 구체적으로, 전자 장치(100)는 '어플리케이션 실행 모션(610)'을 포함하는 '어플리케이션을 실행하는 스텝(510)'에 대해서는 50의 가중치(611)를 적용할 수 있다.
한편, 필수 스텝 정보를 제외한 나머지 스텝 정보에 대해서 전자 장치(100)는 개별적인 사용자 모션 타입에 대응되는 가중치를 각각 적용할 수 있다. 구체적으로, '스크롤 모션(620)'을 포함하는 '화면을 아래로 스크롤하는 스텝(520)'에 대해서는 '스크롤 모션(620)'에 대응되는 1의 가중치(621)를, '버튼 클릭 모션(630)'을 포함하는 '검색 버튼을 클릭하는 스텝(540)'에 대해서는 '버튼 클릭 모션(630)'에 대응되는 3의 가중치(631)를 각각 적용할 수 있다.
도 7은 본 개시의 일 실세 예에 따른 전자 장치가 불필요한 스텝 정보를 제외시키는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, '어플리케이션을 실행하는 스텝(510)'은 필수 스텝일 수 있다. 따라서 해당 스텝(510)에는 50의 가중치(701)가 적용될 수 있다. 또한, '검색창에 "보쌈"을 입력하는 스텝(550)'에는 해당 스텝(550)이 키워드(보쌈)를 포함하고 있는 데에 대응한 가중치인 10과 '타이핑 모션'에 대응되는 가중치 5를 합산한 15의 가중치(705)가 적용될 수 있다.
일 예에 따른 전자 장치(100)는 키워드 정보에 대응되는 가중치와 사용자 모션에 대응되는 가중치가 적용된 복수의 스텝 정보 중 상대적으로 낮은 가중치(702)가 적용된 스텝 정보(520)를 우선적으로 태스크 정보에서 제외시킬 수 있다. 이 경우 전자 장치(100)는 임계 수치(예: 2) 미만인 가중치가 적용된 스텝 정보를 우선적으로 태스크 정보에서 제외시킬 수 있다.
이어서, 전자 장치(100)는 일부 스텝(520)이 제외된 태스크 정보에 기초하여 태스크가 정상적으로 수행되는지 식별할 수 있다(710). 식별 결과 태스크는 정상적으로 수행되지 않을 수 있다(711). 마찬가지로 상대적으로 낮은 가중치(703)가 적용된 스텝 정보(530)를 태스크 정보에서 제외시킨 태스크 정보에 기초하여서도 태스크는 정상적으로 수행되지 않을 수 있다(721).
이 경우 전자 장치(100)는 동일한 사용자 모션 타입(스크롤 모션)을 갖는 두 개의 스텝 정보(520, 530)를 태스크 정보에서 동시에 제외시키고, 태스크가 정상적으로 수행되는지 식별할 수 있다(730). 화면을 아래로 스크롤하는 스텝(520)과 화면을 위로 스크롤하는 스텝(530)이 동시에 생략되는 경우에는 태스크가 정상적으로 수행될 수 있다(731). 따라서 전자 장치(100)는 두 개의 스텝 정보(520, 530)를 동시에 제외시킨 태스크 정보를 저장할 수 있다.
이 결과 전자 장치(100)는 가역적인 동작(화면을 위로 스크롤 하거나 아래로 스크롤 하는 동작)에서 서로 반대되는 동작에 각각 대응되는 두 개의 스텝 정보(520, 530)를 태스크 정보로부터 동시에 제거하여 보다 효율적으로 태스크를 실행을 위한 태스크 정보를 획득할 수 있다.
도 7에서 도시하지는 않았으나, 전자 장치(100)는 태스크 정보에서 제외하였을 때 태스크가 정상적으로 수행되지 않았던 스텝 정보(520, 530)에 대응되는 사용자 모션과 상이한 타입의 사용자 모션을 포함하는 스텝 정보를 태스크 정보에서 제외시켜 태스크가 정상적으로 수행되는지 식별할 수도 있다.
도 8은 본 개시의 일 실세 예에 따른 전자 장치의 태스크 최적화 동작의 결과를 설명하기 위한 도면이다.
도 8을 참조하면, 기존의 태스크 정보(810)는 '어플리케이션을 실행하는 스텝(811)', '화면을 아래로 스크롤하는 스텝(812)', '화면을 위로 스크롤하는 스텝(813)', '검색 버튼을 클릭하는 스텝(814)', '검색창에 "보쌈"을 입력하는 스텝(815)', '화면을 아래로 스크롤하는 스텝(816)' 및 '음식의 이미지를 클릭하는 스텝(817)'에 대응되는 복수의 스텝 정보를 포함할 수 있다.
전자 장치(100)의 최적화 동작에 따라 최적화된 태스크 정보(820)는 '어플리케이션을 실행하는 스텝(821)', '검색 버튼을 클릭하는 스텝(822)', '검색창에 "보쌈"을 입력하는 스텝(823)', '화면을 아래로 스크롤하는 스텝(824)' 및 '음식의 이미지를 클릭하는 스텝(825)'에 대응되는 복수의 스텝 정보를 포함할 수 있다. 이 경우 최적화된 태스크 정보(820)는 기존의 태스크 정보(820)보다 적은 수의 스텝 정보만을 포함하므로, 전자 장치(100)가 최적화된 태스크 정보(820)에 기초하여 태스크를 수행할 경우 기존의 태스크 정보(810)에 기초하여 태스크를 수행할 경우 소요되는 시간보다 더 적은 시간이 소요될 수 있다.
일 예에 따르면, 전자 장치(100)의 최적화 동작으로 인해 태스크를 수행하는데 소요되는 시간이 감소할 수 있으므로 사용자의 편의성이 향상될 수 있다. 이와 더불어 불필요한 스텝을 거칠 필요가 없으므로 프로세서(120)의 연산량과 소비전력도 감소될 수 있다.
한편, 전자 장치(100)는 '검색창에 "보쌈"을 입력하는 스텝(823)' 이후 '화면을 아래로 스크롤하는 스텝(824)'을 거치지 않고 '음식의 이미지를 클릭하는 스텝(825)'만을 거쳐 태스크를 수행할 수도 있다. 그러나, 두 개의 스텝 정보(812, 813)를 태스크 정보(810)에서 제외시킴으로 인한 최적화율이 임계 수치 이상인 것으로 식별된 경우라면 최적화 동작을 중단하고 두 개의 스텝 정보(812, 813)만을 기존의 태스크 정보(810)로부터 제외한 태스크 정보(820)를 저장할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 구체적으로 설명하기 위한 블록도이다.
도 9에 따르면, 전자 장치(100)는 메모리(110), 프로세서(120), 통신 인터페이스(130), 디스플레이(140), 스피커(150) 및 마이크(160)를 포함할 수 있다. 도 9에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
일 예에 따른 메모리(110)는 신경망 모델(111)을 저장할 수 있다. 여기서, 신경망 모델(111)은 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 신경망 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 신경망 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
일 예에 따른 프로세서(120)는 태스크에 대응되는 발화 정보를 신경망 모델(111)에 입력하여 특정 키워드 정보를 출할 수 있다. 이 경우 신경망 모델(111)은 문장 형태의 텍스트 정보를 입력 받아 특정 품사에 대응되는 단어를 출력하도록 학습된 모델일 수 있다.
통신 인터페이스(130)는 다양한 타입의 데이터를 입력 및 출력할 수 있다. 예를 들어 통신 인터페이스(130)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드)와 다양한 타입의 데이터를 송수신할 수 있다.
도 9에서는 메모리(110)가 신경망 모델(111)을 저장하고 있는 것으로 설명하였으나 이에 한정되지 않으며, 전자 장치(100)는 외부 서버로부터 통신 인터페이스(130)를 통해 신경망 모델(111)을 수신하여 활용할 수도 있다.
디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, QLED(Quantum dot light-emitting diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140) 내에는 TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(140)는 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
일 예에 따른 프로세서(120)는 음성 인식 비서 기능에 관련된 일체의 시각 UI 또는 수행된 태스크에 대응되는 시각 UI를 디스플레이(140)를 통해 사용자에게 제공할 수 있다. 또한, 디스플레이(140)가 터치스크린으로 구현되는 경우 사용자는 디스플레이(140)를 통해 다양한 타입에 대응되는 사용자 모션에 관한 정보를 전자 장치(100)에 입력할 수 있다.
스피커(150)는 전자 장치(100) 전기음향신호를 음파로 변환하는 장치이다. 스피커(150)는 영구자석과 코일 및 진동판을 포함할 수 있으며, 영구자석과 코일 사이에서 일어나는 전자기 상호작용에 의해 진동판을 진동시킴으로써 음향을 출력할 수 있다.
일 예에 따른 프로세서(120)는 사용자 음성 명령에 대응되는 피드백 음성과 수행된 태스크와 관련된 청각 UI를 출력할 수 있도록 스피커(150)를 제어할 수 있다.
마이크(160)는 음파를 입력 받아 이와 동일한 파형의 전류를 생성하는 장치를 통칭하는 것으로 사용자의 음성 명령에 대응되는 사운드 신호를 수신하는 구성이다. 일 예에 따른 프로세서(120)는 마이크(160)에 의해 생성된 파형의 전류에 기초하여 입력 사운드에 포함된 사운드 신호를 디지털 신호로 변환할 수 있다.
일 예에 따르면, 전자 장치(100)는 마이크(160)를 통해 사용자로부터 태스크에 대응되는 발화에 관한 정보를 입력 받을 수 있다.
도 10은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법에 따르면, 태스크 정보에 포함된 복수의 스텝 정보 중 키워드 정보를 포함하는 제1 스텝 정보에 제1 가중치를 적용한다(S1010).
이어서, 복수의 스텝 정보 중 사용자 모션을 포함하는 제2 스텝 정보에 제1 가중치와 상이한 제2 가중치를 적용한다(S1020).
이어서, S1010 단계를 통해 제1 가중치가 적용된 제1 스텝 정보 및 S1020 단계를 통해 제2 가중치가 적용된 제2 스텝 정보에 기초하여 태스크 정보를 업데이트 한다(S1030).
이후, 어플리케이션에 대한 사용자 음성이 입력되면 S1030 단계를 통해 업데이트된 태스크 정보에 기초하여 음성 인식 비서 기능을 실행할 수 있다(S1040).
여기서, 제2 가중치를 적용하는 단계(S1020)에서는 복수의 스텝 정보 중 제1 타입의 사용자 모션을 포함하는 제2 스텝 정보에 제2 가중치를 적용하고, 복수의 스텝 정보 중 제1 타입과 상이한 제2 타입의 사용자 모션을 포함하는 제3 스텝 정보에 제2 가중치와 상이한 제3 가중치를 적용할 수 있다.
또한, 제2 가중치를 적용하는 단계(S1020)에서는 제2 스텝 정보에 적용된 제2 가중치가 임계 수치 미만이면 제2 스텝 정보를 태스크 정보에서 제외시키고, 제2 스텝 정보에 적용된 제2 가중치가 임계 수치 이상이면 제2 스텝 정보를 태스크 정보에 유지시킬 수 있다.
여기서, 태스크 정보를 업데이트하는 단계(S1030)는 태스크 정보에서 제2 스텝 정보를 제외시킨 후 태스크가 정상적으로 수행되는지 식별하고, 태스크가 정상적으로 수행되면 제2 스텝 정보를 태스크 정보에서 제외시킬 수 있다.
여기서, 태스크 정보를 업데이트하는 단계(S1030)는 제2 스텝 정보가 태스크 정보에서 제외된 상태에서 태스크가 정상적으로 수행되지 않는 경우, 제2 스텝 정보는 유지시키고 제2 스텝 정보와 상이한 스텝 정보를 태스크 정보에서 제외시켜 태스크가 정상적으로 수행되는지 식별할 수 있다. 여기서, 제2 스텝 정보와 상이한 다른 스텝 정보는 제2 스텝 정보에 대응되는 사용자 모션의 타입과 상이한 타입의 사용자 모션을 포함하는 스텝 정보일 수 있다.
여기서, 태스크 정보를 업데이트하는 단계(S1030)는 제2 스텝 정보가 태스크 정보에서 제외된 상태에서 태스크가 정상적으로 수행되지 않는 경우, 제2 스텝 정보는 유지시키고 제2 스텝 정보와 상이한 복수의 스텝 정보 중 상대적으로 낮은 가중치가 적용된 스텝 정보를 우선적으로 태스크 정보에서 제외시켜 태스크가 정상적으로 수행되는지 식별할 수 있다.
또한, 태스크 정보를 업데이트하는 단계(S1030)는 제2 스텝 정보 만이 태스크 정보에서 제외된 상태에서 태스크가 정상적으로 수행되지 않는 경우, 제2 스텝 정보 및 제2 스텝 정보와 관련된 스텝 정보를 태스크 정보에서 제외시켜 태스크가 정상적으로 수행되는지 식별할 수 있다. 여기서, 제2 스텝 정보와 관련된 다른 스텝 정보는 제2 스텝 정보에 대응되는 사용자 모션의 타입과 동일한 타입의 사용자 모션을 포함하는 스텝 정보일 수 있다.
한편, 제1 가중치를 적용하는 단계(S1010)는 제1 스텝 정보에 대응되는 사용자 모션의 타입에 기초하여 제4 가중치를 식별하고, 제1 가중치 및 제4 가중치를 제1 스텝 정보에 적용할 수 있다.
또한, 태스크 정보를 업데이트하는 단계(S1030)는 복수의 스텝 정보 중 기 설정된 필수 스텝 정보를 태스크 정보에 유지시켜 태스크 정보를 업데이트할 수 있다.
또한, 사용자 모션은 스크롤 모션, 버튼 클릭 모션, 이미지 클릭 모션, 타이핑 모션 또는 어플리케이션 실행 모션 중 적어도 하나를 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버 또는 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.
100: 전자 장치
110: 메모리
120: 프로세서
120: 프로세서
Claims (20)
- 전자 장치에 있어서,
어플리케이션 실행과 관련된 음성 인식 비서 기능에 대한 태스크 정보 및 키워드 정보가 저장된 메모리;
상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하며,
상기 프로세서는,
상기 태스크 정보에 포함된 복수의 스텝 정보 중 상기 키워드 정보를 포함하는 제1 스텝 정보에 제1 가중치를 적용하고,
상기 복수의 스텝 정보 중 사용자 모션을 포함하는 제2 스텝 정보에 상기 제1 가중치와 상이한 제2 가중치를 적용하고,
상기 제1 가중치가 적용된 제1 스텝 정보 및 상기 제2 가중치가 적용된 제2 스텝 정보에 기초하여 상기 태스크 정보를 업데이트하고,
상기 어플리케이션에 대한 사용자 음성 명령이 입력되면, 상기 업데이트된 태스크 정보에 기초하여 음성 인식 비서 기능을 실행하는, 전자 장치. - 제1항에 있어서,
상기 프로세서는,
상기 복수의 스텝 정보 중 제1 타입의 사용자 모션을 포함하는 상기 제2 스텝 정보에 상기 제2 가중치를 적용하고,
상기 복수의 스텝 정보 중 상기 제1 타입과 상이한 제2 타입의 사용자 모션을 포함하는 제3 스텝 정보에 상기 제2 가중치와 상이한 제3 가중치를 적용하는, 전자 장치. - 제1항에 있어서,
상기 프로세서는,
상기 제2 스텝 정보에 적용된 상기 제2 가중치가 임계 수치 미만이면, 상기 제2 스텝 정보를 상기 태스크 정보에서 제외시키고,
상기 제2 스텝 정보에 적용된 상기 제2 가중치가 상기 임계 수치 이상이면, 상기 제2 스텝 정보를 상기 태스크 정보에 유지시키는, 전자 장치. - 제3항에 있어서,
상기 프로세서는,
상기 태스크 정보에서 상기 제2 스텝 정보를 제외시킨 후 태스크가 정상적으로 수행되는지 식별하고 상기 태스크가 정상적으로 수행되면, 상기 제2 스텝 정보를 상기 태스크 정보에서 제외시키는, 전자 장치. - 제4항에 있어서,
상기 프로세서는,
상기 제2 스텝 정보가 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보는 유지시키고 상기 제2 스텝 정보와 상이한 스텝 정보를 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하고,
상기 제2 스텝 정보와 상이한 다른 스텝 정보는,
상기 제2 스텝 정보에 대응되는 사용자 모션의 타입과 상이한 타입의 사용자 모션을 포함하는 스텝 정보인, 전자 장치. - 제5항에 있어서,
상기 프로세서는,
상기 제2 스텝 정보가 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보는 유지시키고 상기 제2 스텝 정보와 상이한 복수의 스텝 정보 중 상대적으로 낮은 가중치가 적용된 스텝 정보를 우선적으로 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하는, 전자 장치. - 제4항에 있어서,
상기 프로세서는,
상기 제2 스텝 정보 만이 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보 및 상기 제2 스텝 정보와 관련된 스텝 정보를 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하고,
상기 제2 스텝 정보와 관련된 다른 스텝 정보는,
상기 제2 스텝 정보에 대응되는 사용자 모션의 타입과 동일한 타입의 사용자 모션을 포함하는 스텝 정보인 전자 장치. - 제1항에 있어서,
상기 프로세서는,
상기 제1 스텝 정보에 대응되는 사용자 모션의 타입에 기초하여 제4 가중치를 식별하고,
상기 제1 가중치 및 상기 제4 가중치를 상기 제1 스텝 정보에 적용하는, 전자 장치. - 제1항에 있어서,
상기 프로세서는,
상기 복수의 스텝 정보 중 기 설정된 필수 스텝 정보를 상기 태스크 정보에 유지시켜 상기 태스크 정보를 업데이트하는, 전자 장치. - 제1항에 있어서,
상기 사용자 모션은,
스크롤 모션, 버튼 클릭 모션, 이미지 클릭 모션, 타이핑 모션 또는 어플리케이션 실행 모션 중 적어도 하나를 포함하는, 전자 장치. - 어플리케이션 실행과 관련된 음성 인식 비서 기능에 대한 태스크 정보 및 키워드 정보를 저장하는 전자 장치의 제어 방법에 있어서,
상기 태스크 정보에 포함된 복수의 스텝 정보 중 상기 키워드 정보를 포함하는 제1 스텝 정보에 제1 가중치를 적용하는 단계;
상기 복수의 스텝 정보 중 사용자 모션을 포함하는 제2 스텝 정보에 상기 제1 가중치와 상이한 제2 가중치를 적용하는 단계;
상기 제1 가중치가 적용된 제1 스텝 정보 및 상기 제2 가중치가 적용된 제2 스텝 정보에 기초하여 상기 태스크 정보를 업데이트하는 단계; 및
상기 어플리케이션에 대한 사용자 음성 명령이 입력되면, 상기 업데이트된 태스크 정보에 기초하여 음성 인식 비서 기능을 실행하는 단계;를 포함하는 제어 방법. - 제11항에 있어서,
상기 제2 가중치를 적용하는 단계는,
상기 복수의 스텝 정보 중 제1 타입의 사용자 모션을 포함하는 상기 제2 스텝 정보에 상기 제2 가중치를 적용하는 단계; 및
상기 복수의 스텝 정보 중 상기 제1 타입과 상이한 제2 타입의 사용자 모션을 포함하는 제3 스텝 정보에 상기 제2 가중치와 상이한 제3 가중치를 적용하는 단계;를 포함하는 제어 방법. - 제11항에 있어서,
상기 제2 가중치를 적용하는 단계는,
상기 제2 스텝 정보에 적용된 상기 제2 가중치가 임계 수치 미만이면, 상기 제2 스텝 정보를 상기 태스크 정보에서 제외시키고, 상기 제2 스텝 정보에 적용된 상기 제2 가중치가 상기 임계 수치 이상이면, 상기 제2 스텝 정보를 상기 태스크 정보에 유지시키는 단계;를 포함하는 제어 방법. - 제13항에 있어서,
상기 태스크 정보를 업데이트하는 단계는,
상기 태스크 정보에서 상기 제2 스텝 정보를 제외시킨 후 태스크가 정상적으로 수행되는지 식별하고 상기 태스크가 정상적으로 수행되면, 상기 제2 스텝 정보를 상기 태스크 정보에서 제외시키는 단계;를 포함하는 제어 방법. - 제14항에 있어서,
상기 태스크 정보를 업데이트하는 단계는,
상기 제2 스텝 정보가 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보는 유지시키고 상기 제2 스텝 정보와 상이한 스텝 정보를 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하는 단계;를 더 포함하며,
상기 제2 스텝 정보와 상이한 다른 스텝 정보는,
상기 제2 스텝 정보에 대응되는 사용자 모션의 타입과 상이한 타입의 사용자 모션을 포함하는 스텝 정보인, 제어 방법. - 제15항에 있어서,
상기 태스크 정보를 업데이트하는 단계는,
상기 제2 스텝 정보가 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보는 유지시키고 상기 제2 스텝 정보와 상이한 복수의 스텝 정보 중 상대적으로 낮은 가중치가 적용된 스텝 정보를 우선적으로 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하는 단계;를 포함하는, 제어 방법. - 제14항에 있어서,
상기 태스크 정보를 업데이트 하는 단계는,
상기 제2 스텝 정보 만이 상기 태스크 정보에서 제외된 상태에서 상기 태스크가 정상적으로 수행되지 않는 경우, 상기 제2 스텝 정보 및 상기 제2 스텝 정보와 관련된 다른 스텝 정보를 상기 태스크 정보에서 제외시켜 상기 태스크가 정상적으로 수행되는지 식별하는 단계;를 더 포함하며,
상기 제2 스텝 정보와 관련된 다른 스텝 정보는,
상기 제2 스텝 정보에 대응되는 사용자 모션의 타입과 동일한 타입의 사용자 모션을 포함하는 스텝 정보인, 제어 방법. - 제11항에 있어서,
상기 제1 가중치를 적용하는 단계는,
상기 제1 스텝 정보에 대응되는 사용자 모션의 타입에 기초하여 제4 가중치를 식별하고,
상기 제1 가중치 및 상기 제4 가중치를 상기 제1 스텝 정보에 적용하는, 제어 방법. - 제11항에 있어서,
상기 태스크 정보를 업데이트하는 단계는,
상기 복수의 스텝 정보 중 기 설정된 필수 스텝 정보를 상기 태스크 정보에 유지시켜 상기 태스크 정보를 업데이트하는 단계;를 포함하는, 제어 방법. - 제11항에 있어서,
상기 사용자 모션은,
스크롤 모션, 버튼 클릭 모션, 이미지 클릭 모션, 타이핑 모션 또는 어플리케이션 실행 모션 중 적어도 하나를 포함하는, 제어 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210029692A KR20220125611A (ko) | 2021-03-05 | 2021-03-05 | 전자 장치 및 그 제어 방법 |
| PCT/KR2021/017328 WO2022186450A1 (ko) | 2021-03-05 | 2021-11-24 | 전자 장치 및 그 제어 방법 |
| US17/573,103 US12020710B2 (en) | 2021-03-05 | 2022-01-11 | Electronic apparatus and controlling method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210029692A KR20220125611A (ko) | 2021-03-05 | 2021-03-05 | 전자 장치 및 그 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220125611A true KR20220125611A (ko) | 2022-09-14 |
Family
ID=83155439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210029692A KR20220125611A (ko) | 2021-03-05 | 2021-03-05 | 전자 장치 및 그 제어 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20220125611A (ko) |
| WO (1) | WO2022186450A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3703080B2 (ja) * | 2000-07-27 | 2005-10-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ウェブコンテンツを簡略化するための方法、システムおよび媒体 |
| KR101356368B1 (ko) * | 2012-02-24 | 2014-01-29 | 주식회사 팬택 | 어플리케이션 전환 장치 및 방법 |
| JP6591321B2 (ja) * | 2016-03-16 | 2019-10-16 | 株式会社東芝 | 対話コーパス収集装置、方法、及びプログラム |
| KR102441513B1 (ko) * | 2017-11-06 | 2022-09-07 | 현대자동차주식회사 | 단말기 및 차량 |
| KR20200059703A (ko) * | 2018-11-21 | 2020-05-29 | 삼성전자주식회사 | 음성 인식 방법 및 음성 인식 장치 |
-
2021
- 2021-03-05 KR KR1020210029692A patent/KR20220125611A/ko active Search and Examination
- 2021-11-24 WO PCT/KR2021/017328 patent/WO2022186450A1/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022186450A1 (ko) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200334420A1 (en) | Contextual language generation by leveraging language understanding | |
| CN107077464B (zh) | 电子设备和用于其口头交互的方法 | |
| US9875237B2 (en) | Using human perception in building language understanding models | |
| US11126938B2 (en) | Targeted data element detection for crowd sourced projects with machine learning | |
| WO2022116420A1 (zh) | 语音事件检测方法、装置、电子设备及计算机存储介质 | |
| US8856007B1 (en) | Use text to speech techniques to improve understanding when announcing search results | |
| CN104424358A (zh) | 用于具有多功率模式的计算设备的动态信息适配 | |
| US11538476B2 (en) | Terminal device, server and controlling method thereof | |
| US20140164912A1 (en) | Generating system, method of interactive page templates and storage medium thereof | |
| CN109643540A (zh) | 用于人工智能语音演进的系统和方法 | |
| JP2022519981A (ja) | 可変速度音素発音機械 | |
| KR20210090576A (ko) | 품질을 관리하는 방법, 장치, 기기, 저장매체 및 프로그램 | |
| JP2022019524A (ja) | モデリングパラメータの設定方法、装置、デバイス、コンピュータ記憶媒体、及びコンピュータプログラム | |
| US11822768B2 (en) | Electronic apparatus and method for controlling machine reading comprehension based guide user interface | |
| CN107168993A (zh) | 处理响应数据的方法、设备、客户端设备和电子设备 | |
| US11069019B2 (en) | Multi-threaded asynchronous frame processing | |
| US20220222048A1 (en) | Tool for creating forms in webpage | |
| US20150199332A1 (en) | Browsing history language model for input method editor | |
| KR20210102617A (ko) | 전자 장치 및 그 제어 방법 | |
| KR20220125611A (ko) | 전자 장치 및 그 제어 방법 | |
| US20220351151A1 (en) | Electronic apparatus and controlling method thereof | |
| US12020710B2 (en) | Electronic apparatus and controlling method thereof | |
| US20220284905A1 (en) | Electronic apparatus and controlling method thereof | |
| US20220199078A1 (en) | Electronic apparatus, system comprising electronic apparatus and server and controlling method thereof | |
| WO2020230459A1 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |