KR20180120427A - 지능형 에이전트 관리 방법 및 장치 - Google Patents
지능형 에이전트 관리 방법 및 장치 Download PDFInfo
- Publication number
- KR20180120427A KR20180120427A KR1020170054350A KR20170054350A KR20180120427A KR 20180120427 A KR20180120427 A KR 20180120427A KR 1020170054350 A KR1020170054350 A KR 1020170054350A KR 20170054350 A KR20170054350 A KR 20170054350A KR 20180120427 A KR20180120427 A KR 20180120427A
- Authority
- KR
- South Korea
- Prior art keywords
- module
- information
- user
- version
- user input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004891 communication Methods 0.000 claims abstract description 51
- 238000004458 analytical method Methods 0.000 claims description 48
- 230000009471 action Effects 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 description 165
- 238000010586 diagram Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 20
- 238000013145 classification model Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004582 scanning ion conductance microscopy Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000013467 fragmentation Methods 0.000 description 4
- 238000006062 fragmentation reaction Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000972773 Aulopiformes Species 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- BALXUFOVQVENIU-KXNXZCPBSA-N pseudoephedrine hydrochloride Chemical compound [H+].[Cl-].CN[C@@H](C)[C@@H](O)C1=CC=CC=C1 BALXUFOVQVENIU-KXNXZCPBSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000019515 salmon Nutrition 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는 상기 전자 장치에 설치된 복수개의 어플리케이션 프로그램들을 저장하도록 구성될 수 있다. 또한, 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을, 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해, 수신하고, 상기 사용자 입력과 관련된 데이터를, 상기 통신 회로를 통해, 외부 서버로 전송하고, 상기 데이터 전송과 함께 또는 상기 데이터 전송 후에, 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를, 상기 통신 회로를 통해, 상기 외부 서버로 전송하고, 상기 요청에 대한 응답으로서 패스 룰을, 상기 통신 회로를 통해, 상기 외부 서버로부터 수신하고, 상기 전자 장치가 상기 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장할 수 있다. 상기 패스 룰은 상기 태스크를 수행하기 위한, 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함하고, 상기 상태들 중 적어도 하나는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정된 것일 수 있다.
Description
본 발명의 다양한 실시예는 지능형 에이전트 관리 방법 및 장치에 관한 것이다.
최근 들어, 지능형 에이전트(intelligence agent)를 사용하여 전자 장치를 활용하는 서비스가 대중화되어 가는 추세이다. 지능형 에이전트는 자체적으로 여러 가지 기능을 사용자에게 서비스할 수 있다. 또한, 지능형 에이전트는 전자 장치에 설치된 여러 가지 어플리케이션을 제어하여 사용자에게 해당 어플리케이션의 기능을 제공할 수 있다. 지능형 에이전트는 전자 장치에 기능적으로 연결된 여러 외부 장치들을 제어하여 사용자에게 통합적인 기능을 제공할 수도 있다.
지능형 에이전트는, 입력 인터페이스를 통해 음성이나 텍스트 형태의 사용자 입력을 접수하게 되면, 사용자 입력의 분석을 통해 파악된 사용자의 의도(intent) 대응하는 서비스를 제공할 수 있다. 기존의 다양한 지능형 에이전트들은 대화 창과 같은 그래픽 인터페이스를 통해 사용자가 요청한 작업의 처리 결과를 보여줄 수 있다. 예를 들어, 지능형 에이전트는, 사용자와 대화를 통해 사용자가 원하는 작업이 'SMS 메시지 전송'임을 인식하고, SMS어플리케이션을 제어하기 위한 인터페이스를 지능형 에이전트의 대화 창을 통해 사용자에게 제공할 수 있다. 다른 예로서, 지능형 에이전트는 사용자와 대화를 통해 사용자가 특정 장소의 날씨를 원하고 있음을 인식하고, 날씨 어플리케이션으로부터 해당 장소의 날씨 정보를 획득하여 지능형 에이전트의 대화 창을 통해 사용자에게 제공할 수 있다. 여기서, 지능형 에이전트의 대화 창에서 어플리케이션의 기능을 보여 주는 부분은 어플리케이션의 화면 구성 정보와는 무관할 수 있지만, 이는 지능형 에이전트가 해당 어플리케이션의 기능 부분만을 인용하기 때문이다.
또한, 본 발명의 다양한 실시예에 따른 방법 및 장치는 어플리케이션에 대한 정보에 기초하여 어플리케이션의 동작을 제어하도록 구성된 지능형 에이전트를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는 상기 전자 장치에 설치된 복수개의 어플리케이션 프로그램들을 저장하도록 구성되고, 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을, 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해, 수신하고, 상기 사용자 입력과 관련된 데이터를, 상기 통신 회로를 통해, 외부 서버로 전송하고, 상기 데이터 전송과 함께 또는 상기 데이터 전송 후에, 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를, 상기 통신 회로를 통해, 상기 외부 서버로 전송하고, 상기 요청에 대한 응답으로서 패스 룰을, 상기 통신 회로를 통해, 상기 외부 서버로부터 수신하고, 상기 전자 장치가 상기 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장할 수 있다. 상기 패스 룰은 상기 태스크를 수행하기 위한, 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함하고, 상기 상태들 중 적어도 하나는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정된 것일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해 사용자 입력을 수신하고, 상기 사용자 입력을 외부 서버로 전송하고, 상기 외부 서버로부터 상기 사용자 입력의 분석 결과를 수신하고, 상기 분석 결과의 적어도 일부와 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들에 기초하여, 패스 룰 세트 데이터베이스에서 패스 룰 세트를 선택하고, 상기 분석 결과의 적어도 일부에 기초하여, 상기 패스 룰 세트에서 패스 룰을 선택하고, 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 인스트럭션들을 저장할 수 있다. 상기 패스 룰은 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버는 상기 사용자 단말로부터 상기 사용자 단말에 설치된 어플리케이션들 각각에 대응하는 버전 정보들을 수신하고, 패스 룰 세트 데이터베이스에서 상기 버전 정보들에 각각 대응하는 패스 룰 세트들을 획득하도록 구성된 패스 플래너 모듈; 및 사용자 단말로부터 수신된 사용자 입력을 분석하고, 상기 분석의 결과의 적어도 일부에 기초하여 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 패스 룰 세트를 선택하고, 상기 결과의 적어도 일부에 기초하여, 상기 선택된 패스 룰 세트에서 패스 룰을 선택하고, 상기 선택된 패스 룰을 상기 사용자 단말로 전송하도록 구성된 자연어 이해 모듈을 포함할 수 있다. 상기 선택된 패스 룰은 상기 사용자 단말에 설치된 어플리케이션들 중 적어도 하나의 동작들을 제어하도록 하는 것일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치를 동작하는 방법은, 터치스크린 디스플레이 또는 마이크 중 적어도 하나를 통해 사용자 입력을 수신하는 동작; 상기 사용자 입력에 응답하여, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 획득하는 동작; 상기 사용자 입력 및 상기 버전 정보들을 통신 모듈을 통해 외부 서버로 전송하는 동작; 상기 외부 서버로부터 패스 룰을 수신하는 동작; 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하는 동작을 포함하고, 상기 패스 룰은, 상기 버전 정보들 중 적어도 하나 및 상기 사용자 입력에 기초하여 생성된 것으로, 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 방법 및 장치는 사용자 입력에 따라 어플리케이션을 실행하도록 구성된 지능형 에이전트를 제공할 수 있다.
또한, 본 발명의 다양한 실시예에 따른 방법 및 장치는 어플리케이션의 메타데이터(예컨대, 버전 정보)에 기초하여 어플리케이션을 제어하도록 구성된 지능형 에이전트를 제공할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 사용자 단말을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 지능형 앱을 실행시키는 것을 나타낸 도면이다.
도 4은 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 패스 플래너 모듈(path planner module)이 패스 룰(path rule)을 생성하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 프로세서의 컨텍스트 모듈이 현재 상태를 수집하는 것을 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 페르소나 모듈(persona module)이 사용자의 정보를 관리하는 것을 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 제안 모듈을 나타낸 블록도이다.
도 9 은 본 발명의 다양한 실시예에 따른 전자 장치에서 사용자의 발화에 응답하여 지능형 에이전트가 어플리케이션을 제어하는 동작을 그래픽 인터페이스의 단계적인 변화로 보여 주는 도면이다.
도 10는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전을 관리하는 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 다양한 실시예에 따른 NLU 모듈에서 발화를 처리하는 동작을 설명하기 위한 도면이다.
도 12은 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 13는 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 14는 본 발명의 다양한 실시예에 따른, DNLU와 RNLU의 연동을 통해 사용자 입력을 처리하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 15은 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 16는 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 17는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 관리하는 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 전체 동기화 동작을 설명하기 위한 도면이다.
도 19은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 부분 동기화 동작을 설명하기 위한 도면이다.
도 20은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 인터렉션(interaction) 동기화 동작을 설명하기 위한 도면이다.
도 21는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 업데이트하는 동작을 설명하기 위한 도면이다.
도 22은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보에 기초한 에이전트 서비스를 위한 서버의 동작들을 설명하기 위한 흐름도이다.
도 23은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 사용자 입력 및 어플리케이션 버전 정보가 패스 룰로 변경되어 가는 과정을 보여 주는 도면이다.
도 24는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템의 서버에서 버전 별로 패스 룰 세트를 추출하는 동작을 설명하기 위한 도면이다.
도 25은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 의도 분류 동작을 설명하기 위한 도면이다.
도 26는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 일례를 설명하기 위한 도면이다.
도 27는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 다른 예를 설명하기 위한 도면이다.
도 28은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM(separate intent classification manager)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 29은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 위한 분산 처리 구조를 설명하기 위한 도면이다.
도 30은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 31는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM(conditional ICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 32은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 33은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM(version layered ICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 34는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용하여 패스 룰을 선택하는 동작의 내부 구조를 설명하기 위한 도면이다.
도 35은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 36는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SVLICM(separate VLICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 37는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 토대로 사용자에게 힌트를 제공하는 동작을 그래픽 인터페이스로 보여 주는 도면이다.
도 38은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보를 토대로 힌트를 관리하는 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 사용자 단말을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 지능형 앱을 실행시키는 것을 나타낸 도면이다.
도 4은 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 패스 플래너 모듈(path planner module)이 패스 룰(path rule)을 생성하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 프로세서의 컨텍스트 모듈이 현재 상태를 수집하는 것을 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 페르소나 모듈(persona module)이 사용자의 정보를 관리하는 것을 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 제안 모듈을 나타낸 블록도이다.
도 9 은 본 발명의 다양한 실시예에 따른 전자 장치에서 사용자의 발화에 응답하여 지능형 에이전트가 어플리케이션을 제어하는 동작을 그래픽 인터페이스의 단계적인 변화로 보여 주는 도면이다.
도 10는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전을 관리하는 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 다양한 실시예에 따른 NLU 모듈에서 발화를 처리하는 동작을 설명하기 위한 도면이다.
도 12은 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 13는 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 14는 본 발명의 다양한 실시예에 따른, DNLU와 RNLU의 연동을 통해 사용자 입력을 처리하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 15은 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 16는 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 17는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 관리하는 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 전체 동기화 동작을 설명하기 위한 도면이다.
도 19은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 부분 동기화 동작을 설명하기 위한 도면이다.
도 20은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 인터렉션(interaction) 동기화 동작을 설명하기 위한 도면이다.
도 21는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 업데이트하는 동작을 설명하기 위한 도면이다.
도 22은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보에 기초한 에이전트 서비스를 위한 서버의 동작들을 설명하기 위한 흐름도이다.
도 23은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 사용자 입력 및 어플리케이션 버전 정보가 패스 룰로 변경되어 가는 과정을 보여 주는 도면이다.
도 24는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템의 서버에서 버전 별로 패스 룰 세트를 추출하는 동작을 설명하기 위한 도면이다.
도 25은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 의도 분류 동작을 설명하기 위한 도면이다.
도 26는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 일례를 설명하기 위한 도면이다.
도 27는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 다른 예를 설명하기 위한 도면이다.
도 28은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM(separate intent classification manager)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 29은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 위한 분산 처리 구조를 설명하기 위한 도면이다.
도 30은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 31는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM(conditional ICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 32은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 33은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM(version layered ICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 34는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용하여 패스 룰을 선택하는 동작의 내부 구조를 설명하기 위한 도면이다.
도 35은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 36는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SVLICM(separate VLICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 37는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 토대로 사용자에게 힌트를 제공하는 동작을 그래픽 인터페이스로 보여 주는 도면이다.
도 38은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보를 토대로 힌트를 관리하는 동작을 설명하기 위한 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor(AP))를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
본 발명의 일 실시 예를 서술하기에 앞서, 본 발명의 일 실시 예가 적용될 수 있는 통합 지능화 시스템에 대해 설명한다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 1을 참조하면, 통합 지능화 시스템(10)은 사용자 단말(100), 지능형 서버(200), 개인화 정보 서버(300) 또는 제안 서버(400)를 포함할 수 있다.
사용자 단말(100)은 사용자 단말(100) 내부에 저장된 앱(app)(또는, 어플리케이션 프로그램(application program))(예: 알람 앱, 메시지 앱, 사진(갤러리) 앱 등)을 통해 사용자에게 필요한 서비스를 제공할 수 있다. 예를 들어, 사용자 단말(100)은 사용자 단말(100) 내부에 저장된 지능형 앱(또는, 음성 인식 앱)을 통해 다른 앱을 실행하고 동작시킬 수 있다. 사용자 단말(100)의 상기 지능형 앱을 통해 상기 다른 앱의 실행하고 동작을 실행시키기 위한 사용자 입력을 수신할 수 있다. 상기 사용자 입력은, 예를 들어, 물리적 버튼, 터치 패드, 음성 입력, 원격 입력 등을 통해 수신될 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 휴대폰, 스마트폰, PDA(personal digital assistant) 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 단말 장치(또는, 전자 장치)가 이에 해당될 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용자의 발화를 사용자 입력으로 수신할 수 있다. 사용자 단말(100)은 사용자의 발화를 수신하고, 상기 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 이에 따라, 사용자 단말(100)은 상기 명령을 이용하여 상기 앱을 동작시킬 수 있다.
지능형 서버(200)는 통신망을 통해 사용자 단말(100)로부터 사용자 음성 입력(voice input)을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다른 실시 예에서는, 지능형 서버(200)는 상기 텍스트 데이터에 기초하여 패스 룰(path rule)을 생성(또는, 선택)할 수 있다. 상기 패스 룰은 앱의 기능을 수행하기 위한 동작(action)(또는, 오퍼레이션(operation))에 대한 정보 또는 상기 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또한, 상기 패스 룰은 상기 앱의 상기 동작의 순서를 포함할 수 있다. 사용자 단말(100)은 상기 패스 룰을 수신하고, 상기 패스 룰에 따라 앱을 선택하고, 상기 선택된 앱에서 상기 패스 룰에 포함된 동작을 실행시킬 수 있다.
예를 들어, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 실행한 사용자 단말(100)의 상태에 대응되는 화면를 디스플레이에 표시할 수 있다. 다른 예를 들어, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 수행한 결과를 디스플레이에 표시하지 않을 수 있다. 사용자 단말(100)은, 예를 들어, 복수의 동작을 실행하고, 상기 복수의 동작의 일부 결과 만을 디스플레이에 표시할 수 있다. 사용자 단말(100)은, 예를 들어, 마지막 순서의 동작을 실행한 결과만을 디스플레이에 표시할 수 있다. 또 다른 예를 들어, 사용자 단말(100)은 사용자의 입력을 수신하여 상기 동작을 실행한 결과를 디스플레이에 표시할 수 있다.
개인화 정보 서버(300)는 사용자 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 개인화 정보 서버(300)는 사용자 단말(100)로부터 사용자 정보(예: 컨텍스트 정보, 앱 실행 정보 등)를 수신하여 상기 데이터베이스에 저장할 수 있다. 지능형 서버(200)는 통신망을 통해 개인화 정보 서버(300)로부터 수신된 상기 사용자 정보를 사용자 입력에 대한 패스 룰을 생성하는 경우에 이용할 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 통신망을 통해 개인화 정보 서버(300)로부터 사용자 정보를 수신하여 데이터베이스를 관리하기 위한 정보로 이용할 수 있다.
제안 서버(400)는 단말 내에 기능 혹은 어플리케이션의 소개 또는 제공될 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 제안 서버(400)는 개인화 정보 서버(300)로부터 사용자 단말기(100)의 사용자 정보를 수신하여 사용자가 사용 할 수 있는 기능에 대한 데이터베이스를 포함 할 수 있다. 사용자 단말(100)은 통신망을 통해 제안 서버(400)로부터 상기 제공될 기능에 대한 정보를 수신하여 사용자에게 정보를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 사용자 단말을 나타낸 블록도이다.
도 2를 참조하면, 사용자 단말(100)은 입력 모듈(110), 디스플레이(120), 스피커(130), 메모리(140) 또는 프로세서(150)을 포함할 수 있다. 사용자 단말(100)은 하우징을 더 포함할 수 있고, 상기 사용자 단말(100)의 구성들은 상기 하우징의 내부에 안착되거나 하우징 상에(on the housing) 위치할 수 있다.
일 실시 예에 따른, 입력 모듈(110)은 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력 모듈(110)은 연결된 외부 장치(예: 키보드, 헤드셋)로부터 사용자 입력을 수신할 수 있다. 다른 예를 들어, 입력 모듈(110)은 디스플레이(120)와 결합된 터치 스크린(예: 터치 스크린 디스플레이)을 포함할 수 있다. 또 다른 예를 들어, 입력 모듈(110)은 사용자 단말(100)(또는, 사용자 단말(100)의 하우징)에 위치한 하드웨어 키(예: 도 3의 112)(또는, 물리적 키)를 포함할 수 있다.
일 실시 예에 따르면, 입력 모듈(110)은 사용자의 발화를 음성 신호로 수신할 수 있는 마이크(예: 도 2의 111)를 포함할 수 있다. 예를 들어, 입력 모듈(110)은 발화 입력 시스템(speech input system)을 포함하고, 상기 발화 입력 시스템을 통해 사용자의 발화를 음성 신호로 수신할 수 있다.
일 실시 예에 따른, 디스플레이(120)는 이미지나 비디오, 및/또는 어플리케이션의 실행 화면을 표시할 수 있다. 예를 들어, 디스플레이(120)는 앱의 그래픽 사용자 인터페이스(graphic user interface)(GUI)를 표시할 수 있다.
일 실시 예에 따르면, 스피커(130)는 음성 신호를 출력할 수 있다. 예를 들어, 스피커(130)는 사용자 단말(100) 내부에서 생성된 음성 신호를 외부로 출력할 수 있다.
일 실시 예에 따르면, 메모리(140)는 복수의 앱(141, 143)을 저장할 수 있다. 메모리(140)에 저장된 복수의 앱(141, 143)은 사용자 입력에 따라 선택되어 실행되고 동작할 수 있다.
일 실시 예에 따르면, 메모리(140)는 사용자 입력을 인식하는데 필요한 정보를 저장할 수 있는 데이터베이스를 포함할 수 있다. 예를 들어, 메모리(140)은 로그(log) 정보를 저장할 수 있는 로그 데이터베이스를 포함할 수 있다. 다른 예를 들어, 메모리(140)는 사용자 정보를 저장할 수 있는 페르소나 데이터베이스를 포함할 수 있다.
일 실시 예에 따르면, 메모리(140)는 복수의 앱(141, 143)을 저장하고, 복수의 앱(141, 143)은 휘발성 메모리로 로드되어 동작할 수 있다. 예를 들어, 메모리(140)에 저장된 복수의 앱(141,143)은 프로세서(150)의 실행 매니저 모듈(153)에 의해 휘발성 메모리로 로드되어 동작할 수 있다. 복수의 앱(141, 143)은 기능을 수행하는 실행 서비스(141a, 143a) 또는 복수의 동작(또는, 단위 동작)(141b, 143b)을 포함할 수 있다. 실행 서비스(141a, 143a)는 프로세서(150)의 실행 매니저 모듈(153)에 의해 생성되고, 복수의 동작 (141b, 143b)을 실행할 수 있다.
일 실시 예에 따르면, 앱(141, 143)의 동작(141b, 143b)이 실행되었을 때, 동작(141b, 143b)의 실행에 따른 실행 상태 화면은 디스플레이(120)에 표시될 수 있다. 상기 실행 상태 화면은, 예를 들어, 동작(141b, 143b)이 완료된 상태의 화면일 수 있다. 상기 실행 상태 화면은, 다른 예를 들어, 동작(141b, 143b)의 실행이 정지된 상태(partial landing)(예: 동작(141b, 143b)에 필요한 파라미터가 입력되지 않은 경우)의 화면일 수 있다.
일 실시 예에 따른, 실행 서비스(141a, 143a)는 패스 룰에 따라 동작(141b, 143b)을 실행할 수 있다. 예를 들어, 실행 서비스(141a, 143a)는 실행 매니저 모듈(153)에 의해 활성화되고, 실행 매니저 모듈(153)로부터 상기 패스 룰에 따라 실행 요청을 수신하고, 상기 실행 요청에 따라 동작(141b, 143b)을 앱(141, 143)의 동작을 실행할 수 있다. 실행 서비스(141a, 143a)는 상기 동작(141b, 143b)의 수행이 완료되면 완료 정보를 실행 매니저 모듈(153)로 송신할 수 있다.
일 실시 예에 따르면, 앱(141, 143)에서 복수의 동작(141b, 143b)이 실행되는 경우, 복수의 동작(141b, 143b)은 순차적으로 실행될 수 있다. 실행 서비스(141a, 143a)는 하나의 동작(동작 1)의 실행이 완료되면 다음 동작(동작 2)을 오픈하고 동작 1의 완료 정보를 실행 매니저 모듈(153)로 송신할 수 있다. 여기서 임의의 동작을 오픈한다는 것은, 임의의 동작을 실행 가능한 상태로 천이시키거나, 임의의 동작의 실행을 준비하는 것으로 이해될 수 있다. 다시 말해서, 임의의 동작이 오픈되지 않으면, 해당 동작은 실행될 수 없다. 실행 매니저 모듈(153)은 상기 완료 정보가 수신되면 다음 동작(예: 동작 2)에 대한 실행 요청을 실행 서비스(141a, 143a)로 송신할 수 있다. 일 실시 예에 따르면, 복수의 앱(141, 143)이 실행되는 경우, 복수의 앱(141, 143)은 순차적으로 실행될 수 있다. 예를 들어, 실행 매니저 모듈(153)은, 제1 앱(141)의 마지막 동작의 실행이 완료되어 실행 서비스(141a)로부터 완료 정보를 수신하면, 제2 앱(143)의 첫번째 동작의 실행 요청을 실행 서비스(143a)로 송신할 수 있다.
일 실시 예에 따르면, 앱(141, 143)에서 복수의 동작(141b, 143b)이 실행된 경우, 상기 실행된 복수의 동작(141b, 143b) 각각의 실행에 따른 결과 화면은 디스플레이(120)에 표시될 수 있다. 일 실시 예에 따르면, 상기 실행된 복수의 동작(141b, 143b)의 실행에 따른 복수의 결과 화면 중 일부만 디스플레이(120)에 표시될 수 있다.
일 실시 예에 따르면, 메모리(140)는 지능형 에이전트(151)와 연동된 지능형 앱(예: 음성 인식 앱)을 저장할 수 있다. 지능형 에이전트(151)와 연동된 앱은 사용자의 발화를 음성 신호로 수신하여 처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)와 연동된 앱은 입력 모듈(110)을 통해 입력되는 특정 입력(예: 하드웨어 키를 통한 입력, 터치 스크린을 통한 입력, 특정 음성 입력)에 의해 동작될 수 있다.
일 실시 예에 따르면, 프로세서(150)는 사용자 단말(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(150)는 입력 모듈(110)을 제어하여 사용자 입력을 수신할 수 있다. 프로세서(150)는 디스플레이(120)를 제어하여 이미지를 표시할 수 있다. 프로세서(150)는 스피커(130)를 제어하여 음성 신호를 출력할 수 있다. 프로세서(150)는 메모리(140)를 제어하여 필요한 정보를 불러오거나 저장할 수 있다.
일 실시 예에 따르면 프로세서(150)는 지능형 에이전트(151), 실행 매니저 모듈(153) 또는 지능형 서비스 모듈(155)를 포함할 수 있다. 일 실시 예에서, 프로세서(150)는 메모리(140)에 저장된 명령어들을 실행하여 지능형 에이전트(151), 실행 매니저 모듈(153) 또는 지능형 서비스 모듈(155)을 구동시킬 수 있다. 본 발명의 다양한 실시 예에서 언급되는 여러 모듈들은 하드웨어로 구현될 수도 있고, 소프트웨어로 구현될 수도 있다. 본 발명의 다양한 실시 예에서 지능형 에이전트(151), 실행 매니저 모듈(153) 또는 지능형 서비스 모듈(155)에 의해 수행되는 동작은 프로세서(150)에 의해 수행되는 동작으로 이해될 수 있다.
일 실시 예에 따른, 지능형 에이전트(151)는 사용자 입력으로 수신된 음성 신호에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 일 실시 예에 따른, 실행 매니저 모듈(153)은 지능형 에이전트(151)로부터 상기 생성된 명령을 수신하여 메모리(140)에 저장된 앱(141, 143)을 선택하여 실행시키고 동작시킬 수 있다. 일 실시 예에 따르면, 지능형 서비스 모듈(155)은 사용자의 정보를 관리하여 사용자 입력을 처리하는데 이용할 수 있다.
지능형 에이전트(151)는 입력 모듈(110)을 통해 수신된 사용자 입력을 지능형 서버(200)로 송신하여 처리할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 상기 사용자 입력을 지능형 서버(200)로 송신하기 전에, 상기 사용자 입력을 전처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 상기 사용자 입력을 전처리하기 위하여, 적응 반향 제거(adaptive echo canceller)(AEC) 모듈, 노이즈 억제(noise suppression)(NS) 모듈, 종점 검출(end-point detection)(EPD) 모듈 또는 자동 이득 제어(automatic gain control)(AGC) 모듈을 포함할 수 있다. 상기 적응 반향 제거 모듈은 상기 사용자 입력에 포함된 에코(echo)를 제거할 수 있다. 상기 노이즈 억제 모듈은 상기 사용자 입력에 포함된 배경 잡음을 억제할 수 있다. 상기 종점 검출 모듈은 상기 사용자 입력에 포함된 사용자 음성의 종점을 검출하여 사용자의 음성이 존재하는 부분을 찾을 수 있다. 상기 자동 이득 제어 모듈은 상기 사용자 입력을 인식하여 처리하기 적합하도록 상기 사용자 입력의 음량을 조절할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 성능을 위하여 상기 전처리 구성을 전부 포함할 수 있지만, 다른 실시 예에서 지능형 에이전트(151)는 저전력으로 동작하기 위해 상기 전처리 구성 중 일부를 포함할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 사용자의 호출을 인식하는 웨이크 업(wake up) 인식 모듈을 포함할 수 있다. 상기 웨이크 업 인식 모듈은 음성 인식 모듈을 통해 사용자의 웨이크 업 명령을 인식할 수 있고, 상기 웨이크 업 명령을 인식한 경우 사용자 입력을 수신하기 위해 지능형 에이전트(151)을 활성화시킬 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)의 웨이크 업 인식 모듈은 저전력 프로세서(예: 오디오 코덱에 포함된 프로세서)에 구현될 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 하드웨어 키를 통한 사용자 입력에 따라 활성화될 수 있다. 지능형 에이전트(151)가 활성화 되는 경우, 지능형 에이전트(151)와 연동된 지능형 앱(예: 음성 인식 앱)이 실행될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 사용자 입력을 인식하기 위한 음성 인식 모듈을 포함할 수 있다. 상기 음성 인식 모듈은 앱에서 동작을 실행하도록 하기 위한 사용자 입력을 인식할 수 있다. 예를 들어, 상기 음성 인식 모듈은 앱(141, 143)에서 상기 웨이크 업 명령과 같은 동작을 실행하는 제한된 사용자 (음성) 입력(예: 카메라 앱이 실행 중일 때 촬영 동작을 실행시키는 “찰칵”과 같은 발화 등)을 인식할 수 있다. 상기 지능형 서버(200)를 보조하여 사용자 입력을 인식하는 음성 인식 모듈은, 예를 들어, 사용자 단말(100)내에서 처리할 수 있는 사용자 명령을 인식하여 빠르게 처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)의 사용자 입력을 인식하기 위한 음성 인식 모듈은 앱 프로세서에서 구현될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)의 음성 인식 모듈(웨이크 업 인식 모듈의 음성 인식 모듈을 포함)은 음성을 인식하기 위한 알고리즘을 이용하여 사용자 입력을 인식할 수 있다. 상기 음성을 인식하기 위해 사용되는 알고리즘은, 예를 들어, HMM(hidden markov model) 알고리즘, ANN(artificial neural network) 알고리즘 또는 DTW(dynamic time warping) 알고리즘 중 적어도 하나일 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 사용자의 음성 입력을 텍스트 데이터로 변환할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 사용자의 음성을 지능형 서버로(200)로 전달하여, 변환된 텍스트 데이터를 수신할 수 있다. 이에 따라, 지능형 에이전트(151)는 상기 텍스트 데이터를 디스플레이(120)에 표시할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 지능형 서버(200)로부터 패스 룰을 수신할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 상기 패스 룰을 실행 매니저 모듈(153)로 송신할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 지능형 서버(200)로부터 수신된 패스 룰에 따른 실행 결과 로그(log)를 지능형 서비스(intelligence service) 모듈(155)로 송신하고, 상기 송신된 실행 결과 로그는 페르소나 모듈(persona manager)(155b)의 사용자의 선호(preference) 정보에 누적되어 관리될 수 있다.
일 실시 예에 따른, 실행 매니저 모듈(153)은 지능형 에이전트(151)로부터 패스 룰을 수신하여 앱(141, 143)을 실행시키고, 앱(141, 143)이 상기 패스 룰에 포함된 동작(141b, 143b)을 실행하도록 할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 앱(141, 143)으로 동작(141b, 143b)을 실행하기 위한 명령 정보를 송신할 수 있고, 상기 앱(141, 143)로부터 동작(141b, 143b)의 완료 정보를 수신할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 지능형 에이전트(151)와 앱(141, 143)의 사이에서 앱(141, 143)의 동작(141b, 143b)을 실행하기 위한 명령 정보를 송수신할 수 있다. 실행 매니저 모듈(153)은 상기 패스 룰에 따라 실행할 앱(141, 143)을 바인딩(binding)하고, 상기 패스 룰에 포함된 동작(141b, 143b)의 명령 정보를 앱(141, 143)으로 송신할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 상기 패스 룰에 포함된 동작(141b, 143b)을 순차적으로 앱(141, 143)으로 송신하여, 앱(141, 143)의 동작(141b, 143b)을 상기 패스 룰에 따라 순차적으로 실행시킬 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 앱(141, 143)의 동작(141b, 143b)의 실행 상태를 관리할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 앱(141, 143)으로부터 상기 동작(141b, 143b)의 실행 상태에 대한 정보를 수신할 수 있다. 상기 동작(141b, 143b)의 실행 상태가, 예를 들어, 정지된 상태(partial landing)인 경우(예: 동작(141b, 143b)에 필요한 파라미터가 입력되지 않은 경우), 실행 매니저 모듈(153)은 상기 정지된 상태에 대한 정보를 지능형 에이전트(151)로 송신할 수 있다. 지능형 에이전트(151)는 상기 수신된 정보를 이용하여, 사용자에게 필요한 정보(예: 파라미터 정보)의 입력을 요청할 수 있다. 상기 동작(141b, 143b)의 실행 상태가, 다른 예를 들어, 동작 상태인 경우에 지능형 에이전트(151)는 사용자로부터 발화를 수신할 수 있고, 실행 매니저 모듈(153)은 상기 실행되고 있는 앱(141, 143) 및 앱(141, 143)의 실행 상태에 대한 정보를 지능형 에이전트(151)로 송신할 수 있다. 지능형 에이전트(151)는 지능형 서버(200)를 통해 상기 사용자의 발화의 파라미터 정보를 수신할 수 있고, 상기 수신된 파라미터 정보를 실행 매니저 모듈(153)로 송신할 수 있다. 실행 매니저 모듈(153)은 상기 수신한 파라미터 정보를 이용하여 동작(141b, 143b)의 파라미터를 새로운 파라미터로 변경할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 패스 룰에 포함된 파라미터 정보를 앱(141, 143)으로 전달할 수 있다. 상기 패스 룰에 따라 복수의 앱(141, 143)이 순차적으로 실행되는 경우, 실행 매니저 모듈(153)은 하나의 앱에서 다른 앱으로 패스 룰에 포함된 파라미터 정보를 전달할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 사용자의 발화에 기초하여 선택된 복수의 패스 룰을 수신할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 사용자의 발화가 일부 동작(141b)을 실행할 일부 앱(141)을 특정하였지만, 나머지 동작(143b)을 실행할 다른 앱(143)을 특정하지 않은 경우, 일부 동작(141b)를 실행할 동일한 앱(141)(예: 갤러리 앱)이 실행되고 나머지 동작(143b)를 실행할 수 있는 서로 다른 앱(143)(예: 메시지 앱, 텔레그램 앱)이 각각 실행되는 서로 다른 복수의 패스 룰을 수신할 수 있다. 실행 매니저 모듈(153)은, 예를 들어, 상기 복수의 패스 룰의 동일한 동작(141b, 143b)(예: 연속된 동일한 동작(141b, 143b))을 실행할 수 있다. 실행 매니저 모듈(153)은 상기 동일한 동작까지 실행한 경우, 상기 복수의 패스 룰에 각각 포함된 서로 다른 앱(141, 143)을 선택할 수 있는 상태 화면을 디스플레이(120)에 표시할 수 있다.
일 실시 예에 따르면, 지능형 서비스 모듈(155)는 컨텍스트 모듈(155a), 페르소나 모듈(155b) 또는 제안 모듈(155c)을 포함할 수 있다.
컨텍스트 모듈(155a)는 앱(141, 143)으로부터 앱(141, 143)의 현재 상태를 수집할 수 있다. 예를 들어, 컨텍스트 모듈(155a)은 앱(141, 143)의 현재 상태를 나타내는 컨텍스트 정보를 수신하여 앱(141, 143)의 현재 상태를 수집할 수 있다.
페르소나 모듈(155b)은 사용자 단말(100)을 사용하는 사용자의 개인 정보를 관리할 수 있다. 예를 들어, 페르소나 모듈(155b)은 사용자 단말(100)의 사용 정보 및 수행 결과를 수집하여 사용자의 개인 정보를 관리할 수 있다.
제안 모듈(155c)는 사용자의 의도를 예측하여 사용자에게 명령을 추천해줄 수 있다. 예를 들어, 제안 모듈(155c)은 사용자의 현재 상태(예: 시간, 장소, 상황, 앱)을 고려하여 사용자에게 명령을 추천해줄 수 있다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 지능형 앱을 실행시키는 것을 나타낸 도면이다.
도 3을 참조하면, 사용자 단말(100)이 사용자 입력을 수신하여 지능형 에이전트(151)와 연동된 지능형 앱(예: 음성 인식 앱)을 실행시키는 것을 나타낸 것이다.
일 실시 예에 따르면, 사용자 단말(100)은 하드웨어 키(112)를 통해 음성을 인식하기 위한 지능형 앱을 실행시킬 수 있다. 예를 들어, 사용자 단말(100)은 하드웨어 키(112)를 통해 사용자 입력을 수신한 경우 디스플레이(120)에 지능형 앱의 UI(user interface)(121)를 표시할 수 있다. 사용자는, 예를 들어, 지능형 앱의 UI(121)가 디스플레이(120)에 표시된 상태에서 음성을 입력(161b)하기 위해 지능형 앱의 UI(121)에 음성인식 버튼(121a)를 터치할 수 있다. 사용자는, 다른 예를 들어, 음성을 입력(161b)하기 위해 상기 하드웨어 키(112)를 지속적으로 눌러서 음성을 입력(161b)을 할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 마이크(111)를 통해 음성을 인식하기 위한 지능형 앱을 실행시킬 수 있다. 예를 들어, 사용자 단말(100)은 마이크(111)를 통해 지정된 음성(예: 일어나!(wake up!))이 입력(161a)된 경우 디스플레이(120)에 지능형 앱의 UI(121)를 표시할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 4를 참조하면, 지능형 서버(200)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210), 자연어 이해(natural language understanding)(NLU) 모듈(220), 패스 플래너(path planner) 모듈(230), 대화 매니저(dialogue manager)(DM) 모듈(240), 자연어 생성(natural language generator)(NLG) 모듈(250) 또는 텍스트 음성 변환(text to speech)(TTS) 모듈(260)을 포함할 수 있다.
지능형 서버(200)의 자연어 이해 모듈(220) 또는 패스 플래너 모듈(230)은 패스 룰(path rule)을 생성할 수 있다.
일 실시 예에 따르면, 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다.
일 실시 예에 따르면, 자동 음성 인식 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(210)은 발화 인식 모듈을 포함할 수 있다. 상기 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(211)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 상기 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 형태소 등)로 나누고, 상기 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 상기 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 포뮬러(formula) 매칭 등을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 사용자 입력으로부터 도메인(domain), 의도(intent) 또는 상기 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 도메인(domain), 의도(intent) 및 상기 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 상기 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 알람 해제 등)를 포함할 수 있고, 하나의 의도는 복수의 파라미터(예: 시간, 반복 횟수, 알람음 등)을 포함할 수 있다. 복수의 파라미터는, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 상기 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(221)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 형태소, 구 등의 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 상기 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(221)를 이용하여 사용자의 의도를 결정할 수 있다. 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 개인화 언어 모델(personal language model)(PLM)을 이용하여 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 개인화된 정보(예: 연락처 리스트, 음악 리스트)를 이용하여 사용자의 의도를 결정할 수 있다. 상기 개인화 언어 모델은, 예를 들어, 자연어 인식 데이터베이스(221)에 저장될 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)뿐만 아니라 자동 음성 인식 모듈(210)도 자연어 인식 데이터베이스(221)에 저장된 개인화 언어 모델을 참고하여 사용자의 음성을 인식할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 상기 선택된 앱에서 수행될 동작을 결정할 수 있다. 상자연어 이해 모듈(220)은 상기 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)에 의해 생성된 패스 룰은 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터를 기반으로 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 패스 플래너 모듈(230)로부터 사용자 단말(100)에 대응되는 패스 룰 셋을 수신하고, 사용자 입력의 의도 및 파라미터를 상기 수신된 패스 룰 셋에 매핑하여 패스 룰을 결정할 수 있다.
다른 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터를 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)의 정보를 이용하여 상기 실행될 앱 및 상기 앱에서 실행될 동작을 사용자 입력의 의도에 따라 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 배열하여 패스 룰을 생성할 수 있다. 상기 생성된 패스 룰은, 예를 들어, 패스 플래너 모듈(230)를 통해 패스 룰 데이터베이스(path rule database)(PR DB)(231)에 저장될 수 있다. 상기 생성된 패스 룰은 데이터베이스(231)의 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 생성된 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 복수의 패스 룰 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자의 추가 입력에 의해 상기 복수의 패스 룰 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 대한 요청으로 패스 룰을 사용자 단말(100)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 하나의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 복수의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 상기 복수의 패스 룰은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(220)에 의해 생성될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)로 복수의 패스 룰을 포함하는 패스 룰 셋을 전달할 수 있다. 상기 패스 룰 셋의 복수의 패스 룰은 패스 플래너 모듈(230)에 연결된 패스 룰 데이터베이스(231)에 테이블 형태로 저장될 수 있다. 예를 들어, 패스 플래너 모듈(230)은 지능형 에이전트(151)로부터 수신된 사용자 단말(100)의 정보(예: OS 정보, 앱 정보)에 대응되는 패스 룰 셋을 자연어 이해 모듈(220)로 전달할 수 있다. 상기 패스 룰 데이터베이스(231)에 저장된 테이블은, 예를 들어, 도메인 또는 도메인의 버전 별로 저장될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 패스 룰 셋에서 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자의 의도 및 파라미터를 사용자 단말(100) 에 대응되는 패스 룰 셋에 매칭하여 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 상기 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(230)은 상기 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)에서 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(231)에 저장된 패스 룰 셋에 추가될 수 있다.
패스 룰 셋을 포함할 수 있다. 복수의 패스 룰 또는 복수의 패스 룰 셋은 각 패스 룰을 수행하는 장치의 종류, 버전, 타입, 또는 특성을 반영할 수 있다.
대화 매니저 모듈(240)는 자연어 이해 모듈(220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)는 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(240)는 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 컨텐츠 제공(content provider) 모듈을 포함할 수 있다. 상기 컨텐츠 제공 모듈은 자연어 이해 모듈(220)에서 파악된 의도 및 파라미터에 기초하여 동작을 수행할 수 있는 경우, 사용자 입력에 대응되는 태스크를 수행한 결과를 생성할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자 입력에 대한 응답으로 상기 컨텐츠 제공 모듈에서 생성된 상기 결과를 사용자 단말(100)로 송신할 수 있다.
일 실시 예에 따르면, 자연어 생성 모듈(NLG)(250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 상기 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 상기 텍스트 형태로 변경된 정보는 사용자 단말(100)로 송신되어 디스플레이(120)에 표시되거나, 텍스트 음성 변환 모듈(260)로 송신되어 음성 형태로 변경될 수 있다.
일 실시 예에 따르면, 텍스트 음성 변환 모듈(260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(260)은 자연어 생성 모듈(250)로부터 텍스트 형태의 정보를 수신하고, 상기 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 음성 형태의 정보를 스피커(130)로 출력할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현될 수 있다. 예를 들어, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현되어 사용자의 의도 및 파라미터를 결정하고, 상기 결정된 사용자의 의도 및 파라미터에 대응되는 응답(예: 패스 룰)을 생성할 수 있다. 이에 따라, 생성된 응답은 사용자 단말(100)로 송신될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 패스 플래너 모듈(path planner module)의 패스 룰(path rule)을 생성하는 방법을 나타낸 도면이다.
도 5를 참조하면, 일 실시 예에 따른, 자연어 이해 모듈(220)은 앱의 기능을 단위 동작(A 내지 F)으로 구분하여 패스 룰 데이터베이스(231)에 저장할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 단위 동작으로 구분된 복수의 패스 룰(A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)을 포함하는 패스 룰 셋을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)의 패스 룰 데이터베이스(231)는 앱의 기능을 수행하기 위한 패스 룰 셋을 저장할 수 있다. 상기 패스 룰 셋은 복수의 동작을 포함하는 복수의 패스 룰을 포함할 수 있다. 상기 복수의 패스 룰은 복수의 동작 각각에 입력되는 파라미터에 따라 실행되는 동작이 순차적으로 배열될 수 있다. 일 실시 예에 따르면, 상기 복수의 패스 룰은 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 구성되어 패스 룰 데이터베이스(231)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 대응되는 상기 복수의 패스 룰(A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F) 중에 최적의 패스 룰(A-B1-C3-D-F)을 선택할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 완벽히 매칭되는 패스 룰이 없는 경우 사용자 단말(100)에 복수의 룰을 전달할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 부분적으로 대응된 패스 룰(예: A-B1)을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자 입력에 부분적으로 대응된 패스 룰(예: A-B1)을 포함하는 하나 이상의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)을 선택하여 사용자 단말(100)에 전달할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 단말(100)의 추가 입력에 기초하여 복수의 패스 룰 중 하나를 선택하고, 상기 선택된 하나의 패스 룰을 사용자 단말(100)에 전달할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)에서 추가로 입력된 사용자 입력(예: C3를 선택하는 입력)에 따라 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F) 중 하나의 패스 룰(예: A-B1-C3-D-F)을 선택하여 사용자 단말(100)에 송신할 수 있다.
또 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 자연어 이해 모듈(220)을 통해 사용자 단말(100)에 추가로 입력된 사용자 입력(예: C3를 선택하는 입력)에 대응되는 사용자의 의도 및 파라미터를 결정할 수 있고, 상기 결정된 사용자의 의도 또는 파라미터를 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 송신된 의도 또는 상기 파라미터에 기초하여, 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F) 중 하나의 패스 룰(예: A-B1-C3-D-F)을 선택할 수 있다.
이에 따라, 사용자 단말(100)은 상기 선택된 하나의 패스 룰에 의해 앱(141, 143)의 동작을 완료시킬 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 정보가 부족한 사용자 입력이 지능형 서버(200)에 수신된 경우, 상기 수신한 사용자 입력에 부분적으로 대응되는 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 부분적으로 대응된 패스 룰을 지능형 에이전트(151)로 송신(①)할 수 있다. 지능형 에이전트(151)는 실행 매니저 모듈(153)로 상기 부분적으로 대응된 패스 룰을 송신(②)하고, 실행 매니저 모듈(153)는 상기 패스 룰에 따라 제1 앱(141)을 실행시킬 수 있다. 실행 매니저 모듈(153)는 제1 앱(141)을 실행하면서 부족한 파라미터에 대한 정보를 지능형 에이전트(151)로 송신(③)할 수 있다. 지능형 에이전트(151)는 상기 부족한 파라미터에 대한 정보를 이용하여 사용자에게 추가 입력을 요청할 수 있다. 지능형 에이전트(151)는 사용자에 의해 추가 입력이 수신(④)되면 지능형 서버(200)로 송신하여 처리할 수 있다. 자연어 이해 모듈(220)은 상기 추가로 입력된 사용자 입력의 의도 및 파라미터 정보에 기초하여 추가된 패스 룰을 생성하여 지능형 에이전트(151)로 송신(⑤)할 수 있다. 지능형 에이전트(151)는 실행 매니저 모듈(153)로 상기 패스 룰을 송신(⑥)하여 제2 앱(143)를 실행할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 일부 정보가 누락된 사용자 입력이 지능형 서버(200)에 수신된 경우, 개인화 정보 서버(300)로 사용자 정보 요청을 송신할 수 있다. 개인화 정보 서버(300)는 페르소나 데이터베이스에 저장된 사용자 입력을 입력한 사용자의 정보를 자연어 이해 모듈(220)로 송신할 수 있다. 자연어 이해 모듈(220)은 상기 사용자 정보를 이용하여 일부 동작이 누락된 사용자 입력에 대응되는 패스 룰을 선택할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 일부 정보가 누락된 사용자 입력이 지능형 서버(200)에 수신되더라도, 누락된 정보를 요청하여 추가 입력을 받거나 사용자 정보를 이용하여 상기 사용자 입력에 대응되는 패스 룰을 결정할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 프로세서의 컨텍스트 모듈이 현재 상태를 수집하는 것을 나타낸 도면이다.
도 6을 참조하면, 컨텍스트 모듈(155a)은 지능형 에이전트(151)로부터 컨텍스트 요청을 수신(①)하면, 앱(141, 143)에 앱(141, 143)의 현재 상태를 나타내는 컨텍스트 정보를 요청(②)할 수 있다. 일 실시 예에 따르면, 컨텍스트 모듈(155a)은 앱(141, 143)으로부터 상기 컨텍스트 정보를 수신(③)하여 지능형 에이전트(151)로 송신(④)할 수 있다.
일 실시 예에 따르면, 컨텍스트 모듈(155a)은 앱(141, 143)을 통해 복수의 컨텍스트 정보를 수신할 수 있다. 예를 들어, 상기 컨텍스트 정보는 가장 최근 실행된 앱(141, 143)에 대한 정보일 수 있다. 다른 예를 들어, 상기 컨텍스트 정보는 앱(141, 143) 내의 현재 상태에 대한 정보(예: 갤러리에서 사진을 보고 있는 경우, 해당 사진에 대한 정보)일 수 있다.
일 실시 예에 따르면, 컨텍스트 모듈(155a)은 앱(141, 143)뿐만 아니라, 디바이스 플랫폼(device platform)으로부터 사용자 단말(100)의 현재 상태를 나타내는 컨텍스트 정보를 수신할 수 있다. 상기 컨텍스트 정보는 일반적 컨텍스트 정보, 사용자 컨텍스트 정보 또는 장치 컨텍스트 정보를 포함할 수 있다.
상기 일반적 컨텍스트 정보는 사용자 단말(100)의 일반적인 정보를 포함할 수 있다. 상기 일반적 컨텍스트 정보는 디바이스 플랫폼의 센서 허브 등을 통해 데이터를 받아서 내부 알고리즘을 통해 확인될 수 있다. 예를 들어, 상기 일반적 컨텍스트 정보는 현재 시공간에 대한 정보를 포함할 수 있다. 상기 현재 시공간에 대한 정보는, 예를 들어, 현재 시간 또는 사용자 단말(100)의 현재 위치에 대한 정보를 포함할 수 있다. 상기 현재 시간은 사용자 단말(100) 상에서의 시간을 통해 확인될 수 있고, 상기 현재 위치에 대한 정보는 GPS(global positioning system)를 통해 확인될 수 있다. 다른 예를 들어, 상기 일반적 컨텍스트 정보는 물리적 움직임에 대한 정보를 포함할 수 있다. 상기 물리적 움직임에 대한 정보는, 예를 들어, 걷기, 뛰기, 운전 중 등에 대한 정보를 포함할 수 있다. 상기 물리적 움직임 정보는 모션 센서(motion sensor)를 통해 확인될 수 있다. 상기 운전 중에 대한 정보는 상기 모션 센서를 통해 운행을 확인할 수 있을 뿐만 아니라, 차량 내의 블루투스 연결을 감지하여 탑승 및 주차를 확인할 수 있다. 또 다른 예를 들어, 상기 일반적 컨텍스트 정보는 사용자 활동 정보를 포함할 수 있다. 상기 사용자 활동 정보는, 예를 들어, 출퇴근, 쇼핑, 여행 등에 대한 정보를 포함할 수 있다. 상기 사용자 활동 정보는 사용자 또는 앱이 데이터베이스에 등록한 장소에 대한 정보를 이용하여 확인될 수 있다.
상기 사용자 컨텍스트 정보는 사용자에 대한 정보를 포함할 수 있다. 예를 들어, 상기 사용자 컨텍스트 정보는 사용자의 감정적 상태에 대한 정보를 포함할 수 있다. 상기 감정적 상태에 대한 정보는, 예를 들어, 사용자의 행복, 슬픔, 화남 등에 대한 정보를 포함할 수 있다. 다른 예를 들어, 상기 사용자 컨텍스트 정보는 사용자의 현재 상태에 대한 정보를 포함할 수 있다. 상기 현재 상태에 대한 정보는, 예를 들어, 관심, 의도 등(예: 쇼핑)에 대한 정보를 포함할 수 있다.
상기 장치 컨텍스트 정보는 사용자 단말(100)의 상태에 대한 정보를 포함할 수 있다. 예를 들어, 상기 장치 컨텍스트 정보는 실행 매니저 모듈(153)이 실행한 패스 룰에 대한 정보를 포함할 수 있다. 다른 예를 들어, 상기 디바이스 정보는 배터리에 대한 정보를 포함할 수 있다. 상기 배터리에 대한 정보는, 예를 들어, 상기 배터리의 충전 및 방전 상태를 통해 확인될 수 있다. 또 다른 예를 들어, 상기 디바이스 정보는 연결된 장치 및 네트워크에 대한 정보를 포함할 수 있다. 상기 연결된 장치에 대한 정보는, 예를 들어, 상기 장치가 연결된 통신 인터페이스를 통해 확인될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 페르소나 모듈(persona module)이 사용자의 정보를 관리하는 것을 나타낸 도면이다.
도 7을 참조하면, 페르소나 모듈(155b)은 앱(141, 143), 실행 매니저 모듈(153) 또는 컨텍스트 모듈(155a)로부터 사용자 단말(100)의 정보를 수신할 수 있다. 앱(141, 143) 및 실행 매니저 모듈(153)은 앱의 동작(141b, 143b)을 실행한 결과 정보를 동작 로그 데이터베이스에 저장할 수 있다. 컨텍스트 모듈(155a)은 사용자 단말(100)의 현재 상태에 대한 정보를 컨텍스트 데이터베이스에 저장할 수 있다. 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스로부터 상기 저장된 정보를 수신할 수 있다. 상기 동작 로그 데이터베이스 및 상기 컨텍스트 데이터베이스에 저장된 데이터는, 예를 들어, 분석 엔진(analysis engine)에 의해 분석되어 페르소나 모듈(155b)로 송신될 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)은 앱(141, 143), 실행 매니저 모듈(153) 또는 컨텍스트 모듈(155a)로부터 수신한 정보를 제안 모듈(155c)로 송신할 수 있다. 예를 들어, 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 저장된 데이터를 제안 모듈(155c)로 송신할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)은 앱(141, 143), 실행 매니저 모듈(153) 또는 컨텍스트 모듈(155a)로부터 수신된 정보를 개인화 정보 서버(300)로 송신할 수 있다. 예를 들어, 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 누적되어 저장된 데이터를 주기적으로 개인화 정보 서버(300)에 송신할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 저장된 데이터를 제안 모듈(155c)로 송신할 수 있다. 상기 페르소나 모듈(155b)에 의해서 생성된 사용자 정보는 페르소나 데이터베이스에 저장될 수 있다. 페르소나 모듈(155b)는 상기 페르소나 데이터베이스에 저장된 사용자 정보를 주기적으로 개인화 정보 서버(300)로 송신할 수 있다. 일 실시 예에 따르면, 페르소나 모듈(155b)에 의해 개인화 정보 서버(300)로 송신된 정보는 페르소나 데이터베이스에 저장될 수 있다. 개인화 정보 서버(300)는 상기 페르소나 데이터베이스에 저장된 정보를 이용하여 지능형 서버(200)의 패스 룰 생성에 필요한 사용자 정보를 추론할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)이 송신한 정보를 이용하여 추론된 사용자 정보는 프로파일(profile) 정보 또는 프리퍼런스(preference) 정보를 포함할 수 있다. 상기 프로파일 정보 또는 프리퍼런스 정보는 사용자의 계정(account) 및 누적된 정보를 통해 추론될 수 있다.
상기 프로파일 정보는 사용자의 신상 정보를 포함할 수 있다. 예를 들어, 상기 프로파일 정보는 사용자의 인구 통계 정보를 포함할 수 있다. 상기 인구 통계 정보는, 예를 들어, 사용자의 성(gender), 나이 등을 포함할 수 있다. 다른 예를 들어, 상기 프로파일 정보는 라이프 이벤트(life event) 정보를 포함할 수 있다. 상기 라이프 이벤트 정보는, 예를 들어, 로그 정보를 라이프 이벤트 모델(life event model)과 비교하여 추론되고, 행동 패턴(behavior patter)을 분석하여 보강될 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 관심(interest) 정보를 포함할 수 있다. 상기 관심 정보는, 예를 들어, 관심 쇼핑 물품, 관심 분야(예: 스포츠, 정치 등) 등을 포함할 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 활동 지역 정보를 포함할 수 있다. 상기 활동 지역 정보는, 예를 들어, 집, 일하는 곳 등에 대한 정보를 포함할 수 있다. 상기 활동 지역에 대한 정보는 장소의 위치에 대한 정보뿐만 아니라 누적 체류 시간 및 방문 횟수를 기준으로 우선 순위가 기록된 지역에 대한 정보를 포함할 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 활동 시간 정보를 포함할 수 있다. 상기 활동 시간 정보는, 예를 들어, 기상 시간, 출퇴근 시간, 수면 시간 등에 대한 정보를 포함할 수 있다. 상기 출퇴근 시간에 대한 정보는 상기 활동 지역 정보(예: 집 및 일하는 곳에 대한 정보)를 이용하여 추론될 수 있다. 상기 수면 시간에 대한 정보는 사용자 단말(100)의 미사용 시간을 통해 추론될 수 있다.
상기 프리퍼런스 정보는 사용자의 선호도 정보를 포함할 수 있다. 예를 들어, 상기 프리퍼런스 정보는 앱 선호도에 대한 정보를 포함할 수 있다. 상기 앱 선호도는, 예를 들어, 앱의 사용 기록(예: 시간별, 장소별 사용 기록)을 통해 추론될 수 있다. 상기 앱의 선호도는 사용자의 현재 상태(예: 시간, 장소)에 따라 실행될 앱을 결정하기 위해 이용될 수 있다. 다른 예를 들어, 상기 프리퍼런스 정보는 연락처 선호도에 대한 정보를 포함할 수 있다. 상기 연락처 선호도는, 예를 들어, 연락처의 연락 빈도(예: 시간별, 장소별 연락하는 빈도) 정보를 분석하여 추론될 수 있다. 상기 연락처 선호도는 사용자의 현재 상태(예: 중복된 이름에 대한 연락)에 따라 연락할 연락처를 결정하기 위해 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 세팅(setting) 정보를 포함할 수 있다. 상기 세팅 정보는, 예를 들어, 특정 세팅 값의 설정 빈도(예: 시간별, 장소별 세팅 값으로 설정하는 빈도) 정보를 분석하여 추론될 수 있다. 상기 세팅 정보는 사용자의 현재 상태(예: 시간, 장소, 상황)에 따라 특정 세팅 값을 설정하기 위해 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 장소 선호도를 포함할 수 있다. 상기 장소 선호도는, 예를 들어, 특정 장소의 방문 기록(예: 시간별 방문 기록)을 통해 추론될 수 있다. 상기 장소 선호도는 사용자의 현재 상태(예: 시간)에 따라 방문하고 있는 장소를 결정하기 위하여 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 명령 선호도를 포함할 수 있다. 상기 명령 선호도는, 예를 들어, 명령 사용 빈도(예: 시간별, 장소별 사용 빈도)를 통해 추론될 수 있다. 상기 명령 선호도는 사용자의 현재 상태(예: 시간, 장소)에 따라 사용될 명령어 패턴을 결정하기 위해 이용될 수 있다. 특히, 상기 명령 선호도는 로그 정보를 분석하여 실행되고 있는 앱의 현재 상태에서 사용자가 가장 많이 선택한 메뉴에 대한 정보를 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 제안 모듈을 나타낸 블록도이다.
도 8을 참조하면, 제안 모듈(155c)은 힌트 제공 모듈(155c_1), 컨텍스트 힌트 생성 모듈(155c_2), 조건 체킹 모듈(155c_3), 조건 모델 모듈(155c_4), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)을 포함할 수 있다.
일 실시 예에 따르면, 힌트 제공 모듈(155c_1)은 사용자에게 힌트(hint)를 제공할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 컨텍스트 힌트 생성 모듈(155c_2), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)로부터 생성된 힌트를 수신하여 사용자에게 힌트를 제공할 수 있다.
일 실시 예에 따르면, 컨텍스트 힌트 생성 모듈(155c_2)은 조건 체킹 모듈(155c_3) 또는 조건 모델 모듈(155c_4)을 통해 현재 상태에 따라 추천될 수 있는 힌트를 생성할 수 있다. 조건 체킹 모듈(155c_3)은 지능형 서비스 모듈(155)을 통해 현재 상태에 대응되는 정보를 수신할 수 있고, 조건 모델 모듈(155c_4)은 상기 수신된 정보를 이용하여 조건 모델(condition model)을 설정할 수 있다. 예를 들어, 조건 모델 모듈은(155c_4)는 사용자에게 힌트를 제공하는 시점의 시간, 위치, 상황 사용중인 앱 등을 파악하여 해당 조건에서 사용할 가능성이 높은 힌트를 우선 순위가 높은 순으로 사용자에게 제공 할 수 있다.
일 실시 예에 따르면, 재사용 힌트 생성 모듈(155c_5)은 현재 상태에 따라 사용 빈도를 고려하여 추천될 수 있는 힌트를 생성할 수 있다. 예를 들어, 재사용 힌트 생성 모듈(155c_5)은 사용자의 사용 패턴을 고려하여 힌트를 생성할 수 있다.
일 실시 예에 따르면, 소개 힌트 생성 모듈(155c_6)은 사용자에게 신규 기능 또는 다른 사용자가 많이 쓰는 기능을 소개하는 힌트를 생성할 수 있다. 예를 들어, 상기 신규 기능을 소개하는 힌트에는 지능형 에이전트(151)에 대한 소개(예: 작동 방법)를 포함할 수 있다.
다른 실시 예에 따르면, 제안 모듈(155c)의 컨텍스트 힌트 생성 모듈(155c_2), 조건 체킹 모듈(155c_3), 조건 모델 모듈(155c_4), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)는 개인화 정보 서버(300)에 포함될 수 있다. 예를 들어, 제안 모듈(155c)의 힌트 제공 모듈(155c_1)은 사용자 개인화 정보 서버(300)의 컨텍스트 힌트 생성 모듈(155c_2), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)로부터 힌트를 수신하여 사용자에게 상기 수신된 힌트를 제공할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 다음의 일련의 프로세스에 따라 힌트를 제공할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 지능형 에이전트(151)로부터 힌트 제공 요청을 수신(①)하면 컨텍스트 힌트 생성 모듈(155c_2)로 힌트 생성 요청을 송신(②)할 수 있다. 컨텍스트 힌트 생성 모듈(155c_2)은 상기 힌트 생성 요청을 수신하면, 조건 체킹 모듈(155c_3)을 이용(③)하여 컨텍스트 모듈(155a) 및 페르소나 모듈(155b)로부터 현재 상태에 대응되는 정보를 수신(④)할 수 있다. 조건 체킹 모듈(155c_3)은 상기 수신된 정보를 조건 모델 모듈(155c_4)로 송신(⑤)하고, 조건 모델 모듈(155c_4)은 상기 정보를 이용하여 사용자에게 제공되는 힌트 중 상기 조건에 사용 가능성이 높은 순서로 힌트에 대해 우선순위를 부여 할 수 있다. 컨텍스트 힌트 생성 모듈(155c_2)은 상기 조건을 확인(⑥)하고, 상기 현재 상태에 대응되는 힌트를 생성할 수 있다. 컨텍스트 힌트 생성 모듈(155c_2)은 상기 생성된 힌트를 힌트 제공 모듈(155c_1)로 송신(⑦)할 수 있다. 힌트 제공 모듈(155c_1)은 지정된 규칙에 따라 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(151)로 전송(⑧)할 수 있다.
일 실시 예에 따르면, 힌트 제공 모듈(155c_1)은 복수의 컨텍스트 힌트를 생성할 수 있고, 지정된 규칙에 따라 복수의 컨텍스트 힌트에 우선 순위를 지정할 수 있다. 일 실시 예에 따르면, 힌트 제공 모듈(155c_1)은 상기 복수의 컨텍스트 힌트 중에서 우선 순위가 높은 것을 사용자에게 먼저 제공할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용 빈도에 따른 힌트를 제안할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 지능형 에이전트(151)로부터 힌트 제공 요청을 수신(①)하면 재사용 힌트 생성 모듈(155c_5)로 힌트 생성 요청을 송신(②)할 수 있다. 재사용 힌트 생성 모듈(155c_5)은 상기 힌트 생성 요청을 수신하면, 페르소나 모듈(155b)로부터 사용자 정보를 수신(③)할 수 있다. 예를 들어, 재사용 힌트 생성 모듈(155c_5)은 페르소나 모듈(155b)의 사용자의 프리퍼런스 정보에 포함된 패스 룰, 패스 룰에 포함된 파라미터, 앱의 실행 빈도, 앱이 사용된 시공간 정보를 수신할 수 있다. 재사용 힌트 생성 모듈(155c_5)은 상기 수신된 사용자 정보에 대응되는 힌트를 생성할 수 있다. 재사용 힌트 생성 모듈(155c_5)은 상기 생성된 힌트를 힌트 제공 모듈(155c_1)로 송신(④)할 수 있다. 힌트 제공 모듈(155c_1)은 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(151)로 전송(⑤)할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 새로운 기능에 대한 힌트를 제안할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 지능형 에이전트(151)로부터 힌트 제공 요청을 수신(①)하면 소개 힌트 생성 모듈(155c_6)로 힌트 생성 요청을 송신(②)할 수 있다. 소개 힌트 생성 모듈(155c_6)은 제안 서버(400)로부터 소개 힌트 제공 요청을 송신(③)하여 제안 서버(400)로부터 소개될 기능에 대한 정보를 수신(④)할 수 있다. 예를 들어, 제안 서버(400)는 소개될 기능에 대한 정보를 저장할 수 있고, 상기 소개될 기능에 대한 힌트 리스트(hint list)는 서비스 운영자에 의해 업데이트될 수 있다. 소개 힌트 생성 모듈(155c_6)은 상기 생성된 힌트를 힌트 제공 모듈(155c_1)로 송신(⑤)할 수 있다. 힌트 제공 모듈(155c_1)은 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(151)로 전송(⑥)할 수 있다.
이에 따라, 제안 모듈(155c)은 컨텍스트 힌트 생성 모듈(155c_2), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)에서 생성된 힌트를 사용자에게 제공할 수 있다. 예를 들어, 제안 모듈(155c)은 상기 생성된 힌트를 지능형 에이전트(151)를 동작시키는 앱의 실행 화면에 표시할 수 있고, 상기 앱의 실행 화면을 통해 사용자로부터 상기 힌트를 선택하는 입력을 수신할 수 있다.
도 9은 본 발명의 다양한 실시예에 따른 전자 장치에서 사용자의 발화에 응답하여 지능형 에이전트가 어플리케이션을 제어하는 동작을 그래픽 인터페이스의 변화로 보여 주는 도면이다.
도 9을 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치(900)는, 전자 장치(900)에 설치된 어플리케이션 프로그램으로서 예를 들어, 지능형 에이전트(예: 지능형 에이전트(151))를 사용자의 키(905) 입력에 의해 호출하여 대화 창(910)을 표시할 수 있다. 전자 장치(900)는 사용자의 발화를 텍스트로 변환하여 대화 창(910)을 통해 사용자에게 보여 줄 수 있다. 전자 장치(900)는 발화의 분석을 통해 생성된 패스 룰을 이용하여 어플리케이션의 동작을 실행할 수 있다.
예를 들어, 사용자가 “하와이 사진을 엄마한테 메시지로 공유해줘(921)”라고 발화하면, 전자 장치(900)에서 실행 매니저 모듈(예: 실행 매니저 모듈(153))은 하와이에서 찍은 사진을 선택하고 선택된 사진을 전송할 매체로서 SMS 어플리케이션을 선택하도록 갤러리 어플리케이션에게 명령할 수 있다. 명령의 수행 완료를 갤러리 어플리케이션으로부터 통보 받게 되면, 실행 매니저 모듈은 메시지 수신처로서 '엄마'를 선택하고 갤러리 어플리케이션에 의해 메시지에 첨부된 사진을 전송하도록 SMS 어플리케이션에게 명령할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 룰의 일련의 수행 과정은, 지능형 에이전트의 대화 창(910)이 아닌, 그 수행 주체인 어플리케이션의 인터페이스를 통해 사용자에게 표출될 수 있다. 예를 들어, 갤러리 어플리케이션이 하와이 사진을 찾는 과정을 보여 주는 제 1 인터페이스들(930)이 순차적으로 디스플레이를 통해 제공되고, 그 다음으로 전송 매체의 선택을 위한 갤러리 어플리케이션의 제 2 인터페이스(940)가 제공되며, 그 다음으로 SMS 어플리케이션이 메시지에 사진을 첨부하는 과정을 보여주는 제 3 인터페이스(950)가 제공되며, 마지막으로 SMS 어플리케이션이 엄마에게 메시지 전송을 완료하였음을 보여주는 제 4 인터페이스(960)가 제공될 수 있다.
한편, 사용자의 발화가 “하와이 사진을 공유해줘(923)”이고, 그 발화로부터 전송 매체와 수신처가 획득되지 않는 경우, 제 2 인터페이스(940)를 디스플레이를 통해 제공하는 과정까지만 수행될 수 있다. 이에 따라 지능형 에이전트는 예컨대, “누구한테 무엇으로 보낼까요”라고 음성 문의할 수 있고, 이에 응답하여 사용자가 “메시지로 엄마한테”라고 발화하면, 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수 있다.
사용자의 발화가 “하와이 사진을 메시지로 공유해줘(925)”이고, 그 발화로부터 수신처 획득되지 않는 경우, 제 3 인터페이스(950)를 디스플레이를 통해 제공하는 과정까지만 수행될 수 있다. 사용자가 추가적으로 “엄마한테”라고 발화하면, 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수 있다.
사용자의 발화가 “하와이 사진을 엄마한테 공유해줘(927)”이면, 그 발화 속에 전송 매체가 없는 것이어서, 제 2 인터페이스(940)를 디스플레이를 통해 제공하는 과정까지만 수행될 수 있다. 사용자가 추가적으로 “메시지로”라고 발화하면, 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수 있다. 다른 예로, 전송 매체는 예컨대, 연락처 정보에 기초하여 SMS로 자동으로 선택되어 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수도 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(900)는 지능형 에이전트를 통해 전자 장치(900) 내 어플리케이션을 제어하여 패스 룰을 수행할 뿐만 아니라, 전자 장치(900)에 기능적으로 연결된 외부 전자 장치의 기능들도 제어하여 패스 룰을 수행할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(900)는, 어플리케이션 혹은 외부 전자 장치에서 제공되는 기능의 변경(확장이나 제한)을 인지하고, 이를 패스 룰을 선택하는데 이용할 수 있다. 또한, 전자 장치(900)는 특정 기능의 제공 여부와 더불어 어플리케이션에서 기능을 수행하기 위한 상태(state)의 변화를 인지하고 이를 패스 룰 선택에 이용할 수 있다. 상태의 변화는 어플리케이션의 버전에 따른 기능의 변경과 연동될 수 있으나, 기능이 바뀌지 않은 상태에서도 상태의 변화가 가능하고 이를 전자 장치(900)에서 인지하여 패스 룰 선택에 활용할 수 있다.
도 10는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전을 관리하는 동작을 설명하기 위한 도면이다.
도 10를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치(1010)는 실행 매니저 모듈(1011), 지능형 에이전트(1013) 및 어플리케이션들(1015)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버(1020)는 NLU 모듈(1021), 패스 플래너 모듈(1023) 및 패스 룰 세트 DB(1025)를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(1011)은 전자 장치(1010)에 설치된 어플리케이션들(1015)의 실행을 관리할 수 있다. 또한, 실행 매니저 모듈(1011)은 각 어플리케이션의 종류 및 버전 정보를 포함하는 메타데이터를 어플리케이션들(1015)로부터 수집(A)하여 지능형 에이전트(1013)로 전송(B)할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(1013)는, 입력 모듈을 통해 어플리케이션의 제어를 위한 사용자 입력(예: 발화(utterance)나 터치 입력 등)을 수신하여 서버(1020)의 NLU 모듈(1021)로 전송(C)할 수 있다. 또한, 실행 매니저 모듈(1011)에 의해 수집된 어플리케이션의 메타데이터는 지능형 에이전트(1013)를 통해 패스 플래너 모듈(1023)로 전송(D)될 수 있다.
본 발명의 다양한 실시예에 따른 패스 룰 세트 DB(1025)는 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 패스 플래너 모듈(1023)은, 전자 장치(1010)로부터 받은 메타데이터를 토대로, 전자 장치(1010)에 설치되어 있는 각 어플리케이션의 버전과 일치하는 패스 룰 세트(1027)를 DB(1025)로부터 획득하여 NLU 모듈(1021)가 접근(E)하게 할 수 있다. 예를 들어, NLU 모듈(1021)은 패스 플래너 모듈(1023)에 의해 선별된 패스 룰 세트(1027)를 DB(1025)에 접근하여 읽어 갈 수 있다. 다른 예로, 패스 플래너 모듈(1023)은 패스 룰 세트(1027)를 별도의 저장 공간에 임시 저장하고, 이것을 NLU 모듈(1021)에 통보하고, 이에 따라 NLU 모듈(1021)이 패스 룰 세트(1027)를 상기 별도의 저장 공간으로부터 읽어 갈 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 모듈(1021)은 사용자 입력(발화 혹은 터치 입력)를 분석하여 사용자의 의도(intent)를 파악하고 의도에 대응하는 패스 룰을 패스 룰 세트(1027)에서 선택할 수 있다.
일 실시예에 따르면, 실행 매니저 모듈(1011)이 직접 제어 할 수 있는 어플리케이션이 통화 어플리케이션(1015a), 헬스 어플리케이션(1015b) 및 SMS 어플리케이션(1015c)라고 한다면, 실행 매니저 모듈(1011)은 각 어플리케이션의 종류와 버전 정보를 포함하는 메타데이터를 수집하여 지능형 에이전트(1013)를 통해 서버(1020)로 전달할 수 있다. 전자 장치(1010)의 입력 모듈을 통해 사용자 입력 예컨대, “엄마에게 전화를 걸어줘” 라는 발화가 수신되면, 상기 수집된 메타데이터는 패스 플래너 모듈(1023)로 전달될 수 있다. 패스 플래너 모듈(1023)은, 수신된 메타데이터에 기초하여, 전자 장치(1010)에 설치된 각 어플리케이션의 버전과 일치하는 패스 룰 세트(1027) 예컨대, “Call application rule set ver 1.1, Health application rule set v2.1, SMS application rule set ver 3.0”을 패스 룰 세트 DB(1025)에서 읽어 와 NLU 모듈(1021)에 제공할 수 있다. NLU 모듈(1021)은 사용자 입력의 도메인을 “Call application”으로 결정하고, 분석된 사용자 의도에 해당하는 패스 룰을 “Call application rule set ver 1.1”에 있는 패스 룰들 중에서 하나로 최종 선택할 수 있다.
본 발명의 다양한 실시예에 따르면, 사용자가 지능형 에이전트(1013)를 사용하여 전자 장치(1010)를 제어함에 있어서, 실행 매니저 모듈(1011)을 통해 지능형 에이전트(1013)에 기능적으로 연결된 어플리케이션이 버전 변경 등을 통해 기능이 확장되거나 변경될 경우, 해당 정보는 지능형 에이전트(1013)에서 인지될 수 있다. 따라서, 사용자가 지능형 에이전트(1013)를 통해 어플리케이션이나 외부 전자 장치를 제어하는 것이 용이할 수 있다. 또한, 본 발명의 다양한 실시예는, 어플리케이션의 종류와 버전이 많아짐에 따라 특정 패스 룰을 선택하는 작업의 복잡도가 기하급수적으로 증가할 수 있는데, 이를 효율적으로 제어하는 방법 및 장치를 제공할 수 있다.
본 발명의 다양한 실시예는 지능형 에이전트를 이용하여 각각의 어플리케이션을 개별 제어하는 시스템에 관한 것이다. 이와 같은 시스템의 경우 어플리케이션과 지능형 에이전트는 각각 버전이 개별적으로 업데이트될 수 있고 또한, 사용자의 각각의 전자 장치에 있는 지능형 에이전트의 버전이 동일하더라도 전자 장치에 설치된 어플리케이션의 버전은 각각 상이할 수 있다. 이러한 경우 지능형 에이전트에서 제공하는 어플리케이션의 기능은 어플리케이션의 버전에 따라 바뀔 수 있다. 아래 표 1은 어플리케이션의 버전 변화에 따라 지원되는 패스 룰이 바뀌는 상황에 대한 하나의 예시이다.
| 사용자 명령 | Path rule | VER 1.0 | VER 2.0 | 비고 |
| 갤러리 실행해줘 | Rule 1 | O | O | 둘다 지원(Case 1) |
| 가장 최근 하와이 사진 즐겨찾기 취소해줘 | Rule 2 | X | O | 신규 패스 룰 추가(Case 2) |
| 가장 최근 하와이 사진 자동 보정해줘 | Rule 3 | O | X | 기존 패스 룰 삭제(Case 3) |
| 가장 최근 하와이 사진 정보 보여줘 | Rule 4 | O | X | Conflict(Case 4) |
| Rule 5 | X | O | Conflict |
표 1에서 VER_1.0과 VER_2.0은 어플리케이션의 버전에 따라 지원하는 패스 룰이 바뀌는 예이다. 패스 룰은 상태(state)의 집합으로 “갤러리 실행해줘”와 같은 사용자 입력을, 해당 앱/서비스를 사용하여, 처리하는 완전한 행위를 의미할 수 있다. 상태는 사용자의 행동(터치 등) 결과의 상태로 특정 스크린으로 이동한 상태를 의미할 수 있다.
표 1에서 Rule 1과 같이 두 가지 버전에 상관 없이 모두 지원하는 형태도 있으나, Rule 2와 같이 기존에 지원하지 않던 패스 룰이 어플리케이션의 버전이 바뀌면서 새롭게 지원되는 경우도 있고, 반대로 Rule 3과 같이 기존에 지원하던 패스 룰이 어플리케이션의 버전이 바뀌면서 삭제되는 경우도 있다.
표 1에서 Rule 4 및 Rule 5의 경우, “가장 최근 하와이 사진 정보 보여줘” 라는 동작에 해당되는 패스 룰이 버전에 따라 Rule 4 로 수행되던 경우가 다른 버전에서는 Rule 5로 수행되어야 하는 경우도 존재할 수 있다. 위와 같은 경우 사용자가 원하는 “가장 최근 하와이 사진 정보 보여줘”를 수행하기 위해서는 어플리케이션에서는 받아야 하는 패스 룰이 달라질 수 있다. 따라서 어플리케이션의 버전 정보에 따라 패스 룰의 추가, 삭제, 수정되는 경우가 발생할 수 있다. 패스 룰 정보를 기반으로 어플리케이션의 동작을 관리하는 지능형 에이전트의 경우, 사용자의 의도대로 어플리케이션을 수행하기 위해 해당 버전에 따른 패스 룰의 변화를 인지할 수 있다.
도 11은 본 발명의 다양한 실시예에 따른 NLU 모듈에서 발화를 처리하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따르면, 도 11에서 좌측의 모델(1110)은, 어플리케이션의 다양한 버전이 존재하지 않는 예시로서, 사용자가 발화(1111)를 하게 되면 이를 NLU 모듈(1113)에서 처리하여 발화의 의도(intent)를 파악하고 이러한 의도에 해당하는 패스 룰을 그 세트(1115)에서 선택할 수 있다.
본 발명의 다양한 실시예에 따르면, 도 11에서 우측의 모델(1120)은 패스 룰 선택 시 사용자의 발화와 함께 어플리케이션의 버전을 고려하는 모델로서, 사용자가 발화(1121)를 하게 되면 어플리케이션의 버전 정보(1122)가 발화(1121)와 함께 NLU 모듈(1123)로 전달될 수 있다. NLU 모듈(1123)은 버전 정보를 고려하여 여러 패스 룰 세트들(1125) 중 버전 정보(1122)에 해당하는 하나의 세트를 선택할 수 있다. NLU 모듈(1123)은 선택된 세트에서 사용자 의도에 대응하는 패스 룰을 선택할 수 있다.
도 12은 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 12을 참조하면, 동작 1201에서 전자 장치(1210)의 프로세서(예: 도 2의 150)는 입력 모듈(예: 도 2의 110)을 통해 어플리케이션 제어를 위한 사용자 입력(발화나 터치 입력)을 수신할 수 있다. 동작 1202에서 전자 장치(1210)의 프로세서는 지능형 에이전트로 제어가 가능한 전자 장치(1210)에 설치된 어플리케이션들의 각 버전 정보를 수집할 수 있다. 버전 정보뿐 아니라, 메타데이터로서 지역, 사업자 명 등 다양한 정보가 수집될 수 있다. 이렇게 추가적으로 수집된 정보는 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다. 동작 1203에서 전자 장치(1210)의 프로세서는 사용자 입력과 함께, 수집된 메타데이터(적어도 각 어플리케이션의 버전 정보를 포함)를 서버(1220)로 전송할 수 있다.
동작 1204에서 서버(1220)는 사용자 입력을 NLU 모듈로 보내어 사용자 의도를 분석하게 할 수 있다. 또한, 서버(1220)는 메타데이터를 패스 플래너 모듈로 보내어 패스 룰 세트 DB에서 메타데이터에 대응하는 패스 룰 세트를 선택하게 할 수 있다. 동작 1205에서 서버(1220)는 선택된 패스 룰 세트에서 사용자 의도에 일치하는 패스 룰을 선택하여 전자 장치(1210)로 전송할 수 있다. 한편, 선택된 패스 룰 세트에서 사용자 의도에 일치하는 패스 룰이 없거나 선택된 패스 룰이 해당 어플리케이션의 버전을 지원하지 못하는 경우, 서버(1220)는 패스 룰 대신, 사용자 입력을 처리할 수 없음을 의미하는 통보를 전자 장치로 전송할 수도 있다.
동작 1206에서 전자 장치(1210)의 프로세서는 서버(1220)로부터 수신된 패스 룰을 이용하여 어플리케이션의 동작을 제어할 수 있다.
도 13는 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 13를 참조하면, 본 발명의 다양한 실시예에 따르면, 전자 장치(1310)에서 실행 매니저 모듈(1311)은 전자 장치(1310)에 설치된, 실행 매니저 모듈(1311)에 의해 제어 가능한 어플리케이션들로부터 버전 정보들(1312)을 획득할 수 있다. 버전 정보들(1312)은 실행 매니저 모듈(1311)을 통해 지능형 에이전트(1313)로 버전 세트 형태, 즉 어플리케이션들의 각 버전 정보가 모여 있는 형태로 제공될 수 있다. 이 정보는, 사용자 입력과 함께 또는 사용자 입력이 서버(1320)로 전달된 후, 서버(1320)에 전달될 수 있다.
본 발명의 다양한 실시예에 따르면, 서버(1320)는 통신 모듈(1321), NLU 모듈(1322), 패스 플래너 모듈(1323) 및 패스 룰 세트 DB(1324)를 포함할 수 있다. NLU 모듈(1322)는 NLU 서비스 선택 모듈(1322a), DNLU(deep learning-based NLU) 모듈(1322b), 및 RNLU(rule-based NLU) 모듈(1322c)을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 서비스 선택 모듈(1322a)은, DNLU 모듈(1322b) 및 RNLU 모듈(1322c) 중 하나를, 사용자 입력을 분석할 모듈로서, 선택할 수 있다. 예컨대, 분석 모듈로서 RNLU 모듈(1322c)이 우선적으로 선택될 수 있다. 또는, 도메인의 종류, 의도의 종류, NLU 엔진의 변수 값, 발화의 종류, 또는 발화의 복잡도 중 어느 하나가 분석 모듈의 선택을 위한 기준으로서 사용될 수 있다. 또는, ASR 모듈(예: 도 4의 210)에 의해 생성된 텍스트 데이터의 크기(size)에 기초하여 두 모듈 중 하나가 분석 모듈로 선택될 수 있다. 예컨대, 크기가 기 정해진 기준치를 상회할 경우 DNLU 모듈(1322b)가 분석 모듈로 선택될 있다. 또한, NLU 서비스 선택 모듈(1322a)은 통신 모듈(1321)을 통해 전자 장치(1310)로부터 수신된 사용자 입력을 상기 선택된 분석 모듈로 보내어 패스 플래너 모듈(1323)에 의해 선택된 패스 룰 세트에서 사용자 입력에 대응하는 패스 룰을 선택하게 할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(1323)은 NLU 모듈(1322)을 통해 통신 모듈(1321)로부터 전자 장치(1310)로부터 수신된 버전 정보들을 수신하고, 버전 정보들로부터 전자 장치(1310)에 실행되는 어플리케이션들 각각의 버전을 인식할 수 있다. 패스 플래너 모듈(1323)은 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 패스 룰 세트 DB(1324)를 관리할 수 있다. 패스 플래너 모듈(1323)은 전자 장치(1310)에 설치된 어플리케이션의 버전 정보에 해당하는 패스 룰 세트를 그 DB(1324)에서 획득하여 상기 선택된 분석 모듈에 제공할 수 있다. 추가적으로, DB에서 패스 룰 세트들은 버전 정보뿐 아니라, 다른 정보(예: 지역, 사업자 명)별로 관리될 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(1323)과 패스 룰 세트 DB(1324)는 NLU 모듈(1322)와 하나의 모듈로 구현될 수 있다.
본 발명의 다양한 실시예에 따르면, 어플리케이션의 버전이 다르더라도 패스 룰 세트는 동일할 수 있다. 예를 들어, 아래 표 2와 같이, Gallery_2.1.0, Gallery_2.2.0, 및 Galley_2.3.0은 동일한 패스 룰 세트 “Galley_KOR_SKT_R1”를 가질 수 있다.
| 어플리케이션 _버전 | 어플리케이션 _지역_ 사업자 명 _패스 룰 세트 버전 |
| Galley_2.1.0 | Galley_KOR_SKT_R1 |
| Galley_2.2.0 | |
| Galley_2.3.0 | |
| Galley_2.4.0 | Galley_KOR_SKT_R2 |
본 발명의 다양한 실시예에 따르면, 사용자 입력에 대응하는 패스 룰을 확정하는 동작은 도메인 분류 모델(domain classifier model), 의도 분류 모델(intent classifier model) 및 파라미터 태거 모델(parameter tagger model)로 나뉠 수 있고, 이러한 모델들은 상기 선택된 분석 모듈에서 순차적으로 수행될 수 있다.
한 실시예에 따르면, RNLU 모듈(1322c)이 분석 모듈로서 선택되어 사용자 입력을 수신할 수 있다. 예컨대, 사용자 입력이 “엄마한테 늦는다고 문자 보내줘”인 경우, RNLU 서비스 모듈(1322c_1)은 사용자 입력에 대해 도메인 분류 모델(1322c_2)를 수행하여 SMS 어플리케이션을 도메인으로 결정할 수 있다. 다음으로, RNLU 서비스 모듈(1322c_1)은 사용자 입력에 대해 의도 분류 모델(1322c_3)을 수행(예컨대, 기 정해진 규칙(Rule)에 따라 텍스트 데이터에서 키워드(예: '문자', '전송')를 검색함으로써 문법적 및/또는 의미적 분석을 수행)하여 “문자 전송”을 사용자의 의도로 파악하고, 패스 플래너 모듈(1323)로부터 수신된, SMS 어플리케이션(결정된 도메인)의 패스 룰 세트에서 사용자 의도에 대응하는 패스 룰을 선택할 수 있다. 다음으로, RNLU 서비스 모듈(1322c_1)은 사용자 입력에 대해 파라미터 태거 모델(1322c_4)을 수행하여 사용자 입력에서 '늦는다(내용)'와 '엄마(수신처)'를 파라미터로 결정하고, 파라미터를 패스 룰과 함께 통신 모듈(1321)을 통해 전자 장치(1310)로 전송할 수 있다.
다른 실시예에 따르면, DNLU 모듈(1322b)이 분석 모듈로서 선택되어 사용자 입력을 수신할 수 있다. DNLU 서비스 모듈(1322b_1)은 사용자 입력에 대해 도메인 분류 모델(1322b_2), 의도 분류 모델(1322b_3; 예: 딥러닝에 기반한 문법적 및/또는 의미적 분석) 및 파라미터 태거 모델(1322b_4)를 순차적으로 수행하여, 도메인, 의도 및 파라미터를 결정하고, 상기 결정된 도메인의 패스 룰 세트에서 의도에 대응하는 패스 룰을 선택하고, 패스 룰과 함께 파라미터를 통신 모듈(1321)을 통해 전자 장치(1310)로 전송할 수 있다.
또 다른 실시예에 따르면, DNLU 모듈(1322b)와 RNLU 모듈(1322c)은 상호 연동하여 사용자 입력을 분석할 수 있다. 예를 들어, RNLU 모듈(1322c)이 도메인 분류와 파라미터 태깅을 수행하고, DNLU 모듈(1322b)가 의도 분류를 수행할 수 있다. 다른 예로서, RNLU 모듈(1322c)이 분석 모듈로서 우선적으로 선택되어 도메인을 결정한 후, 의도 분류 모델(1322c_3)를 수행하여 파악한 의도의 확률(사용자의 의도일 가능성을 나타내는 정도)이 미리 정해진 기준치를 밑돌 경우, DNLU 모듈(1322b)을 의도 분석 모듈로 결정하여 사용자 입력과 도메인을 DNLU 모듈(1322b)에게 전달할 수 있다. 이에 따라, DNLU 모듈(1322b)은 RNLU 모듈(1322c) 대신, 의도 분류 모델을 수행하여 최종적으로 패스 룰을 선택할 수 있다. 또 다른 예로서, RNLU 모듈(1322c)이 분석 모듈로서 우선적으로 선택되어 도메인을 결정한 후, 결정된 도메인이 다수인 경우 DNLU 모듈(1322b)을 의도 분석 모듈로 결정하여 사용자 입력과 도메인을 DNLU 모듈(1322b)에게 전달할 수 있다.버전이나 어플리케이션이 점점 증가할 경우, 패스 룰의 파편화 역시 증가할 수 있다. 이로 인해 패스 룰 확정을 위한 연산 량이 증가되고 사용자가 원하는 패스 룰이 선택될 가능성이 점점 낮아지는 등 통합 지능화 시스템의 운영이 더 어려워질 수 있다. 본 발명의 다양한 실시예는 도메인 분류자 모델과 파라미터 태거 모듈을 버전 별로 변화가 없도록 고정하고 의도 분류자 모델에 한해서만 버전 별로 변경함으로써 패스 룰 확정을 위한 연산 량을 줄어들게 할 수 있다.
도 14는 본 발명의 다양한 실시예에 따른, DNLU와 RNLU의 연동을 통해 사용자 입력을 처리하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따르면, 서버(1420)는 통신 모듈(1421), NLU 모듈(1422), 패스 플래너 모듈(1423) 및 패스 룰 세트 DB(1424)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 모듈(1422)은 DNLU 모듈(1422a)과 RNLU 모듈(1422b)을 포함할 수 있다. DNLU 모듈(1422a)은 도메인 분류 매니저(1422a_1), 의도 분류 매니저(1422a_2) 및 파라미터 태거(1422a_3)를 포함할 수 있다. RNLU 모듈(1422b)은 의도 분류 매니저(1422b_1), 파라미터 태거(1422b_2) 및 버전 매니저(1422b_3)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 버전 매니저(1422b_3)는 패스 플래너 모듈(1423)의 구성 요소일 수도 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(1423)과 패스 룰 세트 DB(1424)는 NLU 모듈(1422)과 하나의 모듈로 구현될 수 있다.
본 발명의 다양한 실시예에 따르면, 통신 모듈(1421)은 전자 장치(1410)로부터 사용자 입력을 수신하여 NLU 모듈(1422)로 전달할 수 있다. 통신 모듈(1421)은, 사용자 입력과 함께 또는 사용자 입력을 수신한 후, 전자 장치(1410)로부터 어플리케이션들의 각 버전 정보를 수신하여 NLU 모듈(1422) 또는 패스 플래너 모듈(1423)로 전달할 수 있다. 통신 모듈(1421)은 NLU 모듈(1422)의 의해, 사용자 입력 및 상기 버전 정보들에 기초하여, 선택된 패스 룰을 NLU 모듈(1422)로부터 전달 받아 전자 장치(1410)로 전송할 수 있다.
본 발명의 다양한 실시예에 따르면, DNLU 모듈(1422a)의 도메인 분류 매니저(1422a_1)는 사용자 입력의 도메인을 결정하여 DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)로 전달할 수 있다.
본 발명의 다양한 실시예에 따르면, DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)는 사용자 입력을 분석하여 사용자의 의도를 파악하고 의도에 대응하는 패스 룰의 후보로서 다수의 패스 룰들을 패스 룰 세트 DB(1424)에서 선택할 수 있다. DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)는 선택된 후보들을 RNLU 모듈(1422b)의 의도 분류 매니저(1422b_1)로 전달할 수 있다.
본 발명의 다양한 실시예에 따르면, RNLU 모듈(1422b)의 의도 분류 매니저(1422b_1)는 DNLU 모듈(1422a)로부터 전달받은 후보들을 규칙(rule) 기반의 의도 분류(intent classification) 기법을 통해 각 후보와 사용자 입력의 매칭(matching) 정도를 판단할 수 있다. 예컨대, RNLU 모듈(1422b)의 의도 분류 매니저(1422b_1)는 각 후보의 MQ(matching Quality)를 계산함으로써 각 후보의 사용자 입력 간의 패스 룰 매칭(path rule matching)의 정확도를 판단할 수 있다. 후보들 모두, MQ 레벨이 특정 임계치 이하인 경우, DNLU 모듈(1422a)에 패스 룰 매칭(path rule matching)을 요청할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 룰 매칭(path rule matching)의 요청에 반응하여, DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)는 딥러닝 기반의 의도 분류 기법을 통해 의도를 파악하고, 의도에 대응하는 패스 룰을 패스 룰 세트에서 선택할 수 있다. 여기서, 패스 룰 세트는 패스 플래너 모듈(1423)이 상기 버전 정보들에 기초하여 패스 룰 세트 DB(1424)로부터 선별한 것일 수 있다. 또한, 상기 요청에 반응하여, DNLU 모듈(1422a)의 파라미터 태거(1422a_3)는 사용자 입력으로부터 파라미터를 획득할 수 있다. DNLU 모듈(1422a)은 상기 요청에 따라 의도 분류 매니저(1422a_2)에 의해 선택된 패스 룰과 파라미터 태거(1422a_3)로부터 획득한 파라미터를 통신 모듈(1421)을 통해 전자 장치(1410)로 전송할 수 있다.
본 발명의 다양한 실시예에 따르면, 어떠한 후보의 MQ 레벨이 특정 임계치 이상인 경우, RNLU 모듈(1422b)의 버전 매니저(1422b_3)는 해당 후보가 전자 장치(1410)에 설치된 어플리케이션의 버전 정보에 해당하는 것인지 여부를 확인할 수 있다. 예를 들어, 후보가 어플리케이션의 버전을 지원 가능한 것으로 확인된 경우, 버전 매니저(1422b_3)는 후보를 사용자에게 전송할 패스 룰로 결정하고, 파라미터 태거(1422b_2)로부터 획득한 파라미터와 함께 전자 장치(1410)으로 전송할 수 있다. 후보가 어플리케이션의 버전을 지원 불가능한 것으로 확인된 경우, 버전 매니저(1422b_3)는 패스 룰 대신, 사용자 입력을 처리할 수 없음을 의미하는 통보를 전자 장치(1410)로 전송할 수도 있다. 이러한 통보 대신 다른 예로, 버전 매니저(1422b_3)는 지원 불가능한 패스 룰(후보) 대신, 다른 패스 룰을 전자 장치(1410)로 전송할 수도 있다. 예를 들어, 버전 매니저(1422b_3)는 상기 패스 룰(후보)를 전자 장치(1410)에 설치된 어플리케이션의 버전에 맞는 패스 룰로 변환하여 전자 장치(1410)로 전송할 수 있다. 여기서, 버전 변경을 위한 패스 룰 리스트는 버전 매니저(1422b_3)에 의해 패스 룰 세트 DB(1424) 또는 다른 저장소에 저장될 수 있다.
도 15은 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 15을 참조하면, 동작 1501에서 전자 장치(1510)의 프로세서(예: 도 2의 150)는 입력 모듈(예: 도 2의 110)을 통해 어플리케이션 제어를 위한 사용자 입력(발화나 터치 입력 등)을 수신할 수 있다. 동작 1502에서 전자 장치(1510)의 프로세서는 수신된 사용자 입력을 서버(1520)로 전송할 수 있다.
동작 1503에서 서버(1520)는 사용자 입력을 NLU 모듈(예: 도 4의 220)로 보내어 사용자 입력을 분석하여 도메인, 의도 및 파라미터를 획득하게 할 수 있다. 예컨대, 사용자의 요청이 “엄마한테 늦는다고 문자 보내줘”인 경우, 도메인은 SMS 어플리케이션으로, 의도는 “메시지 전송”로, 그리고 파라미터는 '늦는다(내용)'와 '엄마(수신처)”로 결정될 수 있다. 동작 1504에서 서버(1520)는 사용자 입력의 분석 결과로서 “도메인, 의도 및 파라미터”를 전자 장치(1510)에 전송할 수 있다.
동작 1505에서 전자 장치(1510)의 프로세서는 지능형 에이전트(예: 도 2의 151)로 제어 가능한, 전자 장치(1510)에 설치된 어플리케이션들 각각의 버전 정보들을 수집할 수 있다. 버전 정보들뿐 아니라, 메타데이터로서 지역, 사업자 명 등 다양한 정보가 수집될 수 있다. 이렇게 추가적으로 수집된 정보는 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다. 또한, 전자 장치(1510)에는 지능형 에이전트에 의해 제어 가능한 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 DB가 존재할 수 있다.
동작 1506에서 전자 장치(1510)의 프로세서는 수집된 메타데이터에 대응하는 패스 룰 세트들을 DB에서 획득할 수 있다. 동작 1507에서 전자 장치(1510)의 프로세서는 DB로부터 획득된 패스 룰 세트들 중 도메인에 대응하는 패스 룰 세트를 선택할 수 있다. 동작 1508에서 전자 장치(1510)의 프로세서는 선택된 패스 룰 세트에서 사용자 의도에 대응하는 패스 룰을 선택할 수 있다. 동작 1509에서 전자 장치(1510)의 프로세서는 선택된 패스 룰과 파라미터를 이용하여 어플리케이션의 동작을 제어함으로써 사용자의 요청을 수행할 수 있다.
도 16는 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 16를 참조하면, 본 발명의 다양한 실시예에 따르면, 전자 장치(1610)에서 실행 매니저 모듈(1611)은 전자 장치(1610)에 설치된, 실행 매니저 모듈(1611)에 의해 제어 가능한 어플리케이션들로부터 버전 정보들(1615)을 획득할 수 있다. 버전 정보들(1615)은 실행 매니저 모듈(1611)에서 버전 매니저 모듈(1614)로, 버전 세트 형태, 즉 어플리케이션들의 각 버전 정보가 모여 있는 형태로 제공될 수 있다. 버전 정보뿐 아니라, 메타데이터로서 지역, 사업자 명 등 다양한 정보가 수집될 수 있다. 이렇게 추가적으로 수집된 정보는 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(1610)에서 지능형 에이전트(1612)는 입력 모듈을 통해 수신된, 어플리케이션의 제어를 위한 사용자 입력을 통신 모듈(1616)을 통해 서버(1620)로 전송하여 분석하게 할 수 있다. 본 발명의 다양한 실시예에 따르면, 전자 장치(1610)에서 패스 플래너 모듈(1613)은 전자 장치(1610)에 설치되어 지능형 에이전트(1612)에 의해 제어 가능한 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 DB를 관리할 수 있다. 어떠한 실시예에 따르면, 패스 플래너 모듈(1613)은 전자 장치(1610)가 아닌, 외부 전자 장치 예컨대, 서버(1620)에 위치할 수도 있다.
본 발명의 다양한 실시예는, 전자 장치(1610)에서 패스 룰 세트 DB(1617)를 관리하고 이러한 DB(1617)를 이용하여 패스 룰을 확정함으로써, 예컨대 도 13의 서버(1320)와 비교해보면, 서버(1620)의 연산 량을 줄일 수 있고, 전자 장치(1610)에 설치된 어플리케이션의 버전이 바뀔 때마다 이를 서버(1620)에 등록하는 과정을 생략할 수 있으며, 따라서 서버(1620)를 효율적으로 관리하게 할 수 있다.
본 발명의 다양한 실시예에 따르면, 버전 매니저 모듈(1614)은 사용자 입력의 분석 결과로서 서버(1620)로부터 도메인, 의도 및 파라미터를 통신 모듈(1616)을 통해 수신할 수 있다. 버전 매니저 모듈(1614)는 실행 매니저 모듈(1611)로부터 수집된 버전 정보들을 패스 플래너 모듈(1613)로 보내어 대응하는 패스 룰 세트들을 DB에서 획득하게 할 수 있다. 또한, 버전 매니저 모듈(1614)는 상기 도메인을 패스 플래너 모듈(1613)로 보내어 상기 획득된 패스 룰 세트들에서 상기 도메인에 해당하는 하나의 세트를 선택하게 할 수 있다. 또한, 버전 매니저 모듈(1614)은 패스 플래너 모듈(1613)로 사용자 의도를 보내어 상기 선택된 하나의 패스 룰 세트에서 하나의 패스 룰을 선택 즉, 확정하게 할 수 있다. 또한, 버전 매니저 모듈(1614)은 확정된 패스 룰과 함께 파라미터를 실행 매니저 모듈(1611)로 보낼 수 있다. 이에 따라 실행 매니저 모듈(1611)은 수신된 패스 룰 및 파라미터를 이용하여 어플리케이션을 제어함으로써 사용자 입력에 대응하는 동작을 실행할 수 있다.
본 발명의 다양한 실시예에 따르면, 버전 매니저 모듈(1614) 및 패스 플래너 모듈(1613)에 의해 확정된 패스 룰은 실행 매니저 모듈(1611)에서 어플리케이션의 제어를 위한 패스 룰로 활용될 수 있다. 사용자 의도에 정확히 매칭되는 패스 룰이 해당 세트에 없는 경우, 지능형 에이전트(1612)는 사용자 입력에 대응하는 어플리케이션의 동작을 수행할 수 없음을 출력 모듈(예: 스피커(130), 디스플레이(120))을 통해 사용자에게 알려주거나 사용자 입력에 유사한 힌트를 사용자에게 알려줄 수 있다.
본 발명의 다양한 실시예에 따르면, 서버(1620)는 통신 모듈(1621) 및 NLU 모듈(1622)를 포함할 수 있다. NLU 모듈(1622)는, NLU 서비스 선택 모듈(1622a), DNLU 모듈(1622b), 및 RNLU 모듈(1622c)을 포함할 수 있는데, 각 모듈은 도 13의 각 모듈과 동일한 기능을 수행할 수 있다.
도 17는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 관리하는 동작을 설명하기 위한 도면이다.
도 17를 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(1700)에 설치된 어플리케이션(1710)은 버전 관리에 필요한 정보를 저장소(1720)에 저장할 수 있다. 예를 들어, 어플리케이션(1710)은 자신의 버전을 특정 포멧의 파일로 저장소(1720)에 저장할 수 있다. 해당 파일에는 어플리케이션의 이름, 어플리케이션의 버전, 혹은 패키지(package) 명 등의 정보가 포함될 수 있다.
본 발명의 다양한 실시예에 따르면, 실행 매니저 모듈(1730)은, 전자 장치(1700)에 설치된 모든 어플리케이션들로부터 각각의 버전 정보를 취합할 수 있다. 예를 들어, 실행 매니저 모듈(1730)은, 첫 실행 시에, 버전 정보를 포함하는 메타데이터를 저장소(1720)로부터 취합할 수 있다. 어플리케이션이 설치(install), 업데이트(update), 혹은 삭제(delete) 될 때 해당 메타데이터가 실행 매니저 모듈(1730)로 취합될 수도 있다. 또한, 심(SIM) 카드가 변경될 때, 어플리케이션의 메타데이터가 실행 매니저 모듈(1730)로 취합될 수 있다.
예를 들어, 지능형 에이전트에 의해 제어 가능한 어플리케이션은 “androidNanifest.xml”의 메타데이터에 “PathRuleAppName”을 표기할 수 있다. 단일 패키지 내 에이전트 지원 가능한 어플리케이션이 여럿인 경우 메타데이터 내에 콤마 “,”로 구분하여 예컨대, “PathRuleAppName1”, “PathRuleAppName2”, “PathRuleAppName3”과 같이 표기 가능하다. 또한, 버전 정보는 PathRuleAppName, packageName, 또는 versionName 등으로 구성될 수 있다. 실행 매니저 모듈(1730)은, 최초 실행 시, “androidNanifest.xml”의 메타데이터와 패키지 정보를 검색하여 지능형 에이전트에 의해 제어 가능한 어플리케이션의 버전 정보를 취합 할 수 있다. 또한 어플리케이션이, Install/Update/Delete 시에 해당 어플리케이션 정보의 변경 사항을 저장소(1720)에 업데이트할 수 있고, SD 카드의 탈/부착 시에도 어플리케이션의 변경 사항이 실행 매니저 모듈(1630)에 의해 확인될 수 있다.
도 18은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 전체 동기화 동작을 설명하기 위한 도면이다.
도 18을 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(1800)에서 지능형 에이전트에 의해 제어 가능한 어플리케이션들(1810)은 전자 장치(1800)에 프리로드되거나 설치될 때 버전 관리에 필요한 정보를 특정 저장소(1820)에 파일 형태로 관리할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(1830)는, 전자 장치(1800)의 부팅 완료, 전자 장치(1800)로 SD 카드의 삽입 또는 전자 장치(1800)로부터 SD 카드의 제거를 인지(A)하면, 어플리케이션들의 전체 동기화를 실행 매니저 모듈(1840)에게 요청(B)할 수 있다. 지능형 에이전트(1830)는 요청(B)에 대한 응답으로서 어플리케이션들 각각의 버전 정보를 실행 매니저 모듈(1840)로부터 수신(C)하여 서버로 전송(D)할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(1840)은 요청(B)에 따라 저장소(1820)에 액세스하여 버전 정보들을 취합(E)하고 취합된 정보를 지능형 에이전트(1830)로 전송(C)할 수 있다.
도 19은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 부분 동기화 동작을 설명하기 위한 도면이다.
도 19을 참조하면, 본 발명의 다양한 실시예에 따른, 지능형 에이전트에 의해 제어 가능한 어플리케이션들(1910)은 전자 장치(1900)에 프리로드되거나 설치될 때 버전 관리에 필요한 정보를 특정 저장소(1920)에 파일 형태로 관리할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(1930)는, SIM 카드의 변경 또는 에이전트의 최초 실행을 인지(A)하면, 어플리케이션들의 부분 동기화를 실행 매니저 모듈(1940)에게 요청(B)할 수 있다. 지능형 에이전트(1930)는 요청(B)에 대한 응답으로서 어플리케이션들 각각의 버전 정보를 실행 매니저 모듈(1940)로부터 수신(C)하여 서버로 전송(D)할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(1940)은 요청(B)에 반응하여 어플리케이션들(1910)에게 버전 정보의 업데이트를 요청(E)할 수 있다. 어플리케이션들(1910) 중 버전 정보가 변경된 어플리케이션은 요청(E)에 응답할 수 있다. 이에 따라 실행 매니저 모듈(1940)은 저장소(1920)에 액세스하여 응답을 한 어플리케이션의 버전 정보를 취합(F)하고 취합된 정보를 지능형 에이전트(1930)로 전송(C)할 수 있다.
도 20은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 인터렉션(interaction) 동기화 동작을 설명하기 위한 도면이다.
도 20을 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(2000)에 설치된 어플리케이션(2010)은 자신의 변경 사항(설치, 업데이트 또는 삭제)을 실행 매니저 모듈(2020)에 통보(A)할 수 있다. 또한, 어플리케이션(2010)은 버전 관리에 필요한 정보로서 상기 변경 사항을 특정 저장소(2030)에 파일 형태로 저장(B)할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(2020)은, 인터렉션 동기화 동작으로서, 통보(A)에 반응하여 저장소(2030)에 액세스하여 어플리케이션(2010)의 버전 정보를 읽어 와(C) 지능형 에이전트(2040)로 전송(D)할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(2040)는 실행 매니저 모듈(2020)로부터 수신된 버전 정보를 서버로 전송(E)할 수 있다.
도 21는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 업데이트하는 동작을 설명하기 위한 도면이다.
도 21를 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(2110)에서 지능형 에이전트(2111)는 서버(2120)로부터 어플리케이션의 버전 정보를 수신(A)할 수 있다. 예컨대, 수신(A)된 버전 정보는 에이전트 서비스의 지원 가능한 버전 정보를 포함할 수 있다. 예를 들어, 어플리케이션은, Version 2.0 이상인 경우, 지능형 에이전트(2111)에 의해 제어 가능하고 그 보다 아래 버전인 경우 지능형 에이전트(2111)에 의한 제어가 불가능할 수 있다. 또한, 수신(A)된 버전 정보는 해당 어플리케이션의 최신 버전 정보를 포함할 수도 있다. 한편, 에이전트 서비스의 지원 가능한 버전 정보는 서버(2120)가 아닌, 해당 어플리케이션과 관련된 데이터로서 전자 장치(2110)에 저장된 것일 수 있고, 지능형 에이전트(2111)는 이러한 데이터를 참조하여 전자 장치(2110)에 설치된 해당 어플리케이션의 버전이 에이전트 서비스를 지원 가능한 버전인지 여부를 파악할 수 있다.
지능형 에이전트(2111)는 전자 장치(2110)에 설치된 어플리케이션(2112)의 버전 정보를 실행 매니저 모듈(2113)를 통해 수집(B)할 수 있다. 지능형 에이전트(2111)는 수신(A)된 것과 수집(B)된 것의 비교를 통해 어플리케이션(2112)의 버전이 최신 버전인지 여부를 파악할 수 있다. 또한, 지능형 에이전트(2111)는 상기 비교를 통해 어플리케이션(2112)의 업데이트가 필요한지 여부를 파악할 수 있다. 예컨대, 지능형 에이전트(2111)는, 지능형 에이전트(2111)에 의해 제어 가능한 최소한의 버전이 Version 2.0인데, 전자 장치(2110)에 설치된 어플리케이션(2112)의 버전이 Version 1.0인 경우, 어플리케이션(2112)의 업데이트가 필요한 것으로 결정할 수 있다.
본 발명의 다양한 실시예에 따른 업데이트 모듈(2114)은 지능형 에이전트(2111)의 어플리케이션(2112)에 대한 업데이트 요청을 수신(C)할 수 있다. 예컨대, 업데이트 모듈(2114)은 업데이트 요청의 응답으로서 외부 전자 장치(예: 어플리케이션 제공 서버)로부터 어플리케이션(2112)의 최신 버전을 다운로드하여 어플리케이션(2112)을 업데이트할 수 있다.
본 발명의 다양한 실시예는, 상술한 바와 같이 어플리케이션(2112)을 업데이트함으로써 어플리케이션의 버전 파편화를 방지할 수 있다. 또한, 본 발명의 다양한 실시예는, 어플리케이션(2112)을 자동으로 업데이트 함으로써 어플리케이션(2112)의 기능을 지능형 에이전트(2111)로 제어할 수 있도록 한 에이전트 서비스를 사용자에게 제공할 수 있다.
본 발명의 다양한 실시예에 따르면, 지능형 에이전트(2111)에서 제어 가능한 모든 어플리케이션의 버전을 통합 관리하여 한꺼번에 버전 업데이트를 실시하거나 일부 어플리케이션의 업데이트를 실시하는 것이 가능하다.
본 발명의 다양한 실시예에 따르면, 지능형 에이전트(2111)를 최초 구동 할 때 특정 어플리케이션의 버전이 에이전트 서비스를 지원하지 못하는 버전인 경우 에이전트 서비스를 지원하는 최신 버전으로 어플리케이션의 버전 업데이트를 먼저, 업데이트 모듈(2114)에서 수행한 후 에이전트 서비스가 개시될 수 있다.
도 22은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보에 기초한 에이전트 서비스를 위한 서버의 동작들을 설명하기 위한 흐름도이다.
도 22을 참조하면, 동작 2201에서 서버(예: 도 2의 200)는 전자 장치(예: 도 2의 100)로부터 수신된 사용자 입력을 NLU 모듈(예: 도 4의 220)로 보내어 도메인 분류를 수행하게 할 수 있다. NLU 모듈에서는 사용자 입력을 분석함에 있어 먼저, 사용자 입력의 도메인 분류를 수행할 수 있다. 이는 사용자 입력이 어떠한 도메인에 속하는지 판단하는 과정일 수 있다.
동작 2202에서 서버는 사용자 입력의 도메인을 패스 플래너 모듈(예: 도 4의 230)로 전달하여 도메인에 해당하는 어플리케이션의 버전 정보를 선택하게 할 수 있다. 즉, 패스 플래너 모듈은 전자 장치로부터 수신된 어플리케이션들의 버전 정보들 중 상기 도메인에 해당하는 어플리케이션의 버전 정보를 선택할 수 있다. 예컨대, 전자 장치로부터 수신된 버전 정보는 Call Application ver 1.1, Health Application ver 2.1, SMS Application ver 4.0인데, 이들 중 상기 도메인에 해당하는 버전 정보는 SMS Application ver 4.0일 수 있다.
동작 2203에서 서버는 상기 선택된 버전 정보에 대응하는 패스 룰 세트를 DB에서 선택하게 패스 플래너 모듈을 제어할 수 있다. 예를 들어, 패스 플래너 모듈은 SMS Application ver 4.0 rule set을 선택할 수 있다. 전자 장치로부터 수신된 정보에는 버전 정보뿐 아니라 메타데이터로서 지역, 사업자 명 등 다양한 정보가 포함될 수 있다. 이러한 메타데이터는 상기 선택된 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다.
동작 2204에서 서버는 선택된 패스 룰 세트를 NLU 모듈로 보내어 의도 분류를 수행하여 사용자 입력에 해당하는 패스 룰을 선택하게 할 수 있다. 즉, NLU 모듈은 사용자 입력을 분석함에 있어, 사용자 입력의 도메인 분류 후 의도 분류를 수행할 수 있다. 이는 패스 플래너 모듈에서 사용자 입력의 도메인에 맞게 선택한 패스 룰 세트에서 사용자 의도에 해당하는 적어도 하나의 패스 룰을 선택하는 과정일 수 있다. 예를 들어, 사용자가 “문자 보내줘” 라고 발화를 하게 되면 NLU 모듈은 도메인 분류를 통해 해당 발화가 SMS 도메인에 속한 것으로 판단할 수 있다. 패스 플래너 모듈은 SMS 도메인에 해당하는 패스 룰 세트를 의도 분류를 위해 NLU 모듈에 제공할 수 있다. 예컨대, 패스 플래너 모듈은 SMS_패스 룰 세트들 중 전자 장치에 설치된 SMS 어플리케이션의 버전에 해당하는 패스 룰 세트를 NLU 모듈에 제공할 수 있다. NLU 모듈은 사용자 입력을 분석하여 사용자 의도를 파악하고 파악된 의도에 해당하는 패스 룰을 패스 플래너 모듈로부터 제공된 세트에서 확정할 수 있다.
동작 2205에서 서버는 파라미터 분류를 통해 사용자 입력으로부터 추출된 파라미터를 패스 룰과 함께 전자 장치로 전송함으로써 전자 장치가 어플리케이션의 동작을 실행하게 할 수 있다.
도 23은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 사용자 입력 및 어플리케이션 버전 정보가 패스 룰로 변경되어 가는 과정을 보여 주는 도면이다.
도 23을 참조하면, 본 발명의 다양한 실시예에 따른 지능형 에이전트(2301)는 사용자 입력 예컨대, 발화(A)를 도메인 분류 매니저(2302) 및 의도 분류 매니저(2303)로 전송할 수 있다. 또한, 지능형 에이전트(2301)는 어플리케이션들의 버전 정보들(B)을 버전 선택 모듈(2304)에 전송할 수 있다. 추가적으로, 지능형 에이전트(2301)는 메타데이터(C)를 패스 룰 세트 선택 모듈(2305)로 전송할 수 있다. 아래 표 3은 메타데이터(C)의 일 예시이다.
| Path Rule set name | Product | region | country | Sales code | App name | App version |
| Gallery_Dream_OTHERS_D1 | Sch-M380 | OTHERS | US | VZW | Gallery | 3.1.1 |
표 3을 보면, 메타데이터(C)는 어플리케이션의 버전 정보뿐 아니라 지역, 사업자 모델명 등 다양한 정보를 포함 할 수 있으며, 패스 룰 세트의 선택에 이용될 수 있다. 예를 들어, SMS 어플리케이션의 버전 정보가 동일하더라도, 통신 사업자에 따라 지원 가능한 패스 룰과 그렇지 않은 패스 룰 등의 차이점이 존재 할 수 있다. 메타데이터(C)로부터 어플리케이션의 버전 정보 외 다른 정보가 수집되고, 이는 패스 룰의 선택 시 고려될 수 있다.
본 발명의 다양한 실시예에 따른 도메인 분류 매니저(2302)는 발화(A)의 도메인(D)을 결정하여 버전 선택 모듈(2304) 및 ICM 선택 모듈(2306)로 전달할 수 있다.
본 발명의 다양한 실시예에 따른 버전 선택 모듈(2304)은 버전 정보들(B) 중 도메인(D)에 해당하는 버전 정보(E)를 선택할 수 있다. 즉, 지능형 에이전트(2301)가 예컨대, 전자 장치에 설치된 모든 어플리케이션들의 버전 정보를 전송하더라도, 도메인(D)이 예컨대, SMS 어플리케이션인 경우, 버전 선택 모듈(2304)은 SMS 어플리케이션의 버전 정보(E)만을 선별하여 패스 룰 세트 선택 모듈(2305)로 전달할 수 있다.
본 발명의 다양한 실시예에 따른 패스 룰 세트 선택 모듈(2305)은 패스 룰 세트 DB(2307)에서 버전 정보(E)에 해당하는 패스 룰 세트를 선택할 수 있다. 추가적으로, 패스 룰 세트 선택 모듈(2305)은 패스 룰 세트 선택 시 메타데이터(C)를 고려할 수 있다. 예를 들어, 패스 룰 세트 선택 모듈(2305)은 버전 정보(E)에 해당하는 패스 룰 세트들 중 메타데이터(C)(예: 지역 및 사업자 명)에 매칭된 패스 룰 세트(F)를 최종 선택하여 의도 분류 매니저(2303)로 전달할 수 있다.
본 발명의 다양한 실시예에 따른 ICM 선택 모듈(2306)은 도메인(D)을 이용하여 주어진 의도 분류 매니저(intent classification manager; ICM)들 중 하나의 ICM을 선택하여 그 식별 정보(G)를 의도 분류 매니저(2303)로 전달할 수 있다. 또한, 의도 분류 매니저(2303)는 식별 정보(G)에 해당 ICM을 이용하여 발화(A)에 대한 의도 분류를 수행함으로써, 패스 룰 세트(F)에서 사용자 의도에 대응하는 패스 룰(H)을 확정하여 지능형 에이전트(2301)로 전송할 수 있다.
일 실시예에 따르면, 지능형 에이전트(2301)은 사용자 단말의 구성이고 나머지(2302~2307)는 지능형 서버의 구성일 수 있다. 어떠한 실시예에서는 나머지(2302~2307) 중 적어도 일부가 사용자 단말에 구비될 수도 있다.
도 24는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템의 서버에서 버전 별로 패스 룰 세트를 추출하는 동작을 설명하기 위한 도면이다.
도 24를 참조하면, 본 발명의 다양한 실시예에 따른 서버(2400)는 NLU 서비스 선택 모듈(2410), 통신 모듈(2420), 패스 플래너 모듈(2430), DNLU 모듈(2440), RNLU 모듈(2450), 및 패스 룰 세트 DB(2460)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 서비스 선택 모듈(2410)은 DNLU 모듈(2440) 및 RNLU 모듈(2450) 중 하나를, 사용자 입력을 분석할 모듈로서, 선택할 수 있다. 또한, NLU 서비스 선택 모듈(2410)은 어플리케이션들의 각 버전 정보를 통신 모듈(2420)을 통해 전자 장치(예: 도 1의 100)로부터 수신할 수 있다. NLU 서비스 선택 모듈(2410)은 어플리케이션들의 각 버전 정보를 패스 플래너 모듈(2430)로 보내어 대응하는 패스 룰 세트를 선택하여 상기 선택된 분석 모듈로 전송하게 할 수 있다. 또한, NLU 서비스 선택 모듈(2410)은 통신 모듈(2420)을 통해 전자 장치로부터 수신된 사용자 입력을 상기 선택된 분석 모듈로 보내어 패스 플래너 모듈(2430)에 의해 선택된 패스 룰 세트에서 사용자 입력에 대응하는 패스 룰을 선택하게 할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(2430)은 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 패스 룰 세트 DB(2460)를 관리할 수 있다. 패스 플래너 모듈(2430)은 전자 장치에 설치된 어플리케이션의 버전 정보에 해당하는 패스 룰 세트를 그 DB(2460)에서 획득하여 상기 선택된 분석 모듈에 제공할 수 있다. 추가적으로, DB(2460)에서 패스 룰 세트들은 버전 정보뿐 아니라, 다른 정보(예: 지역, 사업자 명)별로 관리될 수 있다.
본 발명의 다양한 실시예에 따르면, DNLU 모듈(2440)에서 사용자 입력에 대응하는 패스 룰을 확정하는 동작은 도메인 분류 모델(예: 도 13의 1322b_2), 의도 분류 모델(예: 도 13의 1322b_3) 및 파라미터 태거 모델(예: 1322b_4)로 나눌 수 있고, 이러한 모델들은 순차적으로 수행될 수 있다.
본 발명의 다양한 실시예에 따르면, RNLU 모듈(2450)에서 사용자 입력에 대응하는 패스 룰을 확정하는 동작은 도메인 분류 모델(예: 1322c_2), 의도 분류 모델(예: 1322c_3) 및 파라미터 태거 모델(예: 1322c_4)로 나눌 수 있고, 이러한 모델들은 순차적으로 수행될 수 있다. 여기서, 적어도 하나의 동작(예: 의도 분류 동작)은 DNLU 모듈(2440)에서 수행될 수도 있다.
어플리케이션의 종류가 점점 다양해지고 버전 업그레이드됨에 따라 패스 룰의 파편화가 증가할 수 있다. 이로 인해 패스 룰 확정을 위해 급속히 늘어나는 연산량이 통합 지능화 시스템에서 부담으로 작용할 수 있다. 이는 또한 연산 결과의 속도의 저하를 불러 올 수 있다. 또한 버전에 의한 파편화가 심해지면 이에 따라 정확한 패스 룰을 선택하는 확률 역시 반비례하여 저하될 수 있다. 다양한 어플리케이션의 다양한 버전을 관리하기 위한 본 발명의 다양한 실시예에 따르면, 도메인 분류 모델(예: 2442 또는 2452)에서 도메인은 어플리케이션의 버전이 변하더라도 바뀌지 않고 고정적으로 운영될 수 있다. 파라미터 태거 모델(예 2444 또는 2454)에서 파라미터 역시, 사용자 입력에 따라 달라지긴 하겠으나, 어플리케이션의 버전이 변하더라도 바뀌지 않고 고정적으로 운영될 수 있다. 의도 분류 모델(예: 2443 또는 2453)에서 의도는 어플리케이션의 버전에 따라 바뀔 수 있다. 예컨대, 패스 룰 세트들은 도메인 별로 하나의 슈퍼 세트(superset)로 관리될 수 있다. 또한, 하나의 슈퍼 세트에서 패스 룰 세트들은 어플리케이션의 버전 별로 구분되는 복수의 서브 세트((subset)들로 관리될 수 있다. 따라서, DNLU 서비스 모듈(2441) 또는 RNLU 서비스 모듈(2451)은 의도에 대응하는 패스 룰을 지원하는 서브 세트와 지원하지 않은 서브 세트를 어플리케이션의 버전 정보를 참고하여 구분할 수 있다. 또한, DNLU 서비스 모듈(2441) 또는 RNLU 서비스 모듈(2451)은 어플리케이션의 버전 정보에 해당하는 서브 세트에서 의도에 대응하는 패스 룰을 선택할 수 있다.
도 25은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 의도 분류 동작을 설명하기 위한 도면이다.
도 25을 참조하면, 본 발명의 다양한 실시예에 따른 지능형 에이전트(2510)는 사용자 입력으로서 사용자의 발화와 어플리케이션의 버전 정보를 도메인 분류 매니저(2520)로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 도메인 분류 매니저(2520)는 사용자 입력의 도메인을 결정할 수 있다. 결정된 도메인에 해당하는 패스 룰, 파라미터 그리고 버전 별 지원 여부를 나타내는 정보는 예컨대, 지능형 서버에 의해 아래 표 6와 같이 정리되어 관리될 수 있다. 아래 표 4에서 KT와 SKT는 통신 사업자 명을 지칭할 수 있다. 예컨대, 해당 도메인의 어플리케이션은 Version 1.0에서는 통신 사업자와 무관하게 동일한 패스 룰이 적용될 수 있으나, Version 1.1에서는 해당 전자 장치가 가입된 통신 사업자에 따라 적용되는 패스 룰이 다를 수 있다.
| 도메인 | 발화 | 패스 룰 | 파라미터 | Version 1.0 | Version 1.1_KT | Version 1.1_SKT |
| 문자 서비스 |
웃고 있는 이모티콘 문자로 보내줘 | R1 | st1 | O | X | O |
| 곤란한 웃음 이모티콘 문자로 보내줘 | R2 | st2 | O | X | O | |
| 큰 웃음 이모티콘 문자로 보내줘 | R3 | st3 | O | X | X | |
| 현금 이모티콘 문자로 보내줘 | R4 | st4 | O | O | X |
표 4에 나타낸 바와 같이, 도메인은 해당 어플리케이션의 버전 별로 변하지 않고 고정될 수 있다. 따라서 도메인 분류 매니저(2520)에서 사용자 입력의 도메인이 문자 서비스로 결정되면, 도메인이 '문자 서비스'로 동일한 패스 룰들(R1, R2, R3, R4)이 의도 분류를 위해 선별될 수 있다.
본 발명의 다양한 실시예에 따른 의도 분류 매니저(2530)는 사용자 입력을 분석하여 의도를 파악하고 의도에 해당하는 패스 룰을 선택할 수 있다. 패스 룰 선택 시 버전 정보가 고려될 수 있다. 예를 들어, 의도 분류 매니저(2530)는 지능형 에이전트(2510)로부터 수신된 버전 정보가 Ver_1.1_SKT인 경우, 이를 지원하는 패스 룰 R2를 사용자 입력에 대응하는 패스 룰로 선택할 수 있다. 만약 수신된 버전 정보가 Ver_1.1_KT인 경우, 상기 선택된 패스 룰 R2는 해당 어플리케이션의 버전에서 지원되지 않는 것이므로, 사용자 입력에 대응하는 에이전트 서비스가 이루어질 수 없음을 나타내는 메시지가 사용자에게 보여주는 등의 처리가 수행될 수 있다.
본 발명의 다양한 실시예에 따른, 파라미터 태거(2540)는 사용자 입력에서 파라미터를 추출하여 의도 분류 매니저(2530)에 의해 선택된 패스 룰에 태깅(tagging)할 수 있다. 파라미터는 각각의 패스 룰에 대해 변하지 않는 고정 값을 가질 수 있다. 예컨대, 패스 룰 R2가 선택될 경우, 'st2(웃고 있는 이모티콘)'이 R2에 태깅될 파라미터로서 선택될 수 있다. 최종적으로, 패스 룰 R2와 이에 태깅된 파라미터는 실행 매니저 모듈(2550)로 전달되어 어플리케이션의 동작이 실행될 수 있다.
일 실시예에 따르면, 지능형 에이전트(2510)와 실행 매니저 모듈(2550)은 사용자 단말의 구성이고 나머지(2520~2540)는 지능형 서버의 구성일 수 있다. 어떠한 실시예에서는 나머지(2520~2540) 중 적어도 일부가 사용자 단말에 구비될 수도 있다.
도 26는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 일례를 설명하기 위한 도면이다.
도 26를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치는 사용자 입력으로서 사용자의 발화 예컨대, “웃고 있는 이모티콘 문자로 보내줘”를 입력 모듈을 통해 수신할 수 있다. 전자 장치는 발화를 텍스트(2610)로 변환하여 디스플레이에 표시할 수 있다. 사용자 입력(2611)은 지능형 서버(2620)로 전달되어 매칭되는 패스 룰이 찾아지게 되는데, 이를 위해 전자 장치에 설치된 SMS 어플리케이션의 버전 정보 예컨대, “SMS ver_1.1_SKT(2612)”가 지능형 서버(2620)로 전달될 수 있다. SMS 어플리케이션의 버전 정보뿐 아니라, 전자 장치에 설치된, 지능형 에이전트로 제어 가능한 모든 어플리케이션들의 버전 정보가 지능형 서버(2620)로 전송될 수도 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(2620)는 해당 발화에 매칭되는 패스 룰을 검색할 수 있다. 패스 룰 검색할 때 버전 정보 “SMS ver_1.1_SKT”가 고려되며 예컨대, 표 4에 나타낸 바와 같이, “SMS ver_1.1_SKT”를 지원하는 R1이 발화에 매칭되는 패스 룰로 확정될 수 있다. 지능형 서버(2620)는 확정된 패스 룰(2621)과 이에 매칭되는 파라미터(2622)(예: st1(웃고 있는 이모티콘))를 전자 장치로 전송할 수 있다. 전자 장치는 수신된 패스 룰과 파라미터에 기반하여 어플리케이션을 제어하여 해당 실행 화면(2630)을 디스플레이에 표시할 수 있다.
도 27는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 다른 예를 설명하기 위한 도면이다.
도 27를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치는 사용자 입력으로서 사용자의 발화 예컨대, “웃고 있는 이모티콘 문자로 보내줘”를 입력 모듈을 통해 수신할 수 있다. 전자 장치는 발화를 텍스트(2710)로 변환하여 디스플레이에 표시할 수 있다. 사용자 입력(2711)은 지능형 서버(2720)로 전달되어 매칭되는 패스 룰이 찾아지게 되는데, 이를 위해 전자 장치에 있는 어플리케이션의 버전 정보 예컨대, “SMS ver_1.1_KT”(2712)가 지능형 서버(2720)로 전달될 수 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(2720)는 발화에 매칭되는 패스 룰을 검색할 수 있다. 예컨대, 표 4를 참조하면, R1이 발화에 매칭되는 패스 룰로 검색될 수 있다. 지능형 서버는 검색된 R1이 “SMS ver_1.1_KT”를 지원하지 못하는 패스 룰인 것으로 결정할 수 있다. 이에 따라 지능형 서버(2720)는 사용자 입력을 처리할 수 없음을 의미하는 통보(2721)를 전자 장치로 전송할 수 있다. 전자 장치는 통보(2721)와 관련된 메시지(2730)를 디스플레이에 표시할 수 있다. 추가적으로, 전자 장치는 유사한 다른 명령어를 디스플레이를 통해 제시하여 사용자가 수행할 수 있도록 하거나, 혹은 소프트웨어 업그레이드 등을 통해 해당 기능이 수행 가능하다면, 해당 어플리케이션의 버전 업그레이드 등을 디스플레이를 토해 사용자에게 제시할 수도 있다.
본 발명의 다양한 실시예에 따르면, 의도는 사용자가 실행하기를 원하는 특정 패스 룰이라 할 수 있다. 예를 들어, 표 4를 참조하면, 사용자가 원하는 특정 기능이 4개 있다고 가정해보자. 해당 기능이 “웃고 있는 이모티콘 문자로 보내줘”,”곤란한 웃음 이모티콘 문자로 보내줘”, “큰 웃음 이모티콘 문자로 보내줘”,”현금 이모티콘 문자로 보내줘”라고 하면, 각각의 기능에 해당하는 패스 룰이 R1, R2, R3, R4가 존재할 수 있다. 해당 패스 룰은 상태(state)들의 실행 순서로 구성될 수 있다.
본 발명의 다양한 실시예에 따른 의도 분류 매니저는 해당 의도 중 사용자가 원하는 기능 즉, 패스 룰이 어떠한 것인지 구분하는 기능을 수행할 수 있다. 의도 분류 매니저에서 의도는 어플리케이션의 버전에 따라 바뛸 수 있으며 하나의 도메인에 속하는 의도는 슈퍼 세트 형태로 되어 있고 각각의 버전마다 지원하는 패스 룰과 지원하지 않는 패스 룰이 서브 세트로 존재할 수 있다. 따라서, 의도는 버전에 따라 지원하는 패스 룰과 지원하지 않는 패스 룰로 구분되어 저장될 수 있다.
본 발명의 다양한 실시예에 따르면, 도메인은 서로 유사한 의도들의 집합이라고 할 수 있다. 예를 들어, 문자 서비스라는 도메인에 SMS, 카카오톡, 라인, facebook masanger 등의 어플리케이션이 속할 수 있다. 예컨대, SMS 어플리케이션은 그 버전이 1.0에서 2.0으로 바뀌더라도 그 도메인은 예컨대, '문자 서비스'로 고정될 수 있다.
본 발명의 다양한 실시예에 따르면, 파라미터(슬롯)는 다음 상태(state)로 넘어가기 위한 조건, 해당 화면에서 사용자로부터 입력 받아야 할 정보를 의미할 수 있다. 예를 들어, 파라미터들은 사용자가 누군가에게 메시지를 보내기 위해서는 필수적인(mandatory) 항목과 부수적인(optional) 항목으로 나눌 수 있다. 예컨대, 의도가 “메시지 전송”인 패스 룰에 태깅될 파라미터에 있어서, “수신인”은 다음 상태로 넘어가기 위한 조건으로서 필수 항목으로 분류될 수 있다. “본문”은 사용자로부터 입력 받아야 할 정보(즉, 메시지 내용)로서 필수 항목으로 분류될 수 있고, “첨부파일”은 부수적인 항목으로 분류될 수 있다. 수신인은 사용자의 이름 또는 전화번호가 될 수 있으며 본문은 여러 종류로 대체할 수 있다. 이러한 파라미터의 조건 등이 패스 룰 DB에 정의되어 어플리케이션은 이를 이용하여 동작의 다음 단계로 넘어갈 수 있는 필수 조건을 체크할 수 있다. 예컨대, 표 4을 참조하면, 파라미터는 패스 룰에 종속되어 변하지 않는 값으로 설정될 수 있다.
아래 표 5는 의도가 “메시지 전송(Message Send)”인 패스 룰에 태깅 가능한 파라미터들을 필수 항목(M)과 부수 항목(O)으로 분류하여 예시한다.
| Message Send | ||||
| Group 1 | Parameter | |||
| Group name | M/O | Logic | Parameter Name | M/O |
| Receiver | M | Radio | Contac Name | O |
| Phone Number | O | |||
| Mandatory | M | Plain | text | O |
| emoticon | O | |||
| Camera | O | |||
| image | O | |||
| video | O | |||
| audio | O | |||
| calendar | O | |||
| memo | O | |||
| contact | O | |||
| cloud server | O | |||
| Voice Recorder | O | |||
| Location | O | |||
| Slide show | O | |||
| Optional | O | Plain | Subject | O |
| Scheduled (date/time) | O | |||
인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식률이 향상되는 시스템이다
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(deep learning) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성될 수 있다.
요소기술들은, 예로, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함할 수 있다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함할 수 있다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함할 수 있다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함할 수 있다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 통합 지능형 시스템은 다양한 딥 러닝(deep learning) 기법을 활용한 NLU 즉, DNLU(deep NLU) 모듈을 지원할 수 있다. 본 발명의 다양한 실시예에 따른 DNLU 모듈은 사용자의 의도를 파악하여 패스 룰을 선택하기 위한 의도 분류 매니저로서, SICM(separate intent classification manager), CICM(conditional ICM), VLICM(version layered ICM), 또는 SVLICM(separate VLICM)을 포함할 수 있다. DNLU 모듈은 이러한 ICM들을 이용하여 사용자 입력에 대해 패스 룰을 선택하는 것을 학습할 수 있다. 학습되지 않는 패스 룰에 해당하는 사용자 입력이 사용자에 의해 DNLU 모듈로 들어오는 경우, DNLU 모듈은 지원하는 패스 룰들 중에 유사성이 높은 패스 룰을 결과 값으로 선택하여 사용자 단말로 전송할 수 있다. 대안적으로, DNLU 모듈은 패스 룰에 따른 어플리케이션의 동작이 사용자에게 이상 동작으로 인식될 가능성이 있으므로, 학습되지 않은 패스 룰에 해당하는 사용자 입력이 수신되면, 선택된 패스 룰을 사용자 단말로 전송하지 않고 해당 상태에 대한 메시지를 사용자 단말로 전송할 수도 있다.
도 28은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 패스 룰을 어플리케이션의 버전 별로 나눠서 학습시킨 복수의 SICM들을 포함할 수 있다.
도 28을 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(2810)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(2810)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 도메인 분류 매니저(2810)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 도메인 분류 매니저(2810)는 복수의 SICM들(2821, 2822, 2833) 중에서 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)에 해당하는 SICM에게 사용자 입력을 전송할 수 있다.
본 발명의 다양한 실시예에 따른 SICM들(2821, 2822, 2833)은 각각, 어플리케이션의 버전으로 식별되며, 각각, 패스 룰 세트를 정의할 수 있다. 예를 들어, 제 1 패스 룰 세트(2821a)는 어플리케이션의 버전이 Version 1.0일 때 생성된 것이고, 제 2 패스 룰 세트(2822a)는 어플리케이션의 버전이 Version 2.0으로 업그레이드될 때 생성된 것이며, 제 3 패스 룰 세트(2823a)는 어플리케이션의 버전이 Version 3.0으로 업그레이드될 때 생성된 것이다.
본 발명의 다양한 실시예에 따르면, 각각의 패스 룰 세트에서 패스 룰들은 해당 버전의 어플리케이션에서 (사용자 입력의 처리를) 지원하는 패스 룰과 지원 불가능한 패스 룰로 해당 SICM에 의해 구분되고 관리될 수 있다. 예를 들어, 제 1 패스 룰 세트(2821a)의 경우 패스 룰들 중 R4, R6는 지원 가능한 패스 룰이고, R5, R7-1, R7-2는 지원 불가능한 패스 룰이다. 제 2 패스 룰 세트(2822a)의 경우 R4, R5 및 R7-1은 지원 가능하고 나머지는 지원 불가능할 수 있다. 제 3 패스 룰 세트(2823a)의 경우 R4, R5 및 R7-2는 지원 가능하고 나머지는 지원 불가능할 수 있다.
일 실시예에 따라, 제 1 SICM(2821)이 도메인 분류 매니저(2810)를 통해 사용자 입력의 의도를 분석하기 위한 것으로 선택되고, 제 1 SICM(2821)에 의해 패스 룰 R4 또는 R6가 선택된다면, 패스 룰 R4 또는 R6는 사용자 단말로 전송될 수 있다. 예컨대, 도메인 분류 매니저(2810)에 의해 선택된 SMS 어플리케이션의 버전이 Version 1.0이어서 사용자 입력이 제 1 SICM(2821)로 전송되고, 제 1 SICM(2821)의 분석 결과 사용자 입력에 대응하는 패스 룰이 지원 가능한 R4 또는 R6일 수 있다. 그런데, 제 1 SICM(2821)의 분석 결과 사용자 입력에 대응하는 패스 룰이 지원 불가능한 R5, R7-1, 또는 R7-2가 선택된다면, 패스 룰은 사용자 단말로 전송되지 않고 다른 정보(예: 사용자 입력의 처리가 불가함을 나타내는 메시지 또는 사용자 입력의 처리를 위한 버전 업그레이드를 안내하는 메시지)가 사용자 단말로 전송될 수도 있다.
위와 같은 SICM을 이용한 패스 룰 선택 동작에 따르면, 버전 별로 다수의 의도 분류 매니저가 생성되기 때문에 DNLU의 학습 과정에서 버전 명을 함께 학습할 필요가 없다. 하지만, 해당 어플리케이션이 버전 업그레이드됨에 따라 의도 분류 매니저가 증가되는 바, 이는 DNLU 크기의 증가를 야기할 수 있다. 또한 크기가 커짐으로 인해 패스 룰 로딩 시간(path rule loading time)이 증가할 수 있다.
도 29은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 위한 분산 처리 구조를 설명하기 위한 도면이다.
지능형 에이전트로 제어 가능한 어플리케이션의 수가 증가하고 또한, 그 버전이 증가함에 따라 ICM이 계속 증가할 수 있다. 이에 따라, 본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 ICM을 도메인을 기준으로 여럿 SICM들로 나눠서, 물리적으로 다른 여러 서버들에 분산하여 운영할 수 있다.
도 29을 참조하면, 통합 지능화 시스템은 지능형 서버(2910), 복수의 SICM 서버들(2920, 2930, 2940, 2950) 및 선택 모듈(2960)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(2910)는 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다. 또한, 지능형 서버(2910)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 지능형 서버(2910)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 지능형 서버(2910)는 사용자 입력과 함께, 도메인 및 대응하는 버전 정보를 선택 모듈(2960)로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 선택 모듈(2960)은 도메인에 대응하는 SICM 서버를 선택하여 버전 정보와 사용자 입력을 전송할 수 있다. 선택 모듈(2960)은 지능형 서버(2910)의 한 구성이거나, 지능형 서버(2910)와 물리적으로 구분되는 별도의 서버에 위치할 수도 있다.
본 발명의 다양한 실시예에 따른 복수의 SICM 서버들(2920, 2930, 2940, 2950)은 도메인으로 식별될 수 있고, 각각, 어플리케이션의 버전으로 구분되는 복수의 SICM들을 구비할 수 있다. 또한, 복수의 SICM 서버들(2920, 2930, 2940, 2950)은 각각, 선택 모듈(2960)로부터 수신된 버전 정보와 사용자 입력에 기초하여 패스 룰을 선택하여 지능형 서버(2910)로 전송할 수 있다. 이에 따라 지능형 서버(2910)는 패스 룰과 함께 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 30은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 30을 참조하면, 동작 3001에서 사용자 단말(예: 도 1의 100)은 입력 모듈(예: 도 2의 110)을 통해 사용자 입력을 수신할 수 있다.
동작 3002에서 지능형 서버(예: 도 2의 200)는 도메인 분류 매니저를 이용하여 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다.
동작 3003에서 지능형 서버는 지능형 에이전트(예: 도 2의 151)에 의해 제어 가능한 모든 어플리케이션의 버전 정보들을 예컨대, 사용자 단말로부터 읽어 올 수 있다.
동작 3004에서 지능형 서버는 읽어 온 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택할 수 있다.
동작 3005에서 지능형 서버는 복수의 SICM들 중 상기 선택된 버전 정보에 대응하는 의도 분류 매니저를 패스 룰 선택을 위한 것으로 선택할 수 있다.
동작 3006에서 지능형 서버는 사용자 입력을 상기 선택된 의도 분류 매니저로 보내어 패스 룰을 선택하게 할 수 있다. 상기 선택된 의도 분류 매니저는 지능형 서버의 구성이거나 물리적으로 구분되는 별도의 서버에 위치할 수도 있다.
동작 3007에서 지능형 서버는 선택된 패스 룰과 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 31는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 패스 룰을 해당 패스 룰로 제어 가능한 어플리케이션의 버전과 함께 학습시킨 CICM을 포함할 수 있다. 따라서, CICM은 전술한 SICM과 비교하여 ICM의 학습량은 증가할 수 있고, DNLU의 크기는 감소할 수 있다
도 31를 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(3110)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(3110)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 도메인 분류 매니저(3110)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 도메인 분류 매니저(3110)는 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)를 사용자 입력과 함께 CICM(3120)에게 전송할 수 있다.
본 발명의 다양한 실시예에 따른 CICM(3120)은 복수의 패스 룰들을 구비할 수 있다. 패스 룰들은 각각, 해당 패스 룰로 제어 가능한 어플리케이션의 버전 정보와 함께 관리될 수 있다. 예를 들어, 도 31에 도시된 바와 같이, 패스 룰 R1으로 제어 가능한 어플리케이션의 버전은 V(version)1, V2 및 V3일 수 있다. CICM(3120)은 도메인 분류 매니저(3110)로부터 수신된 사용자 입력에 대한 의도 분류를 수행함으로써 사용자 입력에 해당하는 패스 룰을 선택할 수 있다. CICM(3120)은 선택된 패스 룰이 도메인 분류 매니저(3110)로부터 수신된 버전 정보에 해당하는 패스 룰인지 여부를 판단할 수 있다. 예컨대, 선택된 패스 룰이 R5-2이고 도메인 분류 매니저(3110)로부터 수신된 버전 정보가 V2인 경우, 패스 룰 R5-2는 해당 파라미터와 함께 사용자 단말로 전송될 수 있다. 도메인 분류 매니저(3110)로부터 수신된 버전 정보가 상기 선택된 패스 룰에 의해 지원 불가능한 경우, 선택된 패스 룰은 사용자 단말로 전송되지 않고 다른 정보(예: 사용자 입력의 처리가 불가함을 나타내는 메시지 또는 사용자 입력의 처리를 위한 버전 업그레이드를 안내하는 메시지)가 사용자 단말로 전송될 수도 있다.
위와 같은 CICM을 이용한 패스 룰 선택 동작에 따르면, 패스 룰과 버전의 조합으로 학습 데이터가 생성되기 때문에 의도 분류 매니저의 학습량이 증가할 수 있다. 이는 패스 룰과 버전이 추가될 때마다 의도 분류 매니저에 대한 학습이 이루어져야 하기 때문이다.
도 32은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 32을 참조하면, 동작 3201에서 사용자 단말(예: 도 1의 100)은 입력 모듈(예: 도 2의 110)을 통해 사용자 입력을 수신할 수 있다.
동작 3202에서 지능형 서버(예: 도 2의 200)는 도메인 분류 매니저를 이용하여 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다.
동작 3203에서 지능형 서버는 지능형 에이전트(예: 도 2의 151)에 의해 제어 가능한 모든 어플리케이션의 버전 정보들을 예컨대, 사용자 단말로부터 읽어 올 수 있다.
동작 3204에서 지능형 서버는 읽어 온 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택할 수 있다.
동작 3205에서 지능형 서버는 상기 도메인과 이에 해당하는 버전 정보를 CICM으로 보내서 패스 룰을 선택하게 할 수 있다. 여기서 CICM은 복수의 패스 룰들을 구비할 수 있다. 예를 들어, 패스 룰들은 도 31에 도시된 바와 같이, 각각, 해당 패스 룰로 제어 가능한 어플리케이션의 버전 정보와 함께 관리될 수 있다.
동작 3206에서 지능형 서버는 선택된 패스 룰과 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 33은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 패스 룰들을 어플리케이션의 버전에 따라 계층적으로 구성하여 학습시킨 VLICM을 포함할 수 있다. VLICM은 패스 룰을 버전과 함께 학습시키는 전술한 CICM과 비교하여 ICM의 학습량을 줄일 수 있다.
도 33을 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(3310)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(3310)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보 예컨대, V(version)2를 수신할 수 있다. 도메인 분류 매니저(3310)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보 예컨대, V2를 선택할 수도 있다. 도메인 분류 매니저(3310)는 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)(A)와 사용자 입력(B)을 VLICM(3320)으로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 VLICM(3320)은 사용자 입력(B)의 도메인에 속한 패스 룰들 예컨대, “R1, R2, R3, R4, R5, R6, R7-1 및 R7-2”를 사용자 입력(B)에 대응하는 후보 군으로서 선택할 수 있다. VLICM(3320)은 사용자 입력(B)을 분석하여 사용자의 의도를 파악하고, 상기 의도에 대응하는 패스 룰을 후보 군에서 선택할 수 있다. 예컨대, VLICM(3320)은 후보 군에서 R7-1 및 R7-2를 동일한 확률로 상기 의도에 가장 가깝다고 판단할 수 있다.
본 발명의 다양한 실시예에 따른 VLICM(3320)은 패스 룰들을, 버전 계층적으로, 지원 가능한 패스 룰과 지원 불가능한 패스 룰로 구분할 수 있다. 예를 들어, 버전 계층들은 어플리케이션의 버전 정보에 의해 식별될 수 있다. VLICM(3320)은 도메인 분류 매니저(3310)로부터 수신된 버전 정보 예컨대, V2에 대응하는 버전 계층 2를 선택하고, 상기 의도에 대응하는 것으로 선택된 패스 룰이 상기 선택된 버전 계층 2에서 지원 가능한 패스 룰인지 여부를 판단할 수 있다. 예컨대, VLICM(3320)은 상기 선택된 패스 룰 R7-1 및 R7-2 중 R7-1을 상기 선택된 버전 계층 2에서 지원 가능한 패스 룰로 선별하고, 이를 사용자 단말로 전송할 패스 룰로 확정할 수 있다.
도 34는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용하여 패스 룰을 선택하는 동작의 내부 구조를 설명하기 위한 도면이다.
도 34를 참조하면, 본 발명의 다양한 실시예에 따른 DNLU 모듈(3410)은 사용자 입력을 분석하여 사용자 의도를 파악하고 결과 물로서 패스 룰을 출력하도록 구성될 수 있다. 예를 들어, DNLU 모듈(3410)은 계층적으로 구성된 CNN(convolution neural network) 모듈(3411), 제 1 FCL(fully connected layer) 모듈(3412), 제 2 FCL 모듈(3413) 및 버전 계층 모듈(3414)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른, CNN 모듈(3411), 제 1 FCL 모듈(3412) 및 제 2 FCL 모듈(3413)에서는 도메인 분류 매니저(3420)으로부터 수신된 사용자 입력(A)을 단계적으로 분석하여 사용자의 의도를 인식하고, 패스 룰들 중 의도에 대응하는 패스 룰(B)을 출력할 수 있다. 상기 모듈들(3411, 3412, 3413) 중 하나 예컨대, 제 2 FCL 모듈(3413)은 상태(state) 정보를 참조할 수 있다.
본 발명의 다양한 실시예에 따른 버전 계층 모듈(3414)은 패스 룰들을, 버전 계층적으로, 지원 가능한 패스 룰과 지원 불가능한 패스 룰로 구분할 수 있다. 또한, 버전 계층 모듈(3414)은 사용자 입력의 도메인에 해당하는 어플리케이션의 버전 정보(C)를 도메인 분류 매니저(3420)로부터 수신할 수 있다. 버전 계층 모듈(3414)은 버전 정보(C)에 기초하여 제 2 FCL 모듈(3413)로부터 수신된 결과물을 필터링하도록 구성될 수 있다. 예를 들어, 버전 계층 모듈(3414)은 버전 정보(C)에 대응하는 버전 계층(D)을 선택하고, 패스 룰(B)이 버전 계층(D)에서 지원 가능한지 여부를 판단하여 그 결과 값(E)을 출력할 수 있다. 버전 계층 모듈(3414)에 의해 필터링되어 출력된 결과 값(E)은 소프트맥스 함수(softmax function; )에서 확률을 재조정한 후 최종 결과값으로 예컨대, 패스 룰(F)을 출력할 수 있다. 위 구조는 DNLU의 운영(running) 과정에 사용될 수 있고 DNLU의 학습 과정에서도 사용될 수 있다.
도 35은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 35을 참조하면, 동작 3501에서 사용자 단말(예: 도 1의 100)은 입력 모듈(예: 도 2의 110)을 통해 사용자 입력을 수신하여 지능형 서버(예: 도 1의 200)로 전송할 수 있다.
동작 3502에서 지능형 서버는 NLU 모듈(예: 도 4의 220)을 이용하여 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다.
동작 3503에서 지능형 서버는 지능형 에이전트(예: 도 2의 151)에 의해 제어 가능한 모든 어플리케이션의 버전 정보들을 예컨대, 사용자 단말과 통신을 통해, 획득할 수 있다.
동작 3504에서 지능형 서버는 획득된 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택할 수 있다.
동작 3505에서 지능형 서버는 버전 정보와 사용자 입력을 VLICM(예: 도 34의 3410)으로 보내어 패스 룰을 선택하게 할 수 있다.
동작 3506에서 지능형 서버는 선택된 패스 룰과 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 36는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SVLICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 VLICM을 버전을 기준으로 여럿 SVLICM들로 나눠서 운영할 수 있다.
도 36를 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(3610)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(3610)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 도메인 분류 매니저(3610)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 도메인 분류 매니저(3610)는 복수의 SVLICM(3620, 3630, 3640) 중에서 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)에 해당하는 SVLICM에게 사용자 입력을 전송할 수 있다.
본 발명의 다양한 실시예에 따른 선택 모듈(3650)은 도메인 분류 매니저(3610)로부터 수신된 버전 정보에 대응하는 SVLICM을 선택하여 버전 정보와 사용자 입력을 전송할 수 있다.
본 발명의 다양한 실시예에 따른 복수의 SVLICM들(3620, 3630, 3640)은 버전 계층 세트로 식별될 수 있다. 예컨대, 제 1 SVLICM(3620)은 버전 계층 세트 V1~V100을 가지고, 제 2 SVLICM(3630)은 버전 계층 세트 V101~V200을 가지며, 제 3 SVLICM(3640)은 버전 계층 세트 V201~300을 가질 수 있다. 선택 모듈(3650)은 도메인 분류 매니저(3610)로부터 수신된 버전 정보가 속한 버전 계층 세트를 갖는 SVLICM에게 버전 정보와 사용자 입력을 전송할 수 있다. 선택 모듈(3650)에 의해 선택된 SVLICM은 버전 정보와 사용자 입력에 기초하여 패스 룰을 선택할 수 있다.
도 37는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 토대로 사용자에게 힌트를 제공하는 동작을 그래픽 인터페이스로 보여 주는 도면이다.
도 37의 (a)를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치는 사용자에게 다양한 힌트를 지능형 에이전트의 대화 창을 통해 제공할 수 있다. 제공된 힌트들 중 사용자가 원하는 힌트 예컨대, “웃고 있는 이모티콘 문자로 보내줘”(3710)가 선택되면, 전자 장치는 선택된 힌트에 대응하는 패스 룰로 어플리케이션을 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 힌트는 사용자가 평소에 자주 사용하는 기능을 분석하여 제공될 수 있다. 제조사 쪽에서 신규 기능이 추가된 것을 사용자에게 소개하기 위한 힌트가 제공될 수도 있다. 사용자의 컨텍스트 정보를 기반으로 현재 사용자에게 필요한 힌트가 제공될 수도 있다.
본 발명의 다양한 실시예에 따르면, 힌트는 어플리케이션의 제어를 위한 패스 룰과 연관될 수 있다. 즉, 힌트에 대한 사용자의 선택에 의해 어플리케이션의 제어가 이루어질 수 있다. 따라서, 사용자에게 제공될 힌트는 어플리케이션의 버전에 따라 다를 수 있다. 예를 들어, 표 4을 참조하면, 어플리케이션의 버전이 Version 1.1_KT이거나 Version 1.1_SKT인 경우 도 37의 (a)에 도시된 바와 같이 “웃고 있는 이모티콘 문자로 보내줘”(3710)가 힌트로서 제공되고, Version 1.0인 경우 도 37의 (b)에 도시된 바와 같이 “큰 웃음 이모티콘 문자로 보내줘”(3720)가 힌트로서 제공될 수 있다.
도 38은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보를 토대로 힌트를 관리하는 동작을 설명하기 위한 도면이다.
도 38을 참조하면, 본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 사용자 단말(3810), 지능형 서버(3820) 및 힌트 제안 서버(3830)를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 사용자 단말(3810)은 지능형 에이전트(3811), 실행 매니저 모듈(3812), 힌트 표시 매니저(3813), 힌트 수집 모듈(3814) 및 로그/컨텍스트 수집 모듈(3815)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(3820)는 ASR 모듈(3821), NLU 모듈(3822), 패스 플래너 모듈(3823) 및 패스 룰 세트 DB(3824)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 제안 서버(3830)는 힌트 분석 모듈(3831), 컨텍스트 힌트 생성 모듈(3832), 재사용 힌트 생성 모듈(3833), 소개 힌트 생성 모듈(3834), 로그/컨텍스트 DB(3835) 및 힌트 DB(3836)를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(3811)는 어플리케이션의 제어를 위한 사용자 입력을 지능형 서버(3820)로 전송할 수 있다. 또한, 실행 매니저 모듈(3812)에 의해 수집된 어플리케이션의 버전 정보가 지능형 에이전트(3811)를 통해 지능형 서버(3820)로 전송될 수 있다. 지능형 에이전트(3811)는 버전 정보와 사용자 입력에 기초하여 지능형 서버(3820)에 의해 선택된 패스 룰과 파라미터를 실행 매니저 모듈(3812)로 전달할 수 있다. 이에 따라 실행 매니저 모듈(3812)은 패스 룰 및 파라미터에 기초하여 어플리케이션을 제어할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 수집 모듈(3814)은, 지능형 에이전트(3811)로부터 힌트 제공 요청이 수신될 경우, 힌트 제안 서버(3830)에 힌트를 요청하고, 이에 따라 수신된 힌트를 힌트 표시 매니저(3813)로 보내어 디스플레이에 표시하게 할 수 있다. 표시된 힌트들 중 사용자에 의해 선택된 힌트는 힌트 표시 매니저(3813)를 통해 지능형 에이전트(3811)에게 인식될 수 있다. 지능형 에이전트(3811)는 사용자에 의해 선택된 힌트를 사용자 입력으로서 지능형 서버(3820)로 전달할 수 있다. 이에 따라 힌트(즉, 사용자 입력)에 기초하여 지능형 서버(3820)에 의해 선택된 패스 룰이 지능형 에이전트(3820)를 통해 실행 매니저 모듈(3812)로 전달되고 결과적으로, 힌트에 기초한 해당 어플리케이션의 실행이 이루어질 수 있다.
본 발명의 다양한 실시예에 따른 로그/컨텍스트 수집 모듈(3815)은 로그(log) 정보와 컨텍스트(context) 정보를 수집하여 힌트 제안 서버(3830)로 전송할 수 있다. 여기서, 로그 정보는 패스 룰에 따른 어플리케이션의 실행 결과 로그, 사용자의 프로파일 정보(예: 성, 나이, 라이프 이벤트 정보, 활동 시간 등), 또는 사용자의 프리퍼런스 정보 등을 포함할 수 있다. 컨텍스트 정보는 앞서 도 6을 통해 설명한, 일반적 컨텍스트 정보, 사용자 컨텍스트 정보 또는 장치 컨텍스트 정보를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 패스 플래너 모듈(3823)에는 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 패스 룰 세트 DB(3824)가 존재하게 되고, 사용자 단말(3810)로부터 받은 버전 정보를 토대로 패스 플래너 모듈(3823)은 사용자 단말(3810)에 설치되어 있는 각 어플리케이션의 버전과 일치하는 패스 룰 세트(3825)를 NLU 모듈(3822)에 전달할 수 있다.
본 발명의 다양한 실시예에 따른 NLU 모듈(3822)은 ASR 모듈(3821)을 통해 사용자 단말(3810)로부터 수신된 사용자 입력을 분석하여 사용자의 의도(intent)를 파악하고 그 결과로서 패스 룰을 선택하여 파라미터와 함께 사용자 단말(3810)에게로 회신하는데, 최종적인 패스 룰 선택에 있어서 사용자 단말(3810)에 설치되어 있는 어플리케이션의 버전 정보 즉, 패스 룰 세트(3825)를 참고할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 분석 모듈(3831)은 로그/컨텍스트 DB(3835)를 통해 사용자 단말(3810)의 로그 및 컨텍스트 정보를 수집하고, 이를 분석하여 사용자 단말(3810)에게 제공할 힌트들을 예컨대, 각각의 힌트에 우선 순위 부여된 리스트 형태로 생성할 수 있다. 예를 들어, 힌트 분석 모듈(3831)은 컨텍스트 힌트 생성 모듈(3832)(예: 155c_2), 재사용 힌트 생성 모듈(3833)(예: 155c_5), 소개 힌트 생성 모듈(3834)(예: 155c_6)을 이용하여 힌트를 생성할 수 있다. 힌트 분석 모듈(3831)은 힌트 DB(3836)를 통해 사용자 단말(3810)에게 리스트를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 분석 모듈(3831)은 패스 플래너 모듈(3823)을 통해 사용자 단말(3810)에 설치된 어플리케이션의 버전 정보를 수신할 수 있다. 어떠한 실시예에 따르면, 버전 정보는 지능형 서버(3820)를 통하지 않고 사용자 단말(3810)로부터 힌트 제안 서버(3830)로 수신될 수도 있다. 힌트 분석 모듈(3831)은 버전 정보에 기초하여, 상기 생성된 힌트에 대응하는 패스 룰이 사용자 단말(3810)에서 지원 가능한 것인지 여부를 판단하고, 이러한 판단 결과에 따라 힌트 리스트에서 지원 가능한 힌트와 그렇지 않은 힌트를 선별하는 작업을 수행할 수 있다. 선별 작업을 통해 힌트 리스트는 지원 가능한 힌트만으로 재구성되어 힌트 DB(3836)에 보관되고 사용자 단말(3810)의 힌트 제공 요청에 의해 사용자 단말(3810)로 전송될 수 있다.
어떠한 실시예에 따르면, 상기 선별 작업은 생략되는 대신, 힌트와 함께, 이를 지원하는 버전 정보가 사용자 단말(3810)로 전송될 수도 있다. 이에 따르면, 사용자 단말(3810)의 힌트 표시 매니저(3813)는 상기 선별 작업을 수행하여 지원 가능한 힌트를 디스플레이를 통해 표시할 수 있다. 힌트 표시 매니저(3813)은, 디스플레이에 표시된 힌트가 사용자에 의해 선택되면, 해당 힌트의 패스 룰과 파라미터를 실행 매니저 모듈(3812)로 보내어 어플리케이션을 실행하게 할 수 있다.
어떠한 실시예에 따르면, 힌트는 그에 해당하는 패스 룰 및 파라미터와 함께 사용자 단말(3810)로 전송될 수도 있다. 예컨대, 힌트 분석 모듈(3831)은 힌트(즉, 사용자의 발화)에 해당하는 패스 룰과 파라미터를 지능형 서버(3820)로부터 수신하여 힌트와 함께 힌트 DB(3836)에 보관하고, 사용자 단말(3810)의 힌트 제공 요청에 의해 사용자 단말(3810)로 “힌트, 패스 룰 및 파라미터”를 전송할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는 상기 전자 장치에 설치된 복수개의 어플리케이션 프로그램들을 저장하도록 구성될 수 있다. 또한, 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을, 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해, 수신하고, 상기 사용자 입력과 관련된 데이터를, 상기 통신 회로를 통해, 외부 서버로 전송하고, 상기 데이터 전송과 함께 또는 상기 데이터 전송 후에, 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를, 상기 통신 회로를 통해, 상기 외부 서버로 전송하고, 상기 요청에 대한 응답으로서 패스 룰을, 상기 통신 회로를 통해, 상기 외부 서버로부터 수신하고, 상기 전자 장치가 상기 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장하는 것일 수 있다. 상기 패스 룰은 상기 태스크를 수행하기 위한, 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함할 수 있다. 상기 상태들 중 적어도 하나는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정된 것일 수 있다.
상기 시퀀스는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정되는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 상기 외부 전자 장치로부터 수신하도록 하는 것일 수 있다.
상기 파라미터는 상기 사용자 입력으로부터 획득된 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 사용자 입력을 위한 사용자 인터페이스를 표시하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들의 실행에 필요한 버전으로 어플리케이션을 업그레이드하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들의 단계적인 변화를 상기 디스플레이를 통해 표시하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 어플리케이션의 변경을 나타내는 정보를 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 것일 수 있다.
상기 변경은 삭제, 버전 업그레이드, 또는 상기 전자 장치로의 설치인 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 전자 장치의 부팅 완료, 상기 전자 장치로 SD 카드의 삽입 또는 상기 전자 장치로부터 SD 카드의 제거를 인지한 경우, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들 중 적어도 하나의 기초하여, 힌트를 획득하고, 상기 힌트를 상기 디스플레이를 통해 표시하고, 상기 힌트에 대한 제 2 사용자 입력을 수신하고, 상기 제 2 사용자 입력에 반응하여, 상기 힌트에 대응하는 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 것일 수 있다.
상기 힌트는 어플리케이션의 버전 별로 다른 것일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해 사용자 입력을 수신하고, 상기 사용자 입력을 외부 서버로 전송하고, 상기 외부 서버로부터 상기 사용자 입력의 분석 결과를 수신하고, 상기 분석 결과의 적어도 일부와 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들에 기초하여, 패스 룰 세트 데이터베이스에서 패스 룰 세트를 선택하고, 상기 분석 결과의 적어도 일부에 기초하여, 상기 패스 룰 세트에서 패스 룰을 선택하고, 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 인스트럭션들을 저장하는 것일 수 있다. 상기 패스 룰은 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버는 상기 사용자 단말로부터 상기 사용자 단말에 설치된 어플리케이션들 각각에 대응하는 버전 정보들을 수신하고, 패스 룰 세트 데이터베이스에서 상기 버전 정보들에 각각 대응하는 패스 룰 세트들을 획득하도록 구성된 패스 플래너 모듈; 및 사용자 단말로부터 수신된 사용자 입력을 분석하고, 상기 분석의 결과의 적어도 일부에 기초하여 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 패스 룰 세트를 선택하고, 상기 결과의 적어도 일부에 기초하여, 상기 선택된 패스 룰 세트에서 패스 룰을 선택하고, 상기 선택된 패스 룰을 상기 사용자 단말로 전송하도록 구성된 자연어 이해 모듈을 포함할 수 있다. 상기 선택된 패스 룰은 상기 사용자 단말에 설치된 어플리케이션들 중 적어도 하나의 동작들을 제어하도록 하는 것일 수 있다.
상기 결과는, 상기 선택된 패스 룰을 이용하여 제어할 어플리케이션을 나타내는 도메인, 상기 선택된 패스 룰에 대응하는 사용자의 의도, 및 상기 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 포함할 수 있다.
상기 자연어 이해 모듈은 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 상기 도메인에 대응하는 패스 룰 세트를 선택하고, 상기 파라미터를 상기 선택된 패스 룰과 함께 상기 사용자 단말로 전송하도록 구성된 것일 수 있다.
상기 자연어 이해 모듈은, 상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 파악된 의도에 해당하는 패스 룰을 결정하는 복수의 의도 분류 매니저들과, 상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하고, 상기 선택된 버전 정보에 기초하여 상기 복수의 의도 분류 매니저들 중 하나를 상기 사용자 입력의 분석을 위한 매니저로 결정하는 도메인 분류 매니저를 포함할 수 있다.
상기 복수의 의도 분류 매니저들은 어플리케이션의 버전으로 식별되고, 각각 패스 룰들을 지원 가능한 것과 지원 불가능한 것으로 분류하여 관리하는 것일 수 있다.
상기 자연어 이해 모듈은, 상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하는 도메인 분류 매니저와, 상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 의도에 해당하는 패스 룰을 선택하고, 상기 도메인 분류 매니저에 의해 선택된 버전 정보에 기초하여 상기 선택된 패스 룰을 상기 사용자 단말로 전송할지 여부를 결정하는 의도 분류 매니저를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치를 동작하는 방법은, 터치스크린 디스플레이 또는 마이크 중 적어도 하나를 통해 사용자 입력을 수신하는 동작; 상기 사용자 입력에 응답하여, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 획득하는 동작; 상기 사용자 입력 및 상기 버전 정보들을 통신 모듈을 통해 외부 서버로 전송하는 동작; 상기 외부 서버로부터 패스 룰을 수신하는 동작; 및 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하는 동작을 포함할 수 있다. 상기 패스 룰은, 상기 버전 정보들 중 적어도 하나 및 상기 사용자 입력에 기초하여 생성된 것으로, 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(140))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(150))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.
100: 사용자 단말
200: 지능형 서버
300: 개인화 정보 서버
400: 제안 서버
200: 지능형 서버
300: 개인화 정보 서버
400: 제안 서버
Claims (20)
- 전자 장치에 있어서,
하우징;
상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이;
상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크;
상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커;
상기 하우징 내부에 위치한 무선 통신 회로;
상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및
상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고,
상기 메모리는 상기 전자 장치에 설치된 복수개의 어플리케이션 프로그램들을 저장하도록 구성되고,
상기 메모리는, 실행될 때, 상기 프로세서가:
상기 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을, 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해, 수신하고,
상기 사용자 입력과 관련된 데이터를, 상기 통신 회로를 통해, 외부 서버로 전송하고,
상기 데이터 전송과 함께 또는 상기 데이터 전송 후에, 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를, 상기 통신 회로를 통해, 상기 외부 서버로 전송하고,
상기 요청에 대한 응답으로서 패스 룰을, 상기 통신 회로를 통해, 상기 외부 서버로부터 수신하고,
상기 전자 장치가 상기 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장하고,
상기 패스 룰은 상기 태스크를 수행하기 위한, 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함하고,
상기 상태들 중 적어도 하나는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정된 것인,
전자 장치. - 제 1 항에 있어서, 상기 시퀀스는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정되는 것인,
전자 장치. - 제 1 항에 있어서,
상기 인스트럭션들은 상기 프로세서가:
상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 상기 외부 전자 장치로부터 수신하도록 하는 전자 장치. - 제 3 항에 있어서,
상기 파라미터는 상기 사용자 입력으로부터 획득된 것인 전자 장치. - 제 1 항에 있어서,
상기 인스트럭션들은 상기 프로세서가:
상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 사용자 입력을 위한 사용자 인터페이스를 표시하도록 하는 전자 장치. - 제 1 항에 있어서,
상기 인스트럭션들은 상기 프로세서가:
상기 태스크의 동작들의 실행에 필요한 버전으로 어플리케이션을 업그레이드하도록 하는 전자 장치. - 제 1 항에 있어서,
상기 인스트럭션들은 상기 프로세서가:
상기 태스크의 동작들의 단계적인 변화를 상기 디스플레이를 통해 표시하도록 하는 전자 장치. - 제 1 항에 있어서,
상기 인스트럭션들은 상기 프로세서가:
어플리케이션의 변경을 나타내는 정보를 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 전자 장치. - 제 8 항에 있어서,
상기 변경은 삭제, 버전 업그레이드, 또는 상기 전자 장치로의 설치인 것인, 전자 장치. - 제 1 항에 있어서,
상기 인스트럭션들은 상기 프로세서가:
상기 전자 장치의 부팅 완료, 상기 전자 장치로 SD 카드의 삽입 또는 상기 전자 장치로부터 SD 카드의 제거를 인지한 경우, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 전자 장치. - 제 1 항에 있어서,
상기 인스트럭션들은 상기 프로세서가:
상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들 중 적어도 하나의 기초하여, 힌트를 획득하고,
상기 힌트를 상기 디스플레이를 통해 표시하고,
상기 힌트에 대한 제 2 사용자 입력을 수신하고,
상기 제 2 사용자 입력에 반응하여, 상기 힌트에 대응하는 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 전자 장치. - 제 10 항에 있어서,
상기 힌트는 어플리케이션의 버전 별로 다른 것인, 전자 장치. - 전자 장치에 있어서,
하우징;
상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이;
상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크;
상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커;
상기 하우징 내부에 위치한 무선 통신 회로;
상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및
상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고,
상기 메모리는, 실행될 때, 상기 프로세서가:
상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해 사용자 입력을 수신하고,
상기 사용자 입력을 외부 서버로 전송하고,
상기 외부 서버로부터 상기 사용자 입력의 분석 결과를 수신하고,
상기 분석 결과의 적어도 일부와 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들에 기초하여, 패스 룰 세트 데이터베이스에서 패스 룰 세트를 선택하고,
상기 분석 결과의 적어도 일부에 기초하여, 상기 패스 룰 세트에서 패스 룰을 선택하고,
상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 인스트럭션들을 저장하고,
상기 패스 룰은 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함하는 것인,
전자 장치. - 서버에 있어서,
상기 사용자 단말로부터 상기 사용자 단말에 설치된 어플리케이션들 각각에 대응하는 버전 정보들을 수신하고, 패스 룰 세트 데이터베이스에서 상기 버전 정보들에 각각 대응하는 패스 룰 세트들을 획득하도록 구성된 패스 플래너 모듈; 및
사용자 단말로부터 수신된 사용자 입력을 분석하고, 상기 분석의 결과의 적어도 일부에 기초하여 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 패스 룰 세트를 선택하고, 상기 결과의 적어도 일부에 기초하여, 상기 선택된 패스 룰 세트에서 패스 룰을 선택하고, 상기 선택된 패스 룰을 상기 사용자 단말로 전송하도록 구성된 자연어 이해 모듈을 포함하고,
상기 선택된 패스 룰은 상기 사용자 단말에 설치된 어플리케이션들 중 적어도 하나의 동작들을 제어하도록 하는 것인,
서버. - 제 14 항에 있어서,
상기 결과는,
상기 선택된 패스 룰을 이용하여 제어할 어플리케이션을 나타내는 도메인,
상기 선택된 패스 룰에 대응하는 사용자의 의도, 및
상기 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 포함하는 서버. - 제 15 항에 있어서,
상기 자연어 이해 모듈은 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 상기 도메인에 대응하는 패스 룰 세트를 선택하고,상기 파라미터를 상기 선택된 패스 룰과 함께 상기 사용자 단말로 전송하도록 구성된 것인 서버. - 제 14 항에 있어서,
상기 자연어 이해 모듈은,
상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 파악된 의도에 해당하는 패스 룰을 결정하는 복수의 의도 분류 매니저들과,
상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하고, 상기 선택된 버전 정보에 기초하여 상기 복수의 의도 분류 매니저들 중 하나를 상기 사용자 입력의 분석을 위한 매니저로 결정하는 도메인 분류 매니저를 포함하는,
서버. - 제 17 항에 있어서,
상기 복수의 의도 분류 매니저들은 어플리케이션의 버전으로 식별되고, 각각 패스 룰들을 지원 가능한 것과 지원 불가능한 것으로 분류하여 관리하는 것인 서버. - 제 14 항에 있어서,
상기 자연어 이해 모듈은,
상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하는 도메인 분류 매니저와,
상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 의도에 해당하는 패스 룰을 선택하고, 상기 도메인 분류 매니저에 의해 선택된 버전 정보에 기초하여 상기 선택된 패스 룰을 상기 사용자 단말로 전송할지 여부를 결정하는 의도 분류 매니저를 포함하는,
서버. - 전자 장치를 동작하는 방법에 있어서,
터치스크린 디스플레이 또는 마이크 중 적어도 하나를 통해 사용자 입력을 수신하는 동작;
상기 사용자 입력에 응답하여, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 획득하는 동작;
상기 사용자 입력 및 상기 버전 정보들을 통신 모듈을 통해 외부 서버로 전송하는 동작;
상기 외부 서버로부터 패스 룰을 수신하는 동작;
상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하는 동작을 포함하고,
상기 패스 룰은, 상기 버전 정보들 중 적어도 하나 및 상기 사용자 입력에 기초하여 생성된 것으로, 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함하는, 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170054350A KR102309031B1 (ko) | 2017-04-27 | 2017-04-27 | 지능형 에이전트 관리 방법 및 장치 |
| PCT/KR2018/003612 WO2018199483A1 (ko) | 2017-04-27 | 2018-03-27 | 지능형 에이전트 관리 방법 및 장치 |
| US16/608,656 US11301266B2 (en) | 2017-04-27 | 2018-03-27 | Method and apparatus for managing intelligent agent |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170054350A KR102309031B1 (ko) | 2017-04-27 | 2017-04-27 | 지능형 에이전트 관리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180120427A true KR20180120427A (ko) | 2018-11-06 |
| KR102309031B1 KR102309031B1 (ko) | 2021-10-06 |
Family
ID=63919003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170054350A KR102309031B1 (ko) | 2017-04-27 | 2017-04-27 | 지능형 에이전트 관리 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11301266B2 (ko) |
| KR (1) | KR102309031B1 (ko) |
| WO (1) | WO2018199483A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192578A (zh) * | 2019-12-28 | 2020-05-22 | 惠州Tcl移动通信有限公司 | 应用控制方法、装置、存储介质及电子设备 |
| US10818289B2 (en) | 2017-08-28 | 2020-10-27 | Samsung Electronics Co., Ltd. | Method for operating speech recognition service and electronic device for supporting the same |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6921969B2 (ja) * | 2017-09-20 | 2021-08-18 | シャープ株式会社 | 空気清浄機 |
| US20190354874A1 (en) * | 2018-05-16 | 2019-11-21 | Agentz, Inc | Platform for autonomous and goal-driven digital assistants |
| US11615208B2 (en) * | 2018-07-06 | 2023-03-28 | Capital One Services, Llc | Systems and methods for synthetic data generation |
| KR20210110676A (ko) * | 2019-02-12 | 2021-09-08 | 구글 엘엘씨 | 차량 클라이언트 장치가 온디바이스 기능을 사용하도록 지시 |
| KR20190089125A (ko) * | 2019-07-09 | 2019-07-30 | 엘지전자 주식회사 | 커뮤니케이션 로봇 및 그의 구동 방법 |
| US11037571B2 (en) * | 2019-10-04 | 2021-06-15 | Motorola Solutions, Inc. | Speech-based two-way radio assistant |
| US11158308B1 (en) * | 2019-11-27 | 2021-10-26 | Amazon Technologies, Inc. | Configuring natural language system |
| JP7332518B2 (ja) * | 2020-03-30 | 2023-08-23 | 本田技研工業株式会社 | 会話支援装置、会話支援システム、会話支援方法およびプログラム |
| CN112099892B (zh) * | 2020-09-22 | 2023-10-31 | 青岛海信移动通信技术有限公司 | 一种通信终端及快速扫描二维码的方法 |
| CN112468934B (zh) * | 2020-11-16 | 2022-07-26 | 深圳康佳电子科技有限公司 | 一种麦克风控制方法、装置、智能终端及存储介质 |
| CN117251500B (zh) * | 2023-11-20 | 2024-02-09 | 深圳市雁联计算系统有限公司 | 一种数据库动态读写分离的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100087181A1 (en) * | 2008-10-08 | 2010-04-08 | Research In Motion Limited | Server for sending new application portions to mobile wireless communications devices and related methods |
| US20140123149A1 (en) * | 2012-10-25 | 2014-05-01 | International Business Machines Corporation | Server - client negotiations in a multi-version messaging environment |
| US20160328270A1 (en) * | 2015-05-05 | 2016-11-10 | Microsoft Technology Licensing, Llc | Building multimodal collaborative dialogs with task frames |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6212649B1 (en) * | 1996-12-30 | 2001-04-03 | Sentar, Inc. | System and method for providing highly-reliable coordination of intelligent agents in a distributed computing system |
| US6185535B1 (en) * | 1998-10-16 | 2001-02-06 | Telefonaktiebolaget Lm Ericsson (Publ) | Voice control of a user interface to service applications |
| US6678716B1 (en) * | 2000-06-19 | 2004-01-13 | J. D. Edwards World Source Company | System and method for managing processes |
| US20090106353A1 (en) * | 2001-09-19 | 2009-04-23 | Belovich Steven G | Method and system for providing an event auditing client server software arrangement |
| US6889191B2 (en) | 2001-12-03 | 2005-05-03 | Scientific-Atlanta, Inc. | Systems and methods for TV navigation with compressed voice-activated commands |
| US20060179116A1 (en) * | 2003-10-10 | 2006-08-10 | Speeter Thomas H | Configuration management system and method of discovering configuration data |
| US8230222B2 (en) * | 2005-08-23 | 2012-07-24 | International Business Machines Corporation | Method, system and computer program for deploying software packages with increased security |
| US7761591B2 (en) | 2005-12-16 | 2010-07-20 | Jean A. Graham | Central work-product management system for coordinated collaboration with remote users |
| US7693718B2 (en) | 2006-01-31 | 2010-04-06 | International Business Machines Corporation | Update technique for speech recognition applications with uninterrupted (24X7) operation |
| US8752044B2 (en) * | 2006-07-27 | 2014-06-10 | Qualcomm Incorporated | User experience and dependency management in a mobile device |
| US9318108B2 (en) * | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8418168B2 (en) * | 2008-05-29 | 2013-04-09 | Research In Motion Limited | Method and system for performing a software upgrade on an electronic device connected to a computer |
| JP5518716B2 (ja) * | 2008-08-28 | 2014-06-11 | 京セラ株式会社 | ユーザインタフェース生成装置 |
| US8892699B2 (en) * | 2008-12-31 | 2014-11-18 | Schneider Electric USA, Inc. | Automatic firmware updates for intelligent electronic devices |
| US8667479B2 (en) | 2009-01-19 | 2014-03-04 | Telefonaktiebolaget L M Ericsson (Publ) | Mobile specialized software code updated |
| JP2012018657A (ja) * | 2010-06-11 | 2012-01-26 | Nintendo Co Ltd | 情報処理端末、情報処理システム、情報処理プログラム |
| US8806471B2 (en) * | 2010-09-28 | 2014-08-12 | Red Hat, Inc. | Upgrade and downgrade in package update operations |
| CA2791277C (en) * | 2011-09-30 | 2019-01-15 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9623096B2 (en) * | 2011-11-09 | 2017-04-18 | Celverum Inc. | Virally infected hematopoietic cells and uses thereof |
| US9570086B1 (en) * | 2011-11-18 | 2017-02-14 | Google Inc. | Intelligently canceling user input |
| US8918712B2 (en) * | 2011-12-13 | 2014-12-23 | Fmr Llc | Dynamically generating a mobile application |
| KR101951171B1 (ko) * | 2012-08-09 | 2019-02-25 | 삼성전자 주식회사 | 멀티미디어 프로세싱 시스템 및 그 동작 방법 |
| JP2014059647A (ja) * | 2012-09-14 | 2014-04-03 | Sharp Corp | アプリケーションサーバ装置、クライアント端末装置、ガイダンス表示方法、ガイダンス表示プログラム、ガイダンス表示システム |
| US9699271B2 (en) * | 2013-01-29 | 2017-07-04 | Blackberry Limited | Method and apparatus for suspending screen sharing during confidential data entry |
| US9292254B2 (en) * | 2013-05-15 | 2016-03-22 | Maluuba Inc. | Interactive user interface for an intelligent assistant |
| US9753796B2 (en) * | 2013-12-06 | 2017-09-05 | Lookout, Inc. | Distributed monitoring, evaluation, and response for multiple devices |
| WO2015102124A1 (ko) * | 2013-12-31 | 2015-07-09 | 엘지전자 주식회사 | 대화 서비스 제공 장치 및 방법 |
| EP3137994A2 (en) * | 2014-04-30 | 2017-03-08 | Schneider Electric Industries SAS | Systems and methods for delivering and accessing software components |
| WO2016017978A1 (en) | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Device and method for performing functions |
| US10523537B2 (en) * | 2015-06-30 | 2019-12-31 | Amazon Technologies, Inc. | Device state management |
| US10671428B2 (en) * | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10586535B2 (en) * | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
-
2017
- 2017-04-27 KR KR1020170054350A patent/KR102309031B1/ko active IP Right Grant
-
2018
- 2018-03-27 US US16/608,656 patent/US11301266B2/en active Active
- 2018-03-27 WO PCT/KR2018/003612 patent/WO2018199483A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100087181A1 (en) * | 2008-10-08 | 2010-04-08 | Research In Motion Limited | Server for sending new application portions to mobile wireless communications devices and related methods |
| US20140206332A1 (en) * | 2008-10-08 | 2014-07-24 | Blackberry Limited | Server for sending new application portions to mobile wireless communications devices and related methods |
| US20140123149A1 (en) * | 2012-10-25 | 2014-05-01 | International Business Machines Corporation | Server - client negotiations in a multi-version messaging environment |
| US20160328270A1 (en) * | 2015-05-05 | 2016-11-10 | Microsoft Technology Licensing, Llc | Building multimodal collaborative dialogs with task frames |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10818289B2 (en) | 2017-08-28 | 2020-10-27 | Samsung Electronics Co., Ltd. | Method for operating speech recognition service and electronic device for supporting the same |
| CN111192578A (zh) * | 2019-12-28 | 2020-05-22 | 惠州Tcl移动通信有限公司 | 应用控制方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102309031B1 (ko) | 2021-10-06 |
| US11301266B2 (en) | 2022-04-12 |
| WO2018199483A1 (ko) | 2018-11-01 |
| US20200192684A1 (en) | 2020-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102309031B1 (ko) | 지능형 에이전트 관리 방법 및 장치 | |
| US11582337B2 (en) | Electronic device and method of executing function of electronic device | |
| CN108121490B (zh) | 用于处理多模式输入的电子装置、方法和服务器 | |
| US10909982B2 (en) | Electronic apparatus for processing user utterance and controlling method thereof | |
| KR102414122B1 (ko) | 사용자 발화를 처리하는 전자 장치 및 그 동작 방법 | |
| CN109243432B (zh) | 话音处理方法以及支持该话音处理方法的电子设备 | |
| KR102374910B1 (ko) | 음성 데이터 처리 방법 및 이를 지원하는 전자 장치 | |
| CN109474658B (zh) | 用外部设备支持任务运行的电子设备、服务器和记录介质 | |
| CN110462647B (zh) | 电子设备及执行电子设备的功能的方法 | |
| US11314548B2 (en) | Electronic device and server for processing data received from electronic device | |
| US11048293B2 (en) | Electronic device and system for deciding duration of receiving voice input based on context information | |
| KR102440651B1 (ko) | 자연어 표현 제공 방법 및 이를 지원하는 전자 장치 | |
| KR102361458B1 (ko) | 사용자 발화 응답 방법 및 이를 지원하는 전자 장치 | |
| US20190019509A1 (en) | Voice data processing method and electronic device for supporting the same | |
| KR102472010B1 (ko) | 전자 장치 및 전자 장치의 기능 실행 방법 | |
| KR102369309B1 (ko) | 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치 | |
| KR20190021088A (ko) | 음성 명령을 이용한 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법 | |
| KR101993368B1 (ko) | 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버 | |
| KR102612835B1 (ko) | 전자 장치 및 전자 장치의 기능 실행 방법 | |
| KR20180116731A (ko) | 사용자 발화에 대응하는 태스크를 수행하는 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |