KR102465051B1 - 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법 - Google Patents
시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법 Download PDFInfo
- Publication number
- KR102465051B1 KR102465051B1 KR1020200138671A KR20200138671A KR102465051B1 KR 102465051 B1 KR102465051 B1 KR 102465051B1 KR 1020200138671 A KR1020200138671 A KR 1020200138671A KR 20200138671 A KR20200138671 A KR 20200138671A KR 102465051 B1 KR102465051 B1 KR 102465051B1
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- user
- request
- visualization
- data
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 109
- 238000012800 visualization Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000006870 function Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000003058 natural language processing Methods 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/50—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
Abstract
시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그의 서비스 제공 방법이 개시된다. 본 발명은, 시각화 인터랙션에 기반한 서비스를 제공하는 장치에 있어서, 상기 시각화 인터랙션과 관련된 어플리케이션을 저장하는 메모리, 상기 어플리케이션과 관련된 입력을 수신하는 입력부, 상기 입력에 기초하여 상기 시각화 인터랙션을 업데이트하는 프로세서 및 상기 시각화 인터랙션을 표시하는 디스플레이부를 포함하되, 상기 시각화 인터랙션은, 사용자와 챗봇 사이의 대화 형태를 포함할 수 있다.
Description
본 발명은 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법에 관한 것이다. 보다 상세하게는 사용자와 챗봇 사이의 대화 형태를 중심으로 시각화 인터랙션에 기반한 서비스를 제공하는 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법에 관한 것이다.
IT 기술의 발달에 힘입어 다양한 유형의 사용자 단말 장치들이 개발 및 보급되고 있다. 최근에는 사용자 단말장치의 크기도 최소화되면서 그 기능은 더욱 다양해져, 그 수요가 점점 더 늘어나고 있다.
사용자 단말 장치는 사용자의 요청에 따라 멀티미디어 컨텐츠나, 어플리케이션 화면 등과 같이 다양한 컨텐츠를 제공할 수 있다. 사용자는 사용자 단말장치에 구비된 버튼이나 터치 스크린 등을 이용하여, 자신이 사용하고자 하는 기능을 선택할 수 있다. 사용자 단말 장치는 사용자와의 인터랙션에 따라 선택적으로 프로그램을 실행시켜, 그 실행 결과를 디스플레이할 수 있다.
한편, 사용자 단말 장치에서 제공할 수 있는 기능이 점차 다양해짐에 따라, 컨텐츠를 디스플레이하는 방식이나 사용자 인터랙션 방식에 대해서도 다양한 니즈(needs)가 발생하고 있다. 즉, 컨텐츠의 종류 및 기능이 크게 증대함에 따라, 단순히 버튼을 선택하거나, 터치 스크린을 터치하는 종래의 인터랙션 방식으로는 부족한 경우가 발생할 수 있다.
이에 따라, 사용자가 좀 더 편리한 방식으로 사용자 단말 장치를 이용할 수 있도록 하는 사용자 인터랙션 기술에 대한 필요성이 대두되었다.
인터랙션(interaction)은 상호 작용을 의미하는 것으로서 구체적으로 어플리케이션 상에서 장치와의 커뮤니케이션을 의미할 수 있다. 시각화 인터랙션은 시각적인 이미지 등을 이용하여 장치와 커뮤니케이션하는 것으로서 일반적으로 챗봇과의 대화 등을 포함할 수 있다.
종래에는 사용자가 장치에 표시된 버튼을 직접 손으로 터치하는 등 사용자와 장치의 시각화 인터랙션에 있어서 제한이 존재하여 왔다. 이에, 보다 효율적인 시각화 인터랙션 서비스를 제공하는 장치 및 그 서비스 제공 방법에 대한 필요성이 대두되고 있다.
또한, 종래에는 스마트폰 등 휴대용 단말 장치를 통하여 건강 증진을 도모하는 어플리케이션이 널리 사용되어 왔으나, 시각화 인터랙션을 보다 적극적으로 활용하여 사용자의 건강을 더욱더 효과적으로 증진시키기 위한 시나리오의 필요성이 대두되고 있다.
본 발명의 목적은 상술한 문제점들을 해결하기 위한 것으로 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법을 제안하기 위한 것이다.
본 발명의 목적은 일반 입력 외에 음성입력을 통하여 사용자가 보다 효율적으로 장치와 시각화 인터랙션을 수행하기 위한 것이다.
본 발명의 목적은 건강 증진 등의 목적을 가진 어플리케이션에 있어서, 다른 사용자들과 보다 적극적으로 대결하여, 시각화 인터랙션을 이용한 보다 효율적인 건강 증진 시나리오를 제공하기 위한 것이다.
상술한 과제를 해결하기 위하여, 본 발명은, 시각화 인터랙션에 기반한 서비스를 제공하는 장치에 있어서, 상기 시각화 인터랙션과 관련된 어플리케이션을 저장하는 메모리, 상기 어플리케이션과 관련된 입력을 수신하는 입력부, 상기 음성 입력에 기초하여 상기 시각화 인터랙션을 업데이트하는 프로세서 및 상기 시각화 인터랙션을 표시하는 디스플레이부를 포함하되, 상기 시각화 인터랙션은 사용자와 챗봇 사이의 대화 형태를 포함할 수 있다.
본 발명의 명세서 전반에 걸쳐 기재된 입력은 키보드, 음성, 기타 수단을 사용하여 입력하는 방식일 수 있으며, 바람직하게는 음성 입력인 것일 수 있다.
이때, 상기 프로세서는 상기 입력에 따라, 상기 시각화 인터랙션에 대한 히스토리를 생성하고, 상기 디스플레이부는 상기 히스토리를 표시하되, 상기 히스토리는 상기 사용자와 상기 챗봇 사이의 상기 대화 형태로 표시될 수 있다.
이때, 상기 디스플레이부에 표시된 상기 히스토리는 상기 사용자의 제1 요청에 따른 이미지를 포함하는 제1 영역, 상기 사용자의 제2 요청에 따른 문장을 표시하는 제2 영역 및 상기 사용자의 상기 제2 요청에 따른 이미지를 포함하는 제3 영역을 포함할 수 있다.
이때, 상기 디스플레이부에 표시된 상기 히스토리는 상기 사용자의 제3 요청에 따른 문장을 표시하는 제 4 영역 및 상기 사용자의 상기 제3 요청에 따른 이미지를 표시하는 제5 영역을 더 포함할 수 있다.
이때, 상기 제3 요청은 상기 제1 영역의 데이터와 상기 제2 영역의 데이터에 기초한 출력 데이터를 상기 프로세스에 요청하는 메시지를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위하여, 본 발명은 시각화 인터랙션과 관련된 어플리케이션을 실행하는 단계, 상기 어플리케이션과 관련된 입력을 수신하는 단계, 상기 입력에 기초하여 상기 시각화 인터랙션을 업데이트하는 단계 및 상기 업데이트된 시각화 인터랙션을 표시하는 단계를 포함하되, 상기 시각화 인터랙션은 사용자와 챗봇 사이의 대화 형태를 포함할 수 있다.
이때, 상기 입력을 수신하는 단계는 상기 입력을 자연어 처리하여 SQL기반 데이터로 변환하는 단계 및 상기 변환된 데이터를 저장하도록 제어하는 단계를 포함할 수 있다.
이때, 상기 시각화 인터랙션을 업데이트하는 단계는 상기 SQL 기반 데이터에 기초하여 사용자 의도를 획득하는 단계, 상기 사용자 의도에 기초하여 상기 시각화 인터랙션을 업데이트하는 단계 및 상기 시각화 인터랙션이 업데이트될 때마다 상기 시각화 인터랙션을 저장하는 단계를 포함할 수 있다.
이때, 상기 시각화 인터랙션을 업데이트하는 단계는 상기 입력에 따라, 상기 시각화 인터랙션에 대한 히스토리를 생성하는 단계를 포함하고, 상기 히스토리는 상기 사용자와 상기 챗봇 사이의 상기 대화 형태로 생성될 수 있다.
이때, 상기 시각화 인터랙션에 대한 히스토리를 생성하는 단계는 상기 사용자의 제1 요청에 따른 이미지를 생성하는 단계, 상기 사용자의 제2 요청에 따른 문장을 생성하는 단계 및 상기 사용자의 상기 제2 요청에 따른 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위하여, 본 발명은 시각화 인터랙션에 기반한 서비스를 제공하는 시스템에 있어서, 사용자로부터 제1 요청을 수신하는 제1 단말, 상기 제1 단말로부터 제2 요청을 수신하는 제2 단말 및 상기 제1 단말 및 상기 제2 단말과 통신하는 서버를 포함하되, 상기 제1 단말은 상기 제2 단말로부터 수신한 데이터에 기초하여 시각화 인터랙션을 업데이트하고 표시하며, 상기 제1 단말은 상술한 시각화 인터랙션에 기반한 서비스를 제공하는 장치 중 어느 하나인 것일 수 있다.
본 발명은 상술한 문제점들을 해결하기 위한 것으로 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법을 제공한다.
본 발명에 따라 음성 입력에 의하는 경우에는 사용자가 보다 효율적으로 장치와 시각화 인터랙션을 수행하는 효과가 있다.
본 발명에 의하는 경우 건강 증진 등의 목적을 가진 어플리케이션에 있어서, 다른 사용자들과 보다 적극적으로 대결하여, 시각화 인터랙션을 이용한 보다 효율적인 건강 증진 시나리오를 제공하는 효과가 있다.
본 발명에 따라 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 시각화 인터랙션에 기반한 서비스를 제공하는 장치를 나타낸 도면이다.
도 2 내지 도 6은 본 명세서에 따른 시각화 인터랙션에 기반한 구체적인 예시를 나타낸 도면이다.
도 7 내지 도 11는 본 명세서에 따른 시각화 인터랙션에 기반한 서비스 제공 방법을 나타낸 도면이다.
도 12 내지 도 17은 본 명세서에 따른 복수개의 단말을 사용한 구체적인 시나리오를 나타낸 도면이다.
도 18 내지 도 21은 본 명세서에 따른 시각화 인터랙션을 위한 자연어 처리 모델을 나타낸 도면이다. 이때, 자연어 처리 모델은 사용자의 음성 입력을 통하여 사용자의 인텐트를 추출하기 위한 모델일 수 있다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
도 2 내지 도 6은 본 명세서에 따른 시각화 인터랙션에 기반한 구체적인 예시를 나타낸 도면이다.
도 7 내지 도 11는 본 명세서에 따른 시각화 인터랙션에 기반한 서비스 제공 방법을 나타낸 도면이다.
도 12 내지 도 17은 본 명세서에 따른 복수개의 단말을 사용한 구체적인 시나리오를 나타낸 도면이다.
도 18 내지 도 21은 본 명세서에 따른 시각화 인터랙션을 위한 자연어 처리 모델을 나타낸 도면이다. 이때, 자연어 처리 모델은 사용자의 음성 입력을 통하여 사용자의 인텐트를 추출하기 위한 모델일 수 있다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 상술한 내용들을 바탕으로 본 명세서의 바람직한 제1 실시예에 따른, 시각화 인터랙션에 기반한 서비스를 제공하는 장치에 관하여 상세히 설명하면 다음과 같다.
본 명세서에 따른 시각화 인터랙션에 기반한 서비스를 제공하는 장치는 일반적으로 운동 측정 어플리케이션이 설치된 휴대용 단말을 의미할 수 있으나 이에 한정되지 않는다. 또한, 본 명세서에 따른 운동 측정 어플리케이션은 걸음 수를 측정하는 것으로 예시되어 있으나, 이는 하나의 예시일 뿐이다.
도 1은 본 명세서에 따른 시각화 인터랙션에 기반한 서비스를 제공하는 장치를 나타낸 도면이다.
도 1에 따르면, 본 명세서에 따른 장치(10)는, 메모리(11), 입력부(12), 프로세서(13) 및 디스플레이부(14)를 포함할 수 있다.
참고로, 이하 다른 도면에서 사용되는 장치(10), 메모리(11), 입력부(12), 프로세서(13) 및 디스플레이부(14)는 모두 도 1을 참조하여 설명될 수 있다.
메모리(11)는 장치(10)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(11)는 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버(130)로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 장치(10)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(11)에 저장되고, 장치(10) 상에 설치되어, 프로세서(13)에 의하여 상기 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
메모리(11)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(11)는 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수도 있다.
입력부(12)는 터치패널, 키보드, 기타 일반 일력수단과 함께 음성 입력 등 수단일 수 있다. 상기 음성 입력을 위한 경우 상기 입력부(12)는 마이크로폰(microphone), 또는 오디오 입력부를 포함할 수 있다. 또한, 입력부(12)는 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 더 포함할 수 있다. 음성입력에 의하는 경우 입력부(12)에서 수집한 음성 데이터나 터치 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
프로세서(13)는, 연산을 수행하고 다른 장치(10)를 제어할 수 있는 구성이다. 주로, 중앙 연산 장치(CPU), 어플리케이션 프로세서(AP), 그래픽스 처리 장치(GPU) 등을 의미할 수 있다. 또한, CPU, AP 또는 GPU는 그 내부에 하나 또는 그 이상의 코어들을 포함할 수 있으며, CPU, AP 또는 GPU는 작동 전압과 클락 신호를 이용하여 작동할 수 있다. 다만, CPU 또는 AP는 직렬 처리에 최적화된 몇 개의 코어로 구성된 반면, GPU는 병렬 처리용으로 설계된 수 천 개의 보다 소형이고 효율적인 코어로 구성될 수 있다.
디스플레이부(14)는, 프로세서(13)로부터 화면 데이터를 수신하여 사용자가 감각을 통하여 이를 확인할 수 있도록 표시하는 장치를 의미할 수 있다. 디스플레이부(14)는 자발광 디스플레이 패널 또는 비자발광 디스플레이 패널을 포함할 수 있다. 자발광 디스플레이 패널로는 예를 들어 백라이트가 필요하지 않은 OLED 패널 등이 예시될 수 있고, 비자발광 디스플레이 패널로는 예를 들어 백라이트가 필요한 LCD 패널 등이 예시될 수 있으나, 이에 제한되는 것은 아니다.
도 1에 따르면, 메모리(11)는 시각화 인터랙션과 관련된 어플리케이션을 저장할 수 있다. 입력부(12)는 시각화 인터랙션과 관련된 어플리케이션과 관련된 일반 입력 또는 음성 입력을 수신할 수 있다. 상기 음성 입력은 상기 어플리케이션에 입력되는 모든 음성 데이터를 의미할 수 있다. 프로세서(13)는 입력부(12)를 통하여 입력된 음성 입력에 기초하여 시각화 인터랙션을 업데이트할 수 있다. 즉, 프로세서(13)는 음성 입력에 따라 시각화 인터랙션을 변경할 수 있다. 디스플레이부(14)는 시각화 인터랙션을 표시할 수 있다. 또한, 시각화 인터랙션은 사용자와 챗봇 사이의 대화 형태를 포함할 수 있다.
따라서, 사용자의 발화문이 자연어 처리 등을 통하여 그 의미가 분석되고, 분석된 의미(또는 사용자의 인텐트)를 통하여 챗봇의 응답이 도출될 수 있다. 이때, 챗봇의 응답은 시각화된 이미지 등으로 디스플레이부(14)에 표시될 수 있다.
이때, 프로세서(13)는 사용자의 음성 입력을 자연어 처리하여 SQL 기반 데이터로 변환할 수 있다. 또한, 프로세서(13)는 변환된 SQL 기반 데이터에 기초하여 사용자 의도를 획득할 수 있다. 또한, 변환된 SQL 기반 데이터는 메모리(11)에 저장될 수 있다.
도 2 내지 도 6은 본 명세서에 따른 시각화 인터랙션에 기반한 구체적인 예시를 나타낸 도면이다.
도 2(a), 도 2(b)에 따르면, 디스플레이부(14)는 챗봇의 발화를 나타내는 영역(201) 및 터치 입력을 위한 영역(202)을 나타낼 수 있다. 입력부(12)는 터치 입력 등을 통하여 ON/OFF될 수 있다. 터치 입력에 의하여 입력부(12)가 ON되면, 입력부(12)는 사용자의 일반 텍스트 입력 또는 음성 입력 기타 입력방식에 의한 정보를 수신할 수 있다. 이에 맞춰, 디스플레이부(14)는 입력부(12)의 ON을 나타내는 이미지(203)를 표시하여 시각화 인터랙션을 수행할 수 있다.
도 3(a), 도 3(b)에 따르면, 디스플레이부(14)는 요청에 따른 문장을 표시하는 영역(301) 및 요청에 따른 이미지를 포함하는 영역(302)를 나타낼 수 있다. 이때, 요청은 사용자의 음성 입력일 수 있다. 프로세서(13)는 사용자의 음성 입력을 자연어 처리하여 그 의미를 분석할 수 있다. 상기 요청은 음성 입력을 분석한 의미에 따른 요청일 수 있다. 요청에 따른 문장은 사용자의 발화문을 나타낸 문장일 수 있다.
도 3(a), 도 3(b)에 따르면, 사용자의 음성 입력은 "이번 주에 얼마나 걸었지?"로서, 해당 문장이 자연어 처리를 통하여 디스플레이부(14)에 나타날 수 있다. 또한, 그 의미가 추출되고, 추출된 의미에 따른 이미지인 "사용자의 이번 주 걸음 수"에 대한 그래프 이미지가 디스플레이부(14)에 나타날 수 있다.
도 4(a), 도 4(b)에 따르면, 위 도 3에 연속하여 음성 입력이 입력부(12)를 통하여 입력될 수 있다. 디스플레이부(14)는 요청에 따른 문장을 표시하는 영역(401) 및 요청에 따른 이미지를 포함하는 영역(402)를 나타낼 수 있다.
도 4(a), 도 4(b)에 따르면, 이번 주 걸음수를 나타내는 영역에 이어서, 이번 주 걸음 수와 지난 주 걸음 수를 비교해달라는 요청 메시지를 포함하는 문장이 디스플레이부(14)에 표시될 수 있다. 요청에 따른 이미지를 포함하는 영역(402)는 사용자의 요청에 따라 지난 주와 이번 주의 걸음 수를 그래프 이미지로 표시할 수 있다. 이러한 방식을 통하여 장치(10)는 시각화 인터랙션을 수행할 수 있다.
도 5(a), 도 5(b)에 따르면, 디스플레이부(14)는 요청에 따른 문장을 표시하는 영역(501, 503, 505) 및 요청에 따른 이미지를 포함하는 영역(502, 504, 506)을 복수개 나타낼 수 있다.
도 5(b)의 요청에 따른 문장을 표시하는 영역(505)는 앞선 히스토리 상의 데이터들에 대한 비교 요청을 포함할 수 있다. 요청에 따른 이미지를 포함하는 영역(506)은 위 비교 요청에 따른 이미지를 포함할 수 있다.
즉, 위 비교 요청은 다른 영역의 데이터(이번 주 걸음 수)와 또 다른 영역의 데이터(지난 주 걸음 수)에 기초한 출력 데이터(비교 데이터, 비교 그래프 이미지)를 프로세스에 요청하는 메시지를 포함할 수 있다.
이처럼, 디스플레이에 표시되는 영역들은 사용자의 일반 입력 수단을 통한 입력 또는 음성 입력에 따라 계속하여 업데이트될 수 있다. 메모리(11)는 이러한 시각화 인터랙션이 업데이트될 때마다, 시각화 인터랙션을 저장할 수 있다. 또한, 메모리(11)는 시각화 인터랙션을 시계열 순서로 저장할 수 있다.
즉, 프로세서(13)는 일반 입력 또는 음성 입력에 따라, 시각화 인터랙션에 대한 히스토리를 생성할 수 있다. 바람직하게는, 히스토리는 복수의 시각화 인터랙션을 시계열 순서로 나타낸 것일 수 있다. 또한, 히스토리는 상기 사용자와 상기 챗봇 사이의 상기 대화 형태로 표시될 수 있다.
도 6(a), 도 6(b)에 따르면, 디스플레이부(14)는 터치 입력을 수용할 수 있다. 즉, 입력부(12)는 터치 필름 형태로 디스플레이부(14)에 부착될 수 있다. 바람직하게는, 디스플레이부(14)를 드래그(drag)하는 터치 입력이 입력부(12)를 통하여 수신되면, 디스플레이부(14)에 표시된 영역은 상기 터치 입력에 대응하여 드래그(drag)될 수 있다. 따라서, 드래그 영역에 따라 사용자와 챗봇 사이의 대화, 즉 시각화 인터랙션에 대한 히스토리가 확인될 수 있다.
이 경우, 히스토리에 따라 많은 양의 데이터가 한번에 표시되기 위하여, 바람직하게는, 시계열 순서상 더 앞선 순위의 시각화 인터랙션은 간략화되어 디스플레이부(14)에 표시될 수 있다.
이하, 상술한 내용들을 바탕으로 본 명세서의 바람직한 제2 실시예에 따른, 시각화 인터랙션에 기반한 서비스 제공 방법에 관하여 상세히 설명하면 다음과 같다.
또한, 본 명세서의 시각화 인터랙션에 기반한 서비스 제공 방법의 수행 주체는 본 명세서의 제1 실시예에 따른 장치 또는 프로세서일 수 있다. 또한, 상술한 제1 실시예에 대한 설명과 동일하거나 중복되는 내용은 이하에서 생략될 수 있다.
도 7 내지 도 11는 본 명세서에 따른 시각화 인터랙션에 기반한 서비스 제공 방법을 나타낸 도면이다.
도 7에 따르면, 본 명세서에 따른 서비스 제공 방법은, 시각화 인터랙션과 관련된 어플리케이션을 실행하는 단계(S1100), 시각화 인터랙션과 관련된 어플리케이션에 대한 음성 입력을 수신하는 단계(S1200), 음성 입력에 기초하여 시각화 인터랙션을 업데이트하는 단계(S1300) 및 업데이트된 시각화 인터랙션을 표시하는 단계(S1400)를 포함할 수 있다. 이때, 시각화 인터랙션은 사용자와 챗봇 사이의 대화 형태를 포함할 수 있다.
도 8에 따르면, 시각화 인터랙션과 관련된 어플리케이션에 대한 음성 입력을 수신하는 단계(S1200)는, 음성 입력을 자연어 처리하여 SQL기반 데이터로 변환하는 단계(S1210) 및 변환된 데이터를 저장하도록 제어하는 단계(S1220)를 포함할 수 있다. 즉, 프로세서(13)는 변환된 데이터를 메모리(11)에 저장하도록 상기 메모리(11)를 제어할 수 있다.
도 9에 따르면, 음성 입력에 기초하여 시각화 인터랙션을 업데이트하는 단계(S1300)는, SQL 기반 데이터에 기초하여 사용자 의도를 획득하는 단계(S1310), 사용자 의도에 기초하여 시각화 인터랙션을 업데이트하는 단계(S1320) 및 시각화 인터랙션이 업데이트될 때마다 시각화 인터랙션을 저장하는 단계(S1330)를 포함할 수 있다.
도 10에 따르면, 사용자 의도에 기초하여 시각화 인터랙션을 업데이트하는 단계(S1320)는 음성 입력에 따라, 시각화 인터랙션에 대한 히스토리를 생성하는 단계(S1321) 및 생성된 히스토리를 표시하기 위한 화면 레이어를 생성하는 단계(S1322)를 포함할 수 있다.
도 11에 따르면, 시각화 인터랙션에 대한 히스토리를 생성하는 단계(S1321)는 사용자의 제1 요청에 따른 이미지를 생성하는 단계(S1321a), 사용자의 제2 요청에 따른 문장을 생성하는 단계(S1321b), 사용자의 제2 요청에 따른 이미지를 생성하는 단계(S1321c), 사용자의 제3 요청에 따른 문장을 생성하는 단계(S1321d) 및 사용자의 제3 요청에 따른 이미지를 생성하는 단계(S1321e)를 포함할 수 있다.
바람직하게는, 히스토리는 상기 생성된 이미지 및 상기 생성된 문장을 시계열 순으로 정열하여 형성될 수 있다.
또한, 상기 제3 요청은, 사용자의 제1 요청에 따른 이미지와 사용자의 상기 제2 요청에 따른 이미지에 기초한 출력 데이터를 요청하는 메시지를 포함할 수 있다.
바람직하게는, 제3 요청은 이번 주 걸음 수와 지난 주 걸음 수에 대한 비교를 요청하는 메시지를 포함할 수 있다. 또한, 이에 기초한 출력 데이터는 이번 주 걸음 수와 지난 주 걸음수를 비교한 비교 데이터 또는 비교 그래프 이미지 등을 포함할 수 있다.
이하, 상술한 내용들을 바탕으로 본 명세서의 바람직한 제1 실시예 및 제2 실시예에 따른, 복수개의 단말을 이용한 구체적인 시나리오는 다음과 같다. 이때, 복수개의 단말 각각은 본 명세서의 제1 실시예에 따른 시각화 인터랙션에 기반한 서비스를 제공하는 장치를 의미할 수 있다.
위 구체적인 시나리오는 시각화 인터랙션에 기반한 서비스를 제공하는 시스템을 포함할 수 있다.
도 12 내지 도 17은 본 명세서에 따른 복수개의 단말을 사용한 구체적인 시나리오를 나타낸 도면이다. 각각의 시나리오별 중복되는 설명은 생략될 수 있다.
도 12 내지 도 17에서 언급되는 제1 단말(110)은 상술한 본 발명의 제1 실시예에 따른 시각화 인터랙션에 기반한 서비스를 제공하는 장치를 의미할 수 있다.
도 12 및 도 13에 따르면, 본 명세서에 따른 제1 단말(110)의 시각화 인터랙션은 사용자의 음성 입력 및 제2 단말(120)의 데이터에 기초하여 시각화 업데이트될 수 있다. 이때, 서버(130)은 제1 단말(110) 및 제2 단말(120)을 통신으로 연결하는 구성일 수 있다. 이때, 통신은 휴대용 단말기가 사용할 수 있는 모든 주파수에 따른 무선 통신을 포함할 수 있다.
도 13에 따르면, 제1 단말(110)은 사용자로부터 비교 요청(또는 제1 요청)을 음성 입력으로 받고(S101), 수신한 음성 입력을 자연어 분석하고, 이를 통하여 비교 대상을 추출할 수 있다(S102). 이때, 비교 대상은 사용자 이외의 제3자로부터 측정된 데이터를 의미할 수 있다. 즉, 비교를 위하여 제2 단말(120)로부터 제3자에 대한 데이터를 수신할 필요가 있다.
바람직하게는, 도 13에 따르면, 제1 단말(110)은 비교 대상의 전화번호를 제1 단말(110)에 저장된 주소록 데이터베이스로부터 획득할 수 있다(S103). 제1 단말(110)은 전화번호에 기반하여 비교 데이터를 서버(130)로 요청할 수 있다(S104). 이때, 서버(130)는 통신을 위한 서버(130)일 수 있다. 서버(130)는 제1 단말(110) 및 제2 단말(120)을 유선 또는 무선으로 연결하는 구성일 수 있다. 서버(130)는 제2 단말(120)로 제1 단말(110)의 비교 데이터 요청을 전송할 수 있다(S105).
도 13에 따르면, 제2 단말(120)은 서버(130)로 비교 데이터를 전송하고(S106), 서버(130)는 수신한 비교 데이터를 제1 단말(110)로 전송할 수 있다(S107). 제1 단말(110)은 제1 단말(110) 데이터와 제2 단말(120) 데이터를 비교하여 이미지를 생성할 수 있다(S108). 즉, 제1 단말(110)은 제2 단말(120)로부터 수신한 데이터에 기초하여 시각화 인터랙션을 업데이트하고 표시할 수 있다.
도 14 및 도 15에 따르면, 본 명세서에 따른 제1 단말(110)의 시각화 인터랙션은 사용자의 음성 입력 및 제2 단말(120)의 데이터에 기초하여 시각화 업데이트될 수 있다.
다만, 도 14 및 도 15에서는 사용자들이 걷기 대결을 수행하는 경우를 예시로 들고 있으나, 본 명세서의 권리범위는 이에 한정되지 않는다. 구체적으로, 사용자들은 서로 마주치지 않고 원거리에서 누가 더 걸음이 빠른지, 누가 더 많이 걷는지 등을 대결할 수 있다.
도 15에 따르면, 제1 단말(110)은 사용자로부터 대결 요청을 음성 입력으로 수신하고(S201), 자연어 분석을 통하여 대결 대상을 추출할 수 있다(S202). 바람직하게는, 제1 단말(110)은 주소록 데이터베이스에서 대결 대상의 전화 번호를 획득할 수 있다(S203). 제1 단말(110)은 서버(130)를 통하여 제2 단말(120)로 전화번호에 기반한 대결 요청을 전송할 수 있다(S204, S205). 제2 단말(120)은 서버(130)를 통하여 제1 단말(110)로 대결 승낙 데이터를 전송할 수 있다(S206, S207). 바람직하게는, 제1 단말(110) 및 제2 단말(120)은 정확한 대결을 위하여 서버(130)로 서버(130) 시각을 요청할 수도 있고, 서버(130)는 서버(130) 시각을 기준으로 (대결의 동시 시작을 위한) 기준 데이터를 전송할 수 있다(S208, S209). 이때, 기준 데이터는 동시 시작 시간을 포함하는 데이터일 수 있다.
도 15에 따르면, 제1 단말(110)은 기준 데이터에 기초하여 대결 시작 메시지를 표시하고(S210), 제1 사용자로부터 활동 정보를 획득할 수 있다(S211). 이와 함께, 제2 단말(120)은 제2 사용자로부터 활동 정보를 획득할 수 있다(S212). 제1 단말(110)은 미리 정해진 시간이 지난 후 종료 메시지를 표시할 수 있고(S213), 제2 단말(120)은 서버(130)를 통하여 제1 단말(110)로 제2 사용자 활동 정보를 전송할 수 있다(S214, S215). 제1 단말(110)은 각각 단말의 활동 정보에 대한 비교 이미지를 생성하고 이를 시각화하여 시각화 인터랙션을 수행할 수 있다(S216). 바람직하게는, 제1 단말(110) 및 제2 단말(120)은 각각의 활동 정보를 비교하여 대결의 승자를 선택할 수 있다.
도 16 및 도 17에 따르면, 제1 사용자 및 제2 사용자가 대결을 수행하는 경우, 누가 반칙을 저지르는지를 판단하기 위한 알고리즘이 개시되어 있다.
다만, 도 16 및 도 17에서는 사용자들이 걷기 대결을 수행하는 경우를 예시로 들고 있으나, 본 명세서의 권리범위는 이에 한정되지 않는다. 구체적으로, 사용자들은 서로 마주치지 않고 원거리에서 누가 더 걸음이 빠른지, 누가 더 많이 걷는지 등을 대결할 수 있다.
도 17에 따르면, 제1 단말(110)은 사용자로부터 대결을 요청하는 메시지를 수신하고(S301), 메시지를 자연어 분석하여 대결 대상을 추출하며(S302), 주소록 데이터베이스에서 추출된 대결 대상의 전화번호를 획득할 수 있다(S303). 제1 단말(110)은 서버(130)를 통하여 제2 단말(120)로 전화번호에 기반한 대결 요청 메시지를 전송할 수 있다(S304, S305). 제2 단말(120)은 서버(130)를 통하여 제1 단말(110)로 대결 승낙 데이터를 전송할 수 있다(S306, S307). 또한, 제1 단말(110) 및 제2 단말(120)은 서버(130)로부터 서버(130) 시각 기준으로 (대결 동시 시작을 위한) 기준 데이터를 수신할 수 있다(S308, S309).
제1 단말(110)은 기준 데이터에 기초하여 대결 시작 이미지를 생성하고 이를 시각화하여 인터랙션을 수행할 수 있다(S310). 제1 단말(110)은 제1 사용자로부터 활동 정보를 획득하고(S311), 제2 단말(120)은 제2 사용자로부터 활동 정보를 획득할 수 있다(S312).
바람직하게는, 도 17에 따르면, 제1 단말(110)은 활동 정보에서 반칙 데이터를 감지할 수 있다(S313). 반칙 데이터는 제1 사용자 또는 제2 사용자의 속도가 기준값을 초과하는 경우의 속도값을 의미할 수 있다. 제1 사용자 또는 제 2 사용자가 자전거, 차량 등을 사용하는 경우, 이는 공정한 대결을 방해하는 반칙 요소일 수 있기 때문이다. 이때, 미리 정해진 횟수만큼 반칙 데이터가 감지되는 경우, 제1 단말(110) 및 제2 단말(120)은 대결을 종료하도록 설정될 수 있다. 예시로서, 2회 경고가 주어지면, 종료될 수 있다.
제1 단말(110)은 제1 사용자에게 경고 메시지를 표시할 수 있다(S314). 제1 단말(110)은 서버(130)를 통하여 제2 단말(120)로 반칙 데이터를 감지하였다는 메시지를 전송할 수 있다(S315, S316). 바람직하게는, 제1 단말(110)은 2회 이상 반칙 데이터 감지시 제1 사용자에 대결 종료 메시지를 표시하고, 대결을 종료할 수 있따(S317). 제1 단말(110)은 서버(130)를 통하여 제2 단말(120)로 반칙에 의한 대결 종료 메시지를 전송할 수 있다(S318, S319).
도 18 내지 도 21은 본 명세서에 따른 시각화 인터랙션을 위한 자연어 처리 모델을 나타낸 도면이다. 이때, 자연어 처리 모델은 사용자의 음성 입력을 통하여 사용자의 인텐트를 추출하기 위한 모델일 수 있다.
도 18에 따르면, 1차 분류 모델의 프로세스가 나타난다. 1차 분류 모델 과정은 데이터셋을 수집하고(S2100), 이를 필터링하여 라벨링하고(S2200, S2300), 라벨링된 데이터들을 OKT를 이용하여 토큰화하여 벡터화할 수 있다(S2400, S2500). 1차 분류 모델 과정은 벡터화된 데이터를 분류 모델에 입력하고 결과 데이터를 수신할 수 있다(S2600, S2700). 바람직하게는, 라벨링은 1에서 6까지 총 6개의 카테고리로 나누어질 수 있다. 데이터셋은 미리 정해진 그래프를 기초로 설문조사를 진행하여 획득된 문항들을 기초로 수집될 수 있다.
도 19에 따르면, 1차 분류 모델의 레이어가 나타난다. 1차 분류 모델의 레이어는 3개의 레이어를 포함할 수 있다. 입력 레이어와 중간 레이어에서는 활성화 함수 ReLu 함수를 통하여 연산이 이루어질 수 있다. 출력 레이어에서는 Softmax 함수를 통하여 1~6의 값 중 가장 확률이 높은 값이 출력된다.
도 20에 따르면, 특정 조건으로 학습을 진행하는 경우 손실이 감소하고 정확도가 상승되는 그래프가 확인된다. 도 20을 위한 특정 조건들은 아래와 같다.
모델 컴파일 시 사용된 옵티마이저는 RMSProp으로 그 수식은 아래 [수학식 1]일 수 있다.
[수학식 1]
위 [수학식 1]은 기울기를 단순 누적하지 않고 지수 가중 이동 평균(Exponentially weighted moving average)을 사용하여 최신 기울기가 더 크게 반영되도록 한 수학식일 수 있다.
바람직하게는, 데이터를 6개의 카테고리로 분류하기 위해 Categorical Cross Entropy가 손실함수로서 사용되었다. 모델 학습에서 사용된 Batch size는 128이고, 검증 데이터는 훈련 데이터에서의 30%로 지정되었으며, 10 에포크로 학습이 진행되었다. 도 20에 따르면, 위 조건으로 학습을 진행시, 4번째 에포크까지 크게 loss가 감소하며, 정확도 또한 크게 상승된다.
도 21에 따르면, 2차 쿼리 생성 모델의 프로세스가 나타난다. 2차 쿼리 생성 모델의 프로세스는 1차 분류 모델에서 사용되었던 필터링된 데이터셋에 시간과 관련한 데이터셋을 임의로 추가할 수 있다(S3100, S3200).
바람직하게는, 2차 쿼리 생성 모델의 프로세스는 위 데이터셋에서 타켓이 되는 각 WHERE 절 데이터의 앞에는 <SOS> 토큰으로 탭(\t), 제일 끝에는 <EOS> 토큰으로 줄 내림(\n) 토큰을 추가할 수 있다(S3400). 또한, 2차 쿼리 생성 모델의 프로세스는 OKT를 이용하여 토큰화 과정을 진행하고(S3500), 벡터화 과정을 진행할 수 있다(S2600). 2차 쿼리 생성 모델의 프로세스는 벡터화된 데이터를 자연어 처리 모델에 입력하고(S3700), 이를 통하여 쿼리 문장을 생성할 수 있다(S3800).
이때, 모델 컴파일 시에 사용했던 옵티마이저와 손실함수는 Keras 라이브러리에 있는 함수를 활용했으며, 옵티마이저는 Adam을 사용하였으며, 이때 사용된 수식은 아래의 [수학식 2]와 같다.
[수학식 2]
손실 함수는 Sparse Categorical Cross entropy를 사용하였고, 100 에포크를 학습하도록 설정되었다.
도 22에 따르면, 전체 자연어 처리 과정에 대한 동작 시나리오가 나타난다. 전체 자연어 처리 과정은, 챗봇 환경에 있는 사용자에게 걸음 수 그래프를 보여줄 수 있다(S4100). 이때, 챗봇 환경에서 사용자는 원하는 기간에 대한 걸음 수 데이터를 챗봇을 통하여 요청할 수 있다(S4200). 바람직하게는, 사용자의 요청은 1차 분류 모델을 통해 1∼6 중에 하나의 값으로 출력된다. 출력값이 1∼3 이면 사전에 정의되어있는 쿼리를 실행하고(S4400), 출력값이 4∼6이면 사용자의 질의를 쿼리생성 모델로 전달되고, 쿼리가 생성될 수 있다(S4500, S4600).
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 모델링하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 모델링되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.
앞에서 설명된 본 발명의 어떤 실시 예들 또는 다른 실시 예들은 서로 배타적이거나 구별되는 것은 아니다. 앞서 설명된 본 발명의 어떤 실시 예들 또는 다른 실시 예들은 각각의 구성 또는 기능이 병용되거나 조합될 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 시각화 인터랙션에 기반한 서비스를 제공하는 장치
11: 메모리
12: 입력부
13: 프로세서
14: 디스플레이부
110: 제1 단말
120: 제2 단말
130: 서버
11: 메모리
12: 입력부
13: 프로세서
14: 디스플레이부
110: 제1 단말
120: 제2 단말
130: 서버
Claims (11)
- 시각화 인터랙션에 기반한 서비스를 제공하는 장치에 있어서,
상기 시각화 인터랙션과 관련된 어플리케이션을 저장하는 메모리;
상기 어플리케이션과 관련된 입력을 수신하는 입력부;
상기 입력에 기초하여 상기 시각화 인터랙션을 업데이트하는 프로세서; 및
상기 시각화 인터랙션을 표시하는 디스플레이부;를 포함하되,
상기 시각화 인터랙션은,
사용자와 챗봇 사이의 대화 형태를 포함하되,
상기 프로세서는,
상기 입력에 따라, 상기 시각화 인터랙션에 대한 히스토리를 생성하고,
상기 디스플레이부는 상기 히스토리를 표시하고,
상기 히스토리는 상기 사용자와 상기 챗봇 사이의 상기 대화 형태로 표시되고,
상기 디스플레이부에 표시된 상기 히스토리는,
상기 사용자의 제1 요청에 따른 이미지를 포함하는 제1 영역;
상기 사용자의 제2 요청에 따른 문장을 표시하는 제2 영역;
상기 사용자의 상기 제2 요청에 따른 이미지를 포함하는 제3 영역;
상기 사용자의 제3 요청에 따른 문장을 표시하는 제 4 영역; 및
상기 사용자의 상기 제3 요청에 따른 이미지를 표시하는 제5 영역;를 포함하며,
상기 제3 요청은,
상기 제1 영역의 데이터와 상기 제2 영역의 데이터에 기초한 출력 데이터를 프로세스에 요청하는 메시지를 포함하며,
상기 프로세서는 제1 사용자로부터 대결을 요청하는 메시지를 상기 제1 요청으로써 수신하고, 상기 메시지를 자연어 분석하여 대결 대상을 추출하며, 주소록 데이터베이스에서 추출된 대상 대결의 전화번호를 획득하며,
상기 프로세서는,
서버를 통하여 상기 전화번호에 기반하여 대상 대결에 대하여 대결 요청 메시지를 전송하는 것인, 시각화 인터랙션에 기반한 서비스를 제공하는 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 시각화 인터랙션에 기반한 서비스를 제공하는 시스템에 있어서, 제1 사용자로부터 제1 요청을 수신하는 제1 단말;
상기 제1 단말로부터 제2 요청을 수신하는 제2 단말; 및
상기 제1 단말 및 상기 제2 단말과 통신하는 서버;를 포함하되,
상기 제1 단말은,
상기 제2 단말로부터 수신한 데이터에 기초하여 시각화 인터랙션을 업데이트하고 표시하며,
상기 제1 단말은,
제1항의 장치이고,
상기 제1 단말은 제1 사용자로부터 대결을 요청하는 메시지를 상기 제1 요청으로써 수신하고,
상기 메시지를 자연어 분석하여 상기 제2 단말을 대결 대상으로 추출하며, 주소록 데이터베이스에서 추출된 상기 제2 단말의 전화번호를 획득하며,
상기 제1 단말은 상기 서버를 통하여 상기 제2 단말로 전화번호에 기반한 대결 요청 메시지를 전송하는 것인,
시각화 인터랙션에 기반한 서비스를 제공하는 시스템. - 제7항에 있어서,
상기 제2 단말은,
상기 서버를 통하여 상기 제1 단말로 대결 승낙 데이터를 전송하고,
상기 제1 단말 및 상기 제2 단말은 상기 서버로부터 서버 시각 기준으로 대결의 동시 시작을 위한 기준 데이터를 수신하는 것인,
시각화 인터랙션에 기반한 서비스를 제공하는 시스템. - 제8항에 있어서,
상기 제1 단말은 상기 기준 데이터에 기초하여 대결 시작 이미지를 생성하고,
상기 제1 단말은 상기 제1 사용자로부터 활동 정보를 획득하고,
상기 제2 단말은 대결의 대상이 되는 제2 사용자로부터 활동 정보를 획득하는 것인,
시각화 인터랙션에 기반한 서비스를 제공하는 시스템. - 제9항에 있어서,
상기 제1 단말은,
상기 활동 정보에서 반칙 데이터를 감지하되, 상기 반칙 데이터는 상기 제1 사용자 또는 상기 제2 사용자의 속도가 기준값을 초과하는 경우의 속도값을 기초로 획득되며,
상기 제1 단말은 미리 정해진 횟수만큼 반칙 데이터를 감지하는 경우 대결을 종료하는 것인,
시각화 인터랙션에 기반한 서비스를 제공하는 시스템. - 제7항에 있어서,
상기 제1 단말은,
입력을 자연어 처리하기 위하여 1차 분류 모델을 사용하고,
상기 1차 분류 모델은 입력 레이어, 중간 레이어 및 출력 레이어를 포함하되,
상기 입력 레이어와 상기 중간 레이어는 활성화 함수 ReLu 함수를 통하여 연산을 수행하고,
상기 출력 레이어는 Softmax 함수를 통하여 1~6의 값 중 가장 확률이 높은 값을 출력하며,
상기 1차 분류 모델은 하기 수학식 1을 포함하는 옵티마이저를 이용하여 모델 컴파일을 수행하는 것인,
시각화 인터랙션에 기반한 서비스를 제공하는 시스템.
[수학식 1]
(단, 수학식 1은 기울기를 단순 누적하지 않고 지수 가중 이동 평균(Exponentially weighted moving average)을 사용하여 최신 기울기가 더 크게 반영되는 수학식임.)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200138671A KR102465051B1 (ko) | 2020-10-23 | 2020-10-23 | 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200138671A KR102465051B1 (ko) | 2020-10-23 | 2020-10-23 | 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220054124A KR20220054124A (ko) | 2022-05-02 |
| KR102465051B1 true KR102465051B1 (ko) | 2022-11-09 |
Family
ID=81593444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200138671A KR102465051B1 (ko) | 2020-10-23 | 2020-10-23 | 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102465051B1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130106691A (ko) * | 2012-03-20 | 2013-09-30 | 삼성전자주식회사 | 에이전트 서비스 방법, 이를 위한 전자 기기, 서버 및 기록 매체 |
| KR101588294B1 (ko) | 2013-12-30 | 2016-01-28 | 삼성전자주식회사 | 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 |
| KR20200010131A (ko) * | 2018-07-20 | 2020-01-30 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
| KR20200071802A (ko) * | 2018-11-30 | 2020-06-22 | 주식회사 일 | Ai 챗봇을 활용한 주얼리 추천 서비스 제공 방법 |
-
2020
- 2020-10-23 KR KR1020200138671A patent/KR102465051B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220054124A (ko) | 2022-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111277706B (zh) | 一种应用推荐方法、装置、存储介质及电子设备 | |
| KR102167250B1 (ko) | 자동완성 검색 결과에 대한 시간적 요구를 식별하는 기법 | |
| EP3726525A1 (en) | Electronic device for analyzing meaning of speech, and operation method therefor | |
| CN110009401A (zh) | 基于用户画像的广告投放方法、装置和存储介质 | |
| CN105550173A (zh) | 文本校正方法和装置 | |
| CN110263161B (zh) | 一种信息的处理方法、装置及设备 | |
| KR102376618B1 (ko) | 드래그 또는 터치 기술 적용을 통한 장바구니 간편 담기 기능을 제공하는 방법 및 그 시스템 | |
| CN109615408A (zh) | 基于大数据的广告投放方法及装置、存储介质、电子设备 | |
| US11861318B2 (en) | Method for providing sentences on basis of persona, and electronic device supporting same | |
| CN110073349A (zh) | 考虑频率和格式化信息的词序建议 | |
| CN104778600A (zh) | 用于用户交互和内容的激励机制 | |
| CN107807968A (zh) | 基于贝叶斯网络的问答装置、方法及存储介质 | |
| CN114648392B (zh) | 基于用户画像的产品推荐方法、装置、电子设备及介质 | |
| KR20230014802A (ko) | 지정 항목 추천 방법 | |
| EP2597607A2 (en) | Device for displaying content by means of designated website and designated webpage recognition and a method for the same | |
| KR102438679B1 (ko) | 미디어 마케팅 서비스를 제공하는 서버의 동작방법 | |
| KR20200065793A (ko) | 도서 큐레이션 서비스 제공 방법, 장치 및 컴퓨터-판독가능 기록매체 | |
| KR102465051B1 (ko) | 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법 | |
| US20150042587A1 (en) | Method and apparatus for providing intelligent information | |
| CN110489563B (zh) | 图结构的表示方法、装置、设备及计算机可读存储介质 | |
| CN111414509A (zh) | 为小程序提供图片素材的方法和装置 | |
| CN114265777B (zh) | 应用程序的测试方法、装置、电子设备及存储介质 | |
| KR101743999B1 (ko) | 컨텐츠 검증 단말기, 시스템 및 그 것들의 제어방법 | |
| CN110717101B (zh) | 基于应用行为的用户分类方法、装置和电子设备 | |
| AU2019200380A1 (en) | Determining indices based on area-assigned data elements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |