KR20190089451A - 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 - Google Patents

텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20190089451A
KR20190089451A KR1020180007955A KR20180007955A KR20190089451A KR 20190089451 A KR20190089451 A KR 20190089451A KR 1020180007955 A KR1020180007955 A KR 1020180007955A KR 20180007955 A KR20180007955 A KR 20180007955A KR 20190089451 A KR20190089451 A KR 20190089451A
Authority
KR
South Korea
Prior art keywords
image
user
electronic device
emotion
text
Prior art date
Application number
KR1020180007955A
Other languages
English (en)
Other versions
KR102448382B1 (ko
Inventor
이호영
김규철
정창대
최광성
최호섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180007955A priority Critical patent/KR102448382B1/ko
Priority to PCT/KR2019/000915 priority patent/WO2019143227A1/en
Priority to EP19740696.0A priority patent/EP3669537A4/en
Priority to US16/253,624 priority patent/US11210827B2/en
Priority to CN201980006038.0A priority patent/CN111418198B/zh
Publication of KR20190089451A publication Critical patent/KR20190089451A/ko
Application granted granted Critical
Publication of KR102448382B1 publication Critical patent/KR102448382B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface

Abstract

다양한 실시예에 따른 전자 장치는, 입력 장치, 표시 장치, 통신 회로, 및 프로세서를 포함하고, 상기 프로세서는, 상기 입력 장치를 통하여 텍스트를 수신하고, 상기 통신 회로를 통하여, 상기 텍스트에 대한 정보를 서버로 송신하고, 복수의 텍스트 및 복수의 감정 종류 및 감정 정도에 대한 데이터 베이스를 이용하여 학습된 학습 모델에 의한 상기 텍스트의 분석 결과에 따라 확인된 제 1 사용자의 감정 상태 및, 상기 제 1 사용자와 대화를 수행 중인 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하고, 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하도록 설정될 수 있다.

Description

텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE FOR PROVIDING IMAGE RELATED WITH TEXT AND OPERATION METHOD THEREOF}
다양한 실시예는 수신한 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 텍스트의 내용에 대응하는 이미지를 선택 또는 편집하여 제공하는 전자 장치 및 그 동작 방법에 관한 것이다.
또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
근자에 들어서 스마트 폰 또는 태블릿 PC가 널리 보급됨에 따라서, 다수의 사용자가 전자 장치를 휴대하면서, 다른 사용자와 메시지를 송수신할 수 있다. 메시지 송수신을 위한 다양한 어플리케이션이 출시된 바 있으며, 어플리케이션들은 단순히 텍스트 메시지를 송수신하는 기능 이외에도 다양한 사용자 친화적인 기능을 제공하고 있다. 예를 들어, 어플리케이션은 이모티콘과 같은 이미지를 텍스트와 함께 송신하는 기능을 제공하고 있으며, 이에 따라 사용자는 자신이 원하는 이미지를 선택하여 다른 전자 장치로 송신하도록 전자 장치를 조작할 수 있다.
또한, 근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
다양한 사용자의 감정 상태를 표현하기 위하여 전자 장치는 다수의 후보 이미지를 제공하고 있다. 사용자는, 다수의 후보 이미지 중 자신이 원하고자 하는 이미지를 검색하기 위하여, 다수의 후보 이미지 각각을 검색하여야 하며, 이에 따라 원하는 이미지를 제공하는 시간이 증가할 수 있다. 또한, 복수의 사용자들 사이의 감정에 대응하는 이미지를 선택 또는 편집하는 기술에 대하여서는 개시된 바가 없다. 아울러, 복수의 사용자들 각각에 대응하는 복수의 이미지들을 하나의 이미지로 결합하여 제공하는 기술에 대하여서도 개시된 바가 없다.
다양한 실시예에 따른 전자 장치 및 그 동작 방법은, 사용자의 감정의 종류 및 감정의 정도에 따라 선택 또는 편집된 이미지를 제공할 수 있다. 또한, 다양한 실시예에 따른 전자 장치 및 그 동작 방법은, 복수의 사용자들 사이의 감정에 대응하는 이미지를 선택 또는 편집하여 제공할 수 있다. 또한, 다양한 실시예에 따른 전자 장치 및 그 동작 방법은, 복수의 사용자들 각각에 대응하는 복수의 이미지들을 하나의 이미지로 결합하여 제공할 수 있다.
다양한 실시예에 따라서, 전자 장치는, 입력 장치, 표시 장치, 통신 회로, 및 프로세서를 포함하고, 상기 프로세서는, 상기 입력 장치를 통하여 텍스트를 수신하고, 상기 통신 회로를 통하여, 상기 텍스트에 대한 정보를 서버로 송신하고, 상기 텍스트의 분석 결과에 따라 확인된 제 1 사용자의 감정 상태 및, 상기 제 1 사용자와 대화를 수행 중인 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하고, 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하도록 설정될 수 있다.
다양한 실시예에 따라서, 전자 장치의 동작 방법은, 텍스트를 수신하는 동작, 상기 텍스트에 대한 정보를 서버로 송신하는 동작, 상기 텍스트의 분석 결과에 따라 확인된 제 1 사용자의 감정 상태 및, 상기 제 1 사용자와 대화를 수행 중인 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하는 동작, 및 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따라서, 사용자의 감정의 종류 및 감정의 정도에 따라 선택 또는 편집된 이미지를 제공할 수 있는 전자 장치 및 그 동작 방법이 제공될 수 있다. 또한, 다양한 실시예에 따라서, 복수의 사용자들 사이의 감정에 대응하는 이미지를 선택 또는 편집하여 제공할 수 있는 전자 장치 및 그 동작 방법이 제공될 수 있다. 또한, 다양한 실시예에 따라서, 복수의 사용자들 각각에 대응하는 복수의 이미지들을 하나의 이미지로 결합하여 제공할 수 있는 전자 장치 및 그 동작 방법이 제공될 수 있다.
도 1a는 다양한 실시예에 따른 전자 장치, 외부 전자 장치 및 서버의 도면이다.
도 1b는 다양한 실시예에 따른 전자 장치, 외부 전자 장치 및 서버의 블록도이다.
도 2a 내지 2d는, 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도들을 도시한다.
도 3은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 4a 내지 4c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 5는 다양한 실시예에 따른 감정의 정도의 변경에 따른 이미지 변경의 예시를 도시한다.
도 6은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 7a 내지 7c는 다양한 실시예에 따른 전자 장치가 표시하는 화면들을 도시한다.
도 8a 내지 8c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 9는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 10a 내지 10e는 다양한 실시예에 따른 이미지 편집을 설명하기 위한 도면들이다.
도 11은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 12a 및 12b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 13a 및 13b는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 14a 내지 14c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 15는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 16은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 17a 및 17b는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 18a 및 18b는 다양한 실시예에 따른 이미지 표시 과정을 설명하기 위한 도면이다.
도 19는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 20은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 21은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 22a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 22b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 23 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 24는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 25는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 26은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 27은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 28은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 29는 다양한 실시예에 따른 전자 장치가 표시하는 화면 및 촬영한 이미지를 도시한다.
도 30은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 31a 및 31b은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 32a 내지 32c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 33은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 34는 다양한 실시예에 따른 전자 장치가 표시하는 화면이다.
도 35는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 36은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 37a 및 37b는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 38은 다양한 실시예에 따른 프로세서의 블록도이다.
도 39는 다양한 실시예에 따른 데이터 학습부의 블록도이다.
도 40은 다양한 실시예에 따른 데이터 인식부의 블록도이다.
도 1a는 다양한 실시예에 따른 전자 장치, 외부 전자 장치 및 서버의 도면이다. 도 1b는 다양한 실시예에 따른 전자 장치, 외부 전자 장치 및 서버의 블록도이다.
다양한 실시예에 따라서, 전자 장치(101)는 서버(108)와 통신을 수행할 수 있으며, 외부 전자 장치(102)는 서버(108)와 통신을 수행할 수 있다. 전자 장치(101)는, 예를 들어 원거리 무선 통신 네트워크를 통하여 외부 전자 장치(102) 또는 서버(108)와 통신할 수 있다. 또는, 도시되지는 않았으나, 전자 장치(101)는 근거리 무선 통신 네트워크를 통하여 외부 전자 장치(102)와 직접 통신할 수도 잇다.
다양한 실시예에서, 전자 장치(101)는 서버(108)를 통하여 데이터를 외부 전자 장치(102)로 송신할 수 있으며, 또는 서버(108)를 통하여 외부 전자 장치(102)로부터 데이터를 수신할 수도 있다. 예를 들어, 전자 장치(101)는, 텍스트에 대한 정보 또는 이미지에 대한 정보 중 적어도 하나를 서버(108)를 통하여 외부 전자 장치(102)로 송신할 수 있다. 아울러, 전자 장치(101)는, 텍스트에 대한 정보 또는 이미지에 대한 정보 중 적어도 하나를 서버(108)를 통하여 외부 전자 장치(102)로 수신할 수도 있다. 본 문서에서 전자 장치(101), 외부 전자 장치(102), 또는 서버(108) 각각이 특정 동작을 수행할 수 있다는 것은, 프로세서(120), 프로세서(121), 또는 프로세서(122) 각각이 특정 동작을 수행하는 것으로 이해될 수 있다. 또는, 전자 장치(101), 외부 전자 장치(102), 또는 서버(108) 각각이 특정 동작을 수행할 수 있다는 것은, 프로세서(120), 프로세서(121), 또는 프로세서(122) 각각이, 전자 장치(101), 외부 전자 장치(102), 또는 서버(108) 각각에 포함된 하드웨어 또는 외부의 하드웨어로 하여금 특정 동작을 수행하도록 제어하는 것으로 이해될 수도 있다. 또는, 전자 장치(101), 외부 전자 장치(102), 또는 서버(108) 각각이 특정 동작을 수행할 수 있다는 것은, 메모리(130), 메모리(131), 또는 메모리(132) 각각에, 프로세서(120), 프로세서(121), 또는 프로세서(122) 각각 또는 하드웨어 중 적어도 하나로 하여금 특정 동작을 수행하도록 하는 인스트럭션들이 저장된 것으로 이해될 수도 있다.
다양한 실시예에 따라서, 전자 장치(101)는, 프로세서(120), 메모리(130), 입력 장치(150), 표시 장치(160), 및 통신 회로(190)를 포함할 수 있다. 외부 전자 장치(102)는, 프로세서(121), 메모리(131), 입력 장치(151), 표시 장치(161), 및 통신 회로(191)를 포함할 수 있다. 서버(108)는, 프로세서(122), 메모리(132), 및 통신 회로(192)를 포함할 수 있다.
다양한 실시예에 따라서, 프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 통신 모듈(190) 또는 센서 모듈(미도시))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다. 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서 (예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다. 표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. 이 경우, 입력 장치(150) 및 표시 장치(160)가 터치스크린 장치로 구현될 수도 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 외부 전자 장치(102), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈은 가입자 식별 모듈에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크 또는 제 2 네트워크와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
프로세서(121) 및 프로세서(122)는, 프로세서(120)와 실질적으로 동일한 구성 요소를 포함하거나, 또는 실질적으로 동일한 기능을 제공할 수 있다. 메모리(131) 및 메모리(132)는 메모리(130)와 실질적으로 동일한 구성 요소를 포함하거나, 또는 실질적으로 동일한 기능을 제공할 수 있다. 통신 회로(191) 및 통신 회로(192)는 통신 회로(190)와 실질적으로 동일한 구성 요소를 포함하거나, 또는 실질적으로 동일한 기능을 제공할 수 있다. 입력 장치(151)는 입력 장치(150)와 실질적으로 동일한 구성 요소를 포함하거나, 또는 실질적으로 동일한 기능을 제공할 수 있다. 표시 장치(161)는 표시 장치(160)와 실질적으로 동일한 구성 요소를 포함하거나, 또는 실질적으로 동일한 기능을 제공할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 서버(108)를 통해서 전자 장치(101)와 외부 전자 장치(102)간에 송신 또는 수신될 수 있다. 외부 전자 장치(102)는 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2a 내지 2d는, 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도들을 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 201 동작에서, 텍스트를 입력받을 수 있다. 예를 들어, 전자 장치(101)는, 메시지 송수신을 위한 어플리케이션을 저장하고, 실행할 수 있으며 실행 화면을 표시 장치(160)를 통하여 제공할 수 있다. 전자 장치(101)는, 텍스트를 입력받을 수 있는 SIP(soft input panel) 및 입력된 텍스트를 표시하는 입력창을 포함하는 사용자 인터페이스를 표시할 수 있다. 전자 장치(101)는, SIP를 구성하는 적어도 하나의 오브젝트의 터치에 기반하여, 터치된 오브젝트에 대응하는 텍스트, 또는 텍스트의 조합을 입력창에 표시할 수 있다. 전자 장치(101)는, 203 동작에서, 텍스트를 서버(108)로 송신할 수 있다. 전자 장치(101)는, 예를 들어 텍스트를 사용자의 요청에 의하여 송신할 수 있다. 또는, 전자 장치(101)는, 텍스트를 사용자의 요청이 없어도 신규 텍스트가 입력되면, 텍스트를 서버(108)로 송신할 수 있다. 이 경우, 전자 장치(101)는, 신규 텍스트만을 서버(108)로 송신할 수 있거나, 또는 신규 텍스트를 포함한 전체 텍스트를 서버(108)로 송신할 수도 있다.
다양한 실시예에 따른 서버(108)는, 수신된 텍스트에 기반하여 텍스트를 입력한 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 서버(108)는, 수신된 텍스트를 분석하여 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 서버(108)는, 텍스트로부터 사용자의 감정 종류 및 감정 정도를 확인할 수 있는 알고리즘을 저장할 수 있다. 예를 들어, 서버(108)는, 복수의 텍스트 및 복수의 감정 종류 및 감정 정도에 대한 데이터 베이스를 이용하여 학습된 학습 모델을 저장할 수 있다. 다양한 실시예에서, 서버(108)는, 텍스트를 형태소 단위로 분리할 수 있으며, 형태소에 대하여 키워드 분석을 수행할 수 있다. 예를 들어, 서버(108)는, 하나의 문장을, 품사별로 분리할 수 있으며, 명사, 형용사, 또는 동사에 대응하는 텍스트에 기반하여 사용자의 감정 및 감정의 정도를 확인할 수 있다. 예를 들어, 서버(108)는, 제 1 텍스트에 대응하는 사용자의 감정의 종류를 "슬픔"으로 확인할 수 있다. 서버(108)는, 제 1 텍스트에 대응하는 사용자의 감정의 정도를 복수 개의 레벨 중 하나의 레벨로 확인할 수 있다. 서버(108)는, 텍스트의 분석 결과에 기반하여 사용자의 감정을 나타내는 레벨을 확인할 수 있는 알고리즘을 저장할 수 있으며, 이를 이용하여 감정의 정도를 확인할 수 있다. 또한, 서버(108)는, 동사에 대응하는 텍스트에 기반하여 동작의 종류를 확인할 수도 있다. 서버(108)가 텍스트로부터 사용자의 감정의 종류 및 감정의 정도를 확인하는 방식에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다. 서버(108)가 학습을 통하여 감정의 종류 및 감정의 정도를 확인하는 구성에 대하여서는 더욱 상세하게 후술하도록 한다.
207 동작에서, 서버(108)는, 확인된 감정 종류 및 감정 정도에 대한 정보를 전자 장치(101)로 송신할 수 있다. 209 동작에서, 전자 장치(101)는, 감정 종류 및 감정 정도에 기반하여, 복수 개의 이미지 중 텍스트에 대응하는 이미지를 선택하거나, 또는 원시 이미지를 편집하여 표시할 수 있다. 여기에서, 이미지는, 예를 들어 이모티 콘과 같은 이미지일 수 있으며, 그래픽 오브젝트라 명명될 수도 있다. 예를 들어, 전자 장치(101)는, 복수 개의 후보 이미지를 저장할 수 있다. 전자 장치(101)는, 예를 들어 감정의 종류별로 복수 개의 후보 이미지를 분류하여 저장할 수 있다. 표 1은 다양한 실시예에 따라, 전자 장치(101)가 이미지를 분류하여 저장한 예시이다.
캐릭터 감정의 종류 감정의 정도 이미지
제 1 캐릭터 슬픔 제 1 레벨 제 1 이미지
제 2 레벨 제 2 이미지
제 3 레벨 제 3 이미지
기쁨 제 1 레벨 제 4 이미지
제 2 레벨 제 5 이미지
제 3 레벨 제 6 이미지
제 2 캐릭터 슬픔 제 1 레벨 제 7 이미지
제 2 레벨 제 8 이미지
제 3 레벨 제 9 이미지
기쁨 제 1 레벨 제 10 이미지
제 2 레벨 제 11 이미지
제 3 레벨 제 12 이미지
상기와 같이, 전자 장치(101)는 캐릭터 별로 동일한 캐릭터에 대응하는 적어도 하나의 이미지(예: 제 1 이미지 내지 제 6 이미지)를 저장할 수 있다. 전자 장치(101)는, 감정의 정도에 기반하여, 동일한 감정의 종류라 하더라도 상이한 이미지를 저장할 수 있다. 예를 들어, 전자 장치(101)는, 서버(108)로부터 제 1 텍스트에 대응하는 감정의 종류가 “기쁨”이며, 감정의 정도가 2 레벨이라는 정보를 수신할 수 있다. 전자 장치(101)는, 지정된 캐릭터가 제 1 캐릭터인 것을 확인할 수 있으며, 이에 기반하여 제 5 이미지를 제공할 수 있다. 만약, 캐릭터가 지정되지 않은 경우에는, 전자 장치(101)는 디폴트 캐릭터에 대응하는 이미지를 확인할 수 있다. 여기에서, 캐릭터는 특정 동물 또는 인간을 형상화한 이미지일 수도 있으나, 또는 사물, 도형 등의 다양한 형태로 구현될 수 있으며, 구현에 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다.
한편, 서버(108)가 확인한 감정의 종류와 전자 장치(101)가 정의하고 있는 감정의 종류가 상이할 수도 있다. 이 경우, 전자 장치(101)는, 서버(108)가 확인한 감정의 종류와 유사한 감정의 종류를 선택할 수 있다. 예를 들어, 서버(108)가 확인한 감정의 종류가 "환희"인 경우에는, 전자 장치(101)는 해당 감정의 종류와 유사한 감정인 "기쁨"을 선택할 수 있다. 전자 장치(101)는, 시맨틱 기반으로 유사도를 판단하여 감정의 종류를 판단할 수도 있다. 한편, 서버(108)가 확인한 감정의 정도와 전자 장치(101)가 정의하고 있는 감정의 정도가 상이할 수도 있다. 이 경우, 전자 장치(101)는, 서버(108)가 확인한 감정의 정도와 유사한 감정의 정도를 선택할 수 있다. 예를 들어, 서버(108)가 확인한 감정의 정도가 "높음"인 경우에는, 전자 장치(101)는 해당 감정의 정도와 유사한 감정 레벨인 "3"을 선택할 수 있다. 전자 장치(101)는, 시맨틱 기반으로 유사도를 판단하여 감정의 정도를 판단할 수도 있다.
전자 장치(101)는, 서버(108)로부터 수신된 정보에 기반하여 캐릭터에 대응하는 이미지를, 복수 개의 후보 이미지 중 선택하여 제공할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 복수 개의 이미지를 저장하지 않고, 캐릭터에 대응하는 원시 이미지를 서버(108)로부터 수신된 정보에 기반하여 편집하여 제공할 수도 있다. 이 경우, 전자 장치(101)는 표 2와 같은 원시 이미지를 저장할 수 있다.
캐릭터 원시 이미지
제 1 캐릭터 제 1 원시 이미지
제 2 캐릭터 제 2 원시 이미지
전자 장치(101)는, 서버(108)로부터 수신한 감정의 종류 및 감정의 정도에 기반하여, 원시 이미지를 편집한 이미지를 제공할 수 있다. 예를 들어, 전자 장치(101)는 표 3과 같은 편집 정보를 저장할 수 있으며, 편집 정보에 기반하여 원시 이미지를 편집할 수 있다.
감정의 종류 감정의 정도 편집 정보
슬픔 제 1 레벨 제 1 편집 정보
제 2 레벨 제 2 편집 정보
제 3 레벨 제 3 편집 정보
기쁨 제 1 레벨 제 4 편집 정보
제 2 레벨 제 5 편집 정보
제 3 레벨 제 6 편집 정보
여기에서, 편집 정보는, 적어도 하나의 오브젝트의 위치, 형태, 색상, 또는 변경 속도 중 하나를 조정하는 정보일 수 있으며, 이에 대하여서는 더욱 상세하게 후술하도록 한다. 예를 들어, 전자 장치(101)는, 지정된 캐릭터가 제 1 캐릭터로 확인된 경우에, 제 1 원시 이미지를 로드할 수 있다. 전자 장치(101)는, 서버(108)로부터 수신된 정보가 감정의 종류가 “기쁨”이며, 감정의 정도가 “제 3 레벨”인 것에 대응하여, 제 6 편집 정보를 선택할 수 있다. 제 6 편집 정보는, 예를 들어 “입”의 대응하는 오브젝트의 양 끝의 위치를 상향 조정하는 편집 정보일 수 있다. 이에 기반하여, 전자 장치(101)는 제 1 원시 이미지의 “입”에 대응하는 오브젝트의 양 끝의 위치를 상향 조정하는 편집을 수행하여 편집된 이미지를 제공할 수 있다.
다양한 실시예에 따른 전자 장치(101)는, 선택되거나 또는 편집된 이미지를 텍스트와 함께 표시하거나, 또는 이미지 단독으로 표시할 수 있다. 전자 장치(101)는, 입력창에 표시된 테스트에 대응하여 이미지를 동적으로 변경할 수도 있다. 예를 들어, 전자 장치(101)는, 입력창에 “Ah~”가 기재된 경우, 서버(108)로부터의 정보에 기반하여 “실망”의 감정 종류 및 “3레벨”의 감정 정도에 대응하는 이미지를 제공할 수 있다. 이후, 추가적으로 입력된 텍스트에 의하여 입력창에 “Ah~ great~!!”가 기재된 경우에, 전자 장치(101)는 서버(108)로부터의 정보에 기반하여 “기쁨”의 감정 종류 및 “3레벨”의 감정 정도에 대응하는 이미지로 교체하여 표시할 수 있다.
211 동작에서, 전자 장치(101)는 텍스트 및 이미지를 서버(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 텍스트 및 이미지 송신 명령이 획득됨에 대응하여, 텍스트 및 제공되는 이미지를 서버(108)로 송신할 수 있다. 서버(108)는, 213 동작에서, 텍스트 및 이미지를 외부 전자 장치(102)로 송신할 수 있다. 215 동작에서, 외부 전자 장치(102)는, 수신한 텍스트 및 이미지를 표시할 수 있다. 이에 따라, 외부 전자 장치(102)는, 전자 장치(101)의 사용자의 감정의 종류 및 감정의 정도에 기반하여 자동적으로 제공되는 이미지를 표시할 수 있다.
도 2b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 2b 내지 2d의 적어도 일부의 동작이 도 2a의 적어도 일부의 동작과 실질적으로 동일하거나, 또는 유사한 경우에, 해당 동작의 설명은 간략하게 하도록 한다.
다양한 실시예에서, 전자 장치(101)는, 221 동작에서, 텍스트를 입력받을 수 있다. 223 동작에서, 전자 장치(101)는, 텍스트를 서버(108)로 송신할 수 있다. 225 동작에서, 서버(108)는 텍스트를 분석하여, 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 227 동작에서, 서버(108)는, 감정 종류 및 감정 정도에 기반하여 이미지를 선택할 수 있다. 도 2a와는 달리, 서버(108)가 복수 개의 후보 이미지 또는 편집을 위한 원시 이미지를 저장할 수 있으며, 서버(108)는 확인된 사용자의 감정 종류 및 감정 정도에 대응하는 이미지를 선택할 수 있다. 이 경우, 서버(108)는 전자 장치(101)의 사용자 계정에 대응되는 캐릭터를 확인하거나, 또는 디폴트된 캐릭터를 이용할 수 있다. 229 동작에서, 서버(108)는 선택된 이미지를 송신할 수 있다. 또는, 서버(108)는 편집된 이미지를 송신할 수도 있다. 231 동작에서, 전자 장치(101)는, 텍스트 및 선택된 이미지를 외부 전자 장치(102)로 송신하라는 요청을 수신할 수 있다. 예를 들어, 전자 장치(101)는, 사용자 인터페이스의 “전송” 버튼의 지정을 검출할 수 있다. 233 동작에서, 전자 장치(101)는, 텍스트 및 선택된 이미지를 서버(108)로 송신할 수 있다. 235 동작에서, 서버(108)는 텍스트 및 선택된 이미지를 외부 전자 장치(102)로 송신할 수 있다. 237 동작에서, 외부 전자 장치(102)는, 텍스트 및 선택된 이미지를 표시할 수 있다.
도 2c를 참조하면, 전자 장치(101)는, 221 동작에서, 텍스트를 입력받을 수 있다. 223 동작에서, 전자 장치(101)는, 텍스트를 서버(108)로 송신할 수 있다. 225 동작에서, 서버(108)는 텍스트를 분석하여, 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 227 동작에서, 서버(108)는, 감정 종류 및 감정 정도에 기반하여 이미지를 선택할 수 있다. 서버(108)는, 230 동작에서, 선택된 이미지와 연관된 정보를 송신할 수 있다. 즉, 서버(108)는, 이미지 자체를 전자 장치(101)로 송신하지 않고, 이미지를 식별할 수 있는 정보 또는 이미지의 편집 정보를 전자 장치(101)로 송신할 수 있다. 232 동작에서, 전자 장치(101)는 수신한 이미지와 연관된 정보에 기반하여 이미지를 선택 또는 편집할 수 있다. 전자 장치(101)는, 이미지를 식별할 수 있는 정보를 이용하여, 복수 개의 후보 이미지 중 하나를 선택할 수 있다. 또는, 전자 장치(101)는, 원시 이미지에 편집 정보를 적용하여, 편집된 이미지를 생성할 수 있다. 233 동작에서, 전자 장치(101)는, 텍스트 및 선택된 이미지를 서버(108)로 송신할 수 있다. 235 동작에서, 서버(108)는 텍스트 및 선택된 이미지를 외부 전자 장치(102)로 송신할 수 있다. 237 동작에서, 외부 전자 장치(102)는, 텍스트 및 선택된 이미지를 표시할 수 있다.
도 2d는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 241 동작에서, 전자 장치(101)는, 텍스트를 입력받을 수 있다. 243 동작에서, 전자 장치(101)는 텍스트를 분석하여, 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 즉, 도 2a에서와 같이 서버(108)가 사용자의 감정 종류 및 감정 정도를 확인하지 않고, 전자 장치(101)가 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 전자 장치(101)는, 도 2a에서 설명한 서버(108)와 실질적으로 동일한 방식으로 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 245 동작에서, 전자 장치(101)는, 감정 종류 및 감정 정도에 기반하여 이미지를 선택 또는 편집할 수 있다. 247 동작에서, 전자 장치(101)는, 텍스트 및 선택된 이미지를 서버(108)로 송신할 수 있다. 249 동작에서, 서버(108)는 텍스트 및 선택된 이미지를 외부 전자 장치(102)로 송신할 수 있다. 251 동작에서, 외부 전자 장치(102)는, 텍스트 및 선택된 이미지를 표시할 수 있다. 한편, 다양한 실시예에서, 전자 장치(101)는, 서버(108)를 통하여 이미지만을 단독으로 외부 전자 장치(102)로 송신할 수도 있다.
상술한 바와 같이, 사용자의 감정 종류 및 감정 정도의 확인은, 서버(108) 또는 전자 장치(101)가 수행할 수 있으며, 이미지의 선택 또는 편집 또한 서버(108) 또는 전자 장치(101)가 수행할 수 있다. 이에 따라, 본 문서에서, 전자 장치(101)가 감정의 종류 및 감정의 정도를 확인하는 구성은, 서버(108)가 감정의 종류 및 감정의 정도를 확인하는 구성으로 치환될 수 있으며, 그 역방향으로의 치환 또한 가능하다. 뿐만 아니라, 서버(108)가 감정의 종류 및 감정의 정도에 기반하여 이미지를 선택 또는 편집하는 구성은, 서버(108)가 감정의 종류 및 감정의 정도에 기반하여 이미지를 선택 또는 편집하는 구성으로 치환될 수 있으며, 그 역방향으로의 치환 또한 가능하다.
도 3은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 303 동작에서, 텍스트를 입력받을 수 있다. 303 동작에서, 전자 장치(101)는, 텍스트를 서버(108)로 송신할 수 있다. 305 동작에서, 서버(108)는, 텍스트를 분석하여, 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도와, 동작의 종류를 확인할 수 있다. 서버(108)는, 도 2a에서 설명한 바와 같이, 사용자의 감정 종류 및 감정 정도를 확인하고, 추가적으로 동작의 종류를 확인할 수 있다. 예를 들어, 서버(108)는, 텍스트 내의 동사에 대응하는 키워드에 기반하여 동작의 종류를 확인할 수 있다. 307 동작에서, 서버(108)는, 감정 종류 및 감정 정도와 동작의 종류에 대한 정보를 전자 장치(101)로 송신할 수 있다. 309 동작에서, 전자 장치(101)는, 감정 종류 및 감정 정도와 동작의 종류에 기반하여, 복수 개의 이미지 중 텍스트에 대응하는 이미지를 선택 또는 편집할 수 있다. 예를 들어, 전자 장치(101)는, 감정 종류, 감정 정도 및 동작의 종류별로 후보 이미지들을 포함할 수도 있으며, 서버(108)로부터 수신한 정보에 기반하여 후보 이미지들 중에 하나를 선택할 수 있다. 또는, 전자 장치(101)는, 동작의 종류별로 편집 정보를 저장할 수도 있다. 전자 장치(101)는, 서버(108)로부터 수신한 정보에 기반하여 편집 정보를 확인할 수 있으며, 원시 이미지에 대하여 편집 정보를 적용함으로써 편집 이미지를 생성할 수도 있다. 311 동작에서, 전자 장치(101)는, 텍스트 및 선택된 이미지를 서버(108)로 송신할 수 있다. 313 동작에서, 서버(108)는 텍스트 및 선택된 이미지를 외부 전자 장치(102)로 송신할 수 있다. 315 동작에서, 외부 전자 장치(102)는, 텍스트 및 선택된 이미지를 표시할 수 있다. 다양한 실시예에서, 도 2b 내지 2d에서 설명한 바와 같이, 전자 장치(101)가 텍스트를 분석하여 동작의 종류를 확인할 수도 있다. 아울러, 서버(108)가 이미지를 선택 또는 편집할 수도 있다.
도 4a 내지 4c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
다양한 실시예에 따른 전자 장치(101)는, 도 4a와 같이 입력창에 기재된 “호영아, 그러지마”의 텍스트(501)를 서버(108)로 송신할 수 있다. 서버(108)는, “호영아, 그러지마”의 텍스트 분석 결과, 사용자의 감정 종류가 “불쾌”인 것과 감정 정도가 제 1 레벨인 것을 확인할 수 있다. 서버(108)는, 전자 장치(101)에 확인된 정보, 즉 “불쾌”의 감정 종류 및 제 1 레벨의 감정 정도를 송신할 수 있다. 전자 장치(101)는, “불쾌”의 감정 종류 및 제 1 레벨의 감정 정도에 기반하여 제 1 이미지(511)를 표시할 수 있다. 전자 장치(101)는, 도 4b와 같이 입력창에 기재된 “호영아, 제발 그러지 마!!”의 텍스트(502)를 서버(108)로 송신할 수 있다. 예를 들어, 사용자가 “호영아,”의 텍스트 및 “그러지마”의 텍스트 사이에 “제발”을 추가적으로 기재한 것이 검출되면, 전자 장치(101)는, “제발”의 추가 텍스트, 또는 “호영아, 제발 그러지마!!”의 전체 텍스트를 서버(108)로 송신할 수 있다. 서버(108)는, 텍스트 분석 결과에 기반하여, 감정 종류가 “불쾌”이며, 감정 정도가 “제2레벨”인 것을 확인할 수 있으며, 해당 정보를 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는, “불쾌”의 감정 종류 및 “제2레벨”의 감정 정도에 기반하여, 제 2 이미지(512)를 표시할 수 있다.
전자 장치(101)는, 도 4c와 같이 입력창에 기재된 “호영아, 그러면 안되지~”의 텍스트(503)를 서버(108)로 송신할 수 있다. 서버(108)는, 텍스트 분석 결과에 기반하여, 감정 종류가 “난처”이며, 감정 정도가 “제1레벨”인 것을 확인할 수 있으며, 해당 정보를 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는, “난처”의 감정 종류 및 “제1레벨”의 감정 정도에 기반하여, 제 3 이미지(513)를 표시할 수 있다.
도 5는 다양한 실시예에 따른 감정의 정도의 변경에 따른 이미지 변경의 예시를 도시한다.
도 5에 도시된 바와 같이, 전자 장치(101)는 제 1 이미지(531)를 제 1 감정 정도에 대응하여 저장하고, 제 2 이미지(532)를 제 2 감정 정도에 대응하여 저장하고, 제 3 이미지(533)를 제 3 감정 정도에 대응하여 저장하고, 제 4 이미지(534)를 제 4 감정 정도에 대응하여 저장할 수 있다. 전자 장치(101)는, 제 1 이미지(531) 내지 제 4 이미지(534)를 제 1 캐릭터의 “분노”의 감정 종류에 대응하여 저장할 수 있다. 이에 따라, 서버(108) 또는 전자 장치(101)의 분석 결과, 감정의 종류가 “분노”인 것으로 확인되고, 현재 전자 장치(101)가 이용하는 캐릭터가 제 1 캐릭터이거나, 또는 디폴트 설정된 캐릭터가 제 1 캐릭터인 경우에, 전자 장치(101)는 제 1 이미지(531) 내지 제 4 이미지(534) 중 어느 하나를 선택할 수 있다.
도 6은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 6의 실시예는 도 7a 내지 7c를 참조하여 더욱 상세하게 설명하도록 한다. 도 7a 내지 7c는 다양한 실시예에 따른 전자 장치가 표시하는 화면들을 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 601 동작에서, 텍스트를 입력받을 수 있다. 603 동작에서, 전자 장치(101)는, 텍스트를 분석하여, 텍스트에 대응하는 사용자의 감정 종류를 확인할 수 있다. 예를 들어, 전자 장치(101)는 직접 사용자의 감정 종류를 확인하거나, 또는 서버(108)에 의하여 확인된 감정 종류에 대한 정보를 수신할 수 있다. 605 동작에서, 전자 장치(101)는, 확인된 감정 종류에 대응하는 이미지를 표시할 수 있다. 예를 들어, 도 7a에서와 같이, 전자 장치(101)는 “호영아 그러지마!!”의 텍스트(701)에 대응하여 확인된 “불쾌”의 감정 종류에 대응하는 제 1 이미지(711)를 표시할 수 있다. 제 1 이미지(711)는, 디폴트 감정 정도, 예를 들어 제 1 레벨에 대응하는 이미지일 수 있다.
607 동작에서, 전자 장치(101)는, 감정 정도를 입력받을 수 있다. 예를 들어, 도 7a에서와 같이, 전자 장치(101)는 터치 스크린(예: 메시지 송신 버튼) 상의 터치(721)를 검출할 수 있으며, 7b에서와 같이 제 1 방향으로의 터치의 연속적인 움직임(722)(예: 드래그 입력 또는 플릭 입력)을 검출할 수 있다. 609 동작에서, 전자 장치(101)는, 입력된 감정 정도에 기반하여 표시된 이미지를 다른 이미지로 교체하거나, 또는 표시된 이미지를 편집할 수 있다. 예를 들어, 전자 장치(101)는, 도 7b에서와 같이, 제 1 방향으로의 터치의 연속적인 움직임(722)을 감정 정도 변경 명령으로서 수신할 수 있으며, 이에 대응하여 변경된 감정 정도에 대응하는 제 2 이미지(712)를 표시할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 감정 종류의 변경 명령을 수신하여, 이에 대응하여 이미지를 변경 표시할 수도 있다. 예를 들어, 도 7c에서와 같이, 전자 장치(101)는 제 2 방향으로의 터치의 연속적인 움직임(723)을 검출할 수 있다. 전자 장치(101)는, 제 2 방향으로의 터치의 연속적인 움직임(723)을 감정 종류 변경 명령으로서 수신할 수 있으며, 이에 대응하여 변경된 감정 종류에 대응하는 제 3 이미지(713)을 표시할 수도 있다. 한편, 터치의 연속적인 움직임의 방향에 기반하여, 감정 종류의 변경 명령 또는 감정 정도의 변경 명령을 구분하는 것은 단순히 예시적인 것이며, 구분 가능한 입력이라면 감정 종류의 변경 명령 또는 감정 정도의 변경 명령으로서 제약이 없음을 당업자는 용이하게 이해할 수 있을 것이다.
도 8a 내지 8c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 8a를 참조하면, 다양한 실시예에 따른 전자 장치(101)는 제 1 캐릭터에 대응하는 복수 개의 후보 이미지들(811 내지 816)을 텍스트(801)와 함께 표시할 수 있다. 도 8b에서와 같이, 전자 장치(101)는 터치의 연속적인 움직임을 검출할 수 있으며, 터치가 제 2 이미지(821)쪽을 향하는 것을 검출할 수 있으며, 이에 대응하여 제 2 이미지(821)를 상대적으로 다른 이미지보다 크게 표시할 수 있다. 아울러, 전자 장치(101)는 터치의 연속적인 움직임의 거리에 기반하여 감정의 정도를 확인할 수도 있다. 또는, 도 8c에서와 같이, 전자 장치(101)는 터치가 제 6 이미지(822) 쪽을 향하는 것을 검출할 수 있으며, 이에 대응하여 제 6 이미지(822)를 상대적으로 다른 이미지보다 크게 표시할 수 있다. 전자 장치(101)는, 이미지에 대한 확정 명령이 검출되면, 해당 이미지를 송신 대상 이미지로서 선택할 수 있다.
도 9는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 9의 실시예는 도 10a 내지 10e를 참조하여 더욱 상세하게 설명하도록 한다. 도 10a 내지 10e는 다양한 실시예에 따른 이미지 편집을 설명하기 위한 도면들이다.
다양한 실시예에 따라서, 전자 장치(101)는, 901 동작에서, 텍스트를 입력받을 수 있다. 903 동작에서, 전자 장치(101)는, 텍스트를 분석하여, 텍스트에 대응하는 사용자의 감정 종류 및 감정의 정도를 확인할 수 있다. 또는, 전자 장치(101)는 서버(108)로부터 텍스트에 대응하는 사용자의 감정 종류 및 감정의 정도를 수신할 수도 있다. 905 동작에서, 전자 장치(101)는, 확인된 감정 종류에 대응하는 이미지를 표시할 수 있다. 907 동작에서, 전자 장치(101)는, 감정의 정도에 대응하여, 이미지 내의 적어도 하나의 오브젝트의 위치, 형태, 색상, 또는 변경 속도 중 하나를 선택할 수 있다. 즉, 전자 장치(101)는 이미지를 편집할 수 있다. 909 동작에서, 전자 장치(101)는 선택된 속성을 반영하여 이미지를 표시할 수 있다.
예를 들어, 도 10a에서와 같이, 전자 장치(1001)는, 제 1 캐릭터의 원시 이미지(1001)의 적어도 하나의 오브젝트(1002,1003,1004,1005)를 식별할 수 있다. 전자 장치(101)는, 감정 정도 또는 감정의 종류 중 적어도 하나에 기반하여, 적어도 하나의 오브젝트(1002,1003,1004,1005)의 적어도 일부를 변경할 수 있다. 예를 들어, 전자 장치(101)는, “기쁨”의 감정 종류에 기반하여, “입”에 대응하는 오브젝트(1006)의 양 끝을 상향 조정하는 편집을 수행할 수 있으며, 이에 따라 편집된 이미지(1010)를 제공할 수 있다. 예를 들어, 전자 장치(101)는, “기쁨”의 감정 정도에 기반하여 상향 조정 정도를 결정할 수도 있다. 예를 들어, 전자 장치(101)는, “분노”의 감정 종류에 기반하여 “입”에 대응하는 오브젝트(1024)의 양 끝을 하향 조정하는 편집을 수행할 수 있으며, “좌측 눈”에 대응하는 오브젝트(1021)의 좌측 끝을 상향 조정하고, “우측 눈”에 대응하는 오브젝트(1022)의 우측 끝을 상향 조정하는 편집을 수행할 수 있다. 예를 들어, 전자 장치(101)는 “분노”의 감정 정도에 기반하여 조정 정도를 결정할 수도 있다. 이에 따라, 전자 장치(101)는, 편집된 이미지(1020)를 제공할 수 있다.
도 10b를 참조하면, 전자 장치(101)는 감정의 정도에 따라 오브젝트의 형상을 조정하면서, 오브젝트의 색상을 변경할 수 있다. 예를 들어, 전자 장치(101)는 “분노”의 감정 종류에 대하여, 감정 정도에 따라 각각 상이한 색상을 가지는 이미지들(1031,1032,1033)을 제공할 수 있다.
도 10c 및 10d를 참조하면, 전자 장치(101)는 원시 이미지에 이미지 리소스를 재조합하는 방식으로 편집을 수행할 수도 있다. 전자 장치(101)는, 원시 이미지(1041,1051)와 재조합이 가능한 다양한 리소스들(1042,1043,1044,1045,1052,1053,1054,1055,1056)을 함께 저장할 수 있다. 전자 장치(101)는, 감정의 종류 또는 감정의 정도 중 적어도 하나에 대응하여 리소스들((1042,1043,1044,1045,1052,1053,1054,1055,1056) 중 적어도 일부를 선택할 수 있으며, 선택된 리소스를 원시 이미지(1041,1051)와 재조합하는 방식으로 편집을 수행할 수 있다.
도 10e를 참조하면, 전자 장치(101)는 감정의 종류 및 감정의 정도에 대응하여 이미지의 움직임 속도를 조정하는 방식으로 편집을 수행할 수도 있다. 예를 들어, 전자 장치(101)는 애니메이션 효과를 위하여 복수 개의 이미지를 순차적으로 표시할 수 있다. 전자 장치(101)는, 예를 들어 감정의 정도에 따라서 애니메이션 효과를 위한 이미지 변경 속도를 조정할 수 있다. 예를 들어, 전자 장치(101)는, 제 1 애니메이션 이미지(1061)의 속도는 제 1 속도로 재생하고, 제 2 애니메이션 이미지(1062)의 속도는 제 2 속도로 재생하고, 제 3 애니메이션 이미지(1063)의 속도는 제 3 속도로 재생하고, 제 4 애니메이션 이미지(1064)의 속도는 제 4 속도로 재생할 수 있다.
도 11은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다. 도 11에 도시된 바와 같이, 전자 장치(101)는 텍스트(1001) 및 텍스트(1001)에 대응하는 이미지(1002)를 표시할 수 있다. 구현에 따라, 전자 장치(101)는 우측에 표시된 바와 같이, 이미지(1003)에 대한 말풍선의 형태로 텍스트(1004)를 표시할 수도 있다. 한편, 전자 장치(101)는, 감정의 종류에 따라 말풍선의 형상을 결정할 수도 있다.
도 12a 및 12b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 12a 및 12b의 실시예는 도 13a 및 13b를 참조하여 더욱 상세하게 설명하도록 한다. 도 13a 및 13b는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 12a를 참조하면, 다양한 실시예에 따른 전자 장치(101)는, 1201 동작에서, 텍스트 입력 창 표시 및 텍스트 입력을 대기할 수 있다. 예를 들어, 도 13a에서와 같이, 전자 장치(101)는 텍스트 입력 창(1301)을 표시할 수 있다. 1203 동작에서, 전자 장치(101)는 텍스트가 신규 입력되는 지 여부를 판단할 수 있다. 전자 장치(101)는 텍스트 송신 버튼(1303)을 함께 표시할 수 있다. 전자 장치(101)는 디폴트 이미지(1311)를 표시할 수 있다. 전자 장치(101)는 텍스트(1302)가 입력되는 것을 검출할 수 있다. 1205 동작에서, 전자 장치(101)는, 신규 입력된 텍스트를 반영하여, 전체 텍스트에 대한 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 예를 들어, 전자 장치(101)는, 신규 텍스트 입력을 트리거로 하여, 텍스트를 서버(108)로 송신할 수 있으며, 서버(108)로부터 사용자의 감정 종류 및 감정 정도를 수신할 수 있다. 1207 동작에서, 전자 장치(101)는 사용자의 감정 종류 및 감정 정도에 기반하여 이미지를 선택 또는 편집할 수 있다. 이에 따라, 전자 장치(101)는 텍스트(1302)에 대응하는 이미지(1312)를 표시할 수 있다.
도 12b를 참조하면, 다양한 실시예에 따른 전자 장치(101)는, 1211 동작에서, 텍스트 입력 창 표시 및 텍스트를 입력받을 수 있다. 예를 들어, 도 13b에서와 같이, 전자 장치(101)는 텍스트 입력 창(1301)을 표시할 수 있으며, 텍스트(1302)를 입력받아 표시할 수 있다. 1213 동작에서, 전자 장치(101)는 텍스트 분석 요청이 획득되는지 판단할 수 있다. 예를 들어, 전자 장치(101)는, 송신 버튼(1303)이 지정(1304)되는지 여부를 판단할 수 있으며, 송신 버튼(1303)이 지정(1304)됨이 검출되면 텍스트(1302)를 서버(108)로 송신하거나, 분석을 수행할 수 있다. 텍스트 분석 요청이 획득되면, 1215 동작에서, 전자 장치(101)는, 신규 입력된 텍스트를 반영하여, 전체 텍스트에 대한 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 예를 들어, 전자 장치(101)는, 신규 텍스트 입력을 트리거로 하여, 텍스트를 서버(108)로 송신할 수 있으며, 서버(108)로부터 사용자의 감정 종류 및 감정 정도를 수신할 수 있다. 1217 동작에서, 전자 장치(101)는 사용자의 감정 종류 및 감정 정도에 기반하여 이미지를 선택 또는 편집할 수 있다. 이에 따라, 전자 장치(101)는 텍스트(1302)에 대응하는 이미지(1312)를 표시할 수 있다.
도 14a 내지 14c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
다양한 실시예에 따른 전자 장치(101)는, 도 14a에서와 같이, 텍스트 입력 창(1401), 캐릭터 선택 영역(1402), 및 SIP 영역(1403)을 표시할 수 있다. 캐릭터 선택 영역(1402) 중 어느 하나의 캐릭터가 선택되고, 텍스트가 입력되면 전자 장치(101)는 텍스트에 대응하여 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 도 14b에서와 같이, 전자 장치(101)는, 캐릭터에 대응하면서, 사용자의 감정 종류 및 감정 정도에 기반하는 이미지(1412)를 표시할 수 있다. 전자 장치(101)는, 이미지(1412)와 연관하여 입력받은 텍스트(1411)를 표시할 수 있으며, 확대 버튼(1413)을 표시할 수 있다. 확대 버튼(1413)이 지정됨이 검출되면, 전자 장치(101)는 도 14c에서와 같이 확대된 이미지(1421) 및 텍스트를 표시할 수 있으며, 축소 버튼(1422)을 표시할 수 있다. 축소 버튼(1422)이 지정됨이 검출되면, 전자 장치(101)는 다시 이미지를 축소하여 표시할 수도 있다.
도 15는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
다양한 실시예에 따른 전자 장치(101)는, 제 2 사용자로부터 수신된 텍스트(1501) 및 제 1 사용자로부터 송신된 텍스트(1502)를 표시할 수 있다. 전자 장치(101)는 SIP를 통하여 수신된 텍스트(1503)를 표시할 수 있다. 전자 장치(101)는, 상술한 바와 같이, 텍스트(1503)에 대응하는 이미지(1504)를 상대적으로 작은 크기로 표시할 수 있다. 예를 들어, 전자 장치(101)는, 이미지(1504)를 프리뷰로 표시할 수 있다. 전자 장치(101)는, 텍스트(1503)에 기반하여 확인된 사용자의 감정 종류 및 감정 정도에 기반하여, 이미지(1504)의 컬러를 결정할 수도 있다.
도 16은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 16의 실시예는 도 17a 및 17b를 참조하여 더욱 상세하게 설명하도록 한다. 도 17a 및 17b는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 1601 동작에서, 제 1 텍스트 입력받을 수 있다. 1603 동작에서, 전자 장치(101)는, 제 1 텍스트를 서버(108)로 송신할 수 있다. 1605 동작에서, 외부 전자 장치(102)는, 제 2 텍스트를 입력받을 수 있다. 1607 동작에서, 외부 전자 장치(102)는, 제 2 텍스트를 서버(108)로 송신할 수 있다. 서버(108)는 제 1 텍스트를 외부 전자 장치(102)로 송신할 수 있으며, 제 2 텍스트를 전자 장치(101)로 송신할 수 있다. 이에 따라, 전자 장치(101)는, 도 17a 또는 도 17b에서와 같이, 복수의 텍스트(1701,1703,1705,1709) 또는 복수 개의 텍스트(1731,1733,1735,1737)를 송수신할 수 있다.
1609 동작에서, 전자 장치(101)는, 제 3 텍스트를 입력받을 수 있다. 예를 들어, 전자 장치(101)는, 도 17a에서와 같이 “진짜 죽는다 죽어!”의 텍스트(1711)를 입력받을 수 있다. 1611 동작에서, 전자 장치(101)는, 제 3 텍스트(1711)를 서버(108)로 송신할 수 있다. 1613 동작에서, 서버(108)는, 제 1 텍스트, 제 2 텍스트, 또는 제 3 텍스트 중 적어도 일부를 분석하여, 제 3 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 즉, 서버(108)는, 기존의 대화 및 현재 입력된 텍스트에 기반하여, 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 예를 들어, 서버(108)는, 기존의 대화를 분석하여, 현재 문장의 문맥을 확인할 수 있는 알고리즘을 저장할 수 있다. 서버(108)는, 예를 들어 복수의 대화 및 복수의 감정 종류 및 감정 정도에 대한 데이터 베이스를 이용하여 학습된 학습 모델을 저장할 수 있다. 서버(108)는, 이에 따라 기존의 대화에 기반한 현재 텍스트에 대응하는 사용자의 감정 종류 및 감정의 정도를 확인할 수 있다. 예를 들어, 도 17a에서는, 서버(108)는 “진짜 죽는다 죽어!”의 텍스트(1711)를 기존 대화 내용을 기반으로 분석한 결과, 사용자의 감정의 종류가 “분노”인 것을 확인하고, 이에 대한 정보를 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는, “분노” 및 감정 정도에 대응하는 제 1 이미지(1713)를 표시할 수 있다. 예를 들어, 도 17b에서는, 서버(108)는, “진짜 죽는다 죽어!”의 텍스트(1739)를 기존 대화 내용을 기반으로 분석한 결과, 사용자의 감정의 종류가 “환희”인 것을 확인하고, 이에 대한 정보를 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는, “환희” 및 감정 정도에 대응하는 제 2 이미지(1741)를 표시할 수 있다. 즉, 서버(108)(또는, 전자 장치(101))는, 동일한 텍스트라 하더라도, 기존의 대화 내용에 따라 상이한 감정 종류 또는 상이한 감정 상태를 확인할 수 있다. 1615 동작에서, 서버(108)는 감정 종류 및 감정 정도에 대한 정보를 전자 장치(101)로 송신할 수 있다. 1617 동작에서, 전자 장치(101)는, 감정 종류 및 감정 정도에 기반하여, 복수 개의 이미지 중 텍스트에 대응하는 이미지를 선택 또는 편집할 수 있다. 1619 동작에서, 전자 장치(101) 텍스트 및 이미지를 서버(108)로 송신할 수 있다. 1621 동작에서, 서버(108)는, 텍스트 및 이미지를 외부 전자 장치(102)로 송신할 수 있다. 제 2 외부 전자 장치(102)는, 1623 동작에서, 텍스트 및 이미지를 표시할 수 있다.
도 18a 및 18b는 다양한 실시예에 따른 이미지 표시 과정을 설명하기 위한 도면이다.
도 18a에 도시된 바와 같이, 전자 장치(101)는 입력받은 텍스트(1800)를 텍스트 입력 창 내에 표시하고, 이에 대응하는 이미지(1801)를 텍스트 입력 창 내에 표시할 수 있다. 전자 장치(101)는, 텍스트에 대응하는 말 풍선을 나타내는 오브젝트(1810) 및 이미지에 대응하는 오브젝트(1802)를 표시할 수 있다. 시간의 흐름에 따라서, 전자 장치(101)는 텍스트에 대응하는 말 풍선을 나타내는 오브젝트(1811) 및 이미지에 대응하는 오브젝트(1803)을 좀 더 대화창 내에 위치하도록 표시할 수 있다. 시간의 흐름에 따라서, 전자 장치(101)는 이미지(1804) 및 텍스트를 포함하는 말 풍선에 대응하는 오브젝트(1812)를 표시할 수 있다. 이에 따라, 전자 장치(101)는 텍스트 및 이미지가 텍스트 입력 창으로부터 대화창으로 이동하는 것과 같은 효과를 표시할 수 있다. 한편, 전자 장치(101)는, 대화창에서도 다양한 이미지를 표시할 수 있다. 예를 들어, 제 1 사용자의 계정에 대응하는 이미지가 해당 텍스트에 대한 사용자의 감정 종류 및 감정 정도에 기반하여 상이할 수 있으므로, 대화창 내에서 다양한 이미지가 혼재할 수 있다. 도 18b에서와 같이, 전자 장치(101)는, 이미지(1832)를 시간의 흐름에 따라, 제 1 위치(1842), 제 2 위치(1852), 및 제 3 위치(1853)으로 이동시켜 표시할 수 있다. 전자 장치(101)는 텍스트(1831)는 제 4 위치(1841), 제 5 위치(1851), 및 제 6 위치(1861)로 이동시켜 표시할 수 있다.
도 19는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
도 19에 도시된 바와 같이, 전자 장치(101)는 사용자의 감정 종류, 감정의 정도 및 동작의 종류에 대응하는 이미지를 표시할 수 있다. 전자 장치(101)는, “힘들다…”의 제 1 텍스트(1901)로부터 사용자의 감정의 종류가 “실망”이며, 감정의 정도가 제 1 레벨인 것을 확인할 수 있다. 전자 장치(101)는, 제 1 텍스트(1901)로부터는 별다른 동작의 종류를 확인하지 못할 수 있다. 이 경우, 전자 장치(101)는, 확인된 사용자의 감정 종류 및 감정 정도에 기반하여 제 1 이미지(1911)를 표시할 수 있다. 전자 장치(101)는, “지키기 힘들다…”의 제 2 텍스트(1902)로부터 사용자의 감정의 종류가 “실망”이며, 감정의 정도가 제 1 레벨이며, 동작의 종류가 양 팔을 교차하여 가슴 부위에 접촉하는 동작, 즉 지킴을 형상화한 동작인 것을 확인할 수 있다. 이에 따라, 전자 장치(101)는, 제 2 이미지(1912)를 표시할 수 있다. 제 2 이미지(1912)는, 사용자의 감정과 연관된 얼굴 부위는 제 1 이미지(1911)와 동일하며, 동작과 연관된 몸(body) 부위는 제 1 이미지(1912)와 상이한 것을 확인할 수 있다. 아울러, 전자 장치(101)는 “지키기 정말 힘들다”의 제 3 텍스트(1903)에 대하여 사용자의 감정의 종류가 “실망”이며, 감정의 정도가 제 2 레벨이며, 동작의 종류가 양 팔을 교차하여 가슴 부위에 접촉하는 동작, 즉 지킴을 형상화한 동작인 것을 확인할 수 있다. 이에 따라, 전자 장치(101)는, 제 3 이미지(1913)를 표시할 수 있다. 제 3 이미지(1913)는, 동작과 연관된 몸(body) 부위는 제 2 이미지(1912)와 동일하며, 사용자의 감정과 연관된 얼굴 부위는 제 2 이미지(1912)와 상이함을 확인할 수 있다. 아울러, 전자 장치(101)는 “지키기 정말 힘들다!!!”의 제 4 텍스트(1904)에 대하여 사용자의 감정의 종류가 “실망”이며, 감정의 정도가 제 3 레벨이며, 동작의 종류가 양 팔을 교차하여 가슴 부위에 접촉하는 동작, 즉 지킴을 형상화한 동작인 것을 확인할 수 있다. 이에 따라, 전자 장치(101)는, 제 4 이미지(1914)를 표시할 수 있다. 제 4 이미지(1914)는, 동작과 연관된 몸(body) 부위는 제 3 이미지(1913)와 동일하며, 사용자의 감정과 연관된 얼굴 부위는 제 3 이미지(1913)와 상이함을 확인할 수 있다.
도 20은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 2001 동작에서, 텍스트를 입력받을 수 있다. 2003 동작에서, 전자 장치(101)는, 텍스트를 서버(108)로 송신할 수 있다. 2005 동작에서, 서버(108)는, 텍스트를 분석하여, 텍스트에 대응하는, 복수 개의 사용자의 감정 종류 및 감정 정도를 확인하고, 복수 개의 감정 종류 및 각각의 감정 정도에 기반하여 하나의 감정 종류를 선택하거나, 또는 복합 감정을 확인할 수 있다. 예를 들어, 서버(108)는, 텍스트에 기반하여, 제 1 감정 종류 및 제 1 감정 종류의 감정 정도인 제 1 감정 정도와, 제 2 감정 종류 및 제 2 감정 종류의 감정 정도인 제 2 감정 정도를 확인할 수 있다. 서버(108)는, 제 1 감정 종류 및 제 2 감정 종류 중 어느 하나를 선택할 수 있다. 예를 들어, 서버(108)는, 감정 종류별로 우선 순위를 관리할 수도 있으며, 확인된 우선 순위에 기반하여 어느 하나를 선택할 수 있다. 또는, 서버(108)는, 이전 대화의 분석 결과를 이용하여, 어느 하나를 선택할 수도 있다. 또는, 서버(108)는, 제 1 감정 정도 및 제 2 감정 정도를 비교하여, 더 높은 레벨을 가지는 감정 종류를 선택할 수도 있다. 또 다른 실시예에서, 서버(108)는, 제 1 감정 종류 및 제 2 감정 종류를 병합한 복합 감정을 확인할 수도 있다. 서버(108)는, 복합 감정을 확인 시에, 제 1 감정 정도 및 제 2 감정 정도를 고려할 수도 있다.
2007 동작에서, 서버(108)는, 선택된 감정 종류에 대한 정보 또는 복합 감정에 대한 정보를 전자 장치(101)로 송신할 수 있다. 2009 동작에서, 전자 장치(101)는, 선택된 감정 종류에 대한 정보 또는 복합 감정에 대한 정보에 기반하여, 복수 개의 이미지 중 텍스트에 대응하는 이미지를 선택 또는 편집할 수 있다. 2011 동작에서, 전자 장치(101)는, 텍스트 및 이미지를 서버(108)로 송신할 수 있다. 2013 동작에서, 전자 장치(101)는 텍스트 및 이미지를 외부 전자 장치(102)로 송신할 수 있다. 2015 동작에서, 외부 전자 장치(102)는 텍스트 및 이미지를 표시할 수 있다.
도 21은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 2101 동작에서, 텍스트를 입력받을 수 있다. 2103 동작에서, 전자 장치(101)는, 텍스트를 서버(108)로 송신할 수 있다. 2105 동작에서, 서버(108)는, 텍스트를 분석하여, 텍스트에 대응하는, 복수 개의 동사를 확인하고, 하나의 동사를 선택하거나, 또는 복합 동사를 확인할 수 있다. 텍스트에는 복수 개의 동사가 포함될 수도 있으며, 서버(108)는 복수 개의 동사를 텍스트로부터 추출할 수 있다. 서버(108)는, 복수 개의 동사 중 어느 하나의 동사를 선택할 수 있다. 예를 들어, 서버(108)는 이전 대화 내용을 분석하고, 분석 결과에 기반하여 이전 대화 내용에 보다 부합하는 동사를 선택할 수 있다. 또는, 서버(108)는, 복수 개의 동사 모두를 반영한 복합 동사를 확인할 수도 있다. 2107 동작에서, 서버(108)는, 선택된 동사에 대한 정보 또는 복합 동사에 대한 정보를 송신할 수 있다. 2109 동작에서, 전자 장치(101)는, 선택된 동사에 대한 정보 또는 복합 동사에 대한 정보에 기반하여, 복수 개의 이미지 중 텍스트에 대응하는 이미지를 선택 또는 편집할 수 있다. 2111 동작에서, 전자 장치(101)는, 텍스트 및 이미지를 서버(108)로 송신할 수 있다. 2113 동작에서, 전자 장치(101)는 텍스트 및 이미지를 외부 전자 장치(102)로 송신할 수 있다. 2115 동작에서, 외부 전자 장치(102)는 텍스트 및 이미지를 표시할 수 있다.
도 22a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 2101 동작에서, 텍스트를 입력받을 수 있다. 2203 동작에서, 전자 장치(101)는, 사용자에 대한 이미지 촬영하거나, 또는 획득할 수 있다. 2205 동작에서, 전자 장치(101)는, 텍스트 및 촬영된 이미지를 서버(108)로 송신할 수 있다. 2207 동작에서, 서버(108)는, 텍스트 및 이미지를 분석하여, 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 예를 들어, 서버(108)는, 이미지로부터 사용자의 얼굴을 식별할 수 있으며, 얼굴 분석 결과에 따라 사용자의 감정 상태를 확인할 수 있다. 서버(108)는, 이미지로부터 사용자의 감정 종류 및 감정 정도를 확인할 수 있는 알고리즘을 저장할 수 있다. 예를 들어, 서버(108)는, 복수의 이미지 및 복수의 감정 종류 및 감정 정도에 대한 데이터 베이스를 이용하여 학습된 학습 모델을 저장할 수 있다. 서버(108)는, 텍스트를 분석하여 획득한 사용자의 감정 종류 및 감정 정도와, 이미지를 분석하여 획득한 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 서버(108)는, 상술한 복합 감정의 처리 과정 등에 기반하여, 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 다양한 실시예에서, 서버(108)는, 이미지 분석 결과만을 이용하여 사용자의 감정 종류 및 감정 정도를 확인할 수도 있다. 2209 동작에서, 서버(108)는, 감정 종류 및 감정 정도에 대한 정보를 전자 장치(101)로 송신할 수 있다. 2211 동작에서, 전자 장치(101)는, 감정 종류 및 감정 정도에 기반하여, 복수 개의 이미지 중 텍스트에 대응하는 이미지를 선택 또는 편집할 수 있다. 2213 동작에서, 전자 장치(101)는, 텍스트 및 이미지를 서버(108)로 송신할 수 있다. 2215 동작에서, 전자 장치(101)는 텍스트 및 이미지를 외부 전자 장치(102)로 송신할 수 있다. 2217 동작에서, 외부 전자 장치(102)는 텍스트 및 이미지를 표시할 수 있다.
도 22b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 2231 동작에서, 텍스트를 입력받을 수 있다. 2233 동작에서, 전자 장치(101)는, 사용자 속성을 확인할 수 있다. 예를 들어, 전자 장치(101)는, 사용자의 나이, 사용자의 생체 정보 분석에 따른 상태 정보, 사용자의 성별 등의 사용자 관련 정보를 확인할 수 있다. 2235 동작에서, 전자 장치(101)는, 텍스트 및 사용자 속성을 서버(108)로 송신할 수 있다. 2237 동작에서, 서버(108)는, 텍스트 및 사용자 속성을 분석하여, 텍스트에 대응하는 사용자의 감정 종류 및 감정 정도를 확인할 수 있다. 2239 동작에서, 서버(108)는, 감정 종류 및 감정 정도에 대한 정보를 전자 장치(101)로 송신할 수 있다. 2241 동작에서, 전자 장치(101)는, 감정 종류 및 감정 정도에 기반하여, 복수 개의 이미지 중 텍스트에 대응하는 이미지를 선택 또는 편집할 수 있다. 2243 동작에서, 전자 장치(101)는, 텍스트 및 이미지를 서버(108)로 송신할 수 있다. 2245 동작에서, 전자 장치(101)는 텍스트 및 이미지를 외부 전자 장치(102)로 송신할 수 있다. 2247 동작에서, 외부 전자 장치(102)는 텍스트 및 이미지를 표시할 수 있다.
도 23 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에서, 2301 동작에서, 전자 장치(101)는, 제 1 텍스트를 서버(108)로 송신할 수 있다. 2303 동작에서, 외부 전자 장치(102)는 제 2 텍스트를 서버(108)로 송신할 수 있다. 2305 동작에서, 서버(108)는, 제 1 텍스트에 기반하여 제 1 사용자의 감정 상태, 예를 들어 감정 종류 또는 감정 정도 중 적어도 하나를 분석하고, 제 2 텍스트에 기반하여 제 2 사용자의 감정 상태, 예를 들어 감정 종류 또는 감정 정도 중 적어도 하나를 분석할 수 있다. 2307 동작에서, 서버(108)는, 제 1 사용자의 감정 상태 및 제 2 사용자의 감정 상태에 기반하여, 제 1 사용자 및 제 1 텍스트에 대응하는 제 1 그래픽 오브젝트와 연관된 정보를 확인하여 송신할 수 있다. 예를 들어, 서버(108)는, 양 사용자의 감정 상태 모두에 대응하면서, 제 1 사용자 및 제 1 텍스트에 대응하는 하나 이상의 그래픽 오브젝트와 연관된 정보를 전자 장치(101)로 송신할 수 있다. 여기에서, 서버(108)는 단일 이미지와 연관된 정보를 전자 장치(101)로 송신할 수 있거나, 또는 복수 개의 이미지가 합성된 복합 이미지와 연관된 정보를 전자 장치(101)로 송신할 수도 있다. 2309 동작에서, 서버(108)는, 제 1 사용자의 감정 상태 및 제 2 사용자의 감정 상태에 기반하여, 제 2 사용자 및 제 2 텍스트에 대응하는 제 2 그래픽 오브젝트와 연관된 정보를 확인하여 외부 전자 장치(102)로 송신할 수 있다. 2311 동작에서, 전자 장치(101)는, 제 1 그래픽 오브젝트를 제공할 수 있다. 2313 동작에서, 외부 전자 장치(102)는, 제 2 그래픽 오브젝트를 제공할 수 있다.
예를 들어, 전자 장치(101)가 “호영아, 그러지마”라는 텍스트를 서버(108)로 송신할 수 있다. 서버(108)는, 전자 장치(101)의 제 1 사용자에 대응하는 감정의 종류가 “분노”인 것을 확인할 수 있다. 이에 대응하여, 외부 전자 장치(102)는 “미안해, 알았어”의 텍스트를 서버(108)로 송신할 수 있다. 서버(108)는, 전자 장치(101)로부터의 “호영아, 그러지 마”의 텍스트에 대응하는 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 제 1 사용자의 감정의 종류가 “분노”이며, 외부 전자 장치(102)의 제 2 사용자의 감정의 종류가 “미안함”인 것에 기반하여, “호영아, 그러지 마”의 텍스트에 대응하여 “분노”의 감정 종류 및 상대적으로 낮은 감정 정도에 대응하는 그래픽 오브젝트를 전자 장치(101)에 제공할 수 있다. 만약, 외부 전자 장치(102)는 “내가 뭘 잘못했어?”의 텍스트를 서버(108)로 송신할 수 있다. 이 경우에도, 서버(108)는, 전자 장치(101)로부터의 “호영아, 그러지 마”의 텍스트에 대응하는 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 제 1 사용자의 감정의 종류가 “분노”이며, 외부 전자 장치(102)의 제 2 사용자의 감정의 종류가 “분노”인 것에 기반하여, “호영아, 그러지 마”의 텍스트에 대응하여 “분노”의 감정 종류 및 상대적으로 높은 감정 정도에 대응하는 그래픽 오브젝트를 전자 장치(101)에 제공할 수 있다. 상술한 바와 같이, 서버(108)는, 동일한 텍스트(예: “호영아, 그러지 마”)에 대하여서도, 대화에 참여중인 사용자들의 감정에 따라 상이한 그래픽 오브젝트를 제공할 수도 있다.
예를 들어, 전자 장치(101)가 “호영아, 그러지마”라는 텍스트를 서버(108)로 송신할 수 있다. 서버(108)는, 전자 장치(101)의 제 1 사용자에 대응하는 감정의 종류가 “분노”인 것을 확인할 수 있다. 이에 대응하여, 외부 전자 장치(102)는 “미안해, 알았어”의 텍스트를 서버(108)로 송신할 수 있다. 서버(108)는, 전자 장치(101)로부터의 “호영아, 그러지 마”의 텍스트에 대응하는 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 제 1 사용자의 감정의 종류가 “분노”이며, 외부 전자 장치(102)의 제 2 사용자의 감정의 종류가 “미안함”인 것에 기반하여, “호영아, 그러지 마”의 텍스트에 대응하여 “분노”의 감정 종류 및 상대적으로 낮은 감정 정도에 대응하는 서브 그래픽 오브젝트와 제 2 사용자의 “미안함”의 감정 종류에 대응하는 서브 그래픽 오브젝트를 결합한 그래픽 오브젝트를 전자 장치(101)에 제공할 수 있다. 만약, 외부 전자 장치(102)는 “내가 뭘 잘못했어?”의 텍스트를 서버(108)로 송신할 수 있다. 이 경우에도, 서버(108)는, 전자 장치(101)로부터의 “호영아, 그러지 마”의 텍스트에 대응하는 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 제 1 사용자의 감정의 종류가 “분노”이며, 외부 전자 장치(102)의 제 2 사용자의 감정의 종류가 “분노”인 것에 기반하여, “호영아, 그러지 마”의 텍스트에 대응하여 “분노”의 감정 종류 및 상대적으로 높은 감정 정도에 대응하는 서브 그래픽 오브젝트와 제 2 사용자의 “분노”의 감정 종류에 대응하는 서브 그래픽 오브젝트를 결합한 그래픽 오브젝트를 전자 장치(101)에 제공할 수 있다. 상술한 바와 같이, 서버(108)는, 하나의 사용자로부터의 텍스트에 대응하여서, 복수 사용자 각각에 대응하는 서브 그래픽 오브젝트들이 결합되어 생성된 그래픽 오브젝트를 제공할 수도 있다.
도 24는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 24의 실시예는 도 25를 참조하여 더욱 상세하게 설명하도록 한다. 도 25는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 2401 동작에서, 제 1 텍스트 및 제 1 사용자에 대응하는 제 1 그래픽 오브젝트에 대한 정보를 서버(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 제 1 텍스트를 서버(108)로 송신할 수 있으며, 현재 이용 중인 캐릭터를 식별할 수 있는 정보를 서버(108)로 송신할 수 있다. 제 1 텍스트 및 이용 중인 캐릭터를 식별할 수 있는 정보는 동시에 송신될 수도 있으며, 또는 따로 송신될 수도 있다. 2403 동작에서, 외부 전자 장치(102)는, 제 2 텍스트 및 제 2 사용자에 대응하는 제 2 그래픽 오브젝트에 대한 정보를 서버(108)로 송신할 수 있다. 외부 전자 장치(102) 또한 제 2 텍스트를 서버(108)로 송신하고, 외부 전자 장치(102)의 제 2 사용자가 이용중인 캐릭터를 식별할 수 있는 정보를 서버(108)로 송신할 수 있다.
2405 동작에서, 서버(108)는, 제 1 텍스트에 기반하여 제 1 사용자의 감정 상태를 분석하고, 제 2 텍스트에 기반하여 제 2 사용자의 감정 상태를 분석할 수 있다. 2407 동작에서, 서버(108)는 제 1 사용자의 감정 상태 및 제 1 그래픽 오브젝트에 대한 정보, 즉 캐릭터 식별 정보에 기반하여 제 1 서브 오브젝트를 확인할 수 있다. 아울러, 서버(108)는, 제 2 사용자의 감정 상태 및 제 2 그래픽 오브젝트에 대한 정보, 즉 캐릭터 식별 정보에 기반하여 확인된 제 2 서브 오브젝트를 확인할 수 있다. 다양한 실시예에서, 서버(108)는 제 1 서브 오브젝트를 확인하는 경우에도 제 2 사용자의 감정 상태를 추가적으로 이용할 수도 있으며, 제 2 서브 오브젝트를 확인하는 경우에도 제 1 사용자의 감정 상태를 추가적으로 이용할 수도 있다. 서버(108)는, 제 1 서브 오브젝트 및 제 2 서브 오브젝트의 결합과 연관된 정보를 확인할 수 있다. 예를 들어, 서버(108)는, 결합 시 제 1 서브 오브젝트 및 제 2 서브 오브젝트 각각의 크기, 위치, 또는 속성 중 적어도 하나를 확인할 수 있다. 2409 동작에서, 서버(108)는, 결합과 연관된 정보를 전자 장치(101)로 송신할 수 있다. 2411 동작에서, 서버(108)는 결합과 연관된 정보를 송신 외부 전자 장치(102)로 송신할 수 있다. 2413 동작에서, 전자 장치(101)는, 제 1 서브 오브젝트 및 제 2 서브 오브젝트가 결합된 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 결합과 연관된 정보에 기반하여, 미리 저장된 서브 오브젝트를 구성함으로써 제 1 서브 오브젝트 및 제 2 서브 오브젝트를 결합하여 표시할 수 있다. 만약, 제 2 서브 오브젝트에 대한 리소스가 저장되어 있지 않은 경우에는, 전자 장치(101)는 서버(108)에 해당 리소스를 요청하여 수신한 이후에, 결합된 그래픽 오브젝트를 표시할 수 있다. 2415 동작에서, 외부 전자 장치(102)는, 제 1 서브 오브젝트 및 제 2 서브 오브젝트가 결합된 그래픽 오브젝트를 표시할 수 있다.
예를 들어, 도 25에서와 같이, 전자 장치(101)는 제 1 텍스트(2510) 및 이에 대응하는 제 1 그래픽 오브젝트(2511)를 표시할 수 있다. 제 1 그래픽 오브젝트(2511)는, 제 1 사용자가 사용중인 캐릭터에 대응할 수 있다. 외부 전자 장치(102)는 제 2 텍스트(2520)를 서버(108)로 송신할 수 있으며, 서버(108)는 이에 대응하여 제 1 서브 오브젝트(2521) 및 제 2 서브 오브젝트(2522)가 사이의 결합 정보, 또는 결합된 그래픽 오브젝트를, 전자 장치(101) 및 외부 전자 장치(102)로 송신할 수 있다. 이에 따라, 전자 장치(101)는, 제 2 텍스트(2520) 및 제 1 서브 오브젝트(2521) 및 제 2 서브 오브젝트(2522)가 결합된 그래픽 오브젝트를 표시할 수 있다. 예를 들어, 제 1 서브 오브젝트(2521)는 제 1 사용자가 사용하는 캐릭터에 대응하면서, 제 1 사용자의 감정 상태에 대응되도록 선택된 것일 수 있다. 제 2 서브 오브젝트(2522)는 제 2 사용자가 사용하는 캐릭터에 대응하면서, 제 2 사용자의 감정 상태에 대응되도록 선택된 것일 수 있다. 전자 장치(101)는, 제 3 텍스트(2530)를 획득할 수 있으며, 이를 서버(108)로 송신할 수 있다. 이 경우, 캐릭터 변경이 없다면, 전자 장치(101)는 제 3 텍스트(2530)만을 서버(108)로 송신할 수도 있다. 서버(108)는 제 3 텍스트(2530)를 분석하여 제 1 사용자의 감정 상태를 확인할 수 있다. 서버(108)는, 제 1 사용자의 감정 상태 및 제 2 사용자의 감정 상태에 대응하여, 제 3 서브 오브젝트(2532) 및 제 4 서브 오브젝트(2531)를 확인할 수 있으며, 양 서브 오브젝트들 사이의 결합에 대한 정보를 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는 서버(108)로부터 수신한 결합에 대한 정보에 기반하여, 제 3 서브 오브젝트(2532) 및 제 4 서브 오브젝트(2531)를 결합하여 표시할 수 있다. 다양한 실시예에서, 서버(108)는, 결합에 대한 정보가 아닌, 결합된 그래픽 오브젝트를 직접 단말 장치(예: 전자 장치(101))로 송신하도록 구성될 수도 있다. 이 경우에는, 전자 장치(101)는 서버(108)로부터 수신한 서브 오브젝트들이 결합하여 생성된 그래픽 오브젝트를 바로 표시할 수도 있다.
도 26은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 26의 실시예는 도 27을 참조하여 더욱 상세하게 설명하도록 한다. 도 27은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
2601 동작에서, 전자 장치(101)는 제 1 텍스트 및 제 1 그래픽 오브젝트의 선택을 수신할 수 있다. 2603 동작에서, 전자 장치(101)는 제 1 텍스트 및 제 1 그래픽 오브젝트를 서버(108)로 송신할 수 있으며, 이는 외부 전자 장치(102)에 전달될 수 있다. 전자 장치(101)는, 송신한 텍스트(2710) 및 제 1 그래픽 오브젝트(2711)는 대화창 상에 표시할 수 있다. 2605 동작에서, 외부 전자 장치(102)는, 제 2 텍스트 및 제 2 그래픽 오브젝트를 송신할 수 있다. 전자 장치(101)는, 수신한 제 2 텍스트(2720) 및 제 2 그래픽 오브젝트(2721)를 표시할 수 있다. 2607 동작에서, 전자 장치(101)는, 제 1 텍스트(2710)에 기반하여 제 1 사용자의 감정 상태를 확인하고, 제 2 텍스트(2720)에 기반하여 제 2 사용자의 감정 상태를 확인할 수 있다. 2609 동작에서, 전자 장치(101)는, 제 1 사용자의 감정 상태 및 제 1 그래픽 오브젝트에 대응하는 제 1 서브 오브젝트와, 제 2 사용자의 감정 상태 및 제 2 그래픽 오브젝트에 대응하는 제 2 서브 오브젝트의 조합과 연관된 적어도 하나의 추천 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 도 27에서와 같이, 텍스트 창에 별다른 입력이 있기 이전에도, 전자 장치(101)는, 제 1 그래픽 오브젝트(2711)의 캐릭터에 대응하면서 제 1 사용자의 감정 상태에 대응하는 제 1 서브 오브젝트 및 제 2 그래픽 오브젝트(2721)의 캐릭터에 대응하면서 제 2 사용자의 감정 상태에 대응하는 제 2 서브 오브젝트의 다양한 조합에 의한 적어도 하나의 추천 그래픽 오브젝트(2723,2724)를 표시할 수 있다. 2611 동작에서, 전자 장치(101)는, 추천 그래픽 오브젝트 중 선택된 그래픽 오브젝트를 송신할 수 있다. 또는, 전자 장치(101)는 추가적으로 텍스트를 입력받아, 텍스트와 선택된 그래픽 오브젝트를 함께 송신할 수도 있다.
도 28은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 28의 실시예는 도 29를 참조하여 더욱 상세하게 설명하도록 한다. 도 29는 다양한 실시예에 따른 전자 장치가 표시하는 화면 및 촬영한 이미지를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 2801 동작에서, 제 1 텍스트 및 제 1 그래픽 오브젝트의 선택을 수신할 수 있다. 2803 동작에서, 전자 장치(101)는, 제 1 텍스트 및 제 1 그래픽 오브젝트를 송신할 수 있다. 2805 동작에서, 전자 장치(101)는, 제 2 텍스트 및 제 2 그래픽 오브젝트를 외부 전자 장치(102)로부터 수신할 수 있다. 전자 장치(101)는, 예를 들어 도 29에서와 같이, 수신한 제 2 텍스트(2910) 및 제 2 그래픽 오브젝트(2911)를 표시할 수 있다. 2807 동작에서, 전자 장치(101)는, 예를 들어 카메라를 통하여 제 1 사용자를 촬영한 이미지(2940)를 획득할 수 있다. 2809 동작에서, 전자 장치(101)는, 제 1 텍스트 및 이미지 분석 결과에 기반하여 제 1 사용자의 감정 상태를 확인하고, 제 2 텍스트에 기반하여 제 2 사용자의 감정 상태를 확인할 수 있다. 2811 동작에서, 전자 장치(101)는, 제 1 사용자의 감정 상태 및 제 1 그래픽 오브젝트에 대응하는 제 1 서브 오브젝트와, 제 2 사용자의 감정 상태 및 제 2 그래픽 오브젝트에 대응하는 제 2 서브 오브젝트의 조합과 연관된 적어도 하나의 추천 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 도 28에서와 같이, 전자 장치(101)는, 제 2 사용자의 감정 상태에 대응하는 제 2 서브 오브젝트(2951)를 표시할 수 있다. 아울러, 전자 장치(101)는, 이미지 분석 결과에 기반하여 확인된 제 1 사용자의 감정 상태에 대응하는 제 1 서브 오브젝트(2952)를 함께 추천 그래픽 오브젝트로서 표시할 수 있다. 2813 동작에서, 전자 장치(101)는 추천 그래픽 오브젝트 중 선택된 그래픽 오브젝트를 송신할 수 있다.
도 30은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
3001 동작에서, 전자 장치(101)는, 제 1 텍스트 및 제 1 그래픽 오브젝트의 선택을 수신할 수 있다. 3003 동작에서, 전자 장치(101)는, 제 1 텍스트 및 제 1 그래픽 오브젝트를 송신할 수 있다. 3005 동작에서, 전자 장치(101)는, 제 2 텍스트 및 제 2 그래픽 오브젝트를 수신할 수 있다. 3007 동작에서, 전자 장치(101)는, 제 1 텍스트에 기반하여 제 1 사용자의 감정 상태를 확인하고, 제 2 텍스트에 기반하여 제 2 사용자의 감정 상태를 확인할 수 있다. 3009 동작에서, 전자 장치(101)는, 제 1 그래픽 오브젝트의 종류 및 제 2 그래픽 오브젝트의 종류를 확인할 수 있다. 전자 장치(101)는, 제 1 사용자가 이용하는 캐릭터의 식별 정보 및 제 2 사용자가 이용하는 캐릭터의 식별 정보를 확인할 수 있다. 3011 동작에서, 전자 장치(101)는, 제 1 그래픽 오브젝트의 종류에 포함된 복수 개의 제 1 서브 오브젝트들 중 제 1 사용자의 감정 상태에 대응하는 적어도 하나의 제 1 후보 서브 오브젝트를 확인하고, 제 2 그래픽 오브젝트의 종류에 포함된 복수 개의 제 2 서브 오브젝트들 중 제 2 사용자의 감정 상태에 대응하는 적어도 하나의 제 2 후보 서브 오브젝트를 확인할 수 있다. 즉, 전자 장치(101)는, 캐릭터 별로 설정된 복수 개의 서브 후보젝트들을 확인할 수 있다. 3013 동작에서, 전자 장치(101)는, 제 1 후보 서브 오브젝트들 및 제 2 후보 서브 오브젝트들 사이의 조합에 기반하여, 적어도 하나의 추천 그래픽 오브젝트를 제공할 수 있다. 전자 장치(101)는, 추천 그래픽 오브젝트 중 선택된 하나를 외부 전자 장치(102)로 송신할 수 있다.
도 31a 및 31b은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 31a 및 31b의 실시예는 도 32a 내지 32c를 참조하여 더욱 상세하게 설명하도록 한다. 도 32a 내지 32c는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
다양한 실시예에 따라서, 제 1 전자 장치(1101)는, 3111 동작에서, 제 1 텍스트 및 제 1 그래픽 오브젝트의 선택을 수신할 수 있다. 3113 동작에서, 제 1 전자 장치(1101)는, 제 1 텍스트 및 제 1 그래픽 오브젝트를 서버(108)로 송신할 수 있다. 제 1 전자 장치(1101)는, 3 사용자 이상의 그룹 대화 세션에 참여한 것을 상정하도록 한다. 즉, 그룹 대화 세션에 제 1 전자 장치(1101), 제 2 전자 장치(1102), 및 제 3 전자 장치(1103)가 그룹 대화 세션에 참여할 수 있다.
3115 동작에서, 전자 장치(101)는, 제 1 텍스트 및 제 1 그래픽 오브젝트에 관련한 정보를 확인할 수 있다. 제 1 전자 장치(1101)는, 제 1 텍스트 및 제 1 그래픽 오브젝트를 서버(1104)로 송신할 수 있다. 서버(1104)는, 3117 동작에서, 제 1 텍스트 및 제 1 그래픽 오브젝트에 관련한 정보를 그룹 대화 세션에 참여한 전자 장치들에게 송신할 수 있다. 제 1 전자 장치(1101), 제 2 전자 장치(1102), 및 제 3 전자 장치(1103)는 3119, 3121, 3123 동작에서, 제 1 텍스트 및 제 1 그래픽 오브젝트를 제공할 수 있다. 3125 동작에서, 제 2 전자 장치(1102)는, 제 2 텍스트 및 제 2 그래픽 오브젝트의 선택을 수신할 수 있다. 제 2 전자 장치(1102)는, 3127 동작에서, 제 2 텍스트 및 제 2 그래픽 오브젝트를 서버(1104)로 송신할 수 있다. 3129 동작에서, 서버(1104)는, 제 1 텍스트에 기반하여 제 1 사용자의 감정 상태를 분석하고, 제 2 텍스트에 기반하여 제 2 사용자의 감정 상태를 분석할 수 있다. 3131 동작에서, 서버(1104)는, 제 1 사용자의 감정 상태 및 제 2 사용자의 감정 상태에 기반하여, 제 1 사용자에 대응하는 제 1 서브 그래픽 오브젝트를 확인하고, 제 1 사용자의 감정 상태 및 제 2 사용자의 감정 상태에 기반하여, 제 2 사용자에 대응하는 제 2 서브 그래픽 오브젝트를 확인할 수 있다. 3133 동작에서, 서버(1104)는, 제 1 서브 그래픽 오브젝트 및 제 2 서브 그래픽 오브젝트에 연관된 정보를 그룹 대화 세션에 참여한 전자 장치들에게 송신할 수 있다. 3135 동작, 3137 동작, 및 3139 동작에서, 제 1 전자 장치(1101), 제 2 전자 장치(1102), 및 제 3 전자 장치(1103)는, 제 1 서브 그래픽 오브젝트 및 제 2 서브 그래픽 오브젝트에 연관된 정보에 기반하여 합성 그래픽 오브젝트를 제공할 수 있다. 예를 들어, 도 32a에서와 같이, 제 3 전자 장치(1103)는, 제 1 전자 장치(1101)로부터 획득된 제 1 텍스트(3202) 및 제 1 그래픽 오브젝트(3201)를 표시할 수 있다. 아울러, 서버(1004)는, 제 2 전자 장치(1102)로부터 획득된 제 2 텍스트(3205)와, 제 2 전자 장치(1102)로부터 확인된 캐릭터에 대응하는 서브 오브젝트(3204) 및 제 1 전자 장치(1101)로부터 확인된 캐릭터에 대응하는 서브 오브젝트(3203)로 구성된 그래픽 오브젝트를 제 3 전자 장치(1103)로 제공할 수 있으며, 제 3 전자 장치(1103)는 복수 개의 서브 오브젝트(3203,3204)로 구성되는 그래픽 오브젝트 및 제 2 텍스트(3205)를 표시할 수 있다. 서브 오브젝트(3204)는 제 2 전자 장치(1102)의 사용자의 감정 상태에 기반하여 서버(1104)에 의하여 결정될 수 있다. 도시되지는 않았지만, 아울러, 서버(1004)는, 제 4 전자 장치(미도시)로부터 획득된 제 3 텍스트(3209)와, 제 4 전자 장치(미도시)로부터 확인된 캐릭터에 대응하는 서브 오브젝트(3208), 제 1 전자 장치(1101)로부터 확인된 캐릭터에 대응하는 서브 오브젝트(3206), 제 2 전자 장치(1102)로부터 확인된 캐릭터에 대응하는 서브 오브젝트(3207)로 구성된 그래픽 오브젝트를 제 3 전자 장치(1103)로 제공할 수 있으며, 제 3 전자 장치(1103)는 복수 개의 서브 오브젝트(3206,3207,3208)로 구성되는 그래픽 오브젝트 및 제 3 텍스트(3209)를 표시할 수 있다. 제 2 전자 장치(1102)로부터 별다른 그래픽 오브젝트가 지정되지 않고, 제 2 전자 장치(1102)가 텍스트(3205)만을 입력하다 하더라도, 서버(1104)는 제 2 전자 장치(1102)에 대응하는 캐릭터 및 제 2 전자 장치(1102)의 제 2 사용자의 감정 상태에 기반하여 서브 오브젝트(3204)를 확인하여, 이를 제 2 전자 장치(1102)로 제공할 수 있다. 도 32a에 도시된 바와 같이, 서버(1104)는 서브 오브젝트(3208)의 추가를 위하여, 전체 그래픽 오브젝트 내에서의 서브 오브젝트(3207)의 위치를 변경할 수도 있다. 제 3 전자 장치(1103)는, 텍스트(3211)를 입력할 수 있으며, 이를 서버(1104)로 송신할 수 있다. 제 3 전자 장치(1103)는, 텍스트(3211) 및 지정된 캐릭터(3210)를 표시할 수 있다. 또는, 도 32b에서와 같이, 제 2 전자 장치(1102)는 제 1 전자 장치(1101)로부터 확인된 그래픽 오브젝트(3201) 및 제 1 텍스트(3202)를 표시하면서, 해당 그래픽 오브젝트(3201)와 연관하여 서브 그래픽 오브젝트를 추가할지 여부를 선택할 수 있는 오브젝트들(3221,3222)을 표시할 수도 있다. 만약, 추가를 지시하는 오브젝트(3221)가 지정되면, 제 2 전자 장치(1102)는 오브젝트 추가가 지정되었음을 서버(1104)로 전달할 수 있으며, 서버(1104)는 이에 대응하여 제 2 전자 장치(1102)로부터의 텍스트로부터 확인된 사용자 감정 상태에 기반한 서브 오브젝트를 추가하여 세션 내의 전자 장치로 전달할 수 있다. 이 경우, 추가 대상의 서브 오브젝트의 종류 또는 위치를 추가할 수 있는 사용자 인터페이스가 추가적으로 제공될 수도 있으며, 제 2 전자 장치(1102)는 사용자 인터페이스를 통하여 획득된 정보를 서버(1104)로 전달할 수도 있다. 서버(1104)는, 수신된 정보에 기반하여 서브 오브젝트의 종류 또는 위치 중 적어도 하나를 결정할 수 있다. 만약, 종료를 지시하는 오브젝트(3222)가 지정되면, 서버(1104)는 이에 대응하여 제 2 전자 장치(1102)로부터의 텍스트만을 세션 내의 전자 장치로 전달할 수 있다. 다양한 실시예에서, 서버(1104)는 세션 내의 모든 참가자가 서브 오브젝트가 추가한 것이 확인되면, 서브 오브젝트의 추가를 자동으로 종료할 수 있다. 또는, 서브 오브젝트의 추가 개수가 임계치 이상이 된 것을 확인하면, 서버(11104)는 더 이상의 서브 오브젝트를 추가하지 않도록 설정될 수도 있다. 도 32c에 도시된 바와 같이, 제 3 전자 장치(1103)는 추가 종료 명령을 수신할 수도 있다. 제 3 전자 장치(1103)가 추가 종료 명령을 서버(1104)로 전달하면, 서버(1104)는 기존에 추가된 서브 오브젝트(3271,3272,3273)에 완료를 나타내는 서브 오브젝트(3274)를 반영한 그래픽 오브젝트, 제 3 전자 장치(1103)로부터 입력된 텍스트(3276) 및 제 3 전자 장치(1103)의 사용자 사진(3275)을 함께 표시할 수 있다.
도 33은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 33의 실시예는 도 34를 참조하여 더욱 상세하게 설명하도록 한다. 도 34는 다양한 실시예에 따른 전자 장치가 표시하는 화면이다.
3301 동작에서, 전자 장치(101)는, 제 1 텍스트를 송신할 수 있다. 3303 동작에서, 전자 장치(101)는, 제 2 텍스트를 송신 할 수 있다. 3305 동작에서, 서버(108)는 제 1 텍스트에 기반하여 제 1 사용자의 감정 상태를 분석하고, 제 2 텍스트에 기반하여 제 2 사용자의 감정 상태를 분석할 수 있다. 3307 동작에서, 서버(108)는, 제 1 사용자의 감정 상태 및 제 1 사용자의 속성 정보에 기반하여 확인된 제 1 서브 오브젝트 및 제 2 사용자의 감정 상태 및 제 2 사용자의 속성 정보에 기반하여 확인된 제 2 서브 오브젝트의 결합과 연관된 정보를 확인할 수 있다. 상술한 바와 같이, 사용자의 속성 정보는, 예를 들어 사용자의 나이, 성별, 성격과 같이 확인된 사용자와 연관된 정보일 수 있다. 서버(108)는, 사용자의 감정 상태와 함께, 사용자의 속성에 기반하여 서브 오브젝트를 확인할 수 있다. 또는, 서버(108)는, 사용자의 속성과 텍스트 분석 결과에 기반하여 사용자의 감정 상태를 확인할 수 있으며, 사용자의 감정 상태에 기반하여 서브 오브젝트를 확인할 수 있다. 3309 동작에서, 서버(108)는, 서브 오브젝트의 결합과 연관된 정보를 전자 장치(101)로 송신할 수 있다. 3311 동작에서, 서버(104)는 서브 오브젝트의 결합과 연관된 정보를 외부 전자 장치(102)로 송신할 수 있다. 3313 동작에서, 전자 장치(101)는, 수신된 결합과 연관된 정보에 기반하여, 제 1 서브 오브젝트 및 제 2 서브 오브젝트가 결합된 GUI를 제공할 수 있다. 3315 동작에서, 외부 전자 장치(102)는, 수신된 결합과 연관된 정보에 기반하여, 제 1 서브 오브젝트 및 제 2 서브 오브젝트가 결합된 GUI를 제공할 수 있다. 예를 들어, 도 34에서와 같이, 전자 장치(101)는, 제 1 텍스트(3402)를 서버(108)로 송신할 수 있으며, 서버(108)는 제 1 텍스트(3402)의 분석 결과 제 1 사용자의 감정 종류를 “슬픔”으로 확인하여 이를 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는, 확인된 감정 종류에 기반하여 그래픽 오브젝트(3401)를 표시할 수 있다. 서버(104)는 제 2 사용자의 전자 장치로부터 제 2 텍스트(3405)를 수신하고, 이에 대응하는 사용자의 감정 종류를 “위로”로 확인하고 이에 기반하여, 제 1 사용자에 대응하는 서브 오브젝트(3405) 및 제 2 사용자에 대응하는 서브 오브젝트를 포함하는 그래픽 오브젝트를 제 2 사용자의 전자 장치로 송신할 수 있다. 제 2 사용자의 전자 장치가 해당 그래픽 오브젝트의 송신을 명령하면, 전자 장치(101)는 그래픽 오브젝트 및 제 2 텍스트(3405)를 수신할 수 있다. 전자 장치(101)는 그래픽 오브젝트를 구성하는 서브 오브젝트들(3404,3405) 및 제 2 텍스트(3405)를 표시할 수 있다. 제 3 사용자의 전자 장치는, 제 3 텍스트(3408)를 입력할 수 있다. 서버(108)는, 제 3 텍스트(3408)를 수신할 수 있으며, 제 3 사용자의 감정 종류가 “위로”임을 확인할 수 있다. 추가적으로, 서버(108)는, 제 1 사용자의 속성인 성별 및 제 2 사용자의 속성인 성별을 확인하여, 제 1 사용자에 대응하는 서브 오브젝트를 “난처”의 감정 종류에 대응하는 서브 오브젝트(3406)로 확인할 수 있다. 서버(108)는, 제 3 사용자의 감정 종류인 “위로”에 대응하는 서브 오브젝트(3407)를 확인할 수 있으며, 결합과 연관된 정보를 제 3 사용자의 전자 장치로 송신할 수 있다. 제 3 사용자의 전자 장치로부터 그래픽 오브젝트 및 제 3 텍스트가 송신되면, 전자 장치(101)로 서브 오브젝트들(3406,3407)과 제 3 텍스트(3408)를 표시할 수 있다.
도 35는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 35의 실시예는 도 36을 참조하여 더욱 상세하게 설명하도록 한다. 도 36은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다.
다양한 실시예에 따라서, 3501 동작에서, 외부 전자 장치(102)는 제 2 사용자의 동영상을 생성하고, 제 2 사용자의 동영상에 대응하는 제 1 그래픽 오브젝트 동영상을 생성할 수 있다. 예를 들어, 외부 전자 장치(101)는, 사용자의 얼굴을 촬영할 수 있으며, 사용자의 얼굴의 특징점을 확인하고, 특징점의 위치 및 변경에 기반하여 사용자의 얼굴 표정을 모사하는 제 1 그래픽 오브젝트 동영상을 생성할 수 있다. 3503 동작에서, 외부 전자 장치(102)는, 제 1 그래픽 오브젝트 동영상을 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는, 3505 동작에서, 제 1 그래픽 오브젝트 동영상을 재생할 수 있다. 예를 들어, 도 36에서와 같이, 수신한 제 1 그래픽 동영상 오브젝트(1611)를 재생할 수 있다. 아울러, 전자 장치(101)는, 외부 전자 장치(102)로부터 수신한 텍스트(3612)를 표시할 수도 있다. 3507 동작에서, 전자 장치(101)는, 제 1 사용자의 동영상을 생성하고, 제 1 사용자의 동영상 파일에 대응하는 제 2 그래픽 오브젝트 동영상을 생성할 수 있다. 예를 들어, 전자 장치(101)는, 카메라를 이용하여 사용자의 얼굴을 촬영하여 제 1 사용자의 동영상 파일을 생성할 수 있으며, 표정을 모사하는 제 2 그래픽 동영상 오브젝트를 생성할 수 있다. 3509 동작에서, 전자 장치(101)는, 제 1 그래픽 오브젝트 동영상 및 제 2 그래픽 오브젝트 동영상의 합성 동영상을 생성하여 송신할 수 있다. 예를 들어, 전자 장치(101)는, 제 1 그래픽 오브젝트 동영상 및 제 2 그래픽 오브젝트 동영상을 시간적으로 동기화하고, 공간적으로 인접하게 배치하여 합성 동영상을 생성할 수 있다. 3511 동작에서, 외부 전자 장치(102)는 합성 동영상을 재생할 수 있다. 전자 장치(101) 또한 복수 개의 서브 동영상(3621,3622)을 포함하는 합성 동영상을 재생할 수 있다. 전자 장치(101)는, 입력받은 텍스트를 송신할 수도 있으며, 입력받은 텍스트(3623)를 표시할 수도 있다. 전자 장치(101)는 추가적으로 수신한 텍스트(3624)를 표시할 수도 있다.
도 37a 및 37b는 다양한 실시예에 따른 전자 장치가 표시하는 화면을 도시한다. 전자 장치(101)는, 텍스트(3703)를 입력받으면, 이에 대응하는 그래픽 오브젝트(3701)를 표시할 수 있다. 전자 장치(101)는, 일부가 변경된 텍스트(3713)를 수신하면, 이에 대응하여 리소스 중 적어도 일부를 변경한 그래픽 오브젝트(3711)를 표시할 수 있다. 아울러, 도 37b에서와 같이, 전자 장치(101)는 텍스트(3721)에 대응하여 그래픽 오브젝트(3723)를 표시할 수 있다. 전자 장치(101)는, 화면 상의 다른 위치에서의 텍스트(3731)를 수신할 수도 있으며, 해당 위치에 텍스트(3731)에 대응하는 그래픽 오브젝트(3733)를 표시할 수 있다.
도 38은 다양한 실시예에 따른 프로세서의 블록도이다.
도 38을 참조하면, 다양한 실시예에 따른 프로세서(3800)는 데이터 학습부(3810) 및 데이터 인식부(3820)를 포함할 수 있다. 프로세서(3800)는, 서버(108)에 포함되거나, 또는 전자 장치(101)에 포함될 수 있다.
데이터 학습부(3810)는, 획득한 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하기 위한 기준을 학습할 수 있다. 데이터 학습부(3810)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습 데이터를 후술할 데이터 인식 모델에 적용함으로써, 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하기 위한 기준을 학습할 수 있다.
구체적으로, 데이터 학습부(3810)는 상기 기준들을 학습하기 위한 학습 데이터로서, 텍스트, 서버(108) 또는 전자 장치(101)에 의해 추천된 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나에 관한 정보에 대한 통계 데이터를 이용할 수 있다.
데이터 학습부(3810)는 비지도 학습(unsupervised learning)을 통하여 상기 학습 데이터들에 기반하여 데이터 인식 모델을 학습시킬 수 있다.
또는, 데이터 학습부(3810)는 인식 결과에 따른 사용자의 피드백을 이용하여 데이터 인식 모델을 학습 또는 갱신시킬 수 있다. 구체적으로, 데이터 학습부(3810)는 서버(108) 또는 전자 장치(101)에 의해 추천된 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나 중에서 사용자가 선택한 데이터에 더 큰 가중치가 설정되도록 데이터 인식 모델을 학습시킬 수 있다.
데이터 인식부(3820)는 데이터에 기초하여 사용자로부터 입력된 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정할 수 있다. 예를 들어, 데이터 인식부(3820)는, 학습 결과를 이용하여, 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정할 수 있다. 데이터 인식부(3820)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용할 수 있다. 또한, 데이터 인식부(3820)는 이를 이용함으로써, 소정의 데이터에 기초하여 추천할 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
구체적으로, 데이터 인식부(3820)는 인식 데이터로서 텍스트를 획득할 수 있다. 데이터 인식부(3820)은 획득된 텍스트를 데이터 인식 모델에 적용하여, 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 획득할 수 있다.
데이터 학습부(3810)의 적어도 일부 및 데이터 인식부(3820)의 적어도 일부는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(101) 또는 서버(108)에 탑재될 수 있다. 예를 들어, 데이터 학습부(3810) 및 데이터 인식부(3820) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
데이터 학습부(3810) 및 데이터 인식부(3820)는 하나의 전자 장치(101) 또는 서버(108)에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(3810) 및 데이터 인식부(3820) 중 하나는 전자 장치(101)에 포함되고, 나머지 하나는 서버(108)에 포함될 수 있다. 또한, 데이터 학습부(3810) 및 데이터 인식부(3820)는 유선 또는 무선으로 통하여, 데이터 학습부(3810)가 구축한 모델 정보를 데이터 인식부(3820)로 제공할 수도 있고, 데이터 인식부(3820)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(3810)로 제공될 수도 있다.
한편, 데이터 학습부(3810)의 적어도 일부 및 데이터 인식부(3820)의 적어도 일부는 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(3810) 및 데이터 인식부(3820) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 39는 다양한 실시예에 따른 데이터 학습부(3810)의 블록도이다.
도 39를 참조하면, 다양한 실시예에 따른 데이터 학습부(3810)는 데이터 획득부(3810-1), 전처리부(3810-2), 학습 데이터 선택부(3810-3), 모델 학습부(3810-4) 및 모델 평가부(3810-5)를 포함할 수 있다. 다양한 실시예로, 데이터 학습부(3810)는 데이터 획득부(3810-1) 및 모델 학습부(3810-4)를 필수적으로 포함하고, 전처리부(3810-2), 학습 데이터 선택부(3810-3) 및 모델 평가부(3810-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
데이터 획득부(3810-1)는 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하는데, 필요한 학습 데이터를 획득할 수 있다.
데이터 획득부(3810-1)는, 예를 들어, 텍스트를 획득할 수 있다. 또한, 데이터 획득부(3810-1)는 서버(108) 또는 전자 장치(101)에 의해 추천된 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나 중에서 사용자가 선택한 데이터를 획득할 수 있다.
전처리부(3810-2)는 획득된 텍스트를 전처리할 수 있다. 전처리부(3810-2)는 후술할 모델 학습부(3810-4)가 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(3810-3)는 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(3810-4)에 제공될 수 있다. 학습 데이터 선택부(3810-3)는 추천할 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정할 수 있다. 또한, 학습 데이터 선택부(3810-3)는 후술할 모델 학습부(3810-4)에 의한 학습에 의해 기 설정된 기준에 따라 학습 데이터를 선택할 수도 있다.
모델 학습부(3810-4)는 데이터 획득부(3810-1)를 통하여 획득되거나 또는 학습 데이터 선택부(3810-3)에서 선택된 학습 데이터에 기초하여 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정할 수 있다.
또한, 모델 학습부(3810-4)는 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하는데 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 샘플 데이터 등)을 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 데이터 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(3810-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(3810-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(3810-4)는, 예를 들어, 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(3810-4)는, 예를 들어, 별다른 지도없이 학습 데이터를 이용하여 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 스스로 학습함으로써, 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 판단하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또는, 모델 학습부(3810-4)는 사용자가 선택한 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나인 피드백 정보를 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(3810-4)는, 예를 들어, 학습에 따른 사용자의 의도 판단, 연관 정보의 제공 및 대체 동작의 추천의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(3810-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(3810-4)는 학습된 데이터 인식 모델을 데이터 인식부(3820)를 포함하는 전자 장치(예로, 서버(108) 또는 전자 장치(101))의 메모리에 저장할 수 있다. 또는, 모델 학습부(3810-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(3820)를 포함하는 전자 장치의 메모리(예로, 서버(108) 또는 전자 장치(101))에 저장할 수 있다. 또는, 모델 학습부(3810-4)는 학습된 데이터 인식 모델을 전자 장치(예로, 서버(108) 또는 전자 장치(101))와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(3810-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(3810-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(3810-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(3810-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(3810-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(3810-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(3810) 내의 데이터 획득부(3810-1), 전처리부(3810-2), 학습 데이터 선택부(3810-3), 모델 학습부(3810-4) 및 모델 평가부(3810-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(3810-1), 전처리부(3810-2), 학습 데이터 선택부(3810-3), 모델 학습부(3810-4) 및 모델 평가부(3810-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(3810-1), 전처리부(3810-2), 학습 데이터 선택부(3810-3), 모델 학습부(3810-4) 및 모델 평가부(3810-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(3810-1), 전처리부(3810-2), 학습 데이터 선택부(3810-3), 모델 학습부(3810-4) 및 모델 평가부(3810-5) 중 일부는 전자 장치(101)에 포함되고, 나머지 일부는 서버(108)에 포함될 수 있다.
또한, 데이터 획득부(3810-1), 전처리부(3810-2), 학습 데이터 선택부(3810-3), 모델 학습부(3810-4) 및 모델 평가부(3810-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(3810-1), 전처리부(3810-2), 학습 데이터 선택부(3810-3), 모델 학습부(3810-4) 및 모델 평가부(3810-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
프로세서(3800)(또는, 제어부)는 다양한 데이터 인식 모델을 이용할 수 있으며, 데이터 인식 모델을 통해 다양한 방법으로 사용자의 의도를 판단하고 연관 정보를 제공하고 대체 동작을 추천을 위한 기준을 효율적으로 학습할 수 있다.
도 40은 다양한 실시예에 따른 데이터 인식부(3820)의 블록도이다.
도 40을 참조하면, 다양한 실시예에 따른 데이터 인식부(3820)는 데이터 획득부(3820-1), 전처리부(3820-2), 인식 데이터 선택부(3820-3), 인식 결과 제공부(3820-4) 및 모델 갱신부(3820-5)를 포함할 수 있다. 다양한 실시예로, 데이터 인식부(3820)는 데이터 획득부(3820-1) 및 인식 결과 제공부(3820-4)를 필수적으로 포함하고, 전처리부(3820-2), 인식 데이터 선택부(3820-3) 및 모델 갱신부(3820-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
데이터 획득부(3820-1)는 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하는데 필요한 데이터를 획득할 수 있다.
전처리부(3820-2)는 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하고, 전처리할 수 있다. 전처리부(3820-2)는 후술할 인식 결과 제공부(3820-4)가 추천할 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하고, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 데이터 획득부(3820-1)는 전자 장치(101)에서 입력되는 텍스트를 획득할 수 있다. 또한, 데이터 획득부(3820-1)는 사용자 또는 전자 장치(101)에 관련된 컨텍스트 정보를 획득할 수 있다. 또한, 예를 들어, 컨텍스트 정보는 전자 장치(101)에서 생성된 정보 또는 외부 장치로부터 수신된 정보일 수 있다.
인식 데이터 선택부(3820-3)는 전처리된 인식 데이터 중에서 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정하고, 인식 데이터를 선택할 수 있다. 선택된 인식 데이터는 인식 결과 제공부(3820-4)에게 제공될 수 있다. 인식 데이터 선택부(3820-3)는, 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나에 따라, 전처리된 인식 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(3820-3)는 후술할 모델 학습부(3810-4)에 의한 학습에 의해 기 설정된 기준에 따라 인식 데이터를 선택할 수도 있다.
인식 결과 제공부(3820-4)는 선택된 인식 데이터를 데이터 인식 모델에 적용하여 추천할 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 결정할 수 있다. 인식 결과 제공부(3820-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(3820-4)는 데이터 획득부(3820-1)를 통하여 획득된 인식 데이터 또는 인식 데이터 선택부(3820-3)에 의해 선택된 인식 데이터를 입력 값으로 데이터 인식 모델에 적용할 수 있다. 인식 결과 제공부(3820-4)는 데이터 인식 모델의 적용 결과로서, 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나를 획득할 수 있다.
모델 갱신부(3820-5)는 인식 결과 제공부(3820-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(3820-5)는 인식 결과 제공부(3820-4)에 의해 제공되는 인식 결과를 모델 학습부(3810-4)에게 제공함으로써, 모델 학습부(3810-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
구체적으로, 인식 결과에 대한 평가는, 서버(108) 또는 전자 장치(101)가 사용자에게 추천한 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나에 따른 사용자 피드백 정보가 될 수 있다. 예로, 서버(108) 또는 전자 장치(101)가 추천한 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나 중에 사용자가 선택한 텍스트에 대응하는 감정의 종류, 감정의 정도, 또는 동작의 종류 중 적어도 하나는 사용자 피드백 정보로서 데이터 인식 모델을 갱신하기 위한 학습 데이터로서 이용될 수 있다.
한편, 데이터 인식부(3820) 내의 데이터 획득부(3820-1), 전처리부(3820-2), 인식 데이터 선택부(3820-3), 인식 결과 제공부(3820-4) 및 모델 갱신부(3820-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(3820-1), 전처리부(3820-2), 인식 데이터 선택부(3820-3), 인식 결과 제공부(3820-4) 및 모델 갱신부(3820-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(3820-1), 전처리부(3820-2), 인식 데이터 선택부(3820-3), 인식 결과 제공부(3820-4) 및 모델 갱신부(3820-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(3820-1), 전처리부(3820-2), 인식 데이터 선택부(3820-3), 인식 결과 제공부(3820-4) 및 모델 갱신부(3820-5) 중 일부는 서버(108) 또는 전자 장치(101)에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(3820-1), 전처리부(3820-2), 인식 데이터 선택부(3820-3), 인식 결과 제공부(3820-4) 및 모델 갱신부(3820-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(3820-1), 전처리부(3820-2), 인식 데이터 선택부(3820-3), 인식 결과 제공부(3820-4) 및 모델 갱신부(3820-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
또한, 서버(108) 또는 전자 장치(101)는 학습된 결과가 적용된 데이터 인식 모델을 이용하여 사용자의 의도에 부합하는 서비스를 사용자에게 제공할 수 있게 된다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)으로 제공될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체 또는 판매자 및 구매자 간에 거래되는 상품을 포함할 수 있다.
예를 들어, 컴퓨터 프로그램 제품은 전자 장치(101) 또는 전자 장치(101)의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사 또는 전자 마켓의 서버, 또는 중계 서버의 저장매체가 될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (26)

  1. 전자 장치에 있어서,
    입력 장치;
    표시 장치;
    통신 회로; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 입력 장치를 통하여 텍스트를 수신하고,
    상기 통신 회로를 통하여, 상기 텍스트에 대한 정보를 서버로 송신하고,
    상기 텍스트의 분석 결과에 따라 확인된 제 1 사용자의 감정 상태 및, 상기 제 1 사용자와 대화를 수행 중인 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하고,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는, 상기 이미지와 연관된 정보를 수신하는 과정의 적어도 일부로, 상기 제 1 사용자의 감정 상태에 대응하는 제 1 서브 오브젝트와 연관된 정보 및 상기 제 2 사용자의 감정 상태에 대응하는 제 2 서브 오브젝트와 연관된 정보를 수신하고,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 과정의 적어도 일부로, 상기 제 1 서브 오브젝트 및 상기 제 2 오브젝트로 구성되는 상기 이미지를 표시하도록 설정된 전자 장치.
  3. 제 2 항에 있어서,
    상기 제 1 서브 오브젝트는 상기 제 1 사용자와 연관하여 지정된 제 1 캐릭터에 대응하고, 제 2 서브 오브젝트는 상기 제 2 사용자와 연관하여 지정된 제 2 캐릭터에 대응하는 전자 장치.
  4. 제 2 항에 있어서,
    상기 이미지와 연관된 정보는, 상기 제 1 서브 오브젝트를 식별하기 위한 제 1 식별 정보 및 상기 제 2 서브 오브젝트를 식별하기 위한 제 2 식별 정보를 포함하고,
    상기 프로세서는, 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 과정의 적어도 일부로, 저장되어 있는 복수 개의 이미지들 중 상기 제 1 식별 정보에 대응하는 상기 제 1 서브 오브젝트를 확인하고, 상기 복수 개의 이미지들 중 상기 제 2 식별 정보에 대응하는 상기 제 2 서브 오브젝트를 확인하는 전자 장치.
  5. 제 2 항에 있어서,
    상기 이미지와 연관된 정보는, 상기 제 1 사용자의 감정 상태 및 상기 제 2 사용자의 감정 상태를 포함하고,
    상기 프로세서는, 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 과정의 적어도 일부로, 저장되어 있는 복수 개의 이미지들 중 상기 제 1 사용자의 감정 상태에 대응하는 상기 제 1 서브 오브젝트를 확인하고, 상기 복수 개의 이미지들 중 상기 제 2 사용자의 감정 상태에 대응하는 상기 제 2 서브 오브젝트를 확인하는 전자 장치.
  6. 제 5 항에 있어서,
    상기 제 1 사용자의 감정 상태는, 상기 제 1 사용자의 감정 종류 및 상기 제 1 사용자의 감정 정도와, 상기 제 2 사용자의 감정 종류 및 상기 제 2 사용자의 감정 정도를 포함하고,
    상기 프로세서는, 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 과정의 적어도 일부로, 상기 제 1 사용자와 연관하여 지정된 제 1 캐릭터에 대응하는 복수 개의 이미지들 중 상기 제 1 사용자의 감정 종류 및 상기 제 1 사용자의 감정 정도에 대응하는 상기 제 1 서브 오브젝트와, 상기 제 2 사용자와 연관하여 지정된 제 2 캐릭터에 대응하는 복수 개의 이미지들 중 상기 제 2 사용자의 감정 종류 및 상기 제 2 사용자의 감정 정도에 대응하는 상기 제 2 서브 오브젝트를 확인하는 전자 장치.
  7. 제 2 항에 있어서,
    상기 제 1 서브 오브젝트의 위치에 대한 정보 및 상기 제 2 서브 오브젝트에 대한 위치에 대한 정보를 포함하고,
    상기 프로세서는, 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 과정의 적어도 일부로, 상기 제 1 서브 오브젝트를 상기 제 1 서브 오브젝트의 위치에 대한 정보에 기반하여 상기 이미지 내의 제 1 위치에 배치하고, 상기 제 2 서브 오브젝트를 상기 제 2 서브 오브젝트의 위치에 대한 정보에 기반하여 상기 이미지 내의 제 2 위치에 배치하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는, 상기 이미지와 연관된 정보를 수신하는 과정의 적어도 일부로, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태, 및 상기 텍스트에 대응하는 동작에 대한 정보를 포함하는 이미지와 연관된 정보를 수신하고,
    상기 프로세서는, 상기 이미지를 상기 표시 장치를 통하여 표시하는 과정의 적어도 일부로, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태, 및 상기 텍스트에 대응하는 동작에 대한 정보를 포함하는 이미지와 연관된 정보에 대응하는 상기 이미지를 표시하는 전자 장치.
  9. 제 1 항에 있어서,
    상기 이미지와 연관된 정보는, 원시 정보에 대한 편집 정보를 포함하며,
    상기 프로세서는, 상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 과정의 적어도 일부로, 상기 제 1 사용자와 연관하여 지정된 제 1 원시 이미지를 상기 편집 정보를 이용하여 편집하고, 상기 편집된 제 1 원시 이미지를 표시하는 전자 장치.
  10. 제 9 항에 있어서,
    상기 프로세서는, 제 1 원시 이미지를 상기 편집 정보를 이용하여 편집하는 과정의 적어도 일부로, 상기 이미지 내의 적어도 하나의 오브젝트의 위치, 형태, 색상, 또는 변경 속도 중 하나를 선택하거나, 또는 상기 이미지 내의 상기 적어도 하나의 오브젝트를 다른 오브젝트로 교체하는 전자 장치.
  11. 제 1 항에 있어서,
    카메라
    를 더 포함하고,
    상기 프로세서는, 상기 텍스트에 대한 정보를 상기 서버로 송신하는 과정의 적어도 일부로, 상기 카메라를 통하여 획득한 이미지를 상기 서버로 송신하고,
    상기 프로세서는, 상기 제 1 사용자의 감정 상태 및 상기 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하는 과정의 적어도 일부로, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태 및 상기 이미지의 분석 결과에 기반하여 확인된 이미지와 연관된 정보를 수신하는 전자 장치.
  12. 제 1 항에 있어서,
    상기 프로세서는, 상기 제 1 사용자의 감정 상태 및 상기 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하는 과정의 적어도 일부로, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태, 및 상기 제 1 사용자 및 상기 제 2 사용자 사이의 기 송수신 되었던 텍스트의 분석 결과에 기반하여 확인된 이미지와 연관된 정보를 수신하는 전자 장치.
  13. 제 1 항에 있어서,
    상기 프로세서는,
    상기 입력 장치를 통하여, 상기 표시된 이미지 및 상기 텍스트를 상기 제 2 사용자가 이용중인 외부 전자 장치로 송신하라는 명령을 수신하고,
    상기 통신 회로를 통하여, 상기 외부 전자 장치로 상기 표시된 이미지 및 상기 텍스트를 송신하도록 더 설정된 전자 장치.
  14. 전자 장치의 동작 방법에 있어서,
    텍스트를 수신하는 동작;
    상기 텍스트에 대한 정보를 서버로 송신하는 동작;
    상기 텍스트의 분석 결과에 따라 확인된 제 1 사용자의 감정 상태 및, 상기 제 1 사용자와 대화를 수행 중인 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하는 동작; 및
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 표시하는 동작
    을 포함하는 전자 장치의 동작 방법.
  15. 제 14 항에 있어서,
    상기 이미지와 연관된 정보를 수신하는 동작은, 상기 제 1 사용자의 감정 상태에 대응하는 제 1 서브 오브젝트와 연관된 정보 및 상기 제 2 사용자의 감정 상태에 대응하는 제 2 서브 오브젝트와 연관된 정보를 수신하고,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 동작은, 상기 제 1 서브 오브젝트 및 상기 제 2 오브젝트로 구성되는 상기 이미지를 표시하는 전자 장치의 동작 방법.
  16. 제 15 항에 있어서,
    상기 제 1 서브 오브젝트는 상기 제 1 사용자와 연관하여 지정된 제 1 캐릭터에 대응하고, 제 2 서브 오브젝트는 상기 제 2 사용자와 연관하여 지정된 제 2 캐릭터에 대응하는 전자 장치의 동작 방법.
  17. 제 15 항에 있어서,
    상기 이미지와 연관된 정보는, 상기 제 1 서브 오브젝트를 식별하기 위한 제 1 식별 정보 및 상기 제 2 서브 오브젝트를 식별하기 위한 제 2 식별 정보를 포함하고,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 동작은, 저장되어 있는 복수 개의 이미지들 중 상기 제 1 식별 정보에 대응하는 상기 제 1 서브 오브젝트를 확인하고, 상기 복수 개의 이미지들 중 상기 제 2 식별 정보에 대응하는 상기 제 2 서브 오브젝트를 확인하는 전자 장치의 동작 방법.
  18. 제 15 항에 있어서,
    상기 이미지와 연관된 정보는, 상기 제 1 사용자의 감정 상태 및 상기 제 2 사용자의 감정 상태를 포함하고,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 동작은, 저장되어 있는 복수 개의 이미지들 중 상기 제 1 사용자의 감정 상태에 대응하는 상기 제 1 서브 오브젝트를 확인하고, 상기 복수 개의 이미지들 중 상기 제 2 사용자의 감정 상태에 대응하는 상기 제 2 서브 오브젝트를 확인하는 전자 장치의 동작 방법.
  19. 제 18 항에 있어서,
    상기 제 1 사용자의 감정 상태는, 상기 제 1 사용자의 감정 종류 및 상기 제 1 사용자의 감정 정도와, 상기 제 2 사용자의 감정 종류 및 상기 제 2 사용자의 감정 정도를 포함하고,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 동작은, 상기 제 1 사용자와 연관하여 지정된 제 1 캐릭터에 대응하는 복수 개의 이미지들 중 상기 제 1 사용자의 감정 종류 및 상기 제 1 사용자의 감정 정도에 대응하는 상기 제 1 서브 오브젝트와, 상기 제 2 사용자와 연관하여 지정된 제 2 캐릭터에 대응하는 복수 개의 이미지들 중 상기 제 2 사용자의 감정 종류 및 상기 제 2 사용자의 감정 정도에 대응하는 상기 제 2 서브 오브젝트를 확인하는 전자 장치의 동작 방법.
  20. 제 14 항에 있어서,
    상기 제 1 서브 오브젝트의 위치에 대한 정보 및 상기 제 2 서브 오브젝트에 대한 위치에 대한 정보를 포함하고,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 동작은, 상기 제 1 서브 오브젝트를 상기 제 1 서브 오브젝트의 위치에 대한 정보에 기반하여 상기 이미지 내의 제 1 위치에 배치하고, 상기 제 2 서브 오브젝트를 상기 제 2 서브 오브젝트의 위치에 대한 정보에 기반하여 상기 이미지 내의 제 2 위치에 배치하는 전자 장치의 동작 방법.
  21. 제 14 항에 있어서,
    상기 이미지와 연관된 정보를 수신하는 동작은, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태, 및 상기 텍스트에 대응하는 동작에 대한 정보를 포함하는 이미지와 연관된 정보를 수신하고,
    상기 이미지를 상기 표시 장치를 통하여 표시하는 동작은, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태, 및 상기 텍스트에 대응하는 동작에 대한 정보를 포함하는 이미지와 연관된 정보에 대응하는 상기 이미지를 표시하는 전자 장치의 동작 방법.
  22. 제 14 항에 있어서,
    상기 이미지와 연관된 정보는, 원시 정보에 대한 편집 정보를 포함하며,
    상기 이미지와 연관된 정보에 기반하여, 상기 이미지를 상기 표시 장치를 통하여 표시하는 동작은, 상기 제 1 사용자와 연관하여 지정된 제 1 원시 이미지를 상기 편집 정보를 이용하여 편집하고, 상기 편집된 제 1 원시 이미지를 표시하는 전자 장치의 동작 방법.
  23. 제 22 항에 있어서,
    제 1 원시 이미지를 상기 편집 정보를 이용하여 편집하는 동작은, 상기 이미지 내의 적어도 하나의 오브젝트의 위치, 형태, 색상, 또는 변경 속도 중 하나를 선택하거나, 또는 상기 이미지 내의 상기 적어도 하나의 오브젝트를 다른 오브젝트로 교체하는 동작
    을 더 포함하는 전자 장치의 동작 방법.
  24. 제 14 항에 있어서,
    상기 전자 장치의 카메라를 통하여 이미지를 획득하고,
    상기 텍스트에 대한 정보를 상기 서버로 송신하는 동작은, 상기 카메라를 통하여 획득한 이미지를 상기 서버로 송신하고,
    상기 제 1 사용자의 감정 상태 및 상기 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하는 동작은, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태 및 상기 이미지의 분석 결과에 기반하여 확인된 이미지와 연관된 정보를 수신하는 전자 장치의 동작 방법.
  25. 제 14 항에 있어서,
    상기 제 1 사용자의 감정 상태 및 상기 제 2 사용자의 감정 상태에 기반하여 확인된 이미지와 연관된 정보를 수신하는 동작은, 상기 제 1 사용자의 감정 상태, 상기 제 2 사용자의 감정 상태, 및 상기 제 1 사용자 및 상기 제 2 사용자 사이의 기 송수신 되었던 텍스트의 분석 결과에 기반하여 확인된 이미지와 연관된 정보를 수신하는 전자 장치의 동작 방법.
  26. 제 14 항에 있어서,
    상기 표시된 이미지 및 상기 텍스트를 상기 제 2 사용자가 이용중인 외부 전자 장치로 송신하라는 명령을 수신하는 동작; 및
    상기 통신 회로를 통하여, 상기 외부 전자 장치로 상기 표시된 이미지 및 상기 텍스트를 송신하는 동작
    을 더 포함하는 전자 장치의 동작 방법.
KR1020180007955A 2018-01-22 2018-01-22 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 KR102448382B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180007955A KR102448382B1 (ko) 2018-01-22 2018-01-22 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
PCT/KR2019/000915 WO2019143227A1 (en) 2018-01-22 2019-01-22 Electronic device providing text-related image and method for operating the same
EP19740696.0A EP3669537A4 (en) 2018-01-22 2019-01-22 ELECTRONIC DEVICE PRODUCING AN IMAGE RELATING TO A TEXT AND ITS OPERATING PROCEDURE
US16/253,624 US11210827B2 (en) 2018-01-22 2019-01-22 Electronic device providing text-related image and method for operating the same
CN201980006038.0A CN111418198B (zh) 2018-01-22 2019-01-22 提供文本相关图像的电子装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180007955A KR102448382B1 (ko) 2018-01-22 2018-01-22 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20190089451A true KR20190089451A (ko) 2019-07-31
KR102448382B1 KR102448382B1 (ko) 2022-09-28

Family

ID=67298720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180007955A KR102448382B1 (ko) 2018-01-22 2018-01-22 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법

Country Status (5)

Country Link
US (1) US11210827B2 (ko)
EP (1) EP3669537A4 (ko)
KR (1) KR102448382B1 (ko)
CN (1) CN111418198B (ko)
WO (1) WO2019143227A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538278B2 (en) 2019-10-08 2022-12-27 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
US11573679B2 (en) * 2018-04-30 2023-02-07 The Trustees of the California State University Integration of user emotions for a smartphone or other communication device environment
WO2021112807A1 (en) * 2019-12-04 2021-06-10 Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi A system for using augmented reality in messaging applications
KR20220136938A (ko) * 2021-04-01 2022-10-11 삼성전자주식회사 컨텐츠 입력에 기초하여 스티커를 제공하는 전자 장치 및 방법
US11693652B2 (en) 2021-04-16 2023-07-04 27 Software U.S. Inc. Automated authoring of software solutions from a data model
US11314489B1 (en) * 2021-04-16 2022-04-26 27 Software U.S. Inc. Automated authoring of software solutions by first analyzing and resolving anomalies in a data model
US11409505B1 (en) 2021-04-16 2022-08-09 27 Software U.S. Inc. Automated authoring of software solutions from a data model with related patterns
JP2023000288A (ja) * 2021-06-17 2023-01-04 キヤノン株式会社 情報処理システム、その制御方法、および、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060121679A (ko) * 2005-05-25 2006-11-29 오끼 덴끼 고오교 가부시끼가이샤 화상 합성 장치, 그리고 그 장치를 사용한 통신 단말기 및화상 커뮤니케이션 시스템, 그리고 그 시스템에 있어서의채팅 서버
US20110296324A1 (en) * 2010-06-01 2011-12-01 Apple Inc. Avatars Reflecting User States
US20140181229A1 (en) * 2012-08-15 2014-06-26 Imvu Inc. System and method for increasing clarity and expressiveness in network communications

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8037150B2 (en) * 2002-11-21 2011-10-11 Aol Inc. System and methods for providing multiple personas in a communications environment
KR100830634B1 (ko) * 2005-07-12 2008-05-20 주식회사 사이넷 감성 메시지 서비스 방법
WO2007134402A1 (en) * 2006-05-24 2007-11-29 Mor(F) Dynamics Pty Ltd Instant messaging system
JP2009104231A (ja) * 2007-10-19 2009-05-14 Ricoh Co Ltd 情報処理装置、音出力装置、記号表示装置、画像形成装置、ユーザ属性判定方法、プログラム
US8463594B2 (en) * 2008-03-21 2013-06-11 Sauriel Llc System and method for analyzing text using emotional intelligence factors
US9008631B2 (en) * 2009-05-01 2015-04-14 T-Mobile Usa, Inc. Providing context information during voice communications between mobile devices, such as providing visual media
US9665563B2 (en) 2009-05-28 2017-05-30 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information
US20110265018A1 (en) 2010-04-23 2011-10-27 Ganz Emotion and mood control of virtual characters in a virtual world
JP2013009073A (ja) * 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
US9170667B2 (en) * 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
US10116598B2 (en) * 2012-08-15 2018-10-30 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
CN103546634B (zh) * 2013-10-10 2015-08-19 深圳市欧珀通信软件有限公司 一种手持设备主题控制方法及装置
CN103533248A (zh) 2013-10-24 2014-01-22 腾讯科技（上海）有限公司 一种图像处理的方法、终端及系统
US20150127753A1 (en) * 2013-11-04 2015-05-07 Meemo, Llc Word Recognition and Ideograph or In-App Advertising System
CN104063369A (zh) 2014-06-26 2014-09-24 北京奇虎科技有限公司 交互式文本消息的处理方法、装置及系统
KR20160029895A (ko) 2014-09-05 2016-03-16 강원대학교산학협력단 감정 캐릭터 추천 장치 및 감정 캐릭터 추천 방법
KR20160089152A (ko) 2015-01-19 2016-07-27 주식회사 엔씨소프트 화행 분석을 통한 스티커 추천 방법 및 시스템
KR101634086B1 (ko) 2015-01-19 2016-07-08 주식회사 엔씨소프트 감정 분석을 통한 스티커 추천 방법 및 시스템
KR101583181B1 (ko) 2015-01-19 2016-01-06 주식회사 엔씨소프트 응답 스티커 추천방법 및 컴퓨터 프로그램
KR102275180B1 (ko) * 2015-02-26 2021-07-08 에스케이플래닛 주식회사 메신저 서비스에서의 그룹 아이콘 구성 방법 및 이를 위한 장치
CN105989165B (zh) * 2015-03-04 2019-11-08 深圳市腾讯计算机系统有限公司 在即时聊天工具中播放表情信息的方法、装置及系统
CN106874239A (zh) 2015-12-14 2017-06-20 中兴通讯股份有限公司 一种展示阅读文本的方法及装置
US10168859B2 (en) * 2016-04-26 2019-01-01 International Business Machines Corporation Contextual determination of emotion icons
CN115766636A (zh) * 2016-08-22 2023-03-07 韩国斯诺有限公司 消息共享方法及计算机可读介质
KR20180072971A (ko) * 2016-12-22 2018-07-02 엘지전자 주식회사 이동단말기 및 그 제어방법
US10242477B1 (en) * 2017-01-16 2019-03-26 Snap Inc. Coded vision system
CN107317927A (zh) 2017-06-22 2017-11-03 深圳市沃特沃德股份有限公司 与用户互动的方法及智能终端
CN107340947A (zh) 2017-06-23 2017-11-10 珠海市魅族科技有限公司 一种界面调节方法及装置、计算机装置及存储介质
KR102034838B1 (ko) * 2017-12-15 2019-10-21 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말과 서버

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060121679A (ko) * 2005-05-25 2006-11-29 오끼 덴끼 고오교 가부시끼가이샤 화상 합성 장치, 그리고 그 장치를 사용한 통신 단말기 및화상 커뮤니케이션 시스템, 그리고 그 시스템에 있어서의채팅 서버
US20110296324A1 (en) * 2010-06-01 2011-12-01 Apple Inc. Avatars Reflecting User States
US20140181229A1 (en) * 2012-08-15 2014-06-26 Imvu Inc. System and method for increasing clarity and expressiveness in network communications

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538278B2 (en) 2019-10-08 2022-12-27 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11676419B2 (en) 2019-10-08 2023-06-13 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
CN111418198A (zh) 2020-07-14
US11210827B2 (en) 2021-12-28
CN111418198B (zh) 2022-02-11
EP3669537A4 (en) 2020-08-19
US20190228552A1 (en) 2019-07-25
KR102448382B1 (ko) 2022-09-28
EP3669537A1 (en) 2020-06-24
WO2019143227A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
KR102448382B1 (ko) 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
KR102651253B1 (ko) 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
JP6625789B2 (ja) 言語モデルを用いたメッセージ内受信画像に対する自動提案応答
KR102473447B1 (ko) 인공지능 모델을 이용하여 사용자 음성을 변조하기 위한 전자 장치 및 이의 제어 방법
US20200125920A1 (en) Interaction method and apparatus of virtual robot, storage medium and electronic device
US20190122146A1 (en) Dynamic and Intuitive Aggregation of a Training Dataset
KR102656620B1 (ko) 전자 장치, 그의 제어 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR102118585B1 (ko) 시니어 케어를 위한 스마트미러 챗봇 시스템 및 방법
KR102616850B1 (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
KR102595790B1 (ko) 전자 장치 및 그의 제어방법
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
KR20180096483A (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
CN112204565A (zh) 用于基于视觉背景无关语法模型推断场景的系统和方法
US11544886B2 (en) Generating digital avatar
CN113064968B (zh) 一种基于张量融合网络的社交媒体情感分析方法及系统
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
JP2019185201A (ja) 強化学習システム
KR20200115695A (ko) 전자 장치 및 이의 제어 방법
US20230351661A1 (en) Artificial intelligence character models with goal-oriented behavior
KR20230103671A (ko) 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치
US20230111633A1 (en) Lead conversion using conversational virtual avatar
Liu et al. Let’s keep in touch online: a Facebook aware virtual human interface
Park et al. Music-aided affective interaction between human and service robot
KR102645143B1 (ko) 사용자 상호작용 기반 반응형 사용자 메뉴얼 콘텐츠의 생성 및 제공 방법, 장치 및 시스템
US11967000B2 (en) Methods and systems for generating one or more emoticons for one or more users

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right