KR20210039626A - 의사 표현 이미지 아이템을 분석 및 제공하는 메시지 처리를 위한 프로그램 - Google Patents

Abstract

본 발명은 사용자 단말 상호간 또는 사용자 단말들에 의해 생성된 그룹 내에서 채팅 인터페이스를 통해 송수신되는 메시지인 텍스트 정보 및 의사 표현 이미지 아이템 정보를 추출하고, 추출된 텍스트 정보 및 의사 표현 이미지 아이템 정보에서 사용자의 의사 표현, 감정의 분석을 실행하며, 분석된 정보를 기반으로 대화의 전체 문맥을 파악하는 메시지 박스 정보 추출 분석 기능; 사용자 프로필 사진 정보, 사용자 성별 정보, 사용자 상태 알림말 정보 중 적어도 어느 하나 이상의 정보를 기반으로 사용자의 외향적 특징, 사용자의 관심 요소, 사용자의 기분을 추출하고, 추출된 정보를 기반으로 사용자의 감정 상태 및 성향을 분석하는 사용자 정보 추출 분석 기능; 및 상기 메시지 박스 정보 추출 분석 기능 및 사용자 정보 추출 분석 기능으로부터 추출 및 분석된 텍스트 정보, 의사 표현 이미지 아이템 정보 및 사용자 정보를 기반으로 의사 표현 이미지 아이템 생성 학습에 입력될 요소별 속성 정보인 텍스트 정보, 의사 표현 종류 정보, 이미지 타입 정보, 의사 표현과 매칭되는 이미지 정보, 다수명의 사용자별 이용 횟수 정보, 사용자 정보와 매칭되는 이미지 정보 및 피드백 처리 정보를 도출하는 요소 도출 기능; 을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.

Description

의사 표현 이미지 아이템을 분석 및 제공하는 메시지 처리를 위한 프로그램{Program of processing a message that analyzing and providing feedback expression items}

본 발명은 메시지 처리를 위한 프로그램에 관한 것이다. 보다 구체적으로, 본 발명은 사용자와 상대방의 메시지, 즉 텍스트와 의사 표현 이미지 아이템을 분석하고, 이에 대응하는 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램에 관한 것이다.

채팅서비스와 같은 메시지 서비스에 있어서, 사용자들의 감정을 나타내기 위해, 이모티콘이나 이모지 등의 다양한 형태의 표현 방식이 이용되고 있다.

이모티콘은 채팅 서비스에서 서비스 사용자들의 감정을 나타내기 위해 사용하는 기호로써, 감정(Emotion)과 아이콘(Icon)을 합성한 용어이며, 초창기의 이모티콘은 키보드에 있는 각종 기호와 문자의 단순 조합으로 만들어졌지만, 최근에는 다양한 형태의 캐릭터 이미지를 통해 사용자의 감정을 나타내는 형태로 발전하였다.

또한, 이모지는 문자 조합에 기반한 이모티콘 방식과는 달리, 플랫폼 시스템의 글꼴 형태로 내재시킨 그림 문자를 출력하는 방식으로서, 입력된 이모지 코드에 대응하는 감정 표현 이미지가 출력되는 방식이 예시되고 있다.

이러한 이모지 및 이모티콘에 대한 서비스 사용자들의 수요가 증가하면서, 메시지 서비스에 다양한 종류의 이미지 아이템들을 지정하여 서비스 사용자들에게 제공하는 것이 일반화되었다.

기존 채팅서비스는 사용자가 대화 내용을 입력하다가 이모지 및 이모티콘 선택 창을 열어 적당한 것을 선택하여 입력하였으나 최근 그 과정을 더욱 편리하게 하고자 사용자가 입력한 텍스트가 자동으로 이모지 또는 이모티콘으로 변환되어 표시되는 기술이 개발되기도 했다.

그러나, 이러한 종래 기술은 단순히 특정 키워드가 입력되면 이를 미리 매칭된 이모티콘으로 변환하여 표시하는 것에 불과하기 때문에, 대화의 내용이나 문맥, 감정상태와는 전혀 무관하고, 대화 상황에 비추어 적절하지 못한 방식으로 표시되는 일도 허다하다.

이에 따라, 단순한 키워드 매칭을 통한 이모지, 이모티콘 변환 기술을 넘어 사용자의 감정상태와 대화 문맥을 고려하여 보다 적절한 이모지 및 이모티콘을 추천하는 등의 기술 개발이 필요한 실정이다.

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 사용자와 채팅 상대간에 대화를 입력하여 서로 주고 받는 메시지에서 이모지 및 이모티콘 등을 추천할 수 있도록 하되, 추천되는 이모지 및 이모티콘 등은 사용자의 감정 상태 및 메시지의 대화 문맥을 고려하여 의사 표현 이미지 아이템이 추천되도록 하는 메시지 처리를 위한 프로그램을 제공하는데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 의사 표현 이미지 아이템을 분석 및 제공하는 메시지 처리를 위한 프로그램은, 사용자 단말 상호간 또는 사용자 단말들에 의해 생성된 그룹 내에서 채팅 인터페이스를 통해 송수신되는 메시지인 텍스트 정보 및 의사 표현 이미지 아이템 정보를 추출하고, 추출된 텍스트 정보 및 의사 표현 이미지 아이템 정보에서 사용자의 의사 표현, 감정의 분석을 실행하며, 분석된 정보를 기반으로 대화의 전체 문맥을 파악하는 메시지 박스 정보 추출 분석 기능; 사용자 프로필 사진 정보, 사용자 성별 정보, 사용자 상태 알림말 정보 중 적어도 어느 하나 이상의 정보를 기반으로 사용자의 외향적 특징, 사용자의 관심 요소, 사용자의 기분을 추출하고, 추출된 정보를 기반으로 사용자의 감정 상태 및 성향을 분석하는 사용자 정보 추출 분석 기능; 및 상기 메시지 박스 정보 추출 분석 단계 및 사용자 정보 추출 분석 단계로부터 추출 및 분석된 텍스트 정보, 의사 표현 이미지 아이템 정보 및 사용자 정보를 기반으로 의사 표현 이미지 아이템 생성 학습에 입력될 요소별 속성 정보인 텍스트 정보, 의사 표현 종류 정보, 이미지 타입 정보, 의사 표현과 매칭되는 이미지 정보, 다수명의 사용자별 이용 횟수 정보, 사용자 정보와 매칭되는 이미지 정보 및 피드백 처리 정보를 도출하는 요소 도출 기능; 을 포함한다.

또한, 본 발명의 또 다른 실시 예에 따른 의사 표현 이미지 아이템을 분석 및 제공하는 메시지 처리를 위한 프로그램은, 상기 요소 도출 단계로부터 도출된 요소별 속성 정보를 반복적으로 학습하여 사용자 예상 답변, 사용자별 의사 표현 이미지 아이템 선호도, 사용자와 채팅 상대와의 관계, 금일 또는 금주 대화 트렌드 및 사용자별 추천 답변 중 적어도 어느 하나를 포함하는 의사 표현 이미지 아이템 초기 모델을 분석하는 도출 요소 학습 기능; 상기 도출 요소 학습 단계로부터 학습 및 분석처리된 의사 표현 이미지 아이템 초기 모델을 기반으로 대화 문맥에 맞는 의사 표현 이미지 아이템을 생성하여 사용자에게 텍스트, 이모지, 이모티콘 형태의 의사 표현 이미지 아이템 또는 텍스트와 이모지 및 이모티콘이 결합된 형태의 의사 표현 이미지 아이템을 추천해주는 의사 표현 이미지 아이템 생성 및 추천 기능; 및 상기 의사 표현 이미지 아이템 생성 및 추천 단계로부터 생성 및 추천된 의사 표현 이미지 아이템의 정확도를 분석하여 이에 대한 산출 결과값을 나타내며, 상기 산출 결과값은 의미의 강조, 감정의 강도, 중요도, 기분, 상황, 환경에 따른 하이라이트 표시, 음영표시, 그라데이션 표시, 애니메이팅, 다수 개의 효과 기능 중 적어도 어느 하나 이상으로 차등표현하여 사용자에게 정확도가 반영된 의사 표현 이미지 아이템을 추천하는 정확도 분석 및 반영 의사 표현 이미지 아이템 추천 기능;을 포함한다.

본 발명의 실시 예에 따르면, 대화 상황과 문맥을 고려한 다양한 형태의 피드백 아이템이 추천되어 단순히 키워드 매칭을 통해 자동추천하는 공지의 알고리즘에 비해여 대화의 상황이나 문맥을 고려함으로써 피드백 아이템 추천의 적절성이 담보되는 효과가 있다.

또한, 대화 내용을 통해 감정 및 대화 문맥을 고려함으로써 직전 발화 내에 표층적으로는 나타나지 않으나 내포되어 있는 감정을 고려할 수 있으며, 발화 자체만으로 표현되지 못한 감정을 보충할 수 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 의사 표현 이미지 아이템 분석 및 추천부를 보다 구체적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 의사 표현 이미지 아이템 추천 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 28은 본 발명의 실시 예에 따라 제공되는 메시지 인터페이스를 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.

도 1을 참조하면 본 발명의 일 실시 예에 따른 시스템은 복수의 사용자 단말(100) 및 서비스 제공 장치(200)를 포함할 수 있다.

보다 구체적으로, 사용자 단말(100)들 및 서비스 제공 장치(200)는 네트워크를 통해 유선 또는 무선으로 연결될 수 있으며, 네트워크간 상호간 통신을 위해 각 사용자 단말(100) 및 서비스 제공 장치(200)는 인터넷 네트워크, LAN, WAN, PSTN(Public Switched Telephone Network), PSDN(Public Switched Data Network), 케이블 TV 망, WIFI, 이동 통신망 및 기타 무선 통신망 등을 통하여 데이터를 송수신할 수 있다. 또한, 각 사용자 단말(100) 및 서비스 제공 장치(200)는 각 통신망에 상응하는 프로토콜로 통신하기 위한 각각의 통신 모듈을 포함할 수 있다.

그리고, 본 명세서에서 설명되는 사용자 단말(100)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있으나, 본 발명은 이에 한정되지 아니하며 그 이외에 사용자 입력 및 정보 표시 등이 가능한 다양한 장치일 수 있다.

이와 같은 시스템에 있어서, 사용자 단말(100)은 서비스 제공 장치(200)와 연결되어 사용자 단말과의 메시지 인터페이스 서비스를 제공받을 수 있다.

이러한 처리를 위해, 서비스 제공 장치(200)는 사용자 단말(100)로 메시지 인터페이스를 제공하고, 상기 메시지 인터페이스를 통해 수신된 메시지를 사용자 단말로 전달하거나, 사용자 단말로부터 수신된 메시지를 사용자 단말(100)로 전달하는 처리를 수행할 수 있다.

예를 들어, 서비스 제공 장치(200)는 채팅 서버 장치일 수 있으며, 사용자 단말(100)은 채팅 어플리케이션이 설치된 휴대용 단말일 수 있고, 서비스 제공 장치(200)는 각 사용자 단말 상호간 또는 사용자 단말들에 의해 생성된 그룹 내에서의 채팅 인터페이스를 제공하고, 상기 채팅 인터페이스를 통해 송수신되는 메시지를 중계 및 보관 처리할 수 있다.

서비스 제공 장치(200)에서 처리되는 메시지는 다양한 메시지 컨텐츠를 포함할 수 있으며, 상기 컨텐츠는 이메일, 단문 또는 장문 문자 메시지 포맷의 데이터를 포함할 수 있고, 서비스 제공 장치(200)는 상기 메시지 컨텐츠를 이동 통신망 또는 전용 인터넷망을 통해 상기 이메일, 단문 또는 장문 문자 메시지 포맷의 데이터를 전송할 수 있다.

한편, 서비스 제공 장치(200)는 통신 프로토콜 변환, 파일(File) 서버, 콜렉트(Collect) 서버, 푸시 게이트웨이(Gateway) 서버, 전송 서버, 어카운트 서버, 어드민 서버, 수신 서버, 변환 서버, 메시징 서버, 푸시(push) 수신 서버, 푸시 발송 서버 기능 등의 전반적인 역할을 수행하는 서버 장치로 구현될 수 있다.

또한, 사용자 단말(100)과 서비스 제공 장치(200)가 접속된 통신 네트워크가 각각 상이한 네트워크일 수 있으며, 이에 따라 서비스 제공 장치(200)는 각 네트워크 프로토콜에 따른 데이터 변환 처리를 제공할 수 있다. 그리고, 서비스 제공 장치(200)는 필요에 따라 메시지 정보의 전부 또는 일부를 암호화하여 관리할 수 있다.

또한, 본 발명의 실시 예에 따른 서비스 제공 장치(200)는 사용자 단말(100)로 메시지 서비스에 따라 처리되는 다양한 부가 정보 및 기능을 제공할 수 있고, 서비스 가입 및 제휴 처리를 제공하거나, 금융 서버와 통신하여 복수의 사업자 서버와의 제휴 서비스를 제공하기 위한 과금 처리 등을 더 수행할 수 있다.

또한, 사용자 단말(100)에는 별도의 어플리케이션이 설치될 수 있으며, 별도의 제어부(미도시), 저장부(미도시), 출력부(미도시) 및 통신부(미도시)를 포함하는 일반적인 휴대 단말의 구성을 기본적으로 포함할 수 있다.

이와 같은 시스템을 통해, 서비스 제공 장치(200)가 메시지 인터페이스를 통해 송수신되는 메시지 컨텐츠의 중계 서비스를 제공함에 있어서, 상기 메시지 인터페이스에는 텍스트 또는 텍스트, 이모지, 이모티콘 형태의 의사 표현 이미지 아이템 또는 이모지 및 이모티콘에 텍스트가 결합된 형태의 의사 표현 이미지 아이템이 포함될 수 있다.

의사 표현 이미지 아이템은 사용자의 감정, 기분, 상태 및 기타 표현하고자 하는 의사를 나타내는 이미지 및 텍스트를 포함할 수 있으며, 상기 이미지는 예를 들어, 특정 의사 표현 정보에 매칭되는 그림 문자 이모지 포맷, 문자 이모티콘 포맷 또는 별도 지정된 그림 파일 포맷, 또는 움직임을 허용하는 파일 포맷의 데이터로 구성될 수 있다. 또한, 의사 표현 정보는 감정, 기분, 상태 또는 기타 의사를 키워드와, 부가 설명을 나타내는 데이터를 포함할 수 있으며, 하나의 이미지에는 하나 이상의 키워드와, 부가 설명을 표현하는 데이터가 매칭될 수 있다. 상기 의사 표현 이미지 아이템은 사용자와 채팅 상대와의 대화 문맥을 기반으로 장치 내에서 학습을 통하여 자동 형성될 수 있다.

이에 따라, 서비스 제공 장치(200)는 의사 표현 정보와 텍스트 및 이미지를 융합하고, 융합된 정보를 의사 표현 이미지 아이템으로서 저장 및 관리할 수 있으며, 서비스 제공 장치(200)는 의사 표현 이미지 아이템 리스트를 생성하여 사용자 단말(100)에서 출력되는 메시지 인터페이스를 통해 제공할 수 있다.

사용자 단말(100)은 사용자가 상기 메시지 인터페이스를 통해 메시지를 입력하거나, 상기 의사 표현 이미지 아이템 리스트에서 원하는 텍스트, 이모지 또는 이모티콘 형태의 의사 표현 이미지 아이템 또는 이모지 및 이모티콘에 텍스트가 결합된 형태의 의사 표현 이미지 아이템을 선택하여 입력할 수 있으며, 입력된 의사 표현 이미지 아이템을 포함하는 메시지가 다른 사용자 단말로 전달되거나, 그룹 채팅방에 게시물로서 등록될 수 있다.

그리고, 서비스 제공 장치(200)는 상기 사용자 단말(100)의 메시지 인터페이스에서 입력된 의사 표현 이미지 아이템 리스트에서 입력된 의사 표현 이미지 아이템들에 대응하는 학습을 수행하여 의사 표현 이미지 아이템을 생성 및 추천할 수 있으며, 생성된 의사 표현 이미지 아이템에 대한 정확도를 분석하여 정확도가 반영된 의사 표현 이미지 아이템을 생성하고 이를 새로이 사용자에게 추천할 수 있다.

도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이며, 도 3은 본 발명의 실시 예에 따른 의사 표현 이미지 아이템 분석 및 추천부를 보다 구체적으로 도시한 블록도이다.

도 2 및 도 3을 참조하면, 서비스 제공 장치(200)는 제어부(210), 통신부(220), 메시지 인터페이스부(225), 의사 표현 이미지 아이템 분석 및 추천부(230), 데이터베이스(240), 의사 표현 이미지 아이템 관리부(250)를 포함할 수 있다.

제어부(210)는 각 모듈의 전반적인 동작을 제어하여, 본 발명의 실시 예에 따른 서비스 제공 방법에 따른 동작 처리를 제공하며, 이를 위한 하나 이상의 마이크로 프로세서를 포함할 수 있다.

통신부(220)는 사용자 단말기(100) 또는 서비스 제공 장치(200)가 위치한 네트워크 사이의 유선 또는 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(220)는 이동통신 모듈, 유선 인터넷 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.

그리고, 메시지 인터페이스부(225)는 본 발명의 실시 예에 따른 서비스를 이용하는 사용자들에 대응하여 사용자 정보를 등록하고, 송수신되는 메시지를 중계, 저장 및 관리할 수 있다. 사용자 정보는 메시지를 송수신하는 사용자 식별 정보를 포함할 수 있으며, 사용자 정보는 사용자 단말기(100)로부터 수신되는 사용자 정보 등록 또는 갱신 요청에 따라 신규 등록, 갱신 및 관리될 수 있다. 또한, 사용자 정보의 전부 또는 일부 정보는 암호화되어 저장될 수 있다.

한편, 데이터베이스(240)는 각 구성요소들의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 텍스트 또는 텍스트, 이모지, 이모티콘 형태의 의사 표현 이미지 아이템 또는 이모지 및 이모티콘에 텍스트가 결합된 형태의 의사 표현 이미지 아이템 등)을 저장할 수도 있으며, 학습 처리를 위해 별도 분류된 데이터베이스를 저장 및 관리할 수도 있다.

의사 표현 이미지 아이템 관리부(250)는 데이터베이스(240)를 통해 저장되는 의사 표현 이미지 아이템들을 그 분류 정보에 따라 매칭시켜 저장 및 관리할 수 있다. 상기 분류 정보는 이미지 아이템의 각 요소별 속성 정보를 포함할 수 있으며, 요소별 속성 정보는 예를 들어, 의사 표현 종류 정보, 이미지 타입 정보, 의사 표현과 매칭되는 이미지 정보, 다수명의 사용자별 이용 횟수 정보, 사용자 정보와 매칭되는 이미지 정보 및 피드백 처리 정보 등이 예시될 수 있다.

그리고, 의사 표현 이미지 아이템 관리부(250)는 사용자가 입력한 텍스트 메시지 및 이모지, 이모티콘 메시지 또는 텍스트와 이모지 및 이모티콘이 결합된 메시지가 메시지 인터페이스부(225)를 통해 제공된 경우, 이를 수신하여 의사 표현 이미지 아이템의 분류 정보에 적용할 수 있다.

의사 표현 이미지 아이템 분석 및 추천부(230)는 전처리기(10) 및 의사 표현 이미지 아이템 생성 학습 엔진(20)을 포함하여 구성된다.

전처리기(10)는 적어도 메시지 박스 추출 분석 모듈(11), 사용자 정보 추출 분석 모듈(12) 및 요소 도출 모듈(13)을 포함할 수 있다.

메시지 박스 정보 추출 분석 모듈(11)은 사용자 단말(100)을 통해 채팅 서비스를 이용하는 사용자의 메시지 박스에 포함된 정보들을 추출하고 이를 분석하는 기능을 수행한다. 이때 메시지 박스 정보는 사용자가 입력한 텍스트 정보 및 의사 표현 이미지 아이템 정보를 포함할 수 있으며, 메시지 박스 정보 추출 분석 모듈(11)은 메시지 박스 정보를 분석시 메시지 박스 전체의 대화 문맥 분석을 수행할 수 있고, 대화 문맥은 사용자가 직접 범위를 지정하여 분석되도록 하거나 또는 서비스 제공 장치(200)에서 범위를 자동으로 인지하여 분석되도록 한다.

이때, 상기 메시지 박스 정보 추출 분석 모듈(11)은 메시지 박스에 포함된 텍스트 정보 및 의사 표현 이미지 아이템 정보 분석시 문장의 형태, 감정 기호, 사용자와 채팅 상대가 메시지를 보낸 시간 및 반응 시간 등을 분석할 수 있고, 이를 통해 메시지 박스 정보 추출 분석 모듈(11)은 입력된 메시지가 이어지는 문장인지 또는 나누어 전송되는 문장인지를 파악할 수 있으며, 불완전한 메시지, 예를 들어, 도 7과 같이 채팅 상대가 한 문장을 "w", "h", "a", "t", "happened?" 라고 나누어 전송했을 경우 이를 문장의 형태, 감정 기호, 사용자와 채팅 상대가 메시지를 보낸 시간 및 반응 시간 등을 기반으로 분석하여 "What happened?" 이라는 완전한 메시지로 조합하여 해석할 수 있도록 한다.

또한, 메시지 박스 정보 추출 분석 모듈(11)은 도 5와 같이 텍스트 및 의사 표현 이미지 아이템이 가지는 정보의 의미 및 강도를 추출할 수 있고, 각 의미와 강도를 연결하여 특정 감정을 추출할 수 있다. 예를 들어, 메시지 박스에서 특정 감정에 대한 텍스트, 예를 들어, "SAD" 라는 텍스트 정보를 추출시 "SAD"가 가지는 특정 감정의 의미 분석을 실행하여 "SAD"를 작성한 사용자가 슬픈 감정 상태라는 것을 추출할 수 있고, 메시지 박스에서 특정 감정에 대한 의사 표현 이미지 아이템, 예를 들어, "웃는 얼굴의 이모티콘"의 의사 표현 이미지 아이템 정보를 추출시 "웃는 얼굴의 이모티콘"이 가지는 특정 감정의 의미 분석을 실행하여 "웃는 얼굴의 이모티콘"을 작성한 사용자가 즐거운 감정 상태라는 것을 추출할 수 있다.

메시지 박스 정보 추출 분석 모듈(11)은 이러한 분석을 통해 사용자가 말하고자 하는 의사 표현 분석 실행도 가능하다.

사용자 정보 추출 분석 모듈(12)은 사용자 단말(100)을 통해 채팅 서비스를 이용하는 사용자의 정보를 추출 및 분석하는 기능을 수행하며, 이때 사용자 정보는 적어도 사용자 프로필 사진 정보, 사용자 성별 정보, 사용자 상태 알림말 정보 등을 포함할 수 있다.

여기에서 사용자 정보 추출 분석 모듈(12)은 사용자의 프로필 사진 정보가 사용자 자신의 얼굴 사진일 경우 사용자의 외향적 특징을 추출할 수 있고, 사용자의 프로필 사진 정보가 사용자가 관람한 전시회 사진들이거나 꽃꽂이 사진, 음악 밴드 사진 등 일 경우 사용자의 관심 요소를 추출할 수 있다.

또한, 사용자 정보 추출 분석 모듈(12)은 예를 들어, 사용자의 프로필 사진 정보가 페스티벌 현장에서 다수의 사람들과 함께 찍은 사진 정보라면 사용자 정보 추출 분석 모듈(12)은 이를 분석하고, 사용자가 외향적 특징을 가지고 있다는 분석 결과를 도출해낼 수 있고, 사용자 상태 알림말 정보가 "우울해" 라고 저장되어 있을 경우 사용자 정보 추출 분석 모듈(12)은 사용자의 감정 상태가 슬픈 상태라고 분석 결과를 도출해낼 수 있다.

이를 통해서 사용자 정보 추출 분석 모듈(12)은 사용자의 감정 상태와 사용자의 성향을 분석해낼 수 있다.

요소 도출 모듈(13)은 상기 메시지 박스 정보 추출 분석 모듈(11) 및 사용자 정보 추출 분석 모듈(12)에서 추출 및 분석된 텍스트 정보, 의사 표현 이미지 아이템 정보 및 사용자 정보로부터 의사 표현 이미지 아이템 생성 학습 엔진(20)에 입력될 요소를 도출할 수 있다.

이때 상기 요소는 요소별 속성 정보를 포함할 수 있으며, 요소별 속성 정보는 예를 들어, 텍스트 정보, 의사 표현 종류 정보, 이미지 타입 정보, 의사 표현과 매칭되는 이미지 정보, 다수명의 사용자별 이용 횟수 정보, 사용자 정보와 매칭되는 이미지 정보 및 피드백 처리 정보 등이 예시될 수 있다.

예를 들어, 메시지 박스 정보 추출 분석 모듈(11)에서 텍스트 정보인 "SAD"가 추출되고, "SAD"가 가지는 감정의 분석이 "슬픈 감정"이라는 결과가 도출되면 요소 도출 모듈(13)은 "슬픈 감정"에 해당하는 다수개의 연관 의사 표현 이미지 아이템을 도출해낼 수 있다. 또한, 메시지 박스 정보 추출 분석 모듈(11)에서 의사 표현 이미지 아이템 정보인 "우는 얼굴의 이모티콘"이 추출되고, "우는 얼굴의 이모티콘"이 가지는 감정의 분석이 "슬픈 감정"이라는 결과가 도출되면 요소 도출 모듈(13)은 "슬픈 감정"에 해당하고, 상기 "우는 얼굴의 이모티콘"과 연관성이 높은 다수개의 텍스트 및 연관 의사 표현 이미지 아이템을 도출해낼 수 있다.

또한, 사용자 정보 추출 분석 모듈(12)에서 사용자의 프로필 사진 정보를 추출한 결과, 음악을 좋아하고 외향적 특징을 가지고 있다는 분석 결과가 도출되면 요소 도출 모듈(13)은 사용자의 프로필 사진 정보의 특징과 유사성이 높은 텍스트 및 또는 의사 표현 이미지 아이템, 즉, 음악과 관련되고 외향적 요소를 지니고 있는 다수의 텍스트 정보와 의사 표현 이미지 아이템 정보를 도출해낼 수 있다.

이때 상술한 요소 도출 모듈(13)에서 도출되는 다수의 의사 표현 이미지 아이템들은 전처리기(10)에서 추출 및 분석된 텍스트 정보, 의사 표현 이미지 아이템 정보 및 사용자 정보를 데이터베이스(240)에 기존 학습 저장되어 있는 텍스트 및 다수의 의사 표현 이미지 아이템들과 대조 및 매칭하여 도출시킬 수 있으며, 이러한 과정은 머신 러닝을 통해 학습될 수 있다.

의사 표현 이미지 아이템 생성 학습 엔진(20)은 전처리기(10)로부터 전처리된 정보를 데이터베이스(240)를 통해 수신받아 의사 표현 이미지 아이템 생성에 필요한 학습을 수행하고 학습된 정보를 사용자에게 추천해주는 기능을 수행한다.

이때, 의사 표현 이미지 아이템 생성 학습 엔진(20)은 머신 러닝 처리될 수 있으며, 머신 러닝 처리에서의 머신 러닝 알고리즘은 하나 이상의 처리 방식이 이용될 수 있으며, 나아가 입력 변수와 타겟 변수를 복수개의 머신 러닝 알고리즘과 복수개의 머신러닝 알고리즘의 조합에 적용하여 사전 학습하고, 학습된 결과에 따른 알고리즘 각각의 정확도, 정확도 대비 연산시간, 성능비 및 모델의 안정성(fitness) 중에서 적어도 하나를 고려하여 최적의 머신러닝 알고리즘이 결정될 수 있다.

상기 머신 러닝 알고리즘은 예를 들어, 리지 회귀분석(Ridge Regression), 로지스틱 회기분석(Logistic Regression), 일반화선모형(Generalized Linear Model), 랜덤 포레스트(Random Forest), 변화 부양 모형(GradientBoosting Model) 및 뉴럴 네트워크(Neural Network) 등이 이용될 수 있다.

리지 회귀분석은 기본적인 linear 모델이며 극단치 또는 이상점(outlier)을 핸들하기 위해 추가적인 파라미터를 제공한다. 로지스틱 회기분석은 기본적인 linear 모델이며 타겟변수 즉 예측하려는 대상이 Binomial 분포도를 보일때 사용하는 것이 효과적이다. 일반화선형모형은 기본적인 linear 모델이며 타겟변수가 Poisson 분포도를 보일 때 사용하는 것이 효과적이다. 랜덤 포레스트 앙상블 모델로 다수의 decision tree가 모여 이루어진 모델로서, 각 decision tree는 입력 변수들과 타겟 변수의 연관성을 고려하여 개별적으로 개발되며 상위 linear 모델 대비 더욱 유연(flexible)한 특성을 가지고 있다. 변화 부양 모형은 Generalized Boosting Model 또는 GBM 이라고도 불리며 Random Forest와 비슷한 성향을 띠는 앙상블 모델이나 각 decision tree가 이미 만들어진 decision tree의 정확도를 고려하여 개선된다는 차이점이 존재해 종종 Random Forest 대비 정확도가 높은 모델로 간주되기도 한다.

뉴럴 네트워크는 사실상 어떤 타겟이든 예측할 수 있는 아주 유연한 모델로 파라미터를 조정함에 따라 linear 패턴과 non-linear 패턴 둘 다 아우를 수 있다. 때문에 파라미터 튜닝이 세밀하게 될 필요성이 있다. 특히, 뉴럴 네트워크는 기계학습과 인지과학에서 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘으로서, 이러한 신경망을 복합적으로 구성함으로써 딥 러닝 방식이 구현될 수 있다.

예를 들어, 뉴럴 네트워크는 전체적인 FC(Fully Connected), Max Pooling 및 convolution을 수반하여 최적화되는 CNN(Convolutional Neural Network), 시계열적 데이터에 유용한 순차 신경망(Recurrent Neural Networks, RNN)을 포함할 수 있다.

이러한 머신 러닝 알고리즘을 통해 학습되는 의사 표현 이미지 아이템 생성 학습 엔진(20)은 도출 요소 학습 모듈(21), 의사 표현 이미지 아이템 생성 및 추천 모듈(22), 정확도 분석 및 반영 의사 표현 이미지 아이템 추천 모듈(23)을 포함하여 구성될 수 있다.

도출 요소 학습 모듈(21)은 전처리기(10)로부터 추출, 분석 및 도출된 정보를 반복적으로 학습함으로서, 의사 표현 이미지 아이템 초기 모델을 분석할 수 있다. 이때 의사 표현 이미지 아이템 초기 모델은 적어도 사용자 예상 답변, 사용자별 의사 표현 이미지 아이템 선호도, 사용자와 채팅 상대와의 관계, 금일 또는 금주 대화 트렌드 및 사용자별 추천 답변 등을 포함할 수 있으며, 새롭게 학습되는 정보에 따라 상기 의사 표현 이미지 아이템 초기 모델도 이를 반영하여 업데이트될 수 있다.

예를 들어, 도출 요소 학습 모듈(21)은 사용자와 채팅 상대가 음식에 대한 대화를 나눈 뒤 사용자가 "I am so sad" 라고 입력하고, 채팅 상대로부터 "what?" 이라는 답변을 수신받은 경우, 도출 요소 학습 모듈(21)은 사용자가 채팅 상대에게 답변으로 작성할만한 요소, 즉, 의사 표현 이미지 아이템 초기 모델인 "There is nothing to eat in my fridge.", "Because I'm starving." 등과 같은 형태의 답변을 추출할 수 있다.

또한, 도출 요소 학습 모듈(21)은 예를 들어, 채팅 서비스를 사용하는 다수의 사용자들이 금일 가장 많이 입력한 텍스트 정보가 "omg", "Are you kidding me?" 인 경우, 이를 학습 및 분석하여 금일 대화 트렌드를 의사 표현 이미지 아이템 초기 모델로 추출할 수 있으며, 채팅 서비스를 사용하는 사용자와 채팅 상대의 대화 내용을 학습 및 분석하여 친구, 가족, 상사, 연인 등의 관계를 파악하고, 관계에 적합한 답변을 의사 표현 이미지 아이템 초기 모델로 추출할 수 있다.

의사 표현 이미지 아이템 생성 및 추천 모듈(22)은 도출 요소 학습 모듈(21)로부터 학습 및 분석처리된 의사 표현 이미지 아이템 초기 모델을 기반으로 대화 문맥에 맞는 의사 표현 이미지 아이템을 생성하여 사용자에게 추천해주는 기능을 수행하며, 이때, 의사 표현 이미지 아이템은 텍스트 또는 텍스트, 이모지, 이모티콘 형태의 의사 표현 이미지 아이템이거나 이모지 및 이모티콘과 텍스트가 결합된 형태로 구성될 수 있다.

의사 표현 이미지 아이템 생성 및 추천 모듈(22)은 예를 들어, 사용자와 채팅 상대가 음식에 대한 대화를 나눈 뒤 사용자가 "I am so sad" 라고 입력하고, 채팅 상대로부터 "what?" 이라는 답변을 수신받은 경우, 도출 요소 학습 모듈(21)로부터 학습 및 분석된 의사 표현 이미지 아이템 초기 모델인 특정 의사 표현 이미지 아이템, 즉, "There is nothing to eat in my fridge.", "Because I'm starving." 등을 포함하고 있는 텍스트 형태의 의사 표현 이미지 아이템, 이모지 및 이모티콘 형태의 의사 표현 이미지 아이템 또는 텍스트 및 이모지, 이모티콘을 결합한 형태의 의사 표현 이미지 아이템을 생성하여 사용자에게 답변을 추천해줄 수 있다.

또한, 의사 표현 이미지 아이템 생성 및 추천 모듈(22)은 도출 요소 학습 모듈(21)로부터 학습 및 분석된 금일 대화 트렌드가 "hahahaha", "Are you kidding me?", "omg" 인 경우, 사용자에게 "hahahaha", "Are you kidding me?", "omg" 등을 포함하고 있는 텍스트 또는 이모지, 이모티콘 형태의 의사 표현 이미지 아이템 또는 텍스트 및 이모지, 이모티콘을 결합한 형태의 의사 표현 이미지 아이템을 생성하여 사용자에게 추천해줄 수 있다.

설계에 따라서는, 의사 표현 이미지 아이템 생성 및 추천 모듈(22)은 사용자에게 의사 표현 이미지 아이템 추천시 특정 사용자, 즉, 공인 또는 유명인 등으로부터 설정 추천된 의사 표현 이미지 아이템을 추천해줄 수도 있다. 이때 특정 사용자는 서비스 제공 장치(200)의 관리자로부터 지정 설정될 수 있으며, 특정 사용자의 설정 추천된 의사 표현 이미지 아이템은 도출 요소 학습 모듈(21)로부터 자동 학습 및 분석된 특정 사용자가 선호하는 의사 표현 이미지 아이템으로 구성되거나 특정 사용자가 직접 작성 및 생성한 의사 표현 이미지 아이템으로 구성될 수 있다.

정확도 분석 및 반영 의사 표현 이미지 아이템 추천 모듈(23)은 의사 표현 이미지 아이템 생성 및 추천 모듈(22)로부터 생성 및 추천된 의사 표현 이미지 아이템의 정확도를 분석하고 이를 반영한 의사 표현 이미지 아이템을 사용자에게 추천하는 모듈로서, 상기 의사 표현 이미지 아이템 생성 및 추천 모듈(22)로부터 생성 및 추천된 의사 표현 이미지 아이템의 산출 결과값을 나타낼 수 있다.

또한, 정확도 분석 및 반영 의사 표현 이미지 아이템 추천 모듈(23)은 의사 표현 이미지 아이템의 산출 결과값을 의미의 강조, 감정의 강도, 중요도, 기분, 상황, 환경 등에 따라 하이라이트 표시, 음영표시, 그라데이션 표시, 애니메이팅, 각종 표현 및 효과 기능 등으로 차등표현하여 사용자에게 의사 표현 이미지 아이템을 추천해줄 수 있다.

예를 들어, 정확도 분석 모듈(23)은 의사 표현 이미지 아이템의 산출 결과를 퍼센테이지(%)로 표시할 수 있으며, 상기 퍼센테이지는 정확도에 따라 그 수치가 달라질 수 있고, 가장 높은 수치의 퍼센테이지를 갖는 의사 표현 이미지 아이템은 하이라이트 표시되거나 다른 의사 표현 이미지 아이템보다 상대적으로 크게 표시될 수 있다. 또한, 정확도 분석 모듈(23)은 사용자 또는 채팅 상대의 감정 상태가 슬픈 상태인 경우, 말풍선을 어두운 색으로 표시하고, 이를 설명해주는 의사 표현 이미지 아이템을 표시할 수도 있다.

정확도 분석 및 반영 의사 표현 이미지 아이템 추천 모듈(23)은 자동으로 실행되거나 사용자가 특정 아이콘, 예를 들어 분석 실행 버튼의 아이콘을 선택하였을 경우 분석 적용이 수행될 수 있도록 설계될 수 있다.

도 4는 본 발명의 실시 예에 따른 의사 표현 이미지 아이템 추천 방법을 설명하기 위한 흐름도이며, 도 5 내지 도 19는 본 발명의 실시 예에 따라 제공되는 메시지 인터페이스를 설명하기 위한 도면들이다.

도 4를 참조하면, 서비스 제공 장치(200)는 우선 메시지 박스 정보에 포함된 텍스트 정보 및 의사 표현 이미지 아이템 정보를 도 5와 같이 추출하고 이를 분석한다. 이때, 텍스트 정보 및 의사 표현 이미지 아이템 정보는 텍스트 및 의사 표현 이미지 아이템이 가진 정보를 분석하여 텍스트로 추출하거나 수치값이 추출될 수 있다. 또한, 메시지 박스 정보 분석시 도 6 내지 도 8과 같이 사용자가 직접 범위를 지정하여 분석되도록 하거나 장치에서 자동으로 범위를 인지하여 메시지 박스 정보를 분석할 수 있도록 한다. 메시지 박스에 포함된 텍스트 정보 및 의사 표현 이미지 아이템 정보 분석시 문장의 형태, 감정 기호, 사용자와 채팅 상대가 메시지를 보낸 시간 및 반응 시간 등을 분석할 수 있고, 이를 통해 서비스 제공 장치(200)는 입력된 메시지가 이어지는 문장인지 또는 나누어 전송되는 문장인지를 파악할 수 있으며, 불완전한 메시지, 예를 들어, 도 7과 같이 채팅 상대가 한 문장을 "w", "h", "a", "t", "happened?" 라고 나누어 전송했을 경우 이를 문장의 형태, 감정 기호, 사용자와 채팅 상대가 메시지를 보낸 시간 및 반응 시간 등을 기반으로 분석하여 "What happened?" 이라는 완전한 메시지로 조합할 수 있다. 또한, 메시지 박스 정보 추출 분석 모듈(11)은 메시지 박스에서 "SAD" 라는 텍스트 정보를 추출시 "SAD"가 가지는 의미, 즉, "SAD"가 가지는 감정의 분석을 실행할 수 있고, 메시지 박스에서 "우는 얼굴의 이모티콘"의 의사 표현 이미지 아이템 정보를 추출시 "우는 얼굴의 이모티콘"이 가지는 의미, 즉, "우는 얼굴의 이모티콘"이 가지는 감정의 분석을 실행할 수 있다(S101).

다음으로, 서비스 제공 장치(200)는 사용자 정보에 포함된 사용자 프로필 사진 정보, 사용자 성별 정보, 사용자 상태 알림말 정보 등을 추출하고 이를 분석한다. 이때, 서비스 제공 장치(200)는 사용자 프로필 사진 정보 추출시 사용자의 외향적 특징 또는 사진이 담고 있는 의미 정보를 분석할 수 있고, 사용자 상태 알림말 정보를 추출하여 사용자의 감정 상태가 어떤지 의미를 분석할 수 있다. 예를 들어, 사용자의 프로필 사진 정보가 페스티벌 현장에서 다수의 사람들과 함께 찍은 사진 정보라면 서비스 제공 장치(200)는 이를 분석하고, 사용자가 외향적 특징을 가지고 있다는 분석 결과를 도출해낼 수 있고, 사용자 상태 알림말 정보가 "우울해" 라고 저장되어 있을 경우 사용자의 감정 상태가 슬픈 상태라고 분석 결과를 도출해낼 수 있다(S102).

다음으로, 서비스 제공 장치(200)는 메시지 박스 정보 및 사용자 정보에서 추출 및 분석된 정보로부터 의사 표현 이미지 아이템 생성 학습 엔진에 입력될 요소를 도출한다. 예를 들어, 서비스 제공 장치(200)는 도 9와 같이 메시지 박스 정보에서 텍스트 정보인 "SAD"가 추출되고, "SAD"가 가지는 감정의 분석이 "슬픈 감정"이라는 결과가 도출되면 "슬픈 감정"에 해당하는 다수개의 연관 텍스트 및 의사 표현 이미지 아이템을 도출해낼 수 있다. 또한, 메시지 박스 정보에서 의사 표현 이미지 아이템 정보인 "우는 얼굴의 이모티콘"이 추출되고, "우는 얼굴의 이모티콘"이 가지는 감정의 분석이 "슬픈 감정"이라는 결과가 도출되면 "슬픈 감정"에 해당하고, 상기 "우는 얼굴의 이모티콘"과 연관성이 높은 다수개의 텍스트 및 연관 의사 표현 이미지 아이템을 도출해낼 수 있다. 또한, 서비스 제공 장치(200)는 사용자 정보에서 사용자의 프로필 사진 정보를 추출한 결과, 음악을 좋아하고 외향적 특징을 가지고 있다는 분석 결과가 도출되면 사용자의 프로필 사진 정보의 특징과 유사성이 높은 텍스트 또는 의사 표현 이미지 아이템, 즉, 음악과 관련되고 외향적 요소를 지니고 있는 다수의 텍스트 정보와 의사 표현 이미지 아이템 정보를 도출해낼 수 있다(S103).

다음으로, 서비스 제공 장치(200)는 요소 도출된 정보를 머신 러닝을 통해 반복적으로 학습하여 의사 표현 이미지 아이템 초기 모델을 분석한다. 이때 의사 표현 이미지 아이템 초기 모델은 적어도 사용자 예상 답변, 사용자별 의사 표현 이미지 아이템 선호도, 사용자와 채팅 상대와의 관계, 금일 또는 금주 대화 트렌드 및 사용자별 추천 답변 등을 포함할 수 있으며, 새롭게 학습되는 정보에 따라 상기 의사 표현 이미지 아이템 초기 모델도 이를 반영하여 업데이트될 수 있다. 예를 들어, 사용자와 채팅 상대가 음식에 대한 대화를 나눈 뒤 사용자가 "I am so sad" 라고 입력하고, 채팅 상대로부터 "what?" 이라는 답변을 수신받은 경우, 서비스 제공 장치(200)는 사용자가 채팅 상대에게 답변으로 작성할만한 요소, 즉, 의사 표현 이미지 아이템 초기 모델인 "There is nothing to eat in my fridge.", "Because I'm starving." 등과 같은 형태의 답변을 추출할 수 있다. 또한, 서비스 제공 장치(200)는 예를 들어, 채팅 서비스를 사용하는 다수의 사용자들이 금일 가장 많이 입력한 텍스트 정보가 "omg", "Are you kidding me?" 인 경우, 이를 학습 및 분석하여 금일 대화 트렌드를 의사 표현 이미지 아이템 초기 모델로 추출할 수 있으며, 채팅 서비스를 사용하는 사용자와 채팅 상대의 대화 내용을 학습 및 분석하여 친구, 가족, 상사, 연인 등의 관계를 파악하고, 관계에 적합한 답변을 의사 표현 이미지 아이템 초기 모델로 추출 및 분석할 수 있다(S104).

의사 표현 이미지 아이템 초기 모델 추출 및 분석 후 서비스 제공 장치(200)는 의사 표현 이미지 아이템 생성에 필요한 학습을 수행하고, 학습된 정보를 기반으로 사용자에게 의사 표현 이미지 아이템을 추천해주는 기능을 수행한다. 이때, 학습 정보는 머신 러닝 처리될 수 있으며, 머신 러닝 처리에서의 머신 러닝 알고리즘은 하나 이상의 처리 방식이 이용될 수 있다. 나아가 입력 변수와 타겟 변수를 복수개의 머신 러닝 알고리즘과 복수개의 머신러닝 알고리즘의 조합에 적용하여 사전 학습하고, 학습된 결과에 따른 알고리즘 각각의 정확도, 정확도 대비 연산시간, 성능비 및 모델의 안정성(fitness) 중에서 적어도 하나를 고려하여 최적의 머신러닝 알고리즘이 결정될 수 있다. 즉, 서비스 제공 장치(200)는 추출, 분석 및 도출된 정보들을 그 분류 정보에 따라 학습하고, 의사 표현 이미지 아이템 초기 모델을 분석하여 사용자에게 대화 문맥에 적합한 답변인 의사 표현 이미지 아이템을 추천할 수 있다. 예를 들어, 서비스 제공 장치(200)는 도 10 내지 15과 같이 사용자에게 대화 문맥에 적합한 의사 표현 이미지 아이템을 추천해 줄 수 있는데, 더욱 자세히 예를 들어보자면, 사용자와 채팅 상대가 음식에 대한 대화를 나눈 뒤 사용자가 "I am so sad" 라고 입력하고, 채팅 상대로부터 "what?" 이라는 답변을 수신받은 경우, 서비스 제공 장치(200)는 사용자가 채팅 상대에게 답변으로 작성할만한 요소, 즉, 의사 표현 이미지 아이템 초기 모델인 "There is nothing to eat in my fridge.", "Because I'm starving." 등을 포함하고 있는 텍스트 형태의 의사 표현 이미지 아이템 또는 이모지 및 이모티콘 형태의 의사 표현 이미지 아이템 또는 텍스트 및 이모지, 이모티콘을 결합한 형태의 의사 표현 이미지 아이템을 생성하여 사용자에게 답변을 추천해줄 수 있다. 또한, 서비스 제공 장치(200)는 도 16 및 17과 같이 채팅 서비스를 사용하는 다수의 사용자들이 금일 가장 많이 입력한 텍스트 정보가 "omg", "Are you kidding me?" 인 경우, 이를 학습 및 분석하여 금일 대화 트렌드를 의사 표현 이미지 아이템 초기 모델로 추출할 수 있으며, 사용자에게 "Are you kidding me?", "omg" 등을 포함하고 있는 텍스트 또는 이모지, 이모티콘 형태의 의사 표현 이미지 아이템 또는 텍스트 및 이모지, 이모티콘을 결합한 형태의 의사 표현 이미지 아이템을 생성하여 사용자에게 추천해줄 수 있다. 또한, 서비스 제공 장치(200)는 도 18 및 19와 같이 채팅 서비스를 사용하는 사용자와 채팅 상대의 대화 내용을 학습 및 분석하여 친구, 가족, 상사, 연인 등의 관계를 파악하고, 관계에 적합한 답변을 의사 표현 이미지 아이템 초기 모델로 추출하여 이를 사용자에게 추천해줄 수 있으며, 채팅 상대가 입력한 텍스트 정보 및 의사 표현 이미지 아이템 정보에 따라 채팅 상대의 대화 타입 및 페르소나 등을 분석 및 추출하여 이를 사용자에게 표시해줄 수도 있다. 상기 표시되는 내용은 예를 들어 "상대방은 경어를 많이 사용합니다.", "상대방은 긍정적인 표현을 많이 사용합니다." 등이 포함될 수 있고, "최근 관계가 좋아지셨나요?" 등과 같은 내용을 표시하여 사용자에게 피드백을 얻을 수도 있다. 사용자로부터 얻은 피드백은 추후 대화 타입 및 페르소나 등을 분석 및 추출할 때 반영되어 정확도를 높일 수 있다.

한편, 서비스 제공 장치(200)는 도 20 및 21과 같이 사용자에게 의사 표현 이미지 아이템 추천시 특정 사용자, 즉, 공인 또는 유명인 등으로부터 설정 추천된 의사 표현 이미지 아이템을 추천해줄 수도 있다. 이때 특정 사용자는 서비스 제공 장치(200)의 관리자로부터 지정 설정될 수 있으며, 특정 사용자의 설정 추천된 의사 표현 이미지 아이템은 장치로부터 자동 학습 및 분석된 특정 사용자가 선호하는 의사 표현 이미지 아이템으로 구성되거나 특정 사용자가 직접 작성 및 생성한 의사 표현 이미지 아이템으로 구성될 수 있다(S105).

다음으로, 서비스 제공 장치(200)는 생성 및 추천된 의사 표현 이미지 아이템의 정확도를 분석하고 분석결과를 기반으로 의사 표현 이미지 아이템을 차등표현하여 사용자에게 추천하는 기능을 수행한다. 이때, 상기 의사 표현 이미지 아이템은 산출 결과값을 포함한 상태로 표시될 수 있으며, 의사 표현 이미지 아이템의 산출 결과값을 의미의 강조, 감정의 강도, 중요도, 기분, 상황, 환경 등에 따라 하이라이트 표시, 음영표시, 그라데이션 표시, 애니메이팅, 각종 표현 및 효과 기능 등으로 차등표현하여 사용자에게 의사 표현 이미지 아이템을 추천해줄 수 있다. 예를 들어, 서비스 제공 장치(200)는 도 22와 같이 의사 표현 이미지 아이템의 산출 결과를 퍼센테이지(%)로 표시할 수 있으며, 상기 퍼센테이지는 정확도에 따라 그 수치가 달라질 수 있고, 가장 높은 수치의 퍼센테이지를 갖는 의사 표현 이미지 아이템은 하이라이트 표시되거나 다른 의사 표현 이미지 아이템보다 상대적으로 크게 표시될 수 있다. 또한, 서비스 제공 장치(200)는 도 23 내지 도 27과 같이 사용자 또는 채팅 상대로부터 입력된 텍스트 정보 및 의사 표현 이미지 아이템 정보를 기반으로 사용자 또는 채팅 상대의 감정 상태가 기쁜 상태라고 판단되는 경우, 말풍선을 밝은 색으로 표시하고, 슬픈 상태라고 판단되는 경우, 말풍선을 어두운 색으로 표시하며, 이를 설명해주는 의사 표현 이미지 아이템을 대화창 아래에 표시할 수도 있고, 도 28과 같이 사용자 또는 채팅 상대의 감정 상태를 단계별로 구분하여 말풍선 아래 감정의 단계를 표시해줄 수도 있다(S106).

한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 단말 장치에서 실행되기 위한 설치 데이터 형태로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다. 이에 따라, 사용자 단말(100)은 서버 또는 기기에 접속하여, 상기 설치 데이터를 다운로드할 수 있다.

비일시적 판독 가능한 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (6)

1. 사용자 단말 상호간 또는 사용자 단말들에 의해 생성된 그룹 내에서 채팅 인터페이스를 통해 송수신되는 메시지인 텍스트 정보 및 의사 표현 이미지 아이템 정보를 추출하고, 추출된 텍스트 정보 및 의사 표현 이미지 아이템 정보에서 사용자의 의사 표현, 감정의 분석을 실행하며, 분석된 정보를 기반으로 대화의 전체 문맥을 파악하는 메시지 박스 정보 추출 분석 기능;
   사용자 프로필 사진 정보, 사용자 성별 정보, 사용자 상태 알림말 정보 중 적어도 어느 하나 이상의 정보를 기반으로 사용자의 외향적 특징, 사용자의 관심 요소, 사용자의 기분을 추출하고, 추출된 정보를 기반으로 사용자의 감정 상태 및 성향을 분석하는 사용자 정보 추출 분석 기능; 및
   상기 메시지 박스 정보 추출 분석 기능 및 사용자 정보 추출 분석 기능으로부터 추출 및 분석된 텍스트 정보, 의사 표현 이미지 아이템 정보 및 사용자 정보를 기반으로 의사 표현 이미지 아이템 생성 학습에 입력될 요소별 속성 정보인 텍스트 정보, 의사 표현 종류 정보, 이미지 타입 정보, 의사 표현과 매칭되는 이미지 정보, 다수명의 사용자별 이용 횟수 정보, 사용자 정보와 매칭되는 이미지 정보 및 피드백 처리 정보를 도출하는 요소 도출 기능; 을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
   
2. 제1 항에 있어서,
   상기 요소 도출 기능으로부터 도출된 요소별 속성 정보를 반복적으로 학습하여 사용자 예상 답변, 사용자별 의사 표현 이미지 아이템 선호도, 사용자와 채팅 상대와의 관계, 금일 또는 금주 대화 트렌드 및 사용자별 추천 답변 중 적어도 어느 하나를 포함하는 의사 표현 이미지 아이템 초기 모델을 분석하는 도출 요소 학습 기능;
   상기 도출 요소 학습 기능으로부터 학습 및 분석처리된 의사 표현 이미지 아이템 초기 모델을 기반으로 대화 문맥에 맞는 의사 표현 이미지 아이템을 생성하여 사용자에게 텍스트, 이모지, 이모티콘 형태의 의사 표현 이미지 아이템 또는 텍스트와 이모지 및 이모티콘이 결합된 형태의 의사 표현 이미지 아이템을 추천해주는 의사 표현 이미지 아이템 생성 및 추천 기능; 및
   상기 의사 표현 이미지 아이템 생성 및 추천 기능으로부터 생성 및 추천된 의사 표현 이미지 아이템의 정확도를 분석하여 이에 대한 산출 결과값을 나타내며, 상기 산출 결과값은 의미의 강조, 감정의 강도, 중요도, 기분, 상황, 환경에 따른 하이라이트 표시, 음영표시, 그라데이션 표시, 애니메이팅, 다수 개의 효과 기능 중 적어도 어느 하나 이상으로 차등표현하여 사용자에게 정확도가 반영된 의사 표현 이미지 아이템을 추천하는 정확도 분석 및 반영 의사 표현 이미지 아이템 추천 기능;을 포함하는 것을 특징으로 하는
   컴퓨터 프로그램.
   
3. 제1 항에 있어서,
   상기 메시지 박스 정보 추출 분석 기능은,
   텍스트 및 의사 표현 이미지 아이템이 가지는 정보의 의미 및 강도를 추출하는 기능 및 각 의미와 강도를 연결하여 특정 감정을 추출하는 기능을 더 포함하는 것을 특징으로 하는
   컴퓨터 프로그램.
   
4. 제1 항에 있어서,
   상기 메시지 박스 정보 추출 분석 기능은,
   메시지 박스에 포함된 텍스트 정보 및 의사 표현 이미지 아이템 정보 분석시 문장의 형태, 감정 기호, 사용자와 채팅 상대가 메시지를 보낸 시간 및 반응 시간 중 적어도 어느 하나 이상을 분석하여 메시지가 이어지는 문장인지 또는 나누어 전송되는 문장인지를 파악하는 기능을 더 포함하는 것을 특징으로 하는
   컴퓨터 프로그램.
   
5. 제1 항 및 제2 항에 있어서,
   채팅 서비스를 사용하는 사용자와 채팅 상대의 대화 내용을 학습 및 분석하여 상호간의 관계를 파악하고, 관계에 적합한 답변을 의사 표현 이미지 아이템 초기 모델로 추출하여 이를 사용자에게 추천해주는 기능을 더 포함하는 것을 특징으로 하는
   컴퓨터 프로그램.
   
6. 제5 항에 있어서,
   상기 채팅 상대가 입력한 텍스트 정보 및 의사 표현 이미지 아이템 정보에 따라 채팅 상대의 대화 타입 및 페르소나를 분석 및 추출하여 이를 사용자에게 표시해주는 기능을 더 포함하되, 표시된 정보에 대한 피드백을 사용자로부터 획득하여 이를 대화 타입 및 페르소나를 재분석 및 재추출할 때 반영토록 하는 것을 특징으로 하는
   컴퓨터 프로그램.
   
   
   
   

Images