KR20200027316A - 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 - Google Patents

Abstract

본 발명의 실시 예에 따른 메시지 서비스 제공을 위한 프로그램은, 사용자 단말기로 메시지 인터페이스를 제공하며, 상기 메시지 인터페이스를 통해 송수신되는 메시지를 처리하되, 상기 인터페이스를 통해 상기 메시지에 포함 가능한 하나 이상의 의사 표현 이미지 아이템을 상기 사용자 단말기로 제공하는 기능; 상기 하나 이상의 의사 표현 이미지 아이템을 저장하는 기능; 상기 데이터베이스에 저장되는 하나 이상의 의사 표현 이미지 아이템을 요소 정보에 따라 분류 관리하는 기능; 및 상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 머신 러닝을 처리하여, 의사 표현 이미지 아이템 학습 모델을 생성하고, 상기 학습 모델을 이용하여 상기 데이터베이스에 저장된 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택 조합한 조합형 이미지 아이템을 생성하는 기능을 포함한다.

Description

조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 {Program for providing message processing by providing combined expression image words}

본 발명은 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램에 관한 것이다.

채팅 서비스와 같은 메시지 서비스에 있어서, 사용자들의 감정을 나타내기 위해, 이모티콘이나 이모지 등의 다양한 형태의 표현 방식이 이용되고 있다.

이모티콘은 채팅 서비스에서 서비스 사용자들의 감정을 나타내기 위해 사용하는 기호로써, 감정(Emotion)과 아이콘(Icon)을 합성한 용어이며, 초창기의 이모티콘은 키보드에 있는 각종 기호와 문자의 단순 조합으로 만들어 졌지만, 최근에는 다양한 형태의 캐릭터 이미지를 통해 사용자의 감정을 나타내는 형태로 발전하였다.

또한, 이모지는 문자 조합에 기반한 이모티콘 방식과는 달리, 플랫폼 시스템의 글꼴 형태로 내재시킨 그림 문자를 출력하는 방식으로서, 입력된 이모지 코드에 대응하는 감정 표현 이미지가 출력되는 방식이 예시되고 있다.

이러한 이모지 및 이모티콘에 대한 서비스 사용자들의 수요가 증가하면서, 메시지 서비스에서 다양한 종류의 의사 표현 이미지 아이템들을 지정하여 서비스 사용자들에게 제공하는 것이 일반화되었다.

그러나, 이모지, 이모티콘 등의 기존 의사 표현 이미지 아이템들은 각 의사 표현에 맞는 이미지들을 디자이너가 임의로 생성하여야 하고, 생성된 이미지를 의사 표현에 매칭시켜 플랫폼 시스템상에 저장시켜야 하며, 사용자가 저장된 플랫폼 시스템상에서 호출 및 선택하여야만 메시지상에 입력할 수 있는 불편함이 존재한다.

이러한 점은 이모지 및 이모티콘의 수요가 지속적으로 증가되고 있는 현재 환경에 있어서, 생성 개수에 비례하여 증가하는 디자인 비용 증가와, 플랫폼 업데이트에 의한 시스템 구축비용 증가 및 사용자 입력시 불필요한 이미지들이 증가하여 입력 시간이 오래 걸리거나 원하지 않는 다수 이미지들이 나타나는 문제점들을 야기시킬 수 있다.

이러한 한계 및 불편함으로 인해, 각 시스템 OS 나 메신저 플랫폼별 이모지, 이모티콘의 업데이트는 상당 기간의 주기를 거쳐 대규모로 업데이트되는 것이 일반적이며, 특히 이러한 환경에서는 특정 이미지에 대한 문제점이나 불만사항이 발생되더라도 실시간으로 반영되지 못하는 문제점도 발생하게 된다.

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 별도의 디자인 시간이나 비용 부담 없이도 머신 러닝에 따른 학습 데이터 누적에 따라 점진적으로 자연스러운 의사 표현 이미지들을 생산할 수 있으며, 이에 대응하는 실시간적인 피드백을 반영할 수 있어, 극대화된 다양성과 피드백이 반영된 이모지 또는 이모티콘들을 제공할 수 있는 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램을 제공하는데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 프로그램은, 사용자 단말기로 메시지 인터페이스를 제공하며, 상기 메시지 인터페이스를 통해 송수신되는 메시지를 처리하되, 상기 인터페이스를 통해 상기 메시지에 포함 가능한 하나 이상의 의사 표현 이미지 아이템을 상기 사용자 단말기로 제공하는 기능; 상기 하나 이상의 의사 표현 이미지 아이템을 저장하는 기능; 상기 데이터베이스에 저장되는 하나 이상의 의사 표현 이미지 아이템을 요소 정보에 따라 분류 관리하는 기능; 및 상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 머신 러닝을 처리하여, 의사 표현 이미지 아이템 학습 모델을 생성하고, 상기 학습 모델을 이용하여 상기 데이터베이스에 저장된 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택 조합한 조합형 이미지 아이템을 생성하는 기능을 포함한다.

본 발명의 실시 예에 따르면, 의사 표현 이미지 아이템들의 요소 분류 정보와 이미지를 입력값으로 하는 머신 러닝 처리를 기반으로 조합형 의사 표현 이미지들을 생성하고, 상기 조합형 의사 표현 이미지 아이템들을 사용하는 메시지 서비스를 제공할 수 있다.

이에 따라, 본 발명의 실시 예에 따르면 별도의 디자인 시간이나 비용 부담 없이도 머신 러닝에 따른 학습 데이터 누적에 따라 자연스러운 의사 표현 이미지들을 생산할 수 있으며, 이에 대응하는 실시간적인 피드백을 반영할 수 있어, 다양화되고 개인화되는 이모지 또는 이모티콘들을 제공할 수 있는 조합형 의사 표현 이미지 아이템을 포함하는 메시지 처리를 위한 프로그램을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성부를 보다 구체적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 조합형 이미지 아이템의 생성 예이다.
도 6 내지 도 7은 본 발명의 실시 예에 따라 제공되는 메시지 인터페이스를 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.

도 1을 참조하면 본 발명의 일 실시 예에 따른 시스템은 복수의 사용자 단말(100) 및 서비스 제공 장치(200)를 포함할 수 있다.

보다 구체적으로, 사용자 단말(100)들 및 서비스 제공 장치(200)는 네트워크를 통해 유선 또는 무선으로 연결될 수 있으며, 네트워크간 상호간 통신을 위해 각 사용자 단말(100) 및 서비스 제공 장치(200)는 인터넷 네트워크, LAN, WAN, PSTN(Public Switched Telephone Network), PSDN(Public Switched Data Network), 케이블 TV 망, WIFI, 이동 통신망 및 기타 무선 통신망 등을 통하여 데이터를 송수신할 수 있다. 또한, 각 사용자 단말(100) 및 서비스 제공 장치(200)는 각 통신망에 상응하는 프로토콜로 통신하기 위한 각각의 통신 모듈을 포함할 수 있다.

그리고, 본 명세서에서 설명되는 사용자 단말(100)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있으나, 본 발명은 이에 한정되지 아니하며 그 이외에 사용자 입력 및 정보 표시 등이 가능한 다양한 장치일 수 있다.

이와 같은 시스템에 있어서, 사용자 단말(100)은 서비스 제공 장치(200)와 연결되어 다른 사용자 단말과의 메시지 인터페이스 서비스를 제공받을 수 있다.

이러한 처리를 위해, 서비스 제공 장치(200)는 사용자 단말(100)로 메시지 인터페이스를 제공하고, 상기 메시지 인터페이스를 통해 수신된 메시지를 다른 사용자 단말로 전달하거나, 다른 사용자 단말로부터 수신된 메시지를 사용자 단말(100)로 전달하는 처리를 수행할 수 있다.

예를 들어, 서비스 제공 장치(200)는 채팅 서버 장치일 수 있으며, 사용자 단말(100)은 채팅 어플리케이션이 설치된 휴대용 단말일 수 있고, 서비스 제공 장치(200)는 각 사용자 단말 상호간 또는 사용다 단말들에 의해 생성된 그룹 내에서의 채팅 인터페이스를 제공하고, 상기 채팅 인터페이스를 통해 송수신되는 메시지를 중계 및 보관 처리할 수 있다.

서비스 제공 장치(200)에서 처리되는 메시지는 다양한 메시지 컨텐츠를 포함할 수 있으며, 상기 컨텐츠는 이메일, 단문 또는 장문 문자 메시지 포맷의 데이터를 포함할 수 있고, 서비스 제공 장치(200)는 상기 메시지 컨텐츠를 이동통신망 또는 전용 인터넷망을 통해 상기 이메일, 단문 또는 장문 문자 메시지 포맷의 데이터를 전송할 수 있다.

한편, 서비스 제공 장치(200)는 통신 프로토콜 변환, 파일(File) 서버, 콜렉트(Collect) 서버, 푸시 게이트웨이(Gateway) 서버, 전송 서버, 어카운트 서버, 어드민 서버, 수신 서버, 변환 서버, 메시징 서버, 푸시(push) 수신 서버, 푸시 발송 서버 기능 등의 전반적인 역할을 수행하는 서버 장치로 구현될 수 있다.

또한, 사용자 단말(100)과 서비스 제공 장치(200)가 접속된 통신 네트워크가 각각 상이한 네트워크일 수 있으며, 이에 따라 서비스 제공 장치(200)는 각 네트워크 프로토콜에 따른 데이터 변환 처리를 제공할 수 있다. 그리고, 서비스 제공 장치(200)는 필요에 따라 메시지 정보의 전부 또는 일부를 암호화하여 관리할 수 있다.

또한, 본 발명의 실시 예에 따른 서비스 제공 장치(200)는 사용자 단말(100)로 메시지 서비스에 따라 처리되는 다양한 부가 정보 및 기능을 제공할 수 있고, 서비스 가입 및 제휴 처리를 제공하거나, 금융 서버와 통신하여 복수의 사업자 서버와의 제휴 서비스를 제공하기 위한 과금 처리 등을 더 수행할 수 있다.

또한, 사용자 단말(100)에는 별도의 어플리케이션이 설치될 수 있으며, 별도의 제어부(미도시), 저장부(미도시), 출력부(미도시) 및 통신부(미도시)를 포함하는 일반적인 휴대 단말의 구성을 기본적으로 포함할 수 있다.

이와 같은 시스템을 통해, 서비스 제공 장치(200)가 메시지 인터페이스를 통해 송수신되는 메시지 컨텐츠의 중계 서비스를 제공함에 있어서, 상기 메시지 인터페이스에는 하나 이상의 의사 표현 이미지 아이템이 포함될 수 있다.

의사 표현 이미지 아이템은, 사용자의 감정, 기분, 상태 및 기타 표현하고자 하는 의사를 나타내는 이미지를 포함할 수 있으며, 상기 이미지는 예를 들어, 특정 의사 표현 정보에 매칭되는 그림 문자 이모지 포맷, 문자 이모티콘 포맷 또는 별도 지정된 그림 파일 포맷, 움직임을 허용하는 파일 포맷의 데이터로 구성될 수 있다. 또한, 의사 표현 정보는 감정, 기분, 상태 또는 기타 의사를 키워드, 부가 설명을 나타내는 데이터를 포함할 수 있으며, 하나의 이미지에는 하나 이상의 키워드, 부가설명을 표현하는 데이터가 매칭될 수 있다.

이에 따라, 서비스 제공 장치(200)는 의사 표현 정보와 상기 이미지를 융합하고, 융합된 정보를 의사 표현 이미지 아이템으로서 저장 및 관리할 수 있으며, 서비스 제공 장치(200)는 의사 표현 이미지 아이템 리스트를 생성하여 사용자 단말(100)에서 출력되는 메시지 인터페이스를 통해 제공할 수 있다.

사용자 단말(100)은 상기 메세지 인터페이스를 통해 메시지를 입력하거나, 상기 의사 표현 이미지 아이템 리스트에서 원하는 의사 표현 이미지 아이템을 선택하여 입력할 수 있으며, 입력된 의사 표현 이미지 아이템을 포함하는 메시지가 다른 사용자 단말로 전달되거나, 그룹 채팅방에 게시물로서 등록될 수 있다.

그리고, 서비스 제공 장치(200)는 기 저장된 기존의 의사 표현 이미지 아이템들에 대응하는 머신 러닝 처리를 수행하여 이미지 아이템 학습 모델을 생성할 수 있으며, 학습 모델에 기초하여 새로 조합된 조합형 의사 표현 이미지 아이템을 생성할 수 있다.

여기서, 학습 모델은 기존의 의사 표현 이미지 아이템들로부터 이미지 아이템의 조합 생성을 위한 조건 설정 정보를 도출하기 위한 모델일 수 있으며, 조건 설정 정보 도출 알고리즘을 학습시키기 위해, 의사 표현 이미지 아이템들을 가공하여 트레이닝 정보로서의 요소 분류 정보를 획득하고, 상기 요소 분류 정보를 입력값으로 하는 머신 러닝 처리를 수행할 수 있다.

그리고, 서비스 제공 장치(200)는 의사 표현 이미지 데이터베이스로부터 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택하며, 학습된 조건 설정 정보에 따라, 각 의사 표현 이미지 아이템의 요소들을 조합하여 조합형 의사 표현 이미지들을 생성하고, 생성된 조합형 의사 표현 이미지들을 저장하며, 상기 조합형 의사 표현 이미지 아이템들을 사용하는 메시지 서비스를 제공할 수 있다.

이에 따라, 본 발명의 실시 예에 따르면 별도의 디자인 시간이나 비용 부담 없이도 머신 러닝에 따른 학습 데이터 누적에 따라 자연스러운 의사 표현 이미지들을 생산할 수 있으며, 이에 대응하는 실시간적인 피드백을 반영할 수 있어, 다양화되고 개인화되는 이모지 또는 이모티콘들을 제공할 수 있는 조합형 의사 표현 이미지 아이템을 포함하는 메시지 처리를 위한 프로그램을 제공할 수 있다.

도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이며, 도 3은 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성부를 보다 구체적으로 도시한 블록도이다.

도 2 및 도 3을 참조하면, 서비스 제공 장치(200)는 제어부(210), 통신부(220), 메시지 인터페이스부(225), 데이터베이스(240), 시각 아이템 관리부(250) 및 조합형 이미지 아이템 생성부(230)를 포함할 수 있다.

제어부(210)는 각 모듈의 전반적인 동작을 제어하여, 본 발명의 실시 예에 따른 서비스 제공 방법에 따른 동작 처리를 제공하며, 이를 위한 하나 이상의 마이크로 프로세서를 포함할 수 있다.

통신부(220)는 사용자 단말기(100) 또는 서비스 제공 장치(200)가 위치한 네트워크 사이의 유선 또는 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(220)는 이동통신 모듈, 유선 인터넷 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.

그리고, 메시지 인터페이스부(225)는 본 발명의 실시 예에 따른 서비스를 이용하는 사용자들에 대응하여 사용자 정보를 등록하고, 송수신되는 메시지를 중계, 저장 및 관리할 수 있다. 사용자 정보는 메시지를 송수신하는 사용자 식별 정보를 포함할 수 있으며, 사용자 정보는 사용자 단말기(100)로부터 수신되는 사용자 정보 등록 또는 갱신 요청에 따라 신규 등록, 갱신 및 관리될 수 있다. 또한, 사용자 정보의 전부 또는 일부 정보는 암호화되어 저장될 수 있다.

한편, 데이터베이스(240)는 각 구성요소들의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 의사 표현 이미지 아이템, 조합형 이미지 아이템 등)을 저장할 수도 있으며, 학습 처리를 위해 별도 분류된 데이터베이스를 저장 및 관리할 수도 있다.

시각 아이템 관리부(250)는 데이터베이스(240)를 통해 저장되는 의사 표현 이미지 아이템들을 그 분류 정보에 따라 매칭시켜 저장 및 관리할 수 있다. 상기 분류 정보는 이미지 아이템의 각 요소별 속성 정보를 포함할 수 있으며, 요소별 속성 정보는 예를 들어, 의사 표현 종류 정보, 이미지 타입 정보, 사용자별 이용 횟수 정보, 피드백 정보 등이 예시될 수 있다.

그리고, 시각 아이템 관리부(250)는 메시지 인터페이스부(225)를 통해 사용자 단말(100)로부터 수신되는 상기 피드백 정보를 수신하여, 의사 표현 이미지 아이템의 분류 정보에 적용할 수 있으며, 상기 피드백 정보는 예를 들어 의사 표현 이미지 아이템에 대응하는 요소별 평가 정보, 신고 정보 또는 사용율 정보 중 적어도 하나를 포함할 수 있다.

특히, 신고 정보가 수신된 경우 시각 아이템 관리부(250)는 신고 정보에 대응하는 의사 표현 이미지 아이템의 수정 또는 삭제 처리를 수행할 수 있는 바, 이와 같은 데이터베이스(240) 갱신이 실시간으로 처리됨으로써, 각 의사 표현 이미지 아이템에 대응하는 사용자 피드백이 적극적으로 반영될 수 있다.

한편, 시각 아이템 관리부(250)는 조합형 이미지 아이템 생성부(230)의 조합 이미지 생성을 위한 분류 정보를 제공할 수 있으며, 조합형 이미지 아이템 생성부(230)에서 생성되는 조합형 이미지 아이템를 데이터베이스(240)에 신규 등록하여 관리할 수도 있다.

보다 구체적으로, 도 3을 참조하면, 조합형 이미지 아이템 생성부(230)는, 이미지 아이템 조합부(231), 제1 머신 러닝 처리부(233), 피드백 정보 가중치 적용부(235) 및 제2 머신 러닝 처리부(237)를 포함하며, 머신 러닝에 따라 생성된 이미지 아이템 생성 학습 모델(232)이 데이터베이스(240)를 통해 구비될 수 있다.

제1 머신 러닝 처리부(233)는, 상기 시각 아이템 관리부(250)의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스(240)의 제1 머신 러닝을 처리하여, 초기 이미지 아이템 학습 모델을 생성하고, 생성된 이미지 아이템 생성 학습 모델(232)이 데이터베이스(240)에 저장되도록 처리한다.

여기서, 이미지 아이템 생성 학습 모델은 이미지 아이템의 생성을 위한 조합 설정 정보 매칭 알고리즘을 도출하기 위한 학습 모델을 포함할 수 있으며, 입력 변수로서 이미지 아이템의 분류 정보를 포함할 수 있고, 출력 변수는 의사 표현 이미지 아이템간 조합을 위한 조합 설정 정보를 포함할 수 있다. 조합 설정 정보는 요소간 결합 정보를 포함할 수 있으며, 조합 대상인 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 이미지 배치 타입 정보, 이미지 그리드 위치 정보, 이미지 스케일 비율 정보, 의미 결합 정보, 키워드 결합 정보, 선호하는 정보, 설정된 정보 중 적어도 하나를 포함할 수 있다.

제1 머신 러닝 처리부(233)에서의 머신 러닝 알고리즘은 하나 이상의 처리 방식이 이용될 수 있으며, 나아가 입력 변수와 타겟 변수를 복수개의 머신러닝 알고리즘과 복수개의 머신러닝 알고리즘의 조합에 적용하여 사전 학습하고, 학습한 결과에 따른 알고리즘 각각의 정확도, 정확도 대비 연산시간, 성능비 및 모델의 안정성(fitness) 중에서 적어도 하나를 고려하여 최적의 머신러닝 알고리즘 또는 최적의 조합된 머신러닝 알고리즘이 결정될 수 있다.

제1 머신 러닝 처리부(233)에서 처리되는 머신러닝 알고리즘은 예를 들어, 리지 회귀분석(Ridge Regression), 로지스틱 회기분석(Logistic Regression), 일반화선형모형(Generalized Linear Model), 랜덤 포레스트(Random Forest), 변화 부양 모형(GradientBoosting Model) 및 뉴럴 네트워크(Neural Network) 등이 이용될 수 있다.

리지 회귀분석은 기본적인 linear 모델이며 극단치 또는 이상점(outlier)을 핸들하기 위해 추가적인 파라미터를 제공한다. 로지스틱 회기분석은 기본적인 linear 모델이며 타겟변수 즉 예측하려는 대상이 Binomial 분포도를 보일 때 사용하는 것이 효과적이다. 일반화선형모형은 기본적인 linear 모델이며 타겟변수가 Poisson 분포도를 보일 때 사용하는 것이 효과적이다. 랜덤 포레스트 앙상블모델로 다수의 decision tree가 모여 이루어진 모델로서, 각 decision tree는 입력 변수들과 타겟 변수의 연관성을 고려하여 개별적으로 개발되며 상위 linear 모델 대비 더욱 유연(flexible)한 특성을 가지고 있다. 변화 부양 모형은 Generalized Boosting Model 또는 GBM 이라고도 불리며 Random Forest와 비슷한 성향을 띠는 앙상블 모델이나 각 decision tree가 이미 만들어진 decision tree의 정확도를 고려하여 개된다는 차이점이 존재해 종종 Random Forest 대비 정확도가 높은 모델로 간주되기도 한다.

뉴럴 네트워크는 사실상 어떤 타겟이든 예측할 수 있는 아주 유연한 모델로 파라미터를 조정함에 따라 linear 패턴과 non-linear 패턴 둘 다 아우를 수 있다 때문에 파라미터 튜닝이 세밀하게 될 필요성이 있다. 특히, 뉴럴 네트워크는 기계학습과 인지과학에서 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘으로서, 이러한 신경망을 복합적으로 구성함으로써 딥 러닝 방식이 구현될 수 있다.

예를 들어, 뉴럴 네트워크는 전체적인 FC(Fully Connected), Max Pooling 및 convolution을 수반하여 최적화되는 CNN(Convolutional Neural Network), 시계열적 데이터에 유용한 순차 신경망(Recurrent Neural Networks, RNN)을 포함할 수 있다.

신경망 학습 프로세스가 이용되는 경우, 예를 들어, 제1 머신 러닝 처리부(233)는, 이미지 아이템 데이터베이스(240)의 분류 정보로부터 조합 설정 정보에 따라 생성되는 조합형 이미지 아이템의 예측값을 생성하는 프로세스와 예측값과 실제 분류 정보값의 차이를 최소화하기 위해 연결의 가중치를 갱신하는 학습 프로세스(backpropagation)를 수행할 수 있다. 이를 위해, 제1 머신 러닝 처리부(233)는 이는 비용함수(cost function)를 가중치에 대해 편미분한 다음 가중치를 기울기 방향으로 조금씩 이동하는 과정을 반복함으로써 실제값과 예측값이 차이를 최소화하는 가중치를 찾는 방식으로서 경사하강법(gradient descent) 등을 이용하여 실제와 유사한 최적의 조합 설정 정보를 학습할 수 있다.

한편, 제1 머신 러닝 처리부(233)는 최근 대두되는 GAN(Generative Adversarial Network) 학습 방식을 이용하여, 조합 설정 정보뿐만 아니라, 이미지 아이템간 합성된 이미지를 생성하는 이미지 생성 모델을 구축할 수도 있다. GAN이 이용되는 경우, 제1 머신 러닝 처리부(233)는 이미지 아이템 분류 정보 및 이미지 데이터로부터 GAN 트레이닝을 위한 학습 데이터를 생성하고, 학습 데이터에 기초한 생성기(GENERATOR)와 감별기(DISCRIMINATOR)를 각각 구비시켜 생성기가 생성한 이미지 아이템 데이터의 실제 이미지 아이템과의 유사성을 감별기에서 판별하도록 처리하되, 생성기와 감별기간의 상호 정보를 교환함으로써 학습 데이터량에 따라 정확도를 높이는 프로세스를 처리하여, 조합된 이미지가 실제 기존의 이미지 아이템과 구분되기 힘들 정도로 적절하게 생성되도록 처리할 수 있다.

이와 같이 제1 머신 러닝이 처리되면, 이미지 아이템 조합부(231)는 조합 대상 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템을 결정하고, 상기 제1 머신 러닝된 이미지 아이템 학습 모델로부터, 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템에 대응하여 산출되는 조합 설정 정보를 획득하며, 상기 조합 설정 정보에 기초한 조합을 처리하여, 상기 조합형 이미지 아이템을 생성한다.

이미지 아이템 조합부(231)는 학습된 이미지 아이템 생성 학습 모델(232)로부터 획득되는 상기 조합 설정 정보로부터 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 요소간 결합 정보를 획득할 수 있으며, 요소간 결합 정보에 따라 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 각각의 요소 정보를 결합하고, 결합에 따른 조합형 이미지 아이템을 생성할 수 있다.

여기서, 상기 요소간 결합 정보는, 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 이미지 배치 타입 정보, 이미지 그리드 위치 정보, 이미지 스케일 비율 정보, 의미 결합 정보, 키워드 결합 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 생성된 조합형 이미지 아이템은 상기 데이터베이스에 저장되어, 상기 제1 머신 러닝 처리부(233)의 제1 머신 러닝 처리에 회귀적으로 이용될 수 있다.

이에 따라, 상기 생성된 조합형 이미지 아이템은 상기 데이터베이스(240)에 저장되어, 상기 메시지 인터페이스부(225)를 통해 상기 사용자 단말기(100)로 제공될 수 있다.

예를 들어, 상기 메시지 인터페이스부(225)는 사용자 단말(100)를 통해 상기 조합형 이미지 아이템을 포함하는 의사 표현 이미지 아이템 리스트를 제공할 수 있으며, 의사 표현 이미지 아이템 리스트에서 선택된 조합형 이미지 아이템이 메시지에 포함되도록 처리할 수 있다.

한편, 상기 시각 아이템 관리부(250)는, 상기 사용자 단말기(100)로부터 상기 생성된 조합형 이미지 아이템에 대응하는 피드백 정보를 수신하고, 피드백 정보에 대응하는 데이터베이스(240) 갱신 처리를 수행할 수 있다.

메시지 인터페이스부(225)는 사용자 단말(100)로 사용자가 입력한 조합형 이미지 아이템에 대응하는 피드백 정보를 요청할 수 있으며, 요청에 따른 응답으로서 피드백 정보를 획득하여 시각 아이템 관리부(250)로 전달할 수 있다. 여기서, 피드백 정보는 조합형 이미지 아이템의 요소별 평가 정보, 신고 정보, 사용율 정보 중 적어도 하나를 포함할 수 있다.

한편, 피드백 정보 가중치 적용부(235)는, 상기 피드백 정보로부터 획득되는 요소별 평가 정보 및 사용율 정보 중 적어도 하나에 기초하여, 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝을 처리할 수 있다.

그리고, 제2 머신 러닝 처리부(237)는 상기 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝 정보를 이용하여, 조정된 가중치 파라미터를 이용하여 상기 이미지 아이템 학습 모델의 제2 머신 러닝을 처리함으로써, 이미지 아이템 생성 학습 모델(232)을 갱신할 수 있다.

이에 따라, 사용자를 위한 이미지 아이템 생성 알고리즘이 더욱 정확하게 보정 및 학습됨으로써, 더욱 유용한 이미지 아이템의 생성이 가능해질 수 있으며, 본 발명의 실시 예에 따른 메시지 서비스의 사용율과 조합형 이미지 아이템의 이용율이 높아질 수 있는 효과가 있다.

도 4는 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성 방법을 설명하기 위한 흐름도이며, 도 5는 본 발명의 실시 예에 따른 조합형 이미지 아이템의 생성 예이다.

도 4 및 도 5를 참조하면, 조합형 이미지 아이템 생성부(230)는 조합 대상 제1 의사표현 이미지 및 제2 의사표현 이미지 아이템을 결정한다(S101).

그리고, 조합형 이미지 아이템 생성부(230)는, 제1 머신 러닝된 이미지 아이템 생성 학습 모델로부터, 상기 제1 이미지 및 제2 이미지 아이템에 대응하여 산출되는 조합 설정 정보를 획득한다(S103).

그리고, 조합 설정 정보에 따라, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지간 배치 타입을 결정한다(S105).

배치 타입은 예를 들어, 제1 이미지 아이템 및 제2 이미지 아이템의 배치 관계 정보를 포함할 수 있으며, 예를 들어 좌우배치 타입, 상하배치 타입, 대각선 배치 타입, 전후배치 타입 중 적어도 하나를 포함할 수 있고, 조합 설정 정보는 상기 배치 타입에 대응하여, 제1 이미지 및 제2 이미지간 거리 정보를 더 포함할 수 있다. 이에 따라 배치 타입 및 이미지간 거리가 사전 결정될 수 있다.

그리고, 배치 타입 및 이미지간 거리에 따라, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지의 그리드 위치를 결정한다(S107).

예를 들어, 조합형 이미지 아이템 생성부(230)는 제1 이미지의 중심점과 제2 이미지의 중심점에 기초하여, 조합형 이미지 아이템 그리드를 기준으로 하는 그리드 내 각각의 위치 정보로서, X좌표 및 Y좌표를 결정할 수 있다.

이후, 조합형 이미지 아이템 생성부(230)는, 조합 설정 정보에 따라 제1 이미지 및 제2 이미지의 스케일 비율을 결정한다(S109).

이미지 스케일 비율은 예를 들어 1:1, 1:3, 3:1 등의 제1 이미지 및 제2 이미지간 비율 정보를 포함할 수 있으며, 스케일 비율에 따라 조합형 이미지 아이템 내 각 이미지의 크기가 조절될 수 있다.

그리고, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지 아이템간 의미 표현 정보를 결합한다(S111).

의미 표현 정보는 예를 들어, '즐거움', '화남', '바쁨' 등의 각 이미지 아이템의 기분, 감정, 상태 등을 구체적으로 나타내는 키워드 정보 및 부가설명, 태그 등의 관련된 텍스트 및 이미지 등의 다양한 데이터 정보일 수 있으며, 조합형 이미지 아이템 생성부(230)는 조합 설정 정보에 따라, 두 텍스트 정보를 단순 결합하거나, 순서에 따라 조합하여 결합된 의미 표현 정보를 획득할 수 있다.

이후, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지 아이템간 분류 정보를 결합한다(S113).

분류 정보는 예를 들어, 이미지 아이템을 분류하기 위한 분류 키워드 정보를 포함할 수 있다. 분류 키워드 정보는 '기분', '상태', '사물' 등의 이미지 아이템의 속성을 나타내는 키워드 정보 및 부가설명, 태그 등의 관련된 텍스트 및 이미지 등의 다양한 데이터 정보를 포함할 수 있다.

그리고, 조합형 이미지 아이템 생성부(230)는 상기 S103~S113 단계에 의해 처리된 의사 표현 이미지 정보와, 결합된 의미 표현 정보 및 분류 정보를 이용하여, 조합형 의사 표현 이미지 아이템으로서 생성한다(S115).

생성된 조합형 의사 표현 의미지 아이템은 시각 아이템 관리부(250)에 의해 신규 등록되어 데이터베이스(240)에 저장될 수 있다.

한편, 메시지 인터페이스부(225)는 메시지 서비스를 통해 상기 조합형 의사 표현 이미지 아이템을 제공하며(S117), 시각 아이템 관리부(250)는 조합형 의사 표현 이미지 아이템에 대응하는 요소별 평가 정보 및 사용율 정보 피드백을 수신할 수 있다(S121).

이에 따라, 조합형 이미지 아이템 생성부(230)는 피드백 정보 가중치 적용부(235)를 통해 피드백 정보에 따른 학습 모델의 조합 설정 정보 가중치 튜닝을 수행할 수 있으며, 제2 머신 러닝 처리부(237)를 통해, 상기 튜닝된 조합 설정 정보를 적용하여 이미지 아이템 생성 학습 모델에 대응하는 제2 머신 러닝을 수행할 수 있다(S123).

이와 같은 제1 머신 러닝 및 제2 머신 러닝 기반의 학습 처리는 이미지 생성 및 피드백 정보 누적에 따라 반복적으로 처리되어, 순차적이고 점진적으로 유용한 이미지 아이템을 생성할 수 있도록 하는 이미지 아이템 생성 학습 모델을 구축할 수 있도록 한다.

도 5는 이와 같이 조합형 이미지 생성 아이템을 예시한 것으로, 제1 이미지와 제2 이미지 아이템은 기존 데이터베이스(240)에 포함된 초기 이미지일 수 있으며, 또한 이미 생성된 조합형 이미지 아이템 중 하나가 제1 이미지 또는 제2 이미지로 결정될 수도 있다.

도 5(A)에 도시된 바와 같이, 제1 이미지가 '얼굴'이미지이고, 제2 이미지가 '코' 이미지인 경우, 조합 설정 정보에 따라, 전면의 '코'가 후면의 '얼굴' 이미지 중심에 축소 배치되는 형태의 조합 이미지 아이템이 생성될 수 있다. 또한, 의미 표현 정보는 '코/얼굴'과 같이 결합되어 생성될 수 있다.

또한, 도 5(B)에 도시된 바와 같이, 제1 이미지가 '하트'이미지이고, 제2 이미지도 '하트' 이미지인 경우, 이에 매칭되는 조합 설정 정보는 대각 배치에 따라, 어느 하나를 축소 배치하는 형태의 조합 이미지 아이템이 생성될 수 있다. 또한, 의미 표현 정보는 '하트/하트'와 같이 결합되어 생성될 수 있다.

그리고, 도 5(C)에 도시된 바와 같이, 이미 생성된 조합 이미지로서, 하트 두개가 결합된 제2 이미지와, '얼굴'을 나타내는 제1 이미지가 조합될 수도 있다. 이 경우, 전면의 '두 하트'가 후면의 '얼굴' 이미지 상단에 축소 배치되는 형태의 조합 이미지 아이템이 생성될 수 있다. 의미 표현 정보는 '하트/하트/얼굴'와 같이 결합되어 생성될 수 있다.

도 6 내지 도 7은 본 발명의 실시 예에 따라 제공되는 메시지 인터페이스를 설명하기 위한 도면들이다.

도 6 내지 도 7에 도시된 바와 같이, 메시지 인터페이스부(225)는 사용자 단말(100)의 채팅 어플리케이션의 메시지 입력창에 수반하여, 하나 이상의 조합형 의사표현 이미지 아이템을 제공하고, 사용자 선택에 따라 메시지상에 입력되도록 처리할 수 있다.

이러한 처리를 위해, 메시지 인터페이스부(225)는 조합형 이미지 아이템을 사용자 단말(100)의 어플리케이션으로 주기적으로 사전 제공하거나, 데이터베이스(240)에 실시간 접속하여 실시간 갱신되는 조합형 이미지 아이템을 메시지 입력시 제공되도록 처리할 수도 있다.

또한, 메시지 인터페이스부(225)는 상기 메시지가 채팅 어플리케이션에 입력된 경우, 조합형 이미지 아이템이 포함된 메시지가 전송되도록 처리할 수 있으며, 조합형 이미지 아이템이 포함된 메시지가 전송된 경우, 사용자 단말(100)에 피드백을 요청할 수 있다.

여기서, 피드백 요청에는 조합형 이미지 아이템에 대응하는 조합 안내 정보가 함께 출력될 수 있으며, 사용자는 조합 안내 정보에 대한 평점 정보와, 요소별 피드백을 위한 의견 입력(opinion)을 통해, 제2 머신 러닝을 위한 피드백 정보를 입력할 수 있고, 메시지 인터페이스부(225)는 상기 평점 정보 및 피드백 정보와, 조합형 이미지 아이템의 사용율 정보를 수집하여, 시각 아이템 관리부(250)로 전달되도록 처리할 수 있다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 단말 장치에서 실행되기 위한 설치 데이터 형태로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다. 이에 따라, 사용자 단말(100)은 서버 또는 기기에 접속하여, 상기 설치 데이터를 다운로드할 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (7)

1. 메시지 서비스 제공을 위한 프로그램에 있어서,
   사용자 단말기로 메시지 인터페이스를 제공하며, 상기 메시지 인터페이스를 통해 송수신되는 메시지를 처리하되, 상기 인터페이스를 통해 상기 메시지에 포함 가능한 하나 이상의 의사 표현 이미지 아이템을 상기 사용자 단말기로 제공하는 기능;
   상기 하나 이상의 의사 표현 이미지 아이템을 저장하는 기능;
   상기 데이터베이스에 저장되는 하나 이상의 의사 표현 이미지 아이템을 요소 정보에 따라 분류 관리하는 기능; 및
   상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 머신 러닝을 처리하여, 의사 표현 이미지 아이템 학습 모델을 생성하고, 상기 학습 모델을 이용하여 상기 데이터베이스에 저장된 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택 조합한 조합형 이미지 아이템을 생성하는 기능을 포함하는
   조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.
   
2. 제1항에 있어서,
   상기 생성하는 기능은,
   상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 제1 머신 러닝을 처리하여, 초기 이미지 아이템 학습 모델을 생성하는 기능;
   상기 조합형 이미지 아이템에 대응하는 상기 피드백 정보로부터 획득되는 요소별 평가 정보 및 사용율 정보 중 적어도 하나에 기초하여, 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝을 처리하는 기능; 및
   상기 조합형 이미지 아이템과, 상기 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝 정보를 이용하여, 상기 이미지 아이템 학습 모델의 제2 머신 러닝을 처리하는 기능을 포함하는
   조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.
   
3. 제2항에 있어서,
   상기 조합 설정 정보는 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 요소간 결합 정보를 포함하여 이루어지는
   조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.
   
4. 제3항에 있어서,
   상기 요소간 결합 정보는, 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 이미지 배치 타입 정보, 이미지 그리드 위치 정보, 이미지 스케일 비율 정보, 의미 결합 정보, 키워드 결합 정보 중 적어도 하나를 포함하여 이루어지는
   조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.
   
5. 제2항에 있어서,
   상기 생성된 조합형 이미지 아이템은 상기 데이터베이스에 저장되어, 상기 제1 머신 러닝 처리에 회귀적으로 이용되는
   조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.
   
6. 제2항에 있어서,
   상기 생성된 조합형 이미지 아이템은 상기 데이터베이스에 저장되어, 상기 메시지 인터페이스를 통해 상기 사용자 단말기로 제공되는
   조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.
   
7. 제6항에 있어서,
   상기 시각 아이템 관리부는, 상기 사용자 단말기로부터 상기 생성된 조합형 이미지 아이템에 대응하는 피드백 정보를 수신하고, 피드백 정보에 대응하는 데이터베이스 갱신 처리를 수행하는
   조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.

Images