KR101791979B1 - 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 - Google Patents
오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 Download PDFInfo
- Publication number
- KR101791979B1 KR101791979B1 KR1020170048504A KR20170048504A KR101791979B1 KR 101791979 B1 KR101791979 B1 KR 101791979B1 KR 1020170048504 A KR1020170048504 A KR 1020170048504A KR 20170048504 A KR20170048504 A KR 20170048504A KR 101791979 B1 KR101791979 B1 KR 101791979B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- item
- instant
- terminal
- reproducible
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 230000000153 supplemental effect Effects 0.000 title 1
- 230000008569 process Effects 0.000 claims abstract description 53
- 150000001875 compounds Chemical class 0.000 claims description 114
- 239000002131 composite material Substances 0.000 claims description 75
- 230000008451 emotion Effects 0.000 claims description 59
- 238000004891 communication Methods 0.000 claims description 37
- 230000008921 facial expression Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000003058 natural language processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012559 user support system Methods 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001275954 Cortinarius caperatus Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- -1 generated Chemical class 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G06Q50/30—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명에 따르면, 오버레이 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 방법을 제공한다. (a) 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자의 단말을 통해 제공된 메신저의 UI를 이용하여 상기 제1 사용자의 단말로 하여금 즉석 재생가능 기초 아이템을 생성하거나 생성하기 시작하도록 지원하는 단계; 및 (b) (b1) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, (i) 상기 메신저 서버는, 상기 제1 사용자에 대한 메타데이터를 획득한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버는, 상기 제1 사용자에 대한 상기 메타데이터를 획득한 후, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저에 출력되도록 하거나, (iii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 제1 사용자에 대한 상기 메타데이터를 획득하도록 한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제1 프로세스, (b2) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하고, 상기 제1 사용자에 대한 상기 메타데이터가 획득되면, (i) 상기 메신저 서버는, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제2 프로세스, (b3) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 대한 상기 메타데이터가 획득되고, 상기 메타데이터를 참조로 하여 오버레이 아이템이 확정되고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 메신저 서버는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제3 프로세스, (b4) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 의해 입력된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 메신저 서버는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제4 프로세스 중 적어도 하나를 수행하는 단계를 포함하는 방법을 제공한다.
Description
본 발명은 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버에 관한 것으로, 보다 상세하게는 제1 사용자와 제2 사용자들 사이 메신저 서비스를 제공함에 있어서, 제1 사용자의 단말에 의해 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, 제1 사용자에 대한 메타데이터를 획득한 후, 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템이 생성되도록 하고 이를 사용하여 메신저 서비스를 보다 다채롭게 지원하는 것을 지원하는 방법 및 서버에 관한 것이다.
최근 스마트 기기가 발전함에 따라 전화 통화를 하지 않고도 스마트 기기를 통해 대화할 수 있는 다양한 메신저 서비스가 출시되고 있으며, 사용자들로부터 꾸준하게 사용되고 있는 중이다.
기존에는 텍스트 메시지를 주고 받을 수 있는 메신저 서비스가 대부분이었고, 이를 이용하는 사용자들은 텍스트로써 나타낼 수 없는 감정 전달에 어려움을 느껴왔었다.
또한, 사용자들간에 얼굴을 보면서 대화를 할 수 있는 영상 통화가 있으나 메신저 서비스처럼 용이하게 조작하여 자신의 영상을 전달할 수는 없었다. 그리고, 천편일률적인 메신저 서비스를 제공할뿐이므로 사용자의 흥미를 불러일으키지 못하였었다.
이에 본 발명자는 오버레이 아이템 또는 추가 아이템을 통해 사용자의 흥미를 자극할 수 있는 메신저 서비스를 제공하는 방법 및 그를 이용한 서버를 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
또한, 본 발명은 메신저 서비스에서 채팅창의 UI를 이용하여 사용자의 영상이 입력되도록 하되, 사용자의 영상 내의 사용자의 현재 감정을 확인하여 이에 따라 상기 감정에 적절한 레이어를 오버레이하여 상대방의 채팅창에 출력되도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 오버레이 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 방법에 있어서, (a) 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자의 단말을 통해 제공된 메신저의 UI를 이용하여 상기 제1 사용자의 단말로 하여금 즉석 재생가능 기초 아이템을 생성하거나 생성하기 시작하도록 지원하는 단계, 및 (b) (b1) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, (i) 상기 메신저 서버는, 상기 제1 사용자에 대한 메타데이터를 획득한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버는, 상기 제1 사용자에 대한 상기 메타데이터를 획득한 후, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저에 출력되도록 하거나, (iii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 제1 사용자에 대한 상기 메타데이터를 획득하도록 한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제1 프로세스, (b2) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하고, 상기 제1 사용자에 대한 상기 메타데이터가 획득되면, (i) 상기 메신저 서버는, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제2 프로세스, (b3) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 대한 상기 메타데이터가 획득되고, 상기 메타데이터를 참조로 하여 오버레이 아이템이 확정되고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 메신저 서버는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제3 프로세스, (b4) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 의해 입력된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 메신저 서버는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제4 프로세스 중 적어도 하나를 수행하는 단계를 포함하는 방법을 제공한다.
본 발명의 다른 태양에 따르면, 추가 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 방법에 있어서, (a) 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자가 즉석 재생가능 기초 아이템을 생성하고자 하는 의사가 감지되면, 상기 즉석 재생가능 기초 아이템이 생성되는 과정 중에 상기 추가 아이템이 재생되도록 하여, 상기 제1 사용자의 표현 또는 행동을 유도하는 단계 (b) 상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 재생되는 추가 아이템과 상기 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원하는 단계, 및 (c) 상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 단계를 포함하는 방법을 제공한다.
본 발명의 또 다른 태양에 따르면, 오버레이 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 메신저 서버에 있어서, 상기 제1 사용자의 단말을 통해 메신저의 UI를 제공하는 통신부, 및 상기 메신저의 상기 UI를 이용하여 상기 제1 사용자의 단말로 하여금 즉석 재생가능 기초 아이템을 생성하거나 생성하기 시작하도록 지원하는 프로세서를 포함하되, (a1) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, (i) 상기 프로세서는, 상기 통신부를 통해 상기 제1 사용자에 대한 메타데이터를 획득한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 통신부를 통해 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제1 사용자에 대한 상기 메타데이터를 획득한 후, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저에 출력되도록 하거나, (iii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 제1 사용자에 대한 상기 메타데이터를 획득하도록 한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제1 프로세스, (a2) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하고, 상기 제1 사용자에 대한 상기 메타데이터가 획득되면, (i) 상기 프로세서는, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 통신부를 통해 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제2 프로세스, (a3) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 대한 상기 메타데이터가 획득되고, 상기 메타데이터를 참조로 하여 오버레이 아이템이 확정되고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 프로세서는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 통신부를 통해 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제3 프로세스, (a4) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 의해 입력된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 프로세서는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제4 프로세스 중 적어도 하나를 수행하는 프로세서를 포함하는 서버를 제공한다.
본 발명의 또 다른 태양에 따르면, 추가 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 메신저 서버에 있어서, 상기 제1 사용자가 즉석 재생가능 기초 아이템을 생성하고자 하는 의사를 획득하는 통신부, 및 상기 의사가 감지되면, (i) 상기 즉석 재생가능 기초 아이템이 생성되는 과정 중에 상기 추가 아이템이 재생되도록 하여, 상기 제1 사용자의 표현 또는 행동을 유도하고, (ii) 상기 재생되는 추가 아이템과 상기 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원하고, (iii) 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 프로세서를 포함하는 서버를 제공한다.
본 발명에 의하면, 다음과 같은 효과가 있다.
본 발명은 메신저 서비스에서 채팅창의 UI를 이용하여 사용자의 영상이 입력되도록 하되, 사용자의 영상 내의 사용자의 현재 감정을 확인하여 이에 따라 상기 감정에 적절한 레이어를 오버레이하여 상대방의 채팅창에 출력되도록 함으로써, 기존의 메신저 서비스와는 완전하게 구별되고 사용자의 흥미를 끌 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 메신저 서버의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 메타데이터를 참조로 하여 결정된 오버레이 아이템이 오버레이된 즉석 재생가능 복합 아이템을 제2 사용자의 단말의 메신저에 출력하기까지의 개략적인 과정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 제1 사용자의 단말로부터 생성된 즉석 재생가능 기초 아이템이 제2 사용자의 단말에서 즉석 재생가능 복합 아이템으로 출력되기까지의 과정을 사용자의 단말의 UI를 통해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 데이터베이스에 사람의 감정 별로 각종 정보 및 오버레이 아이템이 저장된 것을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 제1 사용자에 의해 생성되기 시작한 즉석 재생가능 복합 아이템이 제2 사용자의 단말에서 재생되기까지의 구체적인 과정의 일례을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 제1 사용자의 단말로부터 생성된 즉석 재생가능 기초 아이템에 오버레이 아이템이 오버레이되어 제2 사용자의 단말에서 즉석 재생가능 복합 아이템으로 출력되기까지의 과정을 사용자의 단말의 UI를 통해 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따라 추가 아이템이 포함된 즉석 재생가능 복합 아이템을 제2 사용자의 단말의 메신저에 출력하기까지의 개략적인 과정을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 메타데이터를 참조로 하여 결정된 오버레이 아이템이 오버레이된 즉석 재생가능 복합 아이템을 제2 사용자의 단말의 메신저에 출력하기까지의 개략적인 과정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 제1 사용자의 단말로부터 생성된 즉석 재생가능 기초 아이템이 제2 사용자의 단말에서 즉석 재생가능 복합 아이템으로 출력되기까지의 과정을 사용자의 단말의 UI를 통해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 데이터베이스에 사람의 감정 별로 각종 정보 및 오버레이 아이템이 저장된 것을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 제1 사용자에 의해 생성되기 시작한 즉석 재생가능 복합 아이템이 제2 사용자의 단말에서 재생되기까지의 구체적인 과정의 일례을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 제1 사용자의 단말로부터 생성된 즉석 재생가능 기초 아이템에 오버레이 아이템이 오버레이되어 제2 사용자의 단말에서 즉석 재생가능 복합 아이템으로 출력되기까지의 과정을 사용자의 단말의 UI를 통해 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따라 추가 아이템이 포함된 즉석 재생가능 복합 아이템을 제2 사용자의 단말의 메신저에 출력하기까지의 개략적인 과정을 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 메신저 서버(100)의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 메신저 서버(100)는 통신부(110)와 프로세서(120)를 포함하고, 경우에 따라 도 1과는 달리 데이터베이스(400)도 포함할 수 있다. 또한, 통신부(110)는 제1 사용자의 단말(600) 및 제2 사용자의 단말(700)과 통신을 수행할 수 있다.
우선, 메신저 서버(100)의 통신부(110)는 다양한 통신 기술로 구현될 수 있다. 즉, 와이파이(WIFI), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), HSPA(High Speed Packet Access), 모바일 와이맥스(Mobile WiMAX), 와이브로(WiBro), LTE(Long Term Evolution), 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), NFC(Near Field Communication), 지그비(Zigbee), 무선랜 기술 등이 적용될 수 있다. 또한, 인터넷과 연결되어 서비스를 제공하는 경우 인터넷에서 정보전송을 위한 표준 프로토콜인 TCP/IP를 따를 수도 있다.
다음으로, 데이터베이스(400)는 메신저 서버(100)의 통신부(110)에 의해 접근이 가능하며, 프로세서(120)는 뒤에서 상세한 설명을 통하여 자세하게 알아보기로 한다. 또한, 도시되지는 않았지만, 제1 사용자의 단말(600) 및/또는 제2 사용자의 단말(700)이 직접 데이터베이스(400)에 접근할 수도 있을 것이다.
한편, 본 발명의 일 실시예에 따른 제1 사용자의 단말(600) 또는 제2 사용자의 단말(700)은 메신저 서버(100)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 제1 사용자의 단말(600) 또는 제2 사용자의 단말(700)로서 채택될 수 있다.
제1 사용자의 단말(600) 또는 제2 사용자의 단말(700)을 포함하는 사용자 단말에는 메신저 서버의 통신부(110)를 통해 배포되고 설치된 앱(610, 710)이 포함될 수 있으며, 상기 앱은 후술할 프로세서(120)와 같이 즉석 재생가능 기초 아이템을 생성하도록 지원하고, 상기 즉석 재생가능 기초 아이템에 결합될 수 있는 오버레이 아이템을 획득하도록 하여 즉석 재생가능 복합 아이템을 생성하도록 지원할 수 있다. 경우에 따라, 사용자의 단말에 포함된 앱(610, 710)은 메신저 서버(100)를 경유하지 않는 p2p 방식으로 사용자 간에 즉석 재생가능 기초 아이템을 생성하고 이를 통해 즉석 재생가능 복합 아이템이 생성되도록 지원할 수 있다.
참고로, 이하 설명 및 도면에서는 설명의 편의상 제1 사용자의 단말(600)에서 생성된 즉석 재생가능 기초 아이템을 이용하여, 제2 사용자의 단말(700)의 메신저에서 즉석 재생가능 복합 아이템이 출력되는 것을 나타내기 위해 프로세서(120)와 제1 사용자의 단말의 앱(610)을 중심으로 서술하였다. 참고로, p2p 방식일 경우에는 프로세서(120)는 관여하지 않고 제1 사용자의 단말의 앱(610)이 주로 동작하여 제2 사용자의 단말의 앱(710)과 인터랙션하는 것을 상정할 수 있을 것이다.
프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자의 단말(600)을 통해 제공된 메신저의 UI를 이용하여 제1 사용자의 단말(610)로 하여금 즉석 재생가능 기초 아이템을 생성하거나 생성하기 시작하도록 지원할 수 있다.
여기서, 즉석 재생가능 기초 아이템은 제1 사용자와 제2 사용자 사이의 채팅 중에 제공되는 소정의 UI를 사용하여 제작 가능하며, 이러한 즉석 재생가능 기초 아이템은 제1 사용자의 단말(600)의 카메라, 녹음기 등을 통해 획득된 영상 내지 음성파일로서, 제1 사용자가 나타나는 영상 또는 음성파일일 수 있다. 다만, 경우에 따라 제1 사용자가 아닌 사람이 나타나거나, 사람이 나타나지 않는 영상 또는 음성파일일 수도 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자의 단말(600)을 통해 제공된 메신저의 UI에서 직접 즉석 재생가능 기초 아이템을 생성하거나 생성하기 시작하도록 지원할 뿐 아니라, 메신저의 UI를 통해 접근할 수 있는 다른 앱 또는 다른 기기에서 즉석 재생가능 기초 아이템을 생성하거나 생성하기 시작하도록 지원할 수도 있다.
도 2는 본 발명의 일 실시예에 따라 메타데이터를 참조로 하여 획득된 오버레이 아이템이 오버레이된 즉석 재생가능 복합 아이템을 제2 사용자의 단말의 메신저에 출력하기까지의 개략적인 과정을 나타낸 도면이다.
참고로, 도 2는 후술할 제1, 2, 3 프로세스를 포함할 뿐, 제4 프로세스를 포함하고 있지는 않다. 참고로, 제1, 2, 3 프로세스는 메타데이터를 참조로 하여 오버레이 아이템을 자동으로 획득하고 이를 통해 즉석 재생가능 복합 아이템을 생성할 수 있는 프로세스이고, 제4 프로세스는 동영상 녹화 중에 사용자가 화면 등을 통해 입력되는 사용자 입력 정보를 결합하여 즉석 재생가능 복합 아이템을 생성할 수 있는 프로세스이다.
도 2를 참조하여 개략적으로 상기 과정을 살펴보면, 제1 사용자의 단말(600)에 의해 즉석 재생가능 기초 아이템이 생성(S210)되고, 상기 즉석 재생가능 기초 아이템, 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보 중 적어도 하나를 참조로 하여 메타데이터가 획득(S220)될 수 있고, 상기 메타데이터를 참조로 하여 메타데이터를 반영한 오버레이 아이템을 확정(S230)하여 이를 즉석 재생가능 기초 아이템에 오버레이함으로써 즉석 재생가능 복합 아이템이 생성(S240)될 수 있다. 그리고, 상기 생성된 즉석 재생가능 복합 아이템은 제2 사용자의 단말의 메신저에서 출력(S250)될 수 있다.
구체적으로는, 이하에서 즉석 재생가능 복합 아이템이 제2 사용자의 단말(700)의 메신저에서 출력되기까지 상세한 과정을 몇 가지 경우로 나누어 살펴보되, 프로세서(120)뿐만 아니라, 제2 사용자의 단말(700)에서도 즉석 재생가능 복합 아이템이 생성될 수 있으므로 이를 고려하여 서술하겠다.
1. 제1 사용자의 단말(600)에 의해 즉석 재생가능 기초 아이템만 생성되거나 생성되기 시작한 경우(제1 프로세스)
(1) 프로세서(120)가 메타데이터를 획득하고, 오버레이 아이템을 오버레이하는 경우
프로세서(120)는, 통신부(110)를 통해 제1 사용자에 대한 메타데이터를 획득한 후. 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하여 제2 사용자의 단말(700)의 메신저에 출력되도록 제공할 수 있다.
여기서, 메타데이터는 (i) 즉석 재생가능 기초 아이템으로부터 확인할 수 있는 제1 사용자의 감정 정보를 나타내거나, (2) 즉석 재생가능 기초 아이템, 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여 식별가능한 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 하나를 나타낼 수 있으며, 이와 관련해서는 뒤에서 상세히 서술하겠다. 또한, 오버레이 아이템은 제1 사용자에 대응되는 가상의 캐릭터, 3D 효과, 화상 처리, 효과음, 자막, 이모티콘, 낙서 중 적어도 일부를 포함할 수 있다.
상기 오버레이 아이템은, 감정 정보 또는 신상 정보를 나타내는 메타데이터와 대응되어 결정되는데, 가령, '기쁨'을 나타내는 메타데이터의 경우 오버레이 아이템은 '눈웃음' 표시의 이모티콘 또는 '좋아좋아'라는 자막을 포함할 수 있다.
또한, 프로세서(120)는 획득한 메타데이터를 반영한 오버레이 아이템을 확정하고, 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하여 제2 사용자의 단말(700)의 메신저에서 출력되도록 제공할 수 있다.
(2) 프로세서(120)가 메타데이터를 획득하고, 제2 사용자의 단말(700)로 하여금 오버레이 아이템을 오버레이하도록 지원하는 경우
프로세서(120)는, 통신부(110)를 통해 제1 사용자에 대한 메타데이터를 획득한 후, 제2 사용자의 단말(700)로 하여금 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하도록 지원하여 제2 사용자의 단말(700)의 메신저에 출력되도록 할 수 있다.
구체적으로, 프로세서(120)는 즉석 재생가능 기초 아이템, 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여 제1 사용자에 대한 메타데이터를 획득할 수 있다.
이후, 제2 사용자의 단말의 앱(710)은, 획득된 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하여, 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저에서 출력할 수 있다.
(3) 제2 사용자의 단말(700)에서 메타데이터를 획득하고, 오버레이 아이템을 오버레이하는 경우
메신저 서버(100)의 통신부(110)를 통해 배포된 제1 사용자 단말의 앱(610)은, 제2 사용자의 단말(700)로 하여금 제1 사용자에 대한 메타데이터를 획득하도록 한 후, 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하도록 지원하여 제2 사용자의 단말(700)의 메신저를 통해 출력되도록 할 수 있다.
구체적으로, 제2 사용자의 단말의 앱(710)은, 메신저 서버(100)의 서포트없이 즉석 재생가능 기초 아이템, 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여 제1 사용자에 대한 메타데이터를 획득할 수 있다.
이후, 제2 사용자의 단말의 앱(710)은, 메타데이터를 참조로 하여 오버레이 아이템을 확정하고, 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하며, 상기 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저를 통해 출력할 수 있다.
2. 제1 사용자의 단말(600)에 의해 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하고 제1 사용자에 대한 메타데이터가 획득된 경우(제2 프로세스)
(1) 프로세서(120)가 오버레이 아이템을 오버레이하는 경우
메신저 서버(100)의 프로세서(120)는, 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하여 제2 사용자의 단말(700)의 메신저에 출력되도록 제공할 수 있다.
구체적으로, 프로세서(120)는, 제1 사용자의 단말(600)에 의해 획득된 메타데이터를 참조하여 오버레이 아이템을 확정하고, 이를 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성할 수 있고, 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저에 출력되도록 제공할 수 있다.
(2) 제2 사용자의 단말(700)에서 오버레이 아이템을 오버레이하는 경우
메신저 서버(100)의 통신부(110)를 통해 배포된 제1 사용자의 단말의 앱(610)은, 제2 사용자의 단말(700)로 하여금 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하도록 지원하여 제2 사용자의 단말의 메신저를 통해 출력되도록 제공할 수 있다.
구체적으로, 제2 사용자의 단말의 앱(710)은, 메신저 서버(100)의 서포트없이 제1 사용자의 단말(600)로부터 획득한 메타데이터를 참조로 하여 오버레이 아이템을 확정하고, 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하여, 즉석 재생가능 복합 아이템을 제2 사용자의 단말(710)의 메신저를 통해 출력할 수 있다.
3. 제1 사용자의 단말(600)에 의해, 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하고, 제1 사용자에 대한 메타데이터가 획득되며, 상기
메타데이
터를 참조로 하여 오버레이 아이템이 확정되고 이를 즉석 재생가능 기초 아이템에
오버레이하여
즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하는 경우(제3 프로세스)
(1) 메신저 서버(100)의 프로세서(120)는, 메신저 서버(100)의 통신부(110)를 통해 생성된 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저에 출력되도록 제공할 수 있다.
(2) 메신저 서버(100)의 통신부(110)를 통해 배포된 제1 사용자의 단말의 앱(610)은, 메신저 서버(100)의 서포트없이 제2 사용자의 단말(700)로 하여금 생성된 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저를 통해 출력되도록 지원할 수 있다.
4. 제1 사용자의 단말(600)에 의해, 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작할 때, 제1 사용자에 의해 수동으로 입력된 오버레이 아이템을 즉석 재생가능 기초 아이템에
오버레이하여
즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하는 경우(제4 프로세스)
전술한 제1, 2, 3 프로세스와는 달리, 제4 프로세스에서는 메타데이터를 참조하여 오버레이 아이템을 획득하는 것이 아니라 제1 사용자의 입력에 의해 오버레이 아이템을 획득하고 이를 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템을 생성하는 프로세스를 의미할 수 있다.
그 후, 프로세서(120)는, 통신부(110)를 통해 생성된 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저에 출력되도록 제공할 수 있다.
또한, 메신저 서버(100)의 통신부(110)를 통해 배포된 제1 사용자의 단말의 앱(610)은, 메신저 서버(100)의 서포트없이 제2 사용자의 단말(700)로 하여금 생성된 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저를 통해 출력되도록 지원할 수 있다.
제4 프로세스에 대해서는 추후 도 6(a) 내지 도 6(e)를 참조로 하여 추후 더 자세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따라 제1 사용자의 단말(600)로부터 생성된 즉석 재생가능 기초 아이템이 제2 사용자의 단말(700)에서 즉석 재생가능 복합 아이템으로 출력되기까지의 과정을 사용자의 단말의 UI를 통해 나타낸 도면이다.
참고로, 제1 사용자의 단말(600)에 제공된 UI에는 대화창(310), 입력창(320)이 존재하고, 입력창(320)의 디스플레이 박스(330)를 통해 제1 사용자는 생성되는 즉석 재생가능 기초 아이템을 확인할 수 있다.
이하에서는 도 3(a) 내지 도 3(e)를 참조로 구체적으로 설명한다.
도 3(a)는 제1 사용자의 단말(600)의 메신저에서 즉석 재생가능 기초 아이템을 생성하기 위해 녹화버튼(340)을 누르기 전의 모습을 나타낸다. 제1 사용자가 녹화버튼(340)을 누르면, 도 3(b)와 같이 디스플레이 박스(330)에는 제1 사용자의 모습이 나타나고 녹화 중이라는 글귀가 나타날 수 있다. 녹화가 완료되면, 도 3(c)에서 볼 수 있듯이, 즉석 재생가능 기초 아이템을 나타내는 썸네일 형태가 디스플레이 박스(330)에 나타난다. 그리고, 제1 사용자는 전송 버튼(350)을 누름으로써 즉석 재생가능 기초 아이템으로부터 생성된 즉석 재생가능 복합 아이템이 제2 사용자의 단말(700)의 메신저에서 출력되도록 할 수 있다.
도 3(d)는 제2 사용자의 단말(700)의 메신저에서 대화창(310)에 즉석 재생가능 복합 아이템이 썸네일(360)로서 출력된 모습을 나타내며, 제2 사용자는 썸네일을 선택함으로써 상기 즉석 재생가능 복합 아이템을 재생시킬 수 있다. 오버레이 아이템이 오버레이된 즉석 재생가능 복합 아이템이 재생되는 모습은 도 3(e)에서 확인할 수 있다.
한편, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, (i) 즉석 재생가능 기초 아이템에 포함된 표정 또는 얼굴을 참조하거나 (ii) 즉석 재생가능 기초 아이템에 포함된 목소리를 자연어처리 및 형태소분석 기술을 통해 분석하여, 상기 제1 사용자의 감정 정보를 상기 메타데이터로서 획득하도록 지원할 수 있다.
이는, 사람의 표정, 얼굴, 목소리의 변화를 통해 상기 사람이 슬픈지, 기쁜지, 화가 났는지 등 감정을 일반적으로 확인할 수 있고, 특히, 목소리를 자연어처리 및 형태소분석 기술을 통해 감정을 나타내는 특정 단어가 사용되었는지 등을 분석함으로써 감정을 보다 세밀하게 확인할 수 있기 때문이다.
참고로, 즉석 재생가능 기초 아이템은 제1 사용자가 제2 사용자에게 전달하고자 하는 영상 또는 음성파일로서, 제1 사용자의 표정, 얼굴, 목소리 등을 포함하고 있으므로 제1 사용자의 감정 정보를 나타낼 수 있고, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 이를 메타데이터로서 획득하도록 지원할 수 있다.
따라서, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템이 생성되도록 지원할 수 있다.
도 4는 본 발명의 일 실시예에 따라 데이터베이스(400)에 사람의 감정 별로 각종 정보 및 오버레이 아이템이 저장된 것을 나타낸 도면이다.
프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 소정의 데이터베이스(400)에 접근 가능하며, 상기 데이터베이스(400)에는, 사람의 감정에 따라 결정되는 복수 개의 카테고리가 존재하고, 상기 카테고리별로 해당 감정을 나타내는 소정 이미지의 특징점 정보 및 딕셔너리 정보 중 적어도 일부가 포함될 수 있다.
도 4를 참조하면, 사람의 감정에 따라 복수 개의 감정 카테고리가 존재하고, 데이터베이스(400)에 각각의 감정에 대한 메타데이터로서 존재할 수 있다. 도 4에서 참조할 수 있듯이, 사람의 감정은 기쁨, 슬픔 등으로 나타날 수 있고, 각각의 감정 카테고리에는 해당 감정을 나타내는 소정 이미지의 특징점 정보 및 딕셔너리 정보 중 일부가 포함될 수 있다.
참고로, 소정 이미지의 특징점 정보에는 특정 감정을 표현하는 사용자의 눈, 코, 입 등 공간 특징의 위치 정보 또는 형상 정보가 포함되어 있고, 딕셔너리 정보에는 특정 감정을 나타내는 단어가 포함되어 있다.
도 4를 참조하면, 데이터베이스(400)는 기쁨의 감정 카테고리(410)를 포함하고 있으며, 상기 기쁨의 감정 카테고리(410)에는 사용자의 눈이 위로 볼록한 포물선 모양을 이루고 입의 양 꼬리가 올라가는 스마일 형상을 나타내는 특징점 정보, '행복', '최고', '야호' 등의 단어로 구성된 딕셔너리 정보가 포함될 수 있다. 또한, 기쁨의 감정 카테고리(410)에는 기쁨을 표현하는 스마일, 웃는 표정의 이모티콘으로 구성된 오버레이 아이템이 포함될 수 있다. 물론, 오버레이 아이템이 반드시 이모티콘일 필요는 없으며 기쁨을 나타내는 텍스트 형태의 자막으로 오버레이될 수도 있을 것이다.
마찬가지로, 데이터베이스(400)는 슬픔의 감정 카테고리(420)를 포함하고 있으며, 상기 슬픔의 감정 카테고리(420)에는 사용자의 눈이 쳐지고 입의 양 꼬리가 내려가는 형상을 나타내는 특징점 정보, '울고싶다', '슬프다' 등의 단어로 구성된 딕셔너리 정보, 슬픔을 표현하는 시무룩 표정, 우는 표정의 이모티콘으로 구성된 오버레이 아이템이 포함될 수 있다.
또한, 이미지의 특징점 정보, 딕셔너리 정보뿐만 아니라, 목소리 자체의 크기, 높낮이 등을 통해서도 사람의 감정 카테고리가 정해질 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, (i) 즉석 재생가능 기초 아이템에 포함된 표정 또는 얼굴로부터 추출된 특징점 정보와 데이터베이스에 저장된 카테고리별 특징점 정보를 비교하여 해당 카테고리를 결정하거나 결정하도록 지원하는 프로세스 및 (ii) 즉석 재생가능 기초 아이템에 포함된 목소리로부터 추출된 키워드를 딕셔너리 정보와 비교하여 해당 카테고리를 결정하거나 결정하도록 지원하는 프로세스 중 적어도 하나를 수행하여, 메타데이터가 획득되도록 지원할 수 있다.
구체적으로, 제1 사용자의 단말(600)에 생성된 즉석 재생가능 기초 아이템으로부터 추출한 특징점 정보가 '눈이 위로 볼록한 포물선 모양을 이루고 있다'고 하면, 데이터베이스(400)에 포함된 기쁨의 감정 카테고리(410)와 대응되어, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자가 기쁜 상태임을 인지하고 '웃는 표정의 이모티콘'이 포함된 오버레이 아이템을 상기 재생가능 기초 아이템에 오버레이시킬 수 있다.
또한, 제1 사용자의 단말(600)에 생성된 즉석 재생가능 기초 아이템으로부터 추출한 키워드가 '울고 싶다'이면, 데이터베이스(400)에 포함된 슬픔의 감정 카테고리(420)와 대응되어, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자가 슬픈 상태임을 인지하고 '우는 표정의 이모티콘'이 포함된 오버레이 아이템을 상기 재생가능 기초 아이템에 오버레이시킬 수 있다.
한편, 데이터베이스(400)에는 도면에는 도시하지 않았지만 카테고리별로 해당 감정의 심한 정도에 따른 감정 레벨이 구분되어 있고, 감정 레벨 별로 해당 감정의 심한 정도를 나타내는 소정 이미지의 특징점 정보 및 딕셔너리 정보 중 적어도 일부가 구분되어 기록될 수 있다.
구체적으로, 감정의 카테고리 별로 레벨이 나뉘어져 있으며, 각 레벨에는 소정 이미지의 특징점 정보 및 딕셔너리 정보를 포함하고 있다. 이는, 사람의 화난 정도에 따라서도 눈, 코, 입 등의 위치나 형상이 달라질 수 있고, 사용하는 단어도 달라질 수 있기 때문에 이를 나타내기 위함이다.
예를 들면, 기쁨을 나타내는 것도 입의 양 꼬리가 약간 올라가는 '미소'보다 입의 양 꼬리가 많이 올라가는 '함박 웃음'이 기쁜 정도가 더 크다고 볼 수 있으므로, 데이터베이스(400) 상 기쁨을 나타내는 카테고리에서, '미소'와 대응되는 특징점 정보는 낮은 레벨에 위치시키고, '함박 웃음'과 대응되는 특징점 정보는 높은 레벨에 위치시킬 수 있을 것이다.
또한, 미안할 때 사용할 수 있는 단어 중 단순 '미안'보다 '정말 미안해'가 미안함이 더 느껴지는 단어로 보이므로 미안함을 나타내는 카테고리에서 레벨을 달리하여 위치시킬 수 있다.
한편, 이미지의 특징점 정보, 딕셔너리 정보뿐만 아니라, 목소리 자체의 크기, 높낮이 등을 통해서도 특정 감정 카테고리의 레벨이 정해질 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, (i) 즉석 재생가능 기초 아이템에 포함된 표정 또는 얼굴로부터 추출된 특징점 정보와 데이터베이스(400)에 저장된 카테고리마다 구분되어 있는 감정 레벨 별 특징점 정보를 비교하여 해당 카테고리 및 이에 대한 감정 레벨을 결정하거나 결정하도록 지원하는 프로세스 및 (ii) 즉석 재생가능 기초 아이템에 포함된 상기 목소리로부터 추출된 키워드를 딕셔너리 정보와 비교하여 해당 카테고리 및 이에 대한 감정 레벨을 결정하거나 결정하도록 지원하는 프로세스 중 적어도 하나를 결정하거나 결정하도록 지원하여, 메타데이터가 획득되도록 지원할 수 있다.
구체적으로, 제1 사용자의 단말(600)에 생성된 즉석 재생가능 기초 아이템으로부터 추출한 특징점 정보가 입의 양 꼬리가 약간 올라가는 '미소'라고 하면, 데이터베이스(400)에 포함된 기쁨의 감정 카테고리에서 낮은 레벨과 대응되어, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자가 약간 기쁜 상태임을 인지하고 '미소 짓는 이모티콘'이 포함된 오버레이 아이템을 상기 재생가능 기초 아이템에 오버레이시킬 수 있다.
또한, 제1 사용자의 단말(600)에 생성된 즉석 재생가능 기초 아이템으로부터 추출한 키워드가 '정말 미안해'이면, 데이터베이스(400)에 포함된 미안함의 감정 카테고리 중 높은 레벨과 대응되어, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자가 매우 미안함을 느끼는 상태임을 인지하고 '무릎 꿇고 비는 이모티콘'이 포함된 오버레이 아이템을 상기 재생가능 기초 아이템에 오버레이시킬 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 즉석 재생가능 기초 아이템에 포함된 제1 사용자의 목소리, 몸, 얼굴, 머리카락, 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여, 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 하나를 식별하고, 이로부터 메타데이터가 획득되도록 지원할 수 있다. 이는, 제1 사용자가 60대 남성인지, 20대 여성인지에 따라 오버레이될 오버레이 아이템이 달라질 수 있기 때문이다.
여기서, 프로필 정보는 앱에 등록된 제1 사용자에 대한 정보이고, 제1 사용자의 단말정보로부터 획득 가능한 정보는 제1 사용자의 단말(600)과 연계된 통신회사 또는 제1 사용자의 단말(600) 등으로부터 획득 가능한 제1 사용자에 대한 정보일 수 있다. 또한, 제1 사용자가 이용하는 SNS로부터 얻을 수 잇는 정보도 제1 사용자의 단말정보로부터 획득 가능한 정보일 수 있다.
즉, 제1 사용자의 목소리, 몸, 얼굴, 머리카락으로부터 제1 사용자의 성별, 나이, 거주 지역, 국가 등을 어느 정도 식별할 수 있고, 앱에 등록된 제1 사용자의 프로필 정보 또는 제1 사용자의 단말을 이용하여 획득 가능한 정보로부터도 제1 사용자의 성별, 나이, 거주 지역, 국가 등을 어느 정도 식별할 수 있다.
따라서, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 식별된 상기 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 어느 하나를 나타내는 메타데이터가 획득되도록 지원하고, 상기 메타데이터를 참조로 하여 확정된 오버레이 아이템을 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템이 생성되도록 지원할 수 있다.
결국, 제1 사용자가 20대 여성의 경우 '하트' 모양의 이모티콘을 포함하는 오버레이 아이템이 오버레이 될 수 있고, 제1 사용자가 60대 남성의 경우 별도의 꾸밈없이 '검은 큰 글씨' 자막을 포함하는 오버레이 아이템이 오버레이될 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자의 단말(600)에 의해 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, 즉석 재생가능 기초 아이템으로부터 추출된 메타데이터 또는 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득한 메타데이터를 참조로 하여 오버레이 아이템으로 사용될 후보군 정보를 제1 사용자에게 추천하여 제1 사용자로 하여금 선택하도록 지원할 수 있다.
즉, (i) 제1 사용자에 의해 즉석 재생가능 기초 아이템이 생성된 후, 이로부터 획득될 수 있는 제1 사용자의 감정 정보, 제1 사용자의 성별, 나이, 거주 지역, 국가 등을 나타내는 신상 정보 또는 (ii) 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득될 수 있는 제1 사용자의 성별, 나이, 거주 지역, 국가 등을 나타내는 신상 정보에 대한 메타데이터를 참조로 하여 오버레이 아이템으로 사용될 후보군 정보를 제1 사용자에게 추천할 수 있다.
예를 들면, 경상도에 사는 20대 여자인 제1 사용자에게는 하트 이모티콘, 경상도 사투리 자막, 이쁜 연예인 캐릭터 등을 포함하는 오버레이 아이템이 후보로 제1 사용자에게 추천될 수 있다.
또한, 프로세서(120), 제1 사용자 및 제2 사용자의 단말의 앱(610, 710)은, 즉석 재생가능 기초 아이템으로부터 추출된 단서 정보 또는 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득한 단서 정보 중 적어도 일부가 제1 사용자 또는 제2 사용자가 기설정한 조건에 부합되고 있음이 감지되면, 기설정한 조건에 부합되는 특정 단서 정보를 메타데이터로 결정하고, 메타데이터를 참조로 하여 확정된 오버레이 아이템을 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템이 생성되도록 지원할 수 있다.
여기서, 즉석 재생가능 기초 아이템으로부터 추출된 단서 정보란 즉석 재생가능 기초 아이템으로부터 획득가능한 이미지의 특징점 정보 내지 딕셔너리 정보이며, 제1 사용자의 프로필 정보 또는 제1 사용자의 단말 정보로부터 획득한 단서 정보는 제1 사용자의 성별, 나이 등을 포함하는 신상정보에 해당할 수 있다.
따라서, 이를 고려할 때, 제1 사용자는 생성한 즉석 재생가능 기초 아이템으로부터 획득한 단서 정보 중 '사랑해'라는 키워드가 있으면, 즉석 재생가능 기초 아이템에 하트 이모티콘이 오버레이된 즉석 재생가능 복합 아이템이 제2 사용자의 단말(700)의 메신저에 출력되게 설정할 수 있고, 제2 사용자는 제1 사용자의 프로필 정보가 과거 자신을 스토킹했던 위험인물이라고 판단되면, 제1 사용자의 단말(600)에서 생성된 즉석 재생가능 기초 아이템에 '위험'이라는 자막이 오버레이된 즉석 재생가능 복합 아이템이 제2 사용자의 단말(700)의 메신저에 출력되게 설정할 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 즉석 재생가능 기초 아이템의 시간의 흐름에 따라 복수 개의 감정 정보가 나타나는 것으로 감지하면, 복수 개의 감정 정보에 해당되는 시간 구간별로 메타데이터를 독립적으로 획득하고, 메타데이터를 참조로 하여 확정된 오버레이 아이템을 즉석 재생가능 기초 아이템에 오버레이하여 즉석 재생가능 복합 아이템이 생성되도록 지원할 수 있다.
따라서, 하나의 즉석 재생가능 기초 아이템에서도 초기 구간에서는 눈물을 흘리는 '슬픔'의 특징점 정보가 획득되나, 후반 구간에서는 미소를 짓는 '기쁨'의 특징점 정보가 획득될 수 있고, 이에 따라 각각의 구간에서는 적절한 오버레이 아이템을 나타내어 감정의 변화를 효과적으로 보여줄 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자의 단말(600)에 의해 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, 즉석 재생가능 기초 아이템에 대응되는 썸네일을 디스플레이하여 제공하고, 제1 사용자에 의해 썸네일이 특정 영역으로 드래그 되거나 선택되었음이 감지되면, 즉석 재생가능 기초 아이템에 대응되는 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저를 통해 출력되도록 지원할 수 있다.
즉, 제1 사용자의 단말(600)의 메신저에는 즉석 재생가능 기초 아이템이 생성되면 이에 대응되는 썸네일이 디스플레이되고, 제1 사용자가 입력, 터치 등의 선택을 하거나, 특정 영역으로 드래그하는 경우, 상기 즉석 재생가능 기초 아이템으로부터 생성된 즉석 재생가능 복합 아이템은 제2 사용자의 단말(700)의 메신저에 출력될 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 즉석 재생가능 기초 아이템에 포함된 제1 사용자의 얼굴로부터 추출된 특징점의 위치를 식별하여 오버레이 아이템의 오버레이될 위치를 결정할 수 있다.
구체적으로, 즉석 재생가능 기초 아이템의 제1 사용자의 웃는 얼굴이 왼쪽으로 향하고 입이 벌려져 있다고 할 때, 웃음을 나타내는 자막인 '하하하'를 오버레이하기 위해서는, 제1 사용자의 입의 특징점 정보를 고려하고 '하하하' 자막은 상기 입에서 왼쪽 위치에 위치될 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 즉석 재생가능 복합 아이템을 생성하여 제2 사용자의 단말(700)의 메신저에 출력되도록 제공함에 있어서, 즉석 재생가능 복합 아이템은, 썸네일 형태로 제2 사용자의 단말(700)의 메신저의 창에 출력된 후 제2 사용자의 선택이 감지될 때 재생되도록 지원하거나, 제2 사용자의 단말(700)의 메신저의 창에 출력되면서 바로 재생되도록 지원할 수 있다.
도 5는 본 발명의 일 실시예에 따라 제1 사용자의 단말(600)에 의해 생성되기 시작한 즉석 재생가능 복합 아이템이 제2 사용자의 단말(700)에서 재생되기까지 구체적인 과정을 나타낸 도면이다.
참고로, 도 5는 전술한 제4 프로세스를 중점적으로 고려하여 나타내었고, 메신저 서버(100)가 직접적으로 개입하는 것으로 상정하였으며, 도 5에 포함된 "녹화된 메시지"(S514 등 참조)는 앞서 설명한 즉석 재생가능 복합 아이템에 대응되는 개념일 수 있다.
우선, 제1 사용자의 단말(600)에서는 녹화 시작 버튼을 클릭(S501)하여 즉석 재생가능 기초 아이템이 녹화되기 시작하며(S502), 전술한 오버레이 아이템이 오버레이되면서 즉석 재생가능 복합 아이템이 생성완료, 즉 녹화완료(S503)될 수 있다. 완료된 즉석 재생가능 복합 아이템은 상기 제1 사용자의 단말(600)의 제2 영역(630)에 썸네일로서 리스트에 추가될 수 있다(S504). 참고로, 상기 추가되는 과정은 추후 설명할 도 6(d)에서와 같이 제2 영역(630)에서 원 모양이 회전하는 모습으로 나타낼 수도 있다.
제1 사용자의 단말(600)에서 즉석 재생가능 복합 아이템이 생성되기 시작하면, 메신저 서버(100)에서는 제1 사용자의 단말(600)로부터 메시지, 즉 즉석 재생가능 복합 아이템을 전송 받고 데이터베이스(400)에 저장을 시작(S505)할 수 있다. 제2 사용자의 단말(700)에서 앱(710)을 실행 중인지 여부를 판단(S506)하여 실행하지 않고 있다면 제2 사용자에게 알람을 전송(S507)하고, 실행 중이라면 즉석 재생가능 복합 아이템을 전송(S509)할 수 있다.
앱(710)이 실행되고 있지 않아 제2 사용자의 단말(700)에서 알람을 받은 경우, 이를 통해 제2 사용자는 앱(710)을 실행하고 제1 사용자와의 대화방에 입장 후 즉석 재생가능 복합 아이템을 재생(S508)할 수 있다.
다시, 앱(710)이 실행 중인 경우로 돌아와서 설명하면, 제2 사용자의 단말(700)에서는 제1 사용자와의 대화방에 입장 중인지 여부를 판단(S510)하고, 이 때 제2 사용자가 제1 사용자와의 대화방에 위치하지 않는다면, 대화방 리스트에 뱃지를 제공(S511)하여 제2 사용자로 하여금 제1 사용자의 메시지를 인식하게끔 할 수 있다. 또한, 제2 사용자에게 알람을 제공하여 제1 사용자의 메시지를 인식하게끔 할 수도 있다. 반면에, 제2 사용자가 제1 사용자와의 대화방에 위치한다면 제1 사용자가 실시간으로 메시지를 전송하고 있는지 여부를 판단(S512)할 수 있다.
제1 사용자가 실시간으로 메시지를 전송하였다면 제2 사용자의 단말(700)의 제1 영역(720)에서는 Live를 표기 후에 즉석 재생가능 복합 아이템을 재생하고(S513), 제1 사용자가 전송한 메시지가 실시간이 아니라면, 녹화된 메시지인 기존의 저장된 즉석 재생가능 복합 아이템을 제2 사용자의 제1 영역(720)에서 재생할 수 있다(S514).
도 6은 본 발명의 일 실시예에 따라 제1 사용자의 단말(600)로부터 생성된 즉석 재생가능 기초 아이템에 오버레이 아이템이 오버레이되어 제2 사용자의 단말(700)에서 즉석 재생가능 복합 아이템으로 출력되기까지의 과정을 사용자의 단말의 UI를 통해 나타낸 도면이다.
참조로, 도 6의 채팅 화면은 본 발명의 일 실시예에 따른 것이나, 도 3의 채팅 화면과는 서로 다른 UI 적인 특징을 가지고 있음을 밝혀둔다.
메신저 서비스가 제공되는 제1 사용자 또는 상기 제2 사용자의 단말(600, 700) 상 화면에는 제1 영역(620, 720), 제2 영역(630, 730)이 포함될 수 있다.
상기 제1 영역(620)은 (i) 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템을 생성하는 제1 모드, (ii) 즉석 재생가능 복합 아이템을 재생하는 제2 모드, (iii) 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템을 생성하기 전 프리뷰 화면을 제공하는 제3 모드 중 적어도 어느 하나의 모드를 디스플레이할 수 있다.
여기서, 제1 모드는 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템을 생성하는 모드로서, 즉, 제1 사용자는 사용자 단말(600)의 카메라를 이용하여 즉석 재생가능 기초 아이템을 녹화하고, 오버레이 아이템을 수동으로 입력하여 즉석 재생가능 복합 아이템을 생성할 수 있다.
또한, 경우에 따라 도 6의 UI를 제1 내지 제3 프로세스에 적용한다고 가정하면, 즉석 재생가능 기초 아이템으로부터 획득한 메타데이터를 참조로 하여 확정된 오버레이 아이템이 상기 즉석 재생가능 기초 아이템에 오버레이되어 즉석 재생가능 복합 아이템이 생성될 수도 있다.
제2 모드는, 생성된 즉석 재생가능 복합 아이템을 재생하는 모드로서, 즉, 제1 사용자, 제2 사용자의 단말(600, 700)에서 즉석 재생가능 복합 아이템을 재생하여 제1 영역(620, 720)에서 디스플레이될 수 있다.
제3 모드는, 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템을 생성하기 전 프리뷰 화면을 제공하는 모드로서, 즉, 제1 사용자가 녹화를 시작하기 전 제1 사용자의 단말(600)의 카메라를 통해 확인할 수 있는 화면이 제1 영역(620)에 디스플레이될 수 있다.
한편, 제2 영역(630)은 즉석 재생가능 복합 아이템을 썸네일로서 디스플레이할 수 있다.
상기 썸네일은 해당 즉석 재생가능 복합 아이템의 시작 화면 또는 일부 화면을 이용하여 생성될 수 있으며, 상기 즉석 재생가능 복합 아이템의 재생시간 중 일부 구간이 반복적으로 재생되는 형태로 나타날 수도 있다. 또한, 즉석 재생가능 복합 아이템과는 관계없는 이미지가 상기 썸네일로서 나타날 수도 있다.
또한, 제2 영역(630)에서 썸네일 형태의 상기 즉석 재생가능 복합 아이템은 제공되거나 받은 시각 또는 생성된 시각에 따라 순차적으로 기록되고, 그룹핑되어 디스플레이될 수 있다.
구체적으로, 도 6(a)를 참조하면, 제2 영역(630)에서 제공되거나 받은 시각의 흐름에 따라 왼쪽에서 오른쪽으로 순차적으로 즉석 재생가능 복합 아이템의 썸네일들이 기록되고, 11월 28일 제공하거나 받은 즉석 재생가능 복합 아이템들과 오늘 제공하거나 받은 즉석 재생가능 복합 아이템들은 각각 날짜별로 그룹핑되어 디스플레이될 수 있다. 마찬가지로 생성된 시각에 따라서도 순차적으로 기록되고 그룹핑되어 디스플레이될 수 있다.
예를 들면, 제1 사용자가 생성한 즉석 재생가능 복합 아이템을 전송한 시각에 따라 제1 사용자의 단말(600)의 제2 영역(630)에서 썸네일들이 순차적으로 기록되고 그룹핑되어 디스플레이될 수 있고, 제2 사용자의 단말(700)의 제2 영역(730, 도 6(e) 참조)에서는 즉석 재생가능 복합 아이템을 받은 시각에 따라 순차적으로 기록되고 그룹핑되어 디스플레이될 수 있다.
한편, 도 6은 앞서 언급하였듯이 제4 프로세스를 상정하고 설명하지만, 경우에 따라 제1 내지 제3 프로세스와 연동되어 설명될 수도 있을 것이다. 가령, 제1 사용자의 단말(600)에서 즉석 재생가능 기초 아이템만을 생성하고, 메신저 서버(100) 또는 제2 사용자의 단말(700)에서 오버레이 아이템을 오버레이함으로써 즉석 재생가능 복합 아이템을 생성할 수 있으므로 즉석 재생가능 복합 아이템을 생성한 시각에 따라 순차적으로 기록하고 그룹핑하여 디스플레이할 수 있다.
한편, 제2 영역(630)의 썸네일은 즉석 재생가능 복합 아이템의 정보를 포함할 수 있으며, 여기서 즉석 재생가능 복합 아이템의 정보에는 전송한 사람의 이름, 전송된 시각, 전송된 날짜 등이 포함될 수 있다.
또한, 제2 영역(630)의 복수 개의 썸네일 중 특정 썸네일이 선택되면, 특정 썸네일에 대응되는 특정 즉석 재생가능 복합 아이템이 제1 영역(620)에서 재생될 수 있다.
구체적으로, 제1 사용자 또는 제2 사용자는 사용자 단말(600, 700)의 제2 영역(630, 730)의 특정 썸네일을 클릭함으로써, 특정 썸네일에 대응되는 즉석 재생가능 복합 아이템을 제1 영역(620)에서 재생시킬 수 있다.
참고로, 도 6(e)에서는 상기 재생되는 즉석 재생가능 복합 아이템에 대한 재생버튼, 정지버튼이 썸네일 상에 위치하나 이와는 달리 제1 영역 또는 다른 영역에 위치할 수도 있다.
또한, 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템을 생성하는 제1 모드인 상태에서, 제1 영역(620)은 (i) 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템이 생성되기 시작하도록 하는 제1 입력, (ii) 즉석 재생가능 복합 아이템에 포함되는 오버레이 아이템이 생성되도록 하는 제2 입력, (iii) 즉석 재생가능 복합 아이템에 포함되는 필터가 스와이프를 통해 변경되도록 하는 제3 입력 중 적어도 하나가 입력되도록 할 수 있다.
다시 도 6(a)를 참조하면, 제1 영역(620)에서 제1 사용자는 제1 입력인 시작 버튼을 클릭함으로써 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템의 생성을 시작할 수 있다. 즉, 영상 메시지의 녹화가 시작될 수 있다.
다음으로, 도 6(b), 도 6(c)에서 볼 수 있듯이, 제1 사용자는 제2 입력인 텍스트 버튼, 낙서 버튼을 클릭함으로써, 즉석 재생가능 기초 아이템에 글자 또는 낙서 형태의 오버레이 아이템을 오버레이 시켜 즉석 재생가능 복합 아이템을 생성할 수 있다.
여기서, 제2 입력은 캐릭터, 3D효과, 효과음, 이모티콘 등의 오버레이 아이템이 생성되도록 하는 입력도 포함할 수 있다.
한편, 제1 사용자가 생성한 즉석 재생가능 기초 아이템에 제2 사용자의 단말(700)에서 텍스트 버튼, 낙서 버튼을 클릭함으로써, 글자 또는 낙서 형태의 오버레이 아이템을 즉석 재생가능 기초 아이템에 오버레이 시켜 즉석 재생가능 복합 아이템을 생성할 수도 있다.
또한, 상기 제3 입력은 일종의 화상 처리 기술로서 사용자는 제1 영역(620)에서 스와이프를 통해 필터를 변경할 수 있다. 예를 들면, 제1 사용자가 왼쪽으로 스와이프하면 기존 필터에서 화면이 “뚜렷하게” 나타날 수 있도록 하는 필터로 변경하고, 오른쪽으로 스와이프하면 기존 필터에서 화면이 “화사하게” 나타날 수 있도록 하는 필터로 변경할 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 6(d)는 생성이 완료된 즉석 재생가능 복합 아이템을 나타낸 것으로 상기 즉석 재생가능 복합 아이템과 대응되는 썸네일이 제2 영역(630)에 생성되어 디스플레이될 수 있다. 생성된 즉석 재생가능 복합 아이템은 제1 사용자의 단말에 저장되어 추후 제2 사용자의 단말로 전송할 수도 있으나, 도 5에서와 같이 실시간으로 제2 사용자의 단말로 전송할 수도 있을 것이다.
또한, 도 6(e)는 제1 사용자의 단말(600)로부터 전송된 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)에 나타낸 도면이다. 도 6(e)를 참조할 때, 제2 사용자는 제2 영역(730)에 디스플레이된 썸네일을 클릭함으로써 제1 영역(720)에서 즉석 재생가능 복합 아이템을 재생시킬 수 있다.
한편, 제1 사용자의 단말(600)에 의해 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템이 생성되기 시작하면, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자의 단말(600)로 하여금 제1 영역(620)에서 제1 모드를 실시간으로 디스플레이하도록 하고, 제1 모드에서 생성되거나 생성되기 시작한 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)로 전송하여, 제2 사용자의 단말(700)로 하여금 제1 영역(720)에서 제2 모드를 실시간으로 디스플레이하도록 지원할 수 있다.
즉, 실시간으로 제1 사용자의 단말(600)의 제1 영역(620)에서, 제1 사용자가 생성하는 즉석 재생가능 기초 아이템 또는 즉석 재생가능 복합 아이템을 디스플레이하고, 또한, 실시간으로 또는 준 실시간으로 제2 사용자의 단말(700)의 제1 영역(720)에서는, 생성되는 즉석 재생가능 복합 아이템을 재생하면서 디스플레이할 수 있다.
한편, 이하에서는, 본 발명의 다른 실시예에 따라, 추가 아이템을 통해 제1 사용자 및 제2 사용자 사이에서 이루어지는 메신저 서비스에 대하여 서술하겠다.
프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자가 즉석 재생가능 기초 아이템을 생성하고자 하는 의사가 감지되면, 즉석 재생가능 기초 아이템이 생성되는 과정 중에 추가 아이템이 재생되도록 하여, 제1 사용자의 표현 또는 행동을 유도할 수 있다.
즉, 제1 사용자가 특정 버튼을 선택 등 즉석 재생가능 기초 아이템을 생성하고자 하는 의사가 감지되면, 추가 아이템이 재생되도록 하여 제1 사용자의 행동 또는 표현 등을 변화시킬 수 있다. 여기서, 추가 아이템은 힙합 비트, 비지엠, 멜로디, 노래 등 청각적인 요소일 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 재생되는 추가 아이템과 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원할 수 있다.
구체적으로, 제1 사용자의 표현 또는 행동이 녹화되는 중에 추가 아이템이 재생되면, 상기 추가 아이템에 의해 유도되는 제1 사용자의 표현 또는 행동과 추가 아이템이 함께 녹화되어 즉석 재생가능 복합 아이템이 생성될 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 생성된 즉석 재생가능 복합 아이템을 제2 사용자의 단말(700)의 메신저를 통해 출력되도록 지원할 수 있다.
이 경우, 제2 사용자의 단말(710)의 메신저에 즉석 재생가능 복합 아이템은 썸네일 형태로 출력되며, 출력과 동시에 되거나 제2 사용자의 선택이 있는 경우에 재생될 수 있다.
또한, 즉석 재생가능 기초 아이템이 생성되는 과정 중에, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자의 표정에 대한 특징점 정보를 참조로 하거나 제1 사용자의 음성 정보를 자연어처리 및 형태소분석 기술을 통해 분석한 정보를 참조로 하여, 제1 사용자의 감정 정보를 메타데이터로서 실시간으로 획득하고 이에 대응되도록 추가 아이템을 변경하여 재생할 수 있다.
즉, 제1 사용자의 단말에서 즉석 재생가능 기초 아이템이 생성되는 과정 중 제1 사용자의 표정 또는 음성 정보가 실시간으로 분석될 수 있고, 분석된 정보를 참조로 하여 제1 사용자의 감정 정보가 메타데이터로서 실시간으로 획득될 수 있다. 결국 이에 대응되는 추가 아이템이 변경되어 재생될 수 있다.
구체적으로, 제1 사용자가 즉석 재생가능 기초 아이템을 생성하는 과정 중 기쁜 표정을 짓는다면, 이를 감지하고 분석한 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 기존의 추가 데이터에서 신나는 비트를 포함하는 추가 데이터로 변경하여 재생시킬 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 변경된 추가 아이템과 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원할 수 있다.
도 7은 본 발명의 다른 실시예에 따라 추가 아이템이 포함된 즉석 재생가능 복합 아이템을 제2 사용자의 단말의 메신저에 출력하기까지의 개략적인 과정을 나타낸 도면이다.
도 7을 참조하여 개략적인 상기 과정을 살펴보면, 즉석 재생가능 기초 아이템이 녹화될 때 동시간대에 추가 아이템이 재생되도록 할 수 있다(S701). 이때, 상기 추가 아이템은 즉석 재생가능 기초 아이템으로부터 획득한 제1 사용자의 감정 정보를 메타데이터로서 참조하여 실시간으로 이에 대응되도록 변경되어 재생될 수도 있다. 이와 같이, 즉석 재생가능 기초 아이템이 녹화될 때 동시간대에 추가 아이템이 재생되도록 함으로써 재생되는 상태까지 같이 녹화가 될 것이므로, 즉석 재생가능 기초 아이템의 녹화가 끝날 때, 즉석 재생가능 복합 아이템이 생성될 것이며(S702), 생성된 즉석 재생가능 복합 아이템은 제2 사용자 단말의 메신저에서 출력될 수 있다(S703).
한편, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여, 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 하나를 식별하고, 이로부터 메타데이터가 획득되도록 지원하며, 메타데이터를 참조로 하여 추가 아이템이 결정되고 이러한 추가 아이템을 재생하면서 즉석 재생가능 기초 아이템이 생성되도록 할 수 있다.
예를 들어, 제1 사용자의 프로필 정보, 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하였을 때, 제1 사용자가 서울에 거주하는 20대 남성이라면, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 서울 거주, 20대 남성을 나타내는 메타데이터가 획득되도록 지원하여, 상기 메타데이터를 참조로 힙합 비트를 재생하면서 제1 사용자의 표현과 행동을 유도할 수 있으며, 이로부터 즉석 재생가능 복합 아이템이 생성될 수 있다.
또한, 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 상기 메타데이터를 참조로 하여 상기 추가 아이템으로 사용될 후보군 정보를 제1 사용자에게 추천하여 제1 사용자로 하여금 선택하도록 지원할 수 있다.
이는, 제1 사용자의 성별, 나이, 거주 지역, 국가 등 신상 정보를 통해 제1 사용자에게 적절한 추가 아이템을 결정하도록 하고 이를 재생시키기 위함이다. 예를 들어, 획득한 제1 사용자의 신상 정보가 60대 남성이라면 프로세서(120) 또는 제1 사용자의 단말의 앱(610)은, 제1 사용자에게 트로트, 민요 등을 포함하는 추가 아이템을 추천할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 메신저 서버
110: 통신부
120: 프로세서
310: 대화창
320: 입력창
330: 디스플레이 박스
340: 녹화 버튼
350: 전송 버튼
360: 썸네일 형태
400: 데이터베이스
600: 제1 사용자의 단말
610: 제1 사용자 단말의 앱
620: 제1 사용자의 단말의 제1 영역
630: 제1 사용자의 단말의 제2 영역
700: 제2 사용자의 단말
710: 제2 사용자 단말의 앱
720: 제2 사용자의 단말의 제1 영역
730: 제2 사용자의 단말의 제2 영역
110: 통신부
120: 프로세서
310: 대화창
320: 입력창
330: 디스플레이 박스
340: 녹화 버튼
350: 전송 버튼
360: 썸네일 형태
400: 데이터베이스
600: 제1 사용자의 단말
610: 제1 사용자 단말의 앱
620: 제1 사용자의 단말의 제1 영역
630: 제1 사용자의 단말의 제2 영역
700: 제2 사용자의 단말
710: 제2 사용자 단말의 앱
720: 제2 사용자의 단말의 제1 영역
730: 제2 사용자의 단말의 제2 영역
Claims (40)
- 오버레이 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 방법에 있어서,
(a) 메신저 서버는, 상기 메신저 서버에 의해 배포된 상기 제1 사용자의 단말의 앱을 통해, 상기 제1 사용자의 단말로 하여금 즉석 재생가능 아이템을 생성하도록 지원하고, 생성이 되기 시작하거나 생성이 완료되면 리스트에 추가하는 단계;
(b) 상기 생성되고 있거나 생성이 완료된 즉석 재생가능 아이템을 획득하면, 상기 메신저 서버는, 상기 즉석 재생가능 아이템을 저장하기 시작하고, 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중인지를 판단하는 단계; 및
(c) (i) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이 아니라면, 상기 메신저 서버는, 상기 제2 사용자의 단말에 알람을 전송하고 상기 제2 사용자로 하여금 상기 알람을 통해 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱을 실행하도록 하여 상기 즉석 재생가능 아이템이 상기 제2 사용자의 단말의 메신저를 통해 재생되도록 지원하는 프로세스를 수행하고, (ii) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이라면, 상기 메신저 서버는, 상기 메신저 서버에 의해 배포된 상기 제2 사용자의 단말의 앱을 통해, 상기 제2 사용자의 단말로 상기 즉석 재생가능 아이템을 전송하는 프로세스를 수행하며, 이후 (ii-1) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이 아닌 것으로 판단되면, 상기 메신저 서버는, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 앱에 포함된 대화방 리스트에 상기 즉석 재생가능 아이템을 나타내는 뱃지를 제공하도록 지원하고, (ii-2) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이며 상기 제1 사용자의 단말에서 생성되고 있는 상기 즉석 재생가능 아이템이 실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 메신저 서버는, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 Live 중임을 나타내면서 상기 생성되고 있는 즉석 재생가능 아이템을 실시간으로 재생하도록 지원하며, (ii-3) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이고 상기 제1 사용자의 단말에서 생성되고 있거나 생성이 완료된 상기 즉석 재생가능 아이템이 비실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 메신저 서버는, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 상기 생성 완료된 즉석 재생가능 아이템을 재생하도록 지원하는 단계
를 포함하되,
상기 오버레이 아이템이 오버레이되지 않은 상기 즉석 재생가능 아이템을 즉석 재생가능 기초 아이템이라 하고, 상기 오버레이 아이템이 오버레이된 상기 즉석 재생가능 아이템을 즉석 재생가능 복합 아이템이라고 할 때,
(I) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, (I-i) 상기 메신저 서버는, 상기 제1 사용자에 대한 메타데이터를 획득한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (I-ii) 상기 메신저 서버는, 상기 제1 사용자에 대한 상기 메타데이터를 획득한 후, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저에 출력되도록 하거나, (I-iii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 제1 사용자에 대한 상기 메타데이터를 획득하도록 한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제1 프로세스, (II) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하고, 상기 제1 사용자에 대한 상기 메타데이터가 획득되면, (II-i) 상기 메신저 서버는, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (II-ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제2 프로세스, (III) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 대한 상기 메타데이터가 획득되고, 상기 메타데이터를 참조로 하여 오버레이 아이템이 확정되고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (III-i) 상기 메신저 서버는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (III-ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제3 프로세스, (IV) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 의해 입력된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (IV-i) 상기 메신저 서버는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (IV-ii) 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제4 프로세스 중 적어도 하나를 수행하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서비스가 제공되는 상기 제1 사용자 또는 상기 제2 사용자의 단말상 화면에 제1 영역 및 제2 영역이 포함되는 상태에서,
상기 제1 영역은 (i) 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템을 생성하는 제1 모드, (ii) 상기 즉석 재생가능 복합 아이템을 재생하는 제2 모드, (iii) 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템을 생성하기 전 프리뷰 화면을 제공하는 제3 모드 중 적어도 어느 하나의 모드를 디스플레이하고, 상기 제2 영역은 상기 즉석 재생가능 복합 아이템을 썸네일로서 디스플레이하는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 제2 영역의 상기 즉석 재생가능 복합 아이템은 제공되거나 받은 시각 또는 생성된 시각에 따라 순차적으로 기록되고, 그룹핑되어 디스플레이되는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템이 생성되기 시작하면,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자의 단말로 하여금 상기 제1 영역에서 상기 제1 모드를 실시간으로 디스플레이하도록 하고, 상기 제1 모드에서 생성되거나 생성되기 시작한 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말로 전송하여, 상기 제2 사용자의 단말로 하여금 상기 제1 영역에서 상기 제2 모드를 실시간으로 디스플레이하도록 하는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 제2 영역에 디스플레이된 상기 썸네일에는 상기 즉석 재생가능 복합 아이템의 정보가 포함된 상태에서,
특정 썸네일이 선택되면, 특정 썸네일에 대응되는 특정 즉석 재생가능 복합 아이템이 상기 제1 영역에서 재생되는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 제1 모드인 상태에서,
상기 제1 영역은 (i) 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템이 생성되기 시작하도록 하는 제1 입력, (ii) 상기 즉석 재생가능 복합 아이템에 포함되는 상기 오버레이 아이템이 생성되도록 하는 제2 입력, (iii) 상기 즉석 재생가능 복합 아이템에 포함되는 필터가 스와이프를 통해 변경되도록 하는 제3 입력 중 적어도 하나가 입력되도록 하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, (i) 상기 즉석 재생가능 기초 아이템에 포함된 표정 또는 얼굴을 참조하거나 (ii) 상기 즉석 재생가능 기초 아이템에 포함된 목소리를 자연어처리 및 형태소분석 기술을 통해 분석하여, 상기 제1 사용자의 감정 정보를 상기 메타데이터로서 획득하도록 지원하며, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 방법. - 제7항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은 소정의 데이터베이스에 접근 가능하며, 상기 데이터베이스에는, 사람의 감정에 따라 결정되는 복수 개의 카테고리가 존재하고, 상기 카테고리별로 해당 감정을 나타내는 소정 이미지의 특징점 정보 및 딕셔너리 정보 중 적어도 일부가 포함되며,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, (i) 상기 즉석 재생가능 기초 아이템에 포함된 상기 표정 또는 얼굴로부터 추출된 특징점 정보와 상기 데이터베이스에 저장된 상기 카테고리별 특징점 정보를 비교하여 해당 카테고리를 결정하거나 결정하도록 지원하는 프로세스 및 (ii) 상기 즉석 재생가능 기초 아이템에 포함된 상기 목소리로부터 추출된 키워드를 상기 딕셔너리 정보와 비교하여 해당 카테고리를 결정하거나 결정하도록 지원하는 프로세스 중 적어도 하나를 수행하여, 상기 메타데이터가 획득되도록 지원하는 것을 특징으로 하는 방법. - 제8항에 있어서,
상기 데이터베이스에는 상기 카테고리별로 해당 감정의 심한 정도에 따른 감정 레벨이 구분되어 있고, 상기 감정 레벨별로 해당 감정의 심한 정도를 나타내는 소정 이미지의 특징점 정보 및 딕셔너리 정보 중 적어도 일부가 구분되어 기록되어 있으며,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, (i) 상기 즉석 재생가능 기초 아이템에 포함된 상기 표정 또는 얼굴로부터 추출된 특징점 정보와 상기 데이터베이스에 저장된 상기 카테고리마다 구분되어 있는 감정 레벨별 특징점 정보를 비교하여 해당 카테고리 및 이에 대한 감정 레벨을 결정하거나 결정하도록 지원하는 프로세스 및 (ii) 상기 즉석 재생가능 기초 아이템에 포함된 상기 목소리로부터 추출된 키워드를 상기 딕셔너리 정보와 비교하여 해당 카테고리 및 이에 대한 감정 레벨을 결정하거나 결정하도록 지원하는 프로세스 중 적어도 하나를 결정하거나 결정하도록 지원하여, 상기 메타데이터가 획득되도록 지원하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 즉석 재생가능 기초 아이템에 포함된 상기 제1 사용자의 목소리, 몸, 얼굴, 머리카락, 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여, 상기 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 하나를 식별하고, 이로부터 상기 메타데이터가 획득되도록 지원하며, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되면, 상기 즉석 재생가능 기초 아이템으로부터 추출된 메타데이터 또는 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득한 메타데이터를 참조로 하여 상기 오버레이 아이템으로 사용될 후보군 정보를 상기 제1 사용자에게 추천하여 상기 제1 사용자로 하여금 선택하도록 지원하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱 또는 상기 제2 사용자의 단말의 앱은, 상기 즉석 재생가능 기초 아이템으로부터 추출된 단서 정보 또는 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득한 단서 정보 중 적어도 일부가 상기 제1 사용자 또는 상기 제2 사용자가 기설정한 조건에 부합되고 있음이 감지되면, 상기 기설정한 조건에 부합되는 특정 단서 정보를 상기 메타데이터로 결정하고, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 즉석 재생가능 기초 아이템의 시간의 흐름에 따라 복수 개의 감정 정보가 나타나는 것으로 감지하면, 상기 복수 개의 감정 정보에 해당되는 시간 구간별로 상기 메타데이터를 독립적으로 획득하고, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되면, 상기 즉석 재생가능 기초 아이템에 대응되는 썸네일을 디스플레이하여 제공하고, 상기 제1 사용자에 의해 상기 썸네일이 특정 영역으로 드래그 되거나 선택되었음이 감지되면, 상기 즉석 재생가능 기초 아이템에 대응되는 상기 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 오버레이 아이템은, 상기 제1 사용자에 대응되는 가상의 캐릭터, 3D 효과, 화상 처리, 효과음, 자막, 이모티콘, 낙서 중 적어도 일부를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 즉석 재생가능 기초 아이템에 포함된 상기 제1 사용자의 얼굴로부터 추출된 특징점의 위치를 식별하여 상기 오버레이 아이템의 오버레이될 위치를 결정하는 것을 특징으로 하는 방법. - 추가 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 방법에 있어서,
(a) 메신저 서버는, 상기 메신저 서버에 의해 배포된 상기 제1 사용자의 단말의 앱을 통해, 상기 제1 사용자의 단말로 하여금 즉석 재생가능 아이템을 생성하도록 지원하고, 생성이 되기 시작하거나 생성이 완료되면 리스트에 추가하는 단계;
(b) 상기 생성되고 있거나 생성이 완료된 즉석 재생가능 아이템을 획득하면, 상기 메신저 서버는, 상기 즉석 재생가능 아이템을 저장하기 시작하고, 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중인지를 판단하는 단계; 및
(c) (i) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이 아니라면, 상기 메신저 서버는, 상기 제2 사용자의 단말에 알람을 전송하고 상기 제2 사용자로 하여금 상기 알람을 통해 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱을 실행하도록 하여 상기 즉석 재생가능 아이템이 상기 제2 사용자의 단말의 메신저를 통해 재생되도록 지원하는 프로세스를 수행하고, (ii) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이라면, 상기 메신저 서버는, 상기 메신저 서버에 의해 배포된 상기 제2 사용자의 단말의 앱을 통해, 상기 제2 사용자의 단말로 상기 즉석 재생가능 아이템을 전송하는 프로세스를 수행하며, 이후 (ii-1) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이 아닌 것으로 판단되면, 상기 메신저 서버는, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 앱에 포함된 대화방 리스트에 상기 즉석 재생가능 아이템을 나타내는 뱃지를 제공하도록 지원하고, (ii-2) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이며 상기 제1 사용자의 단말에서 생성되고 있는 상기 즉석 재생가능 아이템이 실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 메신저 서버는, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 Live 중임을 나타내면서 상기 생성되고 있는 즉석 재생가능 아이템을 실시간으로 재생하도록 지원하며, (ii-3) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이고 상기 제1 사용자의 단말에서 생성되고 있거나 생성이 완료된 상기 즉석 재생가능 아이템이 비실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 메신저 서버는, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 상기 생성 완료된 즉석 재생가능 아이템을 재생하도록 지원하는 단계
를 포함하되,
상기 추가 아이템이 결합되지 않은 상기 즉석 재생가능 아이템을 즉석 재생가능 기초 아이템이라 하고, 상기 추가 아이템이 추가된 상기 즉석 재생가능 아이템을 즉석 재생가능 복합 아이템이라고 할 때,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자가 즉석 재생가능 기초 아이템을 생성하고자 하는 의사가 감지되면, 상기 즉석 재생가능 기초 아이템이 생성되는 과정 중에 상기 추가 아이템이 재생되도록 하여, 상기 제1 사용자의 표현 또는 행동을 유도하고, 상기 재생되는 추가 아이템과 상기 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원하며, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 것을 특징으로 하는 방법. - 제17항에 있어서,
상기 즉석 재생가능 기초 아이템이 생성되는 과정 중에, 상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자의 표정에 대한 특징점 정보를 참조로 하거나 상기 제1 사용자의 음성 정보를 자연어처리 및 형태소분석 기술을 통해 분석한 정보를 참조로 하여, 상기 제1 사용자의 감정 정보를 메타데이터로서 실시간으로 획득하고 이에 대응되도록 상기 추가 아이템을 변경하여 재생하여, 상기 변경된 추가 아이템과 상기 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 상기 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원하는 것을 특징으로 하는 방법. - 제17항에 있어서,
상기 메신저 서버 또는 상기 메신저 서버를 통해 배포된 상기 제1 사용자의 단말의 앱은, 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여, 상기 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 하나를 식별하고, 이로부터 메타데이터가 획득되도록 지원하며, 상기 메타데이터를 참조로 하여 상기 추가 아이템이 결정되는 것을 특징으로 하는 방법. - 제19항에 있어서,
상기 메타데이터를 참조로 하여 상기 추가 아이템으로 사용될 후보군 정보를 상기 제1 사용자에게 추천하여 상기 제1 사용자로 하여금 선택하도록 지원하는 것을 특징으로 하는 방법. - 오버레이 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 메신저 서버에 있어서,
상기 제1 사용자의 단말을 통해 메신저의 UI를 제공하는 통신부; 및
(1) 상기 메신저 서버에 의해 배포된 상기 제1 사용자의 단말의 앱을 통해, 상기 제1 사용자의 단말로 하여금 즉석 재생가능 아이템을 생성하도록 지원하고, 생성이 되기 시작하거나 생성이 완료되면 리스트에 추가하고, (2) 상기 생성되고 있거나 생성이 완료된 즉석 재생가능 아이템을 획득하면, 상기 즉석 재생가능 아이템을 저장하기 시작하고, 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중인지를 판단하며, (3) (i) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이 아니라면, 상기 제2 사용자의 단말에 알람을 전송하고 상기 제2 사용자로 하여금 상기 알람을 통해 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱을 실행하도록 하여 상기 즉석 재생가능 아이템이 상기 제2 사용자의 단말의 메신저를 통해 재생되도록 지원하는 프로세스를 수행하고, (ii) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이라면, 상기 메신저 서버에 의해 배포된 상기 제2 사용자의 단말의 앱을 통해, 상기 제2 사용자의 단말로 상기 즉석 재생가능 아이템을 전송하는 프로세스를 수행하며, 이후 (ii-1) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이 아닌 것으로 판단되면, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 앱에 포함된 대화방 리스트에 상기 즉석 재생가능 아이템을 나타내는 뱃지를 제공하도록 지원하고, (ii-2) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이며 상기 제1 사용자의 단말에서 생성되고 있는 상기 즉석 재생가능 아이템이 실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 Live 중임을 나타내면서 상기 생성되고 있는 즉석 재생가능 아이템을 실시간으로 재생하도록 지원하며, (ii-3) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이고 상기 제1 사용자의 단말에서 생성되고 있거나 생성이 완료된 상기 즉석 재생가능 아이템이 비실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 상기 생성 완료된 즉석 재생가능 아이템을 재생하도록 지원하는 프로세서;
를 포함하되,
상기 오버레이 아이템이 오버레이되지 않은 상기 즉석 재생가능 아이템을 즉석 재생가능 기초 아이템이라 하고, 상기 오버레이 아이템이 오버레이된 상기 즉석 재생가능 아이템을 즉석 재생가능 복합 아이템이라고 할 때,
(a1) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하면, (i) 상기 프로세서는, 상기 통신부를 통해 상기 제1 사용자에 대한 메타데이터를 획득한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 통신부를 통해 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제1 사용자에 대한 상기 메타데이터를 획득한 후, 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저에 출력되도록 하거나, (iii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 제1 사용자에 대한 상기 메타데이터를 획득하도록 한 후, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제1 프로세스, (a2) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하고, 상기 제1 사용자에 대한 상기 메타데이터가 획득되면, (i) 상기 프로세서는, 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하여 상기 통신부를 통해 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 메타데이터를 참조로 하여 오버레이 아이템을 확정하고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템을 생성하도록 지원하여 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 하는 제2 프로세스, (a3) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 대한 상기 메타데이터가 획득되고, 상기 메타데이터를 참조로 하여 오버레이 아이템이 확정되고 이를 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 프로세서는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 통신부를 통해 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제3 프로세스, (a4) 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되거나 생성되기 시작하며, 상기 제1 사용자에 의해 입력된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되거나 생성되기 시작하면, (i) 상기 프로세서는, 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저에 출력되도록 제공하거나, (ii) 상기 프로세서는, 상기 통신부를 통해 상기 제2 사용자의 단말로 하여금 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 제4 프로세스 중 적어도 하나를 수행하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 메신저 서비스가 제공되는 상기 제1 사용자 또는 상기 제2 사용자의 단말상 화면에 제1 영역 및 제2 영역이 포함되는 상태에서,
상기 제1 영역은 (i) 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템을 생성하는 제1 모드, (ii) 상기 즉석 재생가능 복합 아이템을 재생하는 제2 모드, (iii) 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템을 생성하기 전 프리뷰 화면을 제공하는 제3 모드 중 적어도 어느 하나의 모드를 디스플레이하고, 상기 제2 영역은 상기 즉석 재생가능 복합 아이템을 썸네일로서 디스플레이하는 것을 특징으로 하는 서버. - 제22항에 있어서,
상기 제2 영역의 상기 즉석 재생가능 복합 아이템은 제공되거나 받은 시각 또는 생성된 시각에 따라 순차적으로 기록되고, 그룹핑되어 디스플레이되는 것을 특징으로 하는 서버. - 제22항에 있어서,
상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템이 생성되기 시작하면,
상기 프로세서는, 상기 제1 사용자의 단말로 하여금 상기 제1 영역에서 상기 제1 모드를 실시간으로 디스플레이하도록 하고, 상기 제1 모드에서 생성되거나 생성되기 시작한 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말로 전송하여, 상기 제2 사용자의 단말로 하여금 상기 제1 영역에서 상기 제2 모드를 실시간으로 디스플레이하도록 하는 것을 특징으로 하는 서버. - 제22항에 있어서,
상기 제2 영역에 디스플레이된 상기 썸네일에는 상기 즉석 재생가능 복합 아이템의 정보가 포함된 상태에서,
특정 썸네일이 선택되면, 특정 썸네일에 대응되는 특정 즉석 재생가능 복합 아이템이 상기 제1 영역에서 재생되는 것을 특징으로 하는 서버. - 제22항에 있어서,
상기 제1 모드인 상태에서,
상기 제1 영역은 (i) 상기 즉석 재생가능 기초 아이템 또는 상기 즉석 재생가능 복합 아이템이 생성되기 시작하도록 하는 제1 입력, (ii) 상기 즉석 재생가능 복합 아이템에 포함되는 상기 오버레이 아이템이 생성되도록 하는 제2 입력, (iii) 상기 즉석 재생가능 복합 아이템에 포함되는 필터가 스와이프를 통해 변경되도록 하는 제3 입력 중 적어도 하나가 입력되도록 하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 프로세서는, (i) 상기 즉석 재생가능 기초 아이템에 포함된 표정 또는 얼굴을 참조하거나 (ii) 상기 즉석 재생가능 기초 아이템에 포함된 목소리를 자연어처리 및 형태소분석 기술을 통해 분석하여, 상기 제1 사용자의 감정 정보를 상기 메타데이터로서 획득하도록 지원하며, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 서버. - 제27항에 있어서,
상기 프로세서는, 상기 통신부를 통해 소정의 데이터베이스에 접근 가능하며, 상기 데이터베이스에는, 사람의 감정에 따라 결정되는 복수 개의 카테고리가 존재하고, 상기 카테고리별로 해당 감정을 나타내는 소정 이미지의 특징점 정보 및 딕셔너리 정보 중 적어도 일부가 포함되며,
상기 프로세서는, (i) 상기 즉석 재생가능 기초 아이템에 포함된 상기 표정 또는 얼굴로부터 추출된 특징점 정보와 상기 데이터베이스에 저장된 상기 카테고리별 특징점 정보를 비교하여 해당 카테고리를 결정하거나 결정하도록 지원하는 프로세스 및 (ii) 상기 즉석 재생가능 기초 아이템에 포함된 상기 목소리로부터 추출된 키워드를 상기 딕셔너리 정보와 비교하여 해당 카테고리를 결정하거나 결정하도록 지원하는 프로세스 중 적어도 하나를 수행하여, 상기 메타데이터가 획득되도록 지원하는 것을 특징으로 하는 서버. - 제28항에 있어서,
상기 데이터베이스에는 상기 카테고리별로 해당 감정의 심한 정도에 따른 감정 레벨이 구분되어 있고, 상기 감정 레벨별로 해당 감정의 심한 정도를 나타내는 소정 이미지의 특징점 정보 및 딕셔너리 정보 중 적어도 일부가 구분되어 기록되어 있으며,
상기 프로세서는, (i) 상기 즉석 재생가능 기초 아이템에 포함된 상기 표정 또는 얼굴로부터 추출된 특징점 정보와 상기 데이터베이스에 저장된 상기 카테고리마다 구분되어 있는 감정 레벨별 특징점 정보를 비교하여 해당 카테고리 및 이에 대한 감정 레벨을 결정하거나 결정하도록 지원하는 프로세스 및 (ii) 상기 즉석 재생가능 기초 아이템에 포함된 상기 목소리로부터 추출된 키워드를 상기 딕셔너리 정보와 비교하여 해당 카테고리 및 이에 대한 감정 레벨을 결정하거나 결정하도록 지원하는 프로세스 중 적어도 하나를 결정하거나 결정하도록 지원하여, 상기 메타데이터가 획득되도록 지원하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 프로세서는, 상기 즉석 재생가능 기초 아이템에 포함된 상기 제1 사용자의 목소리, 몸, 얼굴, 머리카락, 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여, 상기 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 하나를 식별하고, 이로부터 상기 메타데이터가 획득되도록 지원하며, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 프로세서는, 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되면, 상기 즉석 재생가능 기초 아이템으로부터 추출된 메타데이터 또는 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득한 메타데이터를 참조로 하여 상기 오버레이 아이템으로 사용될 후보군 정보를 상기 통신부를 통해 상기 제1 사용자에게 추천하여 상기 제1 사용자로 하여금 선택하도록 지원하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 프로세서는, 상기 즉석 재생가능 기초 아이템으로부터 추출된 단서 정보 또는 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득한 단서 정보 중 적어도 일부가 상기 제1 사용자 또는 상기 제2 사용자가 기설정한 조건에 부합되고 있음이 감지되면, 상기 기설정한 조건에 부합되는 특정 단서 정보를 상기 메타데이터로 결정하고, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 프로세서는, 상기 즉석 재생가능 기초 아이템의 시간의 흐름에 따라 복수 개의 감정 정보가 나타나는 것으로 감지하면, 상기 복수 개의 감정 정보에 해당되는 시간 구간별로 상기 메타데이터를 독립적으로 획득하고, 상기 메타데이터를 참조로 하여 확정된 상기 오버레이 아이템을 상기 즉석 재생가능 기초 아이템에 오버레이하여 상기 즉석 재생가능 복합 아이템이 생성되도록 지원하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 프로세서는, 상기 제1 사용자의 단말에 의해 상기 즉석 재생가능 기초 아이템이 생성되면, 상기 즉석 재생가능 기초 아이템에 대응되는 썸네일을 디스플레이하여 제공하고, 상기 제1 사용자에 의해 상기 썸네일이 특정 영역으로 드래그 되거나 선택되었음이 감지되면, 상기 즉석 재생가능 기초 아이템에 대응되는 상기 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 오버레이 아이템은, 상기 제1 사용자에 대응되는 가상의 캐릭터, 3D 효과, 화상 처리, 효과음, 자막, 이모티콘, 낙서 중 적어도 일부를 포함하는 것을 특징으로 하는 서버. - 제21항에 있어서,
상기 프로세서는, 상기 즉석 재생가능 기초 아이템에 포함된 상기 제1 사용자의 얼굴로부터 추출된 특징점의 위치를 식별하여 상기 오버레이 아이템의 오버레이될 위치를 결정하는 것을 특징으로 하는 서버. - 추가 아이템을 통해 적어도 제1 사용자 및 제2 사용자 사이에서 메신저 서비스를 제공하는 메신저 서버에 있어서,
상기 제1 사용자가 즉석 재생가능 기초 아이템을 생성하고자 하는 의사를 획득하는 통신부; 및
(1) 상기 메신저 서버에 의해 배포된 상기 제1 사용자의 단말의 앱을 통해, 상기 제1 사용자의 단말로 하여금 상기 즉석 재생가능 아이템을 생성하도록 지원하고, 생성이 되기 시작하거나 생성이 완료되면 리스트에 추가하고, (2) 상기 생성되고 있거나 생성이 완료된 즉석 재생가능 아이템을 획득하면, 상기 즉석 재생가능 아이템을 저장하기 시작하고, 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중인지를 판단하며, (3) (i) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이 아니라면, 상기 제2 사용자의 단말에 알람을 전송하고 상기 제2 사용자로 하여금 상기 알람을 통해 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱을 실행하도록 하여 상기 즉석 재생가능 아이템이 상기 제2 사용자의 단말의 메신저를 통해 재생되도록 지원하는 프로세스를 수행하고, (ii) 상기 메신저 서버를 통해 배포된 상기 제2 사용자의 단말의 앱이 실행 중이라면, 상기 메신저 서버에 의해 배포된 상기 제2 사용자의 단말의 앱을 통해, 상기 제2 사용자의 단말로 상기 즉석 재생가능 아이템을 전송하는 프로세스를 수행하며, 이후 (ii-1) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이 아닌 것으로 판단되면, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 앱에 포함된 대화방 리스트에 상기 즉석 재생가능 아이템을 나타내는 뱃지를 제공하도록 지원하고, (ii-2) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이며 상기 제1 사용자의 단말에서 생성되고 있는 상기 즉석 재생가능 아이템이 실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 Live 중임을 나타내면서 상기 생성되고 있는 즉석 재생가능 아이템을 실시간으로 재생하도록 지원하며, (ii-3) 상기 제1 사용자 및 상기 제2 사용자가 동일한 메신저 대화방에 입장 중이고 상기 제1 사용자의 단말에서 생성되고 있거나 생성이 완료된 상기 즉석 재생가능 아이템이 비실시간 전송 모드를 통해 전송될 것으로 판단되면, 상기 제2 사용자의 단말의 메신저를 통해 상기 제2 사용자의 단말의 메신저에 상기 생성 완료된 즉석 재생가능 아이템을 재생하도록 지원하는 프로세서;
를 포함하되,
상기 추가 아이템이 결합되지 않은 상기 즉석 재생가능 아이템을 즉석 재생가능 기초 아이템이라 하고, 상기 추가 아이템이 추가된 상기 즉석 재생가능 아이템을 즉석 재생가능 복합 아이템이라고 할 때,
상기 제1 사용자가 즉석 재생가능 기초 아이템을 생성하고자 하는 의사가 감지되면, 상기 프로세서는, (i) 상기 즉석 재생가능 기초 아이템이 생성되는 과정 중에 상기 추가 아이템이 재생되도록 하여, 상기 제1 사용자의 표현 또는 행동을 유도하고, (ii) 상기 재생되는 추가 아이템과 상기 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원하며, (iii) 상기 생성된 즉석 재생가능 복합 아이템을 상기 제2 사용자의 단말의 메신저를 통해 출력되도록 지원하는 것을 특징으로 하는 서버. - 제37항에 있어서,
상기 즉석 재생가능 기초 아이템이 생성되는 과정 중에, 상기 프로세서는, 상기 제1 사용자의 표정에 대한 특징점 정보를 참조로 하거나 상기 제1 사용자의 음성 정보를 자연어처리 및 형태소분석 기술을 통해 분석한 정보를 참조로 하여, 상기 제1 사용자의 감정 정보를 메타데이터로서 실시간으로 획득하고 이에 대응되도록 상기 추가 아이템을 변경하여 재생하여, 상기 변경된 추가 아이템과 상기 유도되는 제1 사용자의 표현 또는 행동을 녹화하여 상기 즉석 재생가능 복합 아이템을 생성하거나 생성하도록 지원하는 것을 특징으로 하는 서버. - 제37항에 있어서,
상기 프로세서는, 상기 제1 사용자의 프로필 정보, 상기 제1 사용자의 단말 정보로부터 획득 가능한 정보 중 적어도 하나를 참조하여, 상기 제1 사용자의 성별, 나이, 거주 지역, 국가 중 적어도 하나를 식별하고, 이로부터 메타데이터가 획득되도록 지원하며, 상기 메타데이터를 참조로 하여 상기 추가 아이템이 결정되는 것을 특징으로 하는 서버. - 제39항에 있어서,
상기 메타데이터를 참조로 하여 상기 추가 아이템으로 사용될 후보군 정보를 상기 제1 사용자에게 추천하여 상기 제1 사용자로 하여금 선택하도록 지원하는 것을 특징으로 하는 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170048504A KR101791979B1 (ko) | 2017-04-14 | 2017-04-14 | 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170048504A KR101791979B1 (ko) | 2017-04-14 | 2017-04-14 | 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101791979B1 true KR101791979B1 (ko) | 2017-11-20 |
Family
ID=60809017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170048504A KR101791979B1 (ko) | 2017-04-14 | 2017-04-14 | 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101791979B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020037059A1 (en) * | 2018-08-14 | 2020-02-20 | Snap Inc. | Content suggestion system |
| JP2021027509A (ja) * | 2019-08-07 | 2021-02-22 | パナソニックＩｐマネジメント株式会社 | オーグメンテーション画像表示方法およびオーグメンテーション画像表示システム |
| WO2021071224A1 (ko) * | 2019-10-07 | 2021-04-15 | 주식회사 플랫팜 | 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법 |
| WO2021071231A1 (ko) * | 2019-10-07 | 2021-04-15 | 주식회사 플랫팜 | 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100886489B1 (ko) * | 2007-11-19 | 2009-03-05 | (주)올라웍스 | 영상 통화 시 얼굴의 표정에 따라 꾸미기 효과를 합성하는방법 및 시스템 |
-
2017
- 2017-04-14 KR KR1020170048504A patent/KR101791979B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100886489B1 (ko) * | 2007-11-19 | 2009-03-05 | (주)올라웍스 | 영상 통화 시 얼굴의 표정에 따라 꾸미기 효과를 합성하는방법 및 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| 웹 기사(노컷 뉴스). 페북 채팅 '카메라' 추가... 촬영해 바로 전송(2016.12.16.)* |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020037059A1 (en) * | 2018-08-14 | 2020-02-20 | Snap Inc. | Content suggestion system |
| US11157694B2 (en) | 2018-08-14 | 2021-10-26 | Snap Inc. | Content suggestion system |
| US11934780B2 (en) | 2018-08-14 | 2024-03-19 | Snap Inc. | Content suggestion system |
| JP2021027509A (ja) * | 2019-08-07 | 2021-02-22 | パナソニックＩｐマネジメント株式会社 | オーグメンテーション画像表示方法およびオーグメンテーション画像表示システム |
| JP7316584B2 (ja) | 2019-08-07 | 2023-07-28 | パナソニックＩｐマネジメント株式会社 | オーグメンテーション画像表示方法およびオーグメンテーション画像表示システム |
| WO2021071224A1 (ko) * | 2019-10-07 | 2021-04-15 | 주식회사 플랫팜 | 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법 |
| WO2021071231A1 (ko) * | 2019-10-07 | 2021-04-15 | 주식회사 플랫팜 | 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법 |
| US11366846B2 (en) | 2019-10-07 | 2022-06-21 | Platfarm Inc. | Apparatus and a method for providing expression item services which constructing digital communication environments |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240054117A1 (en) | Artificial intelligence platform with improved conversational ability and personality development | |
| KR101791979B1 (ko) | 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 | |
| CN107153496B (zh) | 用于输入表情图标的方法和装置 | |
| US20140351720A1 (en) | Method, user terminal and server for information exchange in communications | |
| CN103236259A (zh) | 语音识别处理及反馈系统、语音回复方法 | |
| JP7070638B2 (ja) | 情報処理システムおよび情報処理方法 | |
| CN108228132A (zh) | 促进用户录制的音频的创建和回放 | |
| KR102196199B1 (ko) | 음성인식 기반의 사진 공유 방법, 장치 및 시스템 | |
| KR102257427B1 (ko) | 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 | |
| JP5586754B1 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム | |
| CN115292543A (zh) | 基于语音互动小说的数据处理方法及相关产品 | |
| KR20200059112A (ko) | 로봇 상호작용 시스템 및 그를 위한 프로그램 | |
| US10347299B2 (en) | Method to automate media stream curation utilizing speech and non-speech audio cue analysis | |
| KR20200044435A (ko) | 영상의 쇼트 분류를 이용한 사용자 맞춤형 영상 추천 시스템 | |
| JP2015146550A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP7371770B2 (ja) | アバター制御プログラム、アバター制御方法および情報処理装置 | |
| CN114564952A (zh) | 一种文本标题生成方法、装置、设备及介质 | |
| CN109241331B (zh) | 一种面向智能机器人的故事数据处理方法 | |
| JP6491808B1 (ja) | ゲームプログラムおよびゲーム装置 | |
| JP7313518B1 (ja) | 評価方法、評価装置、および、評価プログラム | |
| KR101647442B1 (ko) | 비주얼 컨텐츠 제작 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| JP7416053B2 (ja) | 情報処理装置および情報処理方法 | |
| KR101562901B1 (ko) | 대화 지원 서비스 제공 시스템 및 방법 | |
| JP7142403B1 (ja) | 会話処理プログラム、会話処理システムおよび会話型ロボット | |
| US20240086622A1 (en) | Methods and system for paraphrasing communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |