KR101979650B1 - 서버 및 그것의 동작 방법 - Google Patents

서버 및 그것의 동작 방법 Download PDF

Info

Publication number
KR101979650B1
KR101979650B1 KR1020180026935A KR20180026935A KR101979650B1 KR 101979650 B1 KR101979650 B1 KR 101979650B1 KR 1020180026935 A KR1020180026935 A KR 1020180026935A KR 20180026935 A KR20180026935 A KR 20180026935A KR 101979650 B1 KR101979650 B1 KR 101979650B1
Authority
KR
South Korea
Prior art keywords
terminals
users
information
terminal
user
Prior art date
Application number
KR1020180026935A
Other languages
English (en)
Inventor
안상일
이용제
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020180026935A priority Critical patent/KR101979650B1/ko
Priority to US16/275,449 priority patent/US11606397B2/en
Application granted granted Critical
Publication of KR101979650B1 publication Critical patent/KR101979650B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

복수의 단말기 사이의 영상 통화를 중개하는 서비스를 제공하는 서버의 동작 방법은, 영상 통화 중개 요청을 전송한 복수의 단말기에 포함된 복수의 제1 단말기 각각에 대해, 제1 단말기 및 복수의 단말기 중에서 선택되고 제1 단말기와 서로 다른 제2 단말기 사이의 영상 통화 세션이 수립되도록 중개하는 단계, 복수의 제1 단말기 각각으로부터 제1 단말기의 사용자의 영상 통화 세션에 대한 만족도 정보를 수신하는 단계, 복수의 제1 단말기 각각에 대해, 제1 단말기의 사용자의 특정한 종류의 신상 정보 및 제1 단말기에 대응하는 제2 단말기의 사용자의 얼굴의 특징에 대한 정보의 결합을 준비하는 단계, 결합 및 결합에 대응하는 만족도 정보 사이의 상관관계를 산출하는 단계, 제3 단말기 및 복수의 후보 단말기로부터 영상 통화 중개 요청을 수신하고, 제3 단말기의 사용자의 특정한 종류의 신상 정보, 복수의 후보 단말기 각각의 사용자의 얼굴의 특징에 대한 정보 및 산출된 상관관계를 이용하여 제3 단말기의 사용자의 복수의 후보 단말기 각각과의 영상 통화 세션에 대한 만족도 정보를 예측하는 단계, 및 예측된 결과를 이용하여 복수의 후보 단말기 중에서 제4 단말기를 선택하고, 제3 단말기 및 제4 단말기 사이의 영상 통화 세션이 수립되도록 중개하는 단계를 포함할 수 있다.

Description

서버 및 그것의 동작 방법{SERVER AND OPERATING METHOD THEREOF}
기재된 실시예는 복수의 단말기 사이의 영상 통화를 중개하는 서비스를 제공하는 서버 및 그것의 동작 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말기는 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말기가 널리 보급되고 있다. 단말기의 대부분은 통신 기능을 포함하고 있다. 사용자는 단말기를 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
또한, 소형 카메라 기술, 소형 마이크 기술, 소형 디스플레이 기술 및 소형 스피커 기술의 발전에 따라 스마트폰과 같은 대부분의 단말기에는 카메라, 마이크, 디스플레이 및 스피커가 포함되어 있다. 사용자는 단말기를 이용하여 음성을 녹음하거나 음성이 포함된 동영상을 촬영할 수 있다. 사용자는 단말기에 포함된 스피커를 통해 녹음된 음성을 확인하거나 디스플레이를 통해 촬영된 동영상을 확인할 수 있다.
또한, 사용자는 단말기의 통신 기능을 이용하여 녹음된 음성 또는 촬영된 동영상을 다른 사용자와 공유할 수 있다. 사용자는 이전에 녹음된 음성 또는 이전에 촬영된 동영상을 다른 사용자에게 전송할 수 있다. 또한, 사용자는 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 다른 사용자에게 전송할 수 있다.
동시에, 다른 사용자는 자신의 단말기에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 사용자에게 전송할 수 있다. 사용자의 단말기에 포함된 디스플레이는 사용자의 단말기에 의해 현재 촬영되고 있는 동영상 및 다른 사용자의 단말기에 의해 현재 촬영되고 있는 동영상을 동시에 표시할 수 있다. 또한, 사용자의 단말기에 포함된 스피커는 다른 사용자의 단말에 의해 현재 녹음되고 있는 음성을 동시에 재생할 수 있다. 다시 말해서, 사용자 및 다른 사용자는 각자의 단말기를 이용하여 서로 영상 통화(video call)를 할 수 있다.
사용자 및 다른 사용자는 서로 이미 아는 관계일 수도 있고, 서로 모르는 관계일 수도 있다. 사용자의 단말기 및 다른 사용자의 단말기를 포함한 복수의 단말기는 서버에 연결될 수 있다. 서버는 사용자의 단말 및 다른 사용자의 단말기 사이를 중개할 수 있다. 따라서, 사용자 및 다른 사용자는 서로 모르는 관계였다고 하더라도 서버의 중개를 통해 서로 영상 통화를 할 수 있다.
기재된 실시예에 따르면 영상 통화 시 단말기의 사용자의 매치 만족도를 향상시킬 수 있는 서버 및 그것의 동작 방법이 제공될 수 있다.
실시예에 따른 서버의 동작 방법은, 영상 통화 중개 요청을 전송한 복수의 단말기에 포함된 복수의 제1 단말기 각각에 대해, 상기 제1 단말기 및 상기 복수의 단말기 중에서 선택되고 상기 제1 단말기와 서로 다른 제2 단말기 사이의 영상 통화 세션이 수립되도록 중개하는 단계, 상기 복수의 제1 단말기 각각으로부터 상기 제1 단말기의 사용자의 상기 영상 통화 세션에 대한 만족도 정보를 수신하는 단계, 상기 복수의 제1 단말기 각각에 대해, 상기 제1 단말기의 사용자의 특정한 종류의 신상 정보 및 상기 제1 단말기에 대응하는 상기 제2 단말기의 사용자의 얼굴의 특징에 대한 정보의 결합을 준비하는 단계, 상기 결합 및 상기 결합에 대응하는 상기 만족도 정보 사이의 상관관계를 산출하는 단계, 제3 단말기 및 복수의 후보 단말기로부터 영상 통화 중개 요청을 수신하고, 상기 제3 단말기의 사용자의 상기 특정한 종류의 신상 정보, 상기 복수의 후보 단말기 각각의 사용자의 얼굴의 특징에 대한 정보 및 상기 산출된 상관관계를 이용하여 상기 제3 단말기의 사용자의 상기 복수의 후보 단말기 각각과의 영상 통화 세션에 대한 만족도 정보를 예측하는 단계, 및 상기 예측된 결과를 이용하여 상기 복수의 후보 단말기 중에서 제4 단말기를 선택하고, 상기 제3 단말기 및 상기 제4 단말기 사이의 영상 통화 세션이 수립되도록 중개하는 단계를 포함할 수 있다.
실시예에 따른 서버의 동작 방법은 적어도 하나 이상의 제1 단말기들 각각과 적어도 하나 이상의 제2 단말기들 사이에 영상 통화 세션을 수립하는 단계, 적어도 하나 이상의 제1 단말기들로부터 영상 통화 세션을 통해 생성된, 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 적어도 하나 이상의 제1 단말기들의 사용자들의 만족 지표 정보를 수신하는 단계. 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보 및 제2 단말기들의 사용자들의 얼굴 정보의 조합과 만족 지표 정보의 상관관계를 산출하는 단계, 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 특정한 종류의 신상 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 산출된 상관관계를 이용하여 복수의 단말기의 사용자들에 대한 제3 단말기의 사용자의 만족도를 예측하는 단계, 및 예측 결과를 이용하여 복수의 단말기의 사용자들 중에서 제3 단말기의 매치 상대방을 선정하는 단계를 포함할 수 있다.
실시예로서, 만족도 지표 정보는 영상 통화 세션을 통해 적어도 하나 이상의 제1 단말기들로부터 산출된 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 적어도 하나 이상의 제1 단말기들의 사용자들의 매치 만족도에 대응할 수 있다.
실시예로서, 예측 결과를 이용하여 복수의 단말기의 사용자들 중에서 제3 단말기의 매치 상대방을 선정하는 단계는 복수의 단말기의 사용자들 각각에 대해 예측된 제3 사용자의 만족도 중 가장 큰 만족도 값에 대응되는 사용자를 매치 상대방으로서 선택하는 단계를 포함할 수 있다.
실시예로서, 만족 지표 정보는 영상 통화 세션을 통해 적어도 하나 이상의 제1 단말기들로부터 수신된 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 적어도 하나 이상의 제1 단말기들의 사용자들의 적어도 하나 이상의 만족도 인자에 대응할 수 있다.
실시예로서, 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보 및 제2 단말기들의 사용자들의 얼굴 정보의 조합과 만족 지표 정보의 상관관계를 산출하는 단계는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보 및 제2 단말기들의 사용자들의 얼굴 정보의 조합과 적어도 하나 이상의 만족도 인자의 상관관계를 산출하는 단계를 포함할 수 있다.
실시예로서, 제3 단말기의 사용자의 특정한 종류의 신상 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상관관계를 이용하여 복수의 단말기의 사용자들에 대한 제3 단말기의 사용자의 만족도를 예측하는 단계는 제3 단말기의 사용자의 특정한 종류의 신상 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상관관계를 이용하여 복수의 단말기의 사용자들 각각에 대한 제3 단말기의 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계, 및 예측된 적어도 하나 이상의 만족도 인자를 이용하여 복수의 단말기의 사용자들 각각에 대한 제3 단말기의 사용자의 매치 만족도를 산출하는 단계를 포함할 수 있다.
실시예로서, 예측된 제3 사용자의 만족도를 이용하여 복수의 단말기의 사용자들 중에서 제3 단말기의 사용자의 매치 상대방을 선정하는 단계는 복수의 단말기의 사용자들 각각에 대해 산출된 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 매치 상대방으로서 선택하는 단계를 포함할 수 있다.
실시예로서, 특정한 종류의 신상 정보는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보 또는 나이 정보에 대응할 수 있다.
실시예로서, 복수의 단말기의 사용자들의 얼굴 정보는 복수의 단말기의 사용자들 각각의 얼굴 영상에 대응할 수 있다.
실시예로서, 복수의 단말기의 사용자들의 얼굴 정보는 복수의 단말기의 사용자들 각각의 얼굴의 특정 지점에 대한 좌표 정보에 대응하는 특징점 분포 정보에 대응할 수 있다.
실시 예에 따른 서버는 적어도 하나 이상의 제1 단말기들 각각과 적어도 하나 이상의 제2 단말기들 사이에 영상 통화 세션을 수립하는 제어부, 및 제1 단말기들로부터 영상 통화 세션을 통해 생성된, 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 적어도 하나 이상의 제1 단말기들의 사용자들의 만족 지표 정보를 수신하는 통신부를 포함하고, 제어부는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보 및 제2 단말기들의 사용자들의 얼굴 정보의 조합과 만족 지표 정보의 상관관계를 산출하고, 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 특정한 종류의 신상 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상관관계를 이용하여 복수의 단말기의 사용자들에 대한 제3 단말기의 사용자의 만족도를 예측하고, 예측 결과를 이용하여 복수의 단말기의 사용자들 중에서 제3 단말기의 매치 상대방을 선정할 수 있다.
실시예로서, 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보가 국적 정보인 경우, 제어부는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보 및 제2 단말기들의 사용자들의 얼굴 정보의 조합과 만족 지표 정보의 상관관계를 산출하고, 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 국적 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상관관계를 이용하여 복수의 단말기의 사용자들에 대한 제3 단말기의 사용자의 만족도를 예측할 수 있다.
실시예로서, 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보가 나이 정보인 경우, 제어부는 적어도 하나 이상의 제1 단말기들의 사용자들의 나이 정보 및 제2 단말기들의 사용자들의 얼굴 정보의 조합과 만족 지표 정보의 상관관계를 산출하고, 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 나이 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상관관계를 이용하여 복수의 단말기의 사용자들에 대한 제3 단말기의 사용자의 만족도를 예측할 수 있다.
실시예로서, 제어부는 복수의 단말기의 사용자들 각각에 대해 예측된 제3 단말기의 사용자의 만족도 중 가장 큰 만족도 값에 대응되는 사용자를 제3 사용자로서 선택할 수 있다.
기재된 실시예에 따르면 영상 통화 시 단말기의 사용자의 매치 만족도가 향상될 수 있다.
도 1은 실시예에 따른 전자 장치가 동작하는 환경을 나타내는 네트워크 구성도이다.
도 2는 실시예에 따른 단말기의 구성을 나타내는 블록도이다.
도 3은 실시예에 따른 사용자의 얼굴 영상에서 획득되는 특징점 분포 정보를 보여주는 도면이다.
도 4는 실시예에 따른 서버의 구성을 나타내는 블록도이다.
도 5는 실시예에 따른 서버의 동작 방법을 보여주는 순서도이다.
도 6은 실시예에 따른 서버가 영상 통화 상대방을 선택하는 방법을 보여주는 순서도이다.
도 7은 다른 실시예에 따른 서버의 동작 방법을 보여주는 순서도이다.
도 8은 다른 실시예에 따른 서버가 영상 통화 상대방을 선택하는 방법을 보여주는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 실시예에 따른 전자 장치가 동작하는 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 복수의 전자 장치(100~300)가 동작하는 환경은 서버(400) 및 복수의 전자 장치(100~300)를 포함할 수 있다.
복수의 전자 장치(100~300) 각각은 서버(400)를 매개로 연결될 수 있다. 설명의 편의를 위해, 도 1에서 세 개의 전자 장치가 도시되어 있다. 하지만, 전자 장치의 개수는 세 개로 한정되지 않는다. 복수의 전자 장치(100~300) 각각은 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 중 하나로써 구현될 수 있다. 복수의 전자 장치(100~300) 각각은 프로그램 또는 애플리케이션을 실행할 수 있다.
복수의 전자 장치(100~300) 각각은 통신망에 연결될 수 있다. 복수의 전자 장치(100~300) 각각은 통신망을 통해 서로 연결되거나 서버(400)와 연결될 수 있다. 복수의 전자 장치(100~300) 각각은 서로 연결된 다른 장치에 데이터를 출력하거나 다른 장치로부터 데이터를 수신할 수 있다.
복수의 전자 장치(100~300) 각각에 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS(Universal Mobile Telephone System)/GPRS(General Packet Radio Service), 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 출력(MST, Magnetic Secure Transmission), RFID(Radio Frequency Identification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
복수의 전자 장치(100~300) 중 서로 연결된 두 개의 전자 장치는 서로 메시지, 파일, 음성 데이터, 영상, 또는 동영상 등을 주고 받을 수 있다. 서로 연결된 두 개의 전자 장치는 음성 통화 세션 또는 영상 통화(video call) 세션을 수립할 수 있다. 영상 통화 세션은 예를 들어, TCP(Transmission Control Protocol), UDP(User Datagram Protocol), 또는 WebRTC(Web Real-Time Communication) 등을 이용하여 수립될 수 있다. 서로 연결된 두 개의 전자 장치 각각의 사용자는 서로 음성 통화 또는 영상 통화를 수행 할 수 있다.
복수의 전자 장치(100~300)는 영상 통화 기능을 구비할 수 있다. 예를 들어, 영상 통화 기능은 영상 통화 애플리케이션(application) 형태로 복수의 전자 장치(100~300)에 각각 구비될 수 있다. 복수의 전자 장치(100~300) 각각의 사용자는 구비된 애플리케이션을 실행함으로써 영상 통화 기능을 이용하여 다른 상대방과 영상 통화를 수행할 수 있다.
예를 들어, 제1 전자 장치(100)의 제1 사용자는 영상 통화 애플리케이션을 실행하여 제2 전자 장치(200)의 사용자와의 영상 통화 연결을 서버(400)에 요청할 수 있다. 요청을 수신한 서버(400)는 제2 전자 장치(200)의 통신 상태를 확인하고, 제1 전자 장치(100)와 제2 전자 장치(200) 사이의 영상 통화를 위한 세션을 수립할 수 있다.
제1 전자 장치(100)의 제1 사용자는 영상 통화 애플리케이션을 실행하여 임의의 사용자와의 영상 통화 연결을 서버(400)에 요청할 수 있다. 요청을 수신한 서버(400)는 제2 전자 장치(200)를 임의로 선택하고, 제1 전자 장치(100)와 제2 전자 장치(200) 사이의 영상 통화를 위한 세션을 수립할 수 있다.
제1 전자 장치(100)의 제1 사용자는 영상 통화 애플리케이션을 실행하여 임의의 사용자와의 영상 통화 서비스를 이용할 수 있다. 이 때, 제1 사용자의 임의의 전자 장치의 사용자에 대한 매치 만족도는 다양한 방법을 통해 확인될 수 있고, 확인된 매치 만족도는 서버(400)에 전달되어 매칭 결과의 학습에 이용될 수 있다.
이하에서, 발명의 설명의 편의를 위해, 전자 장치 및 단말기는 동일한 의미로 사용될 수 있다.
도 2는 실시예에 따른 단말기의 구성을 나타내는 블록도이다. 도 2를 참조하면, 제1 단말기(100)는 입력부(110), 저장부(120), 제어부(130), 출력부(140) 및 통신부(150)를 포함할 수 있다. 제2 단말기(200) 및 제3 단말기(300) 각각은 제1 단말기(100)와 유사 또는 동일하게 구현될 수 있다.
입력부(110)는 외부로부터 신호를 수신할 수 있다. 입력부(110)는 단말기(100)의 사용자로부터 신호를 수신할 수 있다. 또한, 입력부(110)는 외부 장치로부터 신호를 수신할 수 있다. 예를 들어, 입력부(110)는 마이크, 카메라, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치 등을 포함할 수 있다. 입력부(110)는 입력부(110)에 포함된 마이크를 통해 외부로부터 음성을 수신할 수 있다. 또한, 입력부(110)는 입력부(110)에 포함된 카메라로부터 촬영된 사용자의 얼굴 영상, 이미지 또는 사용자로부터 제스처를 수신할 수 있다.
저장부(120)는 데이터를 저장할 수 있다. 저장부(120)는 입력부(110)로부터 수신된 사용자의 얼굴 영상, 음성, 또는 이미지 데이터를 저장할 수 있다. 그리고, 저장부(120)는 제어부(130)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 저장부(120)는 제어부(130)에 의해 인코딩된 음성을 저장할 수 있다. 저장부(120)는 통신부(150)를 통해 외부에 출력할 데이터를 저장하거나 통신부(150)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
저장부(120)는 소프트웨어 또는 프로그램을 저장할 수 있다. 예를 들어, 저장부(120)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 저장부(120)는 제어부(130)에 의해 실행 가능한 명령어들을 저장할 수 있다.
저장부(120)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 저장부(120)는 예를 들어, 플래시(flash) 메모리, ROM(Read Only Memory), RAM(Random Access Memory), EEROM(Electrically Erasable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 중 적어도 하나를 포함할 수 있다. 저장부(120)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
제어부(130) 또는 제어부(130)에 포함된 구성 요소들 각각은 소프트웨어(software) 또는 하드웨어(hardware) 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계코드, 펌웨어 코드(firmware code), 임베디드 코드(embedded code), 및 애플리케이션(application) 등과 같은 프로그램 실행 명령어들로써 구현될 수 있다. 하드웨어는 전기 전자 회로, 프로세서, 컴퓨터, 압력 센서, 관성 센서, MEMS(microelectromechanical system), 수동 소자들, 또는 그것들의 조합일 수 있다.
제어부(130)는 단말기(100)의 동작을 제어할 수 있다. 제어부(130)는 단말기(100)에 포함된 각각의 구성요소와 서로 연결될 수 있다. 제어부(130)는 단말기(100)에 포함된 각각의 구성요소의 동작을 제어할 수 있다. 제어부(130)는 입력부(110)에 의해 수신된 신호에 대한 응답으로, 단말기(100)의 동작을 제어할 수 있다.
제어부(130)는 입력부(110)를 통해 촬영된 사용자의 얼굴 영상을 수신할 수 있다. 제어부(130)는 사용자의 얼굴 영상을 이용하여 특징점 분포 정보를 생성할 수 있다. 특징점 분포 정보는 사용자의 얼굴의 적어도 하나 이상의 특정 지점에 대한 좌표 정보를 포함할 수 있다. 예를 들어, 특징점 분포 정보는 사용자의 얼굴의 눈, 코, 입, 눈썹, 및 광대뼈 등에 대응하는 지점 각각의 좌표에 대한 정보를 포함할 수 있다. 특징점 분포 정보는 사용자 얼굴의 다양한 지점에 대응하는 좌표 정보를 포함할 수 있다. 사용자 영상으로부터 획득되는 특징점 분포 정보는 통신부(150)를 통해 서버(400)에 출력될 수 있다. 제어부(130)가 특징점 분포 정보를 획득하는 방법은 도 3을 참조하여 설명될 수 있다.
도 3은 실시예에 따른 사용자의 얼굴 영상에서 획득되는 특징점 분포 정보를 보여주는 도면이다. 제1 단말기(100)의 제어부(130)는 제1 사용자를 촬영한 영상으로부터 제1 사용자의 얼굴 특징점들을 추출할 수 있다.
도 3의 610을 참고하면, 제어부(130)는 제1 사용자의 영상으로부터 제1 사용자의 얼굴 부위인 눈 부위, 코 부위, 입 부위, 이마 부위, 및 턱 부위 중 적어도 하나의 부위 좌표 정보에 대응하는 특징점들을 추출할 수 있다.
도 3의 620을 참고하면, 제어부(130)는 제1 사용자의 영상으로부터 제1 사용자의 얼굴 부위의 영역만을 추출할 수 있다.
도 3의 630 및 640을 참고하면, 제어부(130)는 추출된 얼굴 부위 영역 내의 특징점들로부터 특징 벡터를 획득할 수 있다. 제어부(130)는 안면 부위 영역을 n x n 블록으로 분할하고, 각 블록에 속한 픽셀들의 그래디언트(gradient) 방향과 크기에 대한 히스토그램(histogram)을 획득할 수 있다. 제어부(130)는 획득된 히스토그램의 값들로부터 특징 벡터를 획득할 수 있다. 제어부(130)는 특징 벡터에 기초하여, 제1 사용자의 얼굴의 특징점 분포 정보를 획득할 수 있다.
도 3에서 설명한 제1 사용자의 얼굴의 특징점 분포 정보를 획득하는 방법은 일예시이고, 다른 공지된 방법에 의해서도 제1 사용자의 얼굴의 특징점 분포 정보를 획득할 수 있다. 예를 들면, 제1 단말(100)은 SIFT, HOG, Haar feature, Ferns, LBP 및 MCT 중 적어도 하나 또는 하나 이상을 조합하여, 제1 사용자의 얼굴 영상으로부터 제1 사용자의 얼굴 특징점들의 분포 정보를 획득할 수 있다. 복수의 단말기(100~300) 중 제1 단말기(100)를 제외한 나머지 단말기(200, 300)는 도 3에서 설명된 방법을 이용하여 얼굴의 특징점 분포 정보를 획득할 수 있다.
다시 도 2를 참조하면, 제어부(130)는 입력부(110)를 통해 제1 사용자의 특정 종류의 신상 정보를 수신할 수 있다. 특정 종류의 신상 정보는 영상 통화 세션이 수립되기 전에 입력된 사용자의 출생 국가에 대한 정보 또는 사용자의 나이 정보일 수 있다.
제어부(130)는 제2 사용자에 대한 제1 사용자의 매치 만족도를 산출할 수 있다. 여기서, '매치 만족도'는 서버(400)에 의해 매칭된 제2 사용자에 대한 제1 사용자의 만족도를 의미할 수 있다.
제어부(130)는 제1 사용자로부터 수신되는 적어도 하나 이상의 입력에 기초하여 만족도 인자를 결정할 수 있다. 예를 들어, 제어부(130)는 제1 사용자로부터 수신되는 매치 지속시간, 매치를 종료한 사용자가 누구인지 여부, 매치 중에 텍스트 메시징을 했는지 여부 및 메시징 횟수, 매치 중 언어 번역 기능의 사용 횟수, 매치 중 사용자의 영상으로부터 검출되는 표정의 종류/빈도/시간/비율, 제1 사용자의 침묵 여부, 매치 중 양 사용자의 발화시간/발화시간의 전체 매치 시간에 대한 비율/음성의 평균 주파수/음성의 평균 크기/목소리 톤, 매치 중 발생한 소리 내에서 웃음 소리의 검출 횟수, 매치 중 발생한 소리 또는 텍스트 메시지 내에서 호감 또는 비호감(욕설 등) 관련 단어의 검출 여부 및 횟수, 매치 중 사용자가 몸을 얼마나 많이 움직였는지, 매치 중 발생한 바디랭귀지의 횟수, 매치 중 발생한 바디랭귀지 내에서 호감 또는 비호감 관련 바디랭귀지의 검출 여부 및 횟수, 매치 후 비디오콜 또는 메시징 또는 친구신청을 했는지 여부, 사용자들이 친구관계가 된 이후의 인터랙션 횟수/빈도, 다른 플랫폼의 ID 또는 전화번호를 교환했는지 여부, 제1 사용자가 차단 또는 신고했는지 여부, 제1 사용자로부터의 특정한 입력이 수신되는지 여부 등에 대한 정보를 기반으로 다양한 만족도 인자를 결정할 수 있다. 그리고, 제어부(130)는 다양한 만족도 인자에 기초하여 매치 만족도를 산출할 수 있다.
예를 들어, 제어부(130)는 하기의 수학식 1을 이용하여 매치 만족도를 산출할 수 있다.
Figure 112018023017433-pat00001
위 수학식 1에서 k는 만족도 인자의 개수를 나타내고,
Figure 112018023017433-pat00002
Figure 112018023017433-pat00003
는 만족도 인자를 나타낼 수 있다. 그리고,
Figure 112018023017433-pat00004
는 만족도 인자의 계수를 나타낼 수 있다. 예를 들어, 만족도 인자(
Figure 112018023017433-pat00005
)는 제1 사용자로부터 수신되는 매치 지속시간, 매치 중에 텍스트 메시징을 했는지 여부 및 메시징 횟수, 매치 중 언어 번역 기능의 사용 횟수, 매치 중 발생한 소리 내에서 웃음 소리의 검출 횟수, 매치 중 발생한 소리 또는 텍스트 메시지 내에서 호감 관련 단어의 검출 여부 및 횟수, 매치 중 발생한 바디랭귀지 내에서 호감 관련 바디랭귀지의 검출 여부 및 횟수, 매치 후 비디오콜 또는 메시징 또는 친구신청을 했는지 여부, 사용자들이 친구관계가 된 이후의 인터랙션 횟수/빈도, 및 다른 플랫폼의 ID 또는 전화번호를 교환했는지 여부 중 적어도 하나일 수 있다.
위 수학식 1을 참조하면, 만족도 인자(
Figure 112018023017433-pat00006
)는 제1 사용자가 제2 사용자에게 관심이 있는지 여부에 대한 인자일 수 있다. 따라서, 만족도 인자(
Figure 112018023017433-pat00007
)의 값이 클 수록, 매치 만족도(S)의 값은 높아질 수 있다.
제어부(130)는 통신부(150)를 통해 산출된 매치 만족도(S)를 서버(400)에 전송할 수 있다. 또는, 제어부(130)는 매치 만족도를 산출하지 않고, 통신부(150)를 통해 만족도 인자(
Figure 112018023017433-pat00008
)를 서버(400)에 전송할 수 있다. 만족도 인자(
Figure 112018023017433-pat00009
)는 상술된 다양한 인자들 중에서 하나에 대응할 수 있다.
출력부(140)는 화면을 표시할 수 있다. 제어부(130)는 출력부(140)에 화면이 표시되도록 제어할 수 있다. 출력부(140)는 사용자 인터페이스를 표시할 수 있다. 출력부(140)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
출력부(140)는 데이터를 표시할 수 있다. 출력부(140)는 제어부(130)에 의해 수행된 연산 결과를 표시할 수 있다. 예를 들어, 출력부(140)는 사용자 영상, 영상 통화 상대방의 상대방 영상, 및/또는 적어도 하나 이상의 아이콘(icon)을 디스플레이할 수 있다.
출력부(140)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 출력부(140)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 출력부(140)는 터치스크린을 포함할 수 있다. 출력부(140)가 터치스크린을 포함하는 경우, 출력부(140)는 출력 동작을 수행하는 동시에 입력부(110)로써 동작할 수 있다.
출력부(140)는 소리를 출력할 수 있다. 출력부(140)는 입력부(110)를 통해 수신된 소리, 또는 외부 장치를 통해 수신된 소리를 출력할 수 있다. 예를 들어, 출력부(140)는 스피커(speaker)를 포함할 수 있다.
통신부(150)는 단말기(100)의 외부에 데이터를 출력하거나 외부로부터 데이터를 수신할 수 있다. 통신부(150)는 서버(400) 또는 외부 장치에 데이터를 출력할 수 있다. 통신부(150)는 서버(400) 및 외부 장치로부터 데이터를 수신할 수 있다. 통신부(150)는 제어부(130)에 의해 수행된 연산 결과를 외부에 출력할 수 있다. 예를 들어, 통신부(150)는 제1 사용자의 얼굴 영상 또는 제1 사용자의 얼굴 영상에서 추출된 특징점 분포 정보를 포함하는 얼굴 정보를 서버(400)에 출력할 수 있다. 또한, 통신부(150)는 저장부(120)에 저장된 데이터를 외부에 출력할 수 있다.
통신부(150)에 의해 출력될 데이터 또는 통신부(150)에 의해 수신된 데이터는 저장부(120)에 저장될 수 있다. 예를 들어, 통신부(150)는 제어부(130)에서 생성된 메시지를 서버(400)에 출력할 수 있다.
통신부(150)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(150)는 마그네틱 보안 출력(MST) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(150)는 기타 네트워크 인터페이스를 포함할 수 있다.
도 4는 실시예에 따른 서버의 구성을 나타내는 블록도이다. 도 1 및 도 4를 참조하면, 서버(400)는 통신부(410), 저장부(420) 및 제어부(430)를 포함할 수 있다.
통신부(410)는 서버(400)의 외부에 데이터를 출력하거나 외부로부터 데이터를 수신할 수 있다. 통신부(410)는 복수의 단말기(100~300)에 데이터를 출력할 수 있다. 통신부(410)는 복수의 단말기(100~300)로부터 데이터를 수신할 수 있다. 통신부(410)는 제어부(430)에 의해 수행된 연산 결과를 외부에 출력할 수 있다. 또한, 통신부(410)는 저장부(420)에 저장된 데이터를 외부에 출력할 수 있다.
통신부(410)에 의해 출력될 데이터 또는 통신부(410)에 의해 수신된 데이터는 저장부(420)에 저장될 수 있다. 그리고, 통신부(410)는 제어부(430)에서 학습된 학습 모델에 대한 정보를 복수의 단말기(100~300) 중 하나에 전송할 수 있다. 통신부(410)는 복수의 단말기(100~300) 각각으로부터 특정 종류의 신상 정보, 영상 통화 연결 요청, 사용자의 얼굴 정보, 매치 만족도, 및/또는 매치 만족도 산출에 이용되는 만족도 인자를 수신할 수 있다. 통신부(410)는 다양한 유선 및/또는 무선 통신 네트워크를 통해 복수의 단말기(100~300)와 통신할 수 있다.
예를 들어, 통신부(410)는 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그 모듈, UWB 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(410)는 마그네틱 보안 출력(MST) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(410)는 기타 네트워크 인터페이스를 포함할 수 있다.
저장부(420)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 저장부(420)는 제어부(430)에 의해 실행 가능한 명령어들을 저장할 수 있다. 예를 들어, 애플리 케이션은 복수의 단말기(100~300) 사이에 영상 통화 서비스를 제공할 수 있는 애플리케이션일 수 있다. 저장부(420)는 통신부(410)를 통해 복수의 단말기(100~300)로부터 수신된 복수의 단말기(100~300) 각각의 사용자의 특정 종류의 신상 정보, 얼굴 정보, 매치 만족도 및 매치 만족도 인자를 저장할 수 있다.
저장부(420)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 저장부(420)는 예를 들어, 플래시 메모리, ROM, EEROM, EPROM, EEPROM, 하드디스크 드라이브, 또는 레지스터 중 적어도 하나를 포함할 수 있다. 저장부(420)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
제어부(430) 또는 제어부(430)에 포함된 구성 요소들 각각은 소프트웨어 또는 하드웨어 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계코드, 펌웨어 코드, 임베디드 코드, 및 애플리케이션 등과 같은 프로그램 실행 명령어들로 구현될 수 있다. 하드웨어는 전기 전자 회로, 프로세서, 컴퓨터, 압력 센서, 관성 센서, MEMS, 수동 소자들, 또는 그것들의 조합일 수 있다.
제어부(430)는 저장부(420)에 저장된 명령어들 및 애플리케이션을 실행할 수 있다. 예를 들어, 제어부(430)는 저장부(420)에 저장된 애플리케이션을 실행함으로써 복수의 단말기(100~300) 각각으로부터 수신된 특정 종류의 신상 정보, 영상 통화 연결 요청, 사용자의 얼굴 정보, 매치 만족도, 및/또는 매치 만족도 산출에 이용되는 만족도 인자에 기초한 학습 모델을 이용하여 특정 종류의 신상 정보를 제공한 단말기의 사용자가 만족할 확률이 높을 것으로 예측되는 영상 통화 상대방을 선택할 수 있다.
예를 들어, 제어부(430)는 딥 러닝(deep learning) 알고리즘을 이용하여 학습 모델을 학습시킬 수 있다. 학습 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network,RNN), R-CNN(Region- based Convolutional Neural Networks), 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN),또는 심층 큐 네트워크(Deep Q-Networks) 중에서 적어도 하나 이상을 포함할 수 있다. 또한, 학습 모델은 합성곱 신경망(Convolutional Neural Network, CNN)이거나, AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, Inception-ResNet, Inception-v2, Inception-v3, 또는 Inception-v4를 포함할 수 있다.
학습 모델은 적어도 둘 이상의 레이어(layer)를 포함하는 뉴럴 네트워크(neural network)일 수 있다. 학습 모델은 입력 레이어(input layer) 및 출력 레이어(output layer)를 포함할 수 있다. 학습 모델은 적어도 하나 이상의 은닉 레이어(hidden layer)를 더 포함할 수 있다
제어부(430)가 학습 모델을 이용하여 특정 단말기의 영상 통화 상대방을 선택하는 방법은 도 5 내지 도 8을 참조하여 설명될 것이다.
도 5는 실시예에 따른 서버의 동작 방법을 보여주는 순서도이다. 도 4 및 도 5를 참조하면, S110 단계에서, 서버(400)의 제어부(430)는 복수의 단말기(100~300) 중 적어도 하나 이상의 제1 단말기들 각각과 적어도 하나 이상의 제2 단말기들 사이에 영상 통화 세션을 수립할 수 있다. 예를 들어, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 영상 통화 연결 요청에 응답하여, 적어도 하나 이상의 제2 단말기들을 임의로 선택할 수 있다.
S120 단계에서, 서버(400)의 통신부(410)는 적어도 하나 이상의 제1 단말기들로부터 적어도 하나 이상의 제1 단말기들의 사용자들의 매치 만족도를 수신할 수 있다. 적어도 하나 이상의 제1 단말기들의 사용자들의 매치 만족도는 적어도 하나 이상의 제1 단말기들의 사용자들의 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 매치 만족도일 수 있다. 매치 만족도는 적어도 하나 이상의 제1 단말기들에서 수학식 1과 같은 방법으로 산출될 수 있다.
S130 단계에서, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보, 매치 만족도 및 제2 단말기들의 사용자들의 얼굴 정보를 이용하여 알고리즘을 준비할 수 있다. 서버(400)의 제어부(430)가 알고리즘을 준비하는 방법 및 제1 사용자의 영상 통화 상대방을 선택하는 방법은 도 6을 참조하여 설명될 것이다.
도 6은 실시예에 따른 서버가 영상 통화 상대방을 선택하는 방법을 보여주는 순서도이다. 도 4 내지 도 6을 참조하면, S210 단계에서, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보와 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 정보의 조합과 매치 만족도 사이의 상관관계를 산출할 수 있다. 좀 더 구체적으로, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보와 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 정보에 따른 매치 만족도의 경향을 파악할 수 있다. 예를 들어, 산출된 상관관계는 다양한 딥러닝 알고리즘을 이용하여 학습된 학습 모델일 수 있다.
예를 들어, 특정한 종류의 신상 정보는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보 또는 나이 정보에 대응할 수 있다. 그리고, 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 정보는 적어도 하나 이상의 제2 단말기들의 사용자들 각각의 얼굴 영상 또는 제2 단말기들의 사용자들 각각의 얼굴 영상으로부터 획득된 특징점 분포 정보에 대응할 수 있다.
예를 들어, 제1 사용자의 특정한 종류의 신상 정보가 국적 정보인 경우, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 영상의 조합과 매치 만족도 사이의 상관관계를 산출할 수 있다. 또는, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 특징점 분포 정보의 조합과 매치 만족도 사이의 상관관계를 산출할 수 있다.
다른 예로서, 제1 사용자의 특정 종류의 신상 정보가 나이 정보인 경우, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 나이 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 영상의 조합과 매치 만족도 사이의 상관관계를 산출할 수 있다. 또는, 서버(400)의 제어부(430)는 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 나이 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 특징점 분포 정보의 조합과 매치 만족도 사이의 상관관계를 산출할 수 있다.
S220 단계에서, 서버(400)의 제어부(430)는 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 특정한 종류의 신상 정보 및 복수의 단말기(100~300)의 사용자들의 얼굴 정보의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 매치 만족도를 예측할 수 있다. 예를 들어, 제3 단말기는 복수의 단말기(100~300) 중 하나일 수 있다. 다른 예로서, 제3 단말기는 복수의 단말기(100~300) 외의 새로운 단말기일 수 있다.
예를 들어, 특정 종류의 신상 정보가 국적 정보인 경우, 서버(400)의 제어부(430)는 제3 단말기의 사용자의 국적 정보, 복수의 단말기(100~300)의 사용자들의 얼굴 영상의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 매치 만족도를 예측할 수 있다. 또는, 서버(400)의 제어부(430) 제3 단말기의 사용자의 국적 정보, 복수의 단말기(100~300)의 사용자들의 특징점 분포 정보의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 매치 만족도를 예측할 수 있다.
다른 예로서, 특정 종류의 신상 정보가 나이 정보인 경우, 서버(400)의 제어부(430)는 제3 단말기의 사용자의 나이 정보, 복수의 단말기(100~300)의 사용자들의 얼굴 영상의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 매치 만족도를 예측할 수 있다. 또는, 서버(400)의 제어부(430)는 제3 단말기의 사용자의 나이 정보, 복수의 단말기(100~300)의 사용자들의 특징점 분포 정보의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 매치 만족도를 예측할 수 있다.
S230 단계에서, 서버(400)의 제어부(430)는 예측된 제3 사용자의 만족도에 기초하여 제3 사용자의 매치 상대방을 선택할 수 있다. 예를 들어, 서버(400)는 제3 사용자와 복수의 단말기(100~300)의 사용자들 각각에 대해 예측된 만족도 중 가장 큰 값에 대응하는 사용자를 다음 상대방으로 선택할 수 있다.
도 7은 다른 실시예에 따른 서버의 동작 방법을 보여주는 순서도이다. 도 4 및 도 7을 참조하면, S310 단계에서, 서버(400)의 제어부(430)는 복수의 단말기(100~300) 중 적어도 하나 이상의 제1 단말기들 각각과 적어도 하나 이상의 제2 단말기들 사이에 영상 통화 세션을 수립할 수 있다. 예를 들어, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 영상 통화 연결 요청에 응답하여, 적어도 하나 이상의 제2 단말기들을 임의로 선택할 수 있다.
S320 단계에서, 서버(400)의 통신부(410)는 적어도 하나 이상의 제1 단말기들로부터 적어도 하나 이상의 제1 단말기들의 사용자들의 만족도 인자를 수신할 수 있다. 적어도 하나 이상의 제1 단말기들의 사용자들의 적어도 하나 이상의 만족도 인자는 제2 사용자와의 영상 통화 중에 제1 사용자에 의해 생성되는 인자일 수 있다.
S330 단계에서, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보, 적어도 하나 이상의 만족도 인자 및 제2 단말기들의 사용자들의 얼굴 정보를 이용하여 알고리즘을 준비할 수 있다. 서버(400)의 제어부(430)가 알고리즘을 준비하는 방법 및 제1 사용자의 영상 통화 상대방을 선택하는 방법은 도 8을 참조하여 설명될 것이다.
도 8은 실시예에 따른 서버가 영상 통화 상대방을 선택하는 방법을 보여주는 순서도이다. 도 4, 도 7, 및 도 8을 참조하면, S410 단계에서, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보와 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 정보의 조합과 적어도 하나 이상의 만족도 인자 사이의 상관관계를 산출할 수 있다. 좀 더 구체적으로, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보와 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 정보에 따른 적어도 하나 이상의 만족도 인자의 경향을 파악할 수 있다. 예를 들어, 산출된 상관관계는 다양한 딥러닝 알고리즘을 이용하여 학습된 학습 모델일 수 있다.
예를 들어, 특정한 종류의 신상 정보는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보 또는 나이 정보를 포함할 수 있다. 그리고, 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 정보는 적어도 하나 이상의 제2 단말기들의 사용자들 각각의 얼굴 영상 또는 제2 단말기들의 사용자들 각각의 얼굴 영상으로부터 획득된 특징점 분포 정보를 포함할 수 있다.
예를 들어, 제1 사용자의 특정한 종류의 신상 정보가 국적 정보인 경우, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 영상의 조합과 적어도 하나 이상의 만족도 인자 사이의 상관관계를 산출할 수 있다. 또는, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 특징점 분포 정보의 조합과 적어도 하나 이상의 만족도 인자 사이의 상관관계를 산출할 수 있다.
다른 예로서, 제1 사용자의 특정 종류의 신상 정보가 나이 정보인 경우, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 나이 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 얼굴 영상의 조합과 적어도 하나 이상의 만족도 인자 사이의 상관관계를 산출할 수 있다. 또는, 서버(400)의 제어부(430)는 적어도 하나 이상의 제1 단말기들의 사용자들의 나이 정보, 및 적어도 하나 이상의 제2 단말기들의 사용자들의 특징점 분포 정보의 조합과 적어도 하나 이상의 만족도 인자 사이의 상관관계를 산출할 수 있다.
S420 단계에서, 서버(400)의 제어부(430)는 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 특정한 종류의 신상 정보 및 복수의 단말기(100~300)의 사용자들의 얼굴 정보의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 적어도 하나 이상의 만족도 인자를 예측할 수 있다. 예를 들어, 제3 단말기는 복수의 단말기(100~300) 중 하나일 수 있다. 다른 예로서, 제3 단말기는 복수의 단말기(100~300) 외의 새로운 단말기일 수 있다.
예를 들어, 특정 종류의 신상 정보가 국적 정보인 경우, 서버(400)의 제어부(430)는 제3 단말기의 사용자의 국적 정보, 복수의 단말기(100~300)의 사용자들의 얼굴 영상의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 적어도 하나 이상의 만족도 인자를 예측할 수 있다. 또는, 서버(400)의 제어부(430)는 제3 단말기의 사용자의 국적 정보, 복수의 단말기(100~300)의 사용자들의 특징점 분포 정보의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 적어도 하나 이상의 만족도 인자를 예측할 수 있다.
다른 예로서, 특정 종류의 신상 정보가 나이 정보인 경우, 서버(400)의 제어부(430)는 제3 단말기의 사용자의 나이 정보, 복수의 단말기(100~300)의 사용자들의 얼굴 영상의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 적어도 하나 이상의 만족도 인자를 예측할 수 있다. 또는, 서버(400)의 제어부(430)는 제3 단말기의 사용자의 나이 정보, 복수의 단말기(100~300)의 사용자들의 특징점 분포 정보의 조합과 산출된 상관관계를 이용하여 복수의 단말기(100~300)의 사용자들에 대한 제3 단말기의 사용자의 적어도 하나 이상의 만족도 인자를 예측할 수 있다.
S430 단계에서, 서버(400)의 제어부(430)는 예측된 적어도 하나 이상의 만족도 인자를 이용하여 복수의 단말기(100~300)의 사용자들 각각에 대한 제1 사용자의 매치 만족도를 산출할 수 있다. 예를 들어, 서버(400)의 제어부(430)는 수학식 1과 같은 방법을 이용하여 복수의 단말기(100~300)의 사용자들 각각에 대한 제1 사용자의 매치 만족도를 산출할 수 있다.
S440 단계에서, 서버(400)의 제어부(430)는 산출된 제3 사용자의 만족도에 기초하여 제3 사용자의 매치 상대방을 선택할 수 있다. 예를 들어, 서버(400)는 제3 사용자와 복수의 단말기(100~300)의 사용자들 각각에 대해 산출된 만족도 중 가장 큰 값에 대응하는 사용자를 다음 상대방으로 선택할 수 있다.
또 다른 실시예에 따르면, 먼저, 서버(400)는 영상 통화 중개 요청을 전송한 복수의 단말기에 포함된 복수의 제1 단말기 각각에 대해, 상기 제1 단말기 및 상기 복수의 단말기 중에서 선택되고 상기 제1 단말기와 서로 다른 제2 단말기 사이의 영상 통화 세션이 수립되도록 중개할 수 있다. 다음으로, 서버(400)는 상기 복수의 제1 단말기 각각으로부터 상기 제1 단말기의 사용자의 상기 영상 통화 세션에 대한 만족도 정보를 수신할 수 있다.
다음으로, 서버(400)는 상기 복수의 제1 단말기 각각에 대해, 상기 제1 단말기의 사용자의 특정한 종류의 신상 정보 및 상기 제1 단말기에 대응하는 상기 제2 단말기의 사용자의 얼굴의 특징에 대한 정보의 결합을 준비할 수 있다. 다음으로, 서버(400)는 상기 결합 및 상기 결합에 대응하는 상기 만족도 정보 사이의 상관관계를 산출할 수 있다.
다음으로, 서버(400)는 제3 단말기 및 복수의 후보 단말기로부터 영상 통화 중개 요청을 수신할 수 있다. 서버(400)는 상기 제3 단말기의 사용자의 상기 특정한 종류의 신상 정보, 상기 복수의 후보 단말기 각각의 사용자의 얼굴의 특징에 대한 정보 및 상기 산출된 상관관계를 이용하여 상기 제3 단말기의 사용자의 상기 복수의 후보 단말기 각각과의 영상 통화 세션에 대한 만족도 정보를 예측할 수 있다.
다음으로, 서버(400)는 상기 예측된 결과를 이용하여 상기 복수의 후보 단말기 중에서 제4 단말기를 선택하고, 상기 제3 단말기 및 상기 제4 단말기 사이의 영상 통화 세션이 수립되도록 중개할 수 있다.
도 1 내지 도 8을 참조하여 설명된 바와 같이, 서버(400)는 영상 통화 시 단말기의 사용자의 매치 만족도가 높을 것으로 예측되는 영상 통화 상대방을 사용자와 매치하여 단말기의 사용자의 매치 만족도가 향상될 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 출력 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (16)

  1. 영상 통화 중개 요청을 전송한 복수의 단말기에 포함된 복수의 제1 단말기 각각에 대해, 상기 제1 단말기 및 상기 복수의 단말기 중에서 선택되고 상기 제1 단말기와 서로 다른 제2 단말기 사이의 영상 통화 세션이 수립되도록 중개하는 단계;
    상기 복수의 제1 단말기 각각으로부터 상기 제1 단말기의 사용자의 상기 영상 통화 세션에 대한 만족도 정보를 수신하는 단계;
    상기 복수의 제1 단말기 각각에 대해, 상기 제1 단말기의 사용자의 특정한 종류의 신상 정보 및 상기 제1 단말기에 대응하는 상기 제2 단말기의 사용자의 얼굴의 특징에 대한 정보의 결합을 준비하는 단계;
    상기 결합 및 상기 결합에 대응하는 상기 만족도 정보 사이의 상관관계를 산출하는 단계;
    제3 단말기 및 복수의 후보 단말기로부터 영상 통화 중개 요청을 수신하고, 상기 제3 단말기의 사용자의 상기 특정한 종류의 신상 정보, 상기 복수의 후보 단말기 각각의 사용자의 얼굴의 특징에 대한 정보 및 상기 산출된 상관관계를 이용하여 상기 제3 단말기의 사용자의 상기 복수의 후보 단말기 각각과의 영상 통화 세션에 대한 만족도 정보를 예측하는 단계; 및
    상기 예측된 결과를 이용하여 상기 복수의 후보 단말기 중에서 제4 단말기를 선택하고, 상기 제3 단말기 및 상기 제4 단말기 사이의 영상 통화 세션이 수립되도록 중개하는 단계
    를 포함하는 서버의 동작 방법.
  2. 서버의 동작 방법에 있어서,
    적어도 하나 이상의 제1 단말기들 각각과 적어도 하나 이상의 제2 단말기들 사이에 영상 통화 세션을 수립하는 단계;
    상기 적어도 하나 이상의 제1 단말기들로부터 상기 영상 통화 세션을 통해 생성된, 상기 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 만족 지표 정보를 수신하는 단계;
    상기 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보 및 상기 제2 단말기들의 사용자들의 얼굴 정보의 조합과 상기 만족 지표 정보의 상관관계를 산출하는 단계;
    새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 상기 특정한 종류의 신상 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상기 산출된 상관관계를 이용하여 상기 복수의 단말기의 사용자들에 대한 상기 제3 단말기의 사용자의 만족도를 예측하는 단계; 및
    상기 예측 결과를 이용하여 상기 복수의 단말기의 사용자들 중에서 상기 제3 단말기의 매치 상대방을 선정하는 단계를 포함하는 서버의 동작 방법.
  3. 제2항에 있어서,
    상기 만족도 지표 정보는 상기 영상 통화 세션을 통해 상기 적어도 하나 이상의 제1 단말기들로부터 산출된 상기 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 매치 만족도에 대응하는 서버의 동작 방법.
  4. 제2항에 있어서,
    상기 예측 결과를 이용하여 상기 복수의 단말기의 사용자들 중에서 상기 제3 단말기의 상기 매치 상대방을 선정하는 단계는,
    상기 복수의 단말기의 사용자들 각각에 대해 예측된 제3 사용자의 만족도 중 가장 큰 만족도 값에 대응되는 사용자를 상기 매치 상대방으로서 선택하는 단계
    를 포함하는 서버의 동작 방법.
  5. 제2항에 있어서,
    상기 만족 지표 정보는 상기 영상 통화 세션을 통해 상기 적어도 하나 이상의 제1 단말기들로부터 수신된 상기 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 적어도 하나 이상의 만족도 인자에 대응하는 서버의 동작 방법.
  6. 제5항에 있어서,
    상기 적어도 하나 이상의 제1 단말기들의 사용자들의 상기 특정한 종류의 신상 정보 및 상기 제2 단말기들의 사용자들의 얼굴 정보의 조합과 상기 만족 지표 정보의 상관관계를 산출하는 단계는,
    상기 적어도 하나 이상의 제1 단말기들의 사용자들의 상기 특정한 종류의 신상 정보 및 상기 제2 단말기들의 사용자들의 얼굴 정보의 조합과 상기 적어도 하나 이상의 만족도 인자의 상관관계를 산출하는 단계
    를 포함하는 서버의 동작 방법.
  7. 제6항에 있어서,
    상기 제3 단말기의 사용자의 상기 특정한 종류의 신상 정보 및 상기 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상기 상관관계를 이용하여 상기 복수의 단말기의 사용자들에 대한 상기 제3 단말기의 사용자의 만족도를 예측하는 단계는,
    상기 제3 단말기의 사용자의 상기 특정한 종류의 신상 정보 및 상기 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상기 상관관계를 이용하여 상기 복수의 단말기의 사용자들 각각에 대한 상기 제3 단말기의 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계; 및
    상기 예측된 적어도 하나 이상의 만족도 인자를 이용하여 상기 복수의 단말기의 사용자들 각각에 대한 상기 제3 단말기의 사용자의 매치 만족도를 산출하는 단계
    를 포함하는 서버의 동작 방법.
  8. 제7항에 있어서,
    상기 예측된 제3 사용자의 만족도를 이용하여 상기 복수의 단말기의 사용자들 중에서 상기 제3 단말기의 사용자의 상기 매치 상대방을 선정하는 단계는,
    상기 복수의 단말기의 사용자들 각각에 대해 산출된 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 상기 매치 상대방으로서 선택하는 단계
    를 포함하는 서버의 동작 방법.
  9. 제2항에 있어서,
    상기 특정한 종류의 신상 정보는 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보 또는 나이 정보에 대응하는 서버의 동작 방법.
  10. 제2항에 있어서,
    상기 복수의 단말기의 사용자들의 얼굴 정보는 상기 복수의 단말기의 사용자들 각각의 얼굴 영상에 대응하는 서버의 동작 방법.
  11. 제2항에 있어서,
    상기 복수의 단말기의 사용자들의 얼굴 정보는 상기 복수의 단말기의 사용자들 각각의 얼굴의 특정 지점에 대한 좌표 정보에 대응하는 특징점 분포 정보에 대응하는 서버의 동작 방법.
  12. 제2항의 서버의 동작 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  13. 적어도 하나 이상의 제1 단말기들 각각과 적어도 하나 이상의 제2 단말기들 사이에 영상 통화 세션을 수립하는 제어부; 및
    상기 제1 단말기들로부터 상기 영상 통화 세션을 통해 생성된, 상기 적어도 하나 이상의 제2 단말기들의 사용자들에 대한 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 만족 지표 정보를 수신하는 통신부를 포함하고,
    상기 제어부는 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 특정한 종류의 신상 정보 및 상기 제2 단말기들의 사용자들의 얼굴 정보의 조합과 상기 만족 지표 정보의 상관관계를 산출하고, 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 상기 특정한 종류의 신상 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상기 상관관계를 이용하여 상기 복수의 단말기의 사용자들에 대한 상기 제3 단말기의 사용자의 만족도를 예측하고, 상기 예측 결과를 이용하여 상기 복수의 단말기의 사용자들 중에서 상기 제3 단말기의 매치 상대방을 선정하는 서버.
  14. 제13항에 있어서,
    상기 적어도 하나 이상의 제1 단말기들의 사용자들의 상기 특정한 종류의 신상 정보가 국적 정보인 경우, 상기 제어부는 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 국적 정보 및 상기 제2 단말기들의 사용자들의 얼굴 정보의 조합과 상기 만족 지표 정보의 상관관계를 산출하고, 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 상기 국적 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상기 상관관계를 이용하여 상기 복수의 단말기의 사용자들에 대한 상기 제3 단말기의 사용자의 만족도를 예측하는 서버.
  15. 제13항에 있어서,
    상기 적어도 하나 이상의 제1 단말기들의 사용자들의 상기 특정한 종류의 신상 정보가 나이 정보인 경우, 상기 제어부는 상기 적어도 하나 이상의 제1 단말기들의 사용자들의 나이 정보 및 상기 제2 단말기들의 사용자들의 얼굴 정보의 조합과 상기 만족 지표 정보의 상관관계를 산출하고, 새로운 영상 통화 세션을 요청한 제3 단말기의 사용자의 상기 나이 정보 및 복수의 단말기의 사용자들의 얼굴 정보의 조합과 상기 상관관계를 이용하여 상기 복수의 단말기의 사용자들에 대한 상기 제3 단말기의 사용자의 만족도를 예측하는 서버.
  16. 제13항에 있어서,
    상기 제어부는 상기 복수의 단말기의 사용자들 각각에 대해 예측된 상기 제3 단말기의 사용자의 만족도 중 가장 큰 만족도 값에 대응되는 사용자를 상기 제3 사용자로서 선택하는 서버.
KR1020180026935A 2018-03-07 2018-03-07 서버 및 그것의 동작 방법 KR101979650B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180026935A KR101979650B1 (ko) 2018-03-07 2018-03-07 서버 및 그것의 동작 방법
US16/275,449 US11606397B2 (en) 2018-03-07 2019-02-14 Server and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180026935A KR101979650B1 (ko) 2018-03-07 2018-03-07 서버 및 그것의 동작 방법

Publications (1)

Publication Number Publication Date
KR101979650B1 true KR101979650B1 (ko) 2019-05-17

Family

ID=66677998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180026935A KR101979650B1 (ko) 2018-03-07 2018-03-07 서버 및 그것의 동작 방법

Country Status (2)

Country Link
US (1) US11606397B2 (ko)
KR (1) KR101979650B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815176B1 (ko) 2016-06-03 2018-01-05 주식회사 하이퍼커넥트 중개 방법, 장치 및 시스템
KR20180133593A (ko) 2017-06-07 2018-12-17 주식회사 하이퍼커넥트 중개 방법 및 장치
KR102455966B1 (ko) 2019-12-16 2022-10-18 주식회사 하이퍼커넥트 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
KR102373764B1 (ko) 2020-02-21 2022-03-15 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130007363A (ko) * 2011-07-01 2013-01-18 성도헌 선호 스타일을 이용한 이성 검색 방법 및 시스템

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001245674A1 (en) 2000-03-09 2001-09-17 Planetary Television.Com, Llc Method and apparatus for providing interactive video communications services
KR20000054824A (ko) 2000-06-27 2000-09-05 이성환 얼굴 영상을 이용한 이상형 검색 시스템 및 그 제어 방법
JP2002109025A (ja) 2000-09-27 2002-04-12 Ntt Data Corp コミュニティ生成システム及び該コミュニティ生成システムを構成する装置並びにその制御方法
JP2004054444A (ja) 2002-07-17 2004-02-19 Omron Corp 運転サービス情報仲介システム
US8494910B2 (en) 2002-12-02 2013-07-23 International Business Machines Corporation Method, system and program product for supporting a transaction between electronic device users
US8904295B2 (en) 2003-06-16 2014-12-02 Meetup, Inc. Web-based interactive meeting facility with recommendations to users
JP2005018358A (ja) 2003-06-25 2005-01-20 Nec Soft Ltd 顔画像登録抽出システム、顔画像登録抽出方法、およびコンピュータプログラム
JP4125651B2 (ja) 2003-08-25 2008-07-30 富士通株式会社 電話サポート方法、プログラム及び装置
JP2005136524A (ja) 2003-10-28 2005-05-26 Ele Kk グループ／個別ミーティングシステム
KR20030094156A (ko) 2003-11-03 2003-12-11 (주)웨버젠 인터넷을 이용한 화상 만남 시스템 및 그 시스템에서의회원등급부여 방법 및 마일리지 부과방법
KR100593715B1 (ko) 2004-05-24 2006-06-26 에스케이 텔레콤주식회사 화상통화 연결 대기상태에서 착신자가 지정한 컬러멀티미디어 정보를 발신자에게 전송하는 방법
JP2005092897A (ja) 2004-11-15 2005-04-07 Kankyoo Engineering Kk 好相性会員紹介方法と装置
KR100628167B1 (ko) 2004-11-22 2006-09-26 엘지전자 주식회사 이동통신 단말기의 메시지 전송방법
JP2006197002A (ja) 2005-01-11 2006-07-27 Yamaha Corp サーバ装置
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
JP4679452B2 (ja) 2006-07-11 2011-04-27 Ｎｅｃインフロンティア株式会社 電話装置のあふれ呼オーバーフロー時における予測待ち時間通知方法
JP2008245113A (ja) 2007-03-28 2008-10-09 Oki Electric Ind Co Ltd コミュニケーション支援システム、およびコミュニケーション支援方法
KR20090014473A (ko) 2007-08-06 2009-02-11 주식회사 유리얼미디어 인스턴트 메신저 기반의 매치 메시지 전송 시스템
KR20090065147A (ko) 2007-12-17 2009-06-22 이태윤 남녀회원들의 만남을 주선하는 웹사이트에서가입비산출방법 및 그 시스템
US9733811B2 (en) 2008-12-19 2017-08-15 Tinder, Inc. Matching process system and method
US9830562B1 (en) 2008-02-28 2017-11-28 Capital One Financial Corporation System and method for mobile social networking within a target area
US20090271244A1 (en) 2008-04-25 2009-10-29 Samsung Electronics Co., Ltd. Situation-aware ad-hoc social interaction
KR20100023465A (ko) 2008-08-22 2010-03-04 주식회사 케이티 매칭 서비스 제공 시스템 및 방법
CN101827317A (zh) 2009-09-07 2010-09-08 上海银贵网络科技服务有限公司 一种通过移动终端寻找目标对象的控制方法以及控制装置
KR101070797B1 (ko) 2009-09-30 2011-10-06 삼성전기주식회사 화상 통화 중개 장치 및 방법
JP2011077909A (ja) 2009-09-30 2011-04-14 Fujitsu Toshiba Mobile Communications Ltd 携帯端末及び携帯端末のメール送信支援方法
JP2011081575A (ja) 2009-10-06 2011-04-21 Connecty Lab:Kk プロフィール情報管理システム
US20120004954A1 (en) 2010-07-02 2012-01-05 International Business Machines Corporation Crowd-Sourced Shopping List Augmentation
US8812519B1 (en) 2010-09-06 2014-08-19 Jonathan Binnings Bent Face photograph-based dating recommendation system
KR20130012155A (ko) 2011-06-09 2013-02-01 박기상 소셜 네트워크 서비스 제공 방법 및 장치
JP2013020485A (ja) 2011-07-12 2013-01-31 Hideki Matsumura マッチングシステム及びマッチング方法
US8867849B1 (en) 2011-10-05 2014-10-21 Google Inc. Suggesting profile images for a social network
WO2013077482A1 (ko) 2011-11-24 2013-05-30 Kwon Dongwan 이상형 매칭 시스템 및 그 매칭방법
KR20130065801A (ko) 2011-11-30 2013-06-20 장재영 고객 매칭 서비스의 제공방법 및 이를 위한 중개서버
US9959523B2 (en) 2012-03-08 2018-05-01 Google Llc Aggregating a list of current, contextually and/or member-wise relevant video conferences
US20140040368A1 (en) 2012-08-06 2014-02-06 Olivier Maurice Maria Janssens Systems and methods of online social interaction
CN102904936B (zh) 2012-09-25 2015-06-10 小米科技有限责任公司 一种建立会话的方法、服务器、装置、系统及设备
KR101285832B1 (ko) 2012-11-27 2013-07-12 전승훈 웹사이트와 어플에서의 회원 간 만남주선 시스템
US9122759B2 (en) 2012-12-18 2015-09-01 Eharmony, Inc. Systems and methods for online social matchmaking
KR101450526B1 (ko) 2012-12-28 2014-10-16 한국기술교육대학교 산학협력단 친구 추천 장치 및 방법
CN103916306B (zh) 2013-01-04 2018-07-20 腾讯科技（深圳）有限公司 实现即时通信的方法和装置
US8972417B2 (en) 2013-01-07 2015-03-03 Linkedin Corporation Suggested out of network communication recipients
US9843623B2 (en) 2013-05-28 2017-12-12 Qualcomm Incorporated Systems and methods for selecting media items
CN105247566B (zh) 2013-06-23 2020-10-16 英特尔公司 基于上下文关系选择性地公开信息的方法、装置、介质
KR101607534B1 (ko) 2013-08-28 2016-04-01 엔에이치엔엔터테인먼트 주식회사 사용자 매칭 방법 및 시스템
US20150067070A1 (en) 2013-08-28 2015-03-05 Match.Com, L.L.C. System and method for performing gender balancing of an event using notifications in a network environment
WO2015036817A1 (en) 2013-09-15 2015-03-19 Yogesh Chunilal Rathod Structured updated status, requests, user data & programming based presenting & accessing of connections
KR102231265B1 (ko) 2013-11-13 2021-03-23 에스케이플래닛 주식회사 고객카드를 이용한 전자쿠폰 제공 시스템, 서비스 장치 및 방법
US10523622B2 (en) * 2014-05-21 2019-12-31 Match Group, Llc System and method for user communication in a network
US9100629B1 (en) 2014-06-09 2015-08-04 Kino Llc System and method for arranging and presenting interactive preshow sessions to an audience
JP2016076078A (ja) 2014-10-06 2016-05-12 アマノ工芸株式会社 マッチングシステム
US11425213B2 (en) 2014-10-31 2022-08-23 Match Group, Llc System and method for modifying a preference
JP5791837B1 (ja) 2015-02-18 2015-10-07 株式会社 ディー・エヌ・エー ビデオチャットを提供するサーバ、プログラム及び方法
KR102023393B1 (ko) 2015-03-02 2019-09-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10223734B2 (en) 2015-04-16 2019-03-05 The Nielsen Company (Us), Llc Method, manufacture, and apparatus for facilitating a sales transaction via an interactive display platform
WO2017004241A1 (en) * 2015-07-02 2017-01-05 Krush Technologies, Llc Facial gesture recognition and video analysis tool
JP6563278B2 (ja) 2015-08-28 2019-08-21 一般社団法人 愛媛県法人会連合会 結婚支援装置および結婚支援方法
US10728612B2 (en) 2015-11-02 2020-07-28 Xandr Inc. Systems and methods for reducing digital video latency
US10706118B1 (en) 2015-11-02 2020-07-07 Xandr Inc. Systems and techniques for prefetching data
CN105898209A (zh) 2015-11-13 2016-08-24 乐视云计算有限公司 视频平台监控分析系统
US20170142482A1 (en) 2015-11-13 2017-05-18 Le Holdings (Beijing) Co., Ltd. Video platform monitoring and analyzing system
JP6206890B2 (ja) 2016-01-29 2017-10-04 株式会社ライフパートナー 婚活支援システム、婚活支援方法、サーバ装置、及びプログラム
KR101700115B1 (ko) 2016-05-13 2017-02-02 주식회사 한국직업개발원 실시간 매칭 시스템
KR101815176B1 (ko) 2016-06-03 2018-01-05 주식회사 하이퍼커넥트 중개 방법, 장치 및 시스템
JP2018077590A (ja) 2016-11-07 2018-05-17 あくのそしき株式会社 サーバ装置
JP6732668B2 (ja) 2017-01-26 2020-07-29 ヤフー株式会社 抽出装置、抽出方法及び抽出プログラム
US10984488B1 (en) 2017-04-24 2021-04-20 Michele Colucci Predictive compatibility matching platform
KR20180133593A (ko) 2017-06-07 2018-12-17 주식회사 하이퍼커넥트 중개 방법 및 장치
KR102059170B1 (ko) 2017-11-02 2019-12-24 주식회사 하이퍼커넥트 전자 장치 및 그것의 통신 방법
KR20190077654A (ko) 2017-12-26 2019-07-04 주식회사 엔씨소프트 오프라인 친구 추천 및 소셜 인터랙션 제공 시스템 및 방법
KR102044241B1 (ko) 2017-12-28 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말
JP7122120B2 (ja) 2018-02-27 2022-08-19 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10719713B2 (en) 2018-05-29 2020-07-21 International Business Machines Corporation Suggested comment determination for a communication session based on image feature extraction
US20180345129A1 (en) 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon
US20210065314A1 (en) 2019-08-26 2021-03-04 Klick N Llc Social matching, selection, and interaction system and method
KR102308636B1 (ko) 2019-08-27 2021-10-06 주식회사 하이퍼커넥트 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102329481B1 (ko) 2019-09-09 2021-11-24 주식회사 하이퍼커넥트 복수의 단말기를 중개하는 서버, 및 그것의 중개 방법
KR102455966B1 (ko) 2019-12-16 2022-10-18 주식회사 하이퍼커넥트 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102373764B1 (ko) 2020-02-21 2022-03-15 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130007363A (ko) * 2011-07-01 2013-01-18 성도헌 선호 스타일을 이용한 이성 검색 방법 및 시스템

Also Published As

Publication number Publication date
US11606397B2 (en) 2023-03-14
US20190281093A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
KR102073351B1 (ko) 서버 및 그것의 동작 방법
KR101979650B1 (ko) 서버 및 그것의 동작 방법
US11140356B2 (en) Terminal and server for providing video call service
US10701315B2 (en) Video communication device and video communication method
KR102311603B1 (ko) 단말기 및 그것의 동작 방법
KR102044241B1 (ko) 영상 통화 서비스를 제공하는 단말
CN107220667B (zh) 图像分类方法、装置及计算机可读存储介质
KR102283972B1 (ko) 통신 장치, 서버 및 동작 방법
CN107133354B (zh) 图像描述信息的获取方法及装置
KR102282963B1 (ko) 단말기, 서버 및 그것의 동작 방법
CN107220614B (zh) 图像识别方法、装置及计算机可读存储介质
US20210203882A1 (en) Device and method of displaying images
JP2020500488A (ja) 映像表示装置及び映像表示方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｄｉｓｐｌａｙｉｎｇ ｉｍａｇｅｓ）
CN110399841B (zh) 一种视频分类方法、装置及电子设备
CN106992953A (zh) 系统信息获取方法及装置
WO2017219497A1 (zh) 消息生成方法及装置
CN112188091B (zh) 人脸信息识别方法、装置、电子设备及存储介质
KR20190016671A (ko) 통신 장치, 서버 및 통신 방법
KR20230078756A (ko) 이미지 애니메이션을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체
RU2615683C2 (ru) Способ и устройство для выполнения идентификации связи
CN107480773B (zh) 训练卷积神经网络模型的方法、装置及存储介质
CN109450894A (zh) 信息交互方法、装置、系统、服务器用户终端及存储介质
KR102293416B1 (ko) 통신 장치, 서버 및 그것의 통신 방법
KR20190052584A (ko) 영상 통화 서비스를 제공하는 단말 및 서버
KR102315211B1 (ko) 단말기 및 그것의 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant