KR20190056538A - 서버 및 그것의 동작 방법 - Google Patents
서버 및 그것의 동작 방법 Download PDFInfo
- Publication number
- KR20190056538A KR20190056538A KR1020170153590A KR20170153590A KR20190056538A KR 20190056538 A KR20190056538 A KR 20190056538A KR 1020170153590 A KR1020170153590 A KR 1020170153590A KR 20170153590 A KR20170153590 A KR 20170153590A KR 20190056538 A KR20190056538 A KR 20190056538A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- satisfaction
- machine learning
- electronic device
- learning model
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title 1
- 238000010801 machine learning Methods 0.000 claims abstract description 107
- 238000004891 communication Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims description 49
- 210000001508 eye Anatomy 0.000 claims description 5
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 210000000214 mouth Anatomy 0.000 claims description 4
- 210000001331 nose Anatomy 0.000 claims description 4
- 210000000216 zygoma Anatomy 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 abstract description 9
- 238000007726 management method Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 24
- 230000001815 facial effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 239000000470 constituent Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/1046—Call controllers; Call servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1086—In-session procedures session scope modification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/08—Auctions
Abstract
본 발명의 일 실시예에 따른 서버는 제 1 사용자의 제 1 전자 장치와 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 세션 관리부, 영상 통화 세션을 통해 제 1 전자 장치로부터 산출되는 매치 만족도를 수신하는 통신부, 제 1 사용자의 얼굴 영상으로부터 제 1 특징점 분포 정보를 획득하고, 제 2 사용자의 얼굴 영상으로부터 제 2 특징점 분포 정보를 획득하는 영상 분석부, 제 1 특징점 분포 정보, 제 2 특징점 분포 정보 및 매치 만족도를 이용하여 기계 학습 모델을 학습시키고, 제 1 전자 장치 및 제 2 전자 장치 사이의 영상 통화 연결이 종료되는 경우 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 예측하는 처리부, 및 예측된 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 사용자 관리부를 포함한다.
Description
본 발명은 서버 및 그것의 동작 방법에 관한 것이다.
최근 단말기의 영상 통화 기능을 활용해 새로운 친구를 만날 수 있는 매칭 서비스가 인기를 끌고 있다. 이러한 매칭 서비스는 일반적으로 사용자들의 학력, 지역, 연령, 관심사 등의 프로필 정보를 분석하여 적합한 상대방을 검색한 후 검색된 상대방과 연결해주는 방식을 사용하고 있다. 예를 들어, 매칭 서비스는 사용자의 학벌과 동등한 수준의 사용자, 사용자의 거주지 행정구역과 동일한 장소에 거주하는 사용자, 사용자의 연령대와 유사한 연령대의 상대방을 검색하여 연결해주는 방식이다.
그러나 이와 같은 일반적인 매칭 서비스는 위와 같은 학력, 지역, 연령, 관심사 등에 기반한 알고리즘을 통해 검색된 사용자를 영상 통화의 상대방으로 매칭해주는 방식을 제공할 수 있다.
본 발명의 일 목적은 사용자의 영상 통화 시 상대방과의 매치 만족도를 높일 수 있는 서버 및 그것의 동작 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 서버의 동작 방법은 제 1 사용자의 제 1 전자 장치로부터 영상 통화 연결 요청을 수신하는 단계, 제 1 전자 장치와 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 단계, 제 2 사용자에 대한 제 1 사용자의 만족도를 획득하는 단계, 제 1 사용자의 제 1 얼굴 정보를 획득하고, 제 2 사용자의 제 2 얼굴 정보를 획득하는 단계, 제 1 얼굴 정보, 제 2 얼굴 정보 및 만족도를 이용하여 기계 학습 모델을 학습시키는 단계, 제 1 전자 장치 및 제 2 전자 장치 사이의 영상 통화 연결이 종료되는 경우, 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 만족도를 예측하는 단계, 및 예측된 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계를 포함한다.
일 실시예에서, 만족도는 영상 통화 세션을 통해 제 1 전자 장치로부터 산출된 매치 만족도에 대응한다.
일 실시예에서, 제 2 사용자에 대한 제 1 사용자의 만족도를 획득하는 단계는 영상 통화 세션을 통해 제 2 사용자에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 획득하는 단계를 포함하고, 제 1 얼굴 정보, 제 2 얼굴 정보 및 만족도를 이용하여 기계 학습 모델을 학습시키는 단계는 제 1 얼굴 정보, 제 2 얼굴 정보 및 적어도 하나 이상의 만족도 인자를 이용하여 기계 학습 모델을 학습시키는 단계를 포함하고, 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 만족도를 예측하는 단계는 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계를 포함하고 예측된 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계는 예측된 적어도 하나 이상의 만족도 인자를 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 산출하는 단계, 및 산출된 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계를 포함한다.
일 실시예에서, 만족도는 영상 통화 세션을 통해 획득된 제 2 사용자에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 이용하여 산출된 매치 만족도에 대응한다.
일 실시예에서, 제 1 얼굴 정보 및 제 2 얼굴 정보는 각각 제 1 사용자의 얼굴 영상 및 제 2 사용자의 얼굴 영상에 대응한다.
일 실시예에서, 제 1 얼굴 정보 및 제 2 얼굴 정보는 각각 제 1 사용자의 얼굴의 특정 지점에 대한 좌표 정보 및 제 2 사용자 얼굴의 특정 지점에 대한 좌표 정보에 대응한다.
본 발명의 일 실시예에 따른 서버는 제 1 사용자의 제 1 전자 장치와 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 세션 관리부, 영상 통화 세션을 통해 제 1 전자 장치로부터 산출되는 매치 만족도를 수신하는 통신부, 제 1 사용자의 얼굴 영상으로부터 제 1 특징점 분포 정보를 획득하고, 제 2 사용자의 얼굴 영상으로부터 제 2 특징점 분포 정보를 획득하는 영상 분석부, 제 1 특징점 분포 정보, 제 2 특징점 분포 정보 및 매치 만족도를 이용하여 기계 학습 모델을 학습시키고, 제 1 전자 장치 및 제 2 전자 장치 사이의 영상 통화 연결이 종료되는 경우 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 예측하는 처리부, 및 예측된 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 사용자 관리부를 포함한다.
일 실시예에서, 사용자 관리부는 예측된 대기 사용자들 각각의 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 제 3 사용자로 선택한다.
일 실시예에서, 제 1 사용자의 얼굴 영상 및 제 2 사용자의 얼굴 영상은 사용자 관리부에 저장된다.
일 실시예에서, 제 1 특징점 분포 정보 및 제 2 특징점 분포 정보는 눈, 코, 입, 눈썹 및 광대뼈에 대응되는 특징점들의 분포 정보를 포함한다.
일 실시예에서, 사용자 관리부는 제 1 사용자의 얼굴 영상과의 유사도를 이용하여 제 2 사용자를 선택한다.
본 발명의 일 실시예에 따른 서버의 동작 방법은 제 1 사용자의 제 1 전자 장치로부터 영상 통화 연결 요청을 수신하는 단계, 제 1 전자 장치와 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 단계, 제 1 사용자의 제 1 얼굴 정보를 획득하고, 제 2 사용자의 제 2 얼굴 정보를 획득하는 단계, 제 2 사용자에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 수신하는 단계, 제 1 얼굴 정보, 제 2 얼굴 정보 및 적어도 하나 이상의 만족도 인자를 이용하여 적어도 하나 이상의 기계 학습 모델을 학습시키는 단계, 제 1 전자 장치 및 제 2 전자 장치 사이의 영상 통화 연결이 종료되는 경우, 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계, 예측된 적어도 하나 이상의 만족도 인자를 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 산출하는 단계, 및 산출된 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계를 포함한다.
일 실시예에서, 제 1 얼굴 정보 및 제 2 얼굴 정보는 각각 제 1 사용자의 얼굴 영상 및 제 2 사용자의 얼굴 영상에 대응한다.
일 실시예에서, 제 1 얼굴 정보 및 제 2 얼굴 정보는 각각 제 1 사용자의 얼굴의 특정 지점에 대한 좌표 정보 및 제 2 사용자 얼굴의 특정 지점에 대한 좌표 정보에 대응한다.
일 실시예에서, 제 2 사용자에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 수신하는 단계는 제 2 사용자에 대한 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 수신하는 단계를 포함하고, 제 1 얼굴 정보, 제 2 얼굴 정보 및 적어도 하나 이상의 만족도 인자를 이용하여 적어도 하나 이상의 기계 학습 모델을 학습시키는 단계는 제 1 얼굴 정보, 제 2 얼굴 정보 및 제 1 만족도 인자를 이용하여 제 1 기계 학습 모델을 학습시키고, 제 1 얼굴 정보, 제 2 얼굴 정보 및 제 2 만족도 인자를 이용하여 제 2 기계 학습 모델을 학습시키는 단계를 포함하고, 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계는 학습된 제 1 기계 학습 모델 및 학습된 제 2 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 각각 예측하는 단계를 포함하고, 예측된 적어도 하나 이상의 만족도 인자를 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 산출하는 단계는 예측된 제 1 만족도 인자 및 예측된 제 2 만족도 인자를 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 산출하는 단계를 포함한다.
일 실시예에서, 제 1 만족도 인자는 제 1 사용자에 의해 제 1 전자 장치에 디스플레이되는 적어도 하나 이상의 객체를 선택되는 제 1 입력의 수신 여부에 대응하고, 제 1 전자 장치에 제 1 사용자에 의해 영상 통화 세션을 종료하는 제 2 입력이 수신되는 경우, 제 2 만족도 인자는 영상 통화 세션의 수립 시점부터 제 2 입력이 수신되는 시점까지의 경과 시간에 대응한다.
일 실시예에서, 학습된 제 1 기계 학습 모델 및 제 2 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 각각 예측하는 단계는, 제 1 특징점 분포 정보, 대기 사용자들 각각의 특징점 분포 및 학습된 제 1 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 제 1 만족도 인자를 예측하고, 제 1 특징점 분포 정보, 대기 사용자들 각각의 특징점 분포 및 학습된 제 2 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 제 2 만족도 인자를 예측하는 단계를 포함한다.
일 실시예에서, 산출된 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계는 산출된 대기 사용자들 각각의 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 제 3 사용자로 선택하는 단계를 포함한다.
본 발명의 일 실시예에 따른 서버 및 그것의 동작 방법은 사용자의 영상 통화 시 상대방과의 매치 만족도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 통화 시스템을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 사용자의 얼굴 영상에서 획득되는 특징점 분포 정보를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 통신 방법을 보여주는 흐름도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 전자 장치의 통신 방법을 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시예에 따른 서버를 보여주는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 서버의 동작 방법을 보여주는 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 서버의 동작 방법을 보여주는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 전자 장치의 통신 방법 또는 서버의 동작 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 사용자의 얼굴 영상에서 획득되는 특징점 분포 정보를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 통신 방법을 보여주는 흐름도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 전자 장치의 통신 방법을 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시예에 따른 서버를 보여주는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 서버의 동작 방법을 보여주는 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 서버의 동작 방법을 보여주는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 전자 장치의 통신 방법 또는 서버의 동작 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 '전자 장치'는 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 유선/무선 통신 기능을 가지는 휴대용 컴퓨터, 유선/무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 유선/무선 통신 기능을 가지는 게이밍(gaming) 장치, 유선/무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 유선/무선 인터넷 접속 및 브라우징(browsing)이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 영상 통화 시스템을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 통화 시스템(10)은 제 1 전자 장치(100), 제 2 전자 장치(200), 및 서버(300)를 포함할 수 있다. 제 1 전자 장치(100), 제 2 전자 장치(200), 및 서버(300)는 유선 또는 무선 통신 네트워크를 통해 연결될 수 있다.
제 1 전자 장치(100) 및 제 2 전자 장치(200)는 영상 통화 기능을 구비할 수 있다. 예를 들어, 상기 영상 통화 기능은 영상 통화 어플리케이션(application) 형태로 제 1 전자 장치(100) 및 제 2 전자 장치(200)에 각각 구비될 수 있으며, 사용자는 제 1 전자 장치(100) 또는 제 2 전자 장치(200)에 구비된 상기 어플리케이션을 실행함으로써 영상 통화 기능을 이용하여 다른 상대방과 영상 통화할 수 있다.
예를 들어, 제 1 전자 장치(100)의 사용자는 영상 통화 어플리케이션을 실행하여 서버(300)에 제 2 전자 장치(200)의 사용자와의 영상 통화 연결을 요청할 수 있다. 상기 요청을 수신한 서버(300)는 제 2 전자 장치(200)의 통신 상태를 확인하고, 제 1 전자 장치(100)와 제 2 전자 장치(200) 간의 영상 통화를 위한 세션을 수립함으로써 제 1 전자 장치(100)와 제 2 전자 장치(200)의 사용자들 간의 영상 통화가 가능하도록 할 수 있다.
또한, 예를 들어, 제 1 전자 장치(100)의 사용자는 영상 통화 어플리케이션을 실행하여 서버(300)에 임의의 사용자와의 영상 통화 연결을 요청할 수 있다. 상기 요청을 수신한 서버(300)는 제 1 전자 장치(100)의 사용자의 프로필 정보(예를 들어, 사용자 영상 등)와 학습된 기계 학습 모델을 이용하여 제 1 전자 장치(100)의 사용자 및 복수의 다른 사용자 각각 사이의 매치 만족도를 예측할 수 있다.
예를 들어, 서버(300)는 제 1 전자 장치(100)의 사용자의 얼굴 영상, 다른 사용자의 얼굴 영상, 및 제 1 사용자의 매칭 결과에 대한 매치 만족도 사이의 상관 관계에 대응하는 기계 학습 모델을 학습할 수 있다. 다른 예로서, 제 1 전자 장치(100)의 사용자의 얼굴 영상으로부터 획득되는 특징점 분포 정보, 다른 사용자의 얼굴 영상으로부터 획득되는 특징점 분포 정보, 및 제 1 사용자의 매칭 결과에 대한 매치 만족도 사이의 상관 관계에 대응하는 기계 학습 모델을 학습할 수 있다. 그리고, 서버(300)는 상기 기계 학습 모델을 이용하여 예측된 매치 만족도에 기초하여 제 1 사용자와 매칭될 다음 상대방을 선택할 수 있다. 예를 들어, 서버(300)는 예측된 각각의 매치 만족도 중 가장 큰 값에 대응하는 사용자를 다음 상대방으로 선택할 수 있다.
또는, 서버(300)는 제 1 전자 장치(100)로부터 만족도 인자를 수신할 수 있다. 여기서, 만족도 인자는 만족도를 산츨하기 위해 이용되는 다양한 인자들을 포함할 수 있다. 예를 들어, 서버(300)는 제 1 전자 장치(100)의 사용자의 얼굴 영상, 상대방 사용자의 얼굴 영상, 및 제 1 사용자의 매칭 결과에 대한 만족도 인자 사이의 상관 관계에 대응하는 기계 학습 모델을 학습할 수 있다. 다른 예로서, 서버(300)는 제 1 전자 장치(100)의 사용자 얼굴 영상으로부터 획득되는 특징점 분포 정보, 상대방 사용자의 얼굴 영상으로부터 획득되는 특징점 분포 정보, 및 제 1 사용자의 매칭 결과에 대한 만족도 인자 사이의 상관 관계에 대응하는 기계 학습 모델을 학습할 수 있다.
서버(300)는 선택된 상대방 사용자의 전자 장치(즉, 제 2 전자 장치(200))의 통신 상태를 확인하고, 제 1 전자 장치(100)와 제 2 전자 장치(200) 간의 영상 통화를 위한 세션을 수립함으로써 제 1 전자 장치(100)와 제 2 전자 장치(200)의 사용자들 간의 영상 통화가 가능하도록 할 수 있다. 즉, 제 1 전자 장치(100)의 사용자는 영상 통화 어플리케이션을 실행하여 임의의 사용자와의 랜덤 영상 통화 서비스를 이용할 수 있다. 이 때, 제 1 전자 장치(100) 사용자의 제 2 전자 장치(200)의 사용자에 대한 매치 만족도는 다양한 방법을 통해 확인될 수 있고, 확인된 매치 만족도는 서버(300)에 전달되어 매칭 결과의 학습에 이용될 수 있다.
이하에서는 도 2 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 전자 장치 및 그것의 통신 방법이 더욱 구체적으로 설명되고, 도 7 내지 도 9를 참조하여 본 발명의 일 실시예에 따른 서버 및 그것의 동작 방법이 더욱 구체적으로 설명될 것이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치를 보여주는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 전자 장치(100)는 카메라(110), 통신부(120), 표시부(130), 입력부(140), 및 처리부(150)를 포함할 수 있다.
카메라(110)는 사용자(이하에서 '제 1 사용자'로 칭함)를 촬영하여 사용자 영상을 생성할 수 있다. 예를 들어, 카메라(110)는 전자 장치(100)의 전면부에 배치되어 제 1 사용자를 촬영할 수 있으나, 이에 한정되는 것은 아니고, 전자 장치(100)의 후면부에 배치되는 것도 가능하다. 생성된 사용자 영상은 표시부(130)를 통해 디스플레이될 수 있고, 통신부(120)를 통해 다른 사용자의 전자 장치(예를 들어, 제 2 전자 장치(200), 도 1 참조)에 전달될 수 있다. 또한, 생성된 사용자 영상은 처리부(150)에 전달될 수 있다. 예를 들어, 생성된 사용자 영상은 제 1 사용자의 얼굴 영상을 포함할 수 있다.
통신부(120)는 영상 통화 상대방 사용자(이하에서 '제 2 사용자'로 칭함)의 전자 장치(예를 들어, 제 2 전자 장치(200), 도 1 참조) 및/또는 서버(300)와 통신할 수 있다. 예를 들어, 통신부(120)는 다양한 유선 및/또는 무선 통신 네트워크를 통해 제 2 사용자의 전자 장치(즉, 제 2 전자 장치) 및/또는 서버(300)와 통신할 수 있다. 통신부(120)는 카메라(110)에 의해 촬영된 사용자 영상을 서버(300)에 의해 매칭된 제 2 사용자의 전자 장치(즉, 제 2 전자 장치)에 전송하고, 제 2 전자 장치(200)로부터 상대방 영상을 수신할 수 있다.
통신부(120)는 카메라(110)에 의해 촬영된 사용자의 얼굴 영상을 서버(300)에 전송할 수 있다. 통신부(120)는 처리부(150)에 의해 생성된 사용자의 얼굴 영상으로부터 획득되는 특징점 분포 정보를 서버(300)에 전송할 수 있다. 통신부(120)는 사용자로부터 수신된 입력에 대응하는 만족도 인자를 서버(300)에 전송할 수 있다. 통신부(120)는 처리부(150)에 의해 산출된 매치 만족도를 서버(300)에 전송할 수 있다. 또한, 통신부(120)는 서버(300, 도 1 참조)로부터 제 2 사용자의 프로필 정보를 수신할 수 있다.
예를 들어, 통신부(120)는 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(120)는 마그네틱 보안 전송(MST, Magnetic Secure Transmission) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(120)는 기타 네트워크 인터페이스를 포함할 수 있다.
표시부(130)는 사용자 영상, 영상 통화 상대방의 상대방 영상(즉, 제 2 사용자의 사용자 영상), 및/또는 적어도 하나의 객체를 디스플레이할 수 있다. 예를 들어, 상기 적어도 하나의 객체는 영상 통화 상대방의 상대방 영상에 오버랩(overlap)되어 디스플레이될 수 있으며, 아이콘(icon) 또는 소프트 버튼(soft button)의 형태로 디스플레이될 수 있다. 상기 적어도 하나의 객체는 친구 추가 기능을 실행하기 위한 제 1 객체 및 호감도 표시 기능을 실행하기 위한 제 2 객체를 포함할 수 있다. 상기 호감도 표시 기능은 사용자가 제 2 사용자에게 호감도를 표시하는 기능으로, 사용자가 상기 제 2 객체를 선택하는 경우 제 2 사용자의 호감도 지수가 상승하도록 구현될 수 있다.
한편, 표시부(130)는 LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 패널 등일 수 있으나, 이에 제한되는 것은 아니다. 또한, 표시부(130)는 터치 패널을 포함하는 터치 스크린으로 마련되어 입력부(140)의 기능을 포함할 수도 있다.
입력부(140)는 제 1 사용자로부터의 입력을 수신할 수 있다. 예를 들어, 입력부(140)는 제 1 사용자로부터 영상 통화 요청 입력, 적어도 하나의 객체를 선택하는 제 1 입력, 및 다른 상대방과의 영상 통화를 요청하는 제 2 입력 등 다양한 입력을 수신할 수 있다. 여기서, 상기 제 2 입력은 제 1 사용자로부터 영상 통화 요청 입력이 수신됨에 따라 임의의 상대방과의 영상 통화가 개시된 이후에 제 1 사용자가 다른 상대방과의 영상 통화를 요청하는 입력을 의미할 수 있다.
예를 들어, 입력부(140)는 마이크, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치 등을 포함할 수 있다. 한편, 상술한 바와 같이, 표시부(130)가 터치 스크린으로 마련되는 경우에는 입력부(140)의 기능을 포함할 수 있는데, 이러한 경우 영상 통화 요청 입력은 터치 앤 드래그(touch and drag) 또는 스와이프(swipe) 동작으로 정의될 수 있다.
처리부(150)는 전자 장치(100)의 영상 통화 기능을 전반적으로 제어할 수 있다. 처리부(150)는 하나 이상의 프로세서들을 포함할 수 있다. 처리부(150)에 포함되는 프로세서는 전자 장치(100)를 동작시키기 위해 필요한 산술 연산 및/또는 논리 연산을 수행할 수 있다.
처리부(150)는 카메라(110)를 통해 촬영된 사용자의 얼굴 영상을 수신할 수 있다. 처리부(150)는 사용자의 얼굴 영상을 이용하여 특징점 분포 정보를 생성할 수 있다. 특징점 분포 정보는 사용자의 얼굴의 적어도 하나 이상의 특정 지점에 대한 좌표 정보를 포함할 수 있다. 예를 들어, 특징점 분포 정보는 사용자의 얼굴의 눈, 코, 입, 눈썹, 및 광대뼈 등에 대응하는 지점 각각의 좌표에 대한 정보를 포함할 수 있다. 특징점 분포 정보는 사용자 얼굴의 다양한 지점에 대응하는 좌표 정보를 포함할 수 있다. 생성된 사용자 영상으로부터 획득되는 특징점 분포 정보는 통신부(130)를 통해 서버(300)에 출력될 수 있다. 특징점 분포 정보는 도 3을 참조하여 설명될 수 있다.
도 3은 본 발명의 일 실시예에 사용자의 얼굴 영상에서 획득되는 특징점 분포 정보를 보여주는 도면이다. 예를 들어, 도 3에 도시된 사용자의 영상은 제 1 사용자의 얼굴 영상일 수 있다. 제 1 사용자의 얼굴 영상에서 획득된 특징점 분포 정보는 눈썹 영역에 포함되는 적어도 하나 이상의 지점의 좌표에 대한 정보(21), 눈 영역에 포함되는 적어도 하나 이상의 지점에 좌표에 대한 정보(22), 코 영역에 포함되는 적어도 하나 이상의 지점의 좌표에 대한 정보(23) 및 입술 영역에 포함되는 적어도 하나 이상의 지점의 좌표에 대한 정보(24)를 포함할 수 있다. 특징점 분포 정보는 상술된 정보에 한정되지 않고, 다양한 얼굴 영역에 포함되는 지점의 좌표에 대한 정보를 포함할 수 있다.
다시 도 2를 참조하면, 처리부(150)는 입력부(140)를 통해 입력되는 제 1 사용자의 영상 통화 요청 입력에 응답하여 영상 통화 요청을 서버(300, 도 1 참조)에 전달하고, 서버(300)로부터 검색된 영상 통화 상대방(즉, 제 2 사용자)의 프로필 정보를 수신할 수 있다. 여기서, 상기 프로필 정보는 제 2 사용자의 이름, 국적, 호감도, 프로필 영상, 및 차단 이력 중 적어도 어느 하나를 포함할 수 있다.
예를 들어, '호감도'는 제 2 사용자가 영상 통화 어플리케이션을 이용하여 다른 사용자들과 영상 통화 서비스를 이용하는 과정에서 다른 사용자들로부터 관심을 받은 정도로 정의될 수 있고, 소셜 네트워크 서비스에서의 '좋아요', '추천'과 같은 기능을 통해 '호감도'의 정도가 레이팅(rating) 될 수 있다. '차단 이력'은 제 2 사용자가 영상 통화 어플리케이션을 이용하는 과정에서 다른 사용자들로부터 차단을 당하거나 신고를 받은 이력으로 정의될 수 있다.
처리부(150)는 제 1 사용자의 제 2 사용자와의 매치 만족도를 산출할 수 있다. 여기서, '매치 만족도'는 서버(300)에 의해 매칭된 제 2 사용자에 대한 제 1 사용자의 만족도를 의미할 수 있다.
처리부(150)는 제 1 사용자에 의한 제 1 입력 또는 제 2 입력 중 적어도 어느 하나의 수신 여부에 기초하여 매치 만족도를 산출할 수 있다. 한편, 처리부(150)는 제 1 입력 또는 제 2 입력 이외에도 매치 지속시간, 매치를 종료한 사용자가 누구인지 여부, 매치 중에 텍스트 메시징을 했는지 여부 및 메시징 횟수, 매치 중 언어 번역 기능의 사용 횟수, 매치 중 사용자의 영상으로부터 검출되는 표정의 종류/빈도/시간/비율, 제 1 사용자의 침묵 여부, 매치 중 양 당사자의(또는 제 1 사용자가) 발화시간/발화시간의 전체 매치 시간에 대한 비율/음성의 평균 주파수/음성의 평균 크기/목소리 톤, 매치 중 발생한 소리 내에서 웃음 소리의 검출 횟수, 매치 중 발생한 소리 또는 텍스트 메시지 내에서 호감 또는 비호감(욕설 등) 관련 단어의 검출 여부 및 횟수, 매치 중 사용자가 몸을 얼마나 많이 움직였는지, 매치 중 발생한 바디랭귀지의 횟수, 매치 중 발생한 바디랭귀지 내에서 호감 또는 비호감 관련 바디랭귀지의 검출 여부 및 횟수, 매치 후 비디오콜 또는 메시징 또는 친구신청을 했는지 여부, 사용자들이 친구관계가 된 이후의 인터랙션 횟수/빈도, 다른 플랫폼의 ID 또는 전화번호를 교환했는지 여부, 제 1 사용자가 차단 또는 신고했는지 여부, 제 1 사용자로부터의 특정한 입력이 수신되는지 여부 등 다양한 인자에 기초하여 매치 만족도를 산출할 수 있다.
예를 들어, 처리부(150)는 하기의 수학식 1을 이용하여 매치 만족도를 산출할 수 있다.
위 수학식 1에서 k는 만족도 인자의 개수를 나타내고, 
는 만족도 인자를 나타낼 수 있다. 그리고, 
는 만족도 인자의 계수를 나타낼 수 있다. 예를 들어, 제 1 만족도 인자(
)는 제 1 입력의 수신 여부를 나타내고, 제 2 만족도 인자(
)는 제 2 입력이 수신되는 경우 상대방 영상(즉, 제 2 사용자의 사용자 영상)이 표시부(130)에 표시된 시점부터 제 2 입력이 수신되는 시점까지의 경과 시간을 나타낼 수 있다.
즉, 위 수학식 1을 참조하면, 제 1 만족도 인자(
)는 제 1 사용자가 친구 추가 기능을 실행하기 위한 제 1 객체 및/또는 호감도 표시 기능을 실행하기 위한 제 2 객체를 선택하는 입력(즉, 제 1 입력)에 기초하는 값이므로, 제 1 입력이 수신되는 경우 매치 만족도(S)의 값은 높아질 수 있다.
또한, 제 2 만족도 인자(
)는 상대방 영상(즉, 제 2 사용자의 사용자 영상)이 표시부(130)에 표시된 시점부터 제 2 입력이 수신되는 시점까지의 경과 시간에 기초하는 값이므로, 상기 경과 시간이 길수록 매치 만족도(S)의 값은 높아질 수 있다. 즉, 제 2 입력은 다른 상대방과의 영상 통화를 요청하는 입력이므로 상기 경과 시간이 길수록 제 1 사용자가 제 2 사용자에게 관심이 있는 것으로 볼 수 있다.
처리부(150)는 통신부(120)를 통해 상기 산출된 매치 만족도를 서버(300)에 전송할 수 있다. 또는, 처리부(150)는 매치 만족도를 산출하지 않고, 통신부(120)를 통해 제 1 만족도 인자(
), 및 제 2 만족도 인자(
)를 서버(300)에 전송할 수 있다. 제 1 만족도 인자(
), 및 제 2 만족도 인자(
)는 각각 제 1 입력 및 제 2 입력에 기초한 값 외에 상술된 다양한 인자들 중에서 하나의 값으로 정의될 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 통신 방법을 보여주는 흐름도이다. 도 5 및 도 6은 본 발명의 일 실시예에 따른 전자 장치의 통신 방법을 설명하기 위한 도면들이다.
먼저, 도 4를 참조하면, 본 발명의 일 실시예에 따른 전자 장치의 통신 방법은 상대방 영상을 수신하는 단계(S110), 수신된 상대방 영상 및 적어도 하나의 객체를 표시하는 단계(S120), 사용자로부터 적어도 하나의 객체를 선택하는 제 1 입력 또는 다른 상대방과의 영상 통화를 요청하는 제 2 입력 중 적어도 어느 하나를 수신하는 단계(S130), 및 제 1 입력 또는 제 2 입력 중 적어도 어느 하나의 수신 여부에 기초하여 사용자의 상대방과의 매치 만족도를 산출하는 단계(S140)를 포함할 수 있다.
이하에서 상기 S110 단계 내지 S140 단계가 도 2를 참조하여 구체적으로 설명된다.
S110 단계에서, 통신부(120)는 서버(300)에 의해 매칭된 영상 통화 상대방(즉, 제 2 사용자)의 전자 장치(즉, 제 2 전자 장치)로부터 상대방 영상을 수신할 수 있다.
S120 단계에서, 도 5를 참조하면, 표시부(130)는 제 1 사용자의 사용자 영상(11), 상대방 영상(즉, 제 2 사용자의 사용자 영상, 12), 및 적어도 하나의 객체(13 및 14)를 디스플레이할 수 있다.
예를 들어, 상기 적어도 하나의 객체(13 및 14)는 상대방 영상에 오버랩(overlap)되어 디스플레이될 수 있으며, 아이콘(icon) 또는 소프트 버튼(soft button)의 형태로 디스플레이될 수 있다. 상기 적어도 하나의 객체(13 및 14)는 친구 추가 기능을 실행하기 위한 제 1 객체(13) 및 호감도 표시 기능을 실행하기 위한 제 2 객체(14)를 포함할 수 있다. 상기 호감도 표시 기능은 제 1 사용자가 영상 통화의 상대방에게 호감도를 표시하는 기능으로, 제 1 사용자가 상기 제 2 객체(14)를 선택하는 경우 영상 통화의 상대방의 호감도 지수가 상승하도록 구현될 수 있다. 예를 들어, 표시부(130)는 터치 패널을 포함하는 터치 스크린으로 마련되어 입력부(140)의 기능을 포함할 수 있다.
S130 단계에서, 입력부(140)는 제 1 사용자로부터의 입력을 수신할 수 있다. 예를 들어, 입력부(140)는 제 1 사용자로부터 영상 통화 요청 입력, 적어도 하나의 객체를 선택하는 제 1 입력, 및 다른 상대방과의 영상 통화를 요청하는 제 2 입력 등 다양한 입력을 수신할 수 있다. 여기서, 제 2 입력은 제 1 사용자로부터 영상 통화 요청 입력이 수신됨에 따라 임의의 상대방과의 영상 통화가 개시된 이후에 제 1 사용자가 다른 상대방과의 영상 통화를 요청하는 입력을 의미할 수 있다.
S140 단계에서, 처리부(150)는 제 1 사용자에 의한 제 1 입력 또는 제 2 입력 중 적어도 어느 하나의 수신 여부에 기초하여 매치 만족도를 산출할 수 있다. 예를 들어, 처리부(150)는 상술한 수학식 1을 이용하여 매치 만족도를 산출할 수 있다.
예를 들어, 도 5를 참조하면, 수학식 1의 제 1 만족도 인자(
)는 제 1 사용자가 친구 추가 기능을 실행하기 위한 제 1 객체(13) 및/또는 호감도 표시 기능을 실행하기 위한 제 2 객체(14)를 선택하는 입력(제 1 입력)에 기초하는 값이므로, 제 1 입력이 수신되는 경우 매치 만족도(S)의 값은 높아질 수 있다.
또한, 도 6을 참조하면, 처리부(150)는 제 2 입력(SW)이 수신되는 경우 상대방 영상이 표시부(130)에 표시된 시점부터 제 2 입력(SW)이 수신되는 시점까지의 경과 시간에 기초하여 매치 만족도를 산출할 수 있다. 예를 들어, 제 2 입력(SW)은 터치 앤 드래그(touch and drag) 또는 스와이프(swipe) 동작으로 정의될 수 있다.
예를 들어, 수학식 1의 제 2 만족도 인자(
)는 상대방 영상(즉, 제 2 사용자의 사용자 영상)이 표시부(130)에 표시된 시점부터 제 2 입력(SW)이 수신되는 시점까지의 경과 시간이므로 상기 경과 시간이 길수록 매치 만족도(S)의 값은 높아질 수 있다. 즉, 제 2 입력은 다른 상대방과의 영상 통화를 요청하는 입력이므로 상기 경과 시간이 길수록 제 1 사용자가 제 2 사용자에게 관심이 있는 것으로 볼 수 있다.
도 7은 본 발명의 일 실시예에 따른 서버를 보여주는 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 서버(300)는 통신부(310), 사용자 관리부(320), 세션 관리부(330), 영상 분석부(340), 및 처리부(350)를 포함할 수 있다.
사용자 관리부(320), 세션 관리부(330), 영상 분석부(340), 및 처리부(350)는 하드웨어 형태, 소프트웨어 형태, 또는 하이브리드 형태로 구현될 수 있다.
하드웨어 형태에서, 사용자 관리부(320), 세션 관리부(330), 영상 분석부(340), 및 처리부(350)는 뒤에서 설명될 동작들을 수행하기 위해 하나 이상의 디지털 및/또는 아날로그 회로들을 포함할 수 있다. 소프트웨어 형태에서, 사용자 관리부(320), 세션 관리부(330), 영상 분석부(340), 및 처리부(350)는 뒤에서 설명될 동작들을 수행하도록 구성되는 하나 이상의 명령어 코드들을 포함할 수 있다. 명령어 코드는 서버(300)에 포함되는 하나 이상의 프로세서들에 의해 명령어 집합으로 컴파일 또는 번역되고 처리될 수 있다.
통신부(310)는 전자 장치(100, 도 1 참조)로부터 영상 통화 연결 요청, 사용자의 얼굴 영상, 사용자의 영상으로부터 획득된 특징점 분포 정보, 매치 만족도, 및/또는 매치 만족도 산출을 위한 만족도 인자를 수신할 수 있다. 통신부(310)는 다양한 유선 및/또는 무선 통신 네트워크를 통해 전자 장치(예를 들어, 제 1 전자 장치(100) 및 제 2 전자 장치(200), 도 1 참조)들과 통신할 수 있다.
통신부(310)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그 모듈, UWB 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(310)는 마그네틱 보안 전송 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(310)는 기타 네트워크 인터페이스를 포함할 수 있다.
사용자 관리부(320)는 영상 통화 연결 요청에 응답하여 복수의 대기 사용자들 중 영상 통화 상대방이 되는 제 2 사용자를 검색 및/또는 선택할 수 있다. 여기서, 복수의 대기 사용자들은 제 1 사용자와의 영상 통화 연결이 가능한 다른 전자 장치들의 사용자들을 의미할 수 있다. 예를 들어, 사용자 관리부(320)는 전자 장치(100, 200)의 사용자들의 프로필 정보 및 복수의 대기 사용자들의 프로필 정보를 저장할 수 있고, 프로필 정보는 상기 사용자들의 얼굴 영상을 포함할 수 있다. 다른 예로서, 사용자 관리부(320)는 전자 장치(100, 200) 각각으로부터 수신된 특징점 분포 정보를 저장할 수 있다.
사용자 관리부(320)는 처리부(350)에 의해 산출된 복수의 대기 사용자 각각에 대한 제 1 사용자의 매치 만족도를 이용하여 제 2 사용자 및/또는 제 3 사용자를 선택할 수 있다. 즉, 사용자 관리부(320)는 예측된 또는 산출된 각각의 매치 만족도 중 가장 큰 값에 대응하는 사용자를 제 1 사용자의 다음 상대방(예를 들어, 제 2 사용자 및/또는 제 3 사용자)으로 선택할 수 있다.
결과적으로, 학습된 결과를 기초로 제 1 사용자가 관심을 보일 가능성이 높은 사용자를 영상 통화 상대방으로 제시함으로써 제 1 사용자의 매치 만족도를 높일 수 있다.
한편, 사용자 관리부(320)는 사용자들의 얼굴 영상 간의 유사도를 이용하여 제 2 사용자를 검색할 수도 있다. 이 경우, 사용자 관리부(320)는 영상 분석부(340)로부터 전달되는 제 1 사용자의 영상과 저장된 사용자들의 영상과의 유사도를 이용하여 가장 유사도가 높은 사용자를 제 2 사용자로 검색할 수 있다. 검색된 제 2 사용자는 제 1 사용자의 영상 통화 상대방으로 제시될 것이다. 결과적으로, 제 1 사용자는 자신의 얼굴과 닮은 얼굴을 가진 사용자와 매치되는 경우 자신의 얼굴과 닮지 않은 얼굴을 가진 사용자와 매치되는 경우보다 매치 만족도가 높을 수 있다.
사용자 관리부(320)는 사용자들 각각의 얼굴의 특징점 분포 정보를 이용하여 제 2 사용자를 검색할 수 있다. 사용자 관리부(320)는 제 1 사용자의 특징점 분포 정보와 나머지 사용자들 각각의 특징점 분포 정보 사이의 유사도를 산출할 수 있다. 사용자 관리부(320)는 제 1 사용자의 특징점 분포 정보와 가장 높은 유사도를 갖는 특징점 분포를 갖는 사용자를 제 2 사용자로서 선택할 수 있다. 다른 예로서, 사용자 관리부(320)는 사용자들 각각의 얼굴 영상을 이용하여 제 2 사용자를 검색할 수 있다. 사용자 관리부(320)는 제 1 사용자의 얼굴 영상과 나머지 사용자들 각각의 얼굴 영상 사이의 유사도를 산출할 수 있다.
세션 관리부(330)는 전자 장치(예를 들어, 제 1 전자 장치(100) 및 제 2 전자 장치(200), 도 1 참조)들 간에 영상 통화를 위한 세션을 수립할 수 있다.
영상 분석부(340)는 사용자들의 얼굴 영상을 분석하여 특징점 분포 정보를 획득할 수 있다. 구체적으로, 영상 분석부(340)는 사용자들 각각의 얼굴의 적어도 하나 이상의 특정 지점에 대한 좌표를 추출하여 특징점 분포 정보를 생성할 수 있다. 영상 분석부(340)는 제 1 사용자의 얼굴 영상으로부터 제 1 특징점 분포 정보를 획득하고, 제 2 사용자의 얼굴 영상으로부터 제 2 특징점 분포 정보를 획득할 수 있다. 영상 분석부(340)는 사용자 관리부(320)에 저장된 사용자들의 얼굴 영상 정보를 분석하여 특징점 분포 정보를 획득할 수 있다. 여기서, 특징점 분포 정보는 사용자 얼굴의 소정 부위(예를 들어, 눈, 코, 입, 눈썹, 및 광대뼈 등)에 대응되는 특징점들의 분포 형태를 정의하는 정보를 의미할 수 있다. 또한, 영상 분석부(340)는 제 1 사용자의 영상과 저장된 사용자들의 영상과의 유사도를 분석할 수 있다.
처리부(350)는 기계 학습 모델을 학습시킬 수 있다. 예를 들어, 처리부(350)는 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 매치 만족도 사이의 상관관계에 대응하는 기계 학습 모델을 학습시킬 수 있다. 다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 정보, 및 매치 만족도 사이의 상관관계에 대응하는 기계 학습 모델을 학습시킬 수 있다. 다른 예로서, 처리부(350)는 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 만족도 인자 사이의 상관관계에 대응하는 기계 학습 모델을 학습시킬 수 있다. 다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 정보, 및 만족도 인자 사이의 상관관계에 대응하는 기계 학습 모델을 학습시킬 수 있다.
처리부(350)는 딥 러닝(deep learning) 알고리즘을 이용하여 기계 학습 모델을 학습시킬 수 있다. 기계학습 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), R-CNN(Region-based Convolutional Neural Networks), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN), 또는 심층 큐 네트워크(Deep Q-Networks) 중에서 적어도 하나 이상을 포함할 수 있다. 또한, 기계 학습 모델은 합성곱 신경망(Convolutional Neural Network, CNN)이거나, AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, Inception-ResNet, Inception-v2, Inception-v3, 또는 Inception-v4를 포함할 수 있다.
처리부(350)는 매치 만족도 또는 만족도 인자를 이용하여 기계 학습 모델을 학습시킬 수 있다. 처리부(350)는 기계 학습 모델을 포함할 수 있다. 예를 들어, 기계 학습 모델은 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 매치 만족도 사이의 상관관계에 대응할 수 있다. 다른 예로서, 기계 학습 모델은 제 1 특징점 분포 정보, 제 2 특징점 분포 및 매치 만족도 사이의 상관관계에 대응할 수 있다. 다른 예로서, 기계 학습 모델은 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 만족도 인자 사이의 상관관계에 대응할 수 있다. 다른 예로서, 기계 학습 모델은 제 1 특징점 분포 정보, 제 2 특징점 분포 정보, 및 만족도 인자 사이의 상관관계에 대응할 수 있다.
기계 학습 모델은 적어도 둘 이상의 레이어(layer)를 포함하는 뉴럴 네트워크(neural network)일 수 있다. 기계 학습 모델은 입력 레이어(input layer) 및 출력 레이어(output layer)를 포함할 수 있다. 기계 학습 모델은 적어도 하나 이상의 은닉 레이어(hidden layer)를 더 포함할 수 있다.
즉, 처리부(350)는 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 매치 만족도 사이의 상관관계에 대응하는 기계 학습 모델을 학습시키거나, 제 1 특징점 분포 정보, 제 2 특징점 분포 및 매치 만족도 사이의 상관관계에 대응하는 기계 학습 모델을 학습시킬 수 있다. 처리부(350) 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 만족도 인자 사이의 상관관계에 대응하는 기계 학습 모델을 학습시키거나 제 1 특징점 분포 정보, 제 2 특징점 분포 정보, 및 만족도 인자 사이의 상관관계에 대응하는 기계 학습 모델을 학습시킬 수 있다.
처리부(350)는 기계 학습 모델을 이용하여 복수의 사용자 각각에 대응하는 제 1 사용자의 매치 만족도를 예측할 수 있다. 처리부(350)는 예측된 매치 만족도에 기초하여 제 1 사용자와 매칭될 다음 상대방을 선택할 수 있다. 예를 들어, 예측된 각각의 매치 만족도 중 가장 큰 값에 대응하는 사용자를 다음 상대방으로 선택할 수 있다.
처리부(350)가 제 1 특징점 분포 정보, 및 제 2 특징점 분포를 이용하여 기계 학습 모델을 학습시키는 경우, 제 1 사용자의 얼굴 영상, 및 제 2 사용자의 얼굴 영상을 이용하여 기계 학습 모델을 학습시키는 것보다 학습을 위한 연산량이 감소할 수 있다. 따라서, 처리부(350)가 제 1 특징점 분포 정보, 및 제 2 특징점 분포를 이용하여 기계 학습 모델을 학습시키면, 기계 학습 모델을 빠르게 학습시킬 수 있다.
또는 처리부(350)는 전자 장치(100)로부터 수신된 제 1 만족도 인자(
) 및 제 2 만족도 인자를 이용하여 기계 학습 모델을 학습시킬 수 있다. 예를 들어, 처리부(350)는 제 1 사용자의 얼굴 영상, 및 제 2 사용자의 얼굴 영상 및 제 1 만족도 인자(
) 사이의 상관관계에 대응하는 제 1 기계 학습 모델을 학습시킬 수 있다. 그리고, 처리부(350)는 제 1 사용자의 얼굴 영상, 및 제 2 사용자의 얼굴 영상 및 제 2 만족도 인자(
)사이의 상관관계에 대응하는 제 2 기계 학습 모델을 학습시킬 수 있다.
다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 및 제 1 만족도 인자(
) 사이의 상관관계에 대응하는 제 1 기계 학습 모델을 학습시킬 수 있다. 그리고, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 및 제 2 만족도 인자(
)사이의 상관관계에 대응하는 제 2 기계 학습 모델을 학습시킬 수 있다.
처리부(350)는 제 1 기계 학습 모델을 이용하여 복수의 대기 사용자 각각에 대한 제 1 사용자의 제 1 만족도 인자(
)를 예측하고, 제 2 기계 학습 모델을 이용하여 복수의 대기 사용자 각각에 대한 제 1 사용자의 제 2 만족도 인자(
)를 예측할 수 있다. 처리부(350)는 복수의 대기 사용자 각각의 제 1 만족도 인자(
), 및 제 2 만족도 인자(
)를 이용하여 복수의 대기 사용자 각각에 대한 제 1 사용자의 매치 만족도를 산출할 수 있다. 예를 들어, 처리부(350)는 상술한 수학식 1과 같은 방법으로 복수의 사용자 각각에 대한 제 1 사용자의 매치 만족도를 산출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 서버의 동작 방법을 보여주는 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 서버의 동작 방법은 제 1 사용자의 제 1 전자 장치로부터 영상 통화 연결 요청을 수신하는 단계(S210), 제 1 전자 장치와 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 단계(S220), 제 1 사용자의 제 1 얼굴 정보를 획득하고, 제 2 사용자의 제 2 얼굴 정보를 획득하는 단계(S230), 제 2 사용자에 대한 제 1 사용자의 만족도를 획득하는 단계(S240), 제 1 얼굴 정보, 제 2 얼굴 정보 및 만족도를 이용하여 기계 학습 모델을 학습하는 단계(S250), 대기 사용자들 각각에 대한 제 1 사용자의 만족도를 예측하는 단계(S260), 및 예측된 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자는 선택하는 단계(S270)를 포함할 수 있다.
이하에서 상기 S210 단계 내지 S270 단계가 도 7을 참조하여 더욱 구체적으로 설명된다.
S210 단계에서, 통신부(310)는 전자 장치(100, 도 1 참조)로부터 영상 통화 연결 요청을 수신할 수 있다.
S220 단계에서, 세션 관리부(330)는 전자 장치(예를 들어, 제 1 전자 장치(100) 및 제 2 전자 장치(200), 도 1 참조)들 간에 영상 통화를 위한 세션을 수립할 수 있다.
S230 단계에서, 서버(300)는 제 1 사용자의 제 1 얼굴 정보를 획득하고, 제 2 사용자의 제 2 얼굴 정보를 획득할 수 있다. 예를 들어, 제 1 얼굴 정보는 사용자 관리부(320)에 저장된 제 1 사용자의 얼굴 영상일 수 있다. 제 2 얼굴 정보는 사용자 관리부(320)에 저장된 제 2 사용자의 얼굴 영상일 수 있다.
다른 예로서, 제 1 얼굴 정보는 사용자 관리부(320)에 저장된 제 1 사용자의 얼굴 영상으로부터 획득된 제 1 특징점 분포 정보일 수 있다. 제 2 얼굴 정보는 사용자 관리부(320)에 저장된 제 2 사용자의 얼굴 영상으로부터 획득된 제 2 특징점 분포 정보일 수 있다. 제 1 특징점 분포 정보 및 제 2 특징점 분포 정보는 각각 제 1 전자 장치(100) 및 제 2 전자 장치(200)로부터 수신될 수 있다. 제 1 특징점 분포 정보 및 제 2 특징점 분포 정보는 분석부(340)로부터 획득될 수 있다.
S240 단계에서, 서버(300)의 통신부(310)는 제 1 전자 장치(100)로부터 제 2 사용자에 대한 제 1 사용자의 만족도를 획득할 수 있다. 예를 들어, 만족도는 제 1 전자 장치(100)로부터 산출된 매치 만족도일 수 있다. 다른 예로서, 만족도는 제 1 전자 장치(100)로부터 수신된 적어도 하나 이상의 만족도 인자일 수 있다. 다른 예로서, 만족도는 제 1 전자 장치(100)로부터 수신된 적어도 하나 이상의 만족도 인자를 이용하여 처리부(350)에서 산출된 매치 만족도일 수 있다.
S250 단계에서, 서버(300)의 처리부(350)는 제 1 얼굴 정보, 제 2 얼굴 정보 및 만족도를 이용하여 기계 학습 모델을 학습시킬 수 있다. 예를 들어, 처리부(350)는 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 매치 만족도를 이용하여 기계 학습 모델을 학습시킬 수 있다. 다른 예로서, 처리부(350) 제 1 사용자의 얼굴 영상, 제 2 사용자의 얼굴 영상, 및 적어도 하나 이상의 만족도 인자를 이용하여 기계 학습 모델을 학습시킬 수 있다.
다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 정보, 및 매치 만족도를 이용하여 기계 학습 모델을 학습시킬 수 있다. 다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 정보, 및 적어도 하나 이상의 만족도 인자를 이용하여 기계 학습 모델을 학습시킬 수 있다.
S260 단계에서, 처리부(350)는 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 상기 제 1 사용자의 매치 만족도를 예측할 수 있다. 예를 들어, 처리부(350)는 제 1 사용자의 얼굴 영상, 대기 사용자들 각각의 얼굴 영상, 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 예측할 수 있다.
다른 예로서, 처리부(350)는 제 1 사용자의 얼굴 영상, 대기 사용자들 각각의 얼굴 영상, 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측할 수 있다. 다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 대기 사용자들 각각의 특징점 분포 정보 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 예측할 수 있다.
다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 대기 사용자들 각각의 특징점 분포 정보, 및 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측할 수 있다. 처리부(350)는 예측된 제 1 사용자의 매치 만족도를 사용자 관리부(320)에 전달할 수 있다.
S270 단계에서, 사용자 관리부(320)는 예측된 매치 만족도를 이용하여 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택할 수 있다. 예를 들어, 사용자 관리부(320)는 상기 예측된 대기 사용자들 각각의 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 제 3 사용자로 선택할 수 있다.
다른 예로서, 처리부(350)는 예측된 적어도 하나 이상의 만족도 인자를 이용하여 대기 사용자들 각각에 대한 상기 제 1 사용자의 매치 만족도를 산출할 수 있다. 처리부(350)는 산출된 매치 만족도를 사용자 관리부(320)에 전송할 수 있다. 사용자 관리부(320)는 산출된 매치 만족도를 이용하여 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택할 수 있다. 예를 들어, 사용자 관리부(320)는 상기 산출된 대기 사용자들 각각의 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 제 3 사용자로 선택할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 서버의 동작 방법을 보여주는 흐름도이다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 서버의 동작 방법은 제 1 사용자의 제 1 전자 장치로부터 영상 통화 연결 요청을 수신하는 단계(S310), 제 1 전자 장치와 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 단계(S320), 제 1 사용자의 제 1 얼굴 정보를 획득하고, 제 2 사용자의 제 2 얼굴 정보를 획득하는 단계 (S330), 영상 통화 세션을 통해 제 1 전자 장치로부터 제 2 사용자에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 수신하는 단계(S340), 제 1 얼굴 정보, 제 2 얼굴 정보 및 적어도 하나 이상의 만족도 인자를 이용하여 적어도 하나 이상의 기계 학습 모델을 학습시키는 단계(S350), 제 1 전자 장치 및 제 2 전자 장치 사이의 영상 통화 연결이 종료되는 경우, 학습된 적어도 하나 이상의 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계(S360), 예측된 적어도 하나 이상의 만족도 인자를 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 산출하는 단계(S370), 및 산출된 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계(S380)를 포함할 수 있다.
이하에서 상기 S310 단계 내지 S380 단계가 도 7을 참조하여 더욱 구체적으로 설명된다. 다만, S310 단계 내지 S330 단계는 도 8을 참조하여 설명된 S210 단계 내지 S230 단계와 실질적으로 동일할 수 있으므로 설명의 중복을 피하기 위해 구체적인 설명은 생략한다. 즉, 도 9에 도시된 본 발명의 다른 실시예에 따른 서버의 동작 방법은 전자 장치(100)로부터 수신되는 제 2 사용자에 대한 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 각각 예측하고, 예측된 제 1 만족도 인자 및 제 2 만족도 인자를 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 매치 만족도를 산출하는 점에서 도 8에 도시된 본 발명의 일 실시예에 따른 서버의 동작 방법과 차이가 있을 수 있다.
S340 단계에서, 통신부(310)는 전자 장치(100)로부터 제 2 사용자에 대한 제 1 사용자의 제 1 만족도 인자(
) 및 제 2 만족도 인자(
)를 포함할 수 있다.
S350 단계에서, 처리부(350)는 제 1 만족도 인자(
) 및 제 2 만족도 인자(
)를 이용하여 기계 학습 모델을 학습시킬 수 있다. 예를 들어, 처리부(350)는 제 1 얼굴 영상, 제 2 얼굴 영상 및 제 1 만족도 인자(
) 사이의 상관관계에 대응하는 제 1 기계 학습 모델을 학습시킬 수 있다. 처리부(350)는 제 1 얼굴 영상, 제 2 얼굴 영상 및 제 2 만족도 인자(
)사이의 상관관계에 대응하는 제 2 기계 학습 모델을 학습시킬 수 있다.
다른 예로서, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 및 제 1 만족도 인자(
) 사이의 상관관계에 대응하는 제 1 기계 학습 모델을 학습시킬 수 있다. 그리고, 처리부(350)는 제 1 특징점 분포 정보, 제 2 특징점 분포 및 제 2 만족도 인자(
)사이의 상관관계에 대응하는 제 2 기계 학습 모델을 학습시킬 수 있다.
S360 단계에서, 처리부(350)는 학습된 제 1 기계 학습 모델 및 제 2 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 제 1 사용자의 제 1 만족도 인자(
) 및 제 2 만족도 인자(
)를 예측할 수 있다. 예를 들어, 처리부(350)는 제 1 기계 학습 모델을 이용하여 대기 사용자 각각에 대한 제 1 사용자의 제 1 만족도 인자(
)를 예측하고, 제 2 기계 학습 모델을 이용하여 대기 사용자 각각에 대한 제 1 사용자의 제 2 만족도 인자(
)를 예측할 수 있다.
S370 단계에서, 처리부(350)는 대기 사용자 각각에 대해 예측된 제 1 사용자의 제 1 만족도 인자(
), 및 제 2 만족도 인자(
)를 이용하여 대기 사용자 각각에 대한 제 1 사용자의 매치 만족도를 산출할 수 있다. 예를 들어, 처리부(350)는 상술한 수학식 1과 같은 방법을 이용하여 대기 사용자 각각에 대한 제 1 사용자의 매치 만족도를 산출할 수 있다.
S380 단계에서, 사용자 관리부(320)는 산출된 제 1 사용자의 매치 만족도를 이용하여 대기 사용자들 중에서 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택할 수 있다. 예를 들어, 사용자 관리부(320)는 상기 산출된 대기 사용자들 각각의 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 제 3 사용자로 선택할 수 있다.
도 10은 본 발명의 일 실시예에 따른 전자 장치의 통신 방법 또는 서버의 동작 방법을 실행하기 위한 컴퓨팅 시스템을 보여준다.
도 10을 참조하면, 상술한 본 발명의 일 실시예에 따른 전자 장치의 통신 방법 또는 서버의 동작 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들을 처리하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상에서 설명된 실시예에 따르면, 사용자 간의 건전한 영상 통화가 유도될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있다. 또한, 컴퓨터 판독 가능 매체는 휘발성 매체, 비휘발성 매체, 분리형 매체, 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 영상 통화 시스템
100: 제 1 전자 장치
110: 카메라
120: 통신부
130: 표시부
140: 입력부
150: 처리부
200: 제 2 전자 장치
300: 서버
310: 통신부
320: 사용자 관리부
330: 세션 관리부
340: 영상 분석부
350: 처리부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스
100: 제 1 전자 장치
110: 카메라
120: 통신부
130: 표시부
140: 입력부
150: 처리부
200: 제 2 전자 장치
300: 서버
310: 통신부
320: 사용자 관리부
330: 세션 관리부
340: 영상 분석부
350: 처리부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스
Claims (18)
- 제 1 사용자의 제 1 전자 장치로부터 영상 통화 연결 요청을 수신하는 단계;
상기 제 1 전자 장치와 상기 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 단계;
상기 제 2 사용자에 대한 상기 제 1 사용자의 만족도를 획득하는 단계;
상기 제 1 사용자의 제 1 얼굴 정보를 획득하고, 상기 제 2 사용자의 제 2 얼굴 정보를 획득하는 단계;
상기 제 1 얼굴 정보, 상기 제 2 얼굴 정보 및 상기 만족도를 이용하여 기계 학습 모델을 학습시키는 단계;
상기 제 1 전자 장치 및 제 2 전자 장치 사이의 상기 영상 통화 연결이 종료되는 경우, 상기 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 상기 학습된 기계 학습 모델을 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 만족도를 예측하는 단계; 및
상기 예측된 만족도를 이용하여 상기 대기 사용자들 중에서 상기 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계를 포함하는 서버의 동작 방법. - 제 1 항에 있어서,
상기 만족도는 상기 영상 통화 세션을 통해 상기 제 1 전자 장치로부터 산출된 매치 만족도에 대응하는 서버의 동작 방법. - 제 1 항에 있어서,
상기 제 2 사용자에 대한 상기 제 1 사용자의 만족도를 획득하는 단계는,
상기 영상 통화 세션을 통해 상기 제 2 사용자에 대한 상기 제 1 사용자의 적어도 하나 이상의 만족도 인자를 획득하는 단계를 포함하고,
상기 제 1 얼굴 정보, 상기 제 2 얼굴 정보 및 상기 만족도를 이용하여 상기 기계 학습 모델을 학습시키는 단계는,
상기 제 1 얼굴 정보, 상기 제 2 얼굴 정보 및 상기 적어도 하나 이상의 만족도 인자를 이용하여 상기 기계 학습 모델을 학습시키는 단계를 포함하고,
상기 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 상기 학습된 기계 학습 모델을 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 만족도를 예측하는 단계는,
상기 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 상기 학습된 기계 학습 모델을 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계를 포함하고,
상기 예측된 매치 만족도를 이용하여 상기 대기 사용자들 중에서 상기 제 1 사용자의 다음 영상 통화 상대방이 되는 상기 제 3 사용자를 선택하는 단계는,
상기 예측된 적어도 하나 이상의 만족도 인자를 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 매치 만족도를 산출하는 단계; 및
상기 산출된 매치 만족도를 이용하여 상기 대기 사용자들 중에서 상기 제 1 사용자의 상기 다음 영상 통화 상대방이 되는 상기 제 3 사용자를 선택하는 단계를 포함하는 서버의 동작 방법. - 제 1 항에 있어서,
상기 만족도는 상기 영상 통화 세션을 통해 획득된 상기 제 2 사용자에 대한 상기 제 1 사용자의 적어도 하나 이상의 만족도 인자를 이용하여 산출된 매치 만족도에 대응하는 서버의 동작 방법. - 제 1 항에 있어서,
상기 제 1 얼굴 정보 및 상기 제 2 얼굴 정보는 각각 상기 제 1 사용자의 얼굴 영상 및 상기 제 2 사용자의 얼굴 영상에 대응하는 서버의 동작 방법. - 제 1 항에 있어서,
상기 제 1 얼굴 정보 및 상기 제 2 얼굴 정보는 각각 상기 제 1 사용자의 얼굴의 특정 지점에 대한 좌표 정보 및 상기 제 2 사용자 얼굴의 특정 지점에 대한 좌표 정보에 대응하는 서버의 동작 방법. - 제 1 사용자의 제 1 전자 장치와 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 세션 관리부;
상기 영상 통화 세션을 통해 상기 제 1 전자 장치로부터 산출되는 매치 만족도를 수신하는 통신부;
상기 제 1 사용자의 얼굴 영상으로부터 제 1 특징점 분포 정보를 획득하고, 상기 제 2 사용자의 얼굴 영상으로부터 제 2 특징점 분포 정보를 획득하는 영상 분석부;
상기 제 1 특징점 분포 정보, 상기 제 2 특징점 분포 정보 및 상기 매치 만족도를 이용하여 기계 학습 모델을 학습시키고, 상기 제 1 전자 장치 및 제 2 전자 장치 사이의 상기 영상 통화 연결이 종료되는 경우 상기 학습된 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 상기 제 1 사용자의 매치 만족도를 예측하는 처리부; 및
상기 예측된 매치 만족도를 이용하여 상기 대기 사용자들 중에서 상기 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 사용자 관리부를 포함하는 서버. - 제 7 항에 있어서,
상기 사용자 관리부는 상기 예측된 대기 사용자들 각각의 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 상기 제 3 사용자로 선택하는 서버. - 제 7 항에 있어서,
상기 제 1 사용자의 얼굴 영상 및 제 2 사용자의 얼굴 영상은 상기 사용자 관리부에 저장되는 서버. - 제 7 항에 있어서,
상기 제 1 특징점 분포 정보 및 제 2 특징점 분포 정보는 눈, 코, 입, 눈썹 및 광대뼈에 대응되는 특징점들의 분포 정보를 포함하는 서버. - 제 7 항에 있어서,
상기 사용자 관리부는 상기 제 1 사용자의 얼굴 영상과의 유사도를 이용하여 상기 제 2 사용자를 선택하는 서버. - 제 1 사용자의 제 1 전자 장치로부터 영상 통화 연결 요청을 수신하는 단계;
상기 제 1 전자 장치와 상기 제 2 사용자의 제 2 전자 장치 간에 영상 통화 세션을 수립하는 단계;
상기 제 1 사용자의 제 1 얼굴 정보를 획득하고, 상기 제 2 사용자의 제 2 얼굴 정보를 획득하는 단계;
상기 제 2 사용자에 대한 상기 제 1 사용자의 적어도 하나 이상의 만족도 인자를 수신하는 단계;
상기 제 1 얼굴 정보, 상기 제 2 얼굴 정보 및 상기 적어도 하나 이상의 만족도 인자를 이용하여 적어도 하나 이상의 기계 학습 모델을 학습시키는 단계;
상기 제 1 전자 장치 및 제 2 전자 장치 사이의 상기 영상 통화 연결이 종료되는 경우, 상기 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 상기 학습된 기계 학습 모델을 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계;
상기 예측된 적어도 하나 이상의 만족도 인자를 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 매치 만족도를 산출하는 단계; 및
상기 산출된 매치 만족도를 이용하여 대기 사용자들 중에서 상기 제 1 사용자의 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계를 포함하는 서버의 동작 방법. - 제 12 항에 있어서,
상기 제 1 얼굴 정보 및 상기 제 2 얼굴 정보는 각각 상기 제 1 사용자의 얼굴 영상 및 상기 제 2 사용자의 얼굴 영상에 대응하는 서버의 동작 방법. - 제 12 항에 있어서,
상기 제 1 얼굴 정보 및 상기 제 2 얼굴 정보는 각각 상기 제 1 사용자의 얼굴의 특정 지점에 대한 좌표 정보 및 상기 제 2 사용자 얼굴의 특정 지점에 대한 좌표 정보에 대응하는 서버의 동작 방법. - 제 12 항에 있어서,
상기 제 2 사용자에 대한 상기 제 1 사용자의 상기 적어도 하나 이상의 만족도 인자를 수신하는 단계는,
상기 제 2 사용자에 대한 상기 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 수신하는 단계를 포함하고,
상기 제 1 얼굴 정보, 상기 제 2 얼굴 정보 및 상기 적어도 하나 이상의 만족도 인자를 이용하여 적어도 하나 이상의 기계 학습 모델을 학습시키는 단계는,
상기 제 1 얼굴 정보, 상기 제 2 얼굴 정보 및 상기 제 1 만족도 인자를 이용하여 제 1 기계 학습 모델을 학습시키고, 상기 제 1 얼굴 정보, 상기 제 2 얼굴 정보 및 상기 제 2 만족도 인자를 이용하여 제 2 기계 학습 모델을 학습시키는 단계를 포함하고,
상기 제 1 얼굴 정보, 대기 사용자들 각각의 얼굴 정보 및 상기 학습된 기계 학습 모델을 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 적어도 하나 이상의 만족도 인자를 예측하는 단계는,
상기 학습된 제 1 기계 학습 모델 및 상기 학습된 제 2 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 상기 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 각각 예측하는 단계를 포함하고,
상기 예측된 적어도 하나 이상의 만족도 인자를 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 매치 만족도를 산출하는 단계는,
상기 예측된 제 1 만족도 인자 및 상기 예측된 제 2 만족도 인자를 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 매치 만족도를 산출하는 단계를 포함하는 서버의 동작 방법. - 제 15 항에 있어서,
상기 제 1 만족도 인자는 상기 제 1 사용자에 의해 상기 제 1 전자 장치에 디스플레이되는 적어도 하나 이상의 객체를 선택되는 제 1 입력의 수신 여부에 대응하고,
상기 제 1 전자 장치에 상기 제 1 사용자에 의해 상기 영상 통화 세션을 종료하는 제 2 입력이 수신되는 경우, 상기 제 2 만족도 인자는 상기 영상 통화 세션의 수립 시점부터 상기 제 2 입력이 수신되는 시점까지의 경과 시간에 대응하는 서버의 동작 방법. - 제 15 항에 있어서,
상기 학습된 제 1 기계 학습 모델 및 제 2 기계 학습 모델을 이용하여 대기 사용자들 각각에 대한 상기 제 1 사용자의 제 1 만족도 인자 및 제 2 만족도 인자를 각각 예측하는 단계는,
상기 제 1 특징점 분포 정보, 상기 대기 사용자들 각각의 특징점 분포 및 상기 학습된 제 1 기계 학습 모델을 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 제 1 만족도 인자를 예측하고, 상기 제 1 특징점 분포 정보, 상기 대기 사용자들 각각의 특징점 분포 및 상기 학습된 제 2 기계 학습 모델을 이용하여 상기 대기 사용자들 각각에 대한 상기 제 1 사용자의 제 2 만족도 인자를 예측하는 단계를 포함하는 서버의 동작 방법. - 제 12 항에 있어서,
상기 산출된 매치 만족도를 이용하여 대기 사용자들 중에서 상기 제 1 사용자의 상기 다음 영상 통화 상대방이 되는 제 3 사용자를 선택하는 단계는,
상기 산출된 대기 사용자들 각각의 매치 만족도 중 가장 큰 매치 만족도 값에 대응되는 사용자를 상기 제 3 사용자로 선택하는 단계를 포함하는 서버의 동작 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170153590A KR102073351B1 (ko) | 2017-11-17 | 2017-11-17 | 서버 및 그것의 동작 방법 |
| US16/188,477 US11032512B2 (en) | 2017-11-17 | 2018-11-13 | Server and operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170153590A KR102073351B1 (ko) | 2017-11-17 | 2017-11-17 | 서버 및 그것의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190056538A true KR20190056538A (ko) | 2019-05-27 |
| KR102073351B1 KR102073351B1 (ko) | 2020-02-05 |
Family
ID=66533529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170153590A KR102073351B1 (ko) | 2017-11-17 | 2017-11-17 | 서버 및 그것의 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11032512B2 (ko) |
| KR (1) | KR102073351B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10621343B1 (en) * | 2017-11-30 | 2020-04-14 | Fortinet, Inc. | Generic and static detection of malware installation packages |
| KR20210013923A (ko) * | 2019-07-29 | 2021-02-08 | 주식회사 하이퍼커넥트 | 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 |
| KR102243964B1 (ko) * | 2019-11-25 | 2021-04-26 | 라인플러스 주식회사 | 영상 채팅 중 호감을 표출하는 방법, 시스템, 및 컴퓨터 프로그램 |
| US11606533B2 (en) | 2021-04-16 | 2023-03-14 | Hyperconnect Inc. | Methods and devices for visually displaying countdown time on graphical user interface |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10657838B2 (en) * | 2017-03-15 | 2020-05-19 | International Business Machines Corporation | System and method to teach and evaluate image grading performance using prior learned expert knowledge base |
| WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
| US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| AU2019357615B2 (en) | 2018-10-11 | 2023-09-14 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
| KR20210001154A (ko) * | 2019-06-27 | 2021-01-06 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
| KR102308636B1 (ko) * | 2019-08-27 | 2021-10-06 | 주식회사 하이퍼커넥트 | 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 |
| CN110837416B (zh) * | 2019-09-24 | 2021-04-30 | 深圳市火乐科技发展有限公司 | 内存管理方法、智能投影仪及相关产品 |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| US20220261927A1 (en) * | 2021-02-13 | 2022-08-18 | Lynk Technology Holdings, Inc. | Speed Dating Platform with Dating Cycles and Artificial Intelligence |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054824A (ko) * | 2000-06-27 | 2000-09-05 | 이성환 | 얼굴 영상을 이용한 이상형 검색 시스템 및 그 제어 방법 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100716422B1 (ko) | 2005-01-06 | 2007-05-08 | 에스케이 텔레콤주식회사 | 패턴인식을 이용한 매칭 서비스 시스템 및 방법 |
| AU2007293092A1 (en) * | 2006-09-05 | 2008-03-13 | Innerscope Research, Inc. | Method and system for determining audience response to a sensory stimulus |
| KR20130007363A (ko) | 2011-07-01 | 2013-01-18 | 성도헌 | 선호 스타일을 이용한 이성 검색 방법 및 시스템 |
| KR20130021797A (ko) | 2011-08-24 | 2013-03-06 | 박용구 | 친구 추천 서비스 제공방법 및 그 시스템 |
| US8786662B2 (en) * | 2012-08-11 | 2014-07-22 | Nikola Vladimir Bicanic | Successive real-time interactive video sessions |
| US20140149177A1 (en) * | 2012-11-23 | 2014-05-29 | Ari M. Frank | Responding to uncertainty of a user regarding an experience by presenting a prior experience |
| US9531998B1 (en) * | 2015-07-02 | 2016-12-27 | Krush Technologies, Llc | Facial gesture recognition and video analysis tool |
| US20160191958A1 (en) * | 2014-12-26 | 2016-06-30 | Krush Technologies, Llc | Systems and methods of providing contextual features for digital communication |
| US10198626B2 (en) * | 2016-10-19 | 2019-02-05 | Snap Inc. | Neural networks for facial modeling |
| US10474899B2 (en) * | 2017-04-03 | 2019-11-12 | Facebook, Inc. | Social engagement based on image resemblance |
-
2017
- 2017-11-17 KR KR1020170153590A patent/KR102073351B1/ko active IP Right Grant
-
2018
- 2018-11-13 US US16/188,477 patent/US11032512B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054824A (ko) * | 2000-06-27 | 2000-09-05 | 이성환 | 얼굴 영상을 이용한 이상형 검색 시스템 및 그 제어 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10621343B1 (en) * | 2017-11-30 | 2020-04-14 | Fortinet, Inc. | Generic and static detection of malware installation packages |
| KR20210013923A (ko) * | 2019-07-29 | 2021-02-08 | 주식회사 하이퍼커넥트 | 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 |
| US11252373B2 (en) | 2019-07-29 | 2022-02-15 | Hyperconnect, Inc. | Video call mediating apparatus, method and computer readable recording medium thereof |
| KR102243964B1 (ko) * | 2019-11-25 | 2021-04-26 | 라인플러스 주식회사 | 영상 채팅 중 호감을 표출하는 방법, 시스템, 및 컴퓨터 프로그램 |
| US11606533B2 (en) | 2021-04-16 | 2023-03-14 | Hyperconnect Inc. | Methods and devices for visually displaying countdown time on graphical user interface |
Also Published As
| Publication number | Publication date |
|---|---|
| US11032512B2 (en) | 2021-06-08 |
| US20190158784A1 (en) | 2019-05-23 |
| KR102073351B1 (ko) | 2020-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102073351B1 (ko) | 서버 및 그것의 동작 방법 | |
| US11140356B2 (en) | Terminal and server for providing video call service | |
| US10701315B2 (en) | Video communication device and video communication method | |
| US10402825B2 (en) | Device, system, and method of enhancing user privacy and security within a location-based virtual social networking context | |
| KR101979650B1 (ko) | 서버 및 그것의 동작 방법 | |
| KR102311603B1 (ko) | 단말기 및 그것의 동작 방법 | |
| US10970523B2 (en) | Terminal and server for providing video call service | |
| CN107995370B (zh) | 通话控制方法、装置及存储介质和移动终端 | |
| CN107133354B (zh) | 图像描述信息的获取方法及装置 | |
| KR102455966B1 (ko) | 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| CN108875993B (zh) | 邀请行为预测方法及装置 | |
| CN110399841B (zh) | 一种视频分类方法、装置及电子设备 | |
| CN107220614B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| KR102125735B1 (ko) | 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템 | |
| CN114266840A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
| US20230410376A1 (en) | Compressing image-to-image models with average smoothing | |
| KR20230078756A (ko) | 이미지 애니메이션을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 | |
| CN112148980A (zh) | 基于用户点击的物品推荐方法、装置、设备和存储介质 | |
| CN107480773B (zh) | 训练卷积神经网络模型的方法、装置及存储介质 | |
| CN107729886B (zh) | 人脸图像的处理方法及装置 | |
| CN107463373B (zh) | 图片美颜方法、好友颜值的管理方法和装置 | |
| CN112184876B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN113901832A (zh) | 人机对话方法、装置、存储介质及电子设备 | |
| CN112036487A (zh) | 图像处理方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |