KR20210076373A - 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 - Google Patents

중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20210076373A
KR20210076373A KR1020190167482A KR20190167482A KR20210076373A KR 20210076373 A KR20210076373 A KR 20210076373A KR 1020190167482 A KR1020190167482 A KR 1020190167482A KR 20190167482 A KR20190167482 A KR 20190167482A KR 20210076373 A KR20210076373 A KR 20210076373A
Authority
KR
South Korea
Prior art keywords
user
information
images
image
face
Prior art date
Application number
KR1020190167482A
Other languages
English (en)
Other versions
KR102455966B1 (ko
Inventor
안상일
김병종
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020190167482A priority Critical patent/KR102455966B1/ko
Priority to US17/123,234 priority patent/US11501564B2/en
Priority to JP2020208565A priority patent/JP7101749B2/ja
Priority to EP20214672.6A priority patent/EP3839768A1/en
Publication of KR20210076373A publication Critical patent/KR20210076373A/ko
Application granted granted Critical
Publication of KR102455966B1 publication Critical patent/KR102455966B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체가 개시된다. 본 발명의 일 실시예에 따른 중개 방법은, 제1 사용자로부터 복수의 이미지를 수신하는 단계, 수신한 상기 복수의 이미지를 참조하여 적어도 하나의 새로운 이미지를 생성하는 단계, 생성된 상기 새로운 이미지에 포함된 얼굴의 특징을 추출하는 단계, 추출된 상기 특징에 대응하는 적어도 하나의 제2 사용자를 검색하는 단계 및 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공하는 단계를 포함한다.

Description

중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체{Mediating Apparatus, Method and Computer Readable Recording Medium Thereof}
본 발명은 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것으로, 보다 구체적으로는 사용자의 취향을 반영하여 가장 적합한 매칭 상대를 검색해주는 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것이다.
통신 기술이 발달하고 전자 장치가 소형화됨에 따라 간편하게 휴대할 수 있는 단말기가 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트 폰 또는 스마트 태블릿과 같은 휴대용 단말기가 널리 보급되고 있다. 단말기의 대부분은 통신 기능을 포함하고 있으며, 사용자는 단말기를 이용하여 인터넷 검색을 하거나 다른 사용자와 데이터를 주고받을 수 있다.
통신망을 통해 연결된 사용자들은 서로 아는 관계일 수도 있고, 서로 모르는 관계일 수도 있다. 중개 장치는 사용자의 단말기 및 다른 사용자의 단말기를 포함하는 복수의 단말기를 서로 연결할 수 있다. 중개 장치는 사용자 및 다른 사용자가 서로 데이터를 주고받을 수 있도록 복수의 단말기 사이를 중개할 수 있다. 중개 장치는 복수의 단말기 중에서 사용자의 단말기 및 다른 사용자의 단말기를 서로 매칭할 수 있다. 이로써, 서로 모르는 사용자들도 중개 장치의 중개를 통해 서로 데이터를 주고받을 수 있다.
한편, 중개 장치를 통해 서로 모르는 사람과 매치되는 경우, 일 사용자는 자신이 선호하는 특성을 가진 상대방과 연결되기를 희망할 수 있다. 이 때 중개 장치는 각 사용자들의 취향을 반영하여 매칭 만족도를 향상시킬 방법을 고려할 수 있다.
본 발명은 사용자들의 취향을 반영하여 서비스 만족도를 향상시킬 수 있는 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 중개 방법은, 제1 사용자로부터 복수의 이미지를 수신하는 단계, 수신한 상기 복수의 이미지를 참조하여 적어도 하나의 새로운 이미지를 생성하는 단계, 생성된 상기 새로운 이미지에 포함된 얼굴의 특징을 추출하는 단계, 추출된 상기 특징에 대응하는 적어도 하나의 제2 사용자를 검색하는 단계 및 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공하는 단계를 포함한다.
또한, 상기 제1 사용자에게 복수의 사용자의 이미지를 제공하는 단계를 더 포함하고, 상기 복수의 이미지를 수신하는 단계에서는 상기 제1 사용자에게 제공된 상기 복수의 사용자의 이미지 중에서 상기 제1 사용자에 의해 선택된 이미지를 수신할 수 있다.
또한, 상기 제1 사용자에 의해 선택된 이미지는 상기 제1 사용자가 선호하는 사용자에 대응할 수 있다.
또한, 상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자로부터 상기 제2 사용자와의 영상 통화 중개 요청을 수신하는 단계 및 상기 영상 통화 중개 요청에 대응하여 상기 제1 사용자가 사용하는 제1 단말기 및 상기 제2 사용자가 사용하는 제2 단말기 사이에 영상 통화 세션을 수립하는 단계를 더 포함할 수 있다.
또한, 상기 새로운 이미지를 생성하는 단계는, 상기 복수의 이미지 각각에 포함된 얼굴의 특징점 정보 및 텍스처(texture) 정보를 획득하는 단계 및 상기 특징점 정보 및 텍스처 정보를 참조하여 상기 새로운 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상기 특징점 정보는 각각의 얼굴의 특정 지점에 대한 좌표 정보에 대응할 수 있다.
한편, 본 발명에 따른 중개 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 중개 장치는, 제1 사용자로부터 복수의 이미지를 수신하는 입출력 인터페이스, 수신한 상기 복수의 이미지를 참조하여 적어도 하나의 새로운 이미지를 생성하는 이미지 생성부, 생성된 상기 새로운 이미지에 포함된 얼굴의 특징을 추출하는 특징 추출부 및 추출된 상기 특징에 대응하는 적어도 하나의 제2 사용자를 검색하고, 검색된 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공하는 제어부를 포함할 수 있다.
또한, 상기 입출력 인터페이스는 상기 제1 사용자에게 복수의 사용자의 이미지를 제공하고, 상기 제1 사용자에게 제공된 상기 복수의 사용자의 이미지 중에서 상기 제1 사용자에 의해 선택된 이미지를 수신할 수 있다.
또한, 상기 제1 사용자에 의해 선택된 이미지는 상기 제1 사용자가 선호하는 사용자에 대응할 수 있다.
또한, 상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자로부터 상기 제2 사용자와의 영상 통화 중개 요청을 수신하는 통신 인터페이스를 더 포함하고, 상기 제어부는 상기 영상 통화 중개 요청에 대응하여 상기 제1 사용자가 사용하는 제1 단말기 및 상기 제2 사용자가 사용하는 제2 단말기 사이에 영상 통화 세션을 수립할 수 있다.
또한, 상기 이미지 생성부는, 상기 복수의 이미지 각각에 포함된 얼굴의 특징점 정보 및 텍스처(texture) 정보를 획득하고, 획득된 상기 특징점 정보 및 텍스처 정보를 참조하여 상기 새로운 이미지를 생성할 수 있다.
또한, 상기 특징점 정보는 각각의 얼굴의 특정 지점에 대한 좌표 정보에 대응할 수 있다.
본 발명은 사용자들의 취향을 반영하여 서비스 만족도를 향상시킬 수 있는 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
도 1은 본 발명에 따른 중개 장치가 동작하는 환경을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 중개 방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따라 새로운 이미지를 생성하는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 검색된 제2 사용자를 예시적으로 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 중개 방법을 개략적으로 나타내는 순서도이다.
도 6은 본 발명의 또 다른 실시예에 따른 중개 방법을 개략적으로 나타내는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 새로운 이미지를 생성하는 방법을 개략적으로 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 중개 장치의 구성을 개략적으로 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 중개 장치의 구성을 개략적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명에 따른 중개 장치가 동작하는 환경을 개략적으로 나타내는 도면이다. 도 1을 참조하면, 제1 단말기(10), 및 제2 단말기(200)가 동작하는 환경은 서버(100) 및 서버(100)와 서로 연결된 제1 단말기(10), 및 제2 단말기(20)를 포함할 수 있다. 설명의 편의를 위해 도 1에는 두 개의 단말기, 즉 제1 단말기(10), 및 제2 단말기(20) 만을 도시하고 있으나, 두 개 보다 더 많은 수의 단말기가 포함될 수 있다. 추가될 수 있는 단말기에 대하여, 특별히 언급될 설명을 제외하고, 제1 단말기(10), 및 제2 단말기(20)에 대한 설명이 적용될 수 있다.
서버(100)는 통신망에 연결될 수 있다. 서버(100)는 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 서버(100)는 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
서버(100)와 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency Identification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나로부터 데이터를 수신할 수 있다. 서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(100)는 상기 연산 결과를 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나에 전송할 수 있다.
서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나의 단말기로부터 중개 요청을 수신할 수 있다. 서버(100)는 중개 요청을 전송한 단말을 선택할 수 있다. 예를 들어, 서버(100)는 제1 단말기(10), 및 제2 단말기(20)를 선택할 수 있다.
서버(100)는 상기 선택된 제1 단말기(10), 및 제2 단말기(20) 사이의 통신 연결을 중개할 수 있다. 예컨대, 서버(100)는 제1 단말기(10), 및 제2 단말기(20) 사이의 영상 통화 연결을 중개하거나, 텍스트 송수신 연결을 중개할 수 있다. 서버(100)는 제1 단말기(10)에 대한 연결 정보를 제2 단말기(20)에 전송할 수 있고, 제2 단말기(20)에 대한 연결 정보를 제1 단말기(10)에 전송할 수 있다.
제1 단말기(10)에 대한 연결 정보는 예를 들어, 제1 단말기(10)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제2 단말기(20)에 대한 연결 정보를 수신한 제1 단말기(10)는 상기 수신된 연결 정보를 이용하여 제2 단말기(20)에의 연결을 시도할 수 있다.
제1 단말기(10)의 제2 단말기(20)에의 연결 시도 또는 제2 단말기(20)의 제1 단말기(10)에의 연결 시도가 성공함으로써, 제1 단말기(10) 및 제2 단말기(20) 사이의 영상 통화 세션이 수립될 수 있다. 상기 영상 통화 세션을 통해 제1 단말기(10)는 제2 단말기(20)에 영상 또는 소리를 전송할 수 있다. 제1 단말기(10)는 영상 또는 소리를 디지털 신호로 인코딩하고, 상기 인코딩 된 결과물을 제2 단말기(20)에 전송할 수 있다.
또한, 상기 영상 통화 세션을 통해 제1 단말기(10)는 제2 단말기(20)로부터 영상 또는 소리를 수신할 수 있다. 제1 단말기(10)는 디지털 신호로 인코딩 된 영상 또는 소리를 수신하고, 상기 수신된 영상 또는 소리를 디코딩할 수 있다.
상기 영상 통화 세션을 통해 제2 단말기(20)는 제1 단말기(10)에 영상 또는 소리를 전송할 수 있다. 또한, 상기 영상 통화 세션을 통해 제2 단말기(20)는 제1 단말기(10)로부터 영상 또는 소리를 수신할 수 있다. 이로써, 제1 단말기(10)의 사용자 및 제2 단말기(20)의 사용자는 서로 영상 통화를 할 수 있다.
제1 단말기(10), 및 제2 단말기(20)는, 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 등일 수 있다. 제1 단말기(10), 및 제2 단말기(20)는 프로그램 또는 애플리케이션을 실행할 수 있다. 제1 단말기(10), 및 제2 단말기(200) 각각은 서로 동일한 종류의 장치일 수 있고, 서로 다른 종류의 장치일 수도 있다.
도 2는 본 발명의 일 실시예에 따른 중개 방법을 개략적으로 나타내는 순서도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 중개 방법은, 제1 단말기로부터 복수의 이미지를 수신하는 단계(S110), 새로운 이미지를 생성하는 단계(S120), 얼굴 특징을 추출하는 단계(S130), 제2 사용자를 검색하는 단계(S140), 및 제1 사용자에게 제2 사용자의 정보를 제공하는 단계(S150)를 포함한다.
단계(S110)에서는 제1 사용자로부터 복수의 이미지를 수신하며, 이 때 상기 복수의 이미지를 수신하는 주체는 도 1을 참조로 하여 설명한 서버(100)가 될 수 있다. 또한, 상기 제1 사용자가 사용하는 단말기는 제1 단말기로 정의될 수 있다.
한편, 상기 제1 사용자로부터 수신하는 상기 복수의 이미지들은 각각 사람의 얼굴 이미지를 포함할 수 있다. 본 발명에 따른 중개 방법은 임의의 사용자가 선호하는 상대방 사용자(예컨대, 이성 사용자)의 외모의 전체적인 특징을 분석하고, 분석된 특징에 상응하는 사용자를 추천하는 것을 하나의 특징으로 하는 바, 상기 제1 사용자는 얼굴 이미지가 포함된 복수의 이미지를 선택할 수 있다. 그리고, 상기 복수의 이미지는 각각 일 사용자의 프로필 이미지일 수 있다.
단계(S120)에서는 수신한 상기 복수의 이미지를 참조하여 적어도 하나의 새로운 이미지를 생성한다. 단계(S120)에서 생성되는 상기 새로운 이미지는 상기 복수의 이미지 각각의 특징을 참조하여 생성될 수 있다. 예를 들어, 제1 이미지 및 제2 이미지를 포함하는 상기 복수의 이미지들을 참조하여 새로운 이미지를 생성하는 경우, 상기 제1 이미지에 포함된 인물의 머리카락이 검은색(black)이고, 상기 제2 이미지에 포함된 인물의 머리카락이 금발(blonde)일 때, 단계(S120)에서 생성되는 새로운 이미지에 포함된 인물의 머리카락은 갈색(brown)일 수 있다. 다른 예로써, 상기 제1 이미지에 포함된 인물의 눈의 크기, 상기 제2 이미지에 포함된 인물의 눈의 크기를 평균하여 상기 새로운 이미지에 포함될 인물의 눈의 크기를 결정할 수 있다.
설명의 편의를 위해 두 개의 이미지만을 사용하여 새로운 이미지를 생성하는 경우를 예로 제시하였으나, 단계(S110)에서 수신되는 이미지의 수가 많을수록 단계(S120)에서 보다 적절한 이미지가 새롭게 생성될 수 있다.
단계(S130)에서는 생성된 상기 새로운 이미지에 포함된 얼굴의 특징을 추출한다. 단계(S130)에서 추출되는 상기 얼굴의 특징은 눈, 코, 입, 귀, 눈썹의 크기, 모양, 및 위치, 피부색, 얼굴의 크기, 머리카락의 색상 및 모양, 주름의 위치 및 모양, 눈동자의 색상 중 적어도 어느 하나를 포함할 수 있다. 즉, 상기 얼굴의 특징은 한 사람의 얼굴을 다른 사람의 얼굴과 구분하기에 충분한 정도의 정보를 제공하는 것으로 이해할 수 있다.
일 실시예에서, 상기 눈, 코, 입, 귀, 눈썹의 크기, 모양 및 위치는 상기 눈, 코, 입, 귀, 눈썹에 해당하는 픽셀의 좌표 정보를 통해 획득될 수 있다. 상기 얼굴의 크기를 비롯하여 주름의 위치 및 모양 또한 얼굴과 주름에 해당하는 픽셀의 좌표 정보를 통해 획득될 수 있다.
다른 실시예에서, 상기 얼굴의 특징은, 얼굴 영역의 특정 지점으로부터 눈, 코, 입, 귀, 및 눈썹까지의 거리에 관한 정보를 포함할 수 있다. 여기서, 상기 얼굴 영역의 특정 지점은 상기 얼굴 영역의 중앙점으로 정의될 수 있으나 본 발명이 반드시 이에 제한되는 것은 아니다. 또한, 상기 얼굴 영역의 특정 지점으로부터의 거리는 예컨대, 상기 특정 지점으로부터 눈 영역의 중앙점, 상기 특정 지점으로부터 입 영역의 중앙점까지의 거리 등으로 정의될 수 있다.
상기 얼굴의 특징을 추출함에 있어서, 공지의 방법들이 사용될 수 있다. 예컨대, 얼굴의 특징점(feature point)를 추출하여 이미지화(visualization)하는 방법, 학습된 인공 신경망 모델을 이용하는 방법 등이 사용될 수 있다. 상기 얼굴의 특징을 추출함에 있어서, 공지의 방법 중 발명의 실시에 적합한 방법을 선택하여 적용할 수 있음은 통상의 기술자에게 자명하다 할 것이다.
단계(S140)에서는 추출된 상기 특징에 대응하는 적어도 하나의 제2 사용자를 검색한다. 상기 제2 사용자는 상기 제1 사용자와 동일한 온라인 플랫폼 또는 소셜 네트워크 서비스(Social Network Service)를 이용하는 사용자일 수 있다.
단계(S140)에서 상기 제2 사용자를 검색할 때 상기 제2 사용자가 업로드한 프로필 이미지가 사용될 수 있다. 예컨대, 상기 제2 사용자가 상기 온라인 플랫폼 또는 소셜 네트워크 서비스에 가입하면서 제공한 본인의 이미지가 사용될 수 있다. 단계(S140)에서는 단계(S130)에서 추출된 특징에 대응하는 사용자를 검색하기 위해 위와 같은 프로필 이미지를 사용할 수 있다.
단계(S140)에서 상기 제2 사용자를 검색하기 위해서 단계(S130)에서 추출된 상기 얼굴의 특징, 즉 상기 좌표 정보, 상기 거리에 관한 정보, 피부색, 얼굴의 크기, 머리카락의 색상 및 모양, 눈동자의 색상 등이 활용될 수 있다. 예컨대, 단계(S140)에서는 단계(S130)에서 추출된 상기 얼굴의 특징과 유사한 얼굴 특징을 갖는 사용자를 검색하여 상기 제2 사용자로 지정할 수 있다. 즉, 상기 본인의 이미지를 제공한 복수의 사용자들 중에서 상기 좌표 정보, 상기 거리에 관한 정보, 피부색, 얼굴의 크기, 머리카락의 색상 및 모양, 눈동자의 색상 등이 단계(S130)에서 추출된 상기 얼굴의 특징과 유사한 사용자가 상기 제2 사용자로 검색될 수 있다.
한편, 상기 제2 사용자는 두 명 이상일 수 있는데, 상기 얼굴의 특징이 유사한 복수의 사용자가 상기 제2 사용자로 검색될 수 있다. 예를 들어, 단계(S130)에서 추출된 얼굴의 특징과 상기 본인의 이미지를 제공한 복수의 사용자들의 얼굴의 특징을 비교한 결과를 유사도로 정량화 하는 경우, 유사도가 높은 상위 사용자들이 상기 제2 사용자로 검색될 수 있다.
단계(S150)에서는 단계(S140)에서 검색된 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공한다. 상기 제2 사용자에 관한 정보는 사용자 ID의 전부 또는 일부, 프로필 이미지, 연령대, 성별, 거주 지역, 직업, 취미, 및 관심사 중 적어도 어느 하나에 관한 정보를 포함할 수 있다. 한편, 단계(S150)에서는 단계(S120)에서 생성된 새로운 이미지와 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 함께 제공할 수 있다.
단계(S150)에서 제공될 수 있는 상기 제2 사용자의 프로필 이미지는 블러(blur) 또는 모자이크(mosaic) 처리된 형태로 제공될 수 있다. 이를 통해 상기 제1 사용자로 하여금 상기 제2 사용자를 확인하고자 하는 욕구를 고취시킬 수 있다.
도 3은 본 발명의 일 실시예에 따라 새로운 이미지를 생성하는 과정을 예시적으로 나타내는 도면이다. 도 2와 도 3을 함께 참조하면, 도 3(a) 및 도 3(b)는 각각 단계(S110)에서 제1 단말기로부터 수신된 이미지에 해당한다. 그리고, 도 3(c)는 단계(S120)에서 생성되는 새로운 이미지에 해당한다.
도 3에 도시되는 이미지는 설명의 편의를 위하여 사람의 얼굴 이외 영역은 자세히 도시되지 않았으나, 실제 수신되는 이미지는 사람의 얼굴을 비롯하여 다른 객체 및 배경을 포함할 수 있다. 또한, 단계(S110)에서 수신되는 복수의 이미지들은 각각 서로 다른 사람의 얼굴을 포함하고 있을 수 있다.
도 3(a) 및 도 3(b)은 서로 다른 사람의 얼굴을 나타내므로, 각각 서로 다른 얼굴의 특징을 포함하고 있다. 예를 들어, 도 3(a)에 대응하는 인물 1과 도 3(b)에 대응하는 인물 2는 서로 눈, 코, 입, 눈썹, 및 귀의 위치와 모양이 서로 다르다. 마찬가지로, 상기 인물 1과 인물 2는 서로 다른 위치에 서로 다른 모양의 주름을 갖게 된다.
도 3(c)는 상기 인물 1과 인물 2의 얼굴 특징을 참조하여 생성된 새로운 인물 3을 나타내는 것으로 이해할 수 있다. 일 실시예에서, 상기 인물 3은 상기 인물 1과 인물 2가 갖는 얼굴의 특징점들의 평균적인 특징점들을 갖도록 생성될 수 있다. 즉, 상기 인물 3의 눈썹의 위치, 모양, 및 색상은 상기 인물 1과 인물 2의 눈썹의 위치, 모양, 및 색상의 평균적인 특징을 가질 수 있다.
한편, 눈썹의 위치, 및 모양을 판단하기 위해서 다음과 같은 방법을 이용할 수 있다. 우선, 사람의 얼굴이 포함된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 포함되는 눈, 코, 입, 눈썹, 및 귀의 각 신체 부위별로 검출할 수 있다. 이후, 검출된 각 신체 부위를 형성하는 화소(pixel)를 결정하고, 각 화소의 좌표 정보를 획득할 수 있다. 상기 좌표 정보가 획득되면 얼굴 영역에 포함되는 상기 각 신체 부위의 모양을 결정할 수 있고, 좌표 정보를 이용하여 위치를 결정할 수 있다.
또한, 상기 색상의 평균적인 특징은 상기 인물 1의 눈썹의 색상과 상기 인물 2의 눈썹의 색상을 RGB 값으로 추출하고, 추출된 RGB 값의 평균 값을 상기 인물 3의 눈썹의 색상으로 결정할 수 있다. 이는 상기 인물 3의 머리카락 색상을 결정하는 방법으로도 사용될 수 있다.
한편, 각 신체 부위의 위치의 평균, 모양의 평균, 및 색상의 평균을 도출하는 과정은 눈썹 사이의 거리, 양안 사이의 거리를 결정하는 데에도 적용될 수 있다. 예를 들어, 상기 인물 1의 양안 사이의 거리는 상기 인물 2의 양안 사이의 거리보다 짧으며, 상기 인물 3의 양안 사이의 거리는 상기 인물 1과 인물 2의 양안 사이의 거리의 평균 값으로 결정될 수 있다. 즉, 상기 인물 1의 양안 사이의 거리가 7, 상기 인물 2의 양안 사이의 거리가 10으로 측정되는 경우, 상기 인물 3의 양안 사이의 거리는 8.5로 결정될 수 있다. 한편, 상기 양안 사이의 거리는 우안을 이루는 좌표들의 중간 값에 대응하는 좌표와, 좌안을 이루는 좌표들의 중간 값에 대응하는 좌표 사이의 거리로 측정될 수 있으나 이는 일 예에 불과하며 본 발명이 반드시 이러한 방법으로 제한되는 것은 아니다.
도 4는 본 발명의 일 실시예에 따라 검색된 제2 사용자를 예시적으로 나타내는 도면이다. 도 4를 참조하면, 도 4(a)는 도 3(c)를 참조로 하여 설명한 인물 3을 도시하며, 도 4(b)는 상기 인물 3과 유사한 실제 사용자인 제2 사용자를 도시한다.
상기 인물 3은 제1 사용자로부터 수신한 이미지에 포함된 인물 1과 인물 2의 얼굴의 특성을 참조하여 생성된 가상의 인물이며, 상기 제2 사용자는 상기 제1 사용자와 마찬가지로 실제 사용자인 것으로 이해할 수 있다.
상기 제1 사용자와 상기 제2 사용자가 사용하는 동일한 온라인 플랫폼 또는 소셜 네트워크 서비스에는 복수의 사용자들을 가입되어 있을 수 있다. 도 4(b)의 상기 제2 사용자는 상기 복수의 사용자들 중에서 도 4(a)의 상기 가상의 인물과 가장 유사한 얼굴 특성을 가지고 있을 수 있다.
예를 들어, 상기 제2 사용자는 상기 가상의 인물의 눈썹, 눈, 코, 입, 및 귀와 유사한 눈썹, 눈, 코, 입, 및 귀를 가지고 있는 것으로 이해할 수 있다. 얼굴의 주요 부위들 각각의 유사도를 판단하기 위해서 상기 가상의 인물의 얼굴 주요 부위들의 위치와 모양을 상기 온라인 플랫폼 또는 소셜 네트워크 서비스를 사용하는 상기 복수의 사용자들 각각의 얼굴 주요 부위들의 위치와 모양과 비교할 수 있다.
일 실시예에서, 상기 가상의 인물과 상기 복수의 사용자들 각각에 대해 눈썹의 위치와 모양의 유사도가 산출될 수 있다. 또한, 상기 가상의 인물과 상기 복수의 사용자들 각각에 대해 눈의 위치와 모양의 유사도가 산출될 수 있다. 유사한 방법으로, 상기 가상의 인물과 상기 복수의 사용자들 각각에 대해 코, 입, 및 귀의 위치와 모양의 유사도가 각각 산출될 수 있다.
또한, 일 실시예에서, 상기 눈썹, 눈, 코, 입, 및 귀에 대한 유사도를 종합하여 얼굴 전체에 대한 유사도가 산출될 수 있다. 상기 눈썹, 눈, 코, 입, 및 귀 각각에 대한 유사도에 미리 정해진 가중치가 적용되어 상기 얼굴 전체에 대한 유사도가 산출될 수 있으며, 상기 가중치는 상기 눈썹, 눈, 코, 입, 및 귀 각각에 대한 유사도에 같은 값으로 적용될 수도 있다.
한편, 상기 가중치는 상기 제1 사용자의 선호를 반영하여 결정될 수 있다. 예를 들어, 상기 제1 사용자로부터 수신된 복수의 이미지에 포함된 인물들이 서로 코가 가장 유사한 경우, 코에 대응하는 가중치가 가장 큰 값으로 결정될 수 있다. 인물의 각 얼굴 부위에 대응하는 가중치를 결정하기 위하여, 상기 제1 사용자로부터 수신된 복수의 이미지에 포함된 인물들에 대하여 유사도 판단이 수행될 수 있다. 도 3을 참조로 하여 설명하면, 상기 인물 1과 인물 2이 서로 얼마나 유사한지 판단하기 위하여 상기 인물 1과 인물 2의 눈썹, 눈, 코, 입, 및 귀 각각에 대하여 유사도가 산출될 수 있다.
이 때, 유사도가 높은 얼굴 부위에 가장 큰 가중치가 부여될 수 있고, 유사도가 가장 낮은 얼굴 부위에 가장 낮은 가중치가 부여될 수 있다. 상기 인물 1과 인물 2가 서로 눈이 가장 유사한 것으로 판단되면, 상기 제2 사용자를 검색하는 과정에서 눈에 가장 큰 가중치가 부여될 수 있다. 그리고, 상기 인물 1과 인물 2가 서로 입이 가장 유사하지 않은 것으로 판단되면, 상기 제2 사용자를 검색하는 과정에서 입에 가장 낮은 가중치가 부여될 수 있다.
상기 복수의 사용자들은 상기 가상의 인물과의 유사도를 기준으로 정렬될 수 있다. 예를 들어, 상기 유사도가 가장 큰 사용자부터 상기 유사도가 가장 작은 사용자까지 순서대로 정렬될 수 있다.
도 2를 참조로 하여 설명한 바와 같이, 상기 제2 사용자가 검색되면 상기 제2 사용자에 관한 정보는 상기 제1 사용자에게 제공될 수 있다. 상기 제2 사용자에 관한 정보는 상기 제2 사용자의 프로필 사진, ID, 취미, 거주지역, 나이, 및 관심사 중 적어도 하나를 포함할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 중개 방법을 개략적으로 나타내는 순서도이다. 도 5를 참조하면, 본 발명의 다른 실시예에 따른 중개 방법은 복수의 사용자의 이미지를 제공하는 단계(S100)를 포함한다. 단계(S110) 내지 단계(S150)는 도 2를 참조로 하여 설명한 단계(S110) 내지 단계(S150)와 실질적으로 동일하므로 구체적인 설명은 생략하도록 한다.
단계(S100)에서는 제1 사용자에게 복수의 사용자의 이미지를 제공한다. 그리고, 단계(S110)에서는 상기 제1 사용자에게 제공된 상기 복수의 사용자의 이미지 중에서 상기 제1 사용자에 의해 선택된 이미지를 수신할 수 있다. 상기 복수의 사용자는 상기 제1 사용자와 동일한 온라인 플랫폼 또는 소셜 네트워크 서비스를 사용하는 사용자인 것으로 이해할 수 있다.
상기 제1 사용자는 상기 복수의 이미지를 제공받고, 상기 복수의 이미지 중 일부의 이미지를 선택할 수 있다. 선택된 상기 일부의 이미지는 적어도 두 개의 이미지를 포함할 수 있다. 상기 제1 사용자에 의해 선택된 상기 일부의 이미지는 상기 제1 사용자가 선호하는 사용자에 대응하는 이미지일 수 있다.
본 발명에 따른 중개 방법은 사용자에 의해 선택된 이미지에 포함된 얼굴들의 참조하여 가상의 인물을 생성하고, 생성된 상기 가상의 인물과 비슷한 실제 사용자를 검색하여 검색된 상기 실제 사용자에 관한 정보를 제공하는 것을 특징으로 한다.
상기 제1 사용자는 여러 사용자의 이미지를 제공받은 후 선호하는 사용자를 선택할 수 있고, 선택된 사용자들의 얼굴 특징을 참조하여 생성된 가상의 인물의 이미지를 제공받을 수 있다. 나아가, 상기 제1 사용자는 상기 가상의 인물과 유사한 얼굴 특징을 갖는 실제 사용자의 이미지를 제공받을 수 있다. 따라서, 상기 제1 사용자는 자신이 선호하는 얼굴 특징을 갖는 실제 사용자의 이미지를 제공받을 수 있다. 본 발명은 이러한 구성을 통해 사용자들에게 새로운 사용자 경험(User Experience)을 제공할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 중개 방법을 개략적으로 나타내는 순서도이다. 도 6을 참조하면, 본 발명의 또 다른 실시예에 따른 중개 방법은, 제1 단말기로부터 복수의 이미지를 수신하는 단계(S210), 새로운 이미지를 생성하는 단계(S220), 얼굴 특징을 추출하는 단계(S230), 제2 사용자를 검색하는 단계(S240), 제1 사용자에게 제2 사용자 정보를 제공하는 단계(S250), 영상 통화 중개 요청을 수신하는 단계(S260), 및 영상 통화 세션을 수립하는 단계(S270)를 포함한다.
단계(S210) 내지 단계(S250)에서는 도 2를 참조로 하여 설명한 단계(S110) 내지 단계(S150)에서와 실질적으로 동일한 동작이 수행되므로 구체적인 설명은 생략하도록 한다.
단계(S260)에서는 상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자로부터 상기 제2 사용자와의 영상 통화 중개 요청을 수신한다. 앞선 도면들을 참조로 하여 설명한 상기 온라인 플랫폼 또는 소셜 네트워크 서비스는 영상 통화 기능을 제공할 수 있다. 예를 들어, 상기 영상 통화 기능은 임의의 복수의 사용자 또는 일정한 기준에 의해 선택된 복수의 사용자 사이에 영상 통화 세션을 수립할 수 있다.
상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자는 상기 제2 사용자와 채팅(chatting)이나 영상 통화(video call)를 하고 싶어할 수 있고, 단계(S260)에서는 이러한 사용자의 요구에 대응하는 영상 통화 중개 요청을 수신할 수 있다.
상기 제1 단말기로부터 수신한 복수의 이미지는 상기 제1 사용자가 선호하는 사용자의 얼굴 이미지를 포함하고 있을 수 있고, 상기 제2 사용자는 상기 제1 사용자가 선호하는 사용자들의 얼굴 특징을 참조하여 검색된 사용자이므로, 상기 제1 사용자는 상기 제2 사용자에 대해서도 호감을 가질 확률이 높을 것이라고 예상할 수 있다.
따라서, 상기 제1 사용자에게 상기 제2 사용자에 대한 정보를 제공하는 것에 그치지 않고, 상기 제1 사용자와 제2 사용자 사이에 영상 통화를 수행할 수 있도록 영상 통화 중개 요청을 수신할 수 있다.
단계(S270)에서는 상기 영상 통화 중개 요청에 대응하여 상기 제1 사용자가 사용하는 제1 단말기 및 상기 제2 사용자가 사용하는 제2 단말기 사이에 영상 통화 세션을 수립한다.
상기 제1 사용자와 제2 사용자 사이에 영상 통화 세션이 수립되면, 상기 제1 사용자와 제2 사용자는 서로 데이터를 주고받을 수 있다. 예를 들어, 상기 제1 사용자와 제2 사용자는 서로 영상, 음성, 파일, 텍스트 등의 데이터를 주고받을 수 있다. 또한, 상기 제1 사용자와 제2 사용자는 이모티콘을 주고받을 수 있고, 제1 사용자가 제2 사용자에게 친구 신청을 하거나, 제2 사용자가 제1 사용자에게 친구 신청을 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 새로운 이미지를 생성하는 방법을 개략적으로 나타내는 순서도이다. 도 7에 도시되는 단계는, 도 2를 참조로 하여 설명한 새로운 이미지를 생성하는 단계(S120)에 포함되는 것으로 이해할 수 있다.
도 7을 참조하면, 새로운 이미지를 생성하는 단계(S120)는 얼굴 특징점 정보 및 텍스처 정보를 획득하는 단계(S121), 및 획득된 정보를 조합하여 새로운 이미지를 생성하는 단계(S122)를 포함할 수 있다. 단계(S120)에서는 제1 단말기로부터 수신한 복수의 이미지 각각에 포함된 얼굴의 특징점 정보 및 텍스처(texture) 정보를 획득할 수 있다.
상기 특징점 정보는 상기 복수의 이미지 각각에 포함된 얼굴의 눈썹, 눈, 코, 입, 및 귀의 위치 정보 및 모양 정보를 포함할 수 있다. 또한, 상기 특징점 정보는 상기 얼굴의 크기 정보와 모양 정보를 포함할 수 있다. 일 실시예에서, 상기 특징점 정보는 좌표 정보로 표현될 수 있다. 예를 들어, 상기 얼굴의 윤곽을 결정하는 경계 영역에 존재하는 화소(pixel)의 좌표 정보를 통해 상기 얼굴의 크기와 모양을 결정할 수 있다. 마찬가지로, 눈썹, 눈, 코, 입, 및 귀에 대응하는 화소의 좌표 정보를 통해 눈썹, 눈, 코, 입, 및 귀의 위치와 모양이 결정될 수 있다.
상기 텍스처 정보는 얼굴 및 눈썹, 눈, 코, 입, 및 귀 등 얼굴 부위의 질감 정보일 수 있다. 상기 질감 정보는 색상 정보를 포함할 수 있고, 각 얼굴 부위 주변의 주름 정보를 더 포함할 수 있다.
단계(S122)에서는 상기 특징점 정보 및 텍스처 정보를 참조하여 상기 새로운 이미지를 생성할 수 있다. 도 3을 참조로 하여 설명한 바와 같이, 상기 제1 단말기로부터 수신한 상기 복수의 이미지들에서 사람의 얼굴 영역을 추출하고, 추출된 상기 얼굴 영역에서 상기 눈썹, 눈, 코, 입, 및 귀 등의 얼굴 부위를 추출할 수 있다. 또는 상기 얼굴 영역을 추출하는 과정과 상기 얼굴 부위를 추출하는 과정은 독립적으로 수행될 수 있다.
상기 특징점 정보는 상기 얼굴과 얼굴 부위의 위치 정보와 모양 정보를 포함하므로, 상기 특징점 정보를 참조하여 가상의 새로운 인물의 얼굴 및 얼굴 부위의 위치 및 모양을 결정할 수 있다. 또한, 상기 텍스처 정보는 상기 얼굴과 얼굴 부위의 질감 및 색상 정보를 포함하므로, 상기 텍스처 정보를 참조하여 가상의 새로운 인물의 얼굴 및 얼굴 부위의 질감 및 색상을 결정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 중개 장치의 구성을 개략적으로 나타내는 도면이다. 도 8을 참조하면, 본 발명의 일 실시예에 따른 중개 장치(100)는 입출력 인터페이스(110), 이미지 생성부(120), 특징 추출부(130), 및 제어부(140)를 포함한다.
입출력 인터페이스(110)는 제1 사용자로부터 복수의 이미지를 수신한다. 상기 제1 사용자로부터 수신하는 상기 복수의 이미지들은 각각 사람의 얼굴 이미지를 포함할 수 있다. 본 발명에 따른 중개 장치는 임의의 사용자가 선호하는 상대방 사용자의 외모의 전체적인 특징을 분석하고, 분석된 특징에 상응하는 사용자를 추천하는 것을 하나의 특징으로 하는 바, 상기 제1 사용자는 얼굴 이미지가 포함된 복수의 이미지를 선택할 수 있다. 그리고, 상기 복수의 이미지는 각각 일 사용자의 프로필 이미지일 수 있다.
다른 실시예에서, 상기 복수의 이미지는 입출력 인터페이스(110)로부터 상기 제1 사용자에게 제공된 이미지들 중 일부일 수 있다. 예를 들어, 입출력 인터페이스(110)는 복수의 사용자들 각각에 대응하는 복수의 이미지를 상기 제1 사용자 내지 상기 제1 사용자가 사용하는 제1 단말기에 제공할 수 있다. 그리고, 상기 제1 사용자는 상기 입출력 인터페이스(110)로부터 제공된 이미지들 중에서 일부의 이미지들을 선택할 수 있다. 이 때, 상기 제1 사용자가 선택한 이미지들은 상기 제1 사용자가 선호하는 외모를 가진 사용자에 대응할 수 있다.
이미지 생성부(120)는 수신한 상기 복수의 이미지를 참조하여 적어도 하나의 새로운 이미지를 생성한다. 상기 새로운 이미지는 상기 복수의 이미지 각각의 특징을 참조하여 생성될 수 있다. 예를 들어, 제1 이미지 및 제2 이미지를 포함하는 상기 복수의 이미지들을 참조하여 새로운 이미지를 생성하는 경우, 상기 제1 이미지에 포함된 인물의 머리카락이 검은색(black)이고, 상기 제2 이미지에 포함된 인물의 머리카락이 금발(blonde)일 때, 이미지 생성부(120)에서 생성되는 새로운 이미지에 포함된 인물의 머리카락은 갈색(brown)일 수 있다. 다른 예로써, 상기 제1 이미지에 포함된 인물의 눈의 크기, 상기 제2 이미지에 포함된 인물의 눈의 크기를 평균하여 상기 새로운 이미지에 포함될 인물의 눈의 크기를 결정할 수 있다.
설명의 편의를 위해 두 개의 이미지만을 사용하여 새로운 이미지를 생성하는 경우를 예로 제시하였으나, 입출력 인터페이스(110)를 통해 수신되는 이미지의 수가 많을수록 이미지 생성부(120)에서 보다 적절한 이미지가 새롭게 생성될 수 있다.
이미지 생성부(120)는 상기 복수의 이미지 각각에 포함된 얼굴의 특징점 정보 및 텍스처 정보를 획득하고, 획득된 상기 특징점 정보 및 텍스처 정보를 참조하여 상기 새로운 이미지를 생성할 수 있다.
상기 특징점 정보는 상기 복수의 이미지 각각에 포함된 얼굴의 눈썹, 눈, 코, 입, 및 귀의 위치 정보 및 모양 정보를 포함할 수 있다. 또한, 상기 특징점 정보는 상기 얼굴의 크기 정보와 모양 정보를 포함할 수 있다. 일 실시예에서, 상기 특징점 정보는 좌표 정보로 표현될 수 있다. 예를 들어, 상기 얼굴의 윤곽을 결정하는 경계 영역에 존재하는 화소(pixel)의 좌표 정보를 통해 상기 얼굴의 크기와 모양을 결정할 수 있다. 마찬가지로, 눈썹, 눈, 코, 입, 및 귀에 대응하는 화소의 좌표 정보를 통해 눈썹, 눈, 코, 입, 및 귀의 위치와 모양이 결정될 수 있다.
상기 텍스처 정보는 얼굴 및 눈썹, 눈, 코, 입, 및 귀 등 얼굴 부위의 질감 정보일 수 있다. 상기 질감 정보는 색상 정보를 포함할 수 있고, 각 얼굴 부위 주변의 주름 정보를 더 포함할 수 있다.
이미지 생성부(120)는 상기 특징점 정보 및 텍스처 정보를 참조하여 상기 새로운 이미지를 생성할 수 있다. 도 3을 참조로 하여 설명한 바와 같이, 상기 제1 단말기로부터 수신한 상기 복수의 이미지들에서 사람의 얼굴 영역을 추출하고, 추출된 상기 얼굴 영역에서 상기 눈썹, 눈, 코, 입, 및 귀 등의 얼굴 부위를 추출할 수 있다. 또는 상기 얼굴 영역을 추출하는 과정과 상기 얼굴 부위를 추출하는 과정은 독립적으로 수행될 수 있다.
상기 특징점 정보는 상기 얼굴과 얼굴 부위의 위치 정보와 모양 정보를 포함하므로, 상기 특징점 정보를 참조하여 가상의 새로운 인물의 얼굴 및 얼굴 부위의 위치 및 모양을 결정할 수 있다. 또한, 상기 텍스처 정보는 상기 얼굴과 얼굴 부위의 질감 및 색상 정보를 포함하므로, 상기 텍스처 정보를 참조하여 가상의 새로운 인물의 얼굴 및 얼굴 부위의 질감 및 색상을 결정할 수 있다.
특징 추출부(130)는 이미지 생성부(120)에서 생성된 상기 새로운 이미지에 포함된 얼굴의 특징을 추출한다. 특징 추출부(130)에서 추출되는 상기 얼굴의 특징은 눈, 코, 입, 귀, 눈썹의 크기, 모양, 및 위치, 피부색, 얼굴의 크기, 머리카락의 색상 및 모양, 주름의 위치 및 모양, 눈동자의 색상 중 적어도 어느 하나를 포함할 수 있다. 즉, 상기 얼굴의 특징은 한 사람의 얼굴을 다른 사람의 얼굴과 구분하기에 충분한 정도의 정보를 제공하는 것으로 이해할 수 있다.
일 실시예에서, 상기 눈, 코, 입, 귀, 눈썹의 크기, 모양 및 위치는 상기 눈, 코, 입, 귀, 눈썹에 해당하는 픽셀의 좌표 정보를 통해 획득될 수 있다. 상기 얼굴의 크기를 비롯하여 주름의 위치 및 모양 또한 얼굴과 주름에 해당하는 픽셀의 좌표 정보를 통해 획득될 수 있다.
다른 실시예에서, 상기 얼굴의 특징은, 얼굴 영역의 특정 지점으로부터 눈, 코, 입, 귀, 및 눈썹까지의 거리에 관한 정보를 포함할 수 있다. 여기서, 상기 얼굴 영역의 특정 지점은 상기 얼굴 영역의 중앙점으로 정의될 수 있으나 본 발명이 반드시 이에 제한되는 것은 아니다. 또한, 상기 얼굴 영역의 특정 지점으로부터의 거리는 예컨대, 상기 특정 지점으로부터 눈 영역의 중앙점, 상기 특정 지점으로부터 입 영역의 중앙점까지의 거리 등으로 정의될 수 있다.
상기 얼굴의 특징을 추출함에 있어서, 공지의 방법들이 사용될 수 있다. 예컨대, 얼굴의 특징점(feature point)를 추출하여 이미지화(visualization)하는 방법, 학습된 인공 신경망 모델을 이용하는 방법 등이 사용될 수 있다. 상기 얼굴의 특징을 추출함에 있어서, 공지의 방법 중 발명의 실시에 적합한 방법을 선택하여 적용할 수 있음은 통상의 기술자에게 자명하다 할 것이다.
제어부(140)는 추출된 상기 특징에 대응하는 적어도 하나의 제2 사용자를 검색하고, 검색된 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공한다. 상기 제2 사용자는 상기 제1 사용자와 동일한 온라인 플랫폼 또는 소셜 네트워크 서비스를 이용하는 사용자일 수 있다.
제어부(140)에서 상기 제2 사용자를 검색할 때, 상기 제2 사용자가 업로드한 프로필 이미지가 사용될 수 있다. 예컨대, 상기 제2 사용자가 상기 온라인 플랫폼 또는 소셜 네트워크 서비스에 가입하면서 제공한 본인의 이미지가 사용될 수 있다. 제어부(140)는 특징 추출부(130)에 추출된 특징에 대응하는 사용자를 검색하기 위해 위와 같은 프로필 이미지를 사용할 수 있다.
제어부(140)에서 상기 제2 사용자를 검색하기 위해서 특징 추출부(130)에서 추출된 상기 얼굴의 특징, 즉 상기 좌표 정보, 상기 거리에 관한 정보, 피부색, 얼굴의 크기, 머리카락의 색상 및 모양, 눈동자의 색상 등이 활용될 수 있다. 예컨대, 제어부(140)는 특징 추출부(130)에서 추출된 상기 얼굴의 특징과 유사한 얼굴 특징을 갖는 사용자를 검색하여 상기 제2 사용자로 지정할 수 있다. 즉, 상기 본인의 이미지를 제공한 복수의 사용자들 중에서 상기 좌표 정보, 상기 거리에 관한 정보, 피부색, 얼굴의 크기, 머리카락의 색상 및 모양, 눈동자의 색상 등이 특징 추출부(130)에서 추출된 상기 얼굴의 특징과 유사한 사용자가 상기 제2 사용자로 검색될 수 있다.
한편, 상기 제2 사용자는 두 명 이상일 수 있는데, 상기 얼굴의 특징이 유사한 복수의 사용자가 상기 제2 사용자로 검색될 수 있다. 예를 들어, 특징 추출부(130)에서 추출된 얼굴의 특징과 상기 본인의 이미지를 제공한 복수의 사용자들의 얼굴의 특징을 비교한 결과를 유사도로 정량화 하는 경우, 유사도가 높은 상위 사용자들이 상기 제2 사용자로 검색될 수 있다.
한편, 제어부(140)는 검색된 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공한다. 상기 제2 사용자에 관한 정보는 사용자 ID의 전부 또는 일부, 프로필 이미지, 연령대, 성별, 거주 지역, 직업, 취미, 및 관심사 중 적어도 어느 하나에 관한 정보를 포함할 수 있다. 한편, 제어부(140)는 이미지 생성부(120)에서 생성된 새로운 이미지와 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 함께 제공할 수 있다.
일 실시예에서, 제어부(140)가 제공할 수 있는 상기 제2 사용자의 프로필 이미지는 블러(blur) 또는 모자이크(mosaic) 처리된 형태로 제공될 수 있다. 이를 통해 상기 제1 사용자로 하여금 상기 제2 사용자를 확인하고자 하는 욕구를 고취시킬 수 있다.
도 9는 본 발명의 다른 실시예에 따른 중개 장치의 구성을 개략적으로 나타내는 도면이다. 도 9를 참조하면, 본 발명의 다른 실시예에 따른 중개 장치는 통신 인터페이스(150)를 더 포함한다.
통신 인터페이스(150)는 상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자로부터 상기 제2 사용자와의 영상 통화 중개 요청을 수신한다. 앞서 설명한 상기 온라인 플랫폼 또는 소셜 네트워크 서비스는 영상 통화 기능을 제공할 수 있다. 예를 들어, 상기 영상 통화 기능은 임의의 복수의 사용자 또는 일정한 기준에 의해 선택된 복수의 사용자 사이에 영상 통화 세션을 수립할 수 있다.
상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자는 상기 제2 사용자와 채팅(chatting)이나 영상 통화(video call)를 하고 싶어할 수 있고, 통신 인터페이스(150)는 이러한 사용자의 요구에 대응하는 영상 통화 중개 요청을 수신할 수 있다.
상기 제1 단말기로부터 수신한 복수의 이미지는 상기 제1 사용자가 선호하는 사용자의 얼굴 이미지를 포함하고 있을 수 있고, 상기 제2 사용자는 상기 제1 사용자가 선호하는 사용자들의 얼굴 특징을 참조하여 검색된 사용자이므로, 상기 제1 사용자는 상기 제2 사용자에 대해서도 호감을 가질 확률이 높을 것이라고 예상할 수 있다.
따라서, 상기 제1 사용자에게 상기 제2 사용자에 대한 정보를 제공하는 것에 그치지 않고, 상기 제1 사용자와 제2 사용자 사이에 영상 통화를 수행할 수 있도록 영상 통화 중개 요청을 수신할 수 있다.
제어부(140)는 상기 영상 통화 중개 요청에 대응하여 상기 제1 사용자가 사용하는 제1 단말기 및 상기 제2 사용자가 사용하는 제2 단말기 사이에 영상 통화 세션을 수립할 수 있다.
상기 제1 사용자와 제2 사용자 사이에 영상 통화 세션이 수립되면, 상기 제1 사용자와 제2 사용자는 서로 데이터를 주고받을 수 있다. 예를 들어, 상기 제1 사용자와 제2 사용자는 서로 영상, 음성, 파일, 텍스트 등의 데이터를 주고받을 수 있다. 또한, 상기 제1 사용자와 제2 사용자는 이모티콘을 주고받을 수 있고, 제1 사용자가 제2 사용자에게 친구 신청을 하거나, 제2 사용자가 제1 사용자에게 친구 신청을 할 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 제1 단말기 20: 제2 단말기
100: 서버, 중개 장치 110: 입출력 인터페이스
120: 이미지 생성부 130: 특징 추출부
140: 제어부 150: 통신 인터페이스

Claims (13)

  1. 제1 사용자로부터 복수의 이미지를 수신하는 단계;
    수신한 상기 복수의 이미지를 참조하여 적어도 하나의 새로운 이미지를 생성하는 단계;
    생성된 상기 새로운 이미지에 포함된 얼굴의 특징을 추출하는 단계;
    추출된 상기 특징에 대응하는 적어도 하나의 제2 사용자를 검색하는 단계; 및
    상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공하는 단계;
    를 포함하는 중개 방법.
  2. 제1항에 있어서,
    상기 제1 사용자에게 복수의 사용자의 이미지를 제공하는 단계;
    를 더 포함하고,
    상기 복수의 이미지를 수신하는 단계에서는 상기 제1 사용자에게 제공된 상기 복수의 사용자의 이미지 중에서 상기 제1 사용자에 의해 선택된 이미지를 수신하는 중개 방법.
  3. 제2항에 있어서,
    상기 제1 사용자에 의해 선택된 이미지는 상기 제1 사용자가 선호하는 사용자에 대응하는 중개 방법.
  4. 제1항에 있어서,
    상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자로부터 상기 제2 사용자와의 영상 통화 중개 요청을 수신하는 단계; 및
    상기 영상 통화 중개 요청에 대응하여 상기 제1 사용자가 사용하는 제1 단말기 및 상기 제2 사용자가 사용하는 제2 단말기 사이에 영상 통화 세션을 수립하는 단계;
    를 더 포함하는 중개 방법.
  5. 제1항에 있어서,
    상기 새로운 이미지를 생성하는 단계는,
    상기 복수의 이미지 각각에 포함된 얼굴의 특징점 정보 및 텍스처(texture) 정보를 획득하는 단계; 및
    상기 특징점 정보 및 텍스처 정보를 참조하여 상기 새로운 이미지를 생성하는 단계;
    를 포함하는 중개 방법.
  6. 제5항에 있어서,
    상기 특징점 정보는 각각의 얼굴의 특정 지점에 대한 좌표 정보에 대응하는 중개 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  8. 제1 사용자로부터 복수의 이미지를 수신하는 입출력 인터페이스;
    수신한 상기 복수의 이미지를 참조하여 적어도 하나의 새로운 이미지를 생성하는 이미지 생성부;
    생성된 상기 새로운 이미지에 포함된 얼굴의 특징을 추출하는 특징 추출부; 및
    추출된 상기 특징에 대응하는 적어도 하나의 제2 사용자를 검색하고, 검색된 상기 제2 사용자에 관한 정보를 상기 제1 사용자에게 제공하는 제어부;
    를 포함하는 중개 장치.
  9. 제8항에 있어서,
    상기 입출력 인터페이스는 상기 제1 사용자에게 복수의 사용자의 이미지를 제공하고, 상기 제1 사용자에게 제공된 상기 복수의 사용자의 이미지 중에서 상기 제1 사용자에 의해 선택된 이미지를 수신하는 중개 장치.
  10. 제9항에 있어서,
    상기 제1 사용자에 의해 선택된 이미지는 상기 제1 사용자가 선호하는 사용자에 대응하는 중개 장치.
  11. 제8항에 있어서,
    상기 제2 사용자에 관한 정보를 제공받은 상기 제1 사용자로부터 상기 제2 사용자와의 영상 통화 중개 요청을 수신하는 통신 인터페이스를 더 포함하고,
    상기 제어부는 상기 영상 통화 중개 요청에 대응하여 상기 제1 사용자가 사용하는 제1 단말기 및 상기 제2 사용자가 사용하는 제2 단말기 사이에 영상 통화 세션을 수립하는 중개 장치.
  12. 제8항에 있어서,
    상기 이미지 생성부는, 상기 복수의 이미지 각각에 포함된 얼굴의 특징점 정보 및 텍스처(texture) 정보를 획득하고, 획득된 상기 특징점 정보 및 텍스처 정보를 참조하여 상기 새로운 이미지를 생성하는 중개 장치.
  13. 제8항에 있어서,
    상기 특징점 정보는 각각의 얼굴의 특정 지점에 대한 좌표 정보에 대응하는 중개 장치.
KR1020190167482A 2019-12-16 2019-12-16 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 KR102455966B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190167482A KR102455966B1 (ko) 2019-12-16 2019-12-16 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
US17/123,234 US11501564B2 (en) 2019-12-16 2020-12-16 Mediating apparatus and method, and computer-readable recording medium thereof
JP2020208565A JP7101749B2 (ja) 2019-12-16 2020-12-16 仲介装置及び方法、並びにコンピュータ読み取り可能な記録媒体｛ｍｅｄｉａｔｉｎｇ ａｐｐａｒａｔｕｓ、ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｒｅｃｏｒｄｉｎｇ ｍｅｄｉｕｍ ｔｈｅｒｅｏｆ｝
EP20214672.6A EP3839768A1 (en) 2019-12-16 2020-12-16 Mediating apparatus and method, and computer-readable recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190167482A KR102455966B1 (ko) 2019-12-16 2019-12-16 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20210076373A true KR20210076373A (ko) 2021-06-24
KR102455966B1 KR102455966B1 (ko) 2022-10-18

Family

ID=73855137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190167482A KR102455966B1 (ko) 2019-12-16 2019-12-16 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체

Country Status (4)

Country Link
US (1) US11501564B2 (ko)
EP (1) EP3839768A1 (ko)
JP (1) JP7101749B2 (ko)
KR (1) KR102455966B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815176B1 (ko) 2016-06-03 2018-01-05 주식회사 하이퍼커넥트 중개 방법, 장치 및 시스템
KR20180133593A (ko) 2017-06-07 2018-12-17 주식회사 하이퍼커넥트 중개 방법 및 장치
KR101979650B1 (ko) 2018-03-07 2019-05-17 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
KR102308636B1 (ko) 2019-08-27 2021-10-06 주식회사 하이퍼커넥트 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102329481B1 (ko) 2019-09-09 2021-11-24 주식회사 하이퍼커넥트 복수의 단말기를 중개하는 서버, 및 그것의 중개 방법
KR102373764B1 (ko) 2020-02-21 2022-03-15 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054824A (ko) * 2000-06-27 2000-09-05 이성환 얼굴 영상을 이용한 이상형 검색 시스템 및 그 제어 방법
KR20100023465A (ko) * 2008-08-22 2010-03-04 주식회사 케이티 매칭 서비스 제공 시스템 및 방법

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302271A (ja) * 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 合成顔検索装置
WO2001067760A1 (en) 2000-03-09 2001-09-13 Planetary Television.Com, Llc Method and apparatus for providing interactive video communications services
JP2002109025A (ja) 2000-09-27 2002-04-12 Ntt Data Corp コミュニティ生成システム及び該コミュニティ生成システムを構成する装置並びにその制御方法
JP2004054444A (ja) 2002-07-17 2004-02-19 Omron Corp 運転サービス情報仲介システム
US8494910B2 (en) 2002-12-02 2013-07-23 International Business Machines Corporation Method, system and program product for supporting a transaction between electronic device users
US8904295B2 (en) 2003-06-16 2014-12-02 Meetup, Inc. Web-based interactive meeting facility with recommendations to users
JP2005018358A (ja) 2003-06-25 2005-01-20 Nec Soft Ltd 顔画像登録抽出システム、顔画像登録抽出方法、およびコンピュータプログラム
JP4125651B2 (ja) 2003-08-25 2008-07-30 富士通株式会社 電話サポート方法、プログラム及び装置
KR20030094156A (ko) 2003-11-03 2003-12-11 (주)웨버젠 인터넷을 이용한 화상 만남 시스템 및 그 시스템에서의회원등급부여 방법 및 마일리지 부과방법
KR100593715B1 (ko) 2004-05-24 2006-06-26 에스케이 텔레콤주식회사 화상통화 연결 대기상태에서 착신자가 지정한 컬러멀티미디어 정보를 발신자에게 전송하는 방법
JP2005092897A (ja) 2004-11-15 2005-04-07 Kankyoo Engineering Kk 好相性会員紹介方法と装置
KR100628167B1 (ko) 2004-11-22 2006-09-26 엘지전자 주식회사 이동통신 단말기의 메시지 전송방법
JP2006197002A (ja) 2005-01-11 2006-07-27 Yamaha Corp サーバ装置
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
JP4679452B2 (ja) 2006-07-11 2011-04-27 Ｎｅｃインフロンティア株式会社 電話装置のあふれ呼オーバーフロー時における予測待ち時間通知方法
JP2008245113A (ja) 2007-03-28 2008-10-09 Oki Electric Ind Co Ltd コミュニケーション支援システム、およびコミュニケーション支援方法
KR20090014473A (ko) 2007-08-06 2009-02-11 주식회사 유리얼미디어 인스턴트 메신저 기반의 매치 메시지 전송 시스템
KR20090065147A (ko) 2007-12-17 2009-06-22 이태윤 남녀회원들의 만남을 주선하는 웹사이트에서가입비산출방법 및 그 시스템
US9733811B2 (en) 2008-12-19 2017-08-15 Tinder, Inc. Matching process system and method
US9830562B1 (en) 2008-02-28 2017-11-28 Capital One Financial Corporation System and method for mobile social networking within a target area
US20090271244A1 (en) 2008-04-25 2009-10-29 Samsung Electronics Co., Ltd. Situation-aware ad-hoc social interaction
CN101827317A (zh) 2009-09-07 2010-09-08 上海银贵网络科技服务有限公司 一种通过移动终端寻找目标对象的控制方法以及控制装置
KR101070797B1 (ko) 2009-09-30 2011-10-06 삼성전기주식회사 화상 통화 중개 장치 및 방법
JP2011077909A (ja) 2009-09-30 2011-04-14 Fujitsu Toshiba Mobile Communications Ltd 携帯端末及び携帯端末のメール送信支援方法
JP2011081575A (ja) 2009-10-06 2011-04-21 Connecty Lab:Kk プロフィール情報管理システム
US20120004954A1 (en) 2010-07-02 2012-01-05 International Business Machines Corporation Crowd-Sourced Shopping List Augmentation
US8812519B1 (en) * 2010-09-06 2014-08-19 Jonathan Binnings Bent Face photograph-based dating recommendation system
KR20130012155A (ko) 2011-06-09 2013-02-01 박기상 소셜 네트워크 서비스 제공 방법 및 장치
JP2013020485A (ja) 2011-07-12 2013-01-31 Hideki Matsumura マッチングシステム及びマッチング方法
US8867849B1 (en) * 2011-10-05 2014-10-21 Google Inc. Suggesting profile images for a social network
WO2013077482A1 (ko) 2011-11-24 2013-05-30 Kwon Dongwan 이상형 매칭 시스템 및 그 매칭방법
KR20130065801A (ko) 2011-11-30 2013-06-20 장재영 고객 매칭 서비스의 제공방법 및 이를 위한 중개서버
US9959523B2 (en) 2012-03-08 2018-05-01 Google Llc Aggregating a list of current, contextually and/or member-wise relevant video conferences
JP5548723B2 (ja) 2012-04-27 2014-07-16 楽天株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20140040368A1 (en) 2012-08-06 2014-02-06 Olivier Maurice Maria Janssens Systems and methods of online social interaction
CN102904936B (zh) 2012-09-25 2015-06-10 小米科技有限责任公司 一种建立会话的方法、服务器、装置、系统及设备
KR101285832B1 (ko) 2012-11-27 2013-07-12 전승훈 웹사이트와 어플에서의 회원 간 만남주선 시스템
US9122759B2 (en) 2012-12-18 2015-09-01 Eharmony, Inc. Systems and methods for online social matchmaking
KR101450526B1 (ko) 2012-12-28 2014-10-16 한국기술교육대학교 산학협력단 친구 추천 장치 및 방법
CN103916306B (zh) 2013-01-04 2018-07-20 腾讯科技（深圳）有限公司 实现即时通信的方法和装置
US8972417B2 (en) 2013-01-07 2015-03-03 Linkedin Corporation Suggested out of network communication recipients
US9843623B2 (en) 2013-05-28 2017-12-12 Qualcomm Incorporated Systems and methods for selecting media items
JP6152475B2 (ja) 2013-06-23 2017-06-21 インテル・コーポレーション 受取人が興味のあるギフトをクラウドソーシングすることのような、文脈関係情報に基づくユーザ情報の選択的シェアリング
US20150067070A1 (en) 2013-08-28 2015-03-05 Match.Com, L.L.C. System and method for performing gender balancing of an event using notifications in a network environment
KR101607534B1 (ko) 2013-08-28 2016-04-01 엔에이치엔엔터테인먼트 주식회사 사용자 매칭 방법 및 시스템
WO2015036817A1 (en) 2013-09-15 2015-03-19 Yogesh Chunilal Rathod Structured updated status, requests, user data & programming based presenting & accessing of connections
KR102231265B1 (ko) 2013-11-13 2021-03-23 에스케이플래닛 주식회사 고객카드를 이용한 전자쿠폰 제공 시스템, 서비스 장치 및 방법
US10523622B2 (en) 2014-05-21 2019-12-31 Match Group, Llc System and method for user communication in a network
US9100629B1 (en) 2014-06-09 2015-08-04 Kino Llc System and method for arranging and presenting interactive preshow sessions to an audience
US9531998B1 (en) 2015-07-02 2016-12-27 Krush Technologies, Llc Facial gesture recognition and video analysis tool
JP2016076078A (ja) 2014-10-06 2016-05-12 アマノ工芸株式会社 マッチングシステム
US11425213B2 (en) 2014-10-31 2022-08-23 Match Group, Llc System and method for modifying a preference
KR102023393B1 (ko) 2015-03-02 2019-09-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10223734B2 (en) 2015-04-16 2019-03-05 The Nielsen Company (Us), Llc Method, manufacture, and apparatus for facilitating a sales transaction via an interactive display platform
JP6563278B2 (ja) 2015-08-28 2019-08-21 一般社団法人 愛媛県法人会連合会 結婚支援装置および結婚支援方法
US10728612B2 (en) 2015-11-02 2020-07-28 Xandr Inc. Systems and methods for reducing digital video latency
US10706118B1 (en) 2015-11-02 2020-07-07 Xandr Inc. Systems and techniques for prefetching data
CN105898209A (zh) 2015-11-13 2016-08-24 乐视云计算有限公司 视频平台监控分析系统
US20170142482A1 (en) 2015-11-13 2017-05-18 Le Holdings (Beijing) Co., Ltd. Video platform monitoring and analyzing system
KR101700115B1 (ko) 2016-05-13 2017-02-02 주식회사 한국직업개발원 실시간 매칭 시스템
KR101815176B1 (ko) 2016-06-03 2018-01-05 주식회사 하이퍼커넥트 중개 방법, 장치 및 시스템
EP3509031A4 (en) 2016-08-31 2020-01-22 Zweispace Japan Corp. REAL ESTATE MANAGEMENT SYSTEM, METHOD AND PROGRAM
JP6732668B2 (ja) 2017-01-26 2020-07-29 ヤフー株式会社 抽出装置、抽出方法及び抽出プログラム
US10984488B1 (en) 2017-04-24 2021-04-20 Michele Colucci Predictive compatibility matching platform
KR20180133593A (ko) 2017-06-07 2018-12-17 주식회사 하이퍼커넥트 중개 방법 및 장치
KR102059170B1 (ko) 2017-11-02 2019-12-24 주식회사 하이퍼커넥트 전자 장치 및 그것의 통신 방법
KR20190077654A (ko) 2017-12-26 2019-07-04 주식회사 엔씨소프트 오프라인 친구 추천 및 소셜 인터랙션 제공 시스템 및 방법
KR102044241B1 (ko) 2017-12-28 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말
JP7122120B2 (ja) 2018-02-27 2022-08-19 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
KR101979650B1 (ko) 2018-03-07 2019-05-17 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
US10719713B2 (en) * 2018-05-29 2020-07-21 International Business Machines Corporation Suggested comment determination for a communication session based on image feature extraction
US11103773B2 (en) 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
US20210065314A1 (en) 2019-08-26 2021-03-04 Klick N Llc Social matching, selection, and interaction system and method
KR102308636B1 (ko) 2019-08-27 2021-10-06 주식회사 하이퍼커넥트 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102329481B1 (ko) 2019-09-09 2021-11-24 주식회사 하이퍼커넥트 복수의 단말기를 중개하는 서버, 및 그것의 중개 방법
KR102373764B1 (ko) 2020-02-21 2022-03-15 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054824A (ko) * 2000-06-27 2000-09-05 이성환 얼굴 영상을 이용한 이상형 검색 시스템 및 그 제어 방법
KR20100023465A (ko) * 2008-08-22 2010-03-04 주식회사 케이티 매칭 서비스 제공 시스템 및 방법

Also Published As

Publication number Publication date
JP7101749B2 (ja) 2022-07-15
EP3839768A1 (en) 2021-06-23
US20210182536A1 (en) 2021-06-17
KR102455966B1 (ko) 2022-10-18
JP2021096859A (ja) 2021-06-24
US11501564B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
KR102455966B1 (ko) 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102073351B1 (ko) 서버 및 그것의 동작 방법
US20210192858A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
CN109919888B (zh) 一种图像融合的方法、模型训练的方法以及相关装置
JP6715152B2 (ja) ケア情報取得方法、ケア情報共有方法及びこれらの方法のための電子装置
CN110110118B (zh) 妆容推荐方法、装置、存储介质及移动终端
US10607372B2 (en) Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
KR102374446B1 (ko) 아바타 선택 메커니즘
CN106682632B (zh) 用于处理人脸图像的方法和装置
JP7020626B2 (ja) メイクアップ評価システム及びその動作方法
CN104170374A (zh) 在视频会议期间修改参与者的外观
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
KR20130022434A (ko) 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
CN113014471B (zh) 会话处理方法，装置、终端和存储介质
CN107220614B (zh) 图像识别方法、装置及计算机可读存储介质
KR101979650B1 (ko) 서버 및 그것의 동작 방법
US20160277707A1 (en) Message transmission system, message transmission method, and program for wearable terminal
US20220335614A1 (en) Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of a Scalp Region of a Users Scalp to Generate One or More User-Specific Scalp Classifications
JP2018120461A (ja) 抽出装置、抽出方法及び抽出プログラム
KR102125735B1 (ko) 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템
KR20230156953A (ko) 실시간에서의 실제 크기 안경류 경험
CN114187166A (zh) 图像处理方法、智能终端及存储介质
US20240020902A1 (en) Virtual image generation method
US20230120037A1 (en) True size eyewear in real time
CN110381374B (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant