KR102265120B1 - 이미지 분석 기반 매칭 서비스 제공 방법 및 장치 - Google Patents

이미지 분석 기반 매칭 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR102265120B1
KR102265120B1 KR1020190138386A KR20190138386A KR102265120B1 KR 102265120 B1 KR102265120 B1 KR 102265120B1 KR 1020190138386 A KR1020190138386 A KR 1020190138386A KR 20190138386 A KR20190138386 A KR 20190138386A KR 102265120 B1 KR102265120 B1 KR 102265120B1
Authority
KR
South Korea
Prior art keywords
information
user
hash tag
image
tag information
Prior art date
Application number
KR1020190138386A
Other languages
English (en)
Other versions
KR20210052866A (ko
Inventor
김성찬
Original Assignee
(주) 아이디얼랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아이디얼랩스 filed Critical (주) 아이디얼랩스
Priority to KR1020190138386A priority Critical patent/KR102265120B1/ko
Publication of KR20210052866A publication Critical patent/KR20210052866A/ko
Application granted granted Critical
Publication of KR102265120B1 publication Critical patent/KR102265120B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 분석 기반의 매칭 서비스 제공 방법으로서, 사용자로부터 상기 사용자의 얼굴이 포함된 이미지 및 상기 사용자 관련 정보를 획득하는 단계, 상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하는 단계 및 상기 이미지 및 상기 해시 태그 정보를 기반으로 상기 사용자에게 매칭 서비스를 제공하는 단계를 포함하고, 상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는 외모 관련 해시 태그 정보, 목소리 관련 해시 태그 정보, 성격 관련 해시 태그 정보, 관심사 관련 해시 태그 정보 및 생활 패턴 관련 해시 태그 정보 중 적어도 하나를 포함할 수 있다.

Description

이미지 분석 기반 매칭 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING MATCHING SERVICE BASED ON IMAGE ANALYSIS}
본 발명은 이미지 분석 기반 매칭 서비스 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 이미지를 분석하여 해시 정보를 도출하고, 이를 기반으로 매칭 서비스를 제공하는 방법 및 장치에 관한 것이다.
매칭 서비스는 사람과 사람을 매칭시켜주는 서비스로서 소셜 데이팅 서비스라고 지칭할 수도 있다. 이러한 최근 소셜 데이팅 서비스는 이용자가 급등하고 있으며, 이용자들은 가벼운 만남뿐만 아니라 진지한 만남까지 다양한 목적을 가지고 이용하고 있다.
다만, 일반적으로 소셜 데이팅 서비스는 이용자의 다양한 성향 및 정보들을 제공하는데는 한계가 있다. 예를 들어, 상세한 이용자의 정보가 제공되기 위해서는 이용자가 직접 정보를 입력해야하므로 많은 이용자들이 이를 생략하는 경우가 많다. 이에 따라 진지한 만남을 고려하는 이용자들은 상대방의 정보를 획득하기 어려운 문제점이 있다. 따라서, 현재의 소셜 데이팅 서비스는 정보의 부재 등 다양한 이유로 인하여 실제로 원하는 이성을 만나기까지 많은 시간과 노력이 소요되는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 이미지 분석 기반 매칭 서비스 제공 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 이미지 분석 기반 매칭 서비스 제공 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 매칭 서비스 제공 방법은, 사용자로부터 상기 사용자의 얼굴이 포함된 이미지 및 상기 사용자 관련 정보를 획득하는 단계, 상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하는 단계 및 상기 이미지 및 상기 해시 태그 정보를 기반으로 상기 사용자에게 매칭 서비스를 제공하는 단계를 포함하고, 상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는, 외모 관련 해시 태그 정보, 목소리 관련 해시 태그 정보, 성격 관련 해시 태그 정보, 관심사 관련 해시 태그 정보 및 생활 패턴 관련 해시 태그 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 외모 관련 해시 태그 정보는 복수의 다른 사용자에 대한 첫인상 정보를 기반으로 생성되고, 상기 목소리 관련 해시 태그 정보는 상기 복수의 다른 사용자와의 음성 통화 정보를 기반으로 생성되고, 상기 성격 관련 해시 태그 정보는 자기 소개 정보, 채팅 텍스트 정보 및 상기 음성 통화 정보를 기반으로 생성되고, 상기 관심사 관련 해시 태그 정보는 일상 사진 정보, SNS(Social Network Service) 사진 정보 및 상기 사용자의 위치 정보를 기반으로 생성되고, 상기 생활 패턴 관련 해시 태그 정보는 상기 사용자의 고정 위치 정보 및 직업 정보를 기반으로 생성될 수 있다.
여기서, 상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는 선호하는 키, 나이, 거리, 애완동물, 종교, 흡연 여부, 음주 정보, 직업, 별자리, 혈액형, 찾고있는관계, 인종 및 거주형태 중 적어도 하나에 대한 정보를 기반으로 생성되는 기타 해시 태그 정보를 더 포함할 수 있다.
여기서, 상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하는 단계는, 상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하는 단계, 상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하는 단계 및 상기 제1 특징 정보 및 제2 특징 정보를 기반으로 해시 태그 정보를 생성하는 단계를 포함할 수 있다.
여기서, 상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하는 단계는, 머신러닝 관련 알고리즘을 이용하여 상기 이미지로부터 후보 영역을 추출하고, 상기 후보 영역을 기반으로 상기 복수의 객체 정보를 도출하는 단계를 포함할 수 있다.
여기서, 상기 머신러닝 관련 알고리즘은, Faster R-CNN 알고리즘 또는 MASK Faster R-CNN 알고리즘을 포함할 수 있다.
여기서, 상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하는 단계는, 상기 얼굴이 포함된 영역을 기반으로 상기 얼굴의 특징점을 도출하는 단계 및 상기 특징점을 기반으로 상기 제2 특징 정보를 추출하는 단계를 포함할 수 있다.
여기서, 상기 사용자로부터 인증 영상을 획득하는 단계, 상기 인증 영상으로부터 얼굴이 포함된 영역을 도출하고 인증용 특징점을 도출하는 단계 및 상기 얼굴의 특징점 및 상기 인증용 특징점을 비교하여 상기 사용자를 인증하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자에게 상기 해시 태그 정보를 제공하는 단계, 상기 사용자로부터 상기 해시 태그 정보에 대한 수정 정보를 획득하는 단계 및 상기 수정 정보를 기반으로 상기 해시 태그 정보를 변경하는 단계를 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 매칭 서비스 제공 장치는, 프로세서(processor) 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은, 사용자로부터 상기 사용자의 얼굴이 포함된 이미지 및 상기 사용자 관련 정보를 획득하도록 실행되고, 상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하도록 실행되고, 상기 이미지 및 상기 해시 태그 정보를 기반으로 상기 사용자에게 매칭 서비스를 제공하도록 실행되고, 상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는, 외모 관련 해시 태그 정보, 목소리 관련 해시 태그 정보, 성격 관련 해시 태그 정보, 관심사 관련 해시 태그 정보 및 생활 패턴 관련 해시 태그 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 외모 관련 해시 태그 정보는 복수의 다른 사용자에 대한 첫인상 정보를 기반으로 생성되고, 상기 목소리 관련 해시 태그 정보는 상기 복수의 다른 사용자와의 음성 통화 정보를 기반으로 생성되고, 상기 성격 관련 해시 태그 정보는 자기 소개 정보, 채팅 텍스트 정보 및 상기 음성 통화 정보를 기반으로 생성되고, 상기 관심사 관련 해시 태그 정보는 일상 사진 정보, SNS(Social Network Service) 사진 정보 및 상기 사용자의 위치 정보를 기반으로 생성되고, 상기 생활 패턴 관련 해시 태그 정보는 상기 사용자의 고정 위치 정보 및 직업 정보를 기반으로 생성될 수 있다.
여기서, 상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는 선호하는 키, 나이, 거리, 애완동물, 종교, 흡연 여부, 음주 정보, 직업, 별자리, 혈액형, 찾고있는관계, 인종 및 거주형태 중 적어도 하나에 대한 정보를 기반으로 생성되는 기타 해시 태그 정보를 더 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하도록 실행되고, 상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하도록 실행되고, 상기 제1 특징 정보 및 제2 특징 정보를 기반으로 해시 태그 정보를 생성하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은, 머신러닝 관련 알고리즘을 이용하여 상기 이미지로부터 후보 영역을 추출하고, 상기 후보 영역을 기반으로 상기 복수의 객체 정보를 도출하도록 실행될 수 있다.
여기서, 상기 머신러닝 관련 알고리즘은, Faster R-CNN 알고리즘 또는 MASK Faster R-CNN 알고리즘을 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 얼굴이 포함된 영역을 기반으로 상기 얼굴의 특징점을 도출하도록 실행되고, 상기 특징점을 기반으로 상기 제2 특징 정보를 추출하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 사용자로부터 인증 영상을 획득하도록 실행되고, 상기 인증 영상으로부터 얼굴이 포함된 영역을 도출하고 인증용 특징점을 도출하도록 실행되고, 상기 얼굴의 특징점 및 상기 인증용 특징점을 비교하여 상기 사용자를 인증하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 사용자에게 상기 해시 태그 정보를 제공하도록 실행되고, 상기 사용자로부터 상기 해시 태그 정보에 대한 수정 정보를 획득하도록 실행되고, 상기 수정 정보를 기반으로 상기 해시 태그 정보를 변경하도록 실행될 수 있다.
본 발명에 따르면, 사용자가 직접 입력하는 불편함 없이 사용자에 대한 성향 등의 정보를 제공할 수 있다.
본 발명에 따르면, 사용자의 정보를 상대적으로 많이 제공함으로써 자신에게 적합한 이성이 용이하게 매칭될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석을 통해 특징을 추출하는 과정을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 분석을 통해 해시 태그 정보를 도출하는 화면을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 복수의 요소에 기반한 해시 태그 정보를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 복수의 요소 중 외모를 이용하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 복수의 요소 중 목소리를 이용하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 복수의 요소 중 성격&성향을 이용하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 요소 중 관심사를 이용하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수의 요소 중 생활 패턴을 이용하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 데이터 전처리 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 이미지 분석 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 이미지에서 복수의 객체를 탐지하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 Mask R-CNN을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 이미지에서 객체의 포즈를 추정하여 추가 정보를 도출하는 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 사용자의 얼굴을 분석하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 매칭 서비스 제공 장치의 블록 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석을 통해 특징을 추출하는 과정을 설명하기 위한 개념도이다.
본 발명의 일 실시예는 인공지능 기술을 활용해 서로의 이성상을 추천 및 검색할 수 있는 서비스를 제공할 수 있다. 여기서, 인공지능 기술은 머신러닝(machine learning) 기술을 포함할 수 있으며, 빅데이터를 기반으로 학습된 인공신경망을 포함할 수 있다.
다시 말해, 일 실시예는 머신러닝을 통해 사용자의 이미지(정지 영상) 또는 동영상으로부터 특징을 추출할 수 있으며, 보다 구체적으로는 사용자에 의해 제공된 이미지 또는 동영상으로부터 이미지 분석 및 사용자의 얼굴 분석을 수행하여 사용자의 특징을 추출할 수 있다. 여기서, 동영상이 제공된 경우 동영상의 적어도 하나의 프레임을 기반으로 분석하므로 이하에서는 이미지로 통일하여 설명하도록 하겠다.
일 실시예에서 상술한 이미지 분석은 이미지에 대한 전빈적인 분석을 의미할 수 있으며, 객체, 얼굴, 배경, 감정, 행동, 옷 스타일, 사용자의 자세 및 사용자의 형상 등을 분석하여 분위기, 스타일 및 취향 등과 관련된 특징 정보를 추출할 수 있다. 또한, 얼굴 분석은 이미지 내의 사용자의 얼굴 부분에 대한 상세한 분석을 의미할 수 있고, 이를 통해 사용자의 닮은꼴 등과 관련된 특징 정보를 추출할 수 있다. 일 실시예에서 이미지 분석을 기반으로 추출된 특징 정보는 제1 특징 정보라 지칭할 수 있으며, 얼굴 분석을 기반으로 추출된 특징 정보는 제2 특징 정보라 지칭할 수 있다. 또한, 일 실시예는 추출된 특징 정보들을 기반으로 해시 태그 정보를 생성할 수 있으며, 이를 매칭 서비스에 활용할 수 있다.
예를 들어, 도 1를 참조하면, 일 실시예는 사용자에 의해 업로드된 4장의 이미지를 분석할 수 있으며, 각 이미지에 대하여 이미지 분석 및 얼굴 분석을 수행할 수 있다. 일 실시예는 얼굴 분석을 기반으로 제1 특징 정보를 추출할 수 있고, 연예인 닮은꼴 관련 정보를 해시 태그 정보로 생성할 수 있다. 즉, 일 실시예는 얼굴 분석을 기반으로 신세경 77% 닮은꼴에 대한 해시 태그 정보 및 신세경친동생에 대한 해시 태그 정보를 생성할 수 있다. 또한, 일 실시예는 이미지 분석을 기반으로 제2 특징 정보를 추출할 수 있고, 이를 기반으로 단발여신, 청순한, 음악가, 음악을 좋아하는, 감성적인, 화사한 및 드라이브좋아해요에 대한 해시 태그 정보를 생성할 수 있다.
상술한 일 실시예에 따른 이성상을 검색할 수 있는 서비스 또는 검색 기능은 해시 태그 정보를 기반으로 제공될 수 있다. 검색을 위한 키워드 또는 필터 정보는 사용자가 입력하는 정보의 종류 및 일 실시예에 따라 분석 또는 도출되어 생성되는 정보의 종류를 모두 활용할 수 있다. 즉, 각 해시 태그 정보에 대해서는 이하에서 상세히 설명하겠으나, 이미지 분석에 따른 해시 태그 정보 및 복수의 요소에 관한 해시 태그 정보를 포함할 수 있고, 복수의 요소에 관한 해시 태그 정보는 외모에 관한 해시 태그 정보, 목소리에 관한 해시 태그 정보, 성격&성향에 관한 해시 태그 정보, 관심사에 관한 해시 태그 정보, 생활 패턴에 관한 해시 태그 정보 및 기타 해시 태그 정보를 포함할 수 있다. 또한, 기타 해시 태그 정보는 기타 요소에 따라 생성된 해시 태그 정보로, 선호하는 키, 나이, 거리, 애완동물, 종교, 흡연 여부, 음주 정보, 직업, 별자리, 혈액형, 찾고있는관계, 인종 및 거주형태 등의 다양한 개인 신상 정보를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이미지 분석을 통해 해시 태그 정보를 도출하는 화면을 나타낸 도면이다.
본 발명의 일 실시예는 상술한 바와 같이 사용자에 의해 제공된 이미지를 분석할 수 있으며, 분석 결과에 따라 해시 태그 정보를 생성할 수 있고, 해시 태그 정보 및 사용자에 의해 제공된 이미지를 기반으로 매칭 서비스를 제공할 수 있다.
여기서, 일 실시예는 생성한 해시 태그 정보를 사용자에게 제공할 수 있으며, 사용자는 제공된 해시 태그 정보를 수정할 수 있다. 다시 말해, 일 실시예는 사용자로부터 수정 정보를 획득할 수 있으며, 이를 해시 태그 정보에 반영하여 수정된 해시 태그 정보를 생성할 수 있다. 여기서, 수정 정보는 생성된 해시 태그 정보 중 적어도 하나의 해시 태그 정보의 삭제 또는 수정에 대한 정보를 포함할 수 있고, 사용자에 의한 새로운 해시 태그 정보에 대한 정보도 포함할 수 있다. 다만, 사용자에 의한 해시 태그 정보의 수정 과정은 생략될 수도 있으므로, 본 발명의 범위가 이에 한정되는 것은 아니다.
예를 들어, 도 2를 참조하면, 일 실시예는 사용자의 이미지를 분석하여 청순미, 여신, 섹시한, 블링블링, 걸크러쉬, 첫눈에 반함 및 대학생 등에 대한 해시 태그 정보를 생성하여 사용자에게 제공할 수 있으며, 사용자는 제공된 해시 태그 정보를 확인하여 수정 정보를 입력할 수 있다.
다시 말해, 일 실시예는 생성된 해시 태그 정보 또는 수정된 해시 태그 정보와 함께 사용자에 의해 제공된 이미지를 기반으로 사용자에게 매칭 서비스를 제공할 수 있다. 사용자에 의해 제공된 이미지를 기반으로 이미지 분석 및 얼굴 분석을 수행하는 과정과 관련된 설명은 후술하겠다.
도 3은 본 발명의 일 실시예에 따른 복수의 요소에 기반한 해시 태그 정보를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예는 이미지 분석에 한정되지 않으며, 복수의 요소를 기반으로 해시 태그 정보를 도출할 수도 있다. 여기서, 복수의 요소는 외모, 목소리, 성격&성향, 관심사 및 생활 패턴 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 각각의 요소들에 대해서는 도 4 내지 8과 함께 후술하겠다.
다시 말해, 본 발명의 일 실시예는 복수의 요소에 기반한 해시 태그 정보를 기반으로 사용자(user) 간의 매칭을 수행할 수 있다. 여기서, 일 실시예는 사용자 각각에 대하여 복수의 요소에 기반한 선호도 정보를 도출할 수 있으며, 이를 기반으로 서로 매칭을 수행하여 매칭률 또는 매칭 성공률을 향상시킬 수 있다. 일 실시예는 복수의 요소에 기반한 선호도 정보를 도출하는 과정 또는 선호도 정보를 기반으로 매칭하는 과정에서 인공지능을 이용할 수도 있으며, 이를 통해 선호도 정보 도출의 정확도 및 매칭률 또는 매칭 성공률을 향상시킬 수 있다. 여기서, 해시 태그 정보는 선호도 정보를 기반으로 도출될 수 있고, 선호도 정보가 곧바로 해시 태그 정보를 나타낼 수도 있다.
예를 들어, 일 실시예는 복수의 요소 각각에 대하여 후술하는 도 4 내지 도 8의 과정을 통해 결과 정보 또는 결과값을 도출할 수 있으며, 이를 기반으로 해시 태그 정보를 생성할 수 있고, 생성한 해시 태그 정보를 기반으로 매칭을 수행할 수도 있다. 또는 일 실시예는 외모에 관한 해시 태그 정보, 목소리에 관한 해시 태그 정보, 성격&성향에 관한 해시 태그 정보, 관심사에 관한 해시 태그 정보 및 생활 패턴에 관한 해시 태그 정보 중 적어도 하나를 생성할 수 있으며, 이를 기반으로 매칭을 수행할 수 있다.
일 실시예는 도 3에서 복수의 요소로서 외모, 목소리, 성격&성향, 관심사 및 생활 패턴을 나타내고 있으나, 기타 요소도 더 포함될 수 있다. 예를 들어, 기타 요소는 선호하는 키, 나이, 거리, 애완동물, 종교, 흡연 여부, 음주 정보, 직업, 별자리, 혈액형, 찾고있는관계, 인종 및 거주형태 등의 다양한 개인 신상 정보를 포함할 수 있다. 이러한 기타 요소는 검색 또는 필터링 기능에서도 활용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 복수의 요소 중 외모를 이용하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에서 외모에 대한 정보는 첫인상을 기반으로 도출될 수 있다. 다시 말해, 일 실시예는 사용자(user1)에게 다른 사용자(user2, user3 및 user4 등)의 영상을 제공할 수 있으며, 이에 따라 사용자로부터 관심있음 또는 관심없음에 대한 정보를 획득할 수 있다. 일 실시예는 이러한 많은 사용자의 영상에 따른 관심있음 또는 관심없음에 대한 정보를 기반으로 사용자가 선호하는 외모에 대한 정보를 결정할 수 있다.
즉, 일 실시예는 사용자에 의하여 관심있음으로 분류된 다른 사용자들의 영상 및 관심없음으로 분류된 다른 사용자들의 영상을 기반으로 모델링 및 학습을 수행할 수 있으며, 이에 인공지능이 활용될 수 있고, 생성된 모델을 기반으로 추가적인 다른 사용자들의 영상을 제공하여 지속적인 학습을 수행함으로써 정확도 즉, 사용자가 선호하는 이성을 선별하는 정확도를 향상시킬 수 있다. 여기서, 생성된 모델은 사용자(이용자)별 선호 외모 알고리즘을 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 복수의 요소 중 목소리를 이용하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 일 실시예에서 목소리에 대한 정보는 음성 통화 정보를 기반으로 도출될 수 있다. 다시 말해, 일 실시예는 사용자(user1)에게 다른 사용자(user2, user3 및 user4 등) 중 일부를 랜덤하게 매칭하여 음성 통화를 제공할 수 있다. 여기서, 일 실시예는 다른 사용자(user2, user3 및 user4 등) 중 사용자(user1)와 관심사가 공통되는 사용자 또는 유사한 사용자를 우선적으로 매칭하여 음성 통화를 제공할 수도 있다.
일 실시예는 음성 통화를 제공한 이후, 음성 통화 결과에 대한 정보를 기반으로 목소리에 대한 정보를 도출할 수 있다. 음성 통화 결과에 대한 정보는 통화 시간 정보를 포함할 수 있으며, 통화 반응 정보 및 통화 후기 정보 중 적어도 하나를 더 포함할 수도 있다. 여기서, 통화 반응 정보는 통화 내용의 자연어 분석 및 통화 목소리의 감정 분석 중 적어도 하나를 활용하여 도출될 수 있다. 통화 후기 정보는 음성 통화 이후에 사용자로부터 입력받은 정보를 포함할 수 있다.
일 실시예는 이러한 음성 통화 결과에 대한 정보를 기반으로 모델링 및 학습을 수행할 수 있으며, 이에 인공지능이 활용될 수 있고, 생성된 모델을 기반으로 추가적인 다른 사용자들과의 음성 통화를 제공하여 지속적인 학습을 수행함으로써 정확도 즉, 사용자가 선호하는 목소리를 선별하는 정확도를 향상시킬 수 있다. 여기서, 생성된 모델은 사용자(이용자)별 선호 목소리 알고리즘을 포함할 수 있다. 또한, 일 실시예에서 음성 통화 결과에 대한 정보는 사용자가 선호하는 성격&성향에 대한 정보를 도출하기 위해서도 이용될 수 있으며, 이에 대해서는 도 6과 함께 후술하겠다.
도 6은 본 발명의 일 실시예에 따른 복수의 요소 중 성격&성향을 이용하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예에서 성격&성향에 대한 정보는 자연어 처리를 통해 도출될 수 있다. 여기서, 성격&성향은 간략히 성격이라 포괄적으로 나타낼 수도 있다. 일 실시예에서 자연어 처리는 자기 소개 정보, 채팅 텍스트 정보 및 통화 음성 정보에 대하여 수행될 수 있다.
여기서, 자기 소개 정보는 사용자(user1)에 의해 입력된 정보를 포함할 수 있으며, 채팅 텍스트 정보는 사용자(user1)가 다른 사용자들과 텍스트로 채팅한 대화 정보를 포함할 수 있다. 또한, 통화 음성 정보는 도 5와 함께 설명한 음성 통화 결과에 대한 정보를 포함할 수 있으며, 구체적으로는 통화 내용 정보를 포함할 수 있다. 또는 통화 음성 정보에 대한 자연어 처리는 도 5에서 설명한 통화 내용의 자연어 분석 및 통화 목소리의 감정 분석 중 적어도 하나를 통해 수행될 수 있다. 일 실시예는 상술한 과정에 이에 인공지능이 활용될 수 있고, 이를 통해 사용자가 선호하는 성격&성향을 선별하여 결과 정보로 도출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 복수의 요소 중 관심사를 이용하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시예에서 관심사에 대한 정보는 일상 사진 정보, SNS(Social Network Service) 사진 정보 및 사용자의 위치 정보를 기반으로 도출될 수 있다. 여기서, 관심사는 취미 및 관심사를 포괄적으로 나타낼 수 있으며, 관심사에 대한 정보는 취미 및 관심사의 특징을 분석한 결과에 대한 정보를 포함할 수 있다.
즉, 일 실시예는 사용자가 자주 방문하거나 오랜 시간 동안 머무르는 장소, 일상 사진 또는 SNS 사진에 빈번하게 노출되는 장소 또는 물품에 대한 정보를 확인하고, 이를 기반으로 사용자의 관심사를 도출할 수 있다.
일 실시예는 관심사에 대한 정보를 기반으로 사용자에게 비슷한 취미 또는 관심사를 가지는 다른 사용자와의 매칭을 제공할 수 있다. 이러한 과정에서도 일 실시예는 인공지능을 활용할 수 있으며, 지속적인 학습을 통해 정확도를 향상시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 복수의 요소 중 생활 패턴을 이용하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 일 실시예에서 생활 패턴에 대한 정보는 사용자의 고정 위치 정보 및 직업 정보를 기반으로 도출될 수 있다. 여기서, 고정 위치 정보는 사용자의 위치 정보 및 특정 위치에서 머무르는 시간 정보를 포함할 수 있다.
즉, 일 실시에는 사용자의 고정 위치 정보 및 직업 정보를 분석하여 생활 패턴을 분석할 수 있고, 거주지, 직장, 출퇴근 시간 및 여가 시간 등에 대한 정보를 생활 패턴에 대한 정보로써 도출할 수 있고, 이와 유사한 생활 패턴을 가지는 다른 사용자와의 매칭을 제공할 수 있다. 이러한 과정에서도 일 실시예는 인공지능을 활용할 수 있으며, 지속적인 학습을 통해 정확도를 향상시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 데이터 전처리 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예는 사용자에 의해 제공된 이미지를 분석하기 위해 머신러닝을 이용할 수 있으며, 이를 위해 빅데이터 기반의 학습을 수행할 수 있다.
여기서, 빅데이터는 SNS(Social Network Service)를 통해 수집 가능한 데이터 및 별도의 구매 방식을 통해 수집 가능한 데이터 등 다양한 데이터를 포함할 수 있으며, 이러한 빅데이터는 전처리되어 학습에 이용될 수 있다. 빅데이터는 이미지에 대한 데이터 및 해당 이미지에 대한 해시 태그 정보를 포함할 수 있으며, 후술할 학습 및 검증 시에 이미지에 대한 데이터는 검증 데이터 또는 트레이닝 데이터로 이용될 수 있고, 해당 데이터의 해시 태그 정보는 해당 데이터의 라벨 데이터로 이용될 수 있다.
일 실시예는 빅데이터에서 임의로 일부 데이터를 추출할 수 있으며, 이를 기반으로 검증 데이터를 생성할 수 있다. 여기서, 임의로 추출한 일부 데이터는 랜덤 샘플(random sample)이라 지칭할 수 있으며, 검증 데이터는 벨리데이션 데이터(validation data)라고 지칭할 수도 있다. 검증 데이터는 해당 검증 데이터에 대한 라벨 데이터와 함께 이용될 수 있으며, 해당 검증 데이터에 대한 라벨 데이터는 벨리데이션 라벨(validation label)이라 지칭할 수 있다. 특정 데이터에 대한 레벨 데이터는 특정 데이터에 대한 정답에 해당하는 해시 태그 정보를 포함할 수 있다. 검증 데이터 및 검증 데이터에 대한 레벨 데이터는 함께 검증 셋(set)이라 지칭할 수 있으며, 일 실시예는 상술한 바와 같이 추출한 검증 데이터 및 검증 데이터에 대한 라벨 데이터를 기반으로 학습 결과를 검증할 수 있다.
또한, 일 실시예는 빅데이터에서 상술한 바와 같이 추출한 일부 데이터를 제외한 나머지 데이터를 기반으로 트레이닝 데이터(training data)를 생성할 수 있다. 트레이닝 데이터는 해당 트레이닝 데이터에 대한 라벨 데이터와 함께 이용될 수 있으며, 트레이닝 데이터에 대한 라벨 데이터는 트레이닝 라벨(training label)이라 지칭할 수 있다. 특정 데이터에 대한 레벨 데이터는 특정 데이터에 대한 정답에 해당하는 해시 태그 정보를 포함할 수 있다. 트레이닝 데이터 및 트레이닝 데이터에 대한 라벨 데이터는 함께 트레이닝 셋이라 지칭할 수 있으며, 일 실시예는 상술한 바와 같이 트레이닝 데이터 및 트레이닝 데이터에 대한 라벨 데이터를 기반으로 학습을 수행할 수 있다.
즉, 일 실시예는 빅데이터를 이용하여 트레이닝 셋 및 검증 셋을 도출할 수 있으며, 이를 기반으로 분석을 위한 학습을 진행할 수 있다. 여기서, 학습은 인공신경만에 대한 학습을 의미할 수 있으며, 학습 방법은 라벨 데이터를 이용하는 지도 학습(supervised learning) 방식이 이용될 수 있으나, 다양한 학습 방식이 함께 이용될 수 있으므로, 이에 한정되는 것은 아니다. 여기서, 지도 학습 방식은 트레이닝 데이터를 입력에 따른 결과 데이터와 트레이닝 데이터에 따른 정답 데이터를 비교하여 가중치를 수정해나가는 학습 방식을 의미할 수 있다.
도 10은 본 발명의 일 실시예에 따른 이미지 분석 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 본 발명의 일 실시예는 사용자에 의해 사용자 이미지 및 영상이 입력되는 경우, 사용자 이미지를 분석할 수 있으며, 분석 결과를 기반으로 상술한 바와 같이 학습한 인공신경망을 다시 학습할 수 있고, 분석 결과를 기반으로 특징 정보를 도출할 수 있다.
보다 상세히 설명하면, 일 실시예는 입력된 이미지를 분석하여 라벨 데이터를 생성할 수 있으며, 라벨에 이미지를 업로드할 수 있다. 즉, 라벨과 이미지를 하나의 셋으로 생성할 수 있으며, 라벨 및 라벨에 존재하는 이미지를 기반으로 학습을 수행할 수 있다. 여기서, 학습은 상술한 전처리 이후의 추가적인 학습일 수 있으나, 전처리에 포함되는 학습도 이에 포함될 수 있다. 또한, 일 실시예는 입력된 이미지를 분석하여 개체명 분리 과정, 특징 추출 과정, 중복 필터링 알고리즘 과정 및 라벨 분류 알고리즘 과정 등을 수행할 수 있으며, 각 과정의 결과 데이터를 기반으로 특징을 조합한 결과값을 도출할 수 있다. 여기서, 각 과정은 병렬적으로 수행될 수 있다. 또한, 일 실시예는 결과값을 기반으로 상술한 특징 정보 또는 해시 태그 정보를 생성할 수 있다. 여기서, 도 10의 특징은 개별적인 특징을 의미할 수 있으며, 도 1, 도 2 및 도 9에서 설명한 특징 정보는 개별적인 특징을 기반으로 도출된 특정한 특징 정보를 의미할 수 있고, 이를 위해 개별적인 특징을 조합하여 특징 정보를 도출하는 알고리즘 또는 규칙이 존재할 수 있다.
도 11은 본 발명의 일 실시예에 따른 이미지에서 복수의 객체를 탐지하는 과정을 설명하기 위한 도면이다.
일 실시예에서는 보다 정교한 이미지 분석을 위해 이미지 분석 알고리즘 기반의 복수 객체 탐지(multiple object detection) 과정을 수행할 수도 있다. 도 5를 참조하면, 복수 객체 탐지 과정은 Faster R-CNN을 이용할 수 있으며, 이는 Region Proposal을 생성하는 방법 자체를 즉, RPN(Region Proposal Network)를 CNN(Convolutional Neural Network) 내부에 네트워크 구조로 넣어놓은 모델 또는 CNN과 접목한 모델을 의미할 수 있다. Faster R-CNN은 Region Proposal을 찾기 위해 selective search를 사용하지 않고, 빠른 속도처리의 GPU 네트워크 내에서 함께 처리하는 객체 탐지 모델을 의미할 수 있다.
이에 대하여 설명하면, 일 실시예는 우선, 객체 별로 앵커 박스를 형성하고, CNN의 출력 데이터 및 앵커 박스들에 대한 정보를 기반으로 영역 제안 계층을 형성할 수 있다. 여기서, 영역 제안 계층을 통해 제안되는 영역은 객체가 존재할 것으로 예상되는 영역을 의미할 수 있다. 다시 말해, 일 실시예는 CNN의 출력에 따른 특징 맵을 기반으로 지정된 크기의 윈도우를 슬라이딩할 수 있으며, 윈도우가 지나가는 지점마다 앵커 박스를 생성하고 바운딩 박스의 좌표 및 바운딩 박스 내에 객체가 존재할 확률을 계산하여 후보들을 도출할 수 있다. 즉, 이를 통해 제안되는 영역을 도출할 수 있다. 또한, 일 실시예는 NMS(Non-Maximum Suppresion)를 이용하여 제안되는 영역들 중 일부 영역들을 제거할 수 있으며, 나머지 제안된 영역들을 공간적 풀링(spatial pooling)을 통해 사이즈를 동일하게 출력할 수 있고, 마지막으로 풀링된 영역들을 분류기(classifer)를 통해 분류할 수 있다. 여기서, 회귀(regression) 과정도 병렬적으로 수행될 수 있다.
상술한 과정들을 통해 일 실시예는 이미지로부터 이미지 내의 배경, 객체, 모션, 얼굴, 표정 및 감정 등을 다양하게 분류 및 추출할 수 있으며, 이를 기반으로 해시 태그 정보를 생성하여 매칭 서비스를 제공할 수 있다.
이하에서는 본 발명에서 이용할 수 있는 알고리즘에 대하여 간략히 설명하겠다.
도 12는 본 발명의 일 실시예에 따른 Mask R-CNN을 설명하기 위한 도면이다.
도 12를 참조하면, 일 실시예는 Faster R-CNN과 바이너리 마스크(binary mask)를 접목한 객체 탐지 MASK R-CNN 알고리즘을 이용할 수도 있다. MASK R-CNN는 분할된 이미지를 마스킹하는 알고리즘을 의미할 수 있으며, 속도와 정학도가 뛰어난 two-stage method 알고리즘인 Faster R-CNN에서 각 픽셀이 객체(object)에 해당하는 것인지 아닌지를 마스킹하는 네트워크인 binary mask를 추가한 모델일 수 있다.
도 13은 본 발명의 일 실시예에 따른 이미지에서 객체의 포즈를 추정하여 추가 정보를 도출하는 과정을 설명하기 위한 도면이다.
도 13을 참조하면, 본 발명의 일 실시예는 머신러닝을 통해 이미지 내의 객체가 사람인 경우, 객체를 기반으로 막대 또는 선을 도출할 수 있으며, 이를 기반으로 사람의 자세를 추정하여 자세와 관련된 추가 정보를 도출할 수도 있다.
도 14는 본 발명의 일 실시예에 따른 사용자의 얼굴을 분석하는 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 본 발명의 일 실시예에서 얼굴 분석은 딥러닝(deep learning)을 이용하여 이미지 내에서 얼굴 영역을 탐색할 수 있으며, 얼굴 영역 내에서 얼굴의 특징점을 도출하여 벡터 형태로 변환할 수 있다. 여기서, 일 실시예는 딥페이스(deep face)와 같은 오픈 API를 이용할 수도 있으나, 이에 한정되는 것은 아니다. 또한, 일 실시예는 이러한 변환된 벡터 형태의 데이터를 이용하여 인증 절차를 수행할 수도 있다. 즉, 일 실시예는 업로드를 희망하는 이미지 및 인증을 위한 영상을 각각 사용자로부터 획득하여 서로 간의 특징점을 도출하여 비교함으로써 이미지 도용을 방지할 수도 있다. 여기서, 인증을 위한 영상은 즉석 셀카 등의 방법을 통해 획득될 수 있다. 또한, 영상은 정지 영상(still image) 또는 동영상(video)를 포함할 수 있다.
다시 말해, 일 실시예는 사용자가 제1 이미지에 대하여 등록 또는 업로드를 희망하는 경우, 인증을 위한 제2 이미지를 요구할 수 있으며, 제1 이미지 및 제2 이미지로부터 각각 얼굴 영역을 도출하고, 특징점을 도출하여 비교할 수 있다. 여기서, 특징점들이 서로 다른 경우 또는 유사도가 일정 퍼센트 미만인 경우에는 이미지 등록이 불가할 수 있으며, 특징점들이 동일한 경우 또는 유사도가 일정 퍼센트 이상인 경우에만 이미지 등록이 가능할 수 있다.
또한, 일 실시예는 얼굴 영역 내의 특징점을 기반으로 특정 연예인과의 유사도를 계산할 수도 있으며, 일정한 유사도 이상인 연예인에 대한 해시 태그 정보를 생성할 수 있으며, 유사도에 따른 퍼센트 정보도 해시 태그 정보로 생성할 수 있다. 즉, 예를 들어 도 1을 다시 살펴보면, 일 실시예는 이미지로부터 도출한 사용자의 특징점과 신세경의 얼굴의 특징점이 유사한 경우, 신세경닮은꼴에 대한 해시 태그 정보를 생성할 수 있고, 유사도가 77%인 경우 신세경77%닮은꼴에 대한 해시 태그 정보를 생성할 수도 있다.
도 15는 본 발명의 일 실시예에 따른 매칭 서비스 제공 장치의 블록 구성도이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 매칭 서비스 제공 장치(1500)는 적어도 하나의 프로세서(1510), 메모리(1520) 및 저장 장치(1530)를 포함할 수 있다.
프로세서(1510)는 메모리(1520) 및/또는 저장 장치(1530)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(1510)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(1520)와 저장 장치(1530)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(1520)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
메모리(1520)는 프로세서(1510)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 사용자로부터 상기 사용자의 얼굴이 포함된 이미지 및 사용자 관련 정보를 획득하는 명령, 상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하는 명령 및 상기 이미지 및 상기 해시 태그 정보를 기반으로 상기 사용자에게 매칭 서비스를 제공하는 명령을 포함할 수 있다.
여기서, 상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는 외모 관련 해시 태그 정보, 목소리 관련 해시 태그 정보, 성격 관련 해시 태그 정보, 관심사 관련 해시 태그 정보 및 생활 패턴 관련 해시 태그 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 외모 관련 해시 태그 정보는 복수의 다른 사용자에 대한 첫인상 정보를 기반으로 생성될 수 있고, 상기 목소리 관련 해시 태그 정보는 상기 복수의 다른 사용자와의 음성 통화 정보를 기반으로 생성될 수 있고, 상기 성격 관련 해시 태그 정보는 자기 소개 정보, 채팅 텍스트 정보 및 상기 음성 통화 정보를 기반으로 생성 생성될 수 있고, 상기 관심사 관련 해시 태그 정보는 일상 사진 정보, SNS(Social Network Service) 사진 정보 및 상기 사용자의 위치 정보를 기반으로 생성될 수 있고, 상기 생활 패턴 관련 해시 태그 정보는 상기 사용자의 고정 위치 정보 및 직업 정보를 기반으로 생성될 수 있다.
또한, 상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는 선호하는 키, 나이, 거리, 애완동물, 종교, 흡연 여부, 음주 정보, 직업, 별자리, 혈액형, 찾고있는관계, 인종 및 거주형태 중 적어도 하나에 대한 정보에 기반으로 생성되는 기타 해시 태그 정보를 포함할 수도 있다.
여기서, 상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하는 명령은 상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하는 명령, 상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하는 명령 및 상기 제1 특징 정보 및 제2 특징 정보를 기반으로 해시 태그 정보를 생성하는 명령을 포함할 수 있다.
즉, 일 실시예는 이미지 및 해시 태그 정보를 함께 이용하여 상기 사용자의 정보를 나타낼 수 있으며, 다른 사용자에 대한 상술한 과정을 통해 정보를 이용하여 상기 사용자에게 매칭 서비스를 제공할 수 있다. 여기서, 매칭 서비스는 다른 사용자와 상기 사용자의 해시 태그 정보 중 동일 또는 유사한 해시 태그 정보의 개수를 기반으로 매칭일 제공할 수 있으며, 상기 사용자의 원하는 이성상에 대한 정보를 추가로 획득하여 이성상에 대한 정보와 상대방의 해시 태그 정보 간에 유사도 또는 동일 또는 유사한 해시 태그 정보의 개수를 기반으로 매칭을 제공할 수도 있다. 여기서, 이성상에 대한 정보는 생성 또는 분류될 수 있는 해시 태그 정보 중 사용자에게 선택하도록 하여 생성될 수도 있다.
또한, 일 실시예는 상기 사용자에게 해시 태그 정보를 기반으로 이성을 검색하거나, 특정 해시 태그 정보를 가지는 이성과의 매칭 기능을 제공할 수도 있다. 즉, 일 실시예는 상기 사용자와의 거리 정보, 나이 정보, 키 정보 뿐만 아니라 해시 태그 정보를 추가로 고려하여 매칭 서비스를 제공할 수 있다.
상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하는 명령은, 머신러닝 관련 알고리즘을 이용하여 상기 이미지로부터 후보 영역을 추출하고, 상기 후보 영역을 기반으로 상기 복수의 객체 정보를 도출하는 명령을 포함할 수 있고, 상기 머신러닝 관련 알고리즘은, Faster R-CNN 알고리즘 또는 MASK Faster R-CNN 알고리즘을 포함할 수 있다. 여기서, 후보 영역은 객체가 존재할 것으로 예상되는 영역을 의미할 수 있으며, 머신러닝과 관련된 보다 상세한 설명은 도 10 내지 도 14와 함께 상술하였다.
상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하는 명령은, 상기 얼굴이 포함된 영역을 기반으로 상기 얼굴의 특징점을 도출하는 명령 및 상기 특징점을 기반으로 상기 제2 특징 정보를 추출하는 명령을 포함할 수 있다.
또한, 적어도 하나의 명령은 상기 사용자로부터 인증 영상을 획득하는 명령, 상기 인증 영상으로부터 얼굴이 포함된 영역을 도출하고 인증용 특징점을 도출하는 명령 및 상기 얼굴의 특징점 및 상기 인증용 특징점을 비교하여 상기 사용자를 인증하는 명령을 더 포함할 수도 있다.
여기서, 인증 영상은 도 14와 함께 설명한 제2 이미지를 의미할 수 있으며, 즉석 셀카 요청 등에 따라 사용자에 의해 획득될 수 있으며, 일 실시예는 두 이미지에 따른 특징점들 간의 유사도를 기반으로 이미지의 업로드를 결정할 수 있으므로, 이를 통해 이미지 도용 방지 등의 효과를 가질 수 있다.
또한, 적어도 하나의 명령은 상기 사용자에게 상기 해시 태그 정보를 제공하는 명령, 상기 사용자로부터 상기 해시 태그 정보에 대한 수정 정보를 획득하는 명령 및 상기 수정 정보를 기반으로 상기 해시 태그 정보를 변경하는 명령을 더 포함할 수도 있다.
여기서, 수정 정보는 상기 해시 태그 정보 중 적어도 하나의 삭제 또는 병경에 대한 정보를 포함할 수 있으며, 사용자에 의해 선택된 새로운 해시 태그 정보에 대한 정보도 포함할 수 있다.
본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 이미지 분석 기반의 매칭 서비스 제공 방법으로서,
    사용자로부터 상기 사용자의 얼굴이 포함된 이미지 및 상기 사용자 관련 정보를 획득하는 단계;
    상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하는 단계; 및
    상기 이미지 및 상기 해시 태그 정보를 기반으로 상기 사용자에게 매칭 서비스를 제공하는 단계를 포함하고,
    상기 이미지 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하는 단계는,
    상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하는 단계;
    상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하는 단계; 및
    상기 제1 특징 정보 및 제2 특징 정보를 기반으로 해시 태그 정보를 생성하는 단계를 포함하며,
    상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는,
    복수의 다른 사용자에 대한 첫인상 정보를 기반으로 생성된 외모 관련 해시 태그 정보와,
    상기 복수의 다른 사용자와의 음성 통화 정보를 기반으로 생성된 목소리 관련 해시 태그 정보와,
    자기 소개 정보, 채팅 텍스트 정보 및 상기 음성 통화 정보를 기반으로 생성된 성격 관련 해시 태그 정보와,
    일상 사진 정보, SNS(Social Network Service) 사진 정보 및 상기 사용자의 위치 정보를 기반으로 생성된 관심사 관련 해시 태그 정보 및
    상기 사용자의 고정 위치 정보 및 직업 정보를 기반으로 생성된 생활 패턴 관련 해시 태그 정보를 포함하며,
    상기 매칭 서비스는,
    상기 사용자의 해시 태그 정보와 일치하는 해시 태그 정보를 일정 개수 이상 가지고 있는 다른 사용자를 상기 사용자에게 매칭해주는 서비스 및 상기 사용자가 검색한 해시 태그 정보를 가지고 있는 다른 사용자를 상기 사용자에게 매칭해주는 서비스 중 적어도 하나인 것을 특징으로 하는, 매칭 서비스 제공 방법.

  2. 삭제
  3. 청구항 1에 있어서,
    상기 사용자 관련 정보를 기반으로 생성한 해시 태그 정보는,
    선호하는 키, 나이, 거리, 애완동물, 종교, 흡연 여부, 음주 정보, 직업, 별자리, 혈액형, 찾고있는관계, 인종 및 거주형태 중 적어도 하나에 대한 정보를 기반으로 생성되는 기타 해시 태그 정보를 더 포함하는, 매칭 서비스 제공 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하는 단계는,
    머신러닝 관련 알고리즘을 이용하여 상기 이미지로부터 후보 영역을 추출하고, 상기 후보 영역을 기반으로 상기 복수의 객체 정보를 도출하는 단계를 포함하는, 매칭 서비스 제공 방법.
  6. 청구항 5에 있어서,
    상기 머신러닝 관련 알고리즘은,
    Faster R-CNN 알고리즘 또는 MASK Faster R-CNN 알고리즘을 포함하는, 매칭 서비스 제공 방법.
  7. 청구항 1에 있어서,
    상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하는 단계는,
    상기 얼굴이 포함된 영역을 기반으로 상기 얼굴의 특징점을 도출하는 단계; 및
    상기 특징점을 기반으로 상기 제2 특징 정보를 추출하는 단계를 포함하는, 매칭 서비스 제공 방법.
  8. 청구항 7에 있어서,
    상기 사용자로부터 인증 영상을 획득하는 단계;
    상기 인증 영상으로부터 얼굴이 포함된 영역을 도출하고 인증용 특징점을 도출하는 단계; 및
    상기 얼굴의 특징점 및 상기 인증용 특징점을 비교하여 상기 사용자를 인증하는 단계를 더 포함하는, 매칭 서비스 제공 방법.
  9. 청구항 1에 있어서,
    상기 사용자에게 상기 해시 태그 정보를 제공하는 단계;
    상기 사용자로부터 상기 해시 태그 정보에 대한 수정 정보를 획득하는 단계; 및
    상기 수정 정보를 기반으로 상기 해시 태그 정보를 변경하는 단계를 더 포함하는, 매칭 서비스 제공 방법.
  10. 이미지 분석 기반의 매칭 서비스를 제공하는 장치로서,
    프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고,
    상기 적어도 하나의 명령은,
    사용자로부터 상기 사용자의 얼굴이 포함된 이미지 및 상기 사용자 관련 정보를 획득하도록 실행되고,
    상기 이미지를 분석하여 복수의 객체 정보를 도출하여 제1 특징 정보를 추출하도록 실행되고,
    상기 이미지로부터 상기 얼굴이 포함된 영역을 도출하여 제2 특징 정보를 추출하도록 실행되고,
    상기 제1 특징 정보, 제2 특징 정보 또는 상기 사용자 관련 정보를 기반으로 해시 태그 정보를 생성하도록 실행되고,상기 이미지 및 상기 해시 태그 정보를 기반으로 상기 사용자에게 매칭 서비스를 제공하도록 실행되고,
    상기 사용자 관련 정보를 기반으로 생성된 해시 태그 정보는,
    복수의 다른 사용자에 대한 첫인상 정보를 기반으로 생성된 외모 관련 해시 태그 정보와,
    상기 복수의 다른 사용자와의 음성 통화 정보를 기반으로 생성된 목소리 관련 해시 태그 정보와,
    자기 소개 정보, 채팅 텍스트 정보 및 상기 음성 통화 정보를 기반으로 생성된 성격 관련 해시 태그 정보와,
    일상 사진 정보, SNS(Social Network Service) 사진 정보 및 상기 사용자의 위치 정보를 기반으로 생성된 관심사 관련 해시 태그 정보 및
    상기 사용자의 고정 위치 정보 및 직업 정보를 기반으로 생성된 생활 패턴 관련 해시 태그 정보를 포함하고,
    상기 매칭 서비스는,
    상기 사용자의 해시 태그 정보와 일치하는 해시 태그 정보를 일정 개수 이상 가지고 있는 다른 사용자를 상기 사용자에게 매칭해주는 서비스 및 상기 사용자가 검색한 해시 태그 정보를 가지고 있는 다른 사용자를 상기 사용자에게 매칭해주는 서비스 중 적어도 하나인 것을 특징으로 하는, 매칭 서비스 제공 장치.
KR1020190138386A 2019-11-01 2019-11-01 이미지 분석 기반 매칭 서비스 제공 방법 및 장치 KR102265120B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190138386A KR102265120B1 (ko) 2019-11-01 2019-11-01 이미지 분석 기반 매칭 서비스 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190138386A KR102265120B1 (ko) 2019-11-01 2019-11-01 이미지 분석 기반 매칭 서비스 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210052866A KR20210052866A (ko) 2021-05-11
KR102265120B1 true KR102265120B1 (ko) 2021-06-15

Family

ID=75915050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190138386A KR102265120B1 (ko) 2019-11-01 2019-11-01 이미지 분석 기반 매칭 서비스 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102265120B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102576191B1 (ko) * 2022-08-19 2023-09-07 시놀(주) 시니어 사용자 간에 매칭 시스템의 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064999A (ko) * 2005-12-19 2007-06-22 에스케이 텔레콤주식회사 얼굴인식 기술을 이용한 이상형 찾기 서비스 제공 방법 및시스템
KR101150944B1 (ko) * 2010-11-09 2012-05-29 김양웅 매칭 가능성에 기반한 타겟 탐색 장치, 그 방법, 및 그 기록매체
KR101912237B1 (ko) * 2016-11-25 2018-10-26 주식회사 인디씨에프 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버

Also Published As

Publication number Publication date
KR20210052866A (ko) 2021-05-11

Similar Documents

Publication Publication Date Title
Zhao et al. Affective image content analysis: Two decades review and new perspectives
US11074434B2 (en) Detection of near-duplicate images in profiles for detection of fake-profile accounts
US10740802B2 (en) Systems and methods for gaining knowledge about aspects of social life of a person using visual content associated with that person
Sultana et al. Social behavioral information fusion in multimodal biometrics
Sangineto et al. We are not all equal: Personalizing models for facial expression analysis with transductive parameter transfer
Dhall et al. Automatic group happiness intensity analysis
Rothe et al. Some like it hot-visual guidance for preference prediction
US11140446B2 (en) Sensitivity assessment for media production using artificial intelligence
Kucer et al. Leveraging expert feature knowledge for predicting image aesthetics
van der Maaten et al. Action unit classification using active appearance models and conditional random fields
US9104905B2 (en) Automatic analysis of individual preferences for attractiveness
KR101905501B1 (ko) 컨텐츠를 추천하는 방법 및 장치
CN110750523A (zh) 数据标注方法、系统、计算机设备和存储介质
Akputu et al. Emotion recognition using multiple kernel learning toward E-learning applications
Tistarelli et al. On the use of discriminative cohort score normalization for unconstrained face recognition
JP2023081971A (ja) 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法
KR20210107608A (ko) 기계 학습을 사용하여 애니메이션 미디어 컨텐츠 아이템에서 시간 정보를 추출하기 위한 시스템 및 방법
KR102265120B1 (ko) 이미지 분석 기반 매칭 서비스 제공 방법 및 장치
CN114282019A (zh) 目标多媒体数据查找方法、装置、计算机设备、存储介质
Bazazian et al. A hybrid method for context-based gait recognition based on behavioral and social traits
Meena et al. Face recognition based on local derivative ternary pattern
Dinh et al. Social Relation Trait Discovery from Visual LifeLog Data with Facial Multi-Attribute Framework.
Lopez-de-Arenosa et al. CBR tagging of emotions from facial expressions
KR102627034B1 (ko) 컨텐츠 공간의 운영자의 부담을 감소시키면서 다양한 개인화 컨텐츠를 제공하는 시스템 및 방법
Ekundayo et al. Facial expression recognition and ordinal intensity estimation: a multilabel learning approach

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant