KR102267835B1 - 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치 - Google Patents

딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치 Download PDF

Info

Publication number
KR102267835B1
KR102267835B1 KR1020190164860A KR20190164860A KR102267835B1 KR 102267835 B1 KR102267835 B1 KR 102267835B1 KR 1020190164860 A KR1020190164860 A KR 1020190164860A KR 20190164860 A KR20190164860 A KR 20190164860A KR 102267835 B1 KR102267835 B1 KR 102267835B1
Authority
KR
South Korea
Prior art keywords
target object
attractiveness
gaze
region
interest
Prior art date
Application number
KR1020190164860A
Other languages
English (en)
Other versions
KR20210073986A (ko
Inventor
이용구
이성재
장경찬
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020190164860A priority Critical patent/KR102267835B1/ko
Publication of KR20210073986A publication Critical patent/KR20210073986A/ko
Application granted granted Critical
Publication of KR102267835B1 publication Critical patent/KR102267835B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00221—
    • G06K9/3241—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝을 이용한 대상 객체의 매력도 분석 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 딥러닝을 이용한 대상 객체의 매력도 분석 방법은 (a) 대상 객체와 적어도 하나의 평가 객체가 포함된 입력 이미지를 획득하는 단계; (b) 상기 대상 객체에 대한 상기 적어도 하나의 평가 객체 각각의 시선 위치를 식별하는 단계; (c) 상기 시선 위치가 상기 대상 객체의 관심 영역에 포함되는 경우, 상기 적어도 하나의 평가 객체의 시선 정보를 획득하는 단계; 및 (d) 상기 시선 정보에 기반하여 상기 대상 객체의 매력도 점수를 산출하는 단계;를 포함할 수 있다.

Description

딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치{A method and apparatus for analyzing attractiveness of target object using deep learning}
본 발명은 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치에 관한 것으로, 더욱 상세하게는 평가 객체의 시선 정보에 기반하는 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치에 관한 것이다.
최근, 얼굴 인식 및 얼굴 표정 인식과 같은 얼굴 영상 분석 기술의 응용 분야가 많아지고 있다. 얼굴 영상 분석의 응용 분야는 제품을 차별화하고, 사용자의 관심과 구매를 유도하기 때문에 이에 관한 연구가 활발하게 진행되고 있다. 이러한 얼굴 영상 분석 방법은 크게 기하학적 특징 기반 방법(Geometric feature based method)과 외형 특징 기반 방법(Appearance feature based method)이 있다.
기하학적 특징 방법은 얼굴의 구성요소인 눈, 코, 입, 입술, 눈썹 등의 위치와 얼굴의 구성요소 간의 관계를 이용하여 얼굴의 형태와 표정의 변화를 표현하는 방식이다. 이러한 기학적 특징 방법은 얼굴 특징을 소수의 인자로 간단하게 표현할 수 있고, 각 구성요소의 위치, 크기, 방위 변화에 쉽게 대응이 가능하다.
또한, 외형 특징 기반 방법(Appearance feature base method)은 전체적인 또는 지역적인 얼굴 영상을 대상으로 얼굴 영상의 특징을 표현하는 방식이다. 다만, 이러한 대상 객체의 얼굴에서 추출되는 특징들만을 이용하는 경우, 정확도가 부정확하고, 타인에 의한 매력도를 정확하게 반영할 수 없다는 문제점이 있다.
[특허문헌 1] 한국등록특허 제10-1484003호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명은 대상 객체의 관심 영역에 포함된 시선 개수 정보와 시선 지속시간 정보를 이용하여 대상 객체의 매력도 점수를 산출하기 위한 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 딥러닝을 이용한 대상 객체의 매력도 분석 방법은 (a) 대상 객체와 적어도 하나의 평가 객체가 포함된 입력 이미지를 획득하는 단계; (b) 상기 대상 객체에 대한 상기 적어도 하나의 평가 객체 각각의 시선 위치를 식별하는 단계; (c) 상기 시선 위치가 상기 대상 객체의 관심 영역에 포함되는 경우, 상기 적어도 하나의 평가 객체의 시선 정보를 획득하는 단계; 및 (d) 상기 시선 정보에 기반하여 상기 대상 객체의 매력도 점수를 산출하는 단계;를 포함할 수 있다.
실시예에서, 상기 시선 정보는, 상기 적어도 하나의 평가 객체의 시선 개수 정보 및 시선 지속시간 정보 중 적어도 하나를 포함할 수 있다.
실시예에서, 상기 딥러닝을 이용한 대상 객체의 매력도 분석 방법은, 상기 (d) 단계 이후에, 상기 입력 이미지에 포함된 상기 대상 객체의 이미지와 상기 대상 객체의 매력도 점수를 이용하여 매력도 분석 모델을 학습시키는 단계;를 더 포함할 수 있다.
실시예에서, 상기 딥러닝을 이용한 대상 객체의 매력도 분석 방법은, 상기 (d) 단계 이후에, 타겟 객체의 이미지를 획득하는 단계; 및 상기 학습된 매력도 분석 모델을 이용하여, 상기 타겟 객체에 대응하는 매력도 점수를 산출하는 단계;를 더 포함할 수 있다.
실시예에서, 상기 (c) 단계는, 상기 적어도 하나의 평가 객체 각각의 시선 위치 중 일부가 상기 대상 객체의 제1 관심 영역에 포함되고, 상기 적어도 하나의 평가 객체 각각의 시선 위치 중 나머지 일부가 상기 대상 객체의 제2 관심 영역에 포함되는 경우, 상기 제1 관심 영역에 제1 가중치를 부여하고 상기 제2 관심 영역에 제2 가중치를 부여하는 단계;를 포함할 수 있다.
실시예에서, 상기 (c) 단계는, 상기 제1 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제1 시선 정보를 획득하고, 상기 제2 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제2 시선 정보를 획득하는 단계;를 포함할 수 있다.
실시예에서, 상기 (d) 단계는, 상기 제1 시선 정보와 상기 제1 시선 정보에 대응하는 상기 제1 관심 영역의 제1 가중치 및 상기 제2 시선 정보와 상기 제2 시선 정보에 대응하는 상기 제2 관심 영역의 제2 가중치를 이용하여 상기 대상 객체의 매력도 점수를 산출하는 단계;를 포함할 수 있다.
실시예에서, 딥러닝을 이용한 대상 객체의 매력도 분석 장치는 대상 객체와 적어도 하나의 평가 객체가 포함된 입력 이미지를 획득하는 입력부; 및 상기 대상 객체에 대한 상기 적어도 하나의 평가 객체 각각의 시선 위치를 식별하고, 상기 시선 위치가 상기 대상 객체의 관심 영역에 포함되는 경우, 상기 적어도 하나의 평가 객체의 시선 정보를 획득하고, 상기 시선 정보에 기반하여 상기 대상 객체의 매력도 점수를 산출하는 제어부;를 포함할 수 있다.
실시예에서, 상기 시선 정보는, 상기 적어도 하나의 평가 객체의 시선 개수 정보 및 시선 지속시간 정보 중 적어도 하나를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 입력 이미지에 포함된 상기 대상 객체의 이미지와 상기 대상 객체의 매력도 점수를 이용하여 매력도 분석 모델을 학습시킬 수 있다.
실시예에서, 상기 입력부는, 타겟 객체의 이미지를 획득하고, 상기 제어부는, 상기 학습된 매력도 분석 모델을 이용하여, 상기 타겟 객체에 대응하는 매력도 점수를 산출할 수 있다.
실시예에서, 상기 제어부는, 상기 적어도 하나의 평가 객체 각각의 시선 위치 중 일부가 상기 대상 객체의 제1 관심 영역에 포함되고, 상기 적어도 하나의 평가 객체 각각의 시선 위치 중 나머지 일부가 상기 대상 객체의 제2 관심 영역에 포함되는 경우, 상기 제1 관심 영역에 제1 가중치를 부여하고 상기 제2 관심 영역에 제2 가중치를 부여할 수 있다.
실시예에서, 상기 제어부는, 상기 제1 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제1 시선 정보를 획득하고, 상기 제2 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제2 시선 정보를 획득할 수 있다.
실시예에서, 상기 제어부는, 상기 제1 시선 정보와 상기 제1 시선 정보에 대응하는 상기 제1 관심 영역의 제1 가중치 및 상기 제2 시선 정보와 상기 제2 시선 정보에 대응하는 상기 제2 관심 영역의 제2 가중치를 이용하여 상기 대상 객체의 매력도 점수를 산출할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 이미지 상에서 다수의 시선이 향하는 사람의 얼굴을 인식하여 그 사람의 얼굴과 매력도를 학습하여, 학습된 데이터를 바탕으로 사용자 얼굴의 매력도를 판단할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 소개팅 어플에 학습된 매력도 분석 모델을 삽입하여, 얼굴 평가 및 커플 매칭 시스템에 활용할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 국가별, 지역별로 선호하는 얼굴의 특징(feature)을 활용하여, 성형외과 및 성형견적 어플에서 고객에게 선호하는 얼굴을 추천해 줄 수 있다.
또한, 본 발명의 일 실시예에 의하면, 자율주행 차량의 인포테인먼트 시스템에 해당 알고리즘을 삽입하여, 인공지능 비서와 탑승자간의 대화에 활용할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 얼굴뿐만 아니라 사람의 전체적인 모습을 입력, 학습하였을 경우, 오늘의 스타일, 머리스타일 등 전체적인 스타일에 대한 점수화가 가능하다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1a는 본 발명의 일 실시예에 따른 입력 이미지를 도시한 도면이다.
도 1b는 본 발명의 일 실시예에 따른 시선 위치 식별을 도시한 도면이다.
도 1c는 본 발명의 일 실시예에 따른 매력도 점수 산출을 도시한 도면이다.
도 1d는 본 발명의 일 실시예에 따른 매력도 분석 모델을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 대상 객체의 매력도 분석 방법을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 대상 객체의 매력도 분석 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치를 설명한다.
도 1a는 본 발명의 일 실시예에 따른 입력 이미지를 도시한 도면이다. 도 1b는 본 발명의 일 실시예에 따른 시선 위치 식별을 도시한 도면이다. 도 1c는 본 발명의 일 실시예에 따른 매력도 점수 산출을 도시한 도면이다. 도 1d는 본 발명의 일 실시예에 따른 매력도 분석 모델을 도시한 도면이다.
도 1a를 참고하면, 딥러닝을 이용한 타겟 객체의 매력도 분석 장치는 대상 객체(110)과 적어도 하나의 평가 객체(120)이 포함된 입력 이미지를 획득할 수 있다. 예를 들어, 대상 객체(110)는 매력도 점수를 산출하기 위한 대상을 의미할 수 있다. 적어도 하나의 평가 객체(120)는 입력 이미지 상의 보행자를 의미할 수 있다.
일 실시예에서, 입력 이미지는 다수의 프레임의 이미지가 시간의 방향으로 모여 구성된 영상의 단일 이미지를 의미할 수 있다.
예를 들어, 입력 이미지는 블랙박스, CCTV 등 사람이 등장하는 동영상에서 프레임 단위로 분할된 다수의 프레임들 중 첫 번째 프레임을 포함할 수 있다. 이 경우, 입력 이미지에서 대상 객체(110)와 평가 객체(120)의 얼굴은 사각형의 관심 영역으로 표현되며, 각 관심 영역은 서로 다른 ID(identification)이 할당될 수 있다.
도 1b를 참고하면, 매력도 분석 장치는 대상 객체(110)에 대한 적어도 하나의 평가 객체(120) 각각의 시선 위치를 식별할 수 있다. 예를 들어, 입력 이미지 상의 보행자의 얼굴과 보행자의 시선방향을 인식할 수 있다.
일 실시예에서, 시선 검출(eye gaze detection) 알고리즘을 이용하여 입력 이미지 내의 사람의 얼굴 영역에서 사람의 시선방향을 검출할 수 있다. 이후, 검출된 시선방향을 따라 직선을 형성하고, 해당 직선이 검출된 얼굴 영역에 포함됨을 확인할 수 있다.
또한, 매력도 분석 장치는 시선 위치가 대상 객체(110)의 관심 영역(130)에 포함되는 경우, 적어도 하나의 평가 객체(120)의 시선 정보를 획득할 수 있다. 예를 들어, 얼굴 영역에서 검출된 직선의 수에 따라 시선 개수 정보를 산출하여 이를 저장할 수 있다.
일 실시예에서, 입력된 영상의 각 프레임에 대하여 시선 정보 획득을 반복적으로 수행할 수 있다.
도 1c를 참고하면, 매력도 분석 장치는 시선 정보에 기반하여 대상 객체(110)의 매력도 점수를 산출할 수 있다. 일 실시예에서, 매력도 점수는 하기 <수학식 1>과 같이 나타낼 수 있다.
Figure 112019128158919-pat00001
여기서 N은 입력 이미지 상에 존재하는 전체 시선 개수를 나타낸다.
일 실시예에서, 저장된 전체 데이터셋에 대하여 매력도 점수를 정규화(normalize)하여 0~100점으로 변환할 수 있다.
도 1d를 참고하면, 매력도 분석 장치는 입력 이미지에 포함된 대상 객체(110)의 이미지와 대상 객체(110)의 매력도 점수를 이용하여 매력도 분석 모델을 학습시킬 수 있다.
일 실시예에서, 매력도 분석 모델은 입력 이미지에 포함된 대상 객체(110)에서 매력도 점수에 영향을 주는 특징(feature)을 추출할 수 있다. 즉, 정답 매력도 점수와 예측 매력도 점수의 차이를 줄여나가도록 학습을 진행할 수 있다.
이후, 학습된 매력도 분석 모델을 이용하여 학습되지 않은 타겟 객체의 얼굴 이미지를 입력하게 되면, 입력된 얼굴 이미지에서 매력도 점수에 영향을 주는 특징을 추출하고, 해당 특징에 따라 타겟 객체의 매력도 점수를 산출할 수 있다.
즉, 본 발명의 일 실시예에 따르면, 사용자의 이목구비의 요소마다 수치화하는 것이 아닌, 매력적인 사람이라고 인식된 사람의 얼굴 사진 자체와 점수를 학습할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 국가별, 지역별로 선호하는 얼굴 형태를 추출할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 별도의 데이터가 아닌, 보행자가 지나다니는 사진에서 데이터를 추출할 수 있기 때문에, 데이터 확보에 용이하다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 대상 객체의 매력도 분석 방법을 도시한 도면이다.
도 2를 참고하면, S201 단계는, 대상 객체(110)과 적어도 하나의 평가 객체(120)이 포함된 입력 이미지를 획득하는 단계이다.
S203 단계는, 대상 객체(110)에 대한 적어도 하나의 평가 객체(120) 각각의 시선 위치를 식별하는 단계이다.
S205 단계는, 시선 위치가 대상 객체(110)의 관심 영역(130)에 포함되는 경우, 적어도 하나의 평가 객체(120)의 시선 정보를 획득하는 단계이다.
일 실시예에서, 시선 정보는 적어도 하나의 평가 객체(120)의 시선 개수 정보 및 시선 지속시간 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 대상 객체(110)에 해당하는 관심 영역이 여러개 설정될 수 있다. 이 경우, 적어도 하나의 평가 객체(120) 각각의 시선 위치 중 일부가 대상 객체(110)의 제1 관심 영역에 포함되고, 적어도 하나의 평가 객체(120) 각각의 시선 위치 중 나머지 일부가 대상 객체(110)의 제2 관심 영역에 포함되는 경우, 제1 관심 영역에 제1 가중치를 부여하고, 제2 관심 영역에 제2 가중치를 부여할 수 있다.
예를 들어, 대상 객체(110)의 얼굴과 손에 각각 관심 영역이 설정될 수 있으며, 적어도 하나의 평가 객체(120)의 시선 위치 중 일부는 얼굴에 해당하는 관심 영역에 포함되고, 나머지 일부는 손에 해당하는 관심 영역에 포함되는 경우, 얼굴에 해당하는 관심 영역과 손에 해당하는 관심 영역에 서로 다른 가중치를 부여하여, 매력도 점수 산출 시 각각 가중치를 적용할 수 있다. 예를 들어, 얼굴에 해당하는 관심 영역에 10의 가중치를 부여하고, 손에 해당하는 관심 영역에 4의 가중치를 부여할 수 있다.
이후, 제1 관심 영역에 대한 적어도 하나의 평가 객체(120)의 제1 시선 정보를 획득하고, 제2 관심 영역에 대한 적어도 하나의 평가 객체의 제2 시선 정보를 획득할 수 있다.
예를 들어, 대상 객체(110)의 얼굴에 해당하는 관심 영역에 평가 객체(120)의 10개의 시선 개수와 5초의 시선 지속시간을 획득하고, 손에 해당하는 관심 영역에 평가 객체(120)의 3개의 시선 개수와 2초의 시선 지속시간을 획득할 수 있다.
S207 단계는, 시선 정보에 기반하여 대상 객체(110)의 매력도 점수를 산출하는 단계이다.
일 실시에에서, S207 단계 이후에, 입력 이미지에 포함된 대상 객체(110)의 이미지와 대상 객체(110)의 매력도 점수를 이용하여 매력도 분석 모델을 학습시킬 수 있다.
일 실시예에서, S207 단계 이후에, 타겟 객체의 이미지를 획득하고, 상기 학습된 매력도 분석 모델을 이용하여, 타겟 객체에 대응하는 매력도 점수를 산출할 수 있다. 여기서, 타겟 객체는 매력도 분석 모델에 의해 아직 학습되지 않은 대상으로, 매력도 점수를 산출하기 위한 대상을 의미할 수 있다.
일 실시예에서, 제1 시선 정보와 제1 시선 정보에 대응하는 제1 관심 영역의 제1 가중치 및 제2 시선 정보와 제2 시선 정보에 대응하는 제2 관심 영역의 제2 가중치를 이용하여 대상 객체(110)의 매력도 점수를 산출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 대상 객체의 매력도 분석 장치(300)의 기능적 구성을 도시한 도면이다.
도 3을 참고하면, 매력도 분석 장치(300)는 입력부(310), 제어부(320) 및 저장부(330)를 포함할 수 있다.
입력부(310)는 대상 객체(110)와 적어도 하나의 평가 객체(120)가 포함된 입력 이미지를 획득할 수 있다. 일 실시예에서, 입력 이미지가 사진 이미지인 경우, 입력부(310)는 카메라(camera)로 구현되고, 입력 이미지가 동영상인 경우, 입력부(310)는 비디오 카메라(video camera)로 구현될 수 있다.
제어부(320)는 대상 객체(110)에 대한 적어도 하나의 평가 객체(120) 각각의 시선 위치를 식별할 수 있다. 또한, 제어부(320)는 시선 위치가 대상 객체(110)의 관심 영역(130)에 포함되는 경우, 적어도 하나의 평가 객체(120)의 시선 정보를 획득할 수 있다. 이후, 제어부(320)는 시선 정보에 기반하여 대상 객체(110)의 매력도 점수를 산출할 수 있다.
일 실시예에서, 제어부(320)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(320)는 CP(communication processor)라 지칭될 수 있다. 제어부(320)는 본 발명의 다양한 실시예에 따른 매력도 분석 장치(300)의 동작을 제어할 수 있다.
저장부(330)는 적어도 하나의 평가 객체(120)의 시선 정보를 저장할 수 있다. 예를 들어, 저장부(330)는 시선 개수 정보 및 시선 지속시간 정보 중 적어도 하나를 저장할 수 있다. 또한, 저장부(330)는 학습된 매력도 분석 모델과 학습을 위한 매력도 점수를 포함하는 데이터셋을 저장할 수 있다.
일 실시예에서, 저장부(330)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(330)는 제어부(320)의 요청에 따라 저장된 데이터를 제공할 수 있다.
도 3을 참고하면, 매력도 분석 장치(300)는 입력부(310), 제어부(320) 및 저장부(330)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 매력도 분석 장치(300)는 도 3에 설명된 구성들이 필수적인 것은 아니어서, 도 3에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
210: 대상 객체
220: 평가 객체
230: 관심 영역
300: 매력도 분석 장치
310: 입력부
320: 제어부
330: 저장부

Claims (14)

  1. 대상 객체와 적어도 하나의 평가 객체가 포함된 입력 이미지를 획득하는 단계;
    상기 대상 객체에 대한 상기 적어도 하나의 평가 객체 각각의 시선 위치를 식별하는 단계;
    상기 적어도 하나의 평가 객체 각각의 시선 위치 중 일부가 상기 대상 객체의 제1 관심 영역에 포함되고, 상기 적어도 하나의 평가 객체 각각의 시선 위치 중 나머지 일부가 상기 대상 객체의 제2 관심 영역에 포함되는 경우, 상기 제1 관심 영역에 제1 가중치를 부여하고 상기 제2 관심 영역에 제2 가중치를 부여하는 단계;
    상기 제1 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제1 시선 정보를 획득하고, 상기 제2 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제2 시선 정보를 획득하는 단계; 및
    상기 제1 시선 정보와 상기 제1 시선 정보에 대응하는 상기 제1 관심 영역의 제1 가중치 및 상기 제2 시선 정보와 상기 제2 시선 정보에 대응하는 상기 제2 관심 영역의 제2 가중치를 이용하여 상기 대상 객체의 매력도 점수를 산출하는 단계;
    를 포함하는,
    딥러닝을 이용한 대상 객체의 매력도 분석 방법.
  2. 제1항에 있어서,
    상기 제1 시선 정보 및 제2 시선 정보는, 상기 적어도 하나의 평가 객체의 시선 개수 정보 및 시선 지속시간 정보 중 적어도 하나를 포함하는,
    딥러닝을 이용한 대상 객체의 매력도 분석 방법.
  3. 제1항에 있어서,
    상기 산출하는 단계 이후에,
    상기 입력 이미지에 포함된 상기 대상 객체의 이미지와 상기 대상 객체의 매력도 점수를 이용하여 매력도 분석 모델을 학습시키는 단계;
    를 더 포함하는,
    딥러닝을 이용한 대상 객체의 매력도 분석 방법.
  4. 제3항에 있어서,
    상기 산출하는 단계 이후에,
    타겟 객체의 이미지를 획득하는 단계; 및
    상기 학습된 매력도 분석 모델을 이용하여, 상기 타겟 객체에 대응하는 매력도 점수를 산출하는 단계;
    를 더 포함하는,
    딥러닝을 이용한 대상 객체의 매력도 분석 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 대상 객체와 적어도 하나의 평가 객체가 포함된 입력 이미지를 획득하는 입력부; 및
    상기 대상 객체에 대한 상기 적어도 하나의 평가 객체 각각의 시선 위치를 식별하고,
    상기 적어도 하나의 평가 객체 각각의 시선 위치 중 일부가 상기 대상 객체의 제1 관심 영역에 포함되고, 상기 적어도 하나의 평가 객체 각각의 시선 위치 중 나머지 일부가 상기 대상 객체의 제2 관심 영역에 포함되는 경우, 상기 제1 관심 영역에 제1 가중치를 부여하고 상기 제2 관심 영역에 제2 가중치를 부여하고,
    상기 제1 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제1 시선 정보를 획득하고, 상기 제2 관심 영역에 대한 상기 적어도 하나의 평가 객체의 제2 시선 정보를 획득하고,
    상기 제1 시선 정보와 상기 제1 시선 정보에 대응하는 상기 제1 관심 영역의 제1 가중치 및 상기 제2 시선 정보와 상기 제2 시선 정보에 대응하는 상기 제2 관심 영역의 제2 가중치를 이용하여 상기 대상 객체의 매력도 점수를 산출하는 제어부;
    를 포함하는,
    딥러닝을 이용한 대상 객체의 매력도 분석 장치.
  9. 제8항에 있어서,
    상기 제1 시선 정보 및 제2 시선 정보는, 상기 적어도 하나의 평가 객체의 시선 개수 정보 및 시선 지속시간 정보 중 적어도 하나를 포함하는,
    딥러닝을 이용한 대상 객체의 매력도 분석 장치.
  10. 제8항에 있어서,
    상기 제어부는,
    상기 입력 이미지에 포함된 상기 대상 객체의 이미지와 상기 대상 객체의 매력도 점수를 이용하여 매력도 분석 모델을 학습시키는,
    딥러닝을 이용한 대상 객체의 매력도 분석 장치.
  11. 제10항에 있어서,
    상기 입력부는, 타겟 객체의 이미지를 획득하고,
    상기 제어부는, 상기 학습된 매력도 분석 모델을 이용하여, 상기 타겟 객체에 대응하는 매력도 점수를 산출하는,
    딥러닝을 이용한 대상 객체의 매력도 분석 장치.

  12. 삭제
  13. 삭제
  14. 삭제
KR1020190164860A 2019-12-11 2019-12-11 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치 KR102267835B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190164860A KR102267835B1 (ko) 2019-12-11 2019-12-11 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190164860A KR102267835B1 (ko) 2019-12-11 2019-12-11 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210073986A KR20210073986A (ko) 2021-06-21
KR102267835B1 true KR102267835B1 (ko) 2021-06-22

Family

ID=76599897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190164860A KR102267835B1 (ko) 2019-12-11 2019-12-11 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102267835B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268158A (ja) * 2009-05-13 2010-11-25 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2016081075A (ja) * 2014-10-09 2016-05-16 花王株式会社 印象改善方法及び印象改善支援装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484003B1 (ko) 2013-11-20 2015-01-20 (주)나노인사이드 얼굴 분석 평가 시스템
KR102425578B1 (ko) * 2017-08-08 2022-07-26 삼성전자주식회사 객체를 인식하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268158A (ja) * 2009-05-13 2010-11-25 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2016081075A (ja) * 2014-10-09 2016-05-16 花王株式会社 印象改善方法及び印象改善支援装置

Also Published As

Publication number Publication date
KR20210073986A (ko) 2021-06-21

Similar Documents

Publication Publication Date Title
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
Li et al. Learning to predict gaze in egocentric video
US8379937B1 (en) Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
JP4481663B2 (ja) 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US10109056B2 (en) Method for calibration free gaze tracking using low cost camera
US8462996B2 (en) Method and system for measuring human response to visual stimulus based on changes in facial expression
US20140270374A1 (en) Systems, Methods, and Software for Detecting an Object in an Image
MX2013002904A (es) Aparato de proceso de imagenes de personas y metodo para procesar imagenes de personas.
US20160086020A1 (en) Apparatus and method of user interaction
KR101510798B1 (ko) 휴대용 얼굴 표정 연습 장치와 그 방법.
JP2006293644A (ja) 情報処理装置、情報処理方法
JP6191943B2 (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
KR101265466B1 (ko) 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체
Huong et al. Static hand gesture recognition for vietnamese sign language (VSL) using principle components analysis
Li et al. Robust RGB-D face recognition using Kinect sensor
KR20160114996A (ko) 사용자 맞춤형 운동 서비스 제공 방법 및 장치
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
KR101817773B1 (ko) 깊이 영상 센싱 기반의 맞춤형 광고 제공 시스템
JP2015230616A (ja) 画像処理方法および画像処理装置
Prince et al. Towards face recognition at a distance
KR102267835B1 (ko) 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치
Tin Robust Algorithm for face detection in color images
CN115661903B (zh) 一种基于空间映射协同目标过滤的识图方法及装置
Gervasi et al. A method for predicting words by interpreting labial movements

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant