KR20120077485A - 표정 인식 기반 음원 제공 시스템 및 서비스 - Google Patents

표정 인식 기반 음원 제공 시스템 및 서비스 Download PDF

Info

Publication number
KR20120077485A
KR20120077485A KR1020100139449A KR20100139449A KR20120077485A KR 20120077485 A KR20120077485 A KR 20120077485A KR 1020100139449 A KR1020100139449 A KR 1020100139449A KR 20100139449 A KR20100139449 A KR 20100139449A KR 20120077485 A KR20120077485 A KR 20120077485A
Authority
KR
South Korea
Prior art keywords
user
sound source
facial expression
face
user terminal
Prior art date
Application number
KR1020100139449A
Other languages
English (en)
Other versions
KR101738580B1 (ko
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100139449A priority Critical patent/KR101738580B1/ko
Publication of KR20120077485A publication Critical patent/KR20120077485A/ko
Application granted granted Critical
Publication of KR101738580B1 publication Critical patent/KR101738580B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Processing (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

본 발명은 사용자의 얼굴에 나타난 표정을 인식하여 사용자의 감정 상태를 나타내는 표정 유형을 정확히 추출하는 기술 및 사용자의 표정 유형에 가장 적합한 디지털 음원을 추출하기 위해 디지털 음원을 표정 인식의 결과값에 적합하도록 추천하기 위한 템플릿(Template) 기술에 관한 것이다.
본 발명에 의하면, 얼굴 인식 기술을 이용한 표정 인식 기술을 이용하여 사용자의 표정 유형을 추출하고, 사용자의 표정 유형에 따른 감정 상태에 가장 적합한 디지털 음원을 추출하여 제공할 수 있다.

Description

표정 인식 기반 음원 제공 시스템 및 서비스{SYSTEM AND SERVICE FOR PROVIDING AUDIO SOURCE BASED ON FACIAL EXPRESSION RECOGNITION}
본 발명은 얼굴 인식 기술을 포함한 표정 인식 기술을 이용한 음원 제공 시스템 및 서비스 방법에 관한 것이다. 보다 구체적으로, 본 발명은 사용자의 얼굴에 나타난 표정을 인식하여 사용자의 감정 상태를 나타내는 표정 유형을 정확히 추출하는 기술 및 사용자의 표정 유형에 가장 적합한 디지털 음원을 추출하기 위해 디지털 음원을 표정 인식의 결과값에 적합하도록 추천하기 위한 템플릿(Template) 기술에 관한 것이다.
최근 영상 처리 기술의 발달로 획득한 이미지로부터 얼굴 인식을 수행하는 다양한 기술들이 연구되고 있다. 얼굴 인식은 생체 인식 중 하나로 이미지 중 얼굴 영상만을 검출하고 인식하는 기술이다. 생체 인식 분야 중 지문이나 홍채 인식은 특별한 영상 획득 장치가 필요하지만 얼굴 인식은 얼굴이 존재하는 일반적인 영상에서 인식이 가능하다는 장점이 있다. 이런 장점을 이용하면 얼굴 검출 및 인식 기술을 영상 분석 및 검색에 효과적으로 적용할 수 있다.
최근, 카메라 기술의 발달과 스마트 폰의 확산과 함께 얼굴 인식 기술을 활용한 다양한 프로그램이 상용화되고 있다. 또한, 얼굴 인식 기술의 발전에 따라 표정 인식 기술도 동시에 개발되고 있다. 특히, 얼굴 인식 기술을 이용한 표정 인식과 관련된 엔터테인먼트 산업은 사용자의 감정 상태를 검출하고 이에 기초하여 사용자에게 맞춤형 엔터테인먼트를 제공할 수 있다는 점에서 앞으로 널리 확산될 것으로 예측된다.
본 발명은 얼굴 인식 기술을 이용한 표정 인식 기술을 이용하여 사용자의 표정 유형을 추출하고, 사용자의 표정 유형에 따른 감정 상태에 가장 적합한 디지털 음원을 추출하여 제공하는 것을 목적으로 한다.
이를 위하여, 본 발명의 제1 측면에 따르면, 사용자의 얼굴 영상을 촬영 가능한 카메라부 및 음원 재생을 수행하는 음원 재생부를 포함한 사용자 단말; 상기 사용자 단말로부터 수신한 상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하는 표정 인식 장치; 및 상기 표정 인식 장치로부터 상기 사용자의 표정 유형을 수신하고, 상기 사용자의 표정 유형에 대응하는 하나 이상의 음원을 추출하고, 추출된 음원을 상기 사용자 단말에 제공하는 음원 제공 장치를 포함하는 표정 인식 기반 음원 제공 시스템이 제공된다.
본 발명의 제2 측면에 따르면, 사용자의 얼굴 영상을 촬영 가능한 카메라부; 상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 표정 인식부; 상기 표정 유형에 대응하는 결과값을 음원 제공 장치로 송신하고, 상기 음원 제공 장치로부터 음원을 수신하는 송수신부; 및 상기 음원을 재생하는 음원 재생부를 포함하는 사용자 단말이 제공된다.
본 발명의 제3 측면에 따르면, 사용자 단말로부터 수신한 얼굴 영상으로부터 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 표정 인식부; 및 상기 결과값에 기초하여 상기 사용자 단말에 제공할 음원을 결정하는 음원 제공부를 포함하는 음원 제공 장치가 제공된다.
본 발명의 제4 측면에 따르면, 사용자 단말이 얼굴 영상을 촬영하고 상기 얼굴 영상을 표정 인식 장치로 전송하는 단계; 상기 표정 인식 장치가 상기 얼굴 영상으로부터 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고, 상기 표정 유형과 관련된 결과값을 음원 제공 장치에 전송하는 단계; 상기 음원 제공 장치가 상기 결과값을 수신하고, 상기 결과값에 기초하여 하나 이상의 음원을 추출하고, 추출된 음원을 상기 사용자 단말에 전송하는 단계; 및 상기 사용자 단말이 상기 추출된 음원을 재생하는 단계를 포함하는 표정 인식 기반 음원 제공 서비스 방법이 제공된다.
본 발명의 제5 측면에 따르면, 사용자 단말에서 사용되는 표정 인식 기반 음원 제공 서비스 방법에 있어서, 사용자의 얼굴 영상을 촬영하는 단계; 상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하는 단계; 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 단계; 상기 표정 유형에 대응하는 결과값을 음원 제공 장치로 송신하는 단계; 상기 음원 제공 장치로부터 상기 표정 유형에 대응하는 음원을 수신하는 단계; 및 상기 음원을 재생하는 단계를 포함하는 표정 인식 기반 음원 제공 서비스 방법이 제공된다.
본 발명의 제6 측면에 따르면, 음원 제공 장치에서 사용되는 표정 인식 기반 음원 제공 서비스 방법에 있어서, 사용자 단말로부터 사용자의 얼굴 영상을 수신하는 단계; 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하는 단계; 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 단계; 상기 결과값에 기초하여 상기 사용자 단말에 제공할 음원을 결정하는 단계; 및 상기 음원을 상기 사용자 단말에게 전송하는 단계를 포함하는 표정 인식 기반 음원 제공 서비스 방법이 제공된다.
본 발명에 의하면, 얼굴 인식 기술을 이용한 표정 인식 기술을 이용하여 사용자의 표정 유형을 추출하고, 사용자의 표정 유형에 따른 감정 상태에 가장 적합한 디지털 음원을 추출하는 효과가 있다.
또한, 본 발명에 의하면, 사용자의 표정 인식을 통해 사용자의 감정 상태를 고려하여 사용자에게 실시간 맞춤형 음원 제공 서비스를 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 표정 인식 기반 음원 제공 시스템의 구성을 나타내는 개념도.
도 2는 본 발명의 일 실시예에 따른 표정 인식 장치의 구성을 나타내는 개념도.
도 3은 본 발명의 일 실시예에 따른 음원 제공 장치의 구성을 나타내는 개념도.
도 4a, 도 4b 및 도 4c는 본 발명의 다른 실시예에 따른 사용자 단말 및 음원 제공 장치의 구성을 나타내는 개념도.
도 5는 본 발명의 일 실시예에 따른 표정 인식 기반 음원 제공 서비스 방법을 설명하기 위한 흐름도.
도 6은 본 발명의 일 실시예에 따른 클라우드 컴퓨팅(cloud computing) 네트워크와 결합된 표정 인식 기반 음원 제공 시스템의 구성을 나타내는 개념도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 일 실시예에 따른 표정 인식 기반 음원 제공 시스템의 구성을 나타내는 개념도이다. 도 1을 참조하면, 표정 인식 기반 음원 제공 시스템은 사용자 단말(100), 표정 인식 장치(200) 및 음원 제공 장치(300)를 포함한다.
사용자 단말(100)은 예컨대, 스마트 폰을 포함하는 각종 이동 통신 단말기, PC, PDA, 디지털 카메라, 웹 캠, 고정 또는 이동 가입자 유닛 또는 유무선 환경에서 동작 가능한 다른 임의의 유형의 장치를 포함한다.
사용자 단말(100)은 얼굴 영상을 촬영하기 위한 카메라부(110)를 포함한다. 카메라부(110)는 사용자 단말(100)의 전면 및/또는 후면에 형성되어 사용자의 얼굴을 촬영할 수 있도록 구성된다. 카메라부(110)의 해상도 레벨은 얼굴 영상을 통해 표정을 인식할 만큼의 값을 가지면 충분하다.
사용자 단말(100)은 또한 음원 제공 장치(300)로부터 수신한 음원을 재생하기 위한 음원 재생부(120)를 포함한다. 본원에서 언급되는 음원은 MP3(MPEG Audio Layer-3) 음악 파일, WMA(Window Media Audio) 음악 파일, RA(Real Audio) 음악 파일, WAVE 음악 파일, OGG 음악 파일, FLAC 음악 파일, APE 음악 파일 등을 포함하며, 이들에 한정되지 않는다.
사용자 단말(100)은 얼굴 영상, 음악 파일 등의 각종 데이터를 송수신하기 위한 송수신부(130)를 포함한다. 사용자 단말(100)은 송수신부(130)를 통해 표정 인식 장치(200) 및 음원 제공 장치(300)와 데이터를 송수신할 수 있다.
표정 인식 장치(200)는 사용자 단말(100)에서 촬영된 얼굴 영상을 수신하고, 이 얼굴 영상으로부터 사용자의 얼굴을 검출하고 사용자의 표정 유형을 결정한다. 사용자의 표정 유형은 화남, 행복함, 놀람, 보통, 즐거움, 외로움, 아픔, 슬픔, 기쁨 등을 포함할 수 있으며, 검출된 사용자의 얼굴 표정에 의해 결정된다. 이와 같이 표정 인식 장치(200)로부터 결정된 사용자의 표정 유형은 음원 제공 장치(300)로 송신된다.
음원 제공 장치(300)는 수신된 사용자의 표정 유형에 기초하여 사용자에게 적합한 하나 이상의 음원을 추출하고, 추출된 음원을 사용자 단말(100)에 전송할 수 있다. 음원 제공 장치(300)는 수신된 사용자의 표정 유형에 대응하는 음원을 추출하여 음원 리스트를 생성하고 이를 사용자 단말(100)에 전송함으로써, 사용자의 감정 상태에 맞춤화된 음원을 제공할 수 있다.
사용자 단말(100)은 유무선 통신망(도시 생략됨)을 통해 표정 인식 장치(200) 및 음원 제공 장치(300)와 통신 가능하다. 사용자 단말(100), 표정 인식 장치(200) 및 음원 제공 장치(300)는 유선 인터넷망, 이동 통신망(CDMA, WCDMA, WiBro 등)을 통해 연결되는 무선 데이터망, 또는 근거리 통신을 통해 연결되는 인터넷망 등을 통해 연결될 수 있다. 또한 무선 접속 장치(AP, access point)에 접속 가능한 핫 스팟(Hot-Spot) 등의 지역에서는 블루투스, Wi-Fi 등의 근거리 통신을 통해 인터넷망에 접속될 수 있다.
여기서, 인터넷망은 TCP/IP 프로토콜 및 그 상위 계층에 존재하는 네트워크로서, HTTP(Hypertext Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name Server), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service) 및 NIS(Network Information Service) 등이 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 표정 인식 장치의 구성을 나타내는 개념도이다.
표정 인식 장치(200)는 사용자 단말(100)에서 촬영된 얼굴 영상(201)을 수신하여 표정 인식 동작을 수행한다. 예컨대, 얼굴 영상(201)은 사용자 단말(100)의 카메라부(110)를 이용해 촬영한 사용자의 얼굴이 포함된 사진일 수 있다. 도 2를 참조하면, 표정 인식 장치(200)는 동공 검출부(210), 영상 처리부(220) 및 표정 검출부(240)를 포함한다.
표정 인식을 위해서는 우선적으로 얼굴 영역이 검출되어야 한다. 사용자의 얼굴 영역을 검출하기 위해서 동공 인식을 통해서 얼굴 영역을 검출할 수 있다. 동공 인식 이후에 얼굴의 윤곽 및 특징 정보를 검출하여 얼굴의 영역을 검출할 수 있다.
동공 검출부(210)는 사용자의 얼굴 영상(201)으로부터 동공을 검출한다. 얼굴 검출시 조명의 변화, 사진의 훼손, 영상의 움직임, 동공의 부정확성으로 인해 얼굴 검출이 안 되는 경우가 발생하기 때문에, 얼굴 영상(201)으로부터 동공을 정밀하게 검출해내는 것이 중요하다. 눈 감음 등의 조건에서 정확히 눈의 위치를 추적하기 위해서 다중 블록 매칭(MMF: Multi-block Matching) 기법을 이용할 수 있다. 다중 블록 매칭(MMF)은 정규화된 템플릿 매칭(Normalized Template Matching) 기법의 응용된 모델로서 검출하고자 하는 대상 패턴의 다양한 데이터베이스(DB)를 수집하고, 수집한 데이터베이스 중 대표 영상을 만든 다음 이미지 기반 템플릿 매칭(Image based Template Matching)을 수행하는 방법이다. 다중 블록 매칭(MMF)을 이용하여 동공 이미지에 대한 다양한 사이즈와 조명, 회전 등을 미리 계산하여 템플릿으로 보유하고, 이 템플릿을 이용하여 얼굴 영역과 템플릿 매칭을 수행함으로써 동공의 위치를 검출한다.
구체적으로, 다중 블록 매칭(MMF) 기법을 이용하여 선정된 복수 개의 눈 후보를 이용하여 가상의 얼굴 영상을 생성하고 그 중에 실제 얼굴이 들어 있는 후보를 선택해 나갈 수 있다. 이때, 후보를 선택하는 과정에서 사용되는 분류기(classifier)는 대규모 얼굴 DB를 대상으로 K-평균 클러스터링(K-Mean Clustering) 방식을 사용하므로 저해상도 고속 동공 검출이 가능하다. 전술한 방법을 통해 동공 검출부(210)는 사용자의 얼굴 검출을 위해 동공 검출을 정밀하게 수행할 수 있다.
영상 처리부(220)는 동공 검출부(210)의 동공 검출 결과에 기초하여 사용자의 얼굴의 특징점을 검출하고 표정 인자 값을 생성한다. 표정 인자 값은 눈, 코, 입의 크기, 폭, 색상과 관련된 데이터일 수 있다. 예컨대, 표정 인자 값은 눈의 움직임, 코의 사이즈 변화, 입의 크기 및 위치 변화, 볼 주변, 눈 주변, 눈썹의 위치, 색상의 변화(예컨대, 이빨의 색깔 변화, 코수염의 변화, 얼굴 이외의 손과 같은 다른 부분의 변화)와 관련되어 정의된 값일 수 있다.
일 실시예로, 얼굴의 특징을 인식하기 위해서 칼라(color)를 이용해서 특징 요소를 추출하고 얼마만큼 유사한지를 판단해서 검색 결과를 출력할 수 있다. 구체적으로는 칼라 영상의 분류를 위하여 기존의 N x M-grams를 변형한 컬러(Color) N x M-grams을 이용하여 영상 고유의 정보를 추출한 후, 유사성을 측정하여 영상을 분류하고 검색할 수 있다. 예컨대, 인간의 시각적 인지와 비슷하고, RGB 칼라 모델보다 더 좋은 검색 결과를 나타내는 HIS 칼라 모델을 사용하여 영상의 특징을 추출할 수 있다. 입력 영상의 RGB 칼라 모델로 구성된 좌표 값을 HIS 칼라 모델의 색상(Hue) 값을 이용하기 위하여, 영상을 HIS 칼라 모델의 색상(Hue) 값으로 변환한다. 변화된 영상의 각 화소에 해당하는 색상 값을 3개의 영역으로 나눠서 0도에서 360도까지의 각도로 표현하며, 0도는 빨간색, 120도는 녹색, 240도는 파란색의 순수 색으로 나타낸 후, 빨간색, 녹색, 파란색 각각에 해당되는 각도를 중심으로 상하 60도씩 범위를 넓히면 색상(Hue) 값은 120도 만큼의 세 개의 영역으로 분리될 수 있다. 그리고, 분리된 각각의 영역을 그룹화하여 영상의 각 화소들을 0, 1, 2로 구성된 삼진수의 값으로 표현하고, 그룹화한 값인 0, 1, 2로 표기된 영상에 N x M 크기의 윈도우를 적용하여 해당하는 화소의 값을 나열하면 N x M개의 열을 가지는 벡터로 컬러(Color) N x M-grams가 생성된다. 이와 같이, 컬러 기반으로 한 유사도 측정은 일반적으로 영상의 칼라 히스토그램에 대하여 유클리디언 거리(Euclidean distance)나 히스토그램 인터섹션(Histogram intersection)과 같은 방법을 사용할 수 있다. 예컨대, 히스토그램 인터섹션인 S를 사용하여 두 영상 Q와 I 사이의 유사도를 아래 수학식 1을 이용하여 계산할 수 있다.
Figure pat00001
(수학식 1)
여기서, t(j,I)는 I 영상에서 컬러(Color) N x M-grams 벡터 j의 총 빈도수를 나타내고, min(t(j,Q), t(j,I ))는 영상 Q와 영상 I 중에서 Color N x M-grams의 벡터 j의 발생 빈도가 적은 영상의 빈도수를 나타낸다. 또한, T는 컬러(Color) N x M-grams의 전체 수를 나타낸다. 이와 같이 계산된 컬러(Color) N x M-grams 벡터 교차점인 S(A,B)의 범위는 0에서 1 사이가 된다. 만일, Q영상과 I 영상이 동일하다면 유사도가 1이 되고, 전혀 다른 영상이라면 유사도가 0이 된다.
표정 인식 템플릿 테이블(230)은 미리 결정된 복수의 표정 유형 각각의 특징 정보에 기반한 표정 인자 값을 저장한다. 전술한 바와 같이, 표정 인자 값은 눈, 코, 입의 크기, 폭, 색상과 관련된 데이터일 수 있다. 예컨대, 각각의 표정 유형에 따라 눈의 움직임, 코의 사이즈 변화, 입의 크기 및 위치 변화, 볼 주변, 눈 주변, 눈썹의 위치, 색상의 변화, 그 밖의 손과 같은 다른 요소의 움직임과 관련된 값들이 표정 인식 템플릿 테이블(230)에 미리 정의되어 저장될 수 있다.
표정 인식 템플릿 테이블(230)에 미리 결정된 표정 유형은 예컨대 도 2에 도시된 화남(251), 행복함(252), 놀람(253), 보통(254) 등과 같은 다양한 얼굴 표정 유형을 포함할 수 있으며, 이들에 한정되지 않는다. 예컨대, 미리 결정된 표정 유형은 즐거움, 외로움, 아픔, 슬픔, 기쁨 등의 표정 유형을 더 포함할 수 있으며, 표정 인식 템플릿 테이블(230)은 이들 표정 유형 각각의 특징 정보에 기반한 표정 인자 값을 저장할 수 있다.
표정 검출부(240)는 영상 처리부(220)에서 획득한 표정 인자 값을 표정 인식 템플릿 테이블(230)에 적용 및 비교하여 미리 결정된 복수의 표정 유형 중 매칭되는 표정 유형을 결정할 수 있다. 표정 검출부(240)는 사용자의 얼굴의 좌우 각각에 매칭되는 표정 유형을 개별적으로 측정할 수도 있다. 이 경우, 표정 유형의 매칭 정도가 얼굴 좌우 각각에 대해 퍼센트(%)로 표시될 수 있다. 표정 검출부(240)에서 검출된 사용자의 표정 유형에 따라 화남(251), 행복함(252), 놀람(253), 보통(254), 즐거움, 외로움, 아픔, 슬픔, 기쁨 등과 같은 표정 인식 결과값(250)이 도출되고, 이 표정 인식 결과값(250)은 음원 제공 장치(300)로 전송된다.
도 3은 본 발명의 일 실시예에 따른 음원 제공 장치의 구성을 나타내는 개념도이다. 도 3을 참조하면, 음원 제공 장치(300)는 음원 제공부(310), 음원 템플릿 테이블(320) 및 음원 저장부(330)를 포함한다.
음원 제공부(310)는 표정 인식 장치(200)에서 결정된 표정 인식 결과값(250)에 기초하여 음원 템플릿 테이블(320)을 검색하여 사용자 단말(100)에 제공할 음원을 결정한다.
음원 저장부(330)는 복수의 음원을 저장하고 있으며, 음원 템플릿 테이블(320)은 저장된 음원 각각에 대응하는 표정 유형을 저장한다. 또한, 음원 템플릿 테이블(320)은 음원 저장부(330)에 저장된 음원 각각에 대응하는 사용자 추천값, 최근 파일 재생수, 최근 파일 재생일에 대한 정보를 저장할 수 있다.
음원 제공부(310)는 음원 템플릿 테이블(320)을 검색하여 사용자의 표정 유형, 사용자 추천값, 최근 파일 재생수, 최근 파일 재생일 등을 고려하여 사용자에게 제공할 음원을 선택하고 음원 재생 리스트(340)를 생성할 수 있다. 사용자 추천값은 다른 사용자의 입력값에 기초하여 정해질 수 있으며, 서비스 제공자 측 또는 사용자 측에 의해서 조절될 수 있다. 예컨대, 사용자의 표정 인식을 통해 사용자의 표정 유형이 놀람으로 결정된 경우, 음원 제공부(310)는 놀람의 표정 유형에 대응하는 음원을 선택할 수 있으며, 표정 유형 외에도 사용자 추천값, 최근 파일 재생수, 최근 파일 재생일 등을 고려하여 사용자에게 최적의 음원 재생 리스트를 제공할 수 있다.
도 4a 및 도 4b는 본 발명의 다른 실시예에 따른 사용자 단말 및 음원 제공 장치의 구성을 도시한다.
도 4a를 참조하면, 전술한 표정 인식 장치(200)가 사용자 단말 영역 내에 포함되어, 사용자 단말(100) 내의 표정 인식부(140)로 구성될 수 있다. 이 경우, 사용자 단말(100) 내에서 얼굴 촬영 및 표정 인식이 이루어지고, 표정 인식의 결과값이 음원 제공 장치(300)로 전송된다.
도 4b를 참조하면, 전술한 표정 인식 장치(200)가 음원 제공 장치(300)와 함께 서버 영역 내에 포함되어, 음원 제공 장치(300) 내의 표정 인식부(350)로 구성될 수 있다. 이 경우, 사용자 단말(100) 내에서 얼굴 촬영 및 얼굴 영상 전송이 이루어지고, 음원 제공 장치(300) 내에서 표정 인식이 이루어진다.
도 4c를 참조하면, 전술한 표정 인식 장치(200)가 사용자 단말 영역 내에 포함되어, 사용자 단말(100) 내의 표정 인식부(140)로 구성됨과 동시에, 전술한 표정 인식 장치(200)가 음원 제공 장치(300)와 함께 서버 영역 내에 포함되어 음원 제공 장치(300) 내의 표정 인식부(350)로 구성될 수 있다.
이 경우, 사용자 단말(100) 및 음원 제공 장치(300) 양 쪽에서 표정 인식이 이루어질 수 있다. 즉, 사용자 단말 영역 및 서버 영역 양 측에서 동시에 표정 인식이 일어날 수 있어, 양 측에서 획득한 표정 인식 결과 값들을 통합하여 표정 인식에 대한 신뢰성을 높이는 효과를 얻을 수 있다. 또한, 예컨대 사용자 단말(100)의 자원(resource) 부족 등의 이유로 인해 사용자 단말(100)의 표정 인식부(140)에서 정확한 표정 인식의 처리가 불가능한 경우 음원 제공 장치(300)의 자원을 활용하여 음원 제공 장치(300)의 표정 인식부(350)에서 정확한 표정 인식을 처리할 수 있다.
도 5는 본 발명의 일 실시예에 따른 표정 인식 기반 음원 제공 서비스 방법을 설명하기 위한 흐름도이다.
먼저, 사용자 단말(100)이 얼굴 영상(201)을 촬영하고 얼굴 영상(201)을 표정 인식 장치(200)로 전송한다(S501).
다음으로, 표정 인식 장치(200)가 수신한 얼굴 영상(201)으로부터 사용자의 얼굴을 검출하고 사용자의 표정 유형을 결정한다(S502). 여기서, 얼굴 검출 및 표정 유형을 결정할 때, 얼굴 영상으로부터 얼굴 검출을 위해 사용자의 동공을 검출하는 단계, 사용자의 동공 검출에 기초하여 사용자의 얼굴의 특징점을 검출하고 표정 인자 값을 생성하는 단계 및 표정 인자 값에 기초하여 미리 결정된 복수의 표정 유형 중 매칭되는 표정 유형을 결정하는 단계를 수행할 수 있다.
다음으로, 표정 인식 장치(200)는 표정 유형과 관련된 표정 인식 결과값을 음원 제공 장치(300)에 전송한다(S503).
다음으로, 음원 제공 장치(300)가 표정 인식 결과값을 수신하고, 이 표정 인식 결과값에 기초하여 하나 이상의 음원을 추출한다(S504). 여기서, 음원 제공 장치(300)는 저장된 음원 각각에 대응하는 표정 유형 값뿐만 아니라, 사용자 추천값, 최근 파일 재생수, 최근 파일 재생일을 고려할 수 있다.
다음으로, 음원 제공 장치(300)는 추출된 음원을 사용자 단말(100)에 유무선 통신망을 통해 전송한다(S505).
다음으로, 사용자 단말(100)은 추출된 음원을 수신하여 재생한다(S506).
표정 인식 장치(200)가 사용자 단말(100) 내 또는 음원 제공 장치(300) 내에 존재하는 경우 전술한 표정 인식 장치(200)의 동작은 사용자 단말(100) 또는 음원 제공 장치(300) 내의 표정 인식부(140)에 의해 동일하게 수행될 수 있다.
한편, 전술한 바와 같은 사용자 단말(100) 또는 표정 인식 장치(200)에서 수행되는 방법은 이 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체의 형태로 구성될 수 있다. 또한, 전술한 바와 같은 사용자 단말(100)에서 사용되는 결제 방법을 수행하는 프로그램은 사용자 단말(100) 내에서 애플리케이션 프로그램의 형태로 저장될 수 있다.
도 6은 본 발명의 일 실시예에 따른 클라우드 컴퓨팅(cloud computing) 네트워크와 결합된 표정 인식 기반 음원 제공 시스템의 구성을 나타내는 개념도이다.
도 6을 참조하면, 사용자 단말(100), 표정 인식 장치(200) 및 음원 제공 장치(300)가 클라우드 컴퓨팅 네트워크(cloud computing network)(400)와 결합된다.
도 6에 도시된 표정 인식 기반 음원 제공 시스템에 의하면, 사용자 단말(100) 또는 표정 인식 장치(200)에서 수행하였던 표정 인식 처리와 관련된 하드웨어 및 소프트웨어의 컴퓨팅 자원(resource)을 클라우드 컴퓨팅 네트워크(400) 상의 서버에 저장할 수 있다. 사용자 단말(100) 또는 표정 인식 장치(200)로부터 해당 서비스의 요청이 있으면 사용자 단말(100) 또는 표정 인식 장치(200)가 클라우드 컴퓨팅 네트워크(400) 상의 서버에 접속하여 해당 서비스를 제공받는 클라우드 컴퓨팅 형태로 구현될 수 있다.
또한, 이와 유사한 방식으로 음원 제공 장치(300)도 음원 DB 구축, 음원 추출 및 음원 제공 등과 같은 음원 처리와 관련된 하드웨어 및 소프트웨어의 컴퓨팅 자원을 클라우드 컴퓨팅 네트워크(400) 상의 서버에 저장함으로써 클라우드 컴퓨팅 형태로 구현될 수 있다.
이와 같은 경우, 사용자 단말(100), 표정 인식 장치(200) 및 음원 제공 장치(300)는 클라우드 컴퓨팅 네트워크(400) 상의 서버에 저장된 하드웨어 및 소프트웨어 등의 컴퓨팅 자원을 자신이 필요한 만큼 빌려 쓰고 이에 대한 사용 요금을 지급함으로써 컴퓨터 시스템을 유지, 보수 및 관리하기 위하여 들어가는 비용과 서버의 구매 및 설치 비용, 업데이트 비용, 소프트웨어 구매 비용 등 엄청난 비용과 시간 및 인력을 줄일 수 있고, 에너지 절감에도 기여할 수 있다.
도 6에는 표정 인식 장치(200)가 별개의 장치로 도시되어 있으나, 도 4a 내지 도 4c에 도시된 바와 같이, 표정 인식 장치(200)가 사용자 단말 영역 내에 포함되어 사용자 단말(100) 내의 표정 인식부(140)로 구성되거나, 표정 인식 장치(200)가 음원 제공 장치(300)와 함께 서버 영역 내에 포함되어 음원 제공 장치(300) 내의 표정 인식부(350)로 구성될 수 있다.
본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
본 발명은 얼굴 인식 기술을 이용한 표정 인식과 관련된 엔터테인먼트 산업 분야에서 널리 사용될 수 있다. 본 발명에 의하면 사용자의 표정 인식을 통해 사용자의 감정 상태를 고려하여 사용자에게 실시간 맞춤형 음원 제공 서비스를 제공할 수 있다.
100: 사용자 단말
110: 카메라부
120: 음원 재생부
130: 송수신부
140: 표정 인식부
200: 표정 인식 장치
210: 동공 검출부
220: 영상 처리부
230: 표정 검출부
300: 음원 제공 장치
310: 음원 제공부
320: 음원 템플릿 테이블
330: 음원 저장부
350: 표정 인식부
400: 클라우드 컴퓨팅 네트워크

Claims (19)

  1. 사용자의 얼굴 영상을 촬영 가능한 카메라부 및 음원 재생을 수행하는 음원 재생부를 포함한 사용자 단말;
    상기 사용자 단말로부터 수신한 상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하는 표정 인식 장치; 및
    상기 표정 인식 장치로부터 상기 사용자의 표정 유형을 수신하고, 상기 사용자의 표정 유형에 대응하는 하나 이상의 음원을 추출하고, 추출된 음원을 상기 사용자 단말에 제공하는 음원 제공 장치
    를 포함하는 표정 인식 기반 음원 제공 시스템.
  2. 제1항에 있어서, 상기 사용자 단말, 상기 표정 인식 장치 및 상기 음원 제공 장치 중 적어도 하나는 클라우드 컴퓨팅 네트워크와 결합되는 것을 특징으로 하는 표정 인식 기반 음원 제공 시스템.
  3. 사용자의 얼굴 영상을 촬영 가능한 카메라부;
    상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 표정 인식부;
    상기 표정 유형에 대응하는 결과값을 음원 제공 장치로 송신하고, 상기 음원 제공 장치로부터 음원을 수신하는 송수신부; 및
    상기 음원을 재생하는 음원 재생부
    를 포함하는 사용자 단말.
  4. 제3항에 있어서, 상기 표정 인식부는,
    상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하기 위해 상기 사용자의 동공을 검출하는 동공 검출부;
    상기 사용자의 동공 검출에 기초하여 상기 사용자의 얼굴의 특징점을 검출하고 상기 사용자의 표정 인자 값을 생성하는 영상 처리부;
    미리 결정된 복수의 표정 유형 각각의 표정 인자 값을 저장하는 표정 인식 템플릿 테이블; 및
    상기 사용자의 표정 인자 값과 상기 표정 인식 템플릿 테이블과의 비교에 기초하여 상기 미리 결정된 복수의 표정 유형 중 매칭되는 표정 유형을 결정하는 표정 검출부
    를 포함하는 것을 특징으로 하는 사용자 단말.
  5. 제4항에 있어서, 상기 표정 인자 값은 눈, 코, 입 각각의 크기, 폭 및 색상과 관련된 것을 특징으로 하는 사용자 단말.
  6. 제4항에 있어서, 상기 표정 검출부는 상기 표정 인자 값에 기초하여 상기 사용자의 얼굴의 좌우 각각에 매칭되는 표정 유형을 개별적으로 측정하는 것을 특징으로 하는 사용자 단말.
  7. 제4항에 있어서, 상기 미리 결정된 복수의 표정 유형은 화남, 행복함, 놀람, 보통, 즐거움, 외로움, 아픔, 슬픔 및 기쁨 중 적어도 하나의 표정을 포함하는 것을 특징으로 하는 사용자 단말.
  8. 사용자 단말로부터 수신한 얼굴 영상으로부터 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 표정 인식부; 및
    상기 결과값에 기초하여 상기 사용자 단말에 제공할 음원을 결정하는 음원 제공부
    를 포함하는 음원 제공 장치.
  9. 제8항에 있어서,
    복수의 음원을 저장하는 음원 저장부; 및
    상기 복수의 음원 각각에 대응하는 표정 유형을 저장하는 음원 템플릿 테이블
    을 더 포함하는 것을 특징으로 하는 음원 제공 장치.
  10. 제9항에 있어서, 상기 음원 템플릿 테이블은 상기 복수의 음원 각각에 대응하는 사용자 추천값, 최근 파일 재생수, 최근 파일 재생일을 더 저장하는 것을 특징으로 하는 음원 제공 장치.
  11. 제8항에 있어서, 상기 표정 인식부는,
    상기 얼굴 영상으로부터 얼굴을 검출하기 위해 상기 사용자의 동공을 검출하는 동공 검출부;
    상기 사용자의 동공 검출에 기초하여 상기 사용자의 얼굴의 특징점을 검출하고 상기 사용자의 표정 인자 값을 생성하는 영상 처리부;
    미리 결정된 복수의 표정 유형 각각의 표정 인자 값을 저장하는 표정 인식 템플릿 테이블; 및
    상기 사용자의 표정 인자 값과 상기 표정 인식 템플릿 테이블과의 비교에 기초하여 상기 미리 결정된 복수의 표정 유형 중 매칭되는 표정 유형을 결정하는 표정 검출부
    를 포함하는 것을 특징으로 하는 음원 제공 장치.
  12. 제11항에 있어서, 상기 미리 결정된 복수의 표정 유형은 화남, 행복함, 놀람, 보통, 즐거움, 외로움, 아픔, 슬픔 및 기쁨 중 적어도 하나의 표정을 포함하는 것을 특징으로 하는 음원 제공 장치.
  13. 사용자의 얼굴 영상을 촬영 가능한 카메라부와, 상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 제1 표정 인식부를 포함하는 사용자 단말; 및
    상기 사용자 단말로부터 수신한 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고 상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 제2 표정 인식부와, 상기 제1 표정 인식부의 결과값 및 상기 제2 표정 인식부의 결과값 중 적어도 하나에 기초하여 상기 사용자 단말에 제공할 음원을 결정하는 음원 제공부를 포함하는 음원 제공 장치
    를 포함하는 표정 인식 기반 음원 제공 시스템.
  14. 사용자 단말이 얼굴 영상을 촬영하고 상기 얼굴 영상을 표정 인식 장치로 전송하는 단계;
    상기 표정 인식 장치가 상기 얼굴 영상으로부터 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하고, 상기 표정 유형과 관련된 결과값을 음원 제공 장치에 전송하는 단계;
    상기 음원 제공 장치가 상기 결과값을 수신하고, 상기 결과값에 기초하여 하나 이상의 음원을 추출하고, 추출된 음원을 상기 사용자 단말에 전송하는 단계; 및
    상기 사용자 단말이 상기 추출된 음원을 재생하는 단계
    를 포함하는 표정 인식 기반 음원 제공 서비스 방법.
  15. 사용자 단말에서 사용되는 표정 인식 기반 음원 제공 서비스 방법에 있어서,
    사용자의 얼굴 영상을 촬영하는 단계;
    상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하는 단계;
    상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 단계;
    상기 표정 유형에 대응하는 결과값을 음원 제공 장치로 송신하는 단계;
    상기 음원 제공 장치로부터 상기 표정 유형에 대응하는 음원을 수신하는 단계; 및
    상기 음원을 재생하는 단계
    를 포함하는 표정 인식 기반 음원 제공 서비스 방법.
  16. 제15항에 있어서, 상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하는 단계는,
    상기 얼굴 영상으로부터 상기 사용자의 얼굴을 검출하기 위해 상기 사용자의 동공을 검출하는 단계;
    상기 사용자의 동공 검출에 기초하여 상기 사용자의 얼굴의 특징점을 검출하고 표정 인자 값을 생성하는 단계; 및
    상기 표정 인자 값에 기초하여 미리 결정된 복수의 표정 유형 중 매칭되는 표정 유형을 결정하는 단계
    를 포함하는 것을 특징으로 하는 표정 인식 기반 음원 제공 서비스 방법.
  17. 음원 제공 장치에서 사용되는 표정 인식 기반 음원 제공 서비스 방법에 있어서,
    사용자 단말로부터 사용자의 얼굴 영상을 수신하는 단계;
    상기 사용자의 얼굴을 검출하고 상기 사용자의 표정 유형을 결정하는 단계;
    상기 사용자의 표정 유형에 대응하는 결과값을 생성하는 단계;
    상기 결과값에 기초하여 상기 사용자 단말에 제공할 음원을 결정하는 단계; 및
    상기 음원을 상기 사용자 단말에게 전송하는 단계
    를 포함하는 표정 인식 기반 음원 제공 서비스 방법.
  18. 제17항에 있어서,
    상기 사용자 단말에 제공할 음원을 결정하는 단계는,
    상기 음원 제공 장치에 저장된 복수의 음원 각각에 대응하는 사용자 추천값, 최근 파일 재생수, 최근 파일 재생일 중 적어도 하나를 고려하여 음원을 결정하는 것을 특징으로 하는 표정 인식 기반 음원 제공 서비스 방법.
  19. 제14항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020100139449A 2010-12-30 2010-12-30 표정 인식 기반 음원 제공 시스템 및 서비스 KR101738580B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100139449A KR101738580B1 (ko) 2010-12-30 2010-12-30 표정 인식 기반 음원 제공 시스템 및 서비스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100139449A KR101738580B1 (ko) 2010-12-30 2010-12-30 표정 인식 기반 음원 제공 시스템 및 서비스

Publications (2)

Publication Number Publication Date
KR20120077485A true KR20120077485A (ko) 2012-07-10
KR101738580B1 KR101738580B1 (ko) 2017-06-08

Family

ID=46710961

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100139449A KR101738580B1 (ko) 2010-12-30 2010-12-30 표정 인식 기반 음원 제공 시스템 및 서비스

Country Status (1)

Country Link
KR (1) KR101738580B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150117372A (ko) * 2014-04-09 2015-10-20 주식회사 도브투래빗 다중 디지털 교감 시스템 및 방법
KR101878155B1 (ko) * 2017-12-19 2018-07-13 허수범 휴대 단말기의 제어방법
WO2019015522A1 (zh) * 2017-07-18 2019-01-24 腾讯科技（深圳）有限公司 表情图片生成方法、装置、电子设备及存储介质
US10885317B2 (en) 2018-01-08 2021-01-05 Samsung Electronics Co., Ltd. Apparatuses and methods for recognizing object and facial expression robust against change in facial expression, and apparatuses and methods for training

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202188A (ja) * 2005-01-24 2006-08-03 Oki Electric Ind Co Ltd 画像合成装置およびそのパターン確認方法
JP4738203B2 (ja) * 2006-02-20 2011-08-03 学校法人同志社 画像から音楽を生成する音楽生成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150117372A (ko) * 2014-04-09 2015-10-20 주식회사 도브투래빗 다중 디지털 교감 시스템 및 방법
WO2019015522A1 (zh) * 2017-07-18 2019-01-24 腾讯科技（深圳）有限公司 表情图片生成方法、装置、电子设备及存储介质
KR101878155B1 (ko) * 2017-12-19 2018-07-13 허수범 휴대 단말기의 제어방법
US10885317B2 (en) 2018-01-08 2021-01-05 Samsung Electronics Co., Ltd. Apparatuses and methods for recognizing object and facial expression robust against change in facial expression, and apparatuses and methods for training

Also Published As

Publication number Publication date
KR101738580B1 (ko) 2017-06-08

Similar Documents

Publication Publication Date Title
US10900772B2 (en) Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
CN106203242B (zh) 一种相似图像识别方法及设备
US9076069B2 (en) Registering metadata apparatus
US20070098303A1 (en) Determining a particular person from a collection
CN111062871A (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
EP3410258B1 (en) Method for pushing picture, mobile terminal and storage medium
CN109891189A (zh) 策划的摄影测量
JP6969663B2 (ja) ユーザの撮影装置を識別する装置及び方法
JP2010009425A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
TW201222288A (en) Image retrieving system and method and computer program product thereof
JP6046393B2 (ja) 情報処理装置、情報処理システム、情報処理方法および記録媒体
GB2569833A (en) Shape-based graphics search
US11222208B2 (en) Portrait image evaluation based on aesthetics
CN105072478A (zh) 一种基于可穿戴设备的人生记录系统及其方法
KR101738580B1 (ko) 표정 인식 기반 음원 제공 시스템 및 서비스
US11163822B2 (en) Emotional experience metadata on recorded images
KR102594093B1 (ko) 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법
US9547669B2 (en) Performing a visual search using a rectified image
US8526673B2 (en) Apparatus, system and method for recognizing objects in images using transmitted dictionary data
CN104978389B (zh) 方法、系统、服务器和客户端
CN109376581B (zh) 对象关系识别方法和装置、存储介质及电子装置
JP2018045517A (ja) 付与装置、付与方法および付与プログラム
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
Tubbs et al. Facial expression analysis as a means for additional biometric security in recognition systems

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant