KR102055262B1 - Method and Apparatus for Composing Database for Recognizing Face within Video Contents - Google Patents

Method and Apparatus for Composing Database for Recognizing Face within Video Contents Download PDF

Info

Publication number
KR102055262B1
KR102055262B1 KR1020170091881A KR20170091881A KR102055262B1 KR 102055262 B1 KR102055262 B1 KR 102055262B1 KR 1020170091881 A KR1020170091881 A KR 1020170091881A KR 20170091881 A KR20170091881 A KR 20170091881A KR 102055262 B1 KR102055262 B1 KR 102055262B1
Authority
KR
South Korea
Prior art keywords
person
image
face
information
feature information
Prior art date
Application number
KR1020170091881A
Other languages
Korean (ko)
Other versions
KR20190009917A (en
Inventor
김용성
허준희
박병관
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170091881A priority Critical patent/KR102055262B1/en
Publication of KR20190009917A publication Critical patent/KR20190009917A/en
Application granted granted Critical
Publication of KR102055262B1 publication Critical patent/KR102055262B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법 및 그를 위한 장치를 개시한다.
영상 컨텐츠의 영상 어노테이션(Annotation) 서비스를 제공하기 위하여 출연진 및 등장인물의 얼굴 이미지에서 특징정보를 추출하고, 특징정보에 대한 유사도를 기반으로 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법 및 그를 위한 장치에 관한 것이다.A method of configuring a database for face recognition in image content and an apparatus therefor are disclosed.
In order to provide a video annotation service of image content, feature information is extracted from face images of cast members and characters, and a method for constructing a database for face recognition in image content based on the similarity of feature information, and apparatus therefor. It is about.

Description

영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법 및 그를 위한 장치{Method and Apparatus for Composing Database for Recognizing Face within Video Contents}Method for constructing database for face recognition in image content and apparatus therefor {Method and Apparatus for Composing Database for Recognizing Face within Video Contents}

본 실시예는 영상 컨텐츠 내에서 등장인물의 얼굴을 정확히 인식하기 위한 데이터베이스 구성 방법 및 그를 위한 장치에 관한 것이다. The present embodiment relates to a method of configuring a database and an apparatus therefor for accurately recognizing a face of a character in image content.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute a prior art.

영상 어노테이션(Annotation) 시스템은 출연진의 얼굴을 인식하여 출연진 이름, 출연진 별 출연영화 정보 등의 메타 정보를 사용자에게 제공하는 시스템이다. An image annotation system is a system that recognizes a face of a cast member and provides meta information such as cast name name, cast movie information for each cast to the user.

종래의 영상 컨텐츠 내에서 얼굴 인식하는 시스템은 출연진의 얼굴 이미지를 인식하여 얼굴 인식정보를 데이터베이스 내 저장하고, 데이터 베이스 내 얼굴 인식 정보와 영상 컨텐츠 내 등장하는 등장인물의 얼굴을 비교하여 동일인인지를 판단한다. 이때, 출연진의 얼굴 인식정보를 저장하고 있는 데이터베이스는 인터넷 혹은 영화 DB(예: IMDB 등)로부터 수집한 출연진의 얼굴 이미지를 기반으로 얼굴 인식정보를 저장한다. 이와 같이, 인터넷 혹은 영화 DB로부터 수집한 출연진의 얼굴 인식정보가 데이터베이스 내에 저장되는 경우, 영상 컨텐츠에 등장하는 등장인물의 얼굴 이미지와 데이터베이스에 저장되어 있는 출연진의 얼굴 이미지의 유사도가 많이 떨어져 정확한 얼굴인식이 이루어지지 않는다. 예를 들면, 인터넷 혹은 영화 DB로부터 수집한 출연진의 얼굴 인식정보가 시간이 오래 경과된 정보이거나 영상 컨텐츠의 등장인물이 분장을 하는 경우, 영상 컨텐츠 내 등장인물의 얼굴과 데이터베이스에 저장된 얼굴이 다르기 때문에 얼굴인식이 실패하거나 얼굴인식의 정확도가 현저히 떨어지는 문제가 발생한다.The conventional system for face recognition in image content recognizes a face image of a cast member to store face recognition information in a database, and determines whether the face is the same by comparing the face recognition information in the database with the face of the character appearing in the image content. do. In this case, the database storing the face recognition information of the cast member stores the face recognition information based on the face image of the cast member collected from the Internet or movie DB (eg IMDB). As described above, when face recognition information of a cast member collected from the Internet or a movie DB is stored in a database, the face recognition of the cast character in the image content and the face image of the cast member stored in the database are very similar to each other. This is not done. For example, if the face recognition information of a cast member collected from the Internet or a movie DB is time-lapsed or if the characters of the video content are dressed up, the faces of the characters in the video content and the faces stored in the database are different. There is a problem that face recognition fails or the accuracy of face recognition is significantly reduced.

본 실시예는 영상 컨텐츠의 영상 어노테이션(Annotation) 서비스를 제공하기 위하여 출연진 및 등장인물의 얼굴 이미지에서 특징정보를 추출하고, 특징정보에 대한 유사도를 기반으로 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.The present embodiment extracts feature information from face images of cast members and characters in order to provide a video annotation service of the image content, and a method of constructing a database for face recognition in the image content based on the similarity of the feature information; The main purpose is to provide a device for him.

본 실시예의 일 측면에 의하면, 얼굴 인식장치에서 영상 어노테이션(Annotation) 서비스를 제공하기 위한 데이터베이스 구성 방법에 있어서, 영상 컨텐츠의 출연자 각각에 대한 인물 프로필 정보를 획득하는 과정; 상기 인물 프로필 정보에 포함된 각 출연자의 프로필 얼굴 이미지에서 특징정보를 추출하고, 각 출연자의 상기 특징정보를 인물 프로필 DB에 저장하는 과정; 상기 영상 컨텐츠의 영상 내에서 등장인물 각각의 화면 얼굴 이미지를 추출하고, 상기 화면 얼굴 이미지의 특징정보를 추출하는 과정; 상기 화면 얼굴 이미지의 특징정보를 상기 인물 프로필 DB에 저장된 특징정보와 비교하여 유사도를 판단하는 과정; 및 상기 유사도가 기 설정된 기준치 이상인 상기 화면 얼굴 이미지의 특징정보를 인물 매칭 DB에 저장하는 과정을 포함하는 것을 특징으로 하는 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법을 제공한다.According to an aspect of the present embodiment, a method for constructing a database for providing an image annotation service in a face recognition apparatus, the method comprising: obtaining person profile information for each performer of image content; Extracting feature information from each performer's profile face image included in the person profile information and storing the feature information of each performer in a person profile DB; Extracting screen face images of each character in the image of the image content and extracting feature information of the screen face image; Determining similarity by comparing feature information of the screen face image with feature information stored in the person profile DB; And storing feature information of the screen face image whose similarity is equal to or greater than a predetermined reference value in a person matching DB.

또한, 본 실시예의 다른 측면에 의하면, 영상 어노테이션(Annotation) 서비스를 제공하기 위한 데이터베이스를 구성하는 장치에 있어서, 영상 컨텐츠 및 상기 영상 컨텐츠의 각 등장인물에 대한 인물 프로필 정보를 획득하는 통신부; 상기 인물 프로필 정보에 포함된 각 출연자의 프로필 얼굴 이미지에서 특징정보를 추출하는 제1 특징정보 추출부; 상기 인물 프로필 정보에서 추출된 특징정보를 저장하는 인물 프로필 DB; 상기 영상 컨텐츠의 영상 내에서 등장인물 각각의 화면 얼굴 이미지를 추출하고, 상기 얼굴 이미지의 특징정보를 추출하는 제2 특징정보 추출부; 상기 화면 얼굴 이미지의 특징정보를 상기 인물 프로필 DB에 저장된 특징정보와 비교하여 유사도를 판단하는 특징정보 비교부; 및 상기 유사도가 기 설정된 기준치 이상인 상기 화면 얼굴 이미지의 특징정보를 저장하는 인물 매칭 DB를 포함하는 것을 특징으로 하는 영상 어노테이션 서비스를 위한 얼굴 인식장치를 제공한다.According to another aspect of the present embodiment, an apparatus for constructing a database for providing an image annotation service, the apparatus comprising: a communication unit for obtaining image content and person profile information for each character of the image content; A first feature information extraction unit for extracting feature information from each performer's profile face image included in the person profile information; A person profile DB for storing feature information extracted from the person profile information; A second feature information extracting unit extracting screen face images of each of the characters in the image of the image content and extracting feature information of the face image; A feature information comparison unit to determine similarity by comparing feature information of the screen face image with feature information stored in the person profile DB; And a person matching DB storing the feature information of the screen face image having the similarity equal to or more than a preset reference value.

이상에서 설명한 바와 같이 본 실시예에 의하면, 영상 컨텐츠에 특화된 출연진 및 등장인물의 얼굴에 대한 정보를 추가적인 데이터베이스로 구성함으로써, 영상 컨텐츠 내 출연진의 시간적인 얼굴 변형 혹은 영상 컨텐츠 내 캐릭터 특화 얼굴 변장(분장)에 대해서도 강인한 얼굴인식 결과를 제공할 수 있는 효과가 있다. As described above, according to the present embodiment, by configuring additional information on the cast and character faces specific to the video content, the temporal face transformation of the cast in the video content or the character-specific face disguise in the video content (dressing) ) Can also provide strong face recognition results.

또한, 영상 컨텐츠 내에서 등장인물의 얼굴이 지속적으로 바뀌더라도 영상 컨텐츠 특화 얼굴 매칭 데이터베이스를 통해 해당 출연진의 얼굴을 인식할 수 있는 효과가 있다. In addition, even if the face of the character continuously changes in the video content, there is an effect that can recognize the face of the cast through the video content-specific face matching database.

도 1은 본 실시예에 따른 영상 어노테이션 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 얼굴 인식 장치를 개략적으로 나타낸 블록 구성도이다.
도 3a 및 도 3b는 본 실시예에 따른 영상 어노테이션 시스템에서 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 얼굴 인식 장치에서 얼굴 인식을 위한 데이터베이스를 구성하는 방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 얼굴 인식을 위한 데이터베이스에 저장되는 데이터를 설명하기 위한 예시도이다. 1 is a block diagram schematically illustrating an image annotation system according to an exemplary embodiment.
2 is a block diagram schematically illustrating a face recognition apparatus according to an exemplary embodiment.
3A and 3B are flowcharts illustrating a method of configuring a database for face recognition in image content in the image annotation system according to the present embodiment.
4 is a flowchart illustrating a method of configuring a database for face recognition in the face recognition apparatus according to the present embodiment.
5 is an exemplary diagram for describing data stored in a database for face recognition according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 영상 어노테이션(Annotation) 시스템을 개략적으로 나타낸 블록 구성도이다. 1 is a block diagram schematically illustrating an image annotation system according to an exemplary embodiment.

본 실시예에 따른 영상 어노테이션 시스템(100)은 인물정보 제공서버(110), 컨텐츠 제공장치(120), 얼굴 인식장치(130) 및 사용자 단말기(140)를 포함한다.The video annotation system 100 according to the present exemplary embodiment includes a person information providing server 110, a content providing device 120, a face recognition device 130, and a user terminal 140.

영상 어노테이션 시스템(100)은 영상 컨텐츠에 대한 다양한 정보를 인식하여 영상 컨텐츠에 대한 부가적인 정보를 사용자에게 전송하는 영상 어노테이션 서비스를 제공한다. 영상 컨텐츠에 출연하는 출연진에 대한 정보를 제공하는 것은 영상 어노테이션 서비스의 중요한 기능이며, 본 실시예에서는 영상 컨텐츠의 출연진에 대한 정보를 제공하기 위한 데이터베이스를 구성하는 방안을 위주로 설명하도록 한다. The video annotation system 100 provides a video annotation service for recognizing various information about the image content and transmitting additional information about the image content to the user. Providing information about the cast in the video content is an important function of the video annotation service. In this embodiment, a method of configuring a database for providing information on the cast of the video content will be described.

인물정보 제공서버(110)는 영상 컨텐츠에 대한 인물 프로필 정보를 제공하는 장치를 의미한다. 여기서, 인물 프로필 정보는 영상 컨텐츠의 출연진 각각에 대한 프로필 정보를 의미한다. 인물 프로필 정보는 프로필 이미지, 인물정보(예: 출생, 신체, 가족, 학력, 데뷔 등), 작품활동 정보 등을 포함할 수 있다. The person information providing server 110 refers to a device that provides person profile information on image content. Here, the person profile information means profile information for each cast member of the image content. The person profile information may include profile images, person information (eg, birth, body, family, education, debut, etc.), work activity information, and the like.

인물정보 제공서버(110)는 영상 컨텐츠에 대한 인물 프로필 정보를 저장하고 있는 서버(영화 또는 영상 관련 DB)일 수 있으나 반드시 이에 한정되는 것은 아니며, 인터넷 또는 네트워크를 통해 인물 프로필 정보를 획득할 수 있는 포털 사이트(예: 네*버, *음, 구*, 등), 영상/영화/출연자 관련 사이트(예: 영화진*원, 연예인 협회, 영화 협회 등)일 수 있다. The person information providing server 110 may be a server (movie or image related DB) that stores person profile information on image content, but is not necessarily limited thereto, and may obtain person profile information through the Internet or a network. Portal sites (e.g., Never, Guum, Gu, etc.), and sites related to video / movie / performers (e.g. cinema * 1, celebrity associations, movie associations, etc.).

컨텐츠 제공장치(120)는 영상 컨텐츠를 얼굴 인식장치(130) 및 사용자 단말기(140)에 제공하는 장치를 의미한다. 여기서, 영상 컨텐츠는 VOD(Video On Demand) 컨텐츠인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 사용자 단말기(140)의 요청에 따라 제공 가능한 다양한 형태의 컨텐츠일 수 있다.The content providing device 120 refers to a device that provides image content to the face recognition device 130 and the user terminal 140. Here, the video content is preferably video on demand (VOD) content, but is not necessarily limited thereto, and may be various types of content that can be provided according to a request of the user terminal 140.

컨텐츠 제공장치(120)는 영상 어노테이션 서비스를 제공하기 위해 얼굴 인식장치(130)로 영상 컨텐츠를 전달한다. 컨텐츠 제공장치(120)는 얼굴 인식장치(130)로부터 수신된 요청신호에 해당하는 영상 컨텐츠를 얼굴 인식장치(130)로 전달할 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 컨텐츠 제공장치(120)는 신규 영상 컨텐츠를 기 설정된 주기마다 얼굴 인식장치(130)로 전달하거나 인기, 조회수, 평점 등에 따른 순위 리스트에 포함된 영상 컨텐츠를 얼굴 인식장치(130)로 전달할 수 있다. The content providing device 120 delivers the image content to the face recognition device 130 to provide an image annotation service. The content providing device 120 may transmit the image content corresponding to the request signal received from the face recognition device 130 to the face recognition device 130, but is not necessarily limited thereto. For example, the content providing device 120 delivers the new image content to the face recognition device 130 at predetermined intervals or transfers the image content included in the ranking list according to popularity, views, ratings, etc. to the face recognition device 130. I can deliver it.

또한, 컨텐츠 제공장치(120)는 사용자 단말기(140)의 요청신호에 해당하는 영상 컨텐츠를 사용자 단말기(140)로 전달하여 출력되도록 한다. In addition, the content providing device 120 transmits the image content corresponding to the request signal of the user terminal 140 to the user terminal 140 to be output.

컨텐츠 제공장치(120)는 스마트 TV, 스마트 패드, 휴대용 단말기 등의 단말기에 VOD 서비스를 제공하는 장치일 수 있으며, 일반 방송국, IPTV 방송국, 케이블 TV, 유*브 등에서 사용되는 장치 또는 서버로 구현될 수 있다. The content providing device 120 may be a device that provides a VOD service to a terminal such as a smart TV, a smart pad, or a portable terminal, and may be implemented as a device or a server used in a general broadcasting station, an IPTV broadcasting station, a cable TV, a YouTube, and the like. Can be.

얼굴 인식장치(130)는 영상 컨텐츠에 대한 영상 어노테이션 서비스를 제공하는 장치를 의미한다. 여기서, 영상 어노테이션 서비스는 영상 컨텐츠에 대한 다양한 정보 중 사용자의 요청에 해당하는 부가적인 정보를 사용자에게 제공하는 기능을 의미한다. 얼굴 인식장치(130)는 영상 어노테이션 서비스를 제공하기 위해 얼굴 인식 및 데이터베이스를 구성하는 동작을 수행한다. The face recognition apparatus 130 refers to a device that provides an image annotation service for image content. Here, the video annotation service refers to a function of providing the user with additional information corresponding to the user's request among various information about the image content. The face recognition apparatus 130 performs an operation of configuring a face recognition and a database to provide an image annotation service.

얼굴 인식장치(130)는 인물 프로필 정보에서 프로필 얼굴 이미지를 인식하고, 프로필 얼굴 이미지에 대한 특징정보를 저장하는 인물 프로필 DB를 우선적으로 구성한다. The face recognition apparatus 130 recognizes a profile face image from the person profile information and preferentially configures a person profile DB that stores feature information about the profile face image.

얼굴 인식장치(130)는 영상 컨텐츠의 영상 내에서 등장인물의 얼굴 이미지를 인식하고, 얼굴 이미지에서 추출한 특징정보와 인물 프로필 DB에 저장된 특징정보를 비교하여 유사도를 판단한 후 유사도가 기 설정된 기준치 이상인 등장인물의 특징정보를 추출하여 저장하는 인물 매칭 DB를 구성한다. The face recognition apparatus 130 recognizes the face image of the character in the image of the image content, compares the feature information extracted from the face image with the feature information stored in the person profile DB, determines the similarity, and the similarity is greater than or equal to the preset reference value. Construct a person matching DB that extracts and saves feature information about people.

얼굴 인식장치(130)는 영상 컨텐츠의 영상 내에서 등장인물의 얼굴 이미지를 인식하는 동작을 반복하고, 인물 프로필 DB 및 인물 매칭 DB를 이용하여 영상 컨텐츠의 등장인물에 대한 특징정보를 추가할 수 있다. The face recognition apparatus 130 may repeat the operation of recognizing the face image of the character in the image of the image content, and add feature information about the character of the image content using the person profile DB and the person matching DB. .

얼굴 인식장치(130)는 영상 컨텐츠의 등장인물 각각에 대한 특징정보를 기반으로 등장인물별 인물 메타정보를 생성한다. 얼굴 인식장치(130)는 사용자 단말기(140)로부터 특정인물에 대한 요청신호가 수신되면, 필터링을 통해 특징인물에 해당하는 인물 메타정보를 추출하고, 특정인물에 대한 영상 어노테이션 서비스를 제공한다. The face recognition apparatus 130 generates person meta information for each character based on feature information about each character of the image content. When a request signal for a specific person is received from the user terminal 140, the face recognition apparatus 130 extracts person meta information corresponding to the feature person through filtering, and provides an image annotation service for the specific person.

도 1에서 얼굴 인식장치(130)는 컨텐츠 제공장치(120)와 별도의 장치인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 컨텐츠 제공장치(120)와 결합된 하나의 장치로 구현될 수 있다. 예를 들어, 얼굴 인식장치(130)는 얼굴 인식모듈, 어노테이션 처리모듈 등과 같은 형태로 컨텐츠 제공장치(120)에 포함될 수 있다. In FIG. 1, the face recognition apparatus 130 is described as being a separate device from the content providing apparatus 120, but is not necessarily limited thereto, and may be implemented as one device combined with the content providing apparatus 120. For example, the face recognition apparatus 130 may be included in the content providing apparatus 120 in the form of a face recognition module, an annotation processing module, or the like.

사용자 단말기(140)는 영상 컨텐츠를 획득하고, 영상 컨텐츠를 출력할 수 있는 장치를 의미한다. 사용자 단말기(140)는 스마트폰, 이동통신 단말기, 스마트 패드 등과 같은 휴대용 단말기일 수 있으며, 스마트 tv, 노트북, 데스크탑, 셋탑박스, vod 전용 단말기 등과 같은 영상 출력 단말기일 수 있다. The user terminal 140 refers to a device capable of acquiring image content and outputting image content. The user terminal 140 may be a portable terminal such as a smart phone, a mobile communication terminal, a smart pad, or the like, and may be an image output terminal such as a smart tv, a laptop, a desktop, a set top box, a vod dedicated terminal, or the like.

사용자 단말기(140)는 영상 컨텐츠의 메뉴 또는 영상 컨텐츠가 출력되는 화면 상에서 특정인물을 선택하여 영상 어노테이션 서비스에 대한 요청신호를 얼굴 인식장치(130)로 전송할 수 있다. 이러한 요청신호는 마우스, 리모콘, 화면 터치 등을 이용하여 입력될 수 있다. The user terminal 140 may select a specific person on a menu of the image content or a screen on which the image content is output and transmit a request signal for the image annotation service to the face recognition apparatus 130. The request signal may be input using a mouse, a remote controller, a screen touch, or the like.

도 2는 본 실시예에 따른 얼굴 인식 장치를 개략적으로 나타낸 블록 구성도이다.2 is a block diagram schematically illustrating a face recognition apparatus according to an exemplary embodiment.

본 실시예에 따른 얼굴 인식장치(130)는 통신부(210), 제어부(220) 및 통합 DB(230)를 포함한다. 제어부(220)는 제1 특징정보 추출부(222), 제2 특징정보 추출부(224), 특징정보 비교부(226), 통합 DB 필터링부(228) 및 인식결과 처리부(229)를 포함하고, 통합 DB(230)는 인물 프로필 DB(232), 인물 매칭 DB(234) 및 인물 메타정보 DB(236)를 포함한다. 도 2에 도시된 얼굴 인식장치(130)는 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 얼굴 인식장치(130)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. The face recognition apparatus 130 according to the present exemplary embodiment includes a communication unit 210, a controller 220, and an integrated DB 230. The controller 220 includes a first feature information extractor 222, a second feature information extractor 224, a feature information comparer 226, an integrated DB filter 228, and a recognition result processor 229. The integrated DB 230 includes a person profile DB 232, a person matching DB 234, and a person meta information DB 236. The face recognition apparatus 130 shown in FIG. 2 is according to an exemplary embodiment. Not all blocks shown in FIG. 2 are essential components, and in another embodiment, some blocks included in the face recognition apparatus 130 are added. , Can be changed or deleted.

통신부(210)는 인물정보 제공서버(110), 컨텐츠 제공장치(120) 및 사용자 단말기(140)와 연동하여 각종 데이터를 송수신하는 동작을 수행한다. The communication unit 210 performs an operation of transmitting and receiving various data in cooperation with the person information providing server 110, the content providing device 120, and the user terminal 140.

통신부(210)는 인물정보 제공서버(110)로부터 영상 컨텐츠의 출연자 각각에 대한 인물 프로필 정보를 획득한다. 여기서, 인물 프로필 정보는 프로필 이미지, 인물정보(예: 출생, 신체, 가족, 학력, 데뷔 등), 작품활동 정보 등을 포함한다. 한편, 통신부(210)는 인물정보 제공서버(110)로부터 영상 컨텐츠를 획득하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 인터넷 또는 네트워크를 통해 인물 프로필 정보를 획득할 수 있는 포털 사이트(예: 네*버, *음, 구*, 등), 영상/영화/출연자 관련 사이트(예: 영화진*원, 연예인 협회, 영화 협회 등)일 수 있다. The communication unit 210 obtains person profile information for each performer of the image content from the person information providing server 110. Here, the person profile information includes a profile image, person information (eg, birth, body, family, education, debut, etc.), work activity information, and the like. On the other hand, the communication unit 210 is described as obtaining the image content from the person information providing server 110, but is not necessarily limited to this, a portal site that can obtain person profile information through the Internet or a network (for example, yes Burrs, notes, phrases, etc.), and video / movie / performer-related sites (e.g. movie stars * won, celebrity associations, movie associations, etc.).

통신부(210)는 컨텐츠 제공장치(120)로부터 영상 컨텐츠를 획득한다. 여기서, 영상 컨텐츠는 VOD(Video On Demand)인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 사용자 단말기(140)의 요청에 따라 제공 가능한 다양한 형태의 컨텐츠일 수 있다. The communication unit 210 obtains image content from the content providing device 120. Here, the video content is preferably Video On Demand (VOD), but is not necessarily limited thereto, and may be various types of content that can be provided according to a request of the user terminal 140.

통신부(210)는 사용자 단말기(140)로부터 영상 어노테이션 서비스의 요청신호를 수신한다. 얼굴 인식장치(130)는 요청신호에 따른 인식결과를 도출하여 영상 어노테이션 서비스를 제공한다.The communication unit 210 receives a request signal of the video annotation service from the user terminal 140. The face recognition apparatus 130 derives the recognition result according to the request signal and provides an image annotation service.

통신부(210)는 무선랜(WIFI), UWB(Ultra Wideband), 무선 주파수(Radio Frequency), 이동통신 기지국 등을 이용하여 각종 데이터를 송수신할 수 있으나 반드시 이에 한정되는 것은 아니다. The communication unit 210 may transmit / receive various data by using a wireless LAN (WIFI), an ultra wideband (UWB), a radio frequency, a mobile communication base station, etc., but is not limited thereto.

제어부(220)는 통합 DB(230)를 구성하고, 영상 어노테이션 서비스를 제공하기 위한 영상 인식장치(130)의 전반적인 동작을 제어한다. The controller 220 configures the integrated DB 230 and controls the overall operation of the image recognition device 130 to provide an image annotation service.

제1 특징정보 추출부(222)는 인물 프로필 정보를 이용하여 각 출연자의 얼굴에 대한 특징정보를 추출하고, 각 출연자의 특징정보를 인물 프로필 DB(232)에 저장되도록 한다. The first feature information extractor 222 extracts feature information about each performer's face using person profile information and stores the feature information of each performer in the person profile DB 232.

구체적으로, 제1 특징정보 추출부(222)는 인물 프로필 정보에 포함된 프로필 사진 내에서 출연자의 얼굴 이미지를 인식(검출)하고, 얼굴 이미지를 정렬한 후 각각의 얼굴 이미지에 대한 특징정보를 추출한다. 여기서, 특징정보를 추출하는 기법은 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis) 등과 같은 기법일 수 있으나 반드시 이에 한정되는 것은 아니며, 다양한 얼굴 인식 기법이 적용될 수 있다. 여기서, 특징정보는 얼굴 이미지의 얼굴 영역의 화소값을 이용하여 추출된 정보일 수 있으며, Gabor 필터, LBP(Local binary pattern) 등과 같은 특징 추출용 필터를 이용하여 추출된 정보일 수도 있다. Specifically, the first feature information extractor 222 recognizes (detects) the face image of the performer within the profile picture included in the person profile information, arranges the face images, and extracts feature information about each face image. do. Here, the technique of extracting the feature information may be a technique such as PCA (Principal Component Analysis), LDA (Linear Discriminant Analysis), but is not necessarily limited thereto, and various face recognition techniques may be applied. Here, the feature information may be information extracted using pixel values of a face region of the face image, or may be information extracted using a feature extraction filter such as a Gabor filter or a local binary pattern (LBP).

제2 특징정보 추출부(224)는 영상 컨텐츠의 영상 내에서 등장인물 각각의 얼굴에 대한 특징정보를 추출한다. 다시 말해, 제2 특징정보 추출부(224)는 영상 컨텐츠의 영상 내에서 등장인물의 화면 얼굴 이미지를 인식(검출)하고, 화면 얼굴 이미지에 대한 특징정보를 추출한다. 여기서, 특징정보를 추출하는 기법은 PCA, LDA 등과 같은 기법일 수 있으나 반드시 이에 한정되는 것은 아니며, 다양한 얼굴 인식 기법이 적용될 수 있다. 여기서, 특징정보는 화면 얼굴 이미지의 얼굴 영역의 화소값을 이용하여 추출된 정보일 수 있으며, Gabor 필터, LBP 등과 같은 특징 추출용 필터를 이용하여 추출된 정보일 수도 있다. The second feature information extractor 224 extracts feature information about each face of the character in the image of the image content. In other words, the second feature information extractor 224 recognizes (detects) the screen face image of the character in the image of the image content and extracts feature information on the screen face image. Here, the technique of extracting the feature information may be a technique such as PCA, LDA, etc., but is not necessarily limited thereto, and various face recognition techniques may be applied. Here, the feature information may be information extracted using pixel values of a face region of the screen face image, or may be information extracted using a feature extraction filter such as a Gabor filter or an LBP.

특징정보 비교부(226)는 화면 얼굴 이미지의 특징정보를 인물 프로필 DB(232)에 저장된 특징정보와 비교하여 유사도를 판단한다. 특징정보 비교부(226)는 화면 얼굴 이미지의 특징정보와 인물 프로필 DB(232)에 저장된 특징정보 간의 유사도가 기 설정된 기준치 이상이면, 화면 얼굴 이미지의 특징정보를 추출하여 인물 매칭 DB(234)에 저장되도록 한다. The feature information comparison unit 226 compares feature information of the screen face image with feature information stored in the person profile DB 232 to determine similarity. If the similarity between the feature information of the screen face image and the feature information stored in the person profile DB 232 is greater than or equal to a preset reference value, the feature information comparison unit 226 extracts the feature information of the screen face image to the person matching DB 234. To be stored.

특징정보 비교부(226)는 인물 매칭 DB(234)에 저장할 화면 얼굴 이미지의 특징정보가 추출된 경우, 유사한 것으로 판단된 등장인물에 대한 인물 메타정보를 생성하여 인물 메타정보 DB(236)에 저장되도록 한다. 여기서, 인물 메타정보는 인물 매칭 DB(234)에 저장된 특징정보에 대한 등장인물 정보를 의미하며, 등장인물의 출연자 프로필 정보, 특징정보에 대한 영상 프레임 정보(프레임 식별정보) 등을 포함할 수 있다. 인물 메타정보는 등장인물에 대한 실제 데이터일 수 있으나 반드시 이에 한정되는 것은 아니며, 인물 프로필 DB(232) 또는 인물 매칭 DB(234)에서 해당 등장인물에 대한 정보를 빠르게 추출하기 위한 식별정보일 수 있다. When the feature information of the screen face image to be stored in the person matching DB 234 is extracted, the feature information comparator 226 generates person metadata for the characters determined to be similar and stores the person metadata in the person meta information DB 236. Be sure to Here, the person meta information refers to character information on the feature information stored in the person matching DB 234, and may include performer profile information of the character and image frame information (frame identification information) on the feature information. . Person meta information may be actual data about the character, but is not necessarily limited thereto, and may be identification information for quickly extracting information about the character from the person profile DB 232 or the person matching DB 234. .

특징정보 비교부(226)는 인물 매칭 DB(234)를 구성한 후 영상 어노테이션의 얼굴 인식률을 높이기 위해 인물 매칭 DB(234)의 특징정보를 추가로 구성할 수 있다. The feature information comparison unit 226 may further configure feature information of the person matching DB 234 in order to increase the face recognition rate of the image annotation after configuring the person matching DB 234.

구체적으로, 특징정보 비교부(226)는 기 저장된 영상 컨텐츠를 이용하거나 동일한 영상 컨텐츠를 재수신하고, 영상 컨텐츠 내에서 인물 매칭 DB(234)에 기 저장된 특징정보에 해당하는 얼굴을 제외한 나머지 얼굴들에 대한 특징정보와 인물 프로필 DB(232) 및 인물 매칭 DB(234)에 기 저장된 특징정보를 비교하여 유사도를 판단한다. 특징정보 비교부(226)는 기 설정된 기준치 이상의 유사도를 갖는 특징정보를 추출하여 인물 매칭 DB(234)에 추가로 저장되도록 한다. In detail, the feature information comparison unit 226 uses previously stored image content or re-receives the same image content, and displays the remaining faces except for the face corresponding to the feature information previously stored in the person matching DB 234 in the image content. The similarity is determined by comparing the feature information with respect to the feature profile DB 232 and the feature information previously stored in the person matching DB 234. The feature information comparison unit 226 extracts feature information having a similarity level higher than or equal to a preset reference value and is further stored in the person matching DB 234.

특징정보 비교부(226)는 영상 컨텐츠의 영상 내에서 전체 얼굴 이미지 개수 중 인물 매칭 DB에 저장되지 않은 얼굴 이미지의 개수가 기 설정된 기준 개수 이하가 될 때까지 얼굴 이미지를 재추출하는 동작을 반복한다. The feature information comparison unit 226 repeats the re-extracting of the face image until the number of face images not stored in the person matching DB among the total number of face images in the image of the image content is equal to or less than the preset reference number. .

통합 DB 필터링부(228)는 사용자 단말기(140)로부터 특정인물에 대한 요청신호가 수신되면, 통합 DB(230) 내에서 특정인물에 해당하는 인물 메타정보가 존재하는지 여부를 필터링하여 인식결과를 생성한다. When the integrated DB filtering unit 228 receives a request signal for a specific person from the user terminal 140, the integrated DB filtering unit 228 filters whether the person meta information corresponding to the specific person exists in the integrated DB 230 and generates a recognition result. do.

인식결과 처리부(229)는 요청신호에 대한 인식결과를 영상 어노테이션 서비스를 통해 사용자 단말기(140)로 제공한다. 여기서, 인식결과는 인물 메타정보를 포함하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 인물 메타정보에 해당하는 등장인물의 관련 정보를 추가로 포함할 수 있다. The recognition result processor 229 provides the recognition result of the request signal to the user terminal 140 through the video annotation service. Here, the recognition result may preferably include person meta information, but is not necessarily limited thereto, and may further include related information of a character corresponding to the person meta information.

통합 DB(230)는 영상 어노테이션 서비스를 제공하기 위한 데이터베이스를 의미한다. 통합 DB(230)는 영상 컨텐츠의 출연진에 대한 인물 프로필 정보 기반의 특징정보를 저장하는 인물 프로필 DB(232)를 포함하고, 영상 컨텐츠의 영상 내에서 등장인물의 얼굴 이미지 중 인물 프로필 DB(232)에 저장된 특징정보와 기준치 이상의 유사도를 갖는 특징정보를 저장하는 인물 매칭 DB(234)를 포함한다. 또한, 통합 DB(230)는 특정 인물에 대한 영상 어노테이션 서비스를 제공하기 위한 인물 메타정보를 저장하는 인물 메타정보 DB(236)를 포함한다. The integrated DB 230 refers to a database for providing a video annotation service. The integrated DB 230 includes a person profile DB 232 for storing feature information based on person profile information for the cast of the video content, and the person profile DB 232 among the face images of the characters in the video of the video content. And a person matching DB 234 for storing the feature information stored in the feature information having similarity or more than a reference value. In addition, the integrated DB 230 includes a person meta information DB 236 for storing person meta information for providing a video annotation service for a specific person.

통합 DB(230)에 포함된 인물 프로필 DB(232), 인물 매칭 DB(234) 및 인물 메타정보 DB(236) 각각은 영상 컨텐츠의 등장인물, 출연진 등에 관련된 정보를 저장하는 데이터베이스로 구현될 수 있으며, 데이터베이스 관리 프로그램(DBMS)을 이용하여 컴퓨터 시스템의 저장공간(하드디스크 또는 메모리)에 구현된 일반적인 데이터 구조를 의미하는 것으로, 데이터의 검색(추출), 삭제, 편집, 추가 등을 자유롭게 행할 수 있는 데이터 저장형태를 의미하며, 오라클(Oracle), 인포믹스(Infomix), 사이베이스(Sybase), DB2와 같은 관계형 데이타베이스 관리 시스템(RDBMS)이나, 겜스톤(Gemston), 오리온(Orion), O2 등과 같은 객체 지향 데이타베이스 관리 시스템(OODBMS) 및 엑셀론(Excelon), 타미노(Tamino), 세카이주(Sekaiju) 등의 XML 전용 데이터베이스(XML Native Database)를 이용하여 본 발명의 일 실시예의 목적에 맞게 구현될 수 있다.Each of the person profile DB 232, the person matching DB 234, and the person meta information DB 236 included in the integrated DB 230 may be implemented as a database that stores information related to characters, cast members, and the like of the video content. It refers to a general data structure implemented in a storage space (hard disk or memory) of a computer system using a database management program (DBMS), and can freely search (extract) data, delete data, edit data, and add data. It refers to a data storage type, such as relational database management system (RDBMS) such as Oracle, Infomix, Sybase, DB2, Gemston, Orion, O2, etc. An embodiment of the present invention using an object-oriented database management system (OODBMS) and an XML Native Database such as Excelon, Tamino, Sekaiju, etc. It can be implemented according to the purpose of.

도 3a 및 도 3b는 본 실시예에 따른 영상 어노테이션 시스템에서 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법을 설명하기 위한 순서도이다.3A and 3B are flowcharts illustrating a method of configuring a database for face recognition in image content in the image annotation system according to the present embodiment.

얼굴 인식장치(130)는 인물정보 제공서버(110)로 영상 컨텐츠의 출연진에 대한 인물 프로필 정보를 요청하고(S310), 인물정보 제공서버(110)로부터 영상 컨텐츠에 해당하는 인물 프로필 정보를 획득한다(S312). 인물정보 제공서버(110)는 영상 컨텐츠에 대한 인물 프로필 정보를 저장하고 있는 서버(영화 또는 영상 관련 DB)일 수 있으나 반드시 이에 한정되는 것은 아니며, 인터넷 또는 네트워크를 통해 인물 프로필 정보를 획득할 수 있는 포털 사이트(예: 네*버, *음, 구*, 등), 영상/영화/출연자 관련 사이트(예: 영화진*원, 연예인 협회, 영화 협회 등)일 수 있다. The face recognition apparatus 130 requests the person profile information for the cast of the image content to the person information providing server 110 (S310), and obtains the person profile information corresponding to the image content from the person information providing server 110. (S312). The person information providing server 110 may be a server (movie or image related DB) that stores person profile information on image content, but is not necessarily limited thereto, and may obtain person profile information through the Internet or a network. Portal sites (e.g., Never, Guum, Gu, etc.), and sites related to video / movie / performers (e.g. cinema * 1, celebrity associations, movie associations, etc.).

얼굴 인식장치(130)는 인물 프로필 정보로부터 출연자 각각에 대한 특징정보를 추출하고, 추출된 특징정보를 인물 프로필 DB(232)에 저장한다(S320). 컨텐츠 제공장치(120)는 영상 컨텐츠를 얼굴 인식장치(130)로 전달한다(S322). The face recognition apparatus 130 extracts feature information about each performer from the person profile information, and stores the extracted feature information in the person profile DB 232 (S320). The content providing device 120 transmits the image content to the face recognition device 130 (S322).

얼굴 인식장치(130)는 영상 컨텐츠 내 각 인물의 얼굴을 검출하여 등장인물에 대한 특징정보를 추출한다(S330).The face recognition apparatus 130 detects a face of each person in the image content and extracts feature information about the character (S330).

얼굴 인식장치(130)는 추출한 특징정보와 단계 S320에서 인물 프로필 DB(232)에 저장된 특징정보를 비교하여 유사도를 판단한다(S332). 얼굴 인식장치(130)는 기 설정된 기준치 이상의 유사도를 갖는 특징정보를 인물 매칭 DB(234)에 저장한다(S340).The face recognition apparatus 130 determines similarity by comparing the extracted feature information with the feature information stored in the person profile DB 232 in step S320 (S332). The face recognition apparatus 130 stores the feature information having a similarity level over a preset reference value in the person matching DB 234 (S340).

컨텐츠 제공장치(120)는 영상 컨텐츠를 얼굴 인식장치(130)로 재전달한다(S350). 만약, 얼굴 인식장치(130)에서 기 수신된 영상 컨텐츠를 이용하는 경우 단계 S322는 생략될 수 있다. The content providing device 120 re-delivers the image content to the face recognition device 130 (S350). If the face recognition apparatus 130 uses previously received image content, step S322 may be omitted.

얼굴 인식장치(130)는 영상 컨텐츠의 영상 내에서 추가 얼굴 이미지를 재추출하고(S360), 추가 얼굴 이미지에서 특징정보를 추출한다(S362). 여기서, 추가 얼굴 이미지는 인물 매칭 DB(234)에 저장된 얼굴 이미지를 제외한 나머지 얼굴 이미지를 의미한다. The face recognition apparatus 130 re-extracts the additional face image in the image of the image content (S360), and extracts feature information from the additional face image (S362). Here, the additional face image means a face image other than the face image stored in the person matching DB 234.

얼굴 인식장치(130)는 추가 얼굴 이미지에서 추출한 특징정보와 인물 프로필 DB(232) 및 인물 매칭 DB(234)에 저장된 특징정보를 비교하여 유사도를 판단한다(S370). 얼굴 인식장치(130)는 기 설정된 기준치 이상의 유사도를 갖는 특징정보를 인물 매칭 DB(234)에 추가로 저장한다(S372).The face recognition apparatus 130 compares the feature information extracted from the additional face image with the feature information stored in the person profile DB 232 and the person matching DB 234 to determine similarity (S370). The face recognition apparatus 130 additionally stores the feature information having a similarity level equal to or greater than a preset reference value in the person matching DB 234 (S372).

한편, 단계 S350 내지 단계 S372는 얼굴 인식장치(130)에서 영상 컨텐츠에 대한 얼굴 인식률을 높이기 위해 인물 매칭 DB(234)의 데이터를 추가하는 과정에 해당하므로 관리자의 설정에 따라 생략되거나 간소화될 수 있다. Meanwhile, steps S350 to S372 correspond to a process of adding the data of the person matching DB 234 to increase the face recognition rate for the image content in the face recognition apparatus 130, and thus may be omitted or simplified according to the administrator's setting. .

얼굴 인식장치(130)는 기 설정된 기준치 이상의 유사도를 갖는 특징정보를 이용하여 인물 메타정보를 생성 및 저장한다(S380). 얼굴 인식장치(130)는 기준치 이상의 유사도를 갖는 특징정보를 갖는 등장인물의 출연진에 대한 인물 메타정보를 생성하며, 인물 메타정보는 등장인물의 출연자 프로필 정보, 특징정보에 대한 영상 프레임 정보(프레임 식별정보) 등을 포함할 수 있다. The face recognition apparatus 130 generates and stores person meta information using feature information having a similarity level equal to or greater than a predetermined reference value (S380). The face recognition apparatus 130 generates person meta information of a cast member of a character having feature information having a similarity level higher than a reference value, and the person meta information includes caster profile information of the character and image frame information (frame identification) of the feature information. Information), and the like.

사용자 단말기(140)는 사용자의 입력에 따라 영상 컨텐츠의 특정 인물에 대한 정보를 얼굴 인식장치(130)로 요청한다(S390). 얼굴 인식장치(130)는 인물 메타정보 DB 내에서 특정 인물에 대한 인물 메타정보를 필터링하고, 필터링에 따른 인식 결과를 사용자 단말기(140)로 제공한다(S392). The user terminal 140 requests the face recognition apparatus 130 for information on a specific person of the image content according to the user's input (S390). The face recognition apparatus 130 filters the person meta information of the specific person in the person meta information DB, and provides the recognition result according to the filtering to the user terminal 140 (S392).

도 3a 및 도 3b에서는 단계 S310 내지 단계 S392를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3a 및 도 3b에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S392 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3a 및 도 3b는 시계열적인 순서로 한정되는 것은 아니다.In FIGS. 3A and 3B, steps S310 to S392 are described as being sequentially executed. However, these are merely illustrative examples of the technical idea of the present embodiment, and those of ordinary skill in the art to which this embodiment belongs. Since the embodiments described in FIGS. 3A and 3B may be changed in a manner without departing from the essential characteristics of the present embodiment, or one or more of steps S310 to S392 may be executed in various modifications and variations, the drawings may be applied. 3A and 3B are not limited to the time series order.

도 4는 본 실시예에 따른 얼굴 인식 장치에서 얼굴 인식을 위한 데이터베이스를 구성하는 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a method of configuring a database for face recognition in the face recognition apparatus according to the present embodiment.

얼굴 인식장치(130)는 인물정보 제공서버(110)로부터 영상 컨텐츠의 출연진 각각에 대한 인물 프로필 정보를 수신한다(S410). The face recognition apparatus 130 receives person profile information for each cast of the image content from the person information providing server 110 (S410).

얼굴 인식장치(130)는 인물 프로필 정보로부터 특징정보를 추출하여 인물 프로필 DB에 저장한다(S420). 얼굴 인식장치(130)는 인물 프로필 정보에 포함된 프로필 사진 내에서 출연자의 얼굴 이미지를 인식(검출)하고, 얼굴 이미지를 정렬한 후 각각의 얼굴 이미지에 대한 특징정보를 인물 프로필 DB에 저장한다.The face recognition apparatus 130 extracts feature information from the person profile information and stores the feature information in the person profile DB (S420). The face recognition apparatus 130 recognizes (detects) the face image of the performer within the profile picture included in the person profile information, aligns the face images, and stores the characteristic information of each face image in the person profile DB.

얼굴 인식장치(130)는 컨텐츠 제공장치(120)로부터 영상 컨텐츠를 수신한다(S430). 얼굴 인식장치(130)는 영상 컨텐츠 내 각 인물들의 얼굴을 검출하며, 각 얼굴들의 특징정보를 추출한다(S440). 영상 컨텐츠의 영상 내에서 등장인물의 화면 얼굴 이미지를 인식(검출)하고, 화면 얼굴 이미지에 대한 특징정보를 추출한다. The face recognition device 130 receives the image content from the content providing device 120 (S430). The face recognition apparatus 130 detects faces of each person in the image content and extracts feature information of each face (S440). The screen face image of the character is detected (detected) in the image of the image content, and feature information about the screen face image is extracted.

얼굴 인식장치(130)는 단계 S440에서 추출한 특징정보와 영상 프로필 DB에 저장된 특징정보를 비교하여 유사도를 판단한다(S450). 얼굴 인식장치(130)는 단계 S450에서 기 설정된 기준치 이상의 유사도를 갖는 특징정보를 인물 매칭 DB에 저장한다(S460).The face recognition apparatus 130 compares the feature information extracted in step S440 with the feature information stored in the image profile DB to determine similarity (S450). The face recognition apparatus 130 stores the feature information having a similarity level or higher than a predetermined reference value in the person matching DB in step S450 (S460).

얼굴 인식장치(130)는 컨텐츠 제공장치(120)로부터 영상 컨텐츠를 재수신한다(S470). 단계 S470에서는 영상 컨텐츠를 재수신하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며 기 수신된 영상 컨텐츠를 다시 이용할 수 있다. The face recognition device 130 receives the image content from the content providing device 120 again (S470). In operation S470, the video content is re-received. However, the present disclosure is not limited thereto and the previously received video content may be used again.

얼굴 인식장치(130)는 단계 S460에서 저장된 특징정보에 해당하는 얼굴을 제외한 나머지 얼굴들에 대한 특징정보와 인물 프로필 DB 및 인물 매칭 DB에 기 저장된 특징정보를 비교하여 유사도를 판단한다(S472). 얼굴 인식장치(130)는 단계 S472의 판단결과에 근거하여 기 설정된 기준치 이상의 유사도를 갖는 특징정보를 인물 매칭 DB에 추가로 저장한다(S480).The face recognition apparatus 130 determines similarity by comparing feature information of the remaining faces except for the face corresponding to the feature information stored in step S460 with feature information previously stored in the person profile DB and the person matching DB (S472). The face recognition apparatus 130 additionally stores, in the person matching DB, feature information having a similarity level higher than or equal to a preset reference value based on the determination result of step S472 (S480).

얼굴 인식장치(130)는 기준치 이상의 유사도를 갖는 특징정보에 대한 인물 메타정보를 생성한다(S482). 생성된 인물 메타정보는 별도의 인물 메타정보 DB에 저장한다. 여기서, 인물 메타정보는 인물 매칭 DB에 저장된 특징정보에 대한 등장인물 정보를 의미하며, 등장인물의 출연자 프로필 정보, 특징정보에 대한 영상 프레임 정보(프레임 식별정보) 등을 포함할 수 있다. The face recognition apparatus 130 generates person meta information on feature information having a similarity level equal to or greater than a reference value (S482). The generated person meta information is stored in a separate person meta information DB. Here, the person meta information means character information on the feature information stored in the person matching DB, and may include performer profile information of the character and image frame information (frame identification information) on the feature information.

얼굴 인식장치(130)는 사용자 단말기(140)로부터 영상 컨텐츠 내 특정 인물에 대한 정보요청에 따른 영상 어노테이션 서비스를 제공한다(S490).The face recognition apparatus 130 provides an image annotation service according to an information request for a specific person in the image content from the user terminal 140 (S490).

전술한 바와 같이 도 4에 기재된 본 실시예에 따른 얼굴 인식장치(130)의 동작은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 얼굴 인식장치(130)의 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다. As described above, the operation of the face recognition apparatus 130 according to the present embodiment described in FIG. 4 may be implemented in a program and recorded in a computer-readable recording medium. The computer-readable recording medium having recorded thereon a program for implementing the operation of the face recognition apparatus 130 according to the present embodiment includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of such computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and are implemented in the form of a carrier wave (for example, transmission over the Internet). It includes being. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. Also, functional programs, codes, and code segments for implementing the present embodiment may be easily inferred by programmers in the art to which the present embodiment belongs.

도 5는 본 실시예에 따른 얼굴 인식을 위한 데이터베이스에 저장되는 데이터를 설명하기 위한 예시도이다. 5 is an exemplary diagram for describing data stored in a database for face recognition according to the present embodiment.

도 5의 (a)는 인물 프로필 정보에 포함된 프로필 사진을 나타낸다. 영상 인식장치(130)는 도 5의 (a)에 도시된 프로필 사진 내에서 출연자의 얼굴 이미지를 검출하고 얼굴의 특징정보를 인물 프로필 DB(232)에 저장한다. 5A illustrates a profile picture included in the person profile information. The image recognition apparatus 130 detects the face image of the performer in the profile picture shown in FIG. 5A and stores the feature information of the face in the person profile DB 232.

종래에는 도 5의 (a)와 같은 프로필 사진만을 이용하여 출연자와 등장인물의 동일인물 여부를 판단하거나, 관리자가 수동으로 등장인물과 출연자를 매칭시켜 영상 어노테이션 서비스를 제공하였으며, 이로 인해 정확한 얼굴인식이 이루어지기 어려웠다. Conventionally, using only the profile picture as shown in FIG. 5 (a) to determine whether the performer and the character is the same person, or the administrator manually provides a video annotation service by matching the character and the performer, thereby accurate face recognition This was difficult to achieve.

도 5의 (b)는 영상 컨텐츠의 영상 내에서 등장인물의 화면 얼굴 이미지를 나타낸다. 영상 인식장치(130)는 도 5의 (b)에 도시된 화면 얼굴 이미지에서 특징정보를 추출한다. 영상 인식장치(130)는 (b) 이미지의 특징정보와 (a) 이미지의 특징정보를 비교하여 기준치 이상의 유사도인 것으로 판단되는 경우 해당 특징정보를 인물 매칭 DB(234)에 저장한다. 5B illustrates a screen face image of a character in an image of image content. The image recognition device 130 extracts feature information from the screen face image shown in FIG. The image recognition apparatus 130 compares (b) the feature information of the image with (a) the feature information of the image and stores the corresponding feature information in the person matching DB 234 when it is determined that the image has a similarity or more than a reference value.

본 실시예에 따른 영상 인식장치(130)는 (a) 이미지와 유사한 (b) 이미지의 특징정보를 저장하는 인물 매칭 DB(234)를 구성함에 따라 사용자 단말기(140)로부터 영상 컨텐츠 내에서 특정 인물에 정보 요청이 존재하는 경우, 해당 특정 인물에 대한 정확한 얼굴인식 결과를 이용하여 영상 어노테이션 서비스를 제공할 수 있다. The image recognition apparatus 130 according to the present exemplary embodiment configures a person matching DB 234 that stores (a) feature information of an image similar to the image (b), so that a specific person in the image content is received from the user terminal 140. If there is a request for information, the video annotation service may be provided using an accurate face recognition result for the specific person.

도 5의 (c)는 영상 컨텐츠의 영상 내에서 분장한 등장인물의 화면 얼굴 이미지를 나타낸다. 도 5의 (c) 이미지는 영상 컨텐츠 내에서 (b) 이미지와 동일한 등장인물이지만, 분장으로 인해 다른 사람으로 인식될 수 있다. 특히, (a) 이미지와 (c) 이미지 비교할 때는 동일인으로 인식되기 어렵다. 5C illustrates a screen face image of a character dressed in an image of image content. The image (c) of FIG. 5 is the same character as the image (b) in the image content, but may be recognized as another person due to the makeup. In particular, when comparing (a) images with (c) images, it is difficult to recognize them as the same person.

이에 본 실시예에 따른 영상 인식장치(130)는 (a) 이미지의 특징정보가 저장된 인물 프로필 DB(232) 및 (b) 이미지의 특징정보가 저장된 인물 매칭 DB(234)를 모두 이용하여 (c) 이미지의 특징정보를 비교함으로써, (c) 이미지가 (a) 및 (b)와 유사한 인물에 관한 이미지로 판단하여 인물 매칭 DB(234)에 추가로 저장하는 형태로 데이터베이스를 구성할 수 있다. 이에 따라 사용자 단말기(140)로부터 영상 컨텐츠 내에서 (c) 이미지와 유사한 특정 인물에 대한 정보 요청이 존재하더라도 (a) 이미지를 이용하여 출연진에 대한 영상 어노테이션 서비스를 제공할 수 있다. Accordingly, the image recognition apparatus 130 according to the present exemplary embodiment uses both (a) a person profile DB 232 storing characteristic information of an image and (b) a person matching DB 234 storing characteristic information of an image (c). By comparing the feature information of the image, the database may be configured such that the image (c) is determined to be an image of a person similar to those of (a) and (b) and additionally stored in the person matching DB 234. Accordingly, even if there is a request for information of a specific person similar to the image in the image content from the user terminal 140, the image annotation service for the cast member may be provided using the image (a).

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those skilled in the art to which the present embodiment belongs may make various modifications and changes without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment but to describe the present invention, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.

이상에서 설명한 바와 같이 본 실시예는 영상 컨텐츠 서비스 분야에 적용되어, 영상 컨텐츠 내 출연진의 시간적인 얼굴 변형 혹은 영상 컨텐츠 내 캐릭터 특화 얼굴 변장(분장)에 대해서도 강인한 얼굴인식 결과를 제공할 수 있는 효과를 발생하는 유용한 발명이다.As described above, the present embodiment is applied to the field of video content service, and can provide robust face recognition results even for temporal face deformation of cast members in video content or character-specific face disguise (dressing) in video content. It is a useful invention to occur.

100: 영상 어노테이션 시스템
110: 인물정보 제공서버 120: 컨텐츠 제공장치
130: 얼굴 인식장치 140: 사용자 단말기
210: 통신부 220: 제어부
222: 제1 특징정보 추출부 224: 제2 특징정보 추출부
226: 특징정보 비교부 228: 통합 DB 필터링부
229: 인식결과 처리부 230: 통합 DB
232: 인물 프로필 DB 234: 인물 매칭 DB
236: 인물 메타정보 DB100: video annotation system
110: person information providing server 120: content providing device
130: face recognition device 140: user terminal
210: communication unit 220: control unit
222: first feature information extractor 224: second feature information extractor
226: feature information comparison unit 228: integrated DB filtering unit
229: recognition result processing unit 230: integrated DB
232: person profile DB 234: person matching DB
236: person meta information DB

Claims (7)

인물 정보 제공 서버로부터 영상 컨텐츠의 등장인물 각각에 대한 인물 프로필 정보를 획득하는 과정;
상기 인물 프로필 정보에 포함된 각 등장인물의 프로필 얼굴 이미지로부터 특징정보를 추출하여 등장인물별 인물 프로필 DB를 생성하여 저장하는 과정;
상기 영상 컨텐츠의 영상 내에서 등장인물 각각의 화면 얼굴 이미지를 추출하고, 상기 화면 얼굴 이미지로부터 화면 얼굴 특징정보를 추출하는 과정;
상기 화면 얼굴 특징정보와 상기 인물 프로필 DB를 비교하여 유사도를 판단하는 과정;
상기 유사도가 기 설정된 기준치 이상인 경우에만 화면상 얼굴과 프로필의 얼굴이 유사한 것으로 판단하여 상기 화면 얼굴 이미지에 대해 상기 인물 프로필 DB에 상기 화면 얼굴특징을 매칭하여 인물 매칭 DB로 생성한 후 저장하는 과정;
상기 유사도가 기 설정된 기준치 이상인 경우에만 프레임 식별 정보를 포함하는 인물 메타정보 DB를 생성하여 저장하는 과정; 및
특정 등장인물에 대한 식별 요청 신호를 수신하면, 상기 특정 등장인물에 대응하는 인물 메타정보 DB를 기반으로 인식한 결과를 식별 요청 응답으로 전송하는 과정
을 포함하는 것을 특징으로 하는 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법.Obtaining person profile information for each character of the image content from the person information providing server;
Extracting feature information from a profile face image of each character included in the person profile information to generate and store a person profile DB for each character;
Extracting screen face images of each character in the image of the image content and extracting screen face feature information from the screen face image;
Determining similarity by comparing the screen face feature information and the person profile DB;
Determining that the face on the screen and the face of the profile are similar only when the similarity is equal to or greater than a preset reference value, and matching the screen face feature to the person profile DB with the screen face image to generate a person matching DB and storing the same;
Generating and storing a person meta information DB including frame identification information only when the similarity is equal to or greater than a preset reference value; And
When receiving an identification request signal for a specific character, a process of transmitting a result of recognizing a response based on the person meta information DB corresponding to the specific character in an identification request response
Method for constructing a database for face recognition in the image content comprising a. 삭제delete 제1항에 있어서,
상기 영상 컨텐츠의 영상 내에서 상기 화면 얼굴 이미지를 제외한 나머지 얼굴 이미지를 재추출하고, 상기 나머지 얼굴 이미지의 특징정보를 추출하는 과정을 추가로 포함하며,
상기 재추출된 얼굴 이미지의 특징정보를 상기 인물 매칭 DB, 상기 인물 메타정보 DB와 비교하여 유사도를 판단하고, 상기 유사도가 기 설정된 기준치 이상인 경우에만 상기 재추출된 얼굴 이미지의 특징정보를 상기 인물 매칭 DB에 반영하는 것을 특징으로 하는 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법.The method of claim 1,
Re-extracting the remaining face images except for the screen face image in the image of the image content, and extracting feature information of the remaining face images;
The similarity is determined by comparing the feature information of the re-extracted face image with the person matching DB and the person meta information DB, and matching the feature information of the reextracted face image only when the similarity is equal to or greater than a preset reference value. A method of constructing a database for face recognition in image contents, which is reflected in a DB. 제3항에 있어서,
상기 영상 컨텐츠의 영상 내에서 전체 얼굴 이미지 개수 중 상기 인물 매칭 DB를 저장하는 인물 매칭 DB에 저장되지 않은 얼굴 이미지의 개수가 기 설정된 기준 개수 이하가 될 때까지 얼굴 이미지를 재추출하는 동작을 반복하는 것을 특징으로 하는 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법.The method of claim 3,
Re-extracting a face image until the number of face images not stored in the person matching DB storing the person matching DB among the total number of face images in the image of the image content is equal to or less than a predetermined reference number is repeated. A method of constructing a database for face recognition in image content, characterized in that for. 인물 정보 제공 서버로부터 영상 컨텐츠의 등장인물 각각에 대한 인물 프로필 정보를 획득하는 통신부;
상기 인물 프로필 정보에 포함된 각 등장인물의 프로필 얼굴 이미지로부터 특징정보를 추출하여 등장인물별 인물 프로필 DB를 생성하는 제1 특징정보 추출부;
상기 영상 컨텐츠의 영상 내에서 등장인물 각각의 화면 얼굴 이미지를 추출하고, 상기 화면 얼굴 이미지로부터 화면 얼굴 특징정보를 추출하는 제2 특징정보 추출부;
상기 화면 얼굴 특징정보와 상기 인물 프로필 DB를 비교하여 판단한 유사도가 기 설정된 기준치 이상인 경우에만 화면상 얼굴과 프로필의 얼굴이 유사한 것으로 판단하여 상기 화면 얼굴 이미지에 대해 상기 인물 프로필 DB에 상기 화면 얼굴특징을 매칭하여 인물 매칭 DB로 생성하며, 상기 유사도가 기 설정된 기준치 이상인 경우에만 프레임 식별 정보를 포함하는 인물 메타정보 DB를 생성하는 특징정보 비교부;
특정 등장인물에 대한 식별 요청 신호를 수신하면, 상기 특정 등장인물에 대응하는 인물 메타정보 DB가 존재하는지 필터링하는 통합 DB 필터링부
필터링에 따른 인식 결과를 전송하는 인식결과 처리부
를 포함하는 것을 특징으로 하는 영상 어노테이션 서비스를 위한 얼굴 인식장치.A communication unit for obtaining person profile information for each character of the image content from the person information providing server;
A first feature information extracting unit for extracting feature information from each person's profile face image included in the person profile information to generate a person profile DB for each person;
A second feature information extracting unit extracting a screen face image of each of the characters in the image of the image content and extracting screen face feature information from the screen face image;
Only when the similarity determined by comparing the screen face feature information and the person profile DB is greater than or equal to a preset reference value, the screen face and the face of the profile are judged to be similar, and the screen face feature is added to the person profile DB for the screen face image. A feature information comparison unit to generate a person meta information DB including frame identification information only when the similarity is equal to or larger than a predetermined reference value by matching;
Upon receiving an identification request signal for a specific character, an integrated DB filtering unit for filtering whether there is a person meta information DB corresponding to the specific character.
Recognition result processing unit for transmitting the recognition result according to the filtering
Face recognition apparatus for a video annotation service comprising a. 삭제delete 제5항에 있어서,
상기 특징정보 비교부는,
상기 영상 컨텐츠의 영상 내에서 상기 화면 얼굴 이미지를 제외한 나머지 얼굴 이미지를 재추출하고, 상기 나머지 얼굴 이미지의 특징정보를 추출하며, 상기 재추출된 얼굴 이미지의 특징정보를 상기 인물 매칭 DB, 상기 인물 메타정보 DB와 비교하여 상기 유사도를 판단하고, 상기 유사도가 기 설정된 기준치 이상인 경우에만 상기 재추출된 얼굴 이미지의 특징정보를 상기 인물 매칭 DB에 반영하는 것을 특징으로 하는 영상 어노테이션 서비스를 위한 얼굴 인식장치.
The method of claim 5,
The feature information comparison unit,
Re-extracting the remaining face images except the screen face image in the image of the image content, extracting feature information of the remaining face image, and extracting feature information of the re-extracted face image from the person matching DB and the person meta And comparing the similarity with the information DB, and reflecting the feature information of the re-extracted face image to the person matching DB only when the similarity is equal to or greater than a preset reference value.
KR1020170091881A 2017-07-20 2017-07-20 Method and Apparatus for Composing Database for Recognizing Face within Video Contents KR102055262B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170091881A KR102055262B1 (en) 2017-07-20 2017-07-20 Method and Apparatus for Composing Database for Recognizing Face within Video Contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170091881A KR102055262B1 (en) 2017-07-20 2017-07-20 Method and Apparatus for Composing Database for Recognizing Face within Video Contents

Publications (2)

Publication Number Publication Date
KR20190009917A KR20190009917A (en) 2019-01-30
KR102055262B1 true KR102055262B1 (en) 2019-12-12

Family

ID=65276753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091881A KR102055262B1 (en) 2017-07-20 2017-07-20 Method and Apparatus for Composing Database for Recognizing Face within Video Contents

Country Status (1)

Country Link
KR (1) KR102055262B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220019613A (en) 2020-08-10 2022-02-17 주식회사 타키온비앤티 System for applying selective makeup effect through sourcing of cosmetic object
KR20220022433A (en) 2020-08-18 2022-02-25 주식회사 타키온비앤티 System for buying service of cosmetic object and applying selective makeup effect
KR20220022431A (en) 2020-08-18 2022-02-25 주식회사 타키온비앤티 System for applying selective makeup effect through recommending of cosmetic object

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101216A (en) * 2020-09-15 2020-12-18 百度在线网络技术（北京）有限公司 Face recognition method, device, equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382948B1 (en) * 2012-11-22 2014-04-09 한국과학기술원 An accuracy improving method for automatic recognition of characters in a video by utilizing casting information

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658413B1 (en) * 2009-09-22 2016-09-22 삼성전자주식회사 Apparatus and method for extracting character information in a motion picture

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382948B1 (en) * 2012-11-22 2014-04-09 한국과학기술원 An accuracy improving method for automatic recognition of characters in a video by utilizing casting information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220019613A (en) 2020-08-10 2022-02-17 주식회사 타키온비앤티 System for applying selective makeup effect through sourcing of cosmetic object
KR20220022433A (en) 2020-08-18 2022-02-25 주식회사 타키온비앤티 System for buying service of cosmetic object and applying selective makeup effect
KR20220022431A (en) 2020-08-18 2022-02-25 주식회사 타키온비앤티 System for applying selective makeup effect through recommending of cosmetic object

Also Published As

Publication number Publication date
KR20190009917A (en) 2019-01-30

Similar Documents

Publication Publication Date Title
KR102055262B1 (en) Method and Apparatus for Composing Database for Recognizing Face within Video Contents
KR102080315B1 (en) Method for providing vedio service and service server using the same
CN102779509B (en) Voice processing equipment and voice processing method
US20190050666A1 (en) Method and device for recognizing content
US20180077452A1 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
US11151386B1 (en) Automated identification and tagging of video content
US9652659B2 (en) Mobile device, image reproducing device and server for providing relevant information about image captured by image reproducing device, and method thereof
US20100250588A1 (en) Image searching system and image searching method
US20140337697A1 (en) System and method for providing content to an apparatus based on location of the apparatus
US10175863B2 (en) Video content providing scheme
JP7224442B2 (en) Method and apparatus for reducing false positives in face recognition
KR102550305B1 (en) Video automatic editing method and syste based on machine learning
US9542976B2 (en) Synchronizing videos with frame-based metadata using video content
EP2835981A1 (en) Information processing device, information processing method, and program
US11568678B2 (en) Obtaining artist imagery from video content using facial recognition
CN104965594A (en) Intelligent face identification cloud sound control method, device and system thereof
US20190361983A1 (en) Sensor fusion for generating queries
US11099811B2 (en) Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion
WO2020232636A1 (en) Fingerprint recognition apparatus, fingerprint recognition method, and electronic device
CN106778449B (en) Object identification method of dynamic image and interactive film establishment method for automatically capturing target image
CN112154671B (en) Electronic device and content identification information acquisition thereof
US12131540B2 (en) Systems and methods for displaying subjects of a video portion of content and displaying autocomplete suggestions for a search related to a subject of the video portion
US20210089577A1 (en) Systems and methods for displaying subjects of a portion of content and displaying autocomplete suggestions for a search related to a subject of the content
CN110704680B (en) Label generation method, electronic device and storage medium
KR102160095B1 (en) Method for analysis interval of media contents and service device supporting the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right