KR20210018586A - 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치 - Google Patents

등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치 Download PDF

Info

Publication number
KR20210018586A
KR20210018586A KR1020190095178A KR20190095178A KR20210018586A KR 20210018586 A KR20210018586 A KR 20210018586A KR 1020190095178 A KR1020190095178 A KR 1020190095178A KR 20190095178 A KR20190095178 A KR 20190095178A KR 20210018586 A KR20210018586 A KR 20210018586A
Authority
KR
South Korea
Prior art keywords
video content
biometric
character
biometric feature
unidentified
Prior art date
Application number
KR1020190095178A
Other languages
English (en)
Inventor
앤드리 비건
비탈리즈 타임트신
안드레이 부가요프
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190095178A priority Critical patent/KR20210018586A/ko
Priority to US16/985,846 priority patent/US20210044864A1/en
Publication of KR20210018586A publication Critical patent/KR20210018586A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00885—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하며, 상기 프로세서는, 비디오 콘텐트를 수신하고, 상기 비디오 콘텐트에서 등장인물의 생체특징을 검출하고, 상기 검출된 생체특징에 기초하여 상기 등장인물의 식별을 수행하고, 상기 등장인물의 식별 결과에 기초하여 상기 비디오 콘텐트의 식별을 수행하고, 상기 비디오 콘텐트의 식별 결과에 기초하여 상기 비디오 콘텐트의 콘텐트식별자를 출력하는, 비디오 콘텐트 식별 장치가 개시된다.

Description

등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치 {Method and apparatus for identifying video content using biometric features of characters}
본 개시는 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치에 관한 것이다.
최근 컴퓨터 및 인터넷 기술의 발전에 따라 영화나 TV 시리즈와 같은 많은 비디오 콘텐츠가 유통되고 있는바, 비디오 콘텐츠를 식별하는 기술이 요구된다. 비디오 콘텐츠 식별 기술은 비디오 콘텐츠의 소비에 대한 통계, 소비자의 성향 파악, 소비자에 대한 비디오 콘텐츠나 기타 상품의 추천 등에 활용될 수 있다.
한편, 인공지능(Artificial Intelligence, AI) 시스템은 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다. 인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
본 개시의 일 실시예는, 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치를 제공하여 효과적으로 비디오 콘텐트를 식별할 수 있도록 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 비디오 콘텐트를 수신하고, 상기 비디오 콘텐트에서 등장인물의 생체특징을 검출하고, 상기 검출된 생체특징에 기초하여 상기 등장인물의 식별을 수행하고, 상기 등장인물의 식별 결과에 기초하여 상기 비디오 콘텐트의 식별을 수행하고, 상기 비디오 콘텐트의 식별 결과에 기초하여 상기 비디오 콘텐트의 콘텐트식별자를 출력하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에서 제1 프레임을 추출하고, 상기 제1 프레임에 포함된 생체특징을 검출하고, 상기 제1 프레임에 포함된 생체특징에 기초하여 상기 비디오 콘텐트의 식별을 수행하고, 상기 제1 프레임에 포함된 생체특징에 기초하여 상기 비디오 콘텐트가 식별되지 않는 경우, 상기 비디오 콘텐트에서 제2 프레임을 추출하고, 상기 제2 프레임에 포함된 생체특징을 검출하고, 상기 제2 프레임에 포함된 생체특징에 기초하여 상기 비디오 콘텐트의 식별을 수행하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 검출된 생체특징 및 인물별 생체특징 데이터베이스에 기초하여 상기 등장인물의 식별을 수행하고, 상기 등장인물의 식별 결과 및 콘텐트별 등장인물 데이터베이스에 기초하여 상기 비디오 콘텐트의 식별을 수행하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 검출된 생체특징 중 등장인물 식별이 되지 않는 생체특징을 상기 비디오 콘텐트의 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에 대한 임시 콘텐트식별자를 생성하고, 상기 검출된 생체특징 중 등장인물 식별이 되지 않는 생체특징을 상기 비디오 콘텐트에 대한 임시 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에서 검출된 생체특징들 중 등장인물 식별이 되지 않는 생체특징들에 대하여, 동일한 인물에 해당하는 서로 다른 종류의 생체특징들을 서로 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에서 검출된 생체특징들 중 등장인물 식별이 되지 않는 생체특징들을 기계학습을 통해 인물별로 분류하고, 상기 인물별로 분류된 생체특징들을 해당 인물의 임시 인물식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 동일한 인물에 해당하는 서로 다른 종류의 생체특징들을 함께 이용하여 생체특징들을 인물별로 분류하되, 생체특징의 종류에 따라 가중치를 적용하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에서 검출된 생체특징 중 인물별 생체특징 데이터베이스에 기초하여 등장인물 식별이 되지 않는 생체특징에 대하여, 콘텐트별 미식별 생체특징 데이터베이스에 기초하여 해당 등장인물의 식별을 수행하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 수신된 비디오 콘텐트의 미식별 등장인물 목록 및 미식별 생체특징과, 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트의 미식별 등장인물 목록 및 미식별 생체특징에 기초하여, 상기 수신된 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물을 식별하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 콘텐트별 등장인물 데이터베이스, 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별된 각 비디오 콘텐트의 미식별 등장인물 목록과 미식별 생체특징, 및 상기 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별되지 않은 각 비디오 콘텐트의 식별 등장인물 목록과 미식별 생체특징에 기초하여, 상기 수신된 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물을 식별하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 콘텐트별 등장인물 데이터베이스, 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별된 각 비디오 콘텐트의 미식별 등장인물 목록과 미식별 생체특징, 및 상기 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별되지 않은 각 비디오 콘텐트의 식별 등장인물 목록과 미식별 생체특징에 기초하여, 상기 수신된 비디오 콘텐트을 식별하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 검출된 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고, 상기 검출된 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에서 등장인물의 제1 종류의 생체특징을 검출하고, 상기 검출된 제1 종류의 생체특징 및 상기 콘텐트별 미식별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고, 상기 검출된 제1 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스의 제2 종류의 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에서 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체특징을 검출하고, 상기 검출된 제1 종류의 생체특징 및 인물별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고, 상기 검출된 제2 종류의 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 상기 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 비디오 콘텐트에서 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체특징을 검출하고, 상기 검출된 제1 종류의 생체특징 및 인물별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고, 상기 검출된 제2 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스의 제3 종류의 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 검출된 생체특징, 상기 인물별 생체특징 데이터베이스, 및 상기 비디오 콘텐트의 콘텐트식별자에 기초하여 상기 콘텐트별 등장인물 데이터베이스를 갱신하는, 비디오 콘텐트 식별 장치를 제공할 수 있다.
본 개시의 일 실시예는, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 비디오 콘텐트를 수신하고, 상기 비디오 콘텐트에서 등장인물의 생체특징을 검출하고, 상기 검출된 생체특징에 기초하여 상기 등장인물의 식별을 수행하고, 상기 검출된 생체특징 및 상기 등장인물의 식별 결과에 기초하여 인물별 생체특징 데이터베이스를 갱신하는, 생체특징 데이터베이스 갱신 장치를 제공할 수 있다.
본 개시의 일 실시예는, 비디오 콘텐트 식별 장치의 동작 방법으로서, 비디오 콘텐트를 수신하는 동작, 상기 비디오 콘텐트에서 등장인물의 생체특징을 검출하는 동작, 상기 검출된 생체특징에 기초하여 상기 등장인물의 식별을 수행하는 동작, 상기 등장인물의 식별 결과에 기초하여 상기 비디오 콘텐트의 식별을 수행하는 동작, 및 상기 비디오 콘텐트의 식별 결과에 기초하여 상기 비디오 콘텐트의 콘텐트식별자를 출력하는 동작을 포함하는 비디오 콘텐트 식별 장치의 동작 방법을 제공할 수 있다.
본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키도록 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램 제품을 포함한다.
본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 개시의 일 실시예는, 본 개시의 일 실시예에서 사용되는 데이터베이스를 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 개시의 일 실시예는, 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치를 제공하여 효과적으로 비디오 콘텐트를 식별할 수 있도록 한다.
도 1은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 개요를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 의한 비디오 콘텐트 식별 장치가 수행하는 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 도시한 도면이다.
도 3은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 장치의 구성을 개략적으로 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 장치에서 프로세서가 접근하는 데이터베이스 장치를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 6은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 나타낸 흐름도이다.
도 7은 본 개시의 일 실시예에 의한 미식별 생체특징 처리 동작의 흐름을 나타낸 흐름도이다.
도 8은 본 개시의 일 실시예에 의해 비디오 콘텐트의 영상에서 하나의 사람 형상이 인식된 경우를 도시한 도면이다.
도 9는 본 개시의 일 실시예에 의해 비디오 콘텐트의 생체특징들을 인물별로 분류하는 과정을 도시한 도면이다.
도 10은 본 개시의 일 실시예에 의해 콘텐트별 미식별 생체특징 데이터베이스에 저장된 데이터의 일 예이다.
도 11은 본 개시의 다른 실시예에 의한 미식별 생체특징 처리 동작의 흐름을 나타낸 흐름도이다.
도 12는 본 개시의 제1 실시예에 의해 미식별 인물을 식별하는 동작을 도시한 도면이다.
도 13은 본 개시의 제2 실시예에 의해 미식별 인물을 식별하는 동작을 도시한 도면이다.
도 14는 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다.
도 15는 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다
도 16은 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다.
도 17은 본 개시의 일 실시예에 의해 얼굴이 식별된 배우에 대해 손 형상 및 귀 형상 데이터를 인물별 생체특징 데이터베이스에 추가하는 과정을 도시한 그림이다.
도 18은 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다.
도 19는 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다.
도 20은 본 개시의 일 실시예에 의한 생체특징 데이터베이스 갱신 장치의 구성을 개략적으로 도시한 블록도이다.
도 21은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 나타낸 도면이다.
도 22는 본 개시의 일 실시예에 의한 미식별 등장인물 식별 및 데이터베이스 갱신 방법의 흐름을 개략적으로 나타낸 도면이다.
도 23은 본 개시의 일 실시예에 의한 미식별 등장인물 식별 및 데이터베이스 갱신 방법의 흐름을 개략적으로 나타낸 도면이다.
도 24는 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 나타낸 도면이다.
이하에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 개시에서 설명되는 특정 실행들은 일 실시예일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 구현될 수 있다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다. 또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 구성요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다. 본 개시에서 다양한 곳에 등장하는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다. 또한, 본 개시에서, "a, b 또는 c 중 적어도 하나를 포함한다"는 a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
본 개시의 일 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 개요를 도시한 도면이다. 도 1을 참조하면, 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법은, 비디오 콘텐트에서 생체특징을 검출한 후, 이에 기초하여 비디오 콘텐트를 식별하는 동작을 포함할 수 있다. 여기서 생체특징은 안면(얼굴), 지문, 홍채, 망막, 귀, 손, 손금, 또는 정맥 등과 같은 인간의 신체적 형상의 특징이나, 음성, 걸음걸이(gait), 또는 서명 등과 같은 인간의 행동적 특징을 포함할 수 있다. 생체특징은 생체측량(Biometrics)의 대상일 수 있다. 이와 같이 생체특징은 통상적으로 인간의 생체특징을 말하나, 실시예에 따라 동물의 생체특징이 이용될 수도 있다.
도 2는 본 개시의 일 실시예에 의한 비디오 콘텐트 식별 장치가 수행하는 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 도시한 도면이다. 도 2를 참조하면, 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 장치는, 동작 S210에서 비디오 콘텐트의 프레임에서 안면 인식을 이용하여 배우들의 얼굴들을 검출한 후, 동작 S220에서 얼굴 데이터베이스에 기초하여 배우들의 이름을 알아낼 수 있다. 비디오 콘텐트 식별 장치는 동작 S230에서 배우들의 이름에 기초하여 비디오 콘텐트의 이름을 알아낼 수 있다. 식별된 배우들의 이름만으로 비디오 콘텐트의 이름을 알아낼 수 없는 경우, 비디오 콘텐트의 다른 프레임에서 이상과 같은 과정을 수행할 수 있다. 이러한 과정이 비디오 콘텐트의 이름을 알아낼 때까지 반복될 수 있다. 이와 같이 비디오 콘텐트에서 등장인물의 생체특징을 검출하여 비디오 콘텐트를 식별하면, 별도의 추가 정보 없이 비디오 콘텐트 자체에 기초하여 바로 비디오 콘텐트를 식별할 수 있으므로, 비디오 콘텐트에 미리 워터마크를 삽입하거나 비디오 콘텐트로부터 미리 핑거프린트를 생성하는 등의 사전 작업이 없이도 간편하게 어떠한 비디오 콘텐트라도 식별할 수 있게 된다.
도 3은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 장치의 구성을 개략적으로 도시한 블록도이다. 도 3을 참조하면, 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 장치(300)는, 하나 이상의 인스트럭션들을 저장하는 메모리(310) 및 메모리(310)에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서(320)를 포함할 수 있다. 메모리(310)는 하나의 메모리이거나, 복수의 메모리일 수 있다. 프로세서(320)는 하나의 프로세서이거나, 복수의 프로세서일 수 있다. 프로세서(320)의 동작은 아래에서 도 5 등을 참조하여 구체적으로 설명한다.
도 4는 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 장치에서 프로세서가 접근하는 데이터베이스 장치를 도시한 도면이다. 도 4를 참조하면, 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 장치에서 프로세서(320)가 접근하는 데이터베이스 장치(400)는 인물별 생체특징 데이터베이스(410), 콘텐트별 등장인물 데이터베이스(420), 또는 콘텐트별 미식별 생체특징 데이터베이스(430) 중 적어도 하나를 포함할 수 있다. 각 데이터베이스에 대하여는 뒤에서 구체적으로 설명한다. 데이터베이스 장치(400)는 전문적인 데이터베이스 관리 시스템(DBMS)을 이용하여 구현된 것뿐만 아니라, 어떠한 종류의 구조화된 데이터의 집합도 포함할 수 있다. 데이터베이스 장치(400)는 비디오 콘텐트 식별 장치(300)에 포함될 수도 있고, 별도의 장치일 수도 있다.
도 5는 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 나타낸 흐름도이다. 도 5를 참조하면, 프로세서(320)는 동작 S510에서 비디오 콘텐트를 수신할 수 있다. 이하 특별한 한정 없이 '비디오 콘텐트'라 하면 동작 S510에서 수신한 비디오 콘텐트, 즉 현재 분석 대상인 비디오 콘텐트를 말하며, 다른 비디오 콘텐트와 혼동될 여지가 있는 경우 이를 '본 비디오 콘텐트'라고 칭할 것이다. 동작 S520에서 프로세서(320)는 비디오 콘텐트에서 등장인물의 생체특징을 검출할 수 있다. 여기서 생체특징은 안면 형상, 음성, 걸음걸이, 손 형상, 또는 귀 형상 중 적어도 하나를 포함할 수 있다. 프로세서(320)는 비디오 콘텐트의 한 프레임에서 등장인물의 생체특징을 검출할 수 있으며, 비디오 콘텐트의 여러 프레임에서 등장인물의 생체특징을 검출할 수도 있다. 예를 들어, 안면의 형상은 하나의 프레임에서 검출할 수 있고, 걸음걸이는 복수의 프레임에서 검출할 수 있다. 프로세서(320)는 비디오 콘텐트에서 하나 이상의 생체특징을 검출할 수 있으며, 비디오 콘텐트를 식별하기 위하여 통상적으로 복수의 생체특징을 검출하게 된다.
동작 S530에서 프로세서(320)는 검출된 생체특징에 기초하여 해당 등장인물의 식별을 수행할 수 있다. 프로세서(320)는 검출된 생체특징으로부터 등장인물을 식별하기 위해 인물별 생체특징 데이터베이스(410)를 이용할 수 있다. 즉, 프로세서(320)는 비디오 콘텐트에서 검출된 생체특징 및 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물의 식별을 수행할 수 있다.
인물별 생체특징 데이터베이스(410)는 알려진 인물들에 대한 안면 형상, 음성, 걸음걸이, 손 형상, 또는 귀 형상 등의 생체특징을 저장하고 있는 데이터베이스이다. 여기서 데이터베이스에 저장되는 생체특징은 생체특징 자체뿐만 아니라 고유한 생체특징을 나타내는 어떠한 종류의 정보도 포함할 수 있다. 따라서 이하에서 데이터베이스에 생체특징을 저장한다는 것은, 데이터베이스에 해당 생체특징 자체를 저장하는 것뿐만 아니라, 해당 생체특징을 나타내는 정보를 저장하는 것을 포함할 수 있다. 뒤에서 설명하듯이 인물별 생체특징 데이터베이스(410)는 지속적으로 갱신될 수 있다.
프로세서(320)는 하나 이상의 생체특징에 기초하여 등장인물의 식별을 수행할 수 있다. 프로세서(320)는 동일한 프레임에서 검출된 복수의 생체특징에 기초하여 등장인물의 식별을 수행할 수도 있고, 서로 다른 프레임에서 검출된 복수의 생체특징들에 기초하여 등장인물의 식별을 수행할 수도 있다. 프로세서(320)는 한가지 종류의 생체특징(예: 안면 형상)에 기초하여 등장인물의 식별을 수행할 수도 있고, 서로 다른 여러 가지 종류의 생체특징들(예: 안면 형상과 손 형상)에 기초하여 등장인물의 식별을 수행할 수도 있다.
프로세서(320)는 검출된 생체특징으로부터 등장인물을 식별하기 위해 기계학습(machine learning)을 이용할 수 있다. 프로세서(320)는 검출된 생체특징들을 기계학습을 이용해 인물별로 분류한 후, 인물별로 분류된 생체특징들을 인물별 생체특징 데이터베이스(410)와 비교하여 등장인물의 식별을 수행할 수 있다. 프로세서(320)는 본 비디오 콘텐트에서 검출된 생체특징 및 인물별 생체특징 데이터베이스(410)에 대하여 기계학습을 적용하여 등장인물의 식별을 수행할 수 있다.
프로세서(320)는 등장인물 식별에 성공하면 식별된 등장인물에 대한 인물식별자를 특정할 수 있다. 인물식별자는 인물을 고유하게 나타내는 식별정보로서, 숫자, 문자열, 이진코드 등 임의의 형식을 따를 수 있다. 인물식별자는 해당 인물의 이름을 포함할 수 있다.
동작 S540에서 프로세서(320)는 등장인물의 식별 결과에 기초하여 비디오 콘텐트의 식별을 수행할 수 있다. 프로세서(320)는 식별된 등장인물로부터 비디오 콘텐트를 식별하기 위해 콘텐트별 등장인물 데이터베이스(420)를 이용할 수 있다. 즉, 프로세서(320)는 등장인물의 식별 결과 및 콘텐트별 등장인물 데이터베이스(420)에 기초하여 비디오 콘텐트의 식별을 수행할 수 있다.
콘텐트별 등장인물 데이터베이스(420)는 알려진 비디오 콘텐트의 등장인물 목록을 저장하고 있는 데이터베이스이다. 여기서 데이터베이스에 저장되는 등장인물 목록은 등장인물의 인물식별자를 포함할 수 있다. 각 비디오 콘텐트의 등장인물 목록은 해당 비디오 콘텐트의 콘텐트식별자와 매칭되어 저장될 수 있다. 콘텐트식별자는 비디오 콘텐트를 고유하게 나타내는 식별정보로서, 숫자, 문자열, 이진코드 등 임의의 형식을 따를 수 있다. 콘텐트 식별자는 해당 비디오 콘텐트의 제목을 포함할 수 있다. 비디오 콘텐트의 등장인물 목록은 이를테면 영화의 출연자 목록(Cast list)일 수 있으며, 이는 IMDB와 같은 기존의 데이터베이스에 기초하여 구축될 수 있다. 뒤에서 설명하듯이 콘텐트별 등장인물 데이터베이스(420)는 지속적으로 갱신될 수 있다.
프로세서(320)는 하나 이상의 식별된 등장인물에 기초하여 비디오 콘텐트를 식별할 수 있으며, 비디오 콘텐트를 식별하기 위하여 통상적으로 복수의 등장인물을 식별하게 된다. 프로세서(320)는 식별된 등장인물의 인물식별자에 기초하여 비디오 콘텐트를 식별할 수 있다. 프로세서(320)는 식별된 등장인물의 인물식별자와 콘텐트별 등장인물 데이터베이스(420)를 비교하여 비디오 콘텐트를 식별할 수 있다. 프로세서(320)는 식별된 등장인물로부터 비디오 콘텐트를 식별하기 위해 기계학습을 이용할 수 있다.
프로세서(320)는 비디오 콘텐트 식별에 성공하면 식별된 비디오 콘텐트의 콘텐트식별자를 특정할 수 있다. 동작 S550에서 프로세서(320)는 비디오 콘텐트의 식별 결과에 기초하여 비디오 콘텐트의 콘텐트식별자를 출력할 수 있다.
도 6은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 나타낸 흐름도이다. 도 6의 실시예를 설명함에 있어 도 5의 실시예와 관련하여 설명한 것과 중복되는 설명은 가능한 한 생략하기로 한다. 도 6을 참조하면, 동작 S610에서 프로세서(320)는 수신된 비디오 콘텐트에서 프레임을 추출할 수 있다. 여기서 추출되는 프레임은 하나의 프레임일 수도 있고, 복수의 프레임일 수 있다. 예를 들어, 비디오 콘텐트에서 안면이나 손의 형상을 검출할 때는 하나의 프레임을 추출할 수 있고, 비디오 콘텐트에서 음성이나 걸음걸이를 검출할 때는 복수의 프레임을 추출할 수 있다. 여기서 프레임은 영상 데이터뿐만 아니라 음향 데이터도 포함할 수 있다.
동작 S620에서 프로세서(320)는 추출된 프레임에서 등장인물의 생체특징의 검출을 수행할 수 있다. 동작 S630에서 프로세서(320)는 추출된 프레임에서 등장인물의 생체특징이 검출된 경우 등장인물 식별 동작(S530)으로 진행하고, 등장인물의 생체특징이 검출되지 않은 경우 다시 프레임 추출 동작(S610)으로 돌아가 다른 프레임을 추출할 수 있다. 여기서 다른 프레임은 순차적으로 추출될 수 있으며, 그 외 다양한 방식으로 추출될 수 있다. 예를 들어, 다른 프레임은 다음 프레임이거나, 다음 키 프레임이거나, 일정한 시간 후의 프레임이거나, 장면(scene)이 변화된 프레임 등일 수 있다. 프로세서(320)는 새로 추출된 프레임에 대하여 생체특징 검출 동작(S620)을 수행할 수 있고, 생체특징이 검출되면 등장인물 식별 동작(S530)을 수행할 수 있다.
동작 S640에서 프로세서(320)는 검출된 생체특징에 기초하여 등장인물이 식별된 경우 비디오 콘텐트 식별 동작(S540)으로 진행하고, 등장인물이 식별되지 않은 경우 다시 프레임 추출 동작(S610)을 수행할 수 있다. 프로세서(320)는 새로 추출된 프레임에 대하여 생체특징 검출 동작(S620), 등장인물 식별 동작(S530) 등을 수행할 수 있다.
프로세서(320)는 검출된 생체특징에 기초하여 등장인물이 식별되지 않은 경우 미식별 생체특징 처리 동작(S650)을 수행할 수 있다. 이하 어떤 비디오 콘텐트에서 검출된 등장인물의 생체특징 중, 그에 기초하여 등장인물이 식별되지 않는 생체특징을, 그 비디오 콘텐트의 '미식별 생체특징'이라 부르기로 한다. 미식별 생체특징은 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물의 식별이 되지 않는 생체특징일 수 있다. 미식별 생체특징 처리 동작(S650)은 뒤에서 도 7 내지 16을 참조하여 상세히 설명한다.
동작 S660에서 프로세서(320)는 등장인물의 식별 결과에 기초하여 비디오 콘텐트가 식별된 경우 콘텐트식별자 출력 동작(S550)으로 진행하고, 비디오 콘텐트가 식별되지 않은 경우 다시 프레임 추출 동작(S610)을 수행할 수 있다. 프로세서(320)는 새로 추출된 프레임에 대하여 생체특징 검출 동작(S620), 등장인물 식별 동작(S530), 비디오 콘텐트 식별 동작(S540) 등을 수행할 수 있다.
프로세서(320)는 비디오 콘텐트가 식별된 경우 비디오 콘텐트의 콘텐트식별자를 출력하고 비디오 콘텐트 식별 과정을 종료할 수 있다. 프로세서(320)는 비디오 콘텐트가 식별된 후에도, 데이터베이스 갱신을 위해 다시 프레임 추출 동작(S610)으로 돌아가고, 생체특징 검출 동작(S620), 등장인물 식별 동작(S530) 등을 계속하여 수행할 수 있다. 이 경우 프로세서(320)는 프레임 추출 동작(S610)에서 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 경우 비디오 콘텐트 식별 과정을 종료할 수 있다. 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 경우는, 비디오 콘텐트의 모든 프레임이 추출된 경우뿐만 아니라, 일정 시간 간격으로 순차적으로 프레임을 추출하다가 비디오 콘텐트의 끝에 도달한 경우와 같이 프레임 추출의 완료를 나타내는 소정의 조건을 만족하는 경우를 포함할 수 있다. 프로세서(320)는 비디오 콘텐트가 식별되지 않은 경우에도 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 경우 비디오 콘텐트 식별 과정을 종료할 수 있다.
프로세서(320)는 동작 S630에서 생체특징이 검출된 경우 바로 등장인물 식별 동작(S530)을 수행하지 않고 다시 프레임 추출 동작(S610)을 수행하고, 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 후에 비로소 등장인물 식별 동작(S530)을 수행할 수 있다. 프로세서(320)는 동작 S640에서 검출된 생체특징에 기초하여 등장인물이 식별된 경우 바로 비디오 콘텐트 식별 동작(S540)을 수행하지 않고 다시 프레임 추출 동작(S610)을 수행하고, 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 후에 비로소 비디오 콘텐트 식별 동작(S540)을 수행할 수 있다. 프로세서(320)는 동작 S640에서 검출된 생체특징에 기초하여 등장인물이 식별되지 않은 경우 바로 미식별 생체특징 처리 동작(S650)을 수행하지 않고, 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 후에 비로소 미식별 생체특징 처리 동작(S650)을 수행할 수 있다. 다시 말해, 프로세서(320)는 비디오 콘텐트 전체에 대하여 생체특징을 수집한 후에, 등장인물 식별 동작(S530), 비디오 콘텐트 식별 동작(S540), 미식별 생체특징 처리 동작(S650) 등을 수행할 수 있다.
일 실시예에서, 프로세서(320)는 수신된 비디오 콘텐트에서 제1 프레임을 추출하고, 추출된 제1 프레임에 기초하여 비디오 콘텐트의 식별을 수행하고, 제1 프레임에 기초하여 비디오 콘텐트가 식별되지 않는 경우, 비디오 콘텐트에서 제2 프레임을 추출하고, 추출된 제2 프레임에 기초하여 비디오 콘텐트의 식별을 수행할 수 있다. 여기서 제1 프레임 및 제2 프레임 각각은 하나의 프레임이거나 복수의 프레임일 수 있다. 여기서 제2 프레임에 기초하여 비디오 콘텐트의 식별을 수행하는 것은, 제1 프레임 및 제2 프레임에 기초하여 비디오 콘텐트의 식별을 수행하는 것을 포함할 수 있다.
일 실시예에서, 프로세서(320)는 수신된 비디오 콘텐트에서 제1 프레임을 추출하고, 추출된 제1 프레임에 포함된 생체특징을 검출하고, 검출된 제1 프레임에 포함된 생체특징에 기초하여 비디오 콘텐트의 식별을 수행하고, 제1 프레임에 포함된 생체 특징에 기초하여 비디오 콘텐트가 식별되지 않는 경우, 비디오 콘텐트에서 제2 프레임을 추출하고, 추출된 제2 프레임에 포함된 생체특징을 검출하고, 검출된 제2 프레임에 포함된 생체특징에 기초하여 비디오 콘텐트의 식별을 수행할 수 있다. 여기서 제1 프레임에 포함된 생체특징 및 제2 프레임에 포함된 생체특징 각각은 하나의 생체특징이거나 복수의 생체특징일 수 있다. 여기서 제2 프레임에 포함된 생체특징에 기초하여 비디오 콘텐트의 식별을 수행하는 것은, 제1 프레임에 포함된 생체특징 및 제2 프레임에 포함된 생체특징에 기초하여 비디오 콘텐트의 식별을 수행하는 것을 포함할 수 있다.
일 실시예에서, 프로세서(320)는 수신된 비디오 콘텐트에서 제1 프레임을 추출하고, 추출된 제1 프레임에 포함된 제1 등장인물의 생체특징을 검출하고, 검출된 제1 등장인물의 생체특징에 기초하여 제1 등장인물을 식별하고, 식별된 제1 등장인물에 기초하여 비디오 콘텐트의 식별을 수행하고, 제1 등장인물에 기초하여 비디오 콘텐트가 식별되지 않는 경우, 비디오 콘텐트에서 제2 프레임을 추출하고, 제2 프레임에 포함된 제2 등장인물의 생체특징을 검출하고, 제2 등장인물의 생체특징에 기초하여 제2 등장인물을 식별하고, 제2 등장인물의 식별 결과에 기초하여 비디오 콘텐트의 식별을 수행할 수 있다. 여기서 제1 등장인물 및 제2 등장인물 각각은 하나의 등장인물이거나 복수의 등장인물일 수 있으며, 제1 등장인물과 제2 등장인물은 일부 또는 전부가 공통될 수 있다. 여기서 제2 등장인물의 생체특징에 기초하여 제2 등장인물의 식별을 수행하는 것은, 제1 등장인물의 생체특징 및 제2 등장인물의 생체특징에 기초하여 제2 등장인물의 식별을 수행하는 것을 포함할 수 있다. 제2 등장인물의 식별 결과에 기초하여 비디오 콘텐트의 식별을 수행하는 것은, 제1 등장인물의 식별 결과 및 제2 등장인물의 식별 결과에 기초하여 비디오 콘텐트의 식별을 수행하는 것을 포함할 수 있다.
일 실시예에서, 프로세서(320)는 수신된 비디오 콘텐트에서 등장인물의 생체특징을 검출하고, 검출된 등장인물의 생체특징에 기초하여 등장인물의 식별을 수행하고, 검출된 등장인물의 생체특징에 기초하여 등장인물이 식별되지 않는 경우 미식별 생체특징 처리 동작(S650)을 수행할 수 있다.
이제 도 7 내지 16을 참조하여 미식별 생체특징 처리 동작(S650)에 관하여 설명한다. 미식별 생체특징 처리 동작(S650)은, 앞서 도 6과 관련하여 설명하였듯이 비디오 콘텐트 식별 과정에서 수행될 수도 있고, 데이터베이스 갱신을 위해 비디오 콘텐트 식별 과정과 독립적으로 수행될 수도 있다. 따라서 미식별 생체특징 처리 동작(S650)은 이미 식별된 비디오 콘텐트에 대하여도 수행될 수 있다. 이 경우 프로세서(320)는 비디오 콘텐트의 콘텐트식별자를 수신할 수 있다. 미식별 생체특징 처리 동작(S650)은 각 프레임에서 검출된 적어도 하나의 미식별 생체특징에 대하여 수행되거나, 복수의 프레임들에서 검출된 미식별 생체특징들에 대하여 수행될 수 있으며, 전술하였듯이 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 후에 그동안 수집된 미식별 생체특징들에 대하여 수행될 수도 있다.
도 7은 본 개시의 일 실시예에 의한 미식별 생체특징 처리 동작의 흐름을 나타낸 흐름도이다. 도 7을 참조하면, 동작 S710에서 프로세서(320)는 비디오 콘텐트에서 검출된 적어도 하나의 생체특징 중 등장인물 식별을 할 수 없는 생체특징을 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장함으로써 콘텐트별 미식별 생체특징 데이터베이스(430)를 갱신할 수 있다. 콘텐트별 미식별 생체특징 데이터베이스(430)는 각 비디오 콘텐트의 미식별 생체특징을 해당 비디오 콘텐트에 매칭시켜 저장한 데이터베이스이다. 여기서 데이터베이스에 저장되는 생체특징은 생체특징 자체뿐만 아니라 고유한 생체특징을 나타내는 어떠한 종류의 정보도 포함할 수 있음은 전술한 바와 같다.
일 실시예에서, 프로세서(320)는 비디오 콘텐트의 미식별 생체특징을 비디오 콘텐트의 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다. 뒤에서 설명하듯이, 일 실시예에서 프로세서(320)는 비디오 콘텐트에 대하여, 식별되지 않은 등장인물의 목록을 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
일 실시예에서, 프로세서(320)는 비디오 콘텐트가 아직 식별되지 않은 경우에도 비디오 콘텐트의 미식별 생체특징을 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다. 이 경우 비디오 콘텐트의 콘텐트식별자를 알 수 없기 때문에 임시 콘텐트식별자가 이용될 수 있다. 즉, 프로세서(320)는 식별되지 않은 비디오 콘텐트에 대하여 임시 콘텐트식별자를 생성하고, 비디오 콘텐트의 미식별 생체특징을 비디오 콘텐트의 임시 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다. 임시 콘텐트식별자는 추후 비디오 콘텐트가 식별되면 정식 콘텐트식별자로 교체되거나 정식 콘텐트식별자에 매칭될 수 있다. 임시 콘텐트식별자와 정식 콘텐트식별자를 서로 매칭시킨다는 것은 두 콘텐트식별자가 동일한 비디오 콘텐트를 가리킨다는 정보를 메모리 또는 데이터베이스에 저장하는 것을 말한다. 뒤에서 설명하듯이, 일 실시예에서 프로세서(320)는 식별되지 않은 비디오 콘텐트에 대하여, 식별된 등장인물의 목록을 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
일 실시예에서, 프로세서(320)는 비디오 콘텐트에서 검출된 생체특징 및 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물이 식별되지 않는 경우, 검출된 생체 특징을 비디오 콘텐트의 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다. 일 실시예에서, 프로세서(320)는 비디오 콘텐트에서 검출된 생체특징 및 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물이 식별되지 않는 경우, 비디오 콘텐트에 대한 임시 콘텐트식별자를 생성하고, 검출된 생체 특징을 비디오 콘텐트에 대한 임시 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
프로세서(320)는 비디오 콘텐트에서 검출된 생체특징들 중 동일 인물에 속하는 생체특징들을 서로 매칭시켜 메모리 또는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다. 동일 인물에 속하는 생체특징들은 서로 같은 종류의 생체특징들이거나 서로 다른 종류의 생체특징들일 수 있다. 동일 인물에 속하는 생체특징들은 동일한 프레임에서 추출된 생체특징들이거나 서로 다른 프레임에서 추출된 생체특징들일 수 있다. 여러 생체특징들이 동일 인물에 속하는지 여부는 다양한 방법으로 결정될 수 있다. 예를 들어 비디오 콘텐트의 영상에서 하나의 사람의 형상이 인식된 경우, 해당 사람의 형상에 포함되는 안면 형상, 귀 형상, 손 형상, 및 걸음걸이 등은 동일 인물에 속하는 것으로 판단될 수 있다. 도 8은 본 개시의 일 실시예에 의해 비디오 콘텐트의 영상에서 하나의 사람 형상이 인식된 경우를 도시한 도면이다. 도 8에서 인식된 사람 형상(a)의 손 형상(b), 안면 형상(c), 및 귀 형상(d)은 동일 인물에 속하는 생체특징들로 판단될 수 있다. 다른 예로, 비디오 콘텐트에서 음성이 검출되는 경우, 비디오 콘텐트의 영상을 분석하여 해당 음성에 맞게 입을 움직이는 얼굴을 검출할 수 있으며, 이에 따라 해당 음성과 해당 안면 형상이 동일 인물에 속하는 것으로 결정할 수 있다. 여러 생체특징들이 동일 인물에 속하는지 여부는 기계학습을 통해 결정될 수 있다.
일 실시예에서, 프로세서(320)는 비디오 콘텐트에서 검출된 생체특징들 중 등장인물 식별이 되지 않는 생체특징들에 대하여, 동일한 인물에 해당하는 서로 다른 종류의 생체특징들을 서로 매칭시켜 메모리 또는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
프로세서(320)는 복수의 미식별 생체특징들을 서로 매칭시킴에 있어, 임시 인물식별자를 이용할 수 있다. 일 실시예에서, 프로세서(320)는 미식별 생체특징들에 대하여 임시 인물식별자를 생성하고, 복수의 미식별 생체특징들을 해당 임시 인물식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
프로세서(320)는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장되어 있는 미식별 생체특징들 중 본 콘텐트에서 검출된 미식별 생체특징과 매칭되는 것이 있는 경우, 콘텐트별 미식별 생체특징 데이터베이스(430)에 해당 미식별 생체특징에 매칭되어 저장되어 있는 임시 인물식별자를 본 콘텐트에서 검출된 미식별 생체특징을 저장할 때 사용하거나, 콘텐트별 미식별 생체특징 데이터베이스(430)에 해당 미식별 생체특징에 매칭되어 저장되어 있는 임시 인물식별자를 본 콘텐트에서 검출된 미식별 생체특징을 저장할 때 사용하는 임시 인물식별자와 서로 매칭시킬 수 있다. 여기서 두 생체특징이 서로 매칭된다는 것은 두 생체특징이 동일인의 것이라고 판단되는 것을 말하며, 두 임시 인물식별자를 서로 매칭시킨다는 것은 두 임시 인물식별자가 동일인을 가리킨다는 정보를 메모리 또는 데이터베이스에 저장하는 것을 말한다.
일 실시예에서, 프로세서(320)는 비디오 콘텐트에서 동일한 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체특징을 검출하고, 검출된 제1 종류의 생체특징 및 제2 종류의 생체특징에 기초하여 등장인물이 식별되지 않는 경우, 등장인물에 대한 임시 인물식별자를 생성하고, 검출된 제1 종류의 생체특징 및 제2 종류의 생체특징을 해당 등장인물의 임시 인물식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
일 실시예에서, 검출된 생체특징은 프레임 번호, 등장인물 번호, 생체특징 종류 등과 매칭되어 저장될 수 있다. 예를 들어, 생체특징이 "Frame231_Person0_HandShape"와 같은 식별자와 함께 저장될 수 있다.
도 9는 본 개시의 일 실시예에 의해 비디오 콘텐트의 생체특징들을 인물별로 분류하는 과정을 도시한 도면이다. 도 9를 참조하면, 본 개시의 일 실시예에서, 프로세서(320)는 비디오 콘텐트의 미식별 생체특징들을 기계학습을 통해 인물별로 분류할 수 있다. 프로세서(320)는 미식별 생체특징들을 인물별로 분류함에 있어 t-Distributed Stochastic Neighbor Embedding(t-SNE)을 이용할 수 있다.
일 실시예에서, 프로세서(320)는 분류된 인물에 대하여 임시 인물식별자를 생성하고, 인물별로 분류된 미식별 생체특징들을 해당 인물의 임시 인물식별자에 매칭시켜 메모리 또는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다. 이때 콘텐트별 미식별 생체특징 데이터베이스(430)에 이미 저장되어 있는 임시 인물식별자를 이용할 수도 있음은 전술한 바와 같다. 프로세서(320)는 비디오 콘텐트의 식별 여부에 따라 인물별로 분류된 생체특징들을 비디오 콘텐트의 콘텐트식별자 또는 임시 콘텐트식별자에 매칭시켜 저장할 수 있다. 즉, 프로세서(320)는 비디오 콘텐트에서 검출된 생체특징들 중 인물별 생체특징 데이터베이스(410)에 기초하여 인물 식별이 되지 않는 생체특징들을, 기계학습을 통해 인물별로 분류하고, 인물별로 분류된 생체 특징들을 해당 인물의 임시 인물식별자 및 비디오 콘텐트의 콘텐트식별자 또는 임시 콘텐트 식별자에 매칭시켜 메모리 또는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
프로세서(320)는 복수의 프레임들에서 검출된 미식별 생체특징들을 인물별로 분류하여 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있으며, 비디오 콘텐트 전체에 대하여 프레임 추출이 완료된 후에 검출된 미식별 생체특징들을 인물별로 분류하여 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
일 실시예에서, 프로세서(320)는 본 비디오 콘텐트에서 검출된 미식별 생체특징들 및 콘텐트별 미식별 생체특징 데이터베이스(430)의 미식별 생체특징들 에 기계학습을 적용하여 미식별 생체특징들을 인물별로 분류할 수 있다. 일 실시예에서, 프로세서(320)는 본 비디오 콘텐트에서 검출된 미식별 생체특징들, 인물별 생체특징 데이터베이스(410)의 생체특징들, 및 콘텐트별 미식별 생체특징 데이터베이스(430)의 미식별 생체특징들에 기계학습을 적용하여 생체특징들을 인물별로 분류할 수 있다.
일 실시예에서, 프로세서(320)는 비디오 콘텐트에서 검출된 생체특징들을 기계학습을 통해 인물별로 분류하고, 그 중 인물이 식별되지 않는 생체 특징들을 해당 인물의 임시 인물식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다.
프로세서(320)는 생체특징들 간의 거리를 산출하고, 이에 기초하여 생체특징들을 인물별로 분류할 수 있다. 이때 프로세서(320)는 한가지 종류의 생체특징에 기초하여 생체특징들을 인물별로 분류할 수도 있고, 서로 다른 종류의 생체특징들을 조합하여 생체특징들을 인물별로 분류할 수도 있다. 프로세서(320)는 각 종류의 생체특징에 대하여 거리를 산출하고, 여러 생체특징들에 대한 거리들을 조합하여 하나의 거리, 즉 조합 거리(combined distance)를 산출한 후, 이에 기초하여 생체특징들을 인물별로 분류할 수 있다. 일 일시예에서, 조합 거리는 다음 식과 같이 각 종류의 생체특징 간 거리에 가중치를 적용하여 산출될 수 있다.
Figure pat00001
여기서 Ik는 동일 인물에 속하는 생체특징들의 집합을 나타낸다. b는 생체특징의 종류를 나타내고, Db(Ik1, Ik2)는 Ik1과 Ik2 간 생체특징 b의 거리를 나타낸다. αb는 생체특징 종류 b에 대한 가중치이다. 가중치 αb는 휴리스틱 방법으로(heuristically) 결정될 수 있다. 즉, 일 실시예에서 프로세서(320)는 동일한 인물에 해당하는 서로 다른 종류의 생체특징들을 함께 이용하여 생체특징들을 인물별로 분류하되, 생체특징의 종류에 따라 가중치를 적용할 수 있다.
도 10은 이상에서 설명한 바에 따라 콘텐트별 미식별 생체특징 데이터베이스에 저장된 데이터의 일 예이다.
다시 도 7을 참조하면, 프로세서(320)는 동작 S710을 수행한 후 미식별 생체특징 처리 동작(S650)을 종료할 수 있다. 프로세서(320)는 도 6에 나타낸 것과 같이 미식별 생체특징 처리 동작(S650)을 수행한 후 다시 프레임 추출 동작(S610)을 수행할 수 있다. 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장된 미식별 생체특징들은, 추후 다른 비디오 콘텐트의 미식별 생체특징들과 비교됨으로써 그에 해당하는 등장인물이 식별될 수 있다. 즉, 프로세서(320)는 추후 콘텐트별 미식별 생체특징 데이터베이스(430)에 대하여 미식별 등장인물 식별을 수행할 수 있다.
프로세서(320)는 동작 S710 수행 후 동작 S720으로 진행하여 미식별 등장인물 식별을 수행할 수도 있다. 미식별 등장인물 식별 동작에 대하여는 뒤에서 구체적으로 설명한다. 프로세서(320)는 동작 S720에서 미식별 생체특징에 해당하는 등장인물이 식별된 경우, 동작 S730에서 이를 인물별 생체특징 데이터베이스(410)에 반영함으로써 인물별 생체특징 데이터베이스(410)를 갱신할 수 있다. 즉 프로세서(320)는 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 등장인물이 식별되는 경우, 등장인물이 식별된 생체특징을 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 여기서 데이터베이스에 저장되는 생체특징은 생체특징 자체뿐만 아니라 고유한 생체특징을 나타내는 어떠한 종류의 정보도 포함할 수 있음은 전술한 바와 같다. 등장인물이 식별된 생체특징을 인물별 생체특징 데이터베이스(410)에 반영하는 방법은 뒤에서 도 14 내지 16을 참조하여 다시 설명한다. 프로세서(320)는 식별된 등장인물에 관한 정보를 콘텐트별 미식별 생체특징 데이터베이스(430)에서 삭제할 수 있다.
도 11은 본 개시의 다른 실시예에 의한 미식별 생체특징 처리 동작의 흐름을 나타낸 흐름도이다. 도 11의 실시예를 설명함에 있어 도 7의 실시예와 관련하여 설명한 것과 중복되는 설명은 가능한 한 생략하기로 한다. 도 11을 참조하면, 동작 S1110에서 프로세서(320)는 비디오 콘텐트에서 검출된 미식별 생체특징에 대하여 미식별 등장인물 식별 동작을 수행할 수 있다. 즉, 프로세서(320)는 검출된 생체특징 및 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물이 식별되지 않는 경우, 검출된 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 등장인물의 식별을 수행할 수 있다. 미식별 등장인물 식별 동작에 대하여는 뒤에서 구체적으로 설명한다.
동작 S1120에서 프로세서(320)는 미식별 생체특징에 해당하는 등장인물이 식별되지 않은 경우 동작 S1130으로 진행하여 미식별 생체특징을 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장할 수 있다. 프로세서(320)는 미식별 생체특징에 해당하는 등장인물이 식별된 경우 동작 S1140으로 진행하여 이를 인물별 생체특징 데이터베이스(410)에 반영할 수 있다. 즉, 프로세서(320)는 본 비디오 콘텐트에서 검출된 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 등장인물이 식별되는 경우, 검출된 생체특징을 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 프로세서(320)는 식별된 등장인물에 관한 정보를 콘텐트별 미식별 생체특징 데이터베이스(430)에서 삭제할 수 있다.
이제 미식별 등장인물 식별 동작에 관하여 구체적으로 설명한다. 프로세서(320)는 비디오 콘텐트에서 검출된 생체 특징 중 인물별 생체특징 데이터베이스(410)에 기초하여 인물 식별이 되지 않는 생체특징에 대하여, 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 등장인물의 식별을 수행할 수 있다. 즉, 프로세서(320)는 본 비디오 콘텐트의 미식별 생체특징과 콘텐트별 미식별 생체특징 데이터베이스(430)를 비교하여 미식별 생체특징에 해당하는 등장인물을 식별할 수 있다. 이때 본 비디오 콘텐트의 미식별 생체특징은 콘텐트별 미식별 생체특징 데이터베이스(430)에 포함되어 있거나(도 7의 실시예) 포함되어 있지 않을 수 있다(도 11의 실시예).
프로세서(320)는 기계학습을 이용하여 등장인물을 식별할 수 있다. 일 실시예에서, 프로세서(320)는 검출된 생체특징들을 기계학습을 이용해 인물별로 분류한 후, 인물별로 분류된 생체특징들을 콘텐트별 미식별 생체특징 데이터베이스(430)와 비교하여 등장인물의 식별을 수행할 수 있다. 일 실시예에서, 프로세서(320)는 본 비디오 콘텐트의 미식별 생체특징들 및 콘텐트별 미식별 생체특징 데이터베이스(430)에 대하여 기계학습을 적용하여 등장인물의 식별을 수행할 수 있다. 일 실시예에서, 프로세서(320)는 본 비디오 콘텐트에서 검출된 미식별 생체특징들, 인물별 생체특징 데이터베이스(410)의 생체특징들, 및 콘텐트별 미식별 생체특징 데이터베이스(430)의 미식별 생체특징들에 대하여 기계학습을 적용하여 등장인물의 식별을 수행할 수 있다. 프로세서(320)는 미식별 등장인물 식별 결과에 따라 인물별 생체특징 데이터베이스(410)의 데이터를 강화하거나 그 오류를 수정할 수 있다.
프로세서(320)는 식별된 비디오 콘텐트에 대하여만 미식별 등장인물 식별 동작을 수행할 수도 있고, 식별되지 않은 비디오 콘텐트를 포함하여 미식별 등장인물 식별 동작을 수행할 수도 있다.
제1 실시예
제1 실시예는 식별된 비디오 콘텐트에 대한 미식별 등장인물 식별 동작에 관한 것이다. 이 경우 콘텐트별 미식별 생체특징 데이터베이스(430)에는 식별된 비디오 콘텐트에 관한 정보만 저장되어 있거나, 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장된 정보 중 식별된 비디오 콘텐트에 관한 정보만 이용될 수 있다.
어떤 비디오 콘텐트가 식별된 경우 콘텐트별 등장인물 데이터베이스(420)로부터 해당 비디오 콘텐트의 등장인물 목록을 알 수 있으며, 그 중 인물별 생체특징 데이터베이스(410)에 생체특징 데이터가 있는 등장인물들을 제외하면 그 비디오 콘텐트의 등장인물들 중 인물별 생체특징 데이터베이스(410)에 생체특징 데이터가 없는 등장인물들의 목록을 얻을 수 있다. 이하 어떤 비디오 컨텐트의 등장인물 중 인물별 생체특징 데이터베이스(410)에 생체특징 데이터가 없는 등장인물들의 목록을, 그 비디오 컨텐트의 '미식별 등장인물 목록'이라 부르기로 한다. 프로세서(320)는 미식별 생체특징 데이터베이스(430)에 각 비디오 컨텐트에 대하여 미식별 등장인물 목록을 저장할 수 있다.
도 12는 본 개시의 제1 실시예에 의해 미식별 인물을 식별하는 동작을 도시한 도면이다. 도 12에서 본 비디오 콘텐트에 관한 데이터는 콘텐트별 미식별 생체특징 데이터베이스(430) 포함되어 있는 것이거나(도 7의 실시예), 콘텐트별 미식별 생체특징 데이터베이스(430)에 포함되지 않은 것일 수 있는데(도 11의 실시예), 현재 분석 대상인 비디오 콘텐트라는 의미에서 편의상 콘텐트별 미식별 생체특징 데이터베이스(430)와 별도로 도시하였다. 이는 뒤에서 설명하는 도 13 내지 16, 도 18, 및 도 19에서도 마찬가지이다. 앞서 설명하였듯이 콘텐트별 미식별 생체특징들은 인물별로 분류되어 저장되어 있을 수 있다.
도 12를 참조하면, 프로세서(320)는 본 비디오 콘텐트의 미식별 등장인물 목록 및 미식별 생체특징과, 콘텐트별 미식별 생체특징 데이터베이스(430)의 비디오 콘텐트의 미식별 등장인물 목록 및 미식별 생체특징에 기초하여, 본 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물을 식별할 수 있다. 프로세서(320)는 본 비디오 콘텐트와 콘텐트별 미식별 생체특징 데이터베이스(430)의 다른 비디오 콘텐트 간에 서로 공통되는 미식별 등장인물 및 서로 매칭되는 미식별 생체특징들을 찾아냄으로써 본 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물을 알아낼 수 있다. 이때 프로세서(320)는 기계학습을 이용하여 등장인물을 식별할 수 있음은 전술한 바와 같다. 간단한 예로, 두 비디오 콘텐트 간에 공통되는 미식별 등장인물이 한 명인데, 두 비디오 콘텐트 간에 공통되는 미식별 생체특징이 있다면 해당 미식별 생체특징은 위 공통된 등장인물의 것이라고 판단할 수 있다. 이러한 판단은 추후 지속적인 데이터베이스 갱신 과정을 통해 수정되거나 보완될 수 있다.
프로세서(320)는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장된 다른 비디오 콘텐트들 중 본 비디오 콘텐트와 미식별 등장인물 목록에 공통점이 있는 비디오 콘텐트들만을 비교 대상으로 하여 연산량을 줄일 수 있다. 프로세서(320)가 미식별 등장인물 목록을 이용하지 않고 전체 등장인물 목록을 이용할 수도 있음은 물론이다.
미식별 등장인물 식별 동작은 생체특징의 종류별로 수행될 수 있다. 즉, 미식별 등장인물 목록은 생체특징의 종류별로 저장될 수 있으며, 프로세서(320)는 본 비디오 콘텐트의 특정 종류의 미식별 등장인물 목록 및 미식별 생체특징과, 콘텐트별 미식별 생체특징 데이터베이스(430)의 비디오 콘텐트의 해당 종류의 미식별 등장인물 목록 및 미식별 생체특징에 기초하여, 본 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물의 식별을 수행할 수 있다. 예를 들어, 본 비디오 콘텐트에서 손 형상이 검출된 경우, 해당 손 형상 및 본 비디오 콘텐트의 손 형상에 대한 미식별 등장인물 목록과, 콘텐트별 미식별 생체특징 데이터베이스(430)의 다른 비디오 콘텐트의 미식별 손 형상 및 손 형상에 대한 미식별 등장인물 목록에 기초하여 등장인물을 식별할 수 있다.
제2 실시예
제2 실시예는 식별되지 않은 비디오 콘텐트를 포함하여 수행되는 미식별 등장인물 식별 동작에 관한 것이다. 이 경우 콘텐트별 미식별 생체특징 데이터베이스(430)에는 식별된 비디오 콘텐트 및 식별되지 않은 비디오 콘텐트에 관한 정보가 저장되어 있을 수 있다. 제1 실시예와 관련하여 설명한 것과 중복되는 설명은 가능한 한 생략하기로 한다.
앞서 설명하였듯이 미식별 생체특징 데이터베이스(430)의 비디오 콘텐트 중 식별되지 않은 각 비디오 콘텐트는 미식별 생체특징들이 임시 콘텐트식별자에 매칭되어 저장될 수 있다. 프로세서(320)는 식별되지 않은 각 비디오 콘텐트에 대하여 식별된 등장인물의 목록을 저장할 수 있다. 이하 어떤 비디오 컨텐트에서 검출된 생체특징에 의해 식별된 등장인물의 목록을, 그 비디오 컨텐트의 '식별 등장인물 목록'이라 부르기로 한다. 여기서 식별된 등장인물은 인물별 생체특징 데이터베이스(410)에 기초하여 식별된 것일 수도 있고, 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 식별된 것일 수도 있다.
요컨대, 식별된 비디오 콘텐트에 대하여는 콘텐트식별자, 미식별 등장인물 목록, 및 미식별 생체특징이 서로 매칭되어 메모리 또는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장될 수 있고, 식별되지 않은 비디오 콘텐트에 대하여는 임시 콘텐트식별자, 식별 등장인물 목록, 및 미식별 생체특징이 서로 매칭되어 메모리 또는 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장될 수 있다.
도 13은 본 개시의 제2 실시예에 의해 미식별 인물을 식별하는 동작을 도시한 도면이다. 본 비디오 콘텐트는 식별된 것이거나 미식별된 것일 수 있으며, 도 13에는 본 비디오 콘텐트가 미식별된 경우가 도시되어 있다. 프로세서(320)는 비디오 콘텐트의 미식별 생체특징에 관한 정보를 콘텐트별 등장인물 데이터베이스(420) 및 콘텐트별 미식별 생체특징 데이터베이스(430)와 비교하여 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물을 식별할 수 있다. 이때 프로세서(320)는 식별된 비디오 콘텐트에 대하여는 미식별 등장인물 목록 및 미식별 생체특징을 이용하고, 식별되지 않은 비디오 콘텐트에 대하여는 식별 등장인물 목록 및 미식별 생체특징을 이용할 수 있다. 즉, 프로세서(320)는 콘텐트별 등장인물 데이터베이스(420), 콘텐트별 미식별 생체특징 데이터베이스(430)의 비디오 콘텐트들 및 본 비디오 콘텐트 중 식별된 각 비디오 콘텐트의 미식별 등장인물 목록과 미식별 생체특징, 및 콘텐트별 미식별 생체특징 데이터베이스(430)의 비디오 콘텐트들 및 본 비디오 콘텐트 중 식별되지 않은 각 비디오 콘텐트의 식별 등장인물 목록과 미식별 생체특징에 기초하여, 본 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물의 식별을 수행할 수 있다. 프로세서(320)가 미식별 등장인물 목록 대신 전체 등장인물 목록을 이용할 수도 있음은 물론이다.
이 과정에서 식별되지 않은 비디오 콘텐트가 식별될 수도 있다. 즉, 프로세서(320)는 콘텐트별 등장인물 데이터베이스(420), 콘텐트별 미식별 생체특징 데이터베이스(430)의 비디오 콘텐트들 및 본 비디오 콘텐트 중 식별된 각 비디오 콘텐트의 미식별 등장인물 목록과 미식별 생체특징, 및 콘텐트별 미식별 생체특징 데이터베이스(430)의 비디오 콘텐트들 및 본 비디오 콘텐트 중 식별되지 않은 각 비디오 콘텐트의 식별 등장인물 목록과 미식별 생체특징에 기초하여, 비디오 콘텐트를 식별할 수 있다. 미식별 등장인물과 미식별 비디오 콘텐트가 함께 식별되거나, 미식별 비디오 콘텐트만 식별되고 미식별 등장인물은 식별되지 않거나, 미식별 등장인물만 식별되고 미식별 비디오 콘텐트는 식별되지 않을 수 있다.
콘텐트별 미식별 생체특징 데이터베이스(430)에 저장되어 있던 서로 다른 임시 콘텐트식별자가 동일한 콘텐트를 가리키는 것으로 판단되거나, 서로 다른 임시 인물식별자가 동일 인물을 가리키는 것으로 판단될 수도 있다.
이상의 과정이 생체특징의 종류별로 수행될 수 있음은 제1 실시예에서 설명한 바와 같다. 다만 식별 등장인물 목록은 다른 종류의 생체특징에 의해 식별된 등장인물도 포함할 수 있다.
이제 인물별 생체특징 데이터베이스(410)의 갱신 동작에 관하여 구체적으로 설명한다. 인물별 생체특징 데이터베이스 갱신 동작은 비디오 콘텐트 식별 과정에서 수행될 수도 있고, 비디오 콘텐트 식별 과정과 독립적으로 수행될 수도 있다. 도 14는 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다. 도 14를 참조하면, 본 비디오 콘텐트에서 검출된 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 등장인물이 식별되는 경우, 동작 S1410에서 프로세서(320)는 본 비디오 콘텐트에서 검출된 생체특징을 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 동작 S1420에서 프로세서(320)는 본 비디오 콘텐트에서 검출된 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스(430)의 미식별 생체특징을 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 여기서 두 생체특징이 서로 매칭된다는 것은 두 생체특징이 동일인의 것이라고 판단되는 것임은 앞서 설명한 바와 같다. 프로세서(320)는 식별된 등장인물에 관한 정보를 콘텐트별 미식별 생체특징 데이터베이스(430)에서 삭제할 수 있다.
이상의 동작은 생체특징의 종류별로 수행될 수 있다. 따라서 식별된 등장인물에 대하여 등장인물 식별에 사용된 생체특징과 다른 종류의 생체 특징이 인물별 생체특징 데이터베이스(410)에 이미 저장되어 있을 수 있다.
또한, 식별된 등장인물에 대하여 등장인물 식별에 사용된 생체특징과 다른 종류의 생체 특징을 인물별 생체특징 데이터베이스(410)에 추가할 수도 있다. 도 15는 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다. 도 15를 참조하면, 프로세서(320)는 비디오 콘텐트에서 동일한 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체특징을 검출하고, 검출된 제1 종류의 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 등장인물을 식별하고, 본 비디오 콘텐트에서 검출된 해당 등장인물의 제2 종류의 생체특징을, 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 식별된 등장인물에 대하여 제3 종류의 생체 특징이 인물별 생체특징 데이터베이스(410)에 이미 저장되어 있을 수 있다.
도 16은 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다. 도 16을 참조하면, 프로세서(320)는 비디오 콘텐트에서 등장인물의 제1 종류의 생체특징을 검출하고, 검출된 제1 종류의 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스(430)에 기초하여 등장인물을 식별하고, 검출된 제1 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스(430)의 제2 종류의 생체특징을, 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 여기서 검출된 제1 종류의 생체특징에 매칭되는 제2 종류의 생체특징은, 검출된 제1 종류의 생체특징과 동일인의 것이라고 판단되는 제2 종류의 생체특징을 말한다. 검출된 제1 종류의 생체특징에 매칭되는 제2 종류의 생체특징은, 검출된 제1 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스(430)의 제1 종류의 생체특징과 동일한 임시 인물식별자에 매칭되어 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장되어 있는 제2 종류의 생체특징일 수 있다. 식별된 등장인물에 대하여 제3 종류의 생체 특징이 인물별 생체특징 데이터베이스(410)에 이미 저장되어 있을 수 있다. 프로세서(320)는 식별된 등장인물에 관한 정보를 콘텐트별 미식별 생체특징 데이터베이스(430)에서 삭제할 수 있다.
한편, 인물별 생체특징 데이터베이스(410)에 기초하여 식별에 성공한 등장인물에 대하여도 생체특징 정보가 갱신될 수 있다. 예를 들어 인물별 생체특징 데이터베이스(410) 어떤 배우에 대한 얼굴 형상 정보만 있고 다른 생체특징 정보는 없을 때, 비디오 콘텐트에서 해당 배우의 얼굴 형상들이 검출되면 이를 인물별 생체특징 데이터베이스(410)에 반영하여 얼굴 형상 정보를 강화할 수 있으며, 해당 배우의 다른 생체특징 정보(예: 손 형상, 귀 형상, 음성, 걸음 걸이)가 검출되면 이를 인물별 생체특징 데이터베이스(410)에 추가할 수 있다. 도 17은 본 개시의 일 실시예에 의해 얼굴이 식별된 배우에 대해 손 형상 및 귀 형상 데이터를 인물별 생체특징 데이터베이스에 추가하는 과정을 도시한 그림이다.
도 18은 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다. 도 18을 참조하면, 프로세서(320)는 비디오 콘텐트에서 동일한 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체 특징을 검출하고, 검출된 제1 종류의 생체특징 및 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물을 식별하고, 검출된 제2 종류의 생체특징을 식별된 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 프로세서(320)는 검출된 제1 종류의 생체특징을 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장함으로써 해당 등장인물의 제1 종류의 생체특징 정보를 강화할 수도 있다.
또한, 제2 종류의 생체특징 및 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물을 식별할 수 없는 경우, 제2 종류의 생체특징이 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장된 다른 미식별 생체특징에 매칭되는 경우가 있을 수 있다. 이 경우 해당 미식별 생체특징에 기초하여 인물별 생체특징 데이터베이스(410)를 갱신할 수 있다. 여기서 해당 미식별 생체특징은 제2 종류의 생체특징과 같은 종류이거나 다른 종류일 수 있다. 예를 들어, 비디오 콘텐트에서 배우의 얼굴 형상과 손 형상이 검출되고, 검출된 얼굴 형상 및 인물별 생체특징 데이터베이스(410)에 기초하여 배우가 식별되고, 검출된 손 형상에 대응되는 손 형상 데이터가 콘텐트별 미식별 생체특징 데이터베이스(430)에서 발견된 경우, 콘텐트별 미식별 생체특징 데이터베이스(430)의 해당 손 형상 데이터를, 검출된 얼굴 형상에 기초하여 식별된 배우의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 나아가, 콘텐트별 미식별 생체특징 데이터베이스(430)에 해당 손 형상 데이터와 동일한 임시 인물식별자에 매칭된 음성 데이터가 있는 경우, 이를 식별된 배우의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다.
도 19는 본 개시의 일 실시예에 의해 인물별 생체특징 데이터베이스를 갱신하는 동작을 도시한 도면이다. 도 19를 참조하면, 프로세서(320)는 비디오 콘텐트에서 동일한 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체특징을 검출하고, 검출된 제1 종류의 생체특징 및 인물별 생체특징 데이터베이스(410)에 기초하여 등장인물을 식별할 수 있다. 동작 S1910에서 프로세서(320)는 검출된 제2 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스(430)의 제2 종류의 생체특징을 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 동작 S1920에서 프로세서(320)는 검출된 제2 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스(430)의 제3 종류의 생체특징을 해당 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스(410)에 저장할 수 있다. 여기서 검출된 제2 종류의 생체특징에 매칭되는 제3 종류의 생체특징은, 검출된 제2 종류의 생체특징과 동일인의 것이라고 판단되는 제3 종류의 생체특징을 말한다. 검출된 제2 종류의 생체특징에 매칭되는 제3 종류의 생체특징은, 검출된 제2 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스(430)의 제2 종류의 생체특징과 동일한 임시 인물식별자에 매칭되어 콘텐트별 미식별 생체특징 데이터베이스(430)에 저장되어 있는 제3 종류의 생체특징일 수 있다. 프로세서(320)는 콘텐트별 미식별 생체특징 데이터베이스(430)에서는 관련 데이터들을 삭제할 수 있다.
도 14 내지 19를 참조하여 설명한 등장인물의 생체특징을 이용한 인물별 생체특징 데이터베이스(410)의 갱신 동작은 확보된 비디오 콘텐트들에 대하여 지속적으로 수행됨으로써 인물별 생체특징 데이터베이스(410)가 점점 더 완벽해지도록 할 수 있다. 전술하였듯이 인물별 생체특징 데이터베이스(410)의 갱신 과정은 비디오 콘텐트의 식별 과정과 무관하게 별도로 수행될 수 있다. 따라서 인물별 생체특징 데이터베이스(410)의 갱신 동작은 비디오 콘텐트의 식별 과정을 수행하지 않고 데이터베이스 갱신 동작만 수행하는 별도의 장치에 의해 수행될 수도 있다.
도 20은 본 개시의 일 실시예에 의한 생체특징 데이터베이스 갱신 장치의 구성을 개략적으로 도시한 블록도이다. 도 20을 참조하면, 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 생체특징 데이터베이스 갱신 장치(2000)는, 하나 이상의 인스트럭션들을 저장하는 메모리(2010) 및 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서(2020)를 포함할 수 있다. 메모리(2010)는 하나의 메모리이거나, 복수의 메모리일 수 있다. 프로세서(2020)는 하나의 프로세서이거나, 복수의 프로세서일 수 있다. 프로세서(2020)는 비디오 콘텐트를 수신하고, 수신된 비디오 콘텐트에서 등장인물의 생체특징을 검출하고, 검출된 생체특징에 기초하여 등장인물의 식별을 수행하고, 검출된 생체특징 및 등장인물의 식별 결과에 기초하여 인물별 생체특징 데이터베이스(410)를 갱신할 수 있다. 프로세서(2020)는 비디오 콘텐트의 콘텐트식별자를 수신하고, 이를 이용하여 인물별 생체특징 데이터베이스(410)를 갱신할 수 있다. 프로세서(2020)는 콘텐트별 등장인물 데이터베이스(420)를 이용하여 인물별 생체특징 데이터베이스(410)를 갱신할 수 있다. 프로세서(2020)는 콘텐트별 미식별 생체특징 데이터베이스(430)를 이용하여 인물별 생체특징 데이터베이스(410)를 갱신할 수 있다. 프로세서(2020)는 지금까지 도 1 내지 18을 참조하여 설명한 동작 중 비디오 콘텐트 식별 동작을 제외한 어떠한 동작도 수행할 수 있다. 생체특징 데이터베이스 갱신 장치(2000)는 비디오 콘텐트 식별 장치(300)에 포함될 수도 있다.
한편, 콘텐트별 등장인물 데이터베이스(420)가 완전하지 않을 수 있기 때문에, 본 개시의 일 실시예에 의한 비디오 콘텐트 식별 장치(300) 또는 생체특징 데이터베이스 갱신 장치(2000)의 프로세서는 콘텐트별 등장인물 데이터베이스(420)를 갱신할 수도 있다. 예를 들면, 어떤 영화의 출연자 목록에 등재되지 않은 무명배우가 후에 유명해진 경우, 그 영화를 분석하여 그 배우의 생체특징이 검출되면 그 영화의 출연자 목록에 그 배우를 추가할 수 있을 것이다.
일 실시예에서, 프로세서는 비디오 콘텐트에서 등장인물의 생체특징을 검출하고, 검출된 생체특징, 인물별 생체특징 데이터베이스(410), 및 해당 비디오 콘텐트의 콘텐트식별자 중 적어도 하나에 기초하여 콘텐트별 등장인물 데이터베이스(420)를 갱신할 수 있다. 프로세서는 콘텐트별 미식별 생체특징 데이터베이스(430)를 이용하여 인물별 생체특징 데이터베이스(410)를 갱신할 수 있다.
도 21은 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 나타낸 도면이다. 도 22는 본 개시의 일 실시예에 의한 미식별 등장인물 식별 및 데이터베이스 갱신 방법의 흐름을 개략적으로 나타낸 도면이다. 도 23은 본 개시의 일 실시예에 의한 미식별 등장인물 식별 및 데이터베이스 갱신 방법의 흐름을 개략적으로 나타낸 도면이다. 도 24는 본 개시의 일 실시예에 의한 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법의 흐름을 개략적으로 나타낸 도면이다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다. 또한, 본 개시에서 사용되는 데이터 베이스를 기록매체에 기록하는 것이 가능하다.
지금까지 본 개시에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 개시를 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 이러한 실시예들을 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
비록 본 명세서에 특정한 용어들이 사용되었으나 이는 단지 본 개시의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 본 개시의 각 동작은 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적 또는 개별적으로 수행될 수 있다.
본 개시의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 청구범위의 기술적 사상에 의해서 정해져야 하며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 개시된 모든 구성요소를 포함하는 것으로 이해되어야 한다.

Claims (20)

  1. 하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    비디오 콘텐트를 수신하고,
    상기 비디오 콘텐트에서 등장인물의 생체특징을 검출하고,
    상기 검출된 생체특징에 기초하여 상기 등장인물의 식별을 수행하고,
    상기 등장인물의 식별 결과에 기초하여 상기 비디오 콘텐트의 식별을 수행하고,
    상기 비디오 콘텐트의 식별 결과에 기초하여 상기 비디오 콘텐트의 콘텐트식별자를 출력하는, 비디오 콘텐트 식별 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에서 제1 프레임을 추출하고,
    상기 제1 프레임에 포함된 생체특징을 검출하고,
    상기 제1 프레임에 포함된 생체특징에 기초하여 상기 비디오 콘텐트의 식별을 수행하고,
    상기 제1 프레임에 포함된 생체특징에 기초하여 상기 비디오 콘텐트가 식별되지 않는 경우, 상기 비디오 콘텐트에서 제2 프레임을 추출하고, 상기 제2 프레임에 포함된 생체특징을 검출하고, 상기 제2 프레임에 포함된 생체특징에 기초하여 상기 비디오 콘텐트의 식별을 수행하는, 비디오 콘텐트 식별 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 검출된 생체특징 및 인물별 생체특징 데이터베이스에 기초하여 상기 등장인물의 식별을 수행하고,
    상기 등장인물의 식별 결과 및 콘텐트별 등장인물 데이터베이스에 기초하여 상기 비디오 콘텐트의 식별을 수행하는, 비디오 콘텐트 식별 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 검출된 생체특징 중 등장인물 식별이 되지 않는 생체특징을 상기 비디오 콘텐트의 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에 대한 임시 콘텐트식별자를 생성하고,
    상기 검출된 생체특징 중 등장인물 식별이 되지 않는 생체특징을 상기 비디오 콘텐트에 대한 임시 콘텐트식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  6. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에서 검출된 생체특징들 중 등장인물 식별이 되지 않는 생체특징들에 대하여, 동일한 인물에 해당하는 서로 다른 종류의 생체특징들을 서로 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에서 검출된 생체특징들 중 등장인물 식별이 되지 않는 생체특징들을 기계학습을 통해 인물별로 분류하고,
    상기 인물별로 분류된 생체특징들을 해당 인물의 임시 인물식별자에 매칭시켜 콘텐트별 미식별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  8. 제7항에 있어서,
    상기 적어도 하나의 프로세서는,
    동일한 인물에 해당하는 서로 다른 종류의 생체특징들을 함께 이용하여 생체특징들을 인물별로 분류하되, 생체특징의 종류에 따라 가중치를 적용하는, 비디오 콘텐트 식별 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에서 검출된 생체특징 중 인물별 생체특징 데이터베이스에 기초하여 등장인물 식별이 되지 않는 생체특징에 대하여, 콘텐트별 미식별 생체특징 데이터베이스에 기초하여 해당 등장인물의 식별을 수행하는, 비디오 콘텐트 식별 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 수신된 비디오 콘텐트의 미식별 등장인물 목록 및 미식별 생체특징과, 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트의 미식별 등장인물 목록 및 미식별 생체특징에 기초하여, 상기 수신된 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물을 식별하는, 비디오 콘텐트 식별 장치.
  11. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    콘텐트별 등장인물 데이터베이스,
    콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별된 각 비디오 콘텐트의 미식별 등장인물 목록과 미식별 생체특징, 및
    상기 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별되지 않은 각 비디오 콘텐트의 식별 등장인물 목록과 미식별 생체특징에 기초하여,
    상기 수신된 비디오 콘텐트의 미식별 생체특징에 해당하는 등장인물을 식별하는, 비디오 콘텐트 식별 장치.
  12. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    콘텐트별 등장인물 데이터베이스,
    콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별된 각 비디오 콘텐트의 미식별 등장인물 목록과 미식별 생체특징, 및
    상기 콘텐트별 미식별 생체특징 데이터베이스의 비디오 콘텐트들 및 상기 수신된 비디오 콘텐트 중 식별되지 않은 각 비디오 콘텐트의 식별 등장인물 목록과 미식별 생체특징에 기초하여,
    상기 수신된 비디오 콘텐트을 식별하는, 비디오 콘텐트 식별 장치.
  13. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 검출된 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고,
    상기 검출된 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  14. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에서 등장인물의 제1 종류의 생체특징을 검출하고,
    상기 검출된 제1 종류의 생체특징 및 콘텐트별 미식별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고,
    상기 검출된 제1 종류의 생체특징에 매칭되는 상기 콘텐트별 미식별 생체특징 데이터베이스의 제2 종류의 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  15. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에서 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체특징을 검출하고,
    상기 검출된 제1 종류의 생체특징 및 인물별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고,
    상기 검출된 제2 종류의 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 상기 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  16. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 비디오 콘텐트에서 등장인물의 제1 종류의 생체특징 및 제2 종류의 생체특징을 검출하고,
    상기 검출된 제1 종류의 생체특징 및 인물별 생체특징 데이터베이스에 기초하여 상기 등장인물을 식별하고,
    상기 검출된 제2 종류의 생체특징에 매칭되는 콘텐트별 미식별 생체특징 데이터베이스의 제3 종류의 생체특징을 상기 등장인물의 인물식별자에 매칭시켜 인물별 생체특징 데이터베이스에 저장하는, 비디오 콘텐트 식별 장치.
  17. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 검출된 생체특징, 상기 인물별 생체특징 데이터베이스, 및 상기 비디오 콘텐트의 콘텐트식별자 중 적어도 하나에 기초하여 상기 콘텐트별 등장인물 데이터베이스를 갱신하는, 비디오 콘텐트 식별 장치.
  18. 하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하며,
    상기 프로세서는,
    비디오 콘텐트를 수신하고,
    상기 비디오 콘텐트에서 등장인물의 생체특징을 검출하고,
    상기 검출된 생체특징에 기초하여 상기 등장인물의 식별을 수행하고,
    상기 검출된 생체특징 및 상기 등장인물의 식별 결과에 기초하여 인물별 생체특징 데이터베이스를 갱신하는, 생체특징 데이터베이스 갱신 장치.
  19. 비디오 콘텐트 식별 장치의 동작 방법으로서,
    비디오 콘텐트를 수신하는 동작;
    상기 비디오 콘텐트에서 등장인물의 생체특징을 검출하는 동작;
    상기 검출된 생체특징에 기초하여 상기 등장인물의 식별을 수행하는 동작;
    상기 등장인물의 식별 결과에 기초하여 상기 비디오 콘텐트의 식별을 수행하는 동작; 및
    상기 비디오 콘텐트의 식별 결과에 기초하여 상기 비디오 콘텐트의 콘텐트식별자를 출력하는 동작을 포함하는 비디오 콘텐트 식별 장치의 동작 방법.
  20. 제19항의 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020190095178A 2019-08-05 2019-08-05 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치 KR20210018586A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190095178A KR20210018586A (ko) 2019-08-05 2019-08-05 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치
US16/985,846 US20210044864A1 (en) 2019-08-05 2020-08-05 Method and apparatus for identifying video content based on biometric features of characters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190095178A KR20210018586A (ko) 2019-08-05 2019-08-05 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210018586A true KR20210018586A (ko) 2021-02-18

Family

ID=74499361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190095178A KR20210018586A (ko) 2019-08-05 2019-08-05 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치

Country Status (2)

Country Link
US (1) US20210044864A1 (ko)
KR (1) KR20210018586A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102504321B1 (ko) * 2020-08-25 2023-02-28 한국전자통신연구원 온라인 행동 탐지 장치 및 방법
GB2617681A (en) * 2022-02-18 2023-10-18 Samba Tv Inc Non-fingerprint-based automatic content recognition

Also Published As

Publication number Publication date
US20210044864A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
CN110147726B (zh) 业务质检方法和装置、存储介质及电子装置
WO2019119505A1 (zh) 人脸识别的方法和装置、计算机装置及存储介质
US11423702B2 (en) Object recognition method and apparatus
EP2304649B1 (en) Frame based video matching
CN108429619A (zh) 身份认证方法和系统
CN106203333A (zh) 人脸识别方法及系统
KR20160061856A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
US11893831B2 (en) Identity information processing method and device based on fundus image
CN116171473A (zh) 用于视听事件定位的双模态关系网络
KR20210033940A (ko) 인간 안면 인식을 위하여 신경 네트워크를 트레이닝시키는 방법
CN114492601A (zh) 资源分类模型的训练方法、装置、电子设备及存储介质
Tian et al. Sequential deep learning for disaster-related video classification
KR20210018586A (ko) 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치
JP2019153092A (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
KR102433071B1 (ko) 통신 네트워크에서 센서 데이터를 처리하기 위한 프레임 워크 및 이의 운영 방법
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
KR20170057118A (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
CN117435999A (zh) 一种风险评估方法、装置、设备以及介质
CN112560823A (zh) 基于分布学习的自适应方差和权重的人脸年龄估计方法
CN111985434A (zh) 模型增强的人脸识别方法、装置、设备及存储介质
CN113362852A (zh) 一种用户属性识别方法和装置
CN115222047A (zh) 一种模型训练方法、装置、设备及存储介质
KR102408042B1 (ko) 그룹 기반 얼굴 인식 방법 및 장치
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
Mowla et al. Selective fuzzy ensemble learner for cognitive detection of bio-identifiable modality spoofing in MCPS