KR102233175B1 - 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치 - Google Patents

특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치 Download PDF

Info

Publication number
KR102233175B1
KR102233175B1 KR1020170001933A KR20170001933A KR102233175B1 KR 102233175 B1 KR102233175 B1 KR 102233175B1 KR 1020170001933 A KR1020170001933 A KR 1020170001933A KR 20170001933 A KR20170001933 A KR 20170001933A KR 102233175 B1 KR102233175 B1 KR 102233175B1
Authority
KR
South Korea
Prior art keywords
actor
actors
image
subset
video
Prior art date
Application number
KR1020170001933A
Other languages
English (en)
Other versions
KR20180080864A (ko
Inventor
서용석
임동혁
유원영
박지현
김정현
서영호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170001933A priority Critical patent/KR102233175B1/ko
Priority to US15/428,247 priority patent/US10614312B2/en
Publication of KR20180080864A publication Critical patent/KR20180080864A/ko
Application granted granted Critical
Publication of KR102233175B1 publication Critical patent/KR102233175B1/ko

Links

Images

Classifications

    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06K9/00228—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상 식별을 위한 특징배우를 결정 방법이 개시된다. 복수의 영상들 각각에 출연하는 출연배우 목록을 설정하는 단계; 출연배우들을 포함하는 복수의 부분집합들을 생성하는 단계; 복수의 부분집합들 중에서 제1 영상을 유일하게 지시하는 최종집합에 속한 출연배우를 특징배우로 결정하는 단계를 포함한다. 따라서, 적은 정보만으로도 영상 식별이 가능해 질 수 있다.

Description

특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치{METHOD FOR DETERMINING SIGNATURE ACTOR AND FOR IDENTIFYING IMAGE BASED ON PROBABILITY OF APPEARANCE OF SIGNATURE ACTOR AND APPARATUS FOR THE SAME}
본 발명은 특징배우 결정 및 영상 식별 방법 및 장치 관한 것으로, 더욱 상세하게는 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치에 관한 것이다.
영상(예를 들어, 영화 또는 드라마 등)을 자동으로 식별하기 위한 기술적 방법으로 핑거프린트(또는 콘텐츠 DNA) 기반 영상 식별 방법이 있다.
다만, 핑거프린트 기반의 영상 식별 방법은, 영상을 식별하기 위해 영상의 저수준(low-level) 신호 특징인 핑거프린트를 사전에 추출하여 데이터베이스화 하는 과정이 필요하다.
이와 같은 핑거프린트 기반의 영상 식별 기술 및 이를 이용한 영상 필터링 시스템은 필터링 데이터베이스 구축을 위해 원본 영상을 필요로 한다.
또한, 핑거프린트 기반의 영상 식별 기술 및 이를 이용한 영상 필터링 시스템은 필터링 데이터베이스 구축 이전에 유통되는 불법 영상에 대해서는 초기 대응이 불가능한 기술적 한계가 존재한다.
최근에는 GPU(graphics processing unit)기반 고속 연산과 딥러닝(Deep Learning) 기술을 통해 사전 학습된 얼굴을 임의 영상에서 인식될 수 있다. 복수의 영상들은 영상에서 검출된 얼굴과 매칭되는 출연배우가 인식되면 특정 영상으로 식별될 수 있다.
하지만, 얼굴 인식에 기반한 영상 식별은 주로 영상 전구간을 탐색하는 방식으로 수행될 수 있다. 다만, 영상의 전구간을 탐색하여 식별 결과를 얻는 것은 매우 비효율적이라는 문제가 있었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 얼굴 인식에 기반한 영상의 빠른 식별을 위해 각 영상을 특정할 수 있는 특징배우를 결정하는 방법 및 장치를 제공하는데 있다.
본 발명의 다른 목적은 얼굴 인식에 기반한 영상의 빠른 식별을 위해 각 영상을 특정할 수 있는 특징배우의 출연확률을 기반으로 영상을 식별하는 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 프로세서에서 수행되는 특징배우 결정 방법은, 복수의 영상들 각각에 출연하는 출연배우를 포함하는 출연배우 목록을 설정하는 단계; 상기 출연배우 목록 중 적어도 1 이상의 출연배우들을 포함하는 복수의 부분집합들을 생성하는 단계; 상기 복수의 부분집합들 중에서 제1 영상을 유일하게 지시하는 최종집합을 결정하는 단계; 및 상기 최종집합에 속한 출연배우를 상기 제1 영상의 특징배우로 결정하는 단계를 포함한다.
여기서, 상기 출연배우 목록은 상기 복수의 영상들 각각에 출연하는 주연배우와 조연배우를 포함할 수 있다.
여기서, 상기 출연배우 목록은 출연빈도가 미리 설정된 기준 이상인 적어도 하나의 출연배우를 포함할 수 있다.
여기서, 상기 최종집합을 결정하는 단계는, 상기 복수의 부분집합들 중에서 n명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-n을 설정하는 단계; 및 상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하는 경우, 상기 제1 부분집합을 상기 최종집합으로 결정하는 단계를 포함하며, 상기 n은 1 이상의 정수일 수 있다.
여기서, 상기 최종집합을 결정하는 단계는, 상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하지 않는 경우, 상기 복수의 부분집합들 중에서 (n+1)명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-(n+1)을 설정하는 단계; 및 상기 클래스-(n+1)에 상기 제1 영상을 유일하게 지시하는 제2 부분집합이 존재하는 경우, 상기 제2 부분집합을 상기 최종집합으로 결정하는 단계를 더 포함할 수 있다.
여기서, 상기 출연빈도는 복수의 영상들에서 출연배우별 전체 출연 횟수 및 출연 시간 중에서 적어도 하나를 기초로 결정될 수 있다.
여기서, 상기 특징배우 결정 방법은, 탐색의 대상이 되는 제2 영상에 출연한 출연배우를 분석하는 단계; 및 상기 제2 영상에서 분석된 출연배우가 상기 제1 영상의 특징배우와 대응되면 상기 제2 영상을 상기 제1 영상으로 판단하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 영상으로 판단은 배우 별 출연확률을 통해 얻어진 정보에 기초할 수 있다.
여기서, 상기 제1 영상으로 판단은 상기 배우 별 출연확률을 통해 얻어진 정보에서 출연확률이 가장 높은 두 배우의 배우 별 출연확률 차이가 미리 정해진 값 이상의 정보만 사용될 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 특징배우 결정 장치는, 프로세서(processor); 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은, 복수의 영상들 각각에 출연하는 출연배우를 포함하는 출연배우 목록을 설정하고, 상기 출연배우 목록 중 적어도 1 이상의 출연배우들을 포함하는 복수의 부분집합들을 생성하고, 상기 복수의 부분집합들 중에서 제1 영상을 유일하게 지시하는 최종집합을 결정하고, 그리고 상기 최종집합에 속한 출연배우를 상기 제1 영상의 특징배우로 결정하도록 실행 가능하다.
여기서, 상기 출연배우 목록은 상기 복수의 영상들 각각에 출연하는 주연배우와 조연배우를 포함하도록 실행 가능할 수 있다.
여기서, 상기 출연배우 목록은 출연빈도가 미리 설정된 기준 이상인 적어도 하나의 출연배우를 포함하도록 실행 가능할 수 있다.
여기서, 상기 최종집합을 결정하는 경우, 상기 적어도 하나의 명령은, 상기 복수의 부분집합들 중에서 n명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-n을 설정하고, 그리고 상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하는 경우, 상기 제1 부분집합을 상기 최종집합으로 결정하도록 실행되며, 상기 n은 1 이상의 정수일 수 있다.
여기서, 상기 최종집합을 결정하는 경우, 상기 적어도 하나의 명령은, 상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하지 않는 경우, 상기 복수의 부분집합들 중에서 (n+1)명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-(n+1)을 설정하고, 그리고 상기 클래스-(n+1)에 상기 제1 영상을 유일하게 지시하는 제2 부분집합이 존재하는 경우, 상기 제2 부분집합을 상기 최종집합으로 결정하도록 실행 가능할 수 있다.
여기서, 상기 출연빈도는 복수의 영상들에서 출연배우별 전체 출연 횟수 및 출연 시간 중에서 적어도 하나를 기초로 결정되도록 실행 가능할 수 있다.
여기서, 상기 특징배우 결정 방법은, 탐색의 대상이 되는 제2 영상에 출연한 출연배우를 분석하는 단계; 및 상기 제2 영상에서 분석된 출연배우가 상기 제1 영상의 특징배우와 대응되면 상기 제2 영상을 상기 제1 영상으로 판단하는 단계를 더 포함하도록 실행 가능할 수 있다.
여기서, 상기 제1 영상으로 판단은 배우 별 출연확률을 통해 얻어진 정보에 기초하도록 실행 가능할 수 있다.
여기서, 상기 제1 영상으로 판단은 상기 배우 별 출연확률을 통해 얻어진 정보에서 출연확률이 가장 높은 두 배우의 배우 별 출연확률 차이가 미리 정해진 값 이상의 정보만 사용되도록 실행 가능할 수 있다.
본 발명에 의하면, 특징배우 결정 방법을 통해 기계 학습에 필요한 최소한의 출연배우를 사전에 결정할 수 있고, 이를 통해 식별 가능한 범위의 예측도 가능하다.
또한, 기존의 핑거프린트 기반 영상 식별에서 필요한 원본 데이터 및 원 신호에서 추출한 핑거프린트 확보가 불필요하기 때문에 신규 영상의 초기 불법 유출을 확인하는 데 유용할 수 있다.
또한, 정확한 영상 식별을 위해 전 구간 탐색이 필요 없이, 얼굴 인식 결과에서 특정 확률 값 이상의 배우들에 대해 확률 기반으로 해당 영상을 정확히 식별 가능한 장점이 있다.
도 1은 특징배우의 이용을 통해 영상을 식별하는 과정을 도시한 흐름도이다.
도 2는 특징배우를 결정하는 장치의 일 실시예를 도시한 블록도이다.
도 3은 출연배우 목록의 생성 및 갱신 과정을 도시한 흐름도이다.
도 4는 영상 별 최종 출연배우 목록 구성도를 도시한 개념도이다.
도 5는 특징배우를 결정하는 과정을 도시한 흐름도이다.
도 6은 영상의 출연배우 부분집합을 하세도표로 도시한 개념도이다.
도 7은 영화 밀정의 출연배우 부분집합을 하세도표로 도시한 개념도이다.
도 8은 영상 별 특징배우 목록의 일부를 나타낸 표(테이블)이다.
도 9는 특징배우 검색에 의한 영상 식별의 일 실시예를 도시한 개념도이다.
도 10은 특징배우 수와 이에 따른 식별 가능한 영화의 수를 나타낸 표(테이블)이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 특징배우의 이용을 통해 영상을 식별하는 과정을 도시한 흐름도이다.
도 1을 참조하면, 특징배우 결정 장치가 특징배우를 결정하는 방법은 크게 복수의 영상들의 출연배우 목록을 생성 및 갱신하는 단계(S100), 복수의 영상들 각각의 특징배우를 결정하는 단계(S110), 탐색의 대상이 되는 제2 영상에 출연한 출연배우를 분석하는 단계(S120), 제2 영상에서 분석된 출연배우가 제1 영상의 특징배우와 대응되는지 판단하는 단계(S130), 제2 영상에서 분석된 출연배우가 제1 영상의 특징배우와 대응되는 경우, 제2 영상을 제1 영상으로 판단하는 단계(S140)로 구성될 수 있다.
이러한 동작들은, 특징배우를 결정하는 장치(예를 들어, 프로세서)에 의해 수행될 수 있으며, 특징배우를 결정하는 장치는 아래와 같이 구성될 수 있다.
도 2는 특징배우를 결정하는 장치의 일 실시예를 도시한 블록도이다.
도 2를 참조하면, 특징배우를 결정하는 장치(200)는 적어도 하나의 프로세서(210) 및 메모리(220) 또한, 특징배우를 결정하는 장치(200)는 입력 인터페이스 장치(230), 출력 인터페이스 장치(240), 저장 장치(250) 등을 더 포함할 수 있다. 특징배우를 결정하는 장치(200)에 포함된 각각의 구성들은 버스(bus)(260)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(210)는 메모리(220) 및/또는 저장 장치(250)에 저장된 프로그램 명령을 실행할 수 있다. 프로세서(210)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(220)와 저장 장치(250)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(220)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
다시 도 1을 참조하면, 특징배우 결정 장치는 복수의 영상들의 출연배우 목록을 생성 및 갱신하는 단계를 통해 특징배우의 기초 데이터베이스(database)가 되는 최종 출연배우 목록을 획득할 수 있다. 출연배우 목록의 생성 및 갱신은 다음과 같이 수행될 수 있다.
도 3은 출연배우 목록의 생성 및 갱신 과정을 도시한 흐름도이다.
도 3을 참조하면, 특징배우 결정 장치는 우선 식별을 위한 복수의 영상들의 범위를 설정할 수 있다(S101).
특징배우 결정 장치는 복수의 영상들의 범위를 미리 정해진 기준시점 이후에 제작된 영상을 기준으로 분류할 수 있다. 예를 들어, 특징배우 결정 장치는 복수의 영상들의 범위를 '2010년 이후 제작된 한국영화와 TV드라마'를 기준으로 설정할 수 있다. 또한 특징배우 결정 장치는 복수의 영상들의 범위를 영상의 제작 국가, 감독, 출연배우, 장르 등으로 구분하여 분류할 수 있다.
복수의 영상들의 범위가 설정되면, 특징배우 결정 장치는 설정된 복수의 영상들의 범위 내에서 복수의 영상들의 모든 출연배우를 포함하는 원시 출연배우 목록을 생성할 수 있다(S102).
특징배우 결정 장치는 원시 출연배우 목록을 복수의 영상들에 출연하는 출연배우 중, 엑스트라(extra)를 제외한 주연배우 및 조연배우를 기준으로도 생성할 수도 있다. 예를 들어, 영화 고산자의 경우, 차승원(주연배우), 유준상(주연배우), 김인권(조연배우), 남지현(조연배우), 신동미(조연배우), 남경읍(조연배우), 공형진(조연배우), 태인호(조연배우), 김종수(조연배우), 성지루(조연배우)가 원시 출연배우 목록에 포함될 수 있다.
원시 출연배우 목록이 생성된 후, 특징배우 결정 장치는 원시 출연배우 목록에 포함된 복수의 출연배우들 중 출연빈도가 미리 설정된 기준 이상인 출연배우들을 선택할 수 있다(S103).
특징배우 결정 장치는 상기 복수의 영상들에서 출연배우별 전체 출연 횟수 및 출연 시간 중에서 적어도 하나를 기초로 출연빈도 임계값을 결정할 수 있다.
예를 들어, 특징배우 결정 장치는 '출연횟수가 5회 이상인 출연배우' 또는 '출연횟수가 7회 이상인 출연배우'라는 기준 등으로 출연횟수가 미리 정해진 기준 이상인 출연배우들을 선택할 수 있다.
특징배우 결정 장치는 출연횟수가 미리 정해진 기준 이상인 출연배우들이 선택되면, 원시 출연배우 목록을 출연횟수가 미리 정해진 기준 이상인 출연배우들을 포함하는 최종 출연배우 목록으로 갱신할 수 있다(S104).
다른 실시예로서, 원시 출연배우 목록이 생성된 후, 특징배우 결정 장치는 원시 출연배우 목록에 포함된 복수의 출연배우들 중 출연시간이 미리 설정된 기준 이상인 출연배우들을 선택할 수 있다.
예를 들어, 특징배우 결정 장치는'출연시간이 3분 이상인 출연배우' 또는 '출연시간이 5분 이상인 출연배우'라는 기준 등으로 출연시간이 미리 정해진 기준 이상인 출연배우들을 선택할 수 있다.
특징배우 결정 장치는 출연시간이 미리 정해진 기준 이상인 출연배우들이 선택되면, 원시 출연배우 목록을 출연시간이 미리 정해진 기준 이상인 출연배우들을 포함하는 최종 출연배우 목록으로 갱신할 수 있다(S104).
이러한 최종 출연배우 목록은 특징배우를 결정하기 위한 데이터베이스가 될 수 있다. 갱신된 최종 출연배우 목록의 영상 제목 별 출연배우는 다음과 같이 표현될 수 있다.
Figure 112017001609525-pat00001
여기서,
Figure 112017001609525-pat00002
는 i번째 영상의 제목일 수 있다. 여기서
Figure 112017001609525-pat00003
는 해당 영상의 출연배우일 수 있다. K는 영상의 갱신된 최종 출연배우 목록의 출연배우 숫자일 수 있다. N은 식별대상 영상의 숫자일 수 있다. 영상 별 최종 출연배우 목록을 구성한 도표는 다음과 같이 표현될 수 있다.
도 4는 영상 별 최종 출연배우 목록 구성도를 도시한 개념도이다.
도 4를 참조하면, 영상 중 국내 영화 별 최종 출연배우 목록 구성도를 도시한 개념도가 확인될 수 있다.
도 3에서 설명한 것과 동일하게 여기서,
Figure 112017001609525-pat00004
는 i번째 영상의 제목일 수 있다. 예를 들어,
Figure 112017001609525-pat00005
은 밀정, 고산자, 관상과 같은 영상의 제목을 지시할 수 있다.
Figure 112017001609525-pat00006
는 해당 영상의 최종 출연배우 목록일 수 있다. 예를 들어, 영화 밀정의 최종 출연배우 목록에는 송강호, 공유, 한지민, 엄태구가 있을 수 있다.
실제로 영화 밀정에 출연한 출연배우는 4명을 초과하지만, 도 3에서 설명했던 것처럼, 출연빈도를 기준으로 최종 출연배우 목록이 갱신되었기 때문에, 출연빈도가 높은 4명의 출연배우만 영화 밀정의 최종 출연배우 목록에 포함된 것이 확인될 수 있다.
출연빈도를 기준으로 갱신된 최종 출연배우 목록을 다시 살펴보면, 영화 고산자의 최종 출연배우 목록에는 차승원, 유준상, 김인권, 남지현, 신동미, 태인호, 공형진이 포함될 수 있다. 또한 영화 관상의 최종 출연배우 목록에는 송강호, 이정재, 백윤식, 조정석, 이종석, 김혜수, 신기원이 포함될 수 있다.
다시 도1을 참조하면, 특징배우 결정 장치는 복수의 영상들 각각의 특징배우를 결정하는 단계를 통해, 영상 식별을 위한 특징배우를 획득할 수 있다. 특징배우 결정은 다음과 같이 수행될 수 있다.
도 5는 특징배우를 결정하는 과정을 도시한 흐름도이다.
도 5를 참조하면, 특징배우 결정 장치는 복수의 영상들의 최종 출연배우 목록의 멱집합을 생성할 수 있다(S111). 멱집합이란 기준이 되는 집합의 모든 부분집합을 원소로 가지고, 그 외에는 원소가 없는 집합을 의미할 수 있다.
Figure 112017001609525-pat00007
는 집합 A의 멱집합을 의미할 수 있다.
영상 별 최종 출연배우 목록을 기준 집합으로 가정할 경우, 영상
Figure 112017001609525-pat00008
의 공집합을 제외한 멱집합
Figure 112017001609525-pat00009
은 다음과 같이 표현될 수 있다.
Figure 112017001609525-pat00010
특징배우 결정 장치는
Figure 112017001609525-pat00011
범위의 모든 영상
Figure 112017001609525-pat00012
의 공집합을 제외한 멱집합
Figure 112017001609525-pat00013
을 생성할 수 있다. 모든 멱집합
Figure 112017001609525-pat00014
의 각각의 부분집합들은 하세도표(Hasse diagram) 방식으로 표현될 수 있다. 멱집합
Figure 112017001609525-pat00015
의 하세도표는 다음과 같이 표현될 수 있다.
도 6은 영상의 출연배우 부분집합을 하세도표로 도시한 개념도이다.
도 6을 참조하면, 영상
Figure 112017001609525-pat00016
의 최종 출연배우 목록에 포함된 출연배우수가 4명인 경우에 멱집합
Figure 112017001609525-pat00017
를 하세도표로 도시한 것이 확인될 수 있다.
멱집합
Figure 112017001609525-pat00018
는 최종 출연배우 목록에 포함된 출연배우수가 4명인 경우인바, 하세도표가 4개의 클래스로 구분될 수 있다.
모든 멱집합
Figure 112017001609525-pat00019
의 각각의 부분집합들 중에서 1명의 출연배우로 구성된 적어도 하나의 부분집합들은 클래스-1(610)으로 표현될 수 있고, 2명의 출연배우로 구성된 적어도 하나의 부분집합들은 클래스-2(620)로 표현될 수 있다.
모든 멱집합
Figure 112017001609525-pat00020
의 각각의 부분집합들 중에서 3명의 출연배우로 구성된 적어도 하나의 부분집합들은 클래스-3(630)으로 표현될 수 있고, 1명의 출연배우로 구성된 적어도 하나의 부분집합들은 클래스-4(640) 로 표현될 수 있다.
구체적으로, 클래스-1(610)은 총 4개의 부분집합들({
Figure 112017001609525-pat00021
}, {
Figure 112017001609525-pat00022
}, {
Figure 112017001609525-pat00023
}, {
Figure 112017001609525-pat00024
} )을 포함할 수 있다. 클래스-2(620)는 총 6개의 부분집합들({
Figure 112017001609525-pat00025
,
Figure 112017001609525-pat00026
}, {
Figure 112017001609525-pat00027
,
Figure 112017001609525-pat00028
}, {
Figure 112017001609525-pat00029
,
Figure 112017001609525-pat00030
}, {
Figure 112017001609525-pat00031
,
Figure 112017001609525-pat00032
}, {
Figure 112017001609525-pat00033
,
Figure 112017001609525-pat00034
}, {
Figure 112017001609525-pat00035
,
Figure 112017001609525-pat00036
} )을 포함할 수 있다.
클래스-3(630)은 총 4개의 부분집합들({
Figure 112017001609525-pat00037
,
Figure 112017001609525-pat00038
,
Figure 112017001609525-pat00039
}, {
Figure 112017001609525-pat00040
,
Figure 112017001609525-pat00041
,
Figure 112017001609525-pat00042
}, {
Figure 112017001609525-pat00043
,
Figure 112017001609525-pat00044
,
Figure 112017001609525-pat00045
}, {
Figure 112017001609525-pat00046
,
Figure 112017001609525-pat00047
,
Figure 112017001609525-pat00048
} )을 포함할 수 있다. 클래스-4(640)는 총 1개의 부분집합({
Figure 112017001609525-pat00049
,
Figure 112017001609525-pat00050
,
Figure 112017001609525-pat00051
,
Figure 112017001609525-pat00052
})을 포함할 수 있다.
국내 영화를 기준으로 작성된 하세도표는 다음과 같을 수 있다.
도 7은 영화 밀정의 출연배우 부분집합을 하세도표로 도시한 개념도이다.
도 7을 참조하면, 영화 밀정의 최종 출연배우 목록에 포함된 4명의 출연배우(송강호, 공유, 한지민, 엄태구)들이 하세도표 형식으로 표현된 것이 확인될 수 있다.
구체적으로, 클래스-1(610)은 총 4개의 부분집합들({송강호}, {공유}, {한지민}, {엄태구})을 포함할 수 있다. 클래스-2(620)는 총 6개의 부분집합들({송강호, 공유}, {송강호, 한지민}, {송강호, 엄태구}, {공유, 한지민}, {공유, 엄태구}, {한지민, 엄태구})을 포함할 수 있다.
클래스-3(630)은 총 4개의 부분집합들({송강호, 공유, 한지민}, {송강호, 공유, 엄태구}, {송강호, 한지민, 엄태구}, {공유, 한지민, 엄태구})을 포함할 수 있다. 클래스-4(640)는 총 1개의 부분집합({송강호, 공유, 한지민, 엄태구})을 포함할 수 있다.
다시 도 5를 참조하면, 특징배우 결정 장치는 하세도표 형식으로 작성된
Figure 112017001609525-pat00053
범위의 모든 영상의 멱집합
Figure 112017001609525-pat00054
의 부분집합들 중에서 n명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-n을 설정할 수 있다(S112).
클래스-n에 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하는 경우, 특징배우 결정 장치는 제1 부분집합을 최종집합으로 설정할 수 있다. 여기서, n은 1 이상의 정수일 수 있다.
클래스-n에 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하지 않을 경우, 특징배우 결정 장치는 부분집합들 중 (n+1)명의 출연배우를 포함하는 클래스-(n+1)을 설정할 수 있다(S114).
클래스-(n+1)에 제1 영상을 유일하게 지시하는 제2 부분집합이 존재할 경우(S113), 특징배우 결정 장치는 제2 부분집합을 최종집합으로 결정할 수 있다. 특징배우 결정 장치는 n의 수를 1부터 증가시켜 가면서 제1 영상을 유일하게 지시하는 최종집합을 결정할 수 있다.
구체적으로, 특징배우 결정 장치는 출연배우의 수가 한 명인 클래스-1을 설정할 수 있다(S112). 특징배우 결정 장치는 설정된 클래스-1들 간 중복여부를 조사할 수 있다.
예를 들어, 영화 밀정의 경우 송강호, 공유, 한지민, 엄태구가 최종 출연배우 목록에 포함된 출연배우일 수 있다. 영화 관상의 경우 송강호, 이정재, 백윤식, 조정석, 이종석, 김혜수, 신기원이 최종 출연배우 목록에 포함된 출연배우일 수 있다.
앞서 설명된 두 영화 외에도 다수의 영화에 최종 출연배우 목록에 출연배우들이 포함되어 있을 수 있다. 이 경우, 특징배우 결정 장치는 출연배우의 수가 1인 부분집합을 각 영화 별로 생성할 수 있고, 그 결과는 다음과 같이 표현될 수 있다.
({송강호}, {공유}, {한지민}, {엄태구}), ({송강호}, {이정재}, {백윤식}), ({..}, {..}, ..)앞서 기재된 클래스-1들 간 중복되지 않는 유일한 제1 부분집합이 존재한다면(S113), 특징배우 결정 장치는 제1 부분집합을 최종집합으로 결정할 수 있다.
예를 들어, '{송강호}' 만으로 특정되는 영화가 유일하다면 송강호는 제1 부분집합이 될 수 있다. 다만, 송강호는 영화 밀정뿐만 아니라 영화 관상에도 출연하는 출연배우인바, {송강호} 라는 부분집합은 제1 부분집합이 될 수 없다.
설정된 클래스-1들 간 중복되지 않는 유일한 제1 부분집합이 존재하지 않는다면(S113), 특징배우 결정 장치는 출연배우의 수가 두 명인 클래스-2를 설정할 수 있다. 특징배우 결정 장치는 설정된 클래스-2들 간 중복여부를 조사할 수 있다.
예를 들어, 영화 밀정의 경우 송강호, 공유, 한지민, 엄태구가 최종 출연배우 목록에 포함된 출연배우일 수 있다. 영화 관상의 경우 송강호, 이정재, 백윤식이 최종 출연배우 목록에 포함된 출연배우일 수 있다.
앞서 설명된 두 영화 외에도 다수의 영화에 최종 출연배우 목록에 출연배우들이 포함되어 있을 수 있다. 이 경우, 특징배우 결정 장치는 출연배우의 수가 2인 부분집합을 각 영화 별로 생성할 수 있고, 그 결과는 다음과 같이 표현될 수 있다.
({송강호, 공유}, {송강호, 한지민}, {송강호, 엄태구}, {공유, 한지민}, {공유, 엄태구}, {한지민, 엄태구}), ({송강호, 이정재}, {이정재, 백윤식}, {백윤식, 이정재}), ({..}, {..}, ..)
앞서 기재된 클래스-2들 간 중복되지 않는 유일한 제2 부분집합이 존재한다면(S113), 특징배우 결정 장치는 제2 부분집합을 최종집합으로 결정할 수 있다.
예를 들어, '{송강호, 공유}'만으로 특정되는 영화가 밀정으로 유일하다면, 특징배우 결정 장치는 영화 밀정의 제2 부분집합인 '{송강호, 공유}'를 영화 밀정의 최종집합으로 결정할 수 있다.
설정된 클래스-2들 간 중복되지 않는 유일한 제2 부분집합이 존재하지 않는다면(S113), 특징배우 결정 장치는 출연배우의 수가 세 명인 클래스-3을 설정할 수 있다(S114).
특징배우 결정 장치는 설정된 클래스-3들 간 중복여부를 조사할 수 있다. 설정된 클래스-3들 간 중복되지 않는 유일한 제3 부분집합이 존재한다면(S113), 특징배우 결정 장치는 제3 부분집합을 최종집합으로 결정할 수 있다.
특징배우 결정 장치는 위와 같이 클래스-n에 포함된 출연배우의 수를 늘려가면서 중복되지 않는 유일한 최종집합을 결정할 수 있다.
최종집합이 결정되면, 특징배우 결정 장치는 최종집합에 속한 출연배우(들)을 제1 영상의 특징배우로 결정할 수 있다(S115). 특징배우 결정 장치는 결정된 특징배우를 임의의 영상(이하 '제2 영상')으로부터 특정 영상, 즉, 제1 영상을 식별할 경우 사용할 수 있다.
본 발명의 일 실시예로서, 국내 영화를 기준으로 특징배우를 도출한 결과 값은 다음과 같이 표현될 수 있다.
도 8은 영상 별 특징배우 목록의 일부를 나타낸 표(테이블)이다.
도 8을 참조하면, 영상 별 특징배우 목록이 확인될 수 있다. 영화 밀정의 특징배우는 송강호, 공유이다. 영화 고산자(대동여지도)의 특징배우는 차승원, 유준상일 수 있다. 영화 터널의 특징배우는 하정우, 오달수일 수 있다.
영화 덕혜옹주의 특징배우는 손예진, 박해일일 수 있다. 영화 부산행의 특징배우는 공유, 정유미일 수 있다. 영화 인천상륙작전의 특징배우는 이정재, 이범수일 수 있다. 영화 최악의 하루의 특징배우는 한예리, 권율일 수 있다.
영화 올레의 특징배우는 신하균, 박희순일 수 있다. 영화 국가대표 2의 특징배우는 수애, 오달수일 수 있다. 영화 봉이 김선달의 특징배우는 유승호, 조재현일 수 있다. 영화 아가씨의 특징배우는 김민희, 하정우일 수 있다.
영화 굿바이 싱글의 특징배우는 김혜수, 마동석일 수 있다. 영화 트릭의 특징배우는 이정진, 강예원일 수 있다. 영화 곡성의 특징배우는 곽도원, 황정민일 수 있다. 영화 사냥의 특징배우는 안성기, 조진웅일 수 있다.
다시 도 1을 참조하면, 특징배우 결정 장치는 탐색의 대상이 되는 제2 영상에 출연한 출연배우를 분석할 수 있다(S120). 탐색의 대상이 되는 제2 영상에는 저작권자로부터 허가를 받지 않은 정당한 권한이 없는 자가 사용, 배포하는 영상 등이 포함될 수 있다.
특징배우 결정 장치는 제2 영상에서 분석된 출연배우가 제1 영상의 특징배우와 대응되는지 여부를 판단할 수 있다(S130). 특징배우 결정 장치는 출연배우의 얼굴 인식을 통해 제2 영상에 출연배우가 출연하는지 여부를 판단할 수 있다.
특징배우 결정 장치는 제2 영상에서 분석된 출연배우가 제1 영상의 특징배우와 대응되는 경우, 제2 영상을 제1 영상으로 판단할 수 있다(S140). 특징배우 결정 장치는 제2 영상을 제1 영상으로 판단한 경우, 영상 분석을 종료할 수 있다.
구체적으로, 딥러닝(deep learning)과 같은 기계학습 기반의 얼굴인식 시스템에서의 인식결과는 영상내 각 얼굴 별 확률 값으로 출력될 수 있다. 얼굴 인식 시스템으로부터 아래와 같은 형식의 인식결과 로그를 얻는 것으로 가정하고, 이를 분석하여 영상을 식별하는 과정은 다음과 같을 수 있다. 영상은 다음과 같은 숫자의 조합으로 나타날 수 있다.
Figure 112017001609525-pat00055
frameNo은 전체 비디오에서 현재 프레임 번호를 의미할 수 있다. diff는 p1과 p2의 차이 값을 의미할 수 있다. p1은 얼굴인식 결과가 top1 배우일 확률을 의미할 수 있다. top1은 얼굴인식 결과 추정되는 배우명을 의미할 수 있다. p2, p3 는 각각 top2, top3 배우일 확률이며, p1, p2, p3는
Figure 112017001609525-pat00056
관계 일 수 있다.
이해를 돕기 위한 일 실시예로 얼굴인식 결과 로그는 아래와 같이 기록되었다고 가정할 수 있다.
Figure 112017001609525-pat00057
3076번째 프레임에서 검출된 얼굴은 송강호일 확률이 21.98%, 김윤석일 확률일 13.90%, 고창석일 확률이 11.35%이며, 이때 top1 배우인 송강호와 top2 배우인 김윤석의 확률값 차이 8.08이 diff값 일 수 있다.
얼굴인식 로그 파일을 이용하여 보다 상세한 저작물 식별 단계를 설명하면 다음과 같을 수 있다. 해당 프레임에서 검출된 얼굴로부터 추정한 배우의 인식 신뢰도 향상을 위해 p1과 p2의 차이값인 diff값을 이용하여 일정 값 이상의 결과만을 분석에 이용함으로써 최종 저작물 식별 결과의 정확도를 높일 수 있다.
특징배우 결정 장치는 상기 인식결과 로그에서 diff
Figure 112017001609525-pat00058
N 인 경우의 배우별 출연 확률값을 계산할 수 있다. 이때 N 값의 변경에 따라 식별 결과의 정확도가 변경될 수 있다. 본 발명의 실시예에서는 N 값을 5.0으로 설정하고, diff 값이 5.0 이상인 배우 인식 결과만을 분석에 이용하였다. 얼굴인식 결과에서 diff값이 5.0 이하인 부분은 제외한 결과는 다음과 같을 수 있다.
Figure 112017001609525-pat00059
위 정보에서 배우별 출연 확률은 아래와 같은 방법으로 계산될 수 있다.
Figure 112017001609525-pat00060
여기서
Figure 112017001609525-pat00061
는 'top1'인 배우 A가 해당 동영상에서 출연할 확률일 수 있다.
상기의 배우인식 결과 로그만을 대상으로 했을 때 배우 송강호가 영화 전체에서 출연할 확률 값은
Figure 112017001609525-pat00062
으로 계산되고,
배우 공유가 출연할 확률 값은
Figure 112017001609525-pat00063
으로 계산될 수 있다.
위와 같은 형태의 인식결과 로그가 누적되어 최종 또는 어느 순간의 배우별 출연 확률값이 아래 표 1과 같이 계산되었을 때 특징배우 결정 장치는 확률에 기반한 임의 저작물 식별 결과를 도출할 수 있다.
특징배우를 기초로 영상이 식별되는 과정은 다음과 같을 수 있다.
도 9는 특징배우 검색에 의한 영상 식별의 일 실시예를 도시한 개념도이다.
도 9를 참조하면, 제2 영상에서 탐색하고자 하는 제1 영상의 특징배우가 모두 확인되는 경우, 제1 영상의 식별이 가능할 수 있다.
특징배우 결정 장치는 제2 영상에서 1차적으로 출연배우 '송강호'가 인식된 경우, '송강호'를 특징배우로 갖는 영상은 밀정, 사도, 관상, 변호인 등이므로 아직 제2 영상을 특정할 수 없다.
그러나 특징배우 결정 장치가 제2 영상으로부터 출연배우 '공유'를 추가로 인식할 경우에는 '송강호, 공유'를 특징배우로 갖는 유일한 영상인 영화 '밀정'이 존재하기 때문에, 제2 영상을 '밀정'으로 특정할 수 있다. 특징배우를 기초로 영상이 식별되는 과정을 구체적인 설명은 다음과 같을 수 있다.
Figure 112017001609525-pat00064
연속된 인식 결과가 누적되어 최종 또는 어느 시점에서의 배우별 누적 출연 확률이 위 표 1과 같이 계산될 수 있다. 이때 'top1'으로 추정된 배우들(송강호, 공유, 박해일, 장혁)에 대해 해당 배우가 특징배우로 포함된 모든 영화들을 나열하고, 해당 영화의 출연 확률 값을 계산하면 가장 높은 확률 값을 갖는 영화를 임의 저작물의 식별 결과로 결정하는 것이 가능하다.
Figure 112017001609525-pat00065
표 2를 참조하면, 영화 밀정의 특징배우 집합은 [송강호, 공유]인데, 인식결과 로그에서 송강호, 공유 둘 다 나타났기 때문에 최종 식별 확률은 두 배우의 출연확률 평균값으로 계산될 수 있다.
부산행, 관상, 사도 등에 대해서는 특징배우 집합 중 한 명의 배우만 인식결과에 나타났기 때문에 해당배우의 출연확률을 특징배우 수인 2로 나눈 값이 최종 식별 확률 값이 될 수 있다.
따라서 상기 로그를 확률 기반으로 분석한 결과에서 영화 '밀정'이 가장 높은 확률값을 가져 임의 저작물의 최종 식별 결과가 될 수 있다.
도 10은 특징배우 수와 이에 따른 식별 가능한 영화의 수를 나타낸 표(테이블)이다.
도 10을 참조하면, 본 발명의 구체적인 일 실시예가 확인될 수 있다. 대한민국 영화 1,019편을 대상으로 총 출연빈도가 7회 이상인 최종 출연배우 목록에서 본 발명의 방법에 의해 특징배우를 결정한 결과, 총 특징배우의 수는 582명이 결정되었다.
복수의 영상들을 특징배우를 기초로 탐색한 결과, 대한민국 영화 1,019편 중 특징배우 만으로 식별이 가능한 영화의 수는 834편으로 확인되었다. 확인된바와 같이, 전체 영화 중 81.84 퍼센트의 영화는 특징배우만으로도 식별이 가능할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬, 램, 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (18)

  1. 프로세서에서 수행되는 특징배우 결정 방법으로,
    제1 영상을 포함하는 복수의 영상들 각각에 출연하는 출연배우를 포함하는 출연배우 목록을 설정하는 단계;
    상기 복수의 영상들 각각의 출연배우 목록 중 적어도 1 이상의 출연배우들을 포함하는 복수의 부분 집합들을 복수의 영상들 각각에 대해 생성하는 단계;
    상기 복수의 부분집합들 중에서 n명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-n을 설정하는 단계;
    상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하는 경우, 상기 제1 부분집합을 최종집합으로 결정하는 단계;
    상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하지 않는 경우, 상기 복수의 부분집합들 중에서 (n+1)명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-(n+1)을 설정하는 단계;
    상기 클래스-(n+1)에 상기 제1 영상을 유일하게 지시하는 제2 부분집합이 존재하는 경우, 상기 제2 부분집합을 최종집합으로 결정하는 단계;
    상기 최종집합에 속한 출연배우를 상기 제1 영상의 특징배우로 결정하는 단계;
    탐색의 대상이 되는 제2 영상에 출연한 출연배우를 분석하는 단계; 및
    상기 제2 영상에서 분석된 출연배우가 상기 제1 영상의 특징배우와 대응되면 상기 제2 영상을 상기 제1 영상으로 판단하는 단계를 포함하며,
    상기 출연배우 목록은 출연빈도가 미리 설정된 기준 이상인 적어도 하나의 출연배우를 포함하며, 상기 출연빈도는 복수의 영상들에서 출연배우별 전체 출연 횟수 및 출연 시간 중에서 적어도 하나를 기초로 결정되며,
    상기 n은 1 이상의 정수이며, n의 수를 1부터 증가시켜 가면서 제1 영상을 유일하게 지시하는 최종집합을 결정하는, 특징배우 결정 방법.
  2. 청구항 1에 있어서,
    상기 출연배우 목록은 상기 복수의 영상들 각각에 출연하는 주연배우와 조연배우를 포함하는, 특징배우 결정 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 제1 영상으로 판단은 배우 별 출연확률을 통해 얻어진 정보에 기초하는, 특징배우 결정 방법.
  9. 청구항 8에 있어서,
    상기 제1 영상으로 판단은 상기 배우 별 출연확률을 통해 얻어진 정보에서 출연확률이 가장 높은 두 배우의 배우 별 출연확률 차이가 미리 정해진 값 이상의 정보만 사용되는, 특징배우 결정 방법.
  10. 특징배우 결정 장치로서,
    프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고,
    상기 적어도 하나의 명령은,
    제1 영상을 포함하는 복수의 영상들 각각에 출연하는 출연배우를 포함하는 출연배우 목록을 설정하고,
    상기 복수의 영상들 각각의 출연배우 목록 중 적어도 1 이상의 출연배우들을 포함하는 복수의 부분집합들을 복수의 영상들 각각에 대해 생성하고,
    상기 복수의 부분집합들 중에서 n명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-n을 설정하고,
    상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하는 경우, 상기 제1 부분집합을 최종집합으로 결정하고,
    상기 클래스-n에 상기 제1 영상을 유일하게 지시하는 제1 부분집합이 존재하지 않는 경우, 상기 복수의 부분집합들 중에서 (n+1)명의 출연배우로 구성된 적어도 하나의 부분집합을 포함하는 클래스-(n+1)을 설정하고,
    상기 클래스-(n+1)에 상기 제1 영상을 유일하게 지시하는 제2 부분집합이 존재하는 경우, 상기 제2 부분집합을 최종집합으로 결정하고,
    상기 최종집합에 속한 출연배우를 상기 제1 영상의 특징배우로 결정하고,
    탐색의 대상이 되는 제2 영상에 출연한 출연배우를 분석하고, 그리고
    상기 제2 영상에서 분석된 출연배우가 상기 제1 영상의 특징배우와 대응되면 상기 제2 영상을 상기 제1 영상으로 판단하도록 실행되며,
    상기 출연배우 목록은 출연빈도가 미리 설정된 기준 이상인 적어도 하나의 출연배우를 포함하고,
    상기 출연빈도는 복수의 영상들에서 출연배우별 전체 출연 횟수 및 출연 시간 중에서 적어도 하나를 기초로 결정되며,
    상기 n은 1 이상의 정수이며, n의 수를 1부터 증가시켜 가면서 제1 영상을 유일하게 지시하는 최종집합을 결정하는, 특징배우 결정 장치.
  11. 청구항 10에 있어서,
    상기 출연배우 목록은 상기 복수의 영상들 각각에 출연하는 주연배우와 조연배우를 포함하는, 특징배우 결정 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 청구항 10에 있어서,
    상기 제1 영상으로 판단은 배우 별 출연확률을 통해 얻어진 정보에 기초하는, 특징배우 결정 장치.
  18. 청구항 17에 있어서,
    상기 제1 영상으로 판단은 상기 배우 별 출연확률을 통해 얻어진 정보에서 출연확률이 가장 높은 두 배우의 배우 별 출연확률 차이가 미리 정해진 값 이상의 정보만 사용되는, 특징배우 결정 장치.
KR1020170001933A 2017-01-05 2017-01-05 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치 KR102233175B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170001933A KR102233175B1 (ko) 2017-01-05 2017-01-05 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치
US15/428,247 US10614312B2 (en) 2017-01-05 2017-02-09 Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170001933A KR102233175B1 (ko) 2017-01-05 2017-01-05 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180080864A KR20180080864A (ko) 2018-07-13
KR102233175B1 true KR102233175B1 (ko) 2021-03-29

Family

ID=62708428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170001933A KR102233175B1 (ko) 2017-01-05 2017-01-05 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치

Country Status (2)

Country Link
US (1) US10614312B2 (ko)
KR (1) KR102233175B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180105636A (ko) 2015-10-21 2018-09-28 15 세컨즈 오브 페임, 인크. 얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치
US10936856B2 (en) 2018-08-31 2021-03-02 15 Seconds of Fame, Inc. Methods and apparatus for reducing false positives in facial recognition
CN109242802B (zh) * 2018-09-28 2021-06-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读介质
US11010596B2 (en) 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections
CN110647831A (zh) * 2019-09-12 2020-01-03 华宇(大连)信息服务有限公司 一种庭审巡查方法和系统
US11341351B2 (en) 2020-01-03 2022-05-24 15 Seconds of Fame, Inc. Methods and apparatus for facial recognition on a user device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382948B1 (ko) * 2012-11-22 2014-04-09 한국과학기술원 캐스팅 정보를 활용하여 비디오 내 등장인물 자동 인식의 정확도를 높이는 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840980B2 (en) 2004-11-04 2010-11-23 Koninklijke Philips Electronics N.V. Incorporation of lead actor information for TV recommenders
US7519217B2 (en) 2004-11-23 2009-04-14 Microsoft Corporation Method and system for generating a classifier using inter-sample relationships
KR100799557B1 (ko) 2005-10-27 2008-01-31 한국전자통신연구원 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성및 판별 방법 그리고 그 장치
KR100833987B1 (ko) 2006-11-16 2008-05-30 한국전자통신연구원 영상 검색 장치 및 그 방법
US7779040B2 (en) * 2007-09-27 2010-08-17 Amazon Technologies, Inc. System for detecting associations between items
KR20100000201A (ko) * 2008-06-24 2010-01-06 엔에이치엔(주) 두 배우를 연결하는 인물 네트워크 검색 방법 및 장치
KR100986223B1 (ko) 2008-08-07 2010-10-08 한국전자통신연구원 불법 동영상 데이터 검색 장치 및 방법
KR101294971B1 (ko) 2010-10-07 2013-08-09 주식회사 엘지유플러스 배우 관련 멀티미디어 정보 제공 장치, 방법, 및 기록 매체
US8588534B2 (en) * 2011-05-06 2013-11-19 Microsoft Corporation Staged element classification
KR101180471B1 (ko) 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382948B1 (ko) * 2012-11-22 2014-04-09 한국과학기술원 캐스팅 정보를 활용하여 비디오 내 등장인물 자동 인식의 정확도를 높이는 방법

Also Published As

Publication number Publication date
US20180189571A1 (en) 2018-07-05
US10614312B2 (en) 2020-04-07
KR20180080864A (ko) 2018-07-13

Similar Documents

Publication Publication Date Title
KR102233175B1 (ko) 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치
CN103198293A (zh) 用于指纹识别视频的系统和方法
CN106446816B (zh) 人脸识别方法及装置
US8351661B2 (en) System and method to assign a digital image to a face cluster
CN110309795B (zh) 视频检测方法、装置、电子设备及存储介质
CN108664526B (zh) 检索的方法和设备
US20130259399A1 (en) Video recommendation system and method thereof
KR102349059B1 (ko) 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
US20240153270A1 (en) System and method for merging asynchronous data sources
US10248864B2 (en) Systems and methods for contextual video shot aggregation
KR101373176B1 (ko) 복제 동영상정보 검출방법 및 장치, 저장매체
CN112954455B (zh) 一种字幕跟踪方法、装置及电子设备
Wu et al. Self-similarity-based partial near-duplicate video retrieval and alignment
US8463725B2 (en) Method for analyzing a multimedia content, corresponding computer program product and analysis device
KR20170063077A (ko) 미디어 콘텐츠 식별 방법
KR101628602B1 (ko) 프로그램의 유사도를 판단하기 위한 유사도 판단 방법 및 유사도 판단 장치
KR101111046B1 (ko) 객체 검출 정보를 이용한 유사 동영상 검색 시스템 및 방법
Zheng et al. Exif as language: Learning cross-modal associations between images and camera metadata
CN114241361A (zh) 提取视频基因及基于视频基因的视频匹配方法、装置
Burget et al. Supervised video scene segmentation using similarity measures
KR101802061B1 (ko) 얼굴 시공간 특징에 기반한 자동 생체 인증 방법 및 시스템
KR20200048413A (ko) 샷 단위 중요 객체 추출 방법 및 장치
Cotsaces et al. Semantic video fingerprinting and retrieval using face information
KR100840022B1 (ko) 프리뷰 히스토리를 참조로 디지털 데이터에 포함된 인물을인식하는 방법 및 시스템
CN113656603B (zh) 一种字段描述信息获得方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant