KR20170082025A - 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법 - Google Patents

기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법 Download PDF

Info

Publication number
KR20170082025A
KR20170082025A KR1020160001158A KR20160001158A KR20170082025A KR 20170082025 A KR20170082025 A KR 20170082025A KR 1020160001158 A KR1020160001158 A KR 1020160001158A KR 20160001158 A KR20160001158 A KR 20160001158A KR 20170082025 A KR20170082025 A KR 20170082025A
Authority
KR
South Korea
Prior art keywords
actor
face
learning
image data
unit
Prior art date
Application number
KR1020160001158A
Other languages
English (en)
Inventor
서용석
임동혁
김정현
박지현
서영호
손욱호
유원영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160001158A priority Critical patent/KR20170082025A/ko
Publication of KR20170082025A publication Critical patent/KR20170082025A/ko

Links

Images

Classifications

    • G06K9/00711—
    • G06K9/00221—
    • G06K9/00744—
    • G06K9/627—

Abstract

본 발명은 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법으로, 다수의 배우 얼굴 이미지 데이터를 딥 러닝 기반으로 기계 학습하는 단계와, 상기 기계 학습에 의해 생성된 배우별 얼굴 학습 모델을 이용하여 미지의 동영상으로부터 출연 배우들을 예측하고, 상기 예측된 결과에서 특정 빈도 이상으로 예측된 출연 배우 정보와 다수의 저작권을 가진 동영상들에 대한 메타 정보와 비교하여 상기 미지의 동영상이 저작권을 가진 동영상인지를 판별하는 단계를 포함한다.

Description

기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법{Apparatus and Method for Identifying Video with Copyright using Recognizing Face based on Machine Learning}
본 발명은 저작권을 가진 동영상 식별 장치 및 방법에 관한 것으로, 특히 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법에 관한 것이다.
인터넷에서 불법 유통되는 저작권을 가진 동영상을 차단하거나 필터링하는 최신 기술로 핑거프린트 기반의 저작물 필터링 방법이 널리 사용되고 있다. 그런데, 이러한 핑거프린트 기반 기술은 사전에 동영상의 저수준 신호 특징인 핑거프린트(또는 콘텐츠 DNA)를 추출하여 데이터베이스화하여야 하므로, 이를 위한 시간 및 노력을 요구한다. 또한, 이러한 데이터베이스 구축을 위해 반드시 원본 저작물이 요구되어, 데이터베이스가 구축되기 이전에 유통되는 불법 저작물에 대해서는 초기 대응이 불가능하다.
본 발명은 원본 저작물을 기반으로 하는 데이터베이스가 구축되기 이전에 유통되는 불법 저작물에 대한 초기 대응이 가능하도록 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법을 제공한다.
본 발명은 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법으로, 다수의 배우 얼굴 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 단계와, 상기 사전 학습에 의해 생성된 배우별 얼굴 학습 모델을 이용하여 미지의 동영상으로부터 출연 배우들을 예측하고, 상기 예측된 결과에서 특정 빈도 이상으로 예측된 출연 배우 정보와 다수의 저작권을 가진 동영상들에 대한 메타 정보와 비교하여 상기 미지의 동영상이 저작권을 가진 동영상인지를 판별하는 단계를 포함한다.
본 발명은 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치로, 다수의 배우 얼굴 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 배우 얼굴 사전 학습부와, 상기 사전 학습에 의해 생성된 배우별 얼굴 학습 모델을 이용하여 미지의 동영상으로부터 출연 배우들을 예측하고, 상기 예측된 결과에서 특정 빈도 이상으로 예측된 출연 배우 정보와 다수의 저작권을 가진 동영상들에 대한 메타 정보와 비교하여 상기 미지의 동영상을 식별하는 동영상 식별부를 포함한다.
본 발명의 기계학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법에 따르면, 딥러닝(Deep Learning) 기반 기계학습 방식을 사용함으로써 컨볼루션 신경망(CNN : Convolutional Neural Network)과 같은 다양한 딥러닝 알고리즘을 적용하여 많은 수의 배우 얼굴을 사전에 학습할 수 있으며, 이를 이용하여 저작권을 가진 동영상 식별장치 및 필터링 시스템 구축시 원본 저작물이 확보되지 않은 시점에서도 저작물에 포함된 배우 얼굴의 예측이 가능하고 이를 통해 저작물 식별이 가능한 이점이 있다.
또한, 본 발명에 따르면 기존 저작물 필터링 시스템에서 필요한 원본 동영상의 저수준 신호 특징 정보(핑거프린트 또는 콘텐츠 DNA)를 데이터베이스화하는 과정이 필요하지 않아 불법 유통되는 저작권을 가진 동영상을 초기에 효과적으로 방지할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 배우 얼굴 사전 학습부의 상세 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 동영상 식별부의 상세 구성도이다.
도 4a 및 도 4b는 딥러닝 기반으로 사전 학습하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 동영상 식별의 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 배우 얼굴 사전 학습 단계를 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 동영상 식별 단계를 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치의 구성도이다.
도 1을 참조하면, 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치(이하 '장치'로 기재함)는 크게 배우 얼굴 사전 학습부(100)와 동영상 식별부(200)를 포함한다.
배우 얼굴 사전 학습부(100)는 다수의 배우 얼굴 이미지 데이터를 딥 러닝 기반으로 사전 학습하여, 배우별 얼굴 학습 모델을 생성한다. 즉, 저작권을 가진 동영상에 등장할 수 있는 배우들의 얼굴 특징을 사전에 학습하여 얼굴 학습 모델인 특징맵(feature map)을 생성하는 것이다.
동영상 식별부(200)는 사전 학습에 의해 생성된 배우별 얼굴 학습 모델(특징맵)을 이용하여 미지의 동영상으로부터 적어도 하나의 출연 배우들을 예측하고, 특정 빈도 이상으로 예측된 출연 배우를 다수의 저작권을 가진 동영상들에 대한 메타 정보와 비교하여 미지의 동영상을 식별한다.
이로써, 본 발명에서는 저작권을 가진 동영상의 식별을 위한 별도의 필터링 DB를 사용하지 않으므로, 원본 동영상과 이로부터 추출한 저수준의 오디오/비디오 신호 특징 정보가 필요하지 않아, 저작권을 가진 동영상의 불법 유통을 사전에 차단할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 배우 얼굴 사전 학습부의 상세 구성도이다.
도 2를 참조하면, 배우 얼굴 사전 학습부(100)는 영상 수집부(110), 얼굴 검출부(120), 학습부(130) 및 배우별 얼굴 학습 모델 저장부(140)를 포함하고, 부가적으로 얼굴 정렬부(150)을 더 포함한다.
영상 수집부(110)는 식별하고자 하는 배우 리스트를 결정하고, 배우 리스트에 포함된 배우들이 출연한 영상들을 수집한다. 여기서, 수집되는 영상들은 웹 이미지, 예고편 동영상 및 시리즈물과 같이 다양할 수 있다.
얼굴 검출부(120)는 수집된 영상들에서 배우 얼굴 영역에 해당하는 배우 얼굴 이미지 데이터를 검출한다. 이때, 부가적으로, 얼굴 정렬부(150)는 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬한다. 즉, 얼굴 검출부(120)에 의해 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환 과정을 거쳐 정렬된 얼굴 이미지를 생성하여, 검출된 얼굴 이미지가 정면이 아닌 옆모습이라면, 이를 정렬하여 정면 얼굴 이미지를 생성한다. 이로써, 학습부(130)는 얼굴 정렬부(150)에 의해 정렬된 얼굴 이미지를 이용하여 학습하게 되므로, 그 학습 성능이 향상될 수 있다.
학습부(130)는 검출된 배우 얼굴 이미지 데이터를 딥러닝 기반으로 기계 학습하여 배우별 얼굴의 특징인 배우별 얼굴 학습 모델을 생성하여, 이를 배우별 얼굴 학습 모델 저장부(140)에 저장한다. 여기서, 학습부(130)는 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 기계학습 기법을 이용한다. 본 발명에서는 CNN 구조의 입력 이미지로부터 다단계로 특징을 추출해 학습하는 딥러닝을 이용하여 수집된 배우 얼굴 이미지를 사전 학습(pre-training)한다.
도 3은 본 발명의 일 실시 예에 따른 동영상 식별부의 상세 구성도이고, 도 4a 및 도 4b는 CNN을 이용한 배우 예측 과정을 설명하기 위한 도면이고, 도 5는 본 발명에 따른 동영상 식별의 일 예를 설명하기 위한 도면이다.
도 3을 참조하면, 동영상 식별부(200)는 얼굴 이미지 획득부(210), 배우 예측부(220) 및 동영상 매핑부(230)를 포함한다.
얼굴 이미지 획득부(210)는 미지의 동영상으로부터 검출된 배우 얼굴 이미지 데이터를 획득하는데, 상세하게는 영상 추출부(211) 및 얼굴 검출부(212)를 포함하고, 부가적으로 얼굴 정렬부(213)을 더 포함한다.
영상 추출부(211)는 미지의 동영상으로부터 얼굴 이미지가 포함된 정지 영상 프레임을 추출한다. 얼굴 검출부(212)는 추출된 영상으로부터 얼굴 영역에 해당하는 배우 얼굴 이미지를 추출한다.
이때, 부가적으로, 얼굴 정렬부(213)는 미지의 동영상으로부터 검출된 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬한다. 즉, 얼굴 검출부(212)에 의해 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환 과정을 거쳐 정렬된 얼굴 이미지를 생성하여, 검출된 얼굴 이미지가 정면이 아닌 옆모습이라면, 이를 정렬하여 정면 얼굴 이미지를 생성한다. 이로써, 배우 예측부(220)는 얼굴 정렬부(213)에 의해 정렬된 얼굴 이미지를 이용하여 학습하게 되므로, 그 학습 성능이 향상될 수 있다.
배우 예측부(220)는 정렬된 배우 얼굴 이미지 데이터와 배우별 얼굴 학습 모델과의 유사도에 따라 적어도 하나의 출연 배우를 예측한다. 여기서는, CNN을 이용하여 미지의 동영상으로부터 검출된 얼굴 이미지의 특징과 사전 학습된 배우별 얼굴 모델(특징맵)과의 유사도를 비교하여 사전 학습된 얼굴들 중에서 가장 높은 확률을 갖는 얼굴을 새로운 얼굴의 배우로 예측할 수 있다. 이는 도 4a를 참조하면, CNN 네트워크의 마지막 출력 단위가 입력 샘플에 대한 예상 확률로 나타나기 때문이다. 다른 실시 예로, 도 4b와 같이 은닉층(hidden layer)의 출력값들을 SVM(Support Vector Machine)과 같은 별도의 분류기를 이용하여 배우 얼굴을 예측하는 것도 가능하다.
여기서, CNN은 입력 이미지로부터 컨볼루션(Convolution)과 서브 샘플링(Sub-Sampling) 과정을 통해 자동으로 특징을 추출하고, 학습을 통한 분류가 가능한 지도학습(supervised learning) 구조를 갖는 다층 신경망이다. 상세하게는 입력되는 얼굴 이미지에 대한 컨볼루션(Convolution) 및 풀링(Pooling)을 교대로 반복 수행한다. 여기서, 컨볼루션(Convolution)을 통해 지역적인 특징점이 획득되고, 풀링(Pooing)은 차원을 줄이는 서브 샘플링(Sub-Sampling) 과정이다. 또한, 다층 퍼셉트론 신경망인 완전 접속(Fully-connected) 계층이 추가되는데, 이를 통해 N개의 특징맵(Feature map)들이 생성된다.
동영상 매핑부(230)는 상세하게는, 배우 출연 빈도 산출부(231), 식별부(232) 및 메타 정보 저장부(2330을 포함한다.
배우 출연 빈도 산출부(231)는 예측된 적어도 하나의 출연 배우 각각에 대해 미지의 동영상에서 출연 빈도수를 조사한다. 예컨대, 도 5를 참조하면, (a)와 같이 미지의 동영상에서 출연 배우로 예측된 배우들인 YKS, YHJ, KOB, LKY 및 KUS 각각에 대해서 (b)와 같이 미지의 동영상에서의 출연 빈도수를 산출하여 그래프의 형태로 나타낼 수도 있다.
메타 정보 저장부(232)는 저작권을 가진 다수의 동영상들에 대한 메타 정보를 저장한다. 예컨대, 도 5를 참조하면, 메타 정보로는 (c)에서와 같이 저작물별로 출연 배우 리스트 정보가 테이블 형태로 저장될 수 있다.
식별부(233)는 출연 빈도수가 높은 순서대로 적어도 하나 이상의 배우를 선정하여, 메타 정보에 포함된 출연 배우 정보와 선정된 배우를 비교하여, 선정된 배우가 출연하는 저작권을 가진 동영상을 선별한다. 예컨대, 도 5의 (b) 참조하면, YKS, YHJ, KOB, LKY 및 KUS라는 배우가 순서대로 출연 빈도수가 높고, YKS, YHJ, KOB, LKY 및 KUS를 출연 배우 리스트로 하는 저작물인 'ABCD123'가 미지의 동영상으로 식별될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법은 크게 다수의 배우 얼굴 이미지 데이터를 딥 러닝 기반으로 사전 학습하여, 배우별 얼굴 학습 모델을 생성하는 단계(S610)와, 사전 학습에 의해 생성된 배우별 얼굴 학습 모델을 이용하여 미지의 동영상으로부터 적어도 하나의 출연 배우를 예측하고, 예측된 결과에서 특정 빈도 이상으로 예측된 출연 배우 정보와 다수의 저작권을 가진 동영상들에 대한 메타 정보와 비교하여 미지의 동영상을 식별하는 단계(S620)을 포함한다.
즉, S610에서 저작권을 가진 동영상에 등장할 수 있는 배우들의 얼굴을 사전에 학습하여 인식하도록 하여, 저작권을 가진 동영상의 식별을 위한 별도의 필터링 DB를 사용하지 않더라도, 원본 동영상과 이로부터 추출한 저수준의 오디오/비디오 신호 특징 정보가 필요하지 않아, 저작권을 가진 동영상의 불법 유통을 사전에 차단할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 배우 얼굴 사전 학습 단계를 설명하기 위한 순서도이다.
도 7을 참조하면, 장치(100)는 식별하고자 하는 배우 리스트를 결정(S611)하고, 배우 리스트에 포함된 배우들이 출연한 영상들을 수집한다(S612). 여기서, 수집되는 영상들은 웹 이미지, 예고편 동영상 및 시리즈물과 같이 다양할 수 있다.
장치(100)는 수집된 영상들에서 배우 얼굴 영역에 해당하는 배우 얼굴 이미지 데이터를 검출한다(S613). 이때, 부가적으로, 장치(100) 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬한다(S614). 즉, 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환 과정을 거쳐 정렬된 얼굴 이미지를 생성하여, 검출된 얼굴 이미지가 정면이 아닌 옆모습이라면, 이를 정렬하여 정면 얼굴 이미지를 생성한다. 이로써, 추후에 정렬된 얼굴 이미지를 이용하여 학습하게 되므로, 그 학습 성능이 향상될 수 있다.
장치(100)는 검출된 배우 얼굴 이미지 데이터를 딥러닝 기반으로 기계 학습하고(S615), 기계 학습에 의해 생성된 배우별 얼굴의 특징인 배우별 얼굴 학습 모델을 저장한다(S616). 여기서, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 학습 기법이 이용된다. 본 발명에서는 CNN 구조의 입력 이미지로부터 다단계로 특징을 추출해 학습하는 딥러닝을 이용하여 수집된 배우 얼굴 이미지를 사전 학습(pre-training)한다.
도 8은 본 발명의 일 실시 예에 따른 동영상 식별 단계를 설명하기 위한 순서도이다.
도 8을 참조하면, 장치(100)는 미지의 동영상으로부터 검출된 배우 얼굴 이미지 데이터를 획득한다(S621). 즉, 미지의 동영상으로부터 얼굴 이미지가 포함된 정지 영상 프레임을 추출하고, 추출된 영상으로부터 얼굴 영역에 해당하는 배우 얼굴 이미지를 추출한다.
이때, 부가적으로, 장치(100)는 미지의 동영상으로부터 검출된 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬한다(S622). 즉, 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환 과정을 거쳐 정렬된 얼굴 이미지를 생성하여, 검출된 얼굴 이미지가 정면이 아닌 옆모습이라면, 이를 정렬하여 정면 얼굴 이미지를 생성한다. 이로써, 추후에 정렬된 얼굴 이미지를 이용하여 예측하게 되므로, 그 예측 성능이 향상될 수 있다.
장치(100)는 정렬된 배우 얼굴 이미지 데이터와 배우별 얼굴 학습 모델과의 유사도에 따라 적어도 하나의 출연 배우를 예측한다(S623). 여기서는, CNN을 이용하여 미지의 동영상으로부터 검출된 얼굴 이미지와 사전 학습된 배우별 얼굴 모델과의 유사도를 비교하여 사전 학습된 얼굴들 중에서 가장 높은 확률을 갖는 얼굴을 새로운 얼굴의 배우로 예측할 수 있다. 이는 도 4a를 참조하면, CNN 네트워크의 마지막 출력 단위가 입력 샘플에 대한 예상 확률로 나타나기 때문이다. 다른 실시 예로, 도 4b와 같이 은닉층(hidden layer)의 출력값들을 SVM(Support Vector Machine)과 같은 별도의 분류기를 이용하여 배우 얼굴을 예측하는 것도 가능하다.
장치(100)는 예측된 적어도 하나의 출연 배우 각각에 대해 미지의 동영상에서 출연 빈도수를 산출한다(S624). 예컨대, 도 5를 참조하면, (a)와 같이 미지의 동영상에서 출연 배우로 예측된 배우들인 YKS, YHJ, KOB, LKY 및 KUS 각각에 대해서 (b)와 같이 미지의 동영상에서의 출연 빈도수를 산출하여 그래프의 형태로 나타낼 수도 있다.
장치(100)는 출연 빈도수가 높은 순서대로 적어도 하나 이상의 배우를 선정하여, 메타 정보에 포함된 출연 배우 정보와 선정된 배우를 비교하여(S625), 선정된 배우가 출연하는 저작권을 가진 동영상을 식별한다(S626). 예컨대, 도 5의 (b) 참조하면, YKS, YHJ, KOB, LKY 및 KUS라는 배우가 순서대로 출연 빈도수가 높고, YKS, YHJ, KOB, LKY 및 KUS를 출연 배우 리스트로 하는 저작물인 'ABCD123'가 미지의 동영상으로 식별될 수 있다.

Claims (12)

  1. 다수의 배우 얼굴 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 단계와,
    상기 사전 학습에 의해 생성된 배우별 얼굴 학습 모델을 이용하여 미지의 동영상으로부터 적어도 하나의 출연 배우들을 예측하고, 상기 예측된 결과에서 특정 빈도 이상으로 예측된 출연 배우 정보와 다수의 저작권을 가진 동영상들에 대한 메타 정보와 비교하여 상기 미지의 동영상이 저작권을 가진 동영상인지를 판별하는 단계를 포함함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법.
  2. 제1 항에 있어서, 상기 사전 학습하는 단계는
    식별하고자 하는 배우 리스트를 결정하는 단계와,
    상기 배우 리스트에 포함된 배우들이 출연한 영상들을 수집하는 단계와,
    상기 수집된 영상들에서 배우 얼굴 이미지 데이터를 검출하는 단계와,
    상기 검출된 배우 얼굴 이미지 데이터를 딥러닝 기반으로 사전 학습하는 단계와,
    상기 사전 학습을 통해 생성된 배우별 얼굴 학습 모델을 저장하는 단계를 포함함을 특징으로 하는 저작권을 가진 동영상 식별 방법.
  3. 제1 항에 있어서, 상기 사전 학습하는 단계는
    상기 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬하는 단계를 더 포함하고,
    상기 정렬된 배우 얼굴 이미지 데이터를 사전 학습함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법.
  4. 제1 항에 있어서, 상기 사전 학습하는 단계는
    DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 학습 기법을 이용함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법.
  5. 제1 항에 있어서, 상기 식별하는 단계는
    상기 미지의 동영상으로부터 검출된 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬하고, 상기 정렬된 배우 얼굴 이미지 데이터와 상기 배우별 얼굴 학습 모델과의 유사도에 따라 하나의 출연 배우를 예측함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법.
  6. 제1 항에 있어서, 상기 식별하는 단계는
    상기 예측된 적어도 하나의 출연 배우 각각에 대해 상기 미지의 동영상에서 출연 빈도수를 조사하는 단계와,
    상기 출연 빈도수가 높은 순서대로 적어도 하나 이상의 배우를 선정하는 단계와,
    상기 다수의 저작권을 가진 동영상들에 대한 메타 정보에 포함된 출연 배우 정보와 선정된 배우를 비교하여, 상기 선정된 배우가 출연하는 저작권을 가진 동영상을 선별하는 단계를 포함함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 방법.
  7. 다수의 배우 얼굴 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 배우 얼굴 사전 학습부와,
    상기 사전 학습에 의해 생성된 배우별 얼굴 학습 모델을 이용하여 미지의 동영상으로부터 적어도 하나의 출연 배우들을 예측하고, 상기 예측된 결과에서 특정 빈도 이상으로 예측된 출연 배우 정보와 다수의 저작권을 가진 동영상들에 대한 메타 정보와 비교하여 상기 미지의 동영상을 식별하는 동영상 식별부를 포함함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치.
  8. 제7 항에 있어서, 상기 배우 얼굴 사전 학습부는
    식별하고자 하는 배우 리스트를 결정하고, 상기 배우 리스트에 포함된 배우들이 출연한 영상들을 수집하는 영상 수집부와,
    상기 수집된 영상들에서 배우 얼굴 이미지 데이터를 검출하는 얼굴 검출부와,
    상기 검출된 배우 얼굴 이미지 데이터를 딥러닝 기반으로 사전 학습하는 학습부와,
    상기 사전 학습을 통해 생성된 배우별 얼굴 학습 모델(특징)을 저장하는 배우별 얼굴 학습 모델 저장부를 포함함을 특징으로 하는 저작권을 가진 동영상 식별 장치.
  9. 제7 항에 있어서, 상기 배우 얼굴 사전 학습부는
    상기 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬하는 얼굴 정렬부를 더 포함하고,
    상기 정렬된 배우 얼굴 이미지 데이터를 사전 학습함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치.
  10. 제7 항에 있어서, 상기 배우 얼굴 사전 학습부는
    DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 학습 기법을 이용함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치.
  11. 제7 항에 있어서, 상기 동영상 식별부는
    상기 미지의 동영상으로부터 검출된 배우 얼굴 이미지 데이터를 정면에서의 이미지로 정렬하고, 상기 정렬된 배우 얼굴 이미지 데이터와 상기 배우별 얼굴 학습 모델과의 유사도에 따라 하나의 출연 배우를 예측함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치.
  12. 제7 항에 있어서, 상기 동영상 식별부는
    다수의 저작권을 가진 동영상들에 대한 메타 정보를 저장하는 메타 정보 저장부와,
    상기 예측된 적어도 하나의 출연 배우 각각에 대해 상기 미지의 동영상에서 출연 빈도수를 조사하는 배우 출연 빈도 산출부와,
    상기 출연 빈도수가 높은 순서대로 적어도 하나 이상의 배우를 선정하여, 상기 메타 정보에 포함된 출연 배우 정보와 상기 선정된 배우를 비교하여, 상기 선정된 배우가 출연하는 저작권을 가진 동영상을 선별하는 식별부를 포함함을 특징으로 하는 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치.
KR1020160001158A 2016-01-05 2016-01-05 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법 KR20170082025A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160001158A KR20170082025A (ko) 2016-01-05 2016-01-05 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160001158A KR20170082025A (ko) 2016-01-05 2016-01-05 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170082025A true KR20170082025A (ko) 2017-07-13

Family

ID=59352744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001158A KR20170082025A (ko) 2016-01-05 2016-01-05 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170082025A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098775A (ko) * 2018-01-12 2019-08-23 상명대학교산학협력단 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법
KR20200075082A (ko) * 2018-12-10 2020-06-26 비비트리 주식회사 크라우드소싱 이미지의 초상권 및 재산권 등록 시스템 및 방법
WO2021061511A1 (en) 2019-09-26 2021-04-01 Gracenote, Inc. Obtaining artist imagery from video content using facial recognition
KR20210086370A (ko) 2019-12-31 2021-07-08 숭실대학교산학협력단 공유 저작물 권리관리정보 제공 시스템 및 방법
WO2022186539A1 (ko) * 2021-03-05 2022-09-09 오드컨셉 주식회사 이미지 분류 기반 유명인 식별 방법 및 장치
US11915429B2 (en) 2021-08-31 2024-02-27 Gracenote, Inc. Methods and systems for automatically generating backdrop imagery for a graphical user interface

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098775A (ko) * 2018-01-12 2019-08-23 상명대학교산학협력단 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법
KR20200075082A (ko) * 2018-12-10 2020-06-26 비비트리 주식회사 크라우드소싱 이미지의 초상권 및 재산권 등록 시스템 및 방법
WO2021061511A1 (en) 2019-09-26 2021-04-01 Gracenote, Inc. Obtaining artist imagery from video content using facial recognition
US11062127B2 (en) 2019-09-26 2021-07-13 Gracenote, Inc. Obtaining artist imagery from video content using facial recognition
CN114467125A (zh) * 2019-09-26 2022-05-10 格雷斯诺特公司 使用面部识别从视频内容中获取艺术家图像
US11568678B2 (en) 2019-09-26 2023-01-31 Gracenote, Inc. Obtaining artist imagery from video content using facial recognition
US11568679B2 (en) 2019-09-26 2023-01-31 Gracenote, Inc. Obtaining artist imagery from video content using facial recognition
US11790696B2 (en) 2019-09-26 2023-10-17 Gracenote, Inc. Obtaining artist imagery from video content using facial recognition
EP4035065A4 (en) * 2019-09-26 2023-10-18 Gracenote, Inc. OBTAINING ARTISTIC IMAGERY FROM VIDEO CONTENT USING FACIAL RECOGNITION
KR20210086370A (ko) 2019-12-31 2021-07-08 숭실대학교산학협력단 공유 저작물 권리관리정보 제공 시스템 및 방법
WO2022186539A1 (ko) * 2021-03-05 2022-09-09 오드컨셉 주식회사 이미지 분류 기반 유명인 식별 방법 및 장치
US11915429B2 (en) 2021-08-31 2024-02-27 Gracenote, Inc. Methods and systems for automatically generating backdrop imagery for a graphical user interface

Similar Documents

Publication Publication Date Title
CN107423690B (zh) 一种人脸识别方法及装置
KR102560308B1 (ko) 외관 탐색을 위한 시스템 및 방법
KR20170082025A (ko) 기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법
US9008365B2 (en) Systems and methods for pedestrian detection in images
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
CN108960266B (zh) 图像目标检测方法及装置
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
JP6446971B2 (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
CN109918987B (zh) 一种视频字幕关键词识别方法及装置
US20090274364A1 (en) Apparatus and methods for detecting adult videos
US10706327B2 (en) Information processing apparatus, information processing method, and storage medium
JP4697106B2 (ja) 画像処理装置および方法、並びにプログラム
CN111639616B (zh) 一种基于深度学习的重身份识别方法
Tran et al. Sliding window based micro-expression spotting: a benchmark
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
Seddati et al. UMons at MediaEval 2015 Affective Impact of Movies Task including Violent Scenes Detection.
KR20210051473A (ko) 동영상 콘텐츠 식별 장치 및 방법
Manikandan et al. A neural network aided attuned scheme for gun detection in video surveillance images
US11423262B2 (en) Automatically filtering out objects based on user preferences
Deshpande et al. Anomaly detection in surveillance videos using transformer based attention model
CN111797762A (zh) 一种场景识别方法和系统
Ramasso et al. Belief Scheduler based on model failure detection in the TBM framework. Application to human activity recognition
CN114708578A (zh) 唇部动作检测方法、装置、可读存储介质和电子设备
Krithika et al. MAFONN-EP: A minimal angular feature oriented neural network based emotion prediction system in image processing
Huang et al. Person re-identification across multi-camera system based on local descriptors