KR20240044621A - 합성 동영상 판별 방법 및 시스템 - Google Patents

합성 동영상 판별 방법 및 시스템 Download PDF

Info

Publication number
KR20240044621A
KR20240044621A KR1020220123858A KR20220123858A KR20240044621A KR 20240044621 A KR20240044621 A KR 20240044621A KR 1020220123858 A KR1020220123858 A KR 1020220123858A KR 20220123858 A KR20220123858 A KR 20220123858A KR 20240044621 A KR20240044621 A KR 20240044621A
Authority
KR
South Korea
Prior art keywords
video
synthesis
probabilities
image
synthesized
Prior art date
Application number
KR1020220123858A
Other languages
English (en)
Inventor
조충상
이영한
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220123858A priority Critical patent/KR20240044621A/ko
Publication of KR20240044621A publication Critical patent/KR20240044621A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

합성 동영상 판별 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 합성 동영상 판별 시스템은, 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측한 확률들을 통계적으로 분석하여 동영상 합성 여부를 판별하는 판별부 및 판별 결과를 표출하는 표출부를 포함한다. 이에 의해, 동영상을 구성하는 이미지들에 대한 합성 확률들을 종합적/통계적으로 분석함으로써 동영상 합성 여부를 최종적으로 판별함으로써 판별 정확도를 높일 수 있게 된다.

Description

합성 동영상 판별 방법 및 시스템{Fake video discrimination method and system}
본 발명은 인공지능을 이용한 동영상 처리 기술에 관한 것으로, 더욱 상세하게는 동영상에 등장하는 사람의 얼굴을 다른 사람의 얼굴로 합성한 가짜 동영상을 판별하기 위한 방법에 관한 것이다.
인공지능을 기반으로 영상의 사람 얼굴을 다른 사람의 얼굴로 합성하는 기술이 등장하였으며, 정지영상에서 나아가 최근에는 동영상에 대해서도 얼굴 합성이 이루어지고 있다.
이와 같은 합성 기술은 악의적인 의도로도 사용되는 경우가 빈번한데, 이를 테면 주변인을 비방하거나 유명인의 명예를 훼손하는 경우 등으로, 사회적으로 큰 문제를 야기하고 있다.
이에 합성 영상을 판별하기 위한 기술이 개발되고 있는데, 동영상의 경우 만족할 만한 수준의 정확도를 보이고 있지 않으며, 판별 근거가 무엇인지 확인하기 어렵다는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 동영상을 구성하는 이미지들에 대한 합성 확률들을 종합적/통계적으로 분석하여 동영상 합성 여부를 판별하는 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 합성 동영상 판별 시스템은, 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측한 확률들을 통계적으로 분석하여 동영상 합성 여부를 판별하는 판별부; 및 판별 결과를 표출하는 표출부;를 포함한다.
판별부는, 동영상에서 사람을 검출하고, 검출한 사람을 추적하는 추적부; 추적 이미지들에서 얼굴 영역들을 검출하는 검출부; 검출된 얼굴 영역들 중 적어도 두 개를 함께 분석하여, 이미지들 각각에 대한 합성 확률들을 예측하는 예측부; 예측된 합성 확률들을 통계적으로 분석하여, 동영상의 합성 여부를 판단하는 판단부;를 포함한다.
판별부는, 추적 이미지들 중 주요 이미지들을 추출하는 추출부;를 더 포함하고, 검출부는, 주요 이미지들에 대해서만 얼굴 영역들을 검출할 수 있다.
추출부는, 기추출한 주요 이미지와 이미지 값의 차이가 정해진 제1 임계값 이상 차이가 나는 이미지를 주요 이미지로 추출할 수 있다.
예측부는, 인접한 얼굴 영역 이미지 2장을 입력받아, 다중 이미지 기반 분석을 통해 합성 여부를 예측하도록 학습된 인공지능 모델을 이용하여, 이미지들 각각에 대한 합성 확률들을 예측할 수 있다.
판단부는, 예측된 합성 확률들의 평균이 제2 임계값을 초과하면, 동영상을 합성 동영상으로 판단할 수 있다.
판단부는, 예측된 합성 확률들 중 제3 임계값을 초과하는 합성 확률의 비율이 제4 임계값을 초과하면, 동영상을 합성 동영상으로 판단할 수 있다.
표출부는, 합성 여부를 판별할 동영상을 선택하고, 동영상 합성 판별을 위한 파라미터를 설정하는 영역을 표출하는 제1 표출부; 동영상, 얼굴 영역 및 합성 여부를 표시하는 제2 표출부;를 포함할 수 있다.
본 발명의 다른 실시예에 따른 합성 동영상 판별 시스템은, 예측된 합성 확률들을 동영상에서 이미지 진행에 따른 연속하는 그래프로 표시하는 제3 표출부;를 포함할 수 있다.
본 발명의 다른 실시예에 따른 합성 동영상 판별 방법은, 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측한 확률들을 통계적으로 분석하여 동영상 합성 여부를 판별하는 단계; 및 판별 결과를 표출하는 단계;를 포함한다.
본 발명의 다른 실시예에 따른 합성 동영상 판별 시스템은, 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측 결과를 기초로 동영상 합성 여부를 판별하는 판별부; 및 예측된 합성 확률들을 동영상에서 이미지 진행에 따른 연속하는 그래프로 표시하고, 동영상 합성 여부를 표출하는 표출부;를 포함한다.
본 발명의 다른 실시예에 따른 합성 동영상 판별 방법은, 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측 결과를 기초로 동영상 합성 여부를 판별하는 단계; 예측된 합성 확률들을 동영상에서 이미지 진행에 따른 연속하는 그래프로 표시하는 단계; 및 동영상 합성 여부를 표출하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 동영상을 구성하는 이미지들에 대한 합성 확률들을 종합적/통계적으로 분석함으로써 동영상 합성 여부를 최종적으로 판별함으로써 판별 정확도를 높일 수 있게 된다.
또한 본 발명의 실시예들에 따르면, 서로 인접한 주요 이미지들을 함께 분석하여 각 이미지들에 대한 합성 확률을 예측함으로써, 개별 이미지에 대한 합성 확률의 정확도 또한 향상시킬 수 있게 된다.
또한 본 발명의 실시예들에 따르면, 각 주요 이미지들에 대한 합성 확률들을 동영상 재생 순서에 맞게 표출함으로써, 동영상의 합성 여부를 판별함에 있어 큰 영향을 중 부분에 대한 정보를 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 합성 동영상 판별 시스템의 구성을 도시한 도면,
도 2는 동영상 합성 판별부의 상세 블럭도,
도 3은 표출부의 상세 블럭도,
도 4는 표출부에 의해 생성/제공되는 표출 화면을 예시한 도면, 그리고,
도 5는 본 발명의 다른 실시예에 따른 합성 동영상 판별 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 '동영상에 등장하는 사람의 얼굴을 다른 사람의 얼굴로 합성한 가짜 동영상'(이하 '합성 동영상'으로 약칭)을 판별하기 위한 방법 및 시스템을 제시한다.
본 발명의 실시예에서는 입력 동영상을 구성하는 주요 이미지들에 대한 합성 확률을 예측함에 있어, 서로 인접한 주요 이미지들을 함께 분석하고, 예측된 합성 확률들을 종합적/통계적으로 분석함으로써 동영상 합성 여부를 최종적으로 판별한다.
또한 본 발명의 실시예에서는 각 주요 이미지들에 대한 합성 확률들을 동영상 재생 순서에 맞게 표출함으로써, 동영상의 합성 여부를 판별함에 있어 큰 영향을 준 부분들이 어디인지 알 수 있게 하여 준다.
도 1은 본 발명의 일 실시예에 따른 합성 동영상 판별 시스템의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 합성 동영상 판별 시스템은, 도시된 바와 같이, 동영상 입력부(110), 동영상 합성 판별부(120), 표출부(130)를 포함하여 구성된다.
동영상 입력부(110)는 사용자가 선택한 합성 여부를 판별할 동영상을 동영상 합성 판별부(120)로 입력한다. 동영상 합성 판별부(120)는 동영상 입력부(110)를 통해 입력되는 동영상에 대해 합성 여부를 판별한다. 표출부(130)는 동영상 합성 판별부(120)에 의한 판별 결과 및 사용자 설정 화면을 표출한다.
이하에서는 동영상 합성 판별부(120)의 세부 구성에 대해, 도 2를 참조하여 상세히 설명한다. 도 2는 동영상 합성 판별부(120)의 상세 블럭도이다. 동영상 합성 판별부(120)는 도시된 바와 같이, 사람 추적부(121), 주요 이미지 추출부(122), 얼굴 검출부(123), 합성 확률 예측부(124) 및 합성 여부 판단부(125)를 포함하여 구성된다.
사람 추적부(121)는 입력 동영상에서 사람을 검출하고, 검출한 사람을 추적한다. 입력 동영상에 여러 사람이 있을 수 있으므로, 사람 추적부(121)는 검출&추적 대상이 되는 사람 별로 ID를 부여하고, 검출&추적 결과를 바운딩 박스(Bounding Box)로 제공하는 인공지능 모델로 구현가능하다.
주요 이미지 추출부(122)는 추적하는 사람이 등장하는 이미지들 중 주요 이미지들만을 추출한다. 첫 번째 주요 이미지는 추적하는 사람이 처음으로 등장한 이미지이고, 두 번째 주요 이미지는 첫 번째 주요 이미지와 이미지 값의 차이가 정해진 임계치 이상 차이가 나는 이미지이고, 세 번째 주요 이미지는 두 번째 주요 이미지와 이미지 값의 차이가 정해진 임계치 이상 차이가 나는 이미지이다. 여기서 이미지 값의 차이는 이미지들에서 동일 위치의 픽셀 값들의 차이 값들을 평균한 값을 말한다.
주요 이미지 추출은 다음 수식 (1)을 만족하는 이미지들로 일반화 할 수 있다.
Mean(|I(n) - I(n+k)|) ≥ th1 (1)
위 식에서 I(n)은 이전에 추출된 주요 이미지의 이미지 값, I(n+k)은 이번에 추출할 주요 이미지의 이미지 값, th1는 정해진 임계값이다. 위 식이 만족된다면 n 번째 이미지 다음에 (n+k) 번째 이미지가 주요 이미지로 추가될 것이다.
얼굴 검출부(123)는 주요 이미지 추출부(122)에서 추출된 각 주요 이미지들에서 얼굴 영역들을 검출하여 잘라내기(cropping) 한다. 얼굴 검출부(123)에 의해 주요 이미지 I(n)과 I(n+k)로부터 얼굴 이미지 f(n)과 f(n+k)가 획득된다.
합성 확률 예측부(124)는 얼굴 검출부(123)에 의해 검출된 얼굴 영역들 각각에 대해 합성 여부를 분석하여 합성 확률들을 각각 예측한다. 합성 확률 예측부(124)에서는 얼굴 영역의 개수(= 주요 이미지의 개수) 만큼의 합성 확률이 예측된다.
합성 확률 예측부(124)는 합성 확률 추정 모델을 이용하여 합성 확률을 예측한다. 합성 확률 추정 모델은 인접한 얼굴 이미지 2장, 위 예에서 얼굴 이미지 f(n)과 f(n+k)를 입력받아, 다중 이미지 기반 분석을 통해 이미지 f(n)의 합성 여부를 예측하도록 학습된 인공지능 모델이다.
합성 확률 예측부(124)에 의해 동영상 중 주요 이미지들에 대한 이미지 합성 확률들이 예측된다.
합성 여부 판단부(125)는 합성 확률 예측부(124)에서 예측된 합성 확률들을 종합적/통계적으로 분석하여, 동영상의 합성 여부를 최종 판단한다. 최종 판단 방식은 2가지가 있다.
하나는 아래의 수식 (2)와 같이 합성 확률 예측부(124)에서 예측된 합성 확률들의 전체 평균이 정해진 임계값을 초과하면, 동영상을 합성 동영상으로 판단하는 것이다.
(2)
여기서 pt는 합성 확률들의 전체 평균, N은 합성 확률의 개수, p(i)는 합성 확률, th2는 임계값이다.
다른 하나는 아래의 수식 (3)과 같이 합성 확률 예측부(124)에서 예측된 합성 확률들 중 임계값을 초과하는 합성 확률의 비율이 임계 비율을 초과하면, 동영상을 합성 동영상으로 판단하는 것이다.
(3)
여기서 count[]는 []안의 조건을 만족하는 개수, p(i)는 합성 확률, th3은 임계값, N은 합성 확률의 개수, th4는 임계 비율(%)이다.
이하에서는 표출부(130)에 대해 상세히 설명한다. 도 3은 표출부(130)의 상세 블럭도이다. 도시된 바와 같이 표출부(130)는 사용자 영역 표출부(131), 동영상 영역 표출부(132) 및 합성 확률 영역 표출부(133)를 포함하여 구성된다.
도 4는 표출부(130)에 의해 생성/제공되는 표출 화면을 예시한 도면이다. 사용자 영역(210)은 사용자 영역 표출부(131)에 의해 표출되는 영역이고, 동영상 영역(220)은 동영상 영역 표출부(132)에 의해 표출되는 영역이며, 합성 확률 영역(230)은 합성 확률 영역 표출부(133)에 의해 표출되는 영역이다.
사용자 영역(210)은 합성 여부를 판별할 동영상 파일을 선택하고, 동영상 합성 판별을 위한 파라미터를 설정하는 영역이다. 설정 가능한 파라미터에는 주요 이미지 추출 여부, 동영상 합성 여부 판단 방식, 주요 이미지 추출의 기준이 되는 임계값(th1), 동영상 합성 여부 판단에 이용되는 임계값(th2, th3, th4) 등이다.
만약 사용자 영역(210)을 통해 사용자가 주요 이미지를 추출하지 않는 것으로 설정하면, 동영상 합성 판별부(120)에서 주요 이미지 추출부(122)는 기능하지 않는다. 이에 따라 사람 추적부(121)에 검출&추적되는 이미지 모두가 얼굴 검출부(123)에 의한 얼굴 검출 대상이 되고, 합성 확률 예측부(124)에 의한 합성 확률 예측 대상이 된다.
동영상 영역(220)은 입력 동영상이 표시되고, 얼굴 검출부(123)에서 검출되는 얼굴이 바운딩 박스로 표시되며, 이미지 합성 여부 및 동영상 합성 여부에 대한 정보가 각각 표시된다.
이미지 합성 여부는 합성 확률 예측부(124)에 의한 예측 결과로써, 동영상을 구성하는 이미지들 중 현재 동영상 영역(220)에 표시된 이미지에 나타난 얼굴에 대한 합성 여부에 대한 정보(도 4에서 "Fake Frame")를 말한다.
이에 반해 동영상 합성 여부에 대한 정보는 합성 여부 판단부(125)에 의한 최종 판단 결과로써, 동영상이 합성된 동영상인지 여부에 대한 정보(도 4에서 "Fake video")를 말한다.
동영상 영역(220)에서 이미지 합성 여부는 "합성"인 것으로 표시되지만, 동영상 합성 여부는 "합성이 아님"으로 표시될 수 있다. 동영상 합성 여부는 동영상을 구성하는 주요 이미지들을 전체적/통계적으로 분석하여 판단하기 때문이다.
합성 확률 영역(230)은 합성 확률 예측부(124)에서 주요 이미지들 각각에 대해 예측한 합성 확률들을 이미지(프레임) 단위로 연속적으로 표시한다. 단 도 4의 합성 확률 영역(230)에서는 주요 이미지들이 아닌 사람 검출&추적 중인 이미지들에 대해 예측된 합성 확률들을 동영상에서 이미지 진행에 따른 연속하는 그래프로 표시하였다. 도시된 바에 따르면 합성 확률 그래프에서 x축은 동영상에서 이미지 순번이고, y축은 해당 순번의 이미지에서 동영상의 합성 확률이다.
사용자는 합성 확률 영역(230)에서 원하는 이미지 순번, 즉 확인하고 싶은 이미지 순번을 선택할 수 있는데, 이 경우 표출부(130)는 동영상 영역(220)에 사용자가 선택한 순번의 이미지로 이동하여 해당 이미지부터 동영상이 재생되도록 한다.
도 5는 본 발명의 다른 실시예에 따른 합성 동영상 판별 방법의 설명에 제공되는 흐름도이다.
먼저 동영상 입력부(110)는 사용자가 선택한 동영상을 동영상 합성 판별부(120)로 입력한다(S310). S310단계에서 입력되는 동영상은 사용자 영역(210)을 통해 사용자가 선택할 수 있다. 그리고 S310단계에서 입력되는 동영상은 동영상 영역(220)에 표출된다.
그러면 동영상 합성 판별부(120)의 사람 추적부(121)는 S310단계에서 입력되는 동영상에서 사람을 검출&추적 하고(S320), 주요 이미지 추출부(122)는 S320단계에서의 추적 이미지들 중 주요 이미지들만을 추출한다(S330).
다음 얼굴 검출부(123)는 S330단계에서 추출된 각 주요 이미지들에서 얼굴 영역들을 검출하여 잘라낸다(S340). S340단계에서 검출된 얼굴 영역은 동영상 영역(220)에 표시되는 동영상 위에 바운딩 박스로 표시된다.
이후 합성 확률 예측부(124)는 S340단계에서 검출된 얼굴 영역들 각각에 대해 합성 확률들을 각각 예측한다(S350). S350단계에서의 합성 확률 예측은 인접한 얼굴 이미지 2장의 다중 이미지 기반 분석을 통해 얼굴 합성 여부를 예측하도록 학습된 합성 확률 추정 모델을 이용한다. S350단계에서의 예측 결과는 동영상 영역(220)에 표시되는 동영상 위체 표시되고, 합성 확률 영역(133)에 이미지 순번에 따라 누적하여 표시된다.
끝으로 합성 여부 판단부(125)는 S250단계에서 예측된 합성 확률들을 종합적/통계적으로 분석하여, 동영상의 합성 여부를 최종 판단한다(S360). S360단계에서의 판단 결과는 동영상 영역(220)에 표시되는 동영상 위에 표시된다.
지금까지 합성 동영상 판별 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예들에서는 동영상을 구성하는 이미지들에 대한 합성 확률들을 종합적/통계적으로 분석함으로써 동영상 합성 여부를 최종적으로 판별함으로써 판별 정확도를 높였다. 또한 서로 인접한 주요 이미지들을 함께 분석하여 각 이미지들에 대한 합성 확률을 예측함으로써, 개별 이미지에 대한 합성 확률의 정확도 또한 향상시켰다.
아울러 각 주요 이미지들에 대한 합성 확률들을 동영상 재생 순서에 맞게 표출함으로써, 동영상의 합성 여부를 판별함에 있어 큰 영향을 중 부분들이 어느 부분들인지 사용자가 인지할 수 있도록 하였다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 동영상 입력부
120 : 동영상 합성 판별부
121 : 사람 추적부
122 : 주요 이미지 추출부
123 : 얼굴 검출부
124 : 합성 확률 예측부
125 : 합성 여부 판단부
130 : 표출부
131 : 사용자 영역 표출부
132 : 동영상 영역 표출부
133 : 합성 확률 영역 표출부

Claims (12)

  1. 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측한 확률들을 통계적으로 분석하여 동영상 합성 여부를 판별하는 판별부; 및
    판별 결과를 표출하는 표출부;를 포함하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  2. 청구항 1에 있어서,
    판별부는,
    동영상에서 사람을 검출하고, 검출한 사람을 추적하는 추적부;
    추적 이미지들에서 얼굴 영역들을 검출하는 검출부;
    검출된 얼굴 영역들 중 적어도 두 개를 함께 분석하여, 이미지들 각각에 대한 합성 확률들을 예측하는 예측부;
    예측된 합성 확률들을 통계적으로 분석하여, 동영상의 합성 여부를 판단하는 판단부;를 포함하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  3. 청구항 2에 있어서,
    판별부는,
    추적 이미지들 중 주요 이미지들을 추출하는 추출부;를 더 포함하고,
    검출부는,
    주요 이미지들에 대해서만 얼굴 영역들을 검출하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  4. 청구항 3에 있어서,
    추출부는,
    기추출한 주요 이미지와 이미지 값의 차이가 정해진 제1 임계값 이상 차이가 나는 이미지를 주요 이미지로 추출하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  5. 청구항 2에 있어서,
    예측부는,
    인접한 얼굴 영역 이미지 2장을 입력받아, 다중 이미지 기반 분석을 통해 합성 여부를 예측하도록 학습된 인공지능 모델을 이용하여, 이미지들 각각에 대한 합성 확률들을 예측하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  6. 청구항 2에 있어서,
    판단부는,
    예측된 합성 확률들의 평균이 제2 임계값을 초과하면, 동영상을 합성 동영상으로 판단하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  7. 청구항 2에 있어서,
    판단부는,
    예측된 합성 확률들 중 제3 임계값을 초과하는 합성 확률의 비율이 제4 임계값을 초과하면, 동영상을 합성 동영상으로 판단하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  8. 청구항 2에 있어서,
    표출부는,
    합성 여부를 판별할 동영상을 선택하고, 동영상 합성 판별을 위한 파라미터를 설정하는 영역을 표출하는 제1 표출부;
    동영상, 얼굴 영역 및 합성 여부를 표시하는 제2 표출부;를 포함하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  9. 청구항 2에 있어서,
    예측된 합성 확률들을 동영상에서 이미지 진행에 따른 연속하는 그래프로 표시하는 제3 표출부;를 포함하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  10. 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측한 확률들을 통계적으로 분석하여 동영상 합성 여부를 판별하는 단계; 및
    판별 결과를 표출하는 단계;를 포함하는 것을 특징으로 하는 합성 동영상 판별 방법.
  11. 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측 결과를 기초로 동영상 합성 여부를 판별하는 판별부; 및
    예측된 합성 확률들을 동영상에서 이미지 진행에 따른 연속하는 그래프로 표시하고, 동영상 합성 여부를 표출하는 표출부;를 포함하는 것을 특징으로 하는 합성 동영상 판별 시스템.
  12. 동영상을 구성하는 적어도 하나의 이미지들에 대해 동영상 합성 확률들을 예측하고, 예측 결과를 기초로 동영상 합성 여부를 판별하는 단계;
    예측된 합성 확률들을 동영상에서 이미지 진행에 따른 연속하는 그래프로 표시하는 단계; 및
    동영상 합성 여부를 표출하는 단계;를 포함하는 것을 특징으로 하는 합성 동영상 판별 방법.
KR1020220123858A 2022-09-29 2022-09-29 합성 동영상 판별 방법 및 시스템 KR20240044621A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220123858A KR20240044621A (ko) 2022-09-29 2022-09-29 합성 동영상 판별 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220123858A KR20240044621A (ko) 2022-09-29 2022-09-29 합성 동영상 판별 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20240044621A true KR20240044621A (ko) 2024-04-05

Family

ID=90714271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220123858A KR20240044621A (ko) 2022-09-29 2022-09-29 합성 동영상 판별 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20240044621A (ko)

Similar Documents

Publication Publication Date Title
US8316301B2 (en) Apparatus, medium, and method segmenting video sequences based on topic
RU2693906C2 (ru) Основанный на правилах анализ важности видео
US9646227B2 (en) Computerized machine learning of interesting video sections
US5805733A (en) Method and system for detecting scenes and summarizing video sequences
Fradi et al. Towards crowd density-aware video surveillance applications
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
US10037467B2 (en) Information processing system
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
JP2005243035A (ja) アンカーショット決定方法及び決定装置
JP5180922B2 (ja) 画像検索システム及び画像検索方法
US20130113999A1 (en) Methods, systems, and computer-readable media for detecting scene changes in a video
CN112333467A (zh) 一种用于检测视频的关键帧的方法、系统和介质
Heng et al. How to assess the quality of compressed surveillance videos using face recognition
Ren et al. Shot boundary detection in MPEG videos using local and global indicators
Panchal et al. Scene detection and retrieval of video using motion vector and occurrence rate of shot boundaries
JP2010117952A (ja) 物体判別方法および物体判別装置
US20070061727A1 (en) Adaptive key frame extraction from video data
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101667011B1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
KR20240044621A (ko) 합성 동영상 판별 방법 및 시스템
JP2021111228A (ja) 学習装置、学習方法、及びプログラム
KR101362768B1 (ko) 객체 검출 방법 및 장치
JP5962383B2 (ja) 画像表示システムおよび画像処理装置
JP4909315B2 (ja) 映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体
JP2006303897A (ja) 顔画像抽出装置及び顔画像抽出方法