KR20240006261A - 동영상 위변조 탐지 시스템 및 그 방법 - Google Patents

동영상 위변조 탐지 시스템 및 그 방법 Download PDF

Info

Publication number
KR20240006261A
KR20240006261A KR1020220083099A KR20220083099A KR20240006261A KR 20240006261 A KR20240006261 A KR 20240006261A KR 1020220083099 A KR1020220083099 A KR 1020220083099A KR 20220083099 A KR20220083099 A KR 20220083099A KR 20240006261 A KR20240006261 A KR 20240006261A
Authority
KR
South Korea
Prior art keywords
frame
target area
video
area
optical flow
Prior art date
Application number
KR1020220083099A
Other languages
English (en)
Inventor
이완연
Original Assignee
동덕여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동덕여자대학교 산학협력단 filed Critical 동덕여자대학교 산학협력단
Priority to KR1020220083099A priority Critical patent/KR20240006261A/ko
Publication of KR20240006261A publication Critical patent/KR20240006261A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 위변조 임계값 경계로 인해 잘못된 탐지가 이루어지는 문제점을 해소하기 위해, 동영상 위변조의 이상 여부를 정량적으로 측정하여 제공할 수 있는 동영상 위변조 탐지 시스템 및 그 방법에 관한 것이다.

Description

동영상 위변조 탐지 시스템 및 그 방법 {Video forgery detection system and method thereof}
본 발명은 동영상 위변조 탐지 시스템 및 그 방법에 관한 것으로써, 보다 상세하게는, 동영상 위변조 확률을 정량적으로 측정하여 제공할 수 있는 동영상 위변조 탐지 시스템 및 그 방법에 관한 것이다.
동영상 위변조 탐지를 위한 많은 연구가 진행되고 있다.
일 예를 들자면, 동영상 데이터의 비정상적인 패턴을 분석하여, 비정상적인 패턴을 나타내는 픽셀/프레임에 대해서 위변조가 발생했다고 탐지하게 된다.
이러한 비정상적인 패턴을 분석하는 동작 자체가 비정상/정상을 구분하는 경계 임계값이 요구되는데, 적절한 임계값을 찾는 것은 매우 어려울 뿐 아니라, 부적절한 임계값으로 비정상적인 패턴을 분석할 경우, 잘못된 감지를 초래하게 된다.
또다른 예를 들자면, 동영상 데이터의 시간적 변조(Inter-frame 조작)과 동영상 데이터의 공간적 변조(Intra-frame 조작)을 탐지하게 된다.
시간적 조작에 대해서 말하자면, 전체 프레임 시퀀스에서 일부 프레임의 삭제, 삽입 또는, 복제가 이루어진 것을 의미하며, 이를 탐지하기 위해서는 전체 프레임의 광학 흐름(optical flow) 또는, 객체의 움직임 벡터(motion vector)를 분석하여, 이상 패턴을 탐지하게 된다.
이는, 전체 프레임을 사용해야 하기 때문에, 동영상 데이터를 이루고 있는 프레임 시퀀스로 인해 이상 패턴(비정상적인 패턴) 탐지 정확도가 낮아질 수 밖에 없으며, 이상 패턴이라고 판단하고 분류하기 위한 임계값 설정에 어려움이 존재하게 된다.
또한, 공간적 변조는 전체 프레임 영역(촬영 영역)에서 일부 영역에 해당하는 픽셀에 대한 조작이 발생한 것을 의미하며, 이를 탐지하기 위해서는 어떠한 특정 프레임에 대해서, 전/후 프레임 과의 광학 흐름 차이, 잡음 잔류(noise residue) 차이 등을 계산하여, 일정 수준 이상일 경우, 조작으로 판정하게 된다.
이 역시도, 일정 수준이라는 임계값 설정에 어려움이 존재할 뿐 아니라, 이로 인한 탐지 성능과 오탐에 큰 영향이 발생하는 문제점이 있다.
최근들어, 딥러닝 기반의 탐지 기법이 활발하게 연구되고 있다. 그렇지만, 이러한 딥러닝 기반의 탐지 기법의 경우, 딥러닝 알고리즘이 가지고 있는 태생적인 문제점인 블랙박스 형태의 분석으로 인해, 특정 동영상 데이터가 위변조가 발생한 것으로 판단될 경우, 그 이유, 다시 말하자면, 위변조 동영상 데이터로 판정된 이유를 확인하기 어려운 문제점이 있다.
한국 등록특허공보 제10-1746074호("디지털 동영상 위변조 분석 시스템 및 그 방법")에서는 동영상 위변조의 다양한 유형 검출을 축적하여 이를 기반으로 디지털 동영상의 위변조 분석을 수행하는 기술이 개시되고 있다.
한국 등록특허공보 제10-1746074호 (등록일 2017.06.05.)
본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로써, 동영상 데이터에 대한 광학 흐름 요소(optical flow component)를 추출하고, 이를 이용하여 위변조 확률을 확률 정량 지표로 계산함으로써, 비전문가 사용자라 할지라도 매우 용이하게 의미론적 결과를 탐지할 수 있는 동영상 위변조 탐지 시스템 및 그 방법을 제공함에 있다.
상기한 바와 같은 문제점을 해결하기 위한 본 발명에 의한 동영상 위변조 탐지 시스템은, 위변조 여부를 분석하고자 하는 동영상 데이터를 입력받아, 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각 프레임 별로, 프레임 내 기설정된 소정 영역의 픽셀들에 대한 기설정된 광학 흐름 요소(optical flow component) 정보를 계산하는 픽셀 분석부(100), 각 프레임 별 계산된 픽셀들의 광학 흐름 요소 정보를 합산하고, 프레임의 순서를 고려한 합산값의 변화량에 따른 정규 분포 분석을 수행하는 분포 분석부(200), 정규 분포 분석 결과를 이용하여, 합산값의 평균치에 따른, 각 프레임 별 합산값의 상대 거리를 연산하는 차이 연산부(300) 및 각 프레임 별로 연산한 상대 거리를 이용하여, 해당하는 프레임의 위변조 여부를 탐지할 수 있는 지표 계산을 수행하는 지표화 수행부(400)를 포함하는 것이 바람직하다.
더 나아가, 상기 픽셀 분석부(100)는 각 프레임 별, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하는 크기 설정부(110)를 포함하는 것이 바람직하다.
더 나아가, 상기 픽셀 분석부(100)는 전체 프레임 영역을 기반으로, 상기 크기 설정부(100)에 의해 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정하는 위치 설정부(120)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 픽셀 분석부(100)는 상기 위치 설정부(120)에 의해 타겟 영역의 위치가 설정되면, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 계산하는 것이 바람직하다.
또는, 상기 픽셀 분석부(100)는 상기 동영상 데이터를 구성하는 전체 프레임 중 기설정된 소정 구간의 프레임에 대해서만 타겟 영역을 설정하는 구간 설정부(130)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 구간 설정부(130)는 소정 구간의 프레임에 대해서, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하고, 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정하며, 상기 픽셀 분석부(100)는 소정 구간의 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 계산하는 것이 바람직하다.
더 나아가, 상기 동영상 위변조 탐지 시스템은 상기 지표화 수행부(400)에 의한 지표 계산 결과를 이용하여, 기설정된 정렬 기준을 적용하여 정렬한 결과를 외부로 제공하는 추론 제공부(500)를 포함하는 것이 바람직하다.
상기한 바와 같은 문제점을 해결하기 위한 연산 처리 수단에 의해 각 단계가 수행되는 동영상 위변조 탐지 시스템을 이용한 동영상 위변조 탐지 방법으로서, 위변조 여부를 분석하고자 하는 동영상 데이터를 입력받는 동영상 입력 단계(S100), 입력받은 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각 프레임 별로, 프레임 내 기설정된 소정 영역의 픽셀들에 대한 기설정된 광학 흐름 요소(optical flow component) 정보를 계산하는 픽셀 분석 단계(S200), 각 프레임 별 계산된 픽셀들의 광학 흐름 요소 정보를 합산하고, 각 프레임의 순서를 고려한 합산값의 변화량에 따른 정규 분포 분석을 수행하는 분포 분석 단계(S300), 정규 분포 분석 결과를 이용하여, 합산값의 평균치에 따른, 각 프레임 별 합산값의 상대 거리를 연산하는 차이 연산 단계(S400), 각 프레임 별로 연산한 상대 거리를 이용하여, 해당하는 프레임의 위변조 여부를 탐지할 수 있는 지표 계산을 수행하는 지표화 수행 단계(S500) 및 지표 계산 결과를 이용하여, 기설정된 정렬 기준을 적용하여 정렬한 결과를 외부로 제공하는 추론 제공 단계(S600)를 포함하는 것이 바람직하다.
더 나아가, 상기 동영상 위변조 탐지 방법은 상기 픽셀 분석 단계(S200)를 수행하기 전, 각 프레임 별, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하는 크기 설정 단계(S10) 및 설정한 타겟 영역의 크기를 이용하여, 전체 프레임 영역을 기반으로 타겟 영역의 위치를 설정하는 위치 설정 단계(S20)를 더 포함하는 것이 바람직하다.
더 나아가, 상기 픽셀 분석 단계(S200)는 타겟 영역의 위치가 설정될 경우, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 것이 바람직하다.
또는, 상기 동영상 위변조 탐지 방법은 상기 픽셀 분석 단계(S200)를 수행하기 전, 상기 동영상 데이터를 구성하는 전체 프레임 중 기설정된 소정 구간의 프레임에 대해서만 타겟 영역을 설정하는 구간 설정 단계(S30)를 더 포함하며, 상기 구간 설정 단계(S30)는 수정 구간의 프레임에 대해서, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하고, 설정한 타겟 영역의 크기를 이용하여, 기설정된 소정 구간의 각 프레임의 전체 프레임 영역을 기반으로 타겟 영역의 위치를 설정하는 것이 바람직하다.
더 나아가, 상기 픽셀 분석 단계(S200)는 타겟 영역의 위치가 설정될 경우, 상기 소정 구간의 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 계산하는 것이 바람직하다.
상기한 바와 같은 본 발명에 의한 동영상 위변조 탐지 시스템 및 그 방법에 의하면, 동영상 데이터의 위변조를 탐지하는 과정에서, 적절한 패턴/부적절한 패턴을 구분하기 위한 임계값 설정이 불분명하고 어려울 뿐 아니라, 잘못된 임계값 설정으로 인해 위변조 탐지 성능에 영향을 끼치며, 오탐의 가능성까지 높아져서, 탐지 시스템 자체의 신뢰성에 문제가 발생할 수 있다는 점을 해소할 수 있는 장점이 있다.
상세하게는, 동영상 데이터의 위변조 가능성을 지표화하여 정량적 탐지값을 제공함으로써, 동영상 데이터의 활용 성질에 따라, 의뢰자(동영상 데이터의 위변조 탐지를 요청한 사용자 등)가 정량적 탐지값을 토대로 추정하여 활용하도록 하는 장점이 있다.
또한, 최대한 정교하게 동영상 데이터의 위변조 여부를 탐지하기 위하여, 공간 영역 기반/시간 영역 기반으로 위변조 탐지 대상 프레임을 조정하여, 종래의 탐지 방법에 비해, 공간적 프레임 내 위조(Intra-frame 조작)와 시간적 프레임 간 위조(inter-frame 조작) 모두에 대해 보다 정확도 높은 탐지 기능을 제공할 수 있을 뿐 아니라, 위변조로 의심되는 영역/구간을 구체적으로 제시할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템을 나타낸 구성 예시도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템 및 그 방법에서, 탐지하기 위한 타겟 영역의 설정하는 과정을 나타낸 예시도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템 및 그 방법에서, 합산값의 변화량에 따른 정규 분포 분석을 수행하는 과정을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 동영상 위변조 탐지 방법을 나타낸 순서 예시도이다.
이하 첨부된 도면을 참고하여 본 발명에 의한 동영상 위변조 탐지 시스템 및 그 방법의 바람직한 실시예에 관하여 상세히 설명한다.
시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.
동영상 데이터의 위변조를 탐지하는 과정에서, 적절한 패턴/부적절한 패턴을 구분하기 위한 임계값 설정이 불분명하고 어려울 뿐 아니라, 잘못된 임계값 설정으로 인해 위변조 탐지 성능에 영향을 끼치며, 오탐의 가능성까지 높아져서, 탐지 시스템 자체의 신뢰성에 문제가 발생할 수 있다는 점을 해소하기 위한 기술이다.
상술한 문제점을 해소하기 위하여, 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템 및 그 방법은, 동영상 데이터의 위변조 가능성을 지표화하여 정량적 탐지값을 제공하게 된다.
이를 통해서, 동영상 데이터의 성질에 따라, 의뢰자(동영상 데이터의 위변조 탐지를 요청한 사용자 등)가 정량적 탐지값을 토대로 추정하여 활용하도록 하는 장점이 있다.
또한, 최대한 정교하게 동영상 데이터의 위변조 여부를 탐지하기 위하여, 공간 영역 기반/시간 영역 기반으로 위변조 탐지 대상 프레임을 조정하여, 종래의 탐지 방법에 비해, 공간적 프레임 내 위조(Intra-frame 조작)와 시간적 프레임 간 위조(inter-frame 조작) 모두에 대해 보다 정확도 높은 탐지 기능을 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템의 구성도를 도시한 것이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템은, 픽셀 분석부(100), 분포 분석부(200), 차이 연산부(300) 및 지표화 수행부(400)를 포함할 수 있다. 각 구성들은 컴퓨터 등을 포함하는 CPU과 같은 연산 처리 수단을 통해서 동작을 수행하는 것이 바람직하다.
각 구성에 대해서 자세히 알아보자면,
상기 픽셀 분석부(100)는 위변조 여부를 분석하고자 하는 동영상 데이터를 입력받아, 상기 동영상 데이터를 구성하는 각 프레임 별로 포함되는 픽셀들에 대한 미리 설정된 광학 흐름 요소(optical flow component) 정보를 계산하는 것이 바람직하다.
이 때, 상기 픽셀 분석부(100)는 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각각의 광학 흐름 요소 정보를 계산하게 된다.
또한, 상기 픽셀 분석부(100)는 각 프레임의 전체 영역을 기준으로 상기 광학 흐름 요소 정보를 계산하도록 설정된 소정 영역에 대한 광학 흐름 요소 정보를 계산하는 것이 바람직하며, 상기 소정 영역을 설정하는 것에 대해서는 자세히 후술하도록 한다.
상세하게는, 일반적으로, 연속된 프레임으로 구성되는 동영상 데이터는 영상 일관성(coherence)과 시간 일관성의 성질을 가지고 있다고 가정하게 된다.
영상 일관성이란, 어떠한 픽셀(x, y)의 색이 소정 색이라면, 해당하는 픽셀의 주변 픽셀들도 유사한 색을 갖고 있을 가능성이 높다는 것이며, 시간 일관성이란, 어떠한 순간(t)의 픽셀값(f(x, y, t))은 다음 순간(t+1)의 픽셀값(f(x, y, t+1))과 비슷할 가능성이 높다는 것이다.
이러한 동영상 데이터의 성질을 고려하여, 상기 광학 흐름 요소 정보는, 인접한 두 장의 영상(이전 프레임과 현재 프레임)에 나타나는 명암(brightness) 변화를 분석하여, 계산하게 된다.
일 예를 들자면, 이전 프레임의 어떤 픽셀값(f(x, y, t))이 대응되는 위치의 현재 프레임의 어떤 픽셀값(f(x, y, t+1))의 명암 변화를 분석하게 된다.
이러한 상기 픽셀 분석부(100)은 동영상 데이터의 광학 흐름 추정 알고리즘을 이용하여 상기 광학 흐름 요소 정보를 계산할 수 있으며, 상기 광학 흐름 추정 알고리즘은 통상의 기술로서, 이에 대해서 한정하는 것은 아니다.
이러한 점을 고려하여, 상기 픽셀 분석부(100)는 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각 프레임 내 픽셀들의 상기 광학 흐름 요소 정보를 계산하게 된다.
하기의 수학식 1과 같이 정의된 각 프레임 내 각 픽셀들의 RGB 값(E)을 이용하여, 이전 프레임의 선택되는 어느 하나의 픽셀값(Ex,y,t)과 대응되는 현재 프레임의 픽셀값(Ex,y,t+1)의 비교 또는, 현재 프레임 선택되는 어느 하나의 픽셀값(Ex,y,t)과 대응되는 다음 프레임 픽셀값(Ex,y,t+1)의 비교에 의한 상기 광학 흐름 요소 정보를 계산하게 된다.
상기의 수학식 1을 통해서, 상기 광학 흐름 요소 정보인 Ex, Ey, Et를 계산하게 되며, 이는 하기의 수학식 2와 같이 대응된다.
상기 픽셀 분석부(100)는 최대한 정교하게 동영상 데이터의 위변조를 탐지하기 위하여, 상술한 바와 같이, 각 프레임의 전체 영역을 기준으로 상기 광학 흐름 요소 정보를 계산하도록 소정 영역을 설정하는 것이 바람직하다.
이를 위해, 도 1에 도시된 바와 같이, 크기 설정부(110), 위치 설정부(120) 및 구간 설정부(130)를 포함하게 된다.
간단하게는, 상기 크기 설정부(110), 위치 설정부(120)는 프레임의 전체 영역을 기준으로 상기 광학 흐름 요소 정보를 계산할 공간 영역을 설정하는 동작을 수행하며, 상기 구간 설정부(130)는 전체 프레임 중 일부 프레임에 대해서만 상기 광학 흐름 요소 정보를 계산하도록 시간 영역을 설정하는 동작을 수행하게 된다.
공간 영역을 설정하는 동작은 '동영상 데이터의 공간적 변조(Intra-frame 조작)을 탐지'를 위한 기술로서, 도 2의 a)에 도시된 바와 같이, 상기 크기 설정부(110)를 통해서, 전체 프레임 영역(전체 사각형 영역)을 기반으로, 미리 설정된 소정 비율에 따라, 상기 광학 흐름 요소 정보를 계산하기 위한 타겟 영역의 크기를 설정하게 된다. 상기 크기 설정부(110)를 통해서 선택되는 어느 한 프레임에 대한 타겟 영역의 크기가 설정된다면, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 설정된 타겟 영역의 크기와 대응되는 타겟 영역이 설정되게 된다.
즉, 동영상 데이터를 구성하는 전체 프레임들 중 일부 프레임에 대해서만 타겟 영역이 설정되는 것이 아니라, 모든 프레임들에 대해서 동일한 크기의 타겟 영역이 설정되게 된다. 이 경우, 전체 프레임 영역(전체 사각형 영역) 중 극히 일부 픽셀에 대해서만 위변조가 발생할 경우, 전체 프레임 영역을 통합 분석할 경우, 탐지의 정확도가 낮아질 수 있으나, 상기 크기 설정부(110)를 통해서, 전체 프레임 영역을 분할하여 탐지 과정을 수행할 경우, 그 정확도가 높아지게 된다.
물론, 가장 바람직하게는, 상기 크기 설정부(110)는 전체 프레임 영역을 기반으로 미리 설정된 소정 비율에 따라, 타겟 영역의 크기를 축소 설정할 경우, 축소 설정된 상기 타겟 영역의 크기를 반복 이동시키면서 전체 프레임 영역에 대한 전반적인 분할 탐지 과정을 수행하는 것이 가장 바람직하다.
다시 말하자면, 타겟 영역을 설정하여 해당 영역에 대해서만 위변조 탐지를 수행할 경우, 나머지 영역에서 발생한 위변조 탐지가 불가능하기 때문에, 보다 정교한 위변조 탐지를 위해, 타겟 영역을 이동시키면서 전체 프레임 영역에 대한 위변조 탐지를 수행하게 된다.
다만, 사전에 전체 프레임 영역 중 위변조 발생 영역을 특정했을 경우, 이에 대해서 정확한 위변조 탐지를 위해 상기 크기 설정부(110)를 통해서, 타겟 영역을 설정한 후, 탐지 과정을 수행하는 것이 바람직하다.
상술한 바와 같이, 상기 크기 설정부(110)에 의해 설정된 타겟 영역을 이동시키면서 전체 프레임 영역에 대한 탐지 과정을 수행하기 위하여, 상기 위치 설정부(120)를 포함하게 된다.
상기 위치 설정부(120)는 도 2의 a)에 도시된 바와 같이, 전체 프레임 영역을 기준으로 상기 크기 설정부(110)에 의해 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정하게 된다.
상세하게는, 상기 위치 설정부(120)는 타겟 영역의 면적이 1/2 겹치게 수직 방향 또는, 수평 방향으로 슬라이딩 이동하면서 타겟 영역의 위치를 설정함으로써, 전체 프레임 영역에 비해 축소 설정된 타겟 영역을 이용함에도 불구하고 전체 프레임 영역에 대한 탐지 과정이 이루어지게 된다.
상기 위치 설정부(120)에 의해 타겟 영역의 위치가 이동 설정되더라도, 상기 크기 설정부(110)와 마찬가지로, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 설정된 타겟 영역의 위치와 대응되어 타겟 영역이 설정되게 된다.
종래의 위변조 탐지 기술에 비해 보다 긴 시간이 소요될 수 있으나, 입력되는 동영상 데이터의 활용 분야에 따라, 매우 정교한 탐지가 요구될 경우, 신뢰도 높게 이용될 수 있다.
시간 영역을 설정하는 동작은 '동영상 데이터의 시간적 변조(Inter-frame 조작)을 탐지'를 위한 기술로서, 도 2의 b)에 도시된 바와 같이, 상기 구간 설정부(130)를 통해서, 상기 동영상 데이터를 구성하는 전체 프레임들 중 미리 설정된 소정 구간의 프레임만을 선택하는 것이 바람직하다.
물론, 상기 픽셀 분석부(100)는 상기 구간 설정부(130)에 의해 소정 구간의 프레임이 선택될 경우, 해당 프레임 내 픽셀들에 대해서만 상기 광학 흐름 요소 정보를 계산하게 된다.
이 때, 소정 구간의 설정은 동적 움직임의 프레임 시퀀스와 정적 움직임의 프레임 시퀀스로 분류하여 설정하거나, 사전에 프레임의 조작/삭제/삽입 등의 위변조가 발생한 프레임 순서를 특정했을 경우, 해당 프레임을 기준으로 주변 프레임을 소정 구간으로 선택할 수도 있다.
상기 구간 설정부(130)는 상기 동영상 데이터를 구성하는 전체 프레임 중 일부 프레임에 대해서만 선택적으로 상기 광학 흐름 요소 정보가 계산될 수 있도록 하는 구성으로서, 일부 프레임이 선택되는 기술에 대해서는 한정하는 것은 아니다.
더불어, 상기 구간 설정부(130)는 상기 크기 설정부(110)와 위치 설정부(120)의 기술적 특징을 고려하여, 설정한/선택한 소정 구간의 프레임에 대해서, 전체 프레임 영역(전체 사각형 영역)을 기반으로, 미리 설정된 소정 비율에 따라, 상기 광학 흐름 요소 정보를 계산하기 위한 타겟 영역의 크기를 설정할 수 있다. 또한, 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정할 수 있다. 뿐만 아니라, 보다 정교한 위변조 탐지를 위해, 타겟 영역을 이동시키면서 전체 프레임 영역에 대한 위변조 탐지를 수행할 수 있다. 물론, 소정 구간의 프레임 중 선택된 어느 하나의 프레임을 통해 설정된 타겟 영역의 위치와 대응되어 나머지 프레임들에 대해서 대응되는 위치에 타겟 영역이 설정되는 것이 바람직하다.
다시 말하자면, 상기 픽셀 분석부(100)는 전체 프레임 영역에 대한 상기 광학 흐름 요소 정보를 계산하는 대신 일부 영역인 타겟 영역을 설정하여 계산하게 된다. 이 때, 타겟 영역은 크기 변경/위치 변경이 가능하다.
또한, 동영상 데이터를 구성하는 전체 프레임(전체 프레임 시퀀스) 대신 일부 프레임(일부 프레임 시퀀스) 만을 선택하여 상기 광학 흐름 요소 정보를 계산하게 된다.
상기 분포 분석부(200)는 상기 픽셀 분석부(100)를 통해서 계산된 각 프레임 별 계산된 픽셀들의 광학 흐름 요소 정보를 합산하게 된다.
상세하게는, 상기 분포 분석부(200)는 전체 구간의 프레임 또는, 소정 구간의 프레임에 설정된 타겟 영역에 의한 픽셀들에 대해 계산한 상기 광학 흐름 요소 정보를 합산하게 된다. 즉, 각 프레임의 타겟 영역에 대해서 계산된 상기 광학 흐름 요소 정보를 합산하게 된다. 이는 도 3의 a)와 같이, 프레임 순서대로 상기 광학 흐름 요소의 합산값(Ex + Ey + Et)을 분포도로 변환하여 나타낼 수 있다.
이 후, 상기 분포 분석부(200)는 프레임 순서를 고려하여, 각 프레임 별 상기 합산값을 이용하여, 도 3의 b)와 같이, 전/후 프레임의 합산값들과 비교한 변화량 분포도를 추출하는 것이 바람직하다.
이를 이용하여, 상기 분포 분석부(200)는 프레임 순서를 고려하여 각 프레임 별 전/후 프레임과의 비교를 통한 상기 합산값의 변화량을 이용하여, 정규 분포 분석을 수행하는 것이 바람직하다.
상기 합산값의 변화량은 하기의 수학식 3을 통해서 계산할 수 있다.
여기서, 는 f번째 프레임의 변화량이며,
는 f+1 번째 프레임의 합산값이며,
는 f번째 프레임의 합산값을 의미한다.
도 3 내지 도 5는 실험을 통해서 위변조가 없는 정상 동영상 데이터의 합산값 분포도/합산값의 변화량 분포도와, 위변조가 있는 비정상 동영상 데이터의 합산값 분포도/합산값의 변화량 분포도를 비교한 도면이다.
먼저, 도 3의 a)는 위변조가 없는 정상 동영상 데이터의 합산값 분포도이며, 도 3의 b)는 위변조가 없는 정상 동영상 데이터의 합산값의 변화량 분포도이다.
도 3의 a)에 도시된 바와 같이, 움직임이 많은 구간(동적 시퀀스 구간)의 합산값은 움직임이 적은 구간(정적 시퀀스 구간)에 비해 합산값이 크게 나타남을 알 수 있다. 이에 따른 도 3의 b) 역시도 합산값이 커진 만큼 매칭되는 움직임이 많은 구간에 대해서 변화량이 커짐을 알 수 있다.
도 4는 위변조가 있는 비정상 동영상 데이터의 전체 프레임 구간에 대해서 분석한 합산값 분포도/합산값의 변화량 분포도이다. 물론, 실험을 통해서, 전체 프레임 구간에 대해서 소정 영역의 타겟 구간을 설정하여 동작을 수행할 수도 있다.
도 4의 a)와 같이, 합산값 분포도가 특정 프레임에서 비정상적인 패턴을 나타냄을 알 수 있으며, 도 4의 b)와 같이, 매칭되는 특정 프레임에서의 변화량 역시도 비정상적인 패턴을 나타냄을 알 수 있다. 이를 통해서, 해당하는 특정 프레임에 위변조가 발생함을 추론할 수 있다.
도 5는 위변조가 있는 비정상 동영상 데이터의 전체 프레임 구간에 대해서 분석한 합산값 분포도/합산값의 변화량 분포도이다.
도 5의 a)에 도시된 바와 같이, 소정 구간의 프레임에 대해서 합산값이 거의 0에 수렴됨을 알 수 있다. 이 경우, 복사된 프레임의 경우, 변화량이 없기 때문에, 합산값이 0에 수렴되고, 복사가 종료되는 시점에서의 프레임에서 변화량이 큰 폭으로 늘어나게 된다. 이러한 점을 감안하여, 도 5의 b) 역시도 매칭되는 특정 프레임에서의 변화량 역시도 비정상적인 패턴을 나타냄을 알 수 있다. 이를 통해서, 해당하는 특정 프레임에 위변조가 발생함을 추론할 수 있다.
이 경우, 전체 프레임 구간이 아닌, 해당하는 복사가 시작된 것으로 판단되는 프레임 구간부터 복사가 종료된 것으로 판단되는 프레임 구간을 소정 구간으로 설정하여, 동작을 수행할 수도 있다.
본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템은 단순하게 위변조가 존재함을 탐지하는 것에 그치는 것이 아니라, 위변조의 확률을 정량화하여 제공함에 기술적 특징이 있다.
이러한 기술적 특징을 달성하기 위하여, 상기 차이 연산부(300)는 상기 분포 분석부(200)에 의한 결과를 이용하여, 정규 분포 분석에 따른 이상 패턴을 분석하게 된다.
상기 차이 연산부(300)는 상기 분포 분석부(200)에 의한 정규 분포 분석 결과를 이용하여, 합산값의 평균치를 프레임 순서를 고려하여 각 프레임 별 합산값의 상대 거리를 연산하는 것이 바람직하다.
상세하게는, 상기 차이 연산부(300)는 상기 분포 분석부(200)에 의한 정규 분포 분석 결과에 따른 상기 합산값의 평균값과 각 프레임의 합산값의 차이를 이용하여, 상대 거리를 연산하게 된다. 상대 거리의 연산은 하기의 수학식 4와 같이 정의하는 것이 바람직하다.
여기서, 는 선택되는 프레임에 대한 상대 거리이며,
는 선택되는 프레임의 합산값이며,
은 정규 분포 분석 결과에 따른 합산값의 평균값이며,
는 정규 분포 분석 결과에 따른 합산값의 표준 편차를 의미한다.
상기 지표화 수행부(400)는 상기 차이 연산부(300)를 통해서 각 프레임 별로 연산한 상대 거리를 이용하여, 해당하는 프레임의 위변조 가능성 또는, 위변조 여부를 탐지/추론할 수 있는 지표 계산을 수행하는 것이 바람직하다.
상기 지표화 수행부(400)는 상술한 바와 같이, 위변조 임계값 경계를 설정하는 과정에서의 부담을 제거하기 위하여, 동영상 위변조 가능성/여부를 정량적으로 측정하게 된다.
이를 위해, 하기의 수학식 5를 통해서, 상기 상대 거리의 지표 계산을 수행하게 된다.
여기서, 는 각 프레임 별 연산한 상대 거리의 지표 점수를 의미한다.
본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템에서는 보정 상수를 5로 설정하여, 상대 거리 값이 5이하이면 5로 보정하고 지표 계산을 수행하고 있으나, 정규 분포에서 평균값과의 거리(상대 거리)가 deviation의 5 이내이면 정상일 가능성이 99.997%라는 기존 분석에 기반하여 선택된 것으로, 이는 본 발명의 일 실시예에 불과하다. 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템의 정확도가 보다 향상될수록 보정 상수를 더 작게 설정할 수도 있으며, 이에 대해서 한정하는 것은 아니다.
본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템은 도 1에 도시된 바와 같이, 추론 제공부(500)를 더 포함하게 된다.
상기 추론 제공부(500)는 상기 지표화 수행부(400)에 의한 지표 계산 결과(지표 점수 결과)를 이용하여, 미리 설정된 정렬 기준을 적용하여 정렬한 결과를 외부 사용자(동영상 데이터를 입력한 사용자 등) 또는, 외부 연계 단말 수단으로 제공하는 것이 바람직하다.
상기 지표 계산은 상기 수학식 5에 의해, 0 <= <100 으로 결과가 출력되며, 0에 가까우면 정상 패턴으로 조작 확률이 없음을 의미하고, 100에 가까우면 비정상 패턴으로 조작 확률이 높음을 의미한다.
그렇기 때문에, 상기 추론 제공부(500)는 미리 설정된 정렬 기준으로 내림 차순인 것이 바람직하며, 높은 값부터 내림차순으로 미리 설정된 개수만큼 출력하게 된다.
이 때, 지표 계산 결과는 상기 지표화 수행부(400)에서 동작을 수행할 때, 당연히 전체 프레임에 대한 탐지가 진행되었을 경우, 전체 프레임 영역 내 선택된 타겟 영역의 위치 정보를 포함하는 것이 바람직하며, 일부 프레임에 대한 탐지가 진행되었을 경우, 선택된 시간 구간 정보/타겟 영역의 위치 정보를 포함하는 것이 바람직하다.
이를 통해서, 상기 추론 제공부(500)에 의해 제공되는 출력 결과가 조작의 최대 의심 지점이 명시되도록 하는 것이 바람직하다.
이와 같은 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템의 성능을 평가하기 위해, 20개의 원본 동영상에 대해서 20개의 조작 동영상(10개의 inter-frame 조작/10개의 intra-frame 조작)을 생성하여 실험을 진행하였다.
즉, 총 40개의 동영상에 대해서 본 발명의 일 실시예에 따른 동영상 위변조 탐지 시스템을 통해서, 위변조 가능성의 정량 수치 측정을 수행한 결과는 하기의 표 1와 같이 나타났다.
전체 영역 검사 자동 영역 설정 검사
Inter-frame 조작 동영상 66.4 93.7
Intra-frame 조작 동영상 45.6 82.3
원본 동영상 3.2 6.8
이 때, 전체 영역 검사란, 전체 프레임 구간/전체 프레임 영역에 대해 동영상 위변조 탐지를 수행한 것을 의미하며, 자동 영역 설정 검사란, 전체 프레임 구간에 대해 타겟 영역을 설정하거나, 전체 프레임 구간 중 소정 프레임 구간을 설정, 소정 프레임 구간에 대해 타겟 영역을 설정하여, 동영상 위변조 탐지를 수행한 것을 의미한다.
자동 영역 설정 검사를 통한 위변조 탐지를 수행하는 것이, 전체 영역 검사를 통한 위변조 탐지보다 조작 가능성 수치를 높게, 즉, 보다 정확하게 탐지함을 알 수 있으며, 특히, intra-frame 조작 동영상에 대해서는 약 2개 정도의 높은 가능성 수치를 도출함을 할 수 있다. 물론, 원본 동영상에 대해서 자동 영역 설정 검사를 통한 위변조 탐지 결과의 정량 수치가 비교적 높게 나옴을 확인할 수 있었지만, 10 이하의 수치이므로 정상 동영상을 판단 가능한 수치임이 분명하다.
도 6은 본 발명의 일 실시예에 따른 동영상 위변조 탐지 방법의 순서도를 도시한 것이다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 동영상 위변조 탐지 방법은 동영상 입력 단계(S100), 픽셀 분석 단계(S200), 분포 분석 단계(S300), 차이 연산 단계(S400), 지표화 수행 단계(S500) 및 추론 제공 단계(S600)를 포함할 수 있다. 각 단계는 연산 처리 수단에 의해 동작 수행되는 동영상 위변조 탐지 시스템을 이용하는 것이 바람직하다.
각 단계에 대해서 자세히 알아보자면,
상기 동영상 입력 단계(S100)는 연산 처리 수단인 상기 픽셀 분석부(100)에서, 위변조 여부를 분석하고자 하는 동영상 데이터를 입력받게 된다.
상기 픽셀 분석 단계(S200)는 연산 처리 수단인 상기 픽셀 분석부(100)에서, 상기 동영상 입력 단계(100)에 의해 입력받은 상기 동영상 데이터를 구성하는 각 프레임 별로 포함되는 픽셀들에 대한 미리 설정된 광학 흐름 요소(optical flow component) 정보를 계산하게 된다.
상기 픽셀 분석 단계(S200)는 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각각의 광학 흐름 요소 정보를 계산하며, 각 프레임의 전체 영역을 기준으로 상기 광학 흐름 요소 정보를 계산하도록 설정된 소정 영역에 대한 광학 흐름 요소 정보를 계산하게 된다.
상기 소정 영역의 설정을 위해, 상기 픽셀 분석 단계(S200)에 의해 상기 광학 흐름 요소 정보를 계산하기 전, 도 6에 도시된 바와 같이, 크기 설정 단계(S10), 위치 설정 단계(S20)를 수행하거나, 구간 설정 단계(S30)를 수행하게 된다.
간단하게는, 상기 크기 설정 단계(S10), 위치 설정 단계(S20)는 프레임의 전체 영역을 기준으로 상기 광학 흐름 요소 정보를 계산할 공간 영역을 설정하는 동작을 수행하며, 상기 구간 설정 단계(S30)는 전체 프레임 중 일부 프레임에 대해서만 상기 광학 흐름 요소 정보를 계산하도록 시간 영역을 설정하는 동작을 수행하게 된다.
도 2의 a)에 도시된 공간 영역을 설정하는 동작은 '동영상 데이터의 공간적 변조(Intra-frame 조작)을 탐지'를 위한 기술로서, 상기 크기 설정 단계(S10)는 연산 처리 수단인 상기 픽셀 분석부(100)에서, 전체 프레임 영역(전체 사각형 영역)을 기반으로, 미리 설정된 소정 비율에 따라, 상기 광학 흐름 요소 정보를 계산하기 위한 타겟 영역의 크기를 설정하게 된다.
선택되는 어느 한 프레임에 대한 타겟 영역의 크기가 설정된다면, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 설정된 타겟 영역의 크기와 대응되는 타겟 영역이 설정되게 된다.
즉, 동영상 데이터를 구성하는 전체 프레임들 중 일부 프레임에 대해서만 타겟 영역이 설정되는 것이 아니라, 모든 프레임들에 대해서 동일한 크기의 타겟 영역이 설정되게 된다. 이 경우, 전체 프레임 영역(전체 사각형 영역) 중 극히 일부 픽셀에 대해서만 위변조가 발생할 경우, 전체 프레임 영역을 통합 분석할 경우, 탐지의 정확도가 낮아질 수 있으나, 전체 프레임 영역을 분할하여 탐지 과정을 수행할 경우, 그 정확도가 높아지게 된다.
물론, 가장 바람직하게는, 전체 프레임 영역을 기반으로 미리 설정된 소정 비율에 따라, 타겟 영역의 크기를 축소 설정할 경우, 축소 설정된 상기 타겟 영역의 크기를 반복 이동시키면서 전체 프레임 영역에 대한 전반적인 분할 탐지 과정을 수행하는 것이 가장 바람직하다.
다시 말하자면, 타겟 영역을 설정하여 해당 영역에 대해서만 위변조 탐지를 수행할 경우, 나머지 영역에서 발생한 위변조 탐지가 불가능하기 때문에, 보다 정교한 위변조 탐지를 위해, 타겟 영역을 이동시키면서 전체 프레임 영역에 대한 위변조 탐지를 수행하게 된다.
다만, 사전에 전체 프레임 영역 중 위변조 발생 영역을 특정했을 경우, 이에 대해서 정확한 위변조 탐지를 위해 상기 위치 설정 단계(S20)를 통해서 타겟 영역을 최종 설정한 후, 계산 과정을 수행하게 된다.
상기 위치 설정 단계(S20)는 상기 크기 설정 단계(S10)에 의해 설정된 타겟 영역을 이동시키면서 전체 프레임 영역에 대한 탐지 과정을 수행하게 된다.
상기 위치 설정 단계(S20)는 전체 프레임 영역을 기준으로 상기 크기 설정 단계(S10)에 의해 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정하게 된다.
상세하게는, 타겟 영역의 면적이 1/2 겹치게 수직 방향 또는, 수평 방향으로 슬라이딩 이동하면서 타겟 영역의 위치를 설정함으로써, 전체 프레임 영역에 비해 축소 설정된 타겟 영역을 이용함에도 불구하고 전체 프레임 영역에 대한 탐지 과정이 이루어지게 된다.
상기 위치 설정 단계(S20)를 통해서 타겟 영역의 위치가 이동 설정되더라도, 상기 크기 설정 단계(S10) 와 마찬가지로, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 설정된 타겟 영역의 위치와 대응되어 타겟 영역이 설정되게 된다.
종래의 위변조 탐지 기술에 비해 보다 긴 시간이 소요될 수 있으나, 입력되는 동영상 데이터의 활용 분야에 따라, 매우 정교한 탐지가 요구될 경우, 신뢰도 높게 이용될 수 있다.
도 2의 b)에 도시된 시간 영역을 설정하는 동작은 '동영상 데이터의 시간적 변조(Inter-frame 조작)을 탐지'를 위한 기술로서, 상기 구간 설정 단계(S30)를 통해서, 상기 동영상 데이터를 구성하는 전체 프레임들 중 미리 설정된 소정 구간의 프레임만을 선택하게 된다.
물론, 상기 구간 설정 단계(S30)에 의해 소정 구간의 프레임이 선택될 경우, 해당 프레임 내 픽셀들에 대해서만 상기 광학 흐름 요소 정보를 계산하게 된다.
이 때, 소정 구간의 설정은 동적 움직임의 프레임 시퀀스와 정적 움직임의 프레임 시퀀스로 분류하여 설정하거나, 사전에 프레임의 조작/삭제/삽입 등의 위변조가 발생한 프레임 순서를 특정했을 경우, 해당 프레임을 기준으로 주변 프레임을 소정 구간으로 선택할 수도 있다.
상기 구간 설정 단계(S30)는 상기 동영상 데이터를 구성하는 전체 프레임 중 일부 프레임에 대해서만 선택적으로 상기 광학 흐름 요소 정보가 계산될 수 있도록 하는 구성으로서, 일부 프레임이 선택되는 기술에 대해서는 한정하는 것은 아니다.
더불어, 상술한 공간 영역을 설정하는 동작과 융합하여, 설정한/선택한 소정 구간의 프레임에 대해서, 전체 프레임 영역(전체 사각형 영역)을 기반으로, 미리 설정된 소정 비율에 따라, 상기 광학 흐름 요소 정보를 계산하기 위한 타겟 영역의 크기를 설정할 수 있다. 또한, 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정할 수 있다. 뿐만 아니라, 보다 정교한 위변조 탐지를 위해, 타겟 영역을 이동시키면서 전체 프레임 영역에 대한 위변조 탐지를 수행할 수 있다. 물론, 소정 구간의 프레임 중 선택된 어느 하나의 프레임을 통해 설정된 타겟 영역의 위치와 대응되어 나머지 프레임들에 대해서 대응되는 위치에 타겟 영역이 설정되는 것이 바람직하다.
다시 말하자면, 전체 프레임 영역에 대한 상기 광학 흐름 요소 정보를 계산하는 대신 일부 영역인 타겟 영역을 설정하여 계산하게 된다. 이 때, 타겟 영역은 크기 변경/위치 변경이 가능하다.
또한, 동영상 데이터를 구성하는 전체 프레임(전체 프레임 시퀀스) 대신 일부 프레임(일부 프레임 시퀀스) 만을 선택하여 상기 광학 흐름 요소 정보를 계산하게 된다.
상세하게는, 일반적으로, 연속된 프레임으로 구성되는 동영상 데이터는 영상 일관성(coherence)과 시간 일관성의 성질을 가지고 있다고 가정하게 된다.
영상 일관성이란, 어떠한 픽셀(x, y)의 색이 소정 색이라면, 해당하는 픽셀의 주변 픽셀들도 유사한 색을 갖고 있을 가능성이 높다는 것이며, 시간 일관성이란, 어떠한 순간(t)의 픽셀값(f(x, y, t))은 다음 순간(t+1)의 픽셀값(f(x, y, t+1))과 비슷할 가능성이 높다는 것이다.
이러한 동영상 데이터의 성질을 고려하여, 상기 광학 흐름 요소 정보는, 인접한 두 장의 영상(이전 프레임과 현재 프레임)에 나타나는 명암(brightness) 변화를 분석하여, 계산하게 된다.
일 예를 들자면, 이전 프레임의 어떤 픽셀값(f(x, y, t))이 대응되는 위치의 현재 프레임의 어떤 픽셀값(f(x, y, t+1))의 명암 변화를 분석하게 된다.
이러한 상기 픽셀 분석부(100)은 동영상 데이터의 광학 흐름 추정 알고리즘을 이용하여 상기 광학 흐름 요소 정보를 계산할 수 있으며, 상기 광학 흐름 추정 알고리즘은 통상의 기술로서, 이에 대해서 한정하는 것은 아니다.
상기 픽셀 분석 단계(S200)는 이러한 점을 고려하여, 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각 프레임 내 픽셀들의 상기 광학 흐름 요소 정보를 계산하게 된다.
상기의 수학식 1과 같이 정의된 각 프레임 내 각 픽셀들의 RGB 값(E)을 이용하여, 이전 프레임의 선택되는 어느 하나의 픽셀값(Ex,y,t)과 대응되는 현재 프레임의 픽셀값(Ex,y,t+1)의 비교 또는, 현재 프레임 선택되는 어느 하나의 픽셀값(Ex,y,t)과 대응되는 다음 프레임 픽셀값(Ex,y,t+1)의 비교에 의한 상기 광학 흐름 요소 정보를 계산하게 된다.
상기의 수학식 1을 통해서, 상기 광학 흐름 요소 정보인 Ex, Ey, Et를 계산하게 되며, 이는 상기의 수학식 2와 같이 대응된다.
최대한 정교하게 동영상 데이터의 위변조를 탐지하기 위하여, 상술한 바와 같이, 각 프레임의 전체 영역을 기준으로 소정 영역을 설정한 후, 상기 광학 흐름 요소 정보를 계산하게 된다.
상기 분포 분석 단계(S300)는 연산 처리 수단인 상기 분포 분석부(200)에서, 상기 픽셀 분석 단계(S200)에 의해 계산된 각 프레임 별 계산된 픽셀들의 광학 흐름 요소 정보를 합산하게 된다.
상세하게는, 전체 구간의 프레임 또는, 소정 구간의 프레임에 설정된 타겟 영역에 의한 픽셀들에 대해 계산한 상기 광학 흐름 요소 정보를 합산하게 된다. 즉, 각 프레임의 타겟 영역에 대해서 계산된 상기 광학 흐름 요소 정보를 합산하게 된다. 이는 도 3의 a)와 같이, 프레임 순서대로 상기 광학 흐름 요소의 합산값(Ex + Ey + Et)을 분포도로 변환하여 나타낼 수 있다.
이 후, 프레임 순서를 고려하여, 각 프레임 별 상기 합산값을 이용하여, 도 3의 b)와 같이, 전/후 프레임의 합산값들과 비교한 변화량 분포도를 추출하는 것이 바람직하다.
이를 이용하여, 프레임 순서를 고려하여 각 프레임 별 전/후 프레임과의 비교를 통한 상기 합산값의 변화량을 이용하여, 정규 분포 분석을 수행하는 것이 바람직하다.
상기 합산값의 변화량은 상기의 수학식 3을 통해서 계산할 수 있다.
상기 차이 연산 단계(S400)는 연산 처리 수단인 상기 차이 연산부(300)에서, 상기 분포 분석 단계(S300)에 의한 결과를 이용하여, 정규 분포 분석에 따른 이상 패턴을 분석하게 된다.
상세하게는, 정규 분포 분석 결과를 이용하여, 합산값의 평균치를 프레임 순서를 고려하여 각 프레임 별 합산값의 상대 거리를 연산하게 된다.
즉, 정규 분포 분석 결과에 따른 상기 합산값의 평균값과 각 프레임의 합산값의 차이를 이용하여, 상대 거리를 연산하게 되며, 상대 거리 연산은 상기의 수학식 4와 같이 정의된다.
상기 지표화 수행 단계(S500)는 연산 처리 수단인 상기 지표화 수행부(400)에서, 상기 차이 연산 단계(S400)에 의해 각 프레임 별로 연산한 상대 거리를 이용하여, 해당하는 프레임의 위변조 가능성 또는, 위변조 여부를 탐지/추론할 수 있는 지표 계산을 수행하게 된다.
즉, 위변조 임계값 경계를 설정하는 과정에서의 부담을 제거하기 위하여, 동영상 위변조 가능성/여부를 정량적으로 측정하게 된다.
이를 위해, 상기의 수학식 5를 통해서, 상기 상대 거리의 지표 계산을 수행하게 된다.
추론 제공 단계(S600)는 연산 처리 수단인 상기 추론 제공부(500)에서, 상기 지표화 수행 단계(S500)에 의한 지표 계산 결과(지표 점수 결과)를 이용하여, 미리 설정된 정렬 기준을 적용하여 정렬한 결과를 외부 사용자(동영상 데이터를 입력한 사용자 등) 또는, 외부 연계 단말 수단으로 제공하게 된다.
상기 지표 계산은 상기 수학식 5에 의해, 0 <= <100 으로 결과가 출력되며, 0에 가까우면 정상 패턴으로 조작 확률이 없음을 의미하고, 100에 가까우면 비정상 패턴으로 조작 확률이 높음을 의미한다.
그렇기 때문에, 미리 설정된 정렬 기준으로 내림 차순인 것이 바람직하며, 높은 값부터 내림차순으로 미리 설정된 개수만큼 출력하게 된다.
이 때, 지표 계산 결과는 상기 지표화 수행 단계(S500) 에서 동작을 수행할 때, 당연히 전체 프레임에 대한 탐지가 진행되었을 경우, 전체 프레임 영역 내 선택된 타겟 영역의 위치 정보를 포함하는 것이 바람직하며, 일부 프레임에 대한 탐지가 진행되었을 경우, 선택된 시간 구간 정보/타겟 영역의 위치 정보를 포함한 것을 같이 제공함으로써, 외부 사용자에게 정확한 정보를 제공하게 된다.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
100 : 픽셀 분석부
110 : 크기 설정부 120 : 위치 설정부
130 : 구간 설정부
200 : 분포 분석부
300 : 차이 연산부
400 : 지표화 수행부
500 : 추론 제공부

Claims (12)

  1. 위변조 여부를 분석하고자 하는 동영상 데이터를 입력받아, 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각 프레임 별로, 프레임 내 기설정된 소정 영역의 픽셀들에 대한 기설정된 광학 흐름 요소(optical flow component) 정보를 계산하는 픽셀 분석부(100);
    각 프레임 별 계산된 픽셀들의 광학 흐름 요소 정보를 합산하고, 프레임의 순서를 고려한 합산값의 변화량에 따른 정규 분포 분석을 수행하는 분포 분석부(200);
    정규 분포 분석 결과를 이용하여, 합산값의 평균치에 따른, 각 프레임 별 합산값의 상대 거리를 연산하는 차이 연산부(300); 및
    각 프레임 별로 연산한 상대 거리를 이용하여, 해당하는 프레임의 위변조 여부를 탐지할 수 있는 지표 계산을 수행하는 지표화 수행부(400);
    를 포함하는, 동영상 위변조 탐지 시스템.
  2. 제1항에 있어서,
    상기 픽셀 분석부(100)는
    각 프레임 별, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하는 크기 설정부(110);
    를 포함하는, 동영상 위변조 탐지 시스템.
  3. 제2항에 있어서,
    상기 픽셀 분석부(100)는
    전체 프레임 영역을 기반으로, 상기 크기 설정부(100)에 의해 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정하는 위치 설정부(120);
    를 더 포함하는, 동영상 위변조 탐지 시스템.
  4. 제3항에 있어서,
    상기 픽셀 분석부(100)는
    상기 위치 설정부(120)에 의해 타겟 영역의 위치가 설정되면, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 계산하는, 동영상 위변조 탐지 시스템.
  5. 제1항에 있어서,
    상기 픽셀 분석부(100)는
    상기 동영상 데이터를 구성하는 전체 프레임 중 기설정된 소정 구간의 프레임에 대해서만 타겟 영역을 설정하는 구간 설정부(130);
    를 더 포함하는, 동영상 위변조 탐지 시스템.
  6. 제5항에 있어서,
    상기 구간 설정부(130)는
    소정 구간의 프레임에 대해서, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하고, 설정한 타겟 영역의 크기를 고려하여, 타겟 영역의 위치를 설정하며,
    상기 픽셀 분석부(100)는
    소정 구간의 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 계산하는, 동영상 위변조 탐지 시스템.
  7. 제1항에 있어서,
    상기 동영상 위변조 탐지 시스템은
    상기 지표화 수행부(400)에 의한 지표 계산 결과를 이용하여, 기설정된 정렬 기준을 적용하여 정렬한 결과를 외부로 제공하는 추론 제공부(500);
    를 포함하는, 동영상 위변조 탐지 시스템.
  8. 연산 처리 수단에 의해 각 단계가 수행되는 동영상 위변조 탐지 시스템을 이용한 동영상 위변조 탐지 방법으로서,
    위변조 여부를 분석하고자 하는 동영상 데이터를 입력받는 동영상 입력 단계(S100);
    입력받은 상기 동영상 데이터를 구성하는 프레임들을 순차적으로 이용하여, 각 프레임 별로, 프레임 내 기설정된 소정 영역의 픽셀들에 대한 기설정된 광학 흐름 요소(optical flow component) 정보를 계산하는 픽셀 분석 단계(S200);
    각 프레임 별 계산된 픽셀들의 광학 흐름 요소 정보를 합산하고, 각 프레임의 순서를 고려한 합산값의 변화량에 따른 정규 분포 분석을 수행하는 분포 분석 단계(S300);
    정규 분포 분석 결과를 이용하여, 합산값의 평균치에 따른, 각 프레임 별 합산값의 상대 거리를 연산하는 차이 연산 단계(S400);
    각 프레임 별로 연산한 상대 거리를 이용하여, 해당하는 프레임의 위변조 여부를 탐지할 수 있는 지표 계산을 수행하는 지표화 수행 단계(S500); 및
    지표 계산 결과를 이용하여, 기설정된 정렬 기준을 적용하여 정렬한 결과를 외부로 제공하는 추론 제공 단계(S600);
    를 포함하는, 동영상 위변조 탐지 방법.
  9. 제8항에 있어서,
    상기 동영상 위변조 탐지 방법은
    상기 픽셀 분석 단계(S200)를 수행하기 전,
    각 프레임 별, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하는 크기 설정 단계(S10); 및
    설정한 타겟 영역의 크기를 이용하여, 전체 프레임 영역을 기반으로 타겟 영역의 위치를 설정하는 위치 설정 단계(S20);
    를 더 포함하는, 동영상 위변조 탐지 방법.
  10. 제9항에 있어서,
    상기 픽셀 분석 단계(S200)는
    타겟 영역의 위치가 설정될 경우, 상기 동영상 데이터를 구성하는 전체 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 계산하는, 동영상 위변조 탐지 방법.
  11. 제8항에 있어서,
    상기 동영상 위변조 탐지 방법은
    상기 픽셀 분석 단계(S200)를 수행하기 전,
    상기 동영상 데이터를 구성하는 전체 프레임 중 기설정된 소정 구간의 프레임에 대해서만 타겟 영역을 설정하는 구간 설정 단계(S30);
    를 더 포함하며,
    상기 구간 설정 단계(S30)는
    수정 구간의 프레임에 대해서, 전체 프레임 영역을 기반으로, 기설정된 소정 비율에 따라 광학 흐름 요소를 계산하기 위한 타겟 영역의 크기를 설정하고,
    설정한 타겟 영역의 크기를 이용하여, 기설정된 소정 구간의 각 프레임의 전체 프레임 영역을 기반으로 타겟 영역의 위치를 설정하는, 동영상 위변조 탐지 방법.
  12. 제11항에 있어서,
    상기 픽셀 분석 단계(S200)는
    타겟 영역의 위치가 설정될 경우, 상기 소정 구간의 프레임에 대해서 동일한 위치의 타겟 영역에 대한 상기 광학 흐름 요소 정보를 계산하는, 동영상 위변조 탐지 방법.

KR1020220083099A 2022-07-06 2022-07-06 동영상 위변조 탐지 시스템 및 그 방법 KR20240006261A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220083099A KR20240006261A (ko) 2022-07-06 2022-07-06 동영상 위변조 탐지 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220083099A KR20240006261A (ko) 2022-07-06 2022-07-06 동영상 위변조 탐지 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20240006261A true KR20240006261A (ko) 2024-01-15

Family

ID=89543084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220083099A KR20240006261A (ko) 2022-07-06 2022-07-06 동영상 위변조 탐지 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20240006261A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746074B1 (ko) 2015-12-31 2017-06-12 한양여자대학교 산학협력단 디지털 동영상 위변조 분석시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746074B1 (ko) 2015-12-31 2017-06-12 한양여자대학교 산학협력단 디지털 동영상 위변조 분석시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US6639998B1 (en) Method of detecting a specific object in an image signal
Phung et al. Skin segmentation using color pixel classification: analysis and comparison
US7916173B2 (en) Method for detecting and selecting good quality image frames from video
JP4160258B2 (ja) 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定
JP4816725B2 (ja) 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
US7751610B2 (en) Image recognition method and image recognition apparatus
US8977070B2 (en) Correction of blotches in component images
CN107328776B (zh) 一种免疫层析试纸卡的快速检测方法
USRE42367E1 (en) Method for illumination independent change detection in a pair of registered gray images
CN104951742B (zh) 敏感视频的检测方法和系统
KR20010033552A (ko) 비디오 시퀀스의 변환 검출
KR20050034538A (ko) 디지털 비디오 신호 내에서 불투명한 로고 검출 장치 및방법
US8897593B2 (en) Determining image quality based on distribution of representative autocorrelation coefficients
US20080050015A1 (en) Visual characteristics-based news anchorperson segment detection method
US6577775B1 (en) Methods and apparatuses for normalizing the intensity of an image
JP4901229B2 (ja) 赤目検出方法および装置並びにプログラム
US6714670B1 (en) Methods and apparatuses to determine the state of elements
KR20240006261A (ko) 동영상 위변조 탐지 시스템 및 그 방법
JP2006323779A (ja) 画像処理方法、画像処理装置
CN109360189B (zh) 检测非制冷红外机芯图像像素缺陷点的方法
US11039096B2 (en) Image processing device, image processing method and storage medium
Kaur et al. Performance Evaluation of various thresholding methods using canny edge detector
Lu et al. Webpage cross-browser test from image level
Rai et al. Document quality estimation using spatial frequency response
KR101034189B1 (ko) 객체 분석과 멀티리사이징스캔을 이용한 성인영상 검출 방법