KR102097422B1 - 조작 영상 검출 장치 및 방법 - Google Patents

조작 영상 검출 장치 및 방법 Download PDF

Info

Publication number
KR102097422B1
KR102097422B1 KR1020180088332A KR20180088332A KR102097422B1 KR 102097422 B1 KR102097422 B1 KR 102097422B1 KR 1020180088332 A KR1020180088332 A KR 1020180088332A KR 20180088332 A KR20180088332 A KR 20180088332A KR 102097422 B1 KR102097422 B1 KR 102097422B1
Authority
KR
South Korea
Prior art keywords
image
information
input
neural network
encoding
Prior art date
Application number
KR1020180088332A
Other languages
English (en)
Other versions
KR20200013311A (ko
Inventor
오병태
홍진형
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020180088332A priority Critical patent/KR102097422B1/ko
Publication of KR20200013311A publication Critical patent/KR20200013311A/ko
Application granted granted Critical
Publication of KR102097422B1 publication Critical patent/KR102097422B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

조작 영상 검출 방법에 관한 것이며, 조작 영상 검출 방법은, (a) 조작 검출 대상이 되는 영상을 입력받는 단계; 및 (b) 입력된 상기 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 입력으로 하는 뉴럴 네트워크를 이용해 상기 영상의 조작 여부를 검출하는 단계를 포함하되, 상기 영상으로부터 추출된 부호화 정보는 HEVC(High Efficiency Video Coding)로 압축된 영상의 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보일 수 있다.

Description

조작 영상 검출 장치 및 방법 {APPARATUS AND METHOD FOR DETECTING OF IMAGE MANIPULATION}
본원은 조작 영상 검출 장치 및 방법에 관한 것이다. 특히, 본원은 뉴럴 네트워크 기반의 부호화 정보를 이용해 입력된 영상의 조작 여부를 검출하는 조작 영상 검출 장치 및 방법에 관한 것이다.
정보통신기술의 발달에 따라 영상을 조작하는 방식이 날로 발전하고 있다.
영상 조작은 단순히 유희로 사용되기도 하지만, 법적 증거물의 조작, 연구결과의 조작, 허위 서류의 작성 등 불법이나 악의적인 목적으로 사용되기도 하며, 이에 따라 영상 조작을 검출하는 기술의 발전은 필수불가결하다고 할 수 있다.
예시적으로, 영상 조작을 검출하는 기술로서, 시/공간적 불일치성을 이용한 기법, 영상/동영상의 조작을 시도할 때 반드시 일어나는 이중 압축 환경에서 발생하는 부호화/복호화 패턴의 특징을 이용한 기법 등을 포함하는 디지털 포렌식(Digital Forensic) 기술의 발전은 필수불가결하다고 할 수 있다.
최근 표준화된 영상 압축 표준인 HEVC(High Efficiency Video Coding)는 영상 품질 개선으로 높은 해상도를 지원하며, 압축 효율이 우수함에 따라 기존의 영상 압축 표준인 MPEG-2(H.262)와 비교해 약 4배, H.264/AVC에 비해 약 2배의 압축 성능을 가진다.
종래에 공지된 영상 조작 검출 기법은 대부분 기존의 영상 압축 표준인 MPEG-2, MPEG-4, H.264/AVC 등을 이용하여 압축된 영상에 대하여 조작 여부를 검출하며, 이러한 기존의 영상 압축 표준에 적용되는 영상 조작 검출 기법은 최근 표준화된 영상 압축 표준인 HEVC에 적용할 수 없는 문제가 있다.
이에 따라, HEVC로 압축된 영상의 조작 여부를 검출할 수 있는 기술이 요구된다.
본원의 배경이 되는 기술은 문헌 [YU, Liyang, et al. Exposing frame deletion by detecting abrupt changes in video streams. Neurocomputing, 2016, 205: 84-91.]에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, HEVC로 압축된 영상의 조작 여부를 검출할 수 있는 조작 영상 검출 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 영상의 조작 여부를 효과적으로 검출할 수 있는 조작 영상 검출 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 조작 영상 검출 방법은, (a) 조작 검출 대상이 되는 영상을 입력받는 단계; 및 (b) 입력된 상기 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 입력으로 하는 뉴럴 네트워크를 이용해 상기 영상의 조작 여부를 검출하는 단계를 포함하되, 상기 영상으로부터 추출된 부호화 정보는 HEVC(High Efficiency Video Coding)로 압축된 영상의 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보일 수 있다.
또한, 상기 (b) 단계는, 상기 영상으로부터 부호화 정보로서 추출된 상기 부호화 패턴의 특징을 영상 형태로 가공하여 상기 뉴럴 네트워크의 입력으로 제공할 수 있다.
또한, 상기 (b) 단계에서, 상기 부호화 패턴의 특징에는 상기 HEVC의 블록 구조인 CU(Coding Unit), TU(Transform Unit) 및 PU(Prediction Unit) 중 적어도 하나의 블록 구조의 위치 및 분할 정보가 포함될 수 있다.
또한, 상기 (b) 단계에서, 상기 뉴럴 네트워크에 입력되는 전처리 정보는, 상기 위치 및 상기 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도일 수 있다.
또한, 상기 분할 정보 지도는, 상기 영상의 해상도와 동일 해상도를 가질 수 있다.
또한, 상기 분할 정보 지도는, 상기 블록 구조의 특성을 고려하여 크기가 축소된 축소 분할 정보 지도일 수 있다.
또한, 상기 HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 상기 분할 정보 지도는 가로 및 세로 각각 k배 축소한 크기로 상기 뉴럴 네트워크에 입력될 수 있다.
또한, 상기 (b) 단계에서, 상기 부호화 패턴의 특징에는 비트스트림으로부터 추출 가능한 압축 정보가 포함될 수 있다.
또한, 상기 (b) 단계에서, 상기 영상 형태의 분할 정보 지도는 GOP 단위를 갖는 복수의 프레임 셋트로 형성될 수 있다.
또한, 상기 뉴럴 네트워크는, 상기 전처리 정보를 입력으로 하고, 조작된 영상 및 비조작된 영상을 출력으로 하는 트레이닝 셋에 의한 학습을 통해 구축될 수 있다.
한편, 본원의 일 실시예에 따른 조작 영상 검출 장치는, 조작 검출 대상이 되는 영상을 입력받는 입력부; 및 입력된 상기 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 입력으로 하는 뉴럴 네트워크를 이용해 상기 영상의 조작 여부를 검출하는 검출부를 포함하되, 상기 영상으로부터 추출된 부호화 정보는 HEVC(High Efficiency Video Coding)로 압축된 영상의 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보일 수 있다.
또한, 상기 검출부는, 상기 영상으로부터 부호화 정보로서 추출된 상기 부호화 패턴의 특징을 영상 형태로 가공하여 상기 뉴럴 네트워크의 입력으로 제공할 수 있다.
또한, 상기 부호화 패턴의 특징에는 상기 HEVC의 블록 구조인 CU(Coding Unit), TU(Transform Unit) 및 PU(Prediction Unit) 중 적어도 하나의 블록 구조의 위치 및 분할 정보가 포함될 수 있다.
또한, 상기 뉴럴 네트워크에 입력되는 전처리 정보는, 상기 위치 및 상기 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도일 수 있다.
또한, 상기 분할 정보 지도는, 상기 영상의 해상도와 동일 해상도를 가질 수 있다.
또한, 상기 분할 정보 지도는, 상기 블록 구조의 특성을 고려하여 크기가 축소된 축소 분할 정보 지도일 수 있다.
또한, 상기 HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 상기 분할 정보 지도는 가로 및 세로 각각 k배 축소한 크기로 상기 뉴럴 네트워크에 입력될 수 있다.
또한, 상기 부호화 패턴의 특징에는 비트스트림으로부터 추출 가능한 압축 정보가 포함될 수 있다.
또한, 상기 영상 형태의 분할 정보 지도는 GOP 단위를 갖는 복수의 프레임 셋트로 형성될 수 있다.
또한, 상기 뉴럴 네트워크는, 상기 전처리 정보를 입력으로 하고, 조작된 영상 및 비조작된 영상을 출력으로 하는 트레이닝 셋에 의한 학습을 통해 구축될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 동영상의 시간적 특성을 고려해 구축된 뉴럴 네트워크(딥러닝, 신경망)를 이용하여 HEVC로 압축된 영상의 조작 여부를 효과적으로 검출할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 입력된 영상으로부터 추출된 영상의 조작 정보가 포함되어 있는 HEVC의 부호화 정보를 전처리하여 데이터 크기를 효과적으로 줄임으로써 다양한 크기의 해상도를 갖는 영상의 조작 여부를 검출할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 조작 영상 검출 장치의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 조작 영상 검출 장치에서의 전처리 과정을 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 조작 영상 검출 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
일반적으로 영상 조작 과정은 다음과 같다. 영상 획득이 이루어진 경우 획득된 영상은 부호화(또는 압축)되어 비트스트림 형태로 기록매체 또는 메모리에 기록, 저장될 수 있다. 이후, 기록 또는 저장된 영상의 임의적인 편집, 삭제 등의 조작을 수행하기 위해서는 비트스트림 형태로 기록 또는 저장되어 있는 영상을 복호화하여 영상의 형태로 변환하는 과정이 수행될 수 있다. 이후, 복호화된 영상을 조작한 이후 다시 기록 또는 저장을 위해 부호화(또는 압축)하는 과정이 수행될 수 있다. 이와 같이, 조작된 영상은 2회 이상의 부호화 과정(이중 압축)이 수행될 수 있으며, 반면 비조작된 영상은 1회의 부호화 과정이 수행될 수 있다. 이때, 영상 조작 검출기는 일예로 이중 압축에 의해 발생되는 부호화/복호화 패턴의 특징을 이용해 입력된 영상의 조작 여부를 검출할 수 있다. 즉, 영상 조작 검출기는 입력된 영상을 비조작 영상과 조작 영상으로 분류할 수 있다.
그런데 종래에 공지된 영상 조작 검출기에 의한 영상 조작 검출 기법은 대부분 기존의 영상 압축 표준인 MPEG-2, MPEG-4, H.264/AVC 등을 이용하여 압축된 영상에 대하여 조작 여부를 검출하며, 이러한 기존의 영상 압축 표준에 적용되는 영상 조작 검출 기법은 최근 표준화된 영상 압축 표준인 HEVC(High Efficiency Video Coding)에 적용할 수 없는 문제가 있다.
이에, 본원은 부호화 패턴의 특징을 이용하여 영상의 조작 여부를 검출하는 기술에 대하여 개시한다.
구체적으로, 조작된 영상의 경우에는 최초 획득된 영상에 대해 조작이 이루어지고 이를 저장하는 과정에서 한 번 더 압축이 수행(이중 압축이 수행)되며, 이에 따라 조작된 영상에서는 비조작된 영상의 경우와는 달리 조작 여부에 따라 부호화 패턴이 달라지는 변화가 발생하게 된다. 따라서, 본원은 영상 조작을 위하여 2회 이상의 부호화(이중 압축) 과정이 수행되면, 조작된 영상의 부호화 패턴에서 영상 조작의 영향으로 1회의 부호화 과정이 수행되었을 때와는 다른 자연스럽지 않은 패턴이 나타난다는 점에 착안하여, 이러한 상이한 압축 패턴을 이용하여 영상의 조작 여부를 검출하는 기술에 대하여 개시한다.
특히, 본원은 HEVC(High Efficiency Video Coding)로 압축된 영상의 조작에 의한 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보인 부호화 정보를 전처리하여 뉴럴 네트워크(딥러닝, 신경망)의 입력으로 사용하고, 이러한 뉴럴 네트워크를 이용해 입력된 영상의 조작 여부를 검출하는 기술에 관한 것이다. 이는 도 1을 통해 보다 쉽게 이해될 수 있다.
도 1은 본원의 일 실시예에 따른 조작 영상 검출 장치(10)의 개략적인 구성도이다.
이하에서는 본원의 일 실시예에 따른 조작 영상 검출 장치(10)를 설명의 편의상 본 장치(10)라 하기로 한다.
도 1을 참조하면, 입력부(11)는 조작 검출 대상이 되는 영상을 입력받을 수 있다. 여기서, 입력부(11)에서 입력된 영상은 동영상일 수 있으나, 이에만 한정되는 것은 아니다.
검출부(12)는 입력부(11)에서 입력된 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 입력으로 하는 뉴럴 네트워크를 이용해 입력부(11)에서 입력된 영상의 조작 여부를 검출할 수 있다.
여기서, 입력부(11)에서 입력된 영상으로부터 추출된 부호화 정보는 HEVC(High Efficiency Video Coding)로 압축된 영상의 조작에 의한 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보일 수 있다. 또한, 검출부(12)에 의한 검출시 고려되는 뉴럴 네트워크는 전처리 정보를 입력으로 하고, 조작된 영상 및 비조작된 영상을 출력으로 하는 트레이닝 셋에 의한 학습을 통해 구축될 수 있다.
검출부(12)는 입력된 영상으로부터 부호화 정보로서 추출된 부호화 패턴의 특징을 영상 형태로 가공하여 전처리 정보로서 뉴럴 네트워크의 입력으로 제공할 수 있다.
이때, 검출부(12)에 의한 검출시 부호화 정보로서 고려되는 부호화 패턴의 특징에는 분할 정보 및 모든 형태의 압축 정보가 포함될 수 있다. 구체적인 설명은 다음과 같다.
검출부(12)에 의한 검출시 고려되는 부호화 패턴의 특징에는 HEVC의 블록 구조인 CU(Coding Unit), TU(Transform Unit) 및 PU(Prediction Unit) 중 적어도 하나의 블록 구조의 위치 및 분할 정보가 포함될 수 있다. 이때, 검출부(12)는 분할 정보에 관한 부호화 패턴의 특징을 영상 형태로 가공하여 전처리 정보로서 뉴럴 네트워크의 입력으로 제공할 수 있다.
HEVC에서는 기본적으로 부호화 패턴 단위로서 CU(Coding Unit) 블록으로 나누어 압축이 진행되며, 각각의 CU는 인트라(Intra, 화면 내 예측) 방식 또는 인터(Inter, 화면 간 예측) 방식으로 압축이 진행된다. 이때, 입력된 영상의 적어도 일부가 조작되는 경우, 조작의 영향으로 인트라/인터 CU의 비율, CU 블록의 크기 등 CU에 대한 특성이 급격하게 변하는 경우가 발생하게 된다. 따라서, 검출부(12)는 입력된 영상의 조작으로 인한 변화된 부호화 패턴의 특징으로서 일예로 변화된 CU의 특성(즉, 변화된 CU의 위치 및 분할 정보)을 고려하여 입력된 영상의 조작 여부를 검출할 수 있다.
또한, HEVC에서 TU는 CU 내에서 효율적인 방식으로 변환을 이용할 블록의 크기를 설정하게 되는데, 입력된 영상의 적어도 일부가 조작되는 경우, 조작의 영향으로 TU 블록의 잔차 신호의 에너지 분포, TU 블록의 크기별 발생 빈도 및 변환을 스킵(SKIP)한 TU 블록의 개수 등 TU에 대한 특성이 크게 변하게 된다. 따라서, 검출부(12)는 입력된 영상의 조작으로 인한 변화된 부호화 패턴의 특징으로서 일예로 변화된 TU의 특성(즉, 변화된 TU의 위치 및 분할 정보)을 고려하여 입력된 영상의 조작 여부를 검출할 수 있다.
또한, HEVC에서는 TU와 유사하게 CU 내 PU 단위로 예측이 진행되며, 입력된 영상의 적어도 일부가 조작되는 경우, 조작의 영향으로 참조 영상과 변환되는 영상 값의 차이가 커지게 되어, PU 블록의 크기별 발생 빈도, SKIP/MERGE 예측 방식(또는 모드)이 적용된 PU 블록의 개수 및 PU 블록의 분할 형태 등 PU에 대한 특성이 크게 변하게 된다. 따라서, 검출부(12)는 입력된 영상의 조작으로 인한 변화된 부호화 패턴의 특징으로서 일예로 변화된 PU의 특성(즉, 변화된 PU의 위치 및 분할 정보)을 고려하여 입력된 영상의 조작 여부를 검출할 수 있다.
검출부(12)에 의한 검출시 고려되는 뉴럴 네트워크에 입력되는 전처리 정보는, HEVC의 적어도 하나의 블록 구조의 위치 및 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도(분할 지도)일 수 있다. 이러한 분할 정보 지도(분할 지도)는 입력된 영상의 해상도와 동일 해상도를 가질 수 있다.
또한, 영상 형태의 분할 정보 지도는 GOP(Group of Pictures) 단위를 갖는 복수의 프레임 셋트로 형성될 수 있다. 다시 말해, 분할 정보에 관한 부호화 패턴의 특징을 영상 형태로 가공하는 전처리를 통해 생성된 전처리 정보(즉, 영상 형태의 분할 정보 지도)는 GOP(Group of Pictures) 단위를 갖는 복수의 프레임 셋트로 형성될 수 있다.
또한, 분할 정보 지도는 HEVC의 적어도 하나의 블록 구조의 특성을 고려하여 크기가 축소된 축소 분할 정보 지도일 수 있다. 달리 표현하여, 분할 정보 지도는 CU, TU, PU의 특성을 고려하여 크기를 줄인 영상 형태의 분할 정보 지도(분할 지도)일 수 있다.
이때 HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 분할 정보 지도는 가로 및 세로 각각 k배 축소한 크기로 뉴럴 네트워크에 입력될 수 있다.
다시 말하자면, 입력된 영상(예를 들어, 동영상)의 특정 위치에서 영상의 삽입이나 조작이 일어남에 따라 입력된 영상에 이중 압축이 이루어지면, 조작이 이루어지지 않은 영상(비조작된 영상)과는 달리 조작된 영상에서는 부호화 정보(압축 정보)와 관련하여 급격하게 변화되는 부분(급변화되는 부분)이 나타나게 되며, 이러한 부호화(압축) 정보의 패턴 변화(즉, 부호화 패턴의 특징 변화)가 이후 뒤따르는 프레임에 발생하게 된다. 따라서, 영상(예를 들어, 동영상)을 부호화하는 과정에서 HEVC는 율-왜곡 비용 계산을 통해 필연적으로 세부 CU/TU/PU로 분할하는 과정이 조작 이전과 대비하여 조작 이후에 자주 일어나게 된다.
이에, 본 장치(10)에서 검출부(12)는 이러한 부호화 패턴의 특징에 관한 정보인 부호화 정보를 입력된 영상으로부터 추출하고, 추출된 부호화 정보를 입력된 영상에 대한 조작 여부의 검출시 이용할 수 있다.
이때, 부호화 정보를 이용하기 위해, 검출부(12)는 입력부(11)에서 입력된 영상에 대해 부호화 정보의 파싱(parsing)을 수행하여 입력된 영상으로부터 HEVC로 압축된 영상의 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보인 부호화 정보를 추출할 수 있다.
검출부(12)는 입력된 영상으로부터 부호화 정보의 추출을 위해, 입력된 영상에 대응하는 비트스트림 파일에서 CU, TU, PU 각각의 위치 및 분할 정보를 부호화 패턴의 특징으로서 추출할 수 있다. 즉, 검출부(12)는 입력된 영상으로부터 부호화 정보로서 부호화 패턴의 특징에 관한 정보를 추출할 수 있다. 여기서, 부호화 패턴의 특징에는 HEVC의 블록 구조인 CU(Coding Unit), TU(Transform Unit) 및 PU(Prediction Unit) 중 적어도 하나의 블록 구조의 위치 및 분할 정보가 포함될 수 있다. 즉, 검출부(12)는 CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보 중 적어도 하나를 포함하는 부호화 패턴의 특징에 관한 정보를 입력된 영상으로부터 부호화 정보로서 추출할 수 있다.
이때, 입력된 영상으로부터 추출된 부호화 패턴의 특징(예를 들어, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보)에 관한 정보는 뉴럴 네트워크의 입력으로 사용되기 위해 전처리될 수 있다. 여기서, 전처리된 정보(전처리 정보)는 뉴럴 네트워크에 입력되는 정보로서, CU, TU 및 PU 중 적어도 하나의 블록 구조의 위치 및 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도일 수 있다.
다시 말해, 입력된 영상으로부터 추출된 부호화 정보와 관련된 부호화 패턴의 특징(예를 들어, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보)은 입력된 영상에 대하여 일예로 GOP 단위로 추출되는 CU, TU, PU 각각의 해당 위치와 각 해당 위치에서의 분할 정보를 의미할 수 있다.
이때, 검출부(12)는 이러한 부호화 패턴의 특징(즉, CU, TU 및 PU 중 적어도 하나의 블록 구조의 위치 및 분할 정보)에 기초하여 입력된 영상의 해상도와 동일 해상도를 갖는 영상 형태의 분할 정보 지도를 생성할 수 있다. 이때, 생성된 분할 정보 지도(즉, CU, TU, PU 분할 지도)는 일반적인 영상의 형태를 가지므로, 바로 뉴럴 네트워크의 입력으로 사용될 수 있다. 달리 말해, 검출부(12)는 CU, TU 및 PU 중 적어도 하나의 블록 구조의 위치 및 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도를 전처리 정보로서 뉴럴 네트워크의 입력으로 사용(제공)할 수 있다.
또한, HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 검출부(12)는 생성된 분할 정보 지도의 크기를 가로 및 세로 각각 k배 축소하여 뉴럴 네트워크의 입력으로 사용(제공)할 수 있다. 달리 표현하여, HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 분할 정보 지도는 가로 및 세로 각각 k배 축소한 크기로 뉴럴 네트워크에 입력될 수 있다. 다시 말해, 검출부(12)는 분할 정보 지도의 가로 및 세로 각각을 k배 축소시킴에 따라 생성된 k배 축소된 크기를 갖는 축소 분할 정보 지도를 전처리 정보로서 뉴럴 네트워크의 입력으로 사용(제공)할 수 있다.
이에 따르면, 검출부(12)는 입력된 영상의 조작 여부 검출을 위해, 적어도 하나의 부호화 패턴의 특징(예를 들어, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보)을 영상 형태로 가공하는 전처리를 통해 전처리 정보로서 분할 정보 지도를 생성할 수 있으며, 생성된 전처리 정보를 뉴럴 네트워크의 입력으로 사용할 수 있다. 여기서, 영상 형태로 가공하는 전처리를 통해 생성된 전처리 정보는 특징 맵이라 달리 표현될 수 있다. 즉, 검출부(12)는 적어도 하나의 부호화 패턴의 특징을 영상 형태로 가공하는 전처리를 통해 특징 맵을 생성(구성)하고, 생성(구성)된 특징 맵을 뉴럴 네트워크의 입력으로 사용할 수 있다.
또한, 검출부(12)에 의한 검출시 고려되는 부호화 패턴의 특징에는 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보가 포함될 수 있다. 검출부(12)는 압축 정보에 관한 부호화 패턴의 특징을 영상 형태로 가공하여 전처리 정보로서 뉴럴 네트워크의 입력으로 제공할 수 있다. 여기서, 압축 정보에 관한 부호화 패턴의 특징을 영상 형태로 가공하는 전처리를 통해 생성된 전처리 정보는 GOP(Group of Pictures) 단위를 갖는 복수의 프레임 셋트로 형성될 수 있다.
또한, 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보에는, 루프필터의 형태, 디블록킹(deblocking) 필터의 형태, 모션벡터의 분포 형태 등 다양한 형태로의 압축 정보가 포함될 수 있다.
달리 표현하면, 검출부(12)는 CU, TU, PU 각각의 위치 및 분할 정보 외에도, 루프필터의 형태, 디블록킹(deblocking) 필터의 형태, 모션벡터의 분포 형태 등 입력된 영상에 대응하는 비트스트림으로부터 바로 추출하여 사용할 수 있는 모든 형태의 압축 정보를 영상(또는 동영상) 형태로 가공하여 전처리 정보로서 뉴럴 네트워크의 입력으로 제공할 수 있다.
이에 따르면, 본 장치(10)는 HEVC로 압축된 영상의 조작에 의한 이중 압축시 변화되는 적어도 하나 이상의 부호화 패턴의 특징(예를 들어, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보, 비트스트림으로부터 추출 가능한 압축 정보)을 영상 형태로 가공한 전처리 정보를 뉴럴 네트워크의 입력으로 하는 뉴럴 네트워크를 구축하고, 구축된 뉴럴 네트워크를 이용해 HEVC로 압축된 입력된 영상의 조작 여부를 효과적으로 검출할 수 있다. 이때, 본 장치(10)에서는 적어도 하나 이상의 부호화 패턴의 특징을 영상 형태로 구성(가공)할 때, GOP 단위 등과 같이 복수의 프레임의 셋트로 구성(가공)할 수 있다.
도 2는 본원의 일 실시예에 따른 조작 영상 검출 장치(10)에서의 전처리 과정을 설명하기 위한 도면이다. 달리 표현하여, 도 2는 본원의 일 실시예에 따른 조작 영상 검출 장치(10)에서 입력된 영상으로부터 HEVC의 부호화 정보를 추출하여 전처리를 수행하고, 전처리된 정보(전처리 정보)를 뉴럴 네트워크의 입력으로 사용하여 입력된 영상의 조작 여부를 검출하는 과정의 개략적인 흐름을 나타낸 도면이다.
도 2에 도시된 전처리 과정에 대한 설명은 앞서 설명된 본 장치(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(10)에 대하여 설명된 내용은 전처리 과정에 대한 설명에도 동일하게 적용될 수 있다.
간단히 살펴보면, 도 2를 참조하면, 입력부(11)는 조작 검출 대상이 되는 영상을 입력받을 수 있다.
검출부(12)는 입력부(11)에서 입력된 영상에 대해 전처리를 수행하고, 전처리된 정보(전처리 정보)를 뉴럴 네트워크의 입력으로 제공함으로써, 뉴럴 네트워크를 이용해 입력된 영상의 조작 여부를 검출할 수 있다.
구체적으로, 검출부(12)는 전처리를 위해, 입력된 영상에 대해 부호화 정보의 파싱(parsing)을 수행하여 입력된 영상으로부터 부호화 정보를 추출할 수 있다. 여기서, 부호화 정보는 HEVC로 압축된 영상의 조작에 의한 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보를 의미할 수 있다.
검출부(12)는 전처리를 위해, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보 중 적어도 하나를 포함하는 부호화 패턴의 특징에 관한 정보를 입력된 영상으로부터 부호화 정보로서 추출할 수 있다. 즉, 부호화 패턴의 특징에는 CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보 중 적어도 하나가 포함될 수 있다.
또한, 검출부(12)는 전처리를 위해, 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보를 포함하는 부호화 패턴의 특징에 관한 정보를 입력된 영상으로부터 부호화 정보로서 추출할 수 있다. 즉, 부호화 패턴의 특징에는 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보가 포함될 수 있다.
이후, 검출부(12)는 전처리를 위해 부호화 정보로서 추출된 부호화 패턴의 특징(예를 들어, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보, 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보 등)을 영상 형태로 가공하는 전처리를 수행하여 특징 맵을 생성(구성)하고, 생성(구성)된 특징 맵을 전처리된 정보(전처리 정보)로 하여 뉴럴 네트워크의 입력으로 제공할 수 있다.
여기서, 뉴럴 네트워크는 전처리 정보를 입력으로 하고, 조작된 영상 및 비조작된 영상을 출력으로 하는 트레이닝 셋에 의한 학습을 통해 구축된 것일 수 있다.
검출부(12)는 입력된 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 뉴럴 네트워크의 입력으로 제공할 수 있다. 이후 검출부(12)는 뉴럴 네트워크를 이용해 입력된 영상의 조작 여부를 검출할 수 있다. 즉, 검출부(12)는 검출부(12)는 뉴럴 네트워크를 이용해 입력된 영상이 조작된 영상인지 비조작된 영상인지 검출할 수 있다.
이러한 본원은 인위적으로 조작된 영상(예를 들어, 동영상)의 조작 여부 검출을 위해, 인위적으로 조작이 수행될 때 필연적으로 발생하는 이중 압축 검출에 관한 기술로서, 본 장치(10)는 영상(특히, 동영상)의 시간적 특징을 충분히 활용하기 위해 동영상 압축 코덱의 부호화 알고리즘의 구조적 특징을 이용할 수 있다.
구체적으로, 동영상은 단일 영상과는 달리, 연속하는 이웃한 영상에 대해 시간적으로 매우 유사하다는 특징을 가지고 있으므로, 이러한 특징을 이용하여 본 장치(10)는 GOP 단위로 동영상을 분할하여 영상의 조작 여부를 검출할 수 있다. GOP 단위로의 영상(동영상) 검사의 경우 시간적 특성이 포함되어 있기 때문에, 본 장치(10)에서는 비트스트림에서 파싱되어 재구성된 2차원 영상에 시간 차원이 추가된 뉴럴 네트워크가 적용될 수 있다. 본 장치(10)는 이러한 뉴럴 네트워크를 통해 입력된 영상의 조작/비조작 여부를 검출할 수 있다.
본 장치(10)는 HEVC를 이용하여 압축된 영상에서 영상의 조작에 의한 이중 압축이 발생했을 때 나타나는 특이한 부호화 패턴 정보(달리 말해, 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보)를 시간적으로 이용하여 입력된 영상에 대한 조작 여부를 검출(판단)할 수 있다.
본 장치(10)는 입력된 영상의 조작 여부를 검출하기 위한 부호화 패턴의 특징으로서 적어도 하나 이상의 부호화 패턴의 특징(예를 들어, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보, 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보 등)을 고려할 수 있다.
다시 말해, 본 장치(10)는 입력된 영상의 조작 여부를 검출하기 위해, HEVC로 압축된 영상의 조작으로 인한 이중 압축시의 부호화 정보(즉, 이중 압축에 의해 변화되는 부호화 패턴의 특징에 관한 정보)를 입력된 영상으로부터 추출하고, 추출된 부호화 정보가 뉴럴 네트워크의 입력으로 사용될 수 있도록 추출된 부호화 정보를 전처리하여 변형시킴(영상의 형태로 가공함)에 따라, 동영상의 시간적 특성을 고려하여 입력된 영상의 조작 여부를 효과적으로 검출(판단, 분류)할 수 있다. 즉, 본 장치(10)의 검출부(12)는 입력된 영상이 조작된 영상인지 비조작된 영상인지를 효과적으로 분류할 수 있다.
본 장치(10)는 HEVC의 부호화 정보를 뉴럴 네트워크의 입력으로 사용하기 위해 부호화 정보에 대하여 전처리를 수행하고, 이후 필요에 따라 효과적으로 데이터 크기(양)를 줄이거나 복수의 부호화 패턴의 특징들을 혼합하여 입력된 영상에 대한 조작 여부를 검출할 수 있다.
본 장치(10)는 부호화 패턴의 특징으로서 CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보, 및 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보 각각을 전처리한 정보를 뉴럴 네트워크의 입력으로 사용할 수 있다. 또한, 본 장치(10)는 서로 다른 유형(속성)의 부호화 패턴의 특징(즉, CU의 위치 및 분할 정보, TU의 위치 및 분할 정보, PU의 위치 및 분할 정보, 및 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보)을 둘 이상 혼합(조합)하여 복수의 부호화 패턴의 특징을 덧붙여 연계시킴(Concatenate)으로써 혼합된 복수의 부호화 패턴의 특징을 한번에 뉴렬 네트워크의 입력으로 사용할 수 있다. 본 장치(10)는 이러한 뉴럴 네트워크에 기반하여 입력된 영상에 대한 조작 여부를 검출할 수 있다.
종래에 공지된 영상 조작 검출 기법에서는 HEVC가 아닌 이전의 영상 압축 표준(예를 들어, MPEG-2, MPEG-4/H.264 AVC)을 이용하여 영상 조작을 검출하기 때문에, 종래에 공지된 영상 조작 검출 기법으로는 HEVC에 맞게 적용될 수 없는 문제와 적용된 영상의 해상도가 매우 낮다는 문제가 있다. 이에 반해, 본 장치(10)는 보다 큰 해상도의 영상에 대해 필요에 맞게 효과적으로 압축된 부호화 정보를 이용(예를 들어, 크기가 축소된 축소 분할 정보 지도를 이용)하므로, 유행에 따라 뉴럴 네트워크(딥러닝)를 적용하여 효과적으로 입력된 영상의 조작 여부를 검출할 수 있다.
즉, 본 장치(10)는 새로운 압축 표준인 HEVC 압축 환경에 대해 뉴럴 네트워크(딥러닝, 신경망)를 이용하여 다양한 크기의 해상도를 갖는 영상의 조작 여부를 효과적으로 검출할 수 있다. 다시 말해, 본 장치(10)는 새로운 압축 표준인 HEVC 압축 환경에 대해 다양한 조작 환경에 따라 부호화 정보를 추출하여 전처리 과정을 통해 효과적으로 크기를 줄일 수 있는바, 다양한 크기의 해상도를 갖는 다양한 영상의 조작 여부를 검출할 수 있다.
본 장치(10)는 새로운 압축 표준인 HEVC를 이용한 모든 영상 조작 검출 분야 및 높은 해상도를 갖는 영상의 조작 검출 분야에 적용될 수 있다.
본원에서는 압축된 영상의 조작을 검출하기 위해, 비트스트림으로부터 복호화를 진행하여 영상의 특징을 파악하는 기존의 방식과는 다르게, HEVC의 부호화 정보를 그대로 뉴럴 네트워크(딥러닝, 신경망)의 입력으로 사용할 수 있는 방식에 대해 제안한다. 즉, 본원에서는 뉴럴 네트워크(딥러닝, 신경망)의 입력단 이전에 효과적으로 압축된 정보로부터 분별력이 있는 특징(부호화 패턴의 특징)만을 추출할 수 있는 전처리 과정을 적용하여 영상의 조작 여부를 검출할 수 있는 기법을 제안한다.
구체적으로, 본원에서는 입력된 영상으로부터 추출된 HEVC의 부호화 정보를 정해진 뉴럴 네트워크에 맞도록 크기를 효과적으로 조정(조절)하고, 동영상의 시간적 특성을 이용할 수 있도록 부호화 정보에 대하여 전처리 과정을 적용하는 새로운 뉴럴 네트워크의 구조를 제안하며, 이러한 뉴럴 네트워크를 통해 입력된 영상의 조작 여부를 검출하는 기술을 제안한다.
이러한 본 장치(10)는 HEVC의 부호화 정보를 추출하여 전처리하고 전처리된 정보(전처리 정보)를 뉴럴 네트워크의 입력으로 제공하여, 뉴럴 네트워크를 이용해 입력된 영상이 조작된 영상인지 그렇지 않은 비조작 영상인지를 효과적으로 분류해 낼 수 있다. 이러한 분류를 통해 입력된 영상에 대한 조작 여부의 검출이 이루어질 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 3은 본원의 일 실시예에 따른 조작 영상 검출 방법에 대한 동작 흐름도이다.
도 3에 도시된 조작 영상 검출 방법은 앞서 설명된 본 장치(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(10)에 대하여 설명된 내용은 조작 영상 검출 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 3을 참조하면, 단계S11에서는 조작 검출 대상이 되는 영상을 입력받을 수 있다.
다음으로, 단계S12에서는 단계S11에서 입력된 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 입력으로 하는 뉴럴 네트워크를 이용해 영상의 조작 여부를 검출할 수 있다.
이때, 단계S12에서 입력된 영상으로부터 추출된 부호화 정보는 HEVC(High Efficiency Video Coding)로 압축된 영상의 조작에 의한 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보일 수 있다.
또한, 단계S12에서 고려되는 뉴럴 네트워크는, 전처리 정보를 입력으로 하고, 조작된 영상 및 비조작된 영상을 출력으로 하는 트레이닝 셋에 의한 학습을 통해 구축된 것일 수 있다.
또한, 단계S12에서는 단계S11에서 입력된 영상으로부터 부호화 정보로서 추출된 부호화 패턴의 특징을 영상 형태로 가공하여 전처리 정보로서 뉴럴 네트워크의 입력으로 제공할 수 있다.
또한, 단계S12에서, 부호화 패턴의 특징에는 HEVC의 블록 구조인 CU(Coding Unit), TU(Transform Unit) 및 PU(Prediction Unit) 중 적어도 하나의 블록 구조의 위치 및 분할 정보가 포함될 수 있다.
또한, 단계S12에서, 뉴럴 네트워크에 입력되는 전처리 정보는, 적어도 하나의 블록 구조의 위치 및 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도일 수 있다.
여기서, 분할 정보 지도는, 입력된 영상의 해상도와 동일 해상도를 가질 수 있다. 또한, 분할 정보 지도는, HEVC의 블록 구조의 특성을 고려하여 크기가 축소된 축소 분할 정보 지도일 수 있다.
또한, HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 단계S12에서 전처리 정보로서 고려되는 분할 정보 지도는, 가로 및 세로 각각 k배 축소한 크기로 뉴럴 네트워크에 입력될 수 있다.
또한, 단계S12에서, 영상 형태의 분할 정보 지도는 GOP 단위를 갖는 복수의 프레임 셋트로 형성될 수 있다.
또한, 단계S12에서, 부호화 패턴의 특징에는 비트스트림으로부터 추출 가능한 모든 형태의 압축 정보가 포함될 수 있다.
상술한 설명에서, 단계 S11 내지 S12은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 조작 영상 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 조작 영상 검출 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 조작 영상 검출 장치
11: 입력부
12: 검출부

Claims (21)

  1. 조작 영상 검출 방법에 있어서,
    (a) 조작 검출 대상이 되는 영상을 입력받는 단계; 및
    (b) 입력된 상기 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 입력으로 하는 뉴럴 네트워크를 이용해 상기 영상의 조작 여부를 검출하는 단계를 포함하되,
    상기 영상으로부터 추출된 부호화 정보는 HEVC(High Efficiency Video Coding)로 압축된 영상의 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보이고,
    상기 (b) 단계는, 상기 영상으로부터 부호화 정보로서 추출된 상기 부호화 패턴의 특징을 영상 형태로 가공하여 상기 뉴럴 네트워크의 입력으로 제공하는 것인, 조작 영상 검출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (b) 단계에서, 상기 부호화 패턴의 특징에는 상기 HEVC의 블록 구조인 CU(Coding Unit), TU(Transform Unit) 및 PU(Prediction Unit) 중 적어도 하나의 블록 구조의 위치 및 분할 정보가 포함되는 것인, 조작 영상 검출 방법.
  4. 제3항에 있어서,
    상기 (b) 단계에서, 상기 뉴럴 네트워크에 입력되는 전처리 정보는, 상기 위치 및 상기 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도인 것인, 조작 영상 검출 방법.
  5. 제4항에 있어서,
    상기 분할 정보 지도는, 상기 영상의 해상도와 동일 해상도를 갖는 것인, 조작 영상 검출 방법.
  6. 제4항에 있어서,
    상기 분할 정보 지도는, 상기 블록 구조의 특성을 고려하여 크기가 축소된 축소 분할 정보 지도인 것인, 조작 영상 검출 방법.
  7. 제6항에 있어서,
    상기 HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 상기 분할 정보 지도는 가로 및 세로 각각 k배 축소한 크기로 상기 뉴럴 네트워크에 입력되는 것인, 조작 영상 검출 방법.
  8. 제1항에 있어서,
    상기 (b) 단계에서, 상기 부호화 패턴의 특징에는 비트스트림으로부터 추출 가능한 압축 정보가 포함되는 것인, 조작 영상 검출 방법.
  9. 제4항에 있어서,
    상기 (b) 단계에서, 상기 영상 형태의 분할 정보 지도는 GOP 단위를 갖는 복수의 프레임 셋트로 형성되는 것인, 조작 영상 검출 방법.
  10. 제1항에 있어서,
    상기 뉴럴 네트워크는, 상기 전처리 정보를 입력으로 하고, 조작된 영상 및 비조작된 영상을 출력으로 하는 트레이닝 셋에 의한 학습을 통해 구축되는 것인, 조작 영상 검출 방법.
  11. 조작 영상 검출 장치에 있어서,
    조작 검출 대상이 되는 영상을 입력받는 입력부; 및
    입력된 상기 영상으로부터 추출된 부호화 정보를 전처리한 전처리 정보를 입력으로 하는 뉴럴 네트워크를 이용해 상기 영상의 조작 여부를 검출하는 검출부를 포함하되,
    상기 영상으로부터 추출된 부호화 정보는 HEVC(High Efficiency Video Coding)로 압축된 영상의 이중 압축시 변화되는 부호화 패턴의 특징에 관한 정보이고,
    상기 검출부는, 상기 영상으로부터 부호화 정보로서 추출된 상기 부호화 패턴의 특징을 영상 형태로 가공하여 상기 뉴럴 네트워크의 입력으로 제공하는 것인, 조작 영상 검출 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 부호화 패턴의 특징에는 상기 HEVC의 블록 구조인 CU(Coding Unit), TU(Transform Unit) 및 PU(Prediction Unit) 중 적어도 하나의 블록 구조의 위치 및 분할 정보가 포함되는 것인, 조작 영상 검출 장치.
  14. 제13항에 있어서,
    상기 뉴럴 네트워크에 입력되는 전처리 정보는, 상기 위치 및 상기 분할 정보에 기초하여 생성된 영상 형태의 분할 정보 지도인 것인, 조작 영상 검출 장치.
  15. 제14항에 있어서,
    상기 분할 정보 지도는, 상기 영상의 해상도와 동일 해상도를 갖는 것인, 조작 영상 검출 장치.
  16. 제14항에 있어서,
    상기 분할 정보 지도는, 상기 블록 구조의 특성을 고려하여 크기가 축소된 축소 분할 정보 지도인 것인, 조작 영상 검출 장치.
  17. 제16항에 있어서,
    상기 HEVC의 블록 구조의 분할이 최대 k×k 크기까지만 진행되는 경우, 상기 분할 정보 지도는 가로 및 세로 각각 k배 축소한 크기로 상기 뉴럴 네트워크에 입력되는 것인, 조작 영상 검출 장치.
  18. 제11항에 있어서,
    상기 부호화 패턴의 특징에는 비트스트림으로부터 추출 가능한 압축 정보가 포함되는 것인, 조작 영상 검출 장치.
  19. 제14항에 있어서,
    상기 영상 형태의 분할 정보 지도는 GOP 단위를 갖는 복수의 프레임 셋트로 형성되는 것인, 조작 영상 검출 장치.
  20. 제11항에 있어서,
    상기 뉴럴 네트워크는, 상기 전처리 정보를 입력으로 하고, 조작된 영상 및 비조작된 영상을 출력으로 하는 트레이닝 셋에 의한 학습을 통해 구축되는 것인, 조작 영상 검출 장치.
  21. 제1항 및 제3항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
KR1020180088332A 2018-07-30 2018-07-30 조작 영상 검출 장치 및 방법 KR102097422B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180088332A KR102097422B1 (ko) 2018-07-30 2018-07-30 조작 영상 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180088332A KR102097422B1 (ko) 2018-07-30 2018-07-30 조작 영상 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200013311A KR20200013311A (ko) 2020-02-07
KR102097422B1 true KR102097422B1 (ko) 2020-04-06

Family

ID=69570096

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180088332A KR102097422B1 (ko) 2018-07-30 2018-07-30 조작 영상 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102097422B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220084236A (ko) 2020-12-13 2022-06-21 한국항공대학교산학협력단 개선된 조작영상의 검출시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220174076A1 (en) * 2020-11-30 2022-06-02 Microsoft Technology Licensing, Llc Methods and systems for recognizing video stream hijacking on edge devices
KR102508899B1 (ko) * 2021-01-04 2023-03-10 캐롯손해보험 주식회사 리플렉션 이미지의 획득을 통한 단말기 보험 가입 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331730A (zh) * 2016-08-22 2017-01-11 上海交通大学 H.264视频同量化因子双重压缩检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331730A (zh) * 2016-08-22 2017-01-11 上海交通大学 H.264视频同量化因子双重压缩检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
홍진형, 양윤모, and 오병태. "부호화 패턴 분석을 통한 영상 조작 검출 기술." 한국방송미디어공학회 학술발표대회 논문집, P63-65, (2017.06.30.)*
홍진형, 양윤모, 오병태. "CNN 기반 HEVC 압축된 동영상의 삭제 검출 기법." 한국방송미디어공학회 학술발표대회 논문집 (2018): P190-192.(2018.06.30.)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220084236A (ko) 2020-12-13 2022-06-21 한국항공대학교산학협력단 개선된 조작영상의 검출시스템 및 방법

Also Published As

Publication number Publication date
KR20200013311A (ko) 2020-02-07

Similar Documents

Publication Publication Date Title
RU2683165C1 (ru) Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению
EP3389276B1 (en) Hash-based encoder decisions for video coding
JP5562408B2 (ja) 指揮された補間およびデータの後処理
US20180152699A1 (en) Local hash-based motion estimation for screen remoting scenarios
Aghamaleki et al. Inter-frame video forgery detection and localization using intrinsic effects of double compression on quantization errors of video coding
KR101366091B1 (ko) 영상 부호화 및 복호화 방법과 장치
US20150256841A1 (en) Method for encoding/decoding high-resolution image and device for performing same
US20120033731A1 (en) Video encoding apparatus and video decoding apparatus
KR102097422B1 (ko) 조작 영상 검출 장치 및 방법
JP2010011470A (ja) ビデオコーディングがテクスチャ解析およびテクスチャ合成を含むビデオコーディングのための方法およびアセンブリと、対応するコンピュータプログラムおよび対応するコンピュータで読み込み可能な記録媒体
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
KR102586674B1 (ko) 경계 강제 파티션에 대한 개선
AU2010231805A1 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
US11785227B2 (en) Video coding method and device which use sub-block unit intra prediction
US10911783B2 (en) Method and apparatus for processing video signal using coefficient-induced reconstruction
KR20230162989A (ko) 멀티미디어 데이터 프로세싱 방법, 장치, 디바이스, 컴퓨터-판독가능 저장 매체, 및 컴퓨터 프로그램 제품
KR20220062655A (ko) 비디오 데이터의 무손실 코딩
KR20150113524A (ko) 향상된 화면 내 블록 복사 기반의 예측 모드를 이용한 영상 복호화 장치 및 그 방법
CN113315967B (zh) 视频编码方法、装置、介质及电子设备
CN110337809B (zh) 利用预扫描的基于块的视频解码方法以及其装置
JPWO2006100946A1 (ja) 画像信号再符号化装置及び画像信号再符号化方法
KR101981128B1 (ko) 조작 영상 검출 장치 및 방법
KR101294364B1 (ko) 고화질 영상을 위한 무손실 영상 압축방법, 압축 해제방법 및 이를 적용한 전자기기
JP5080304B2 (ja) 秘匿データが挿入された画像データの表示方式
US20210021819A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant