KR102123678B1 - 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법 - Google Patents

Abstract

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에 대해 영상 위변조를 효과적으로 식별해내는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라나 차량용 블랙박스가 생성하는 압축영상에 대해 종래기술처럼 감식 전문가들이 재생화면을 살펴보거나 압축영상에 삽입된 특수한 감식정보를 이용하여 위변조 여부를 식별할 필요없이 압축영상 데이터를 파싱하여 얻어지는 모션벡터를 블록체인으로 관리하는 방식으로 영상 위변조를 식별해내는 기술에 관한 것이다. 본 발명에 따르면 CCTV 영상이나 블랙박스 영상이 위변조 되었는지 여부를 명확하게 검증할 수 있어 범죄 수사나 교통사고 분석 등의 사후 증거로서 영상 증거의 신뢰도를 높일 수 있는 장점이 있다. 특히, 압축영상의 신택스 정보에 기반하여 위변조 여부를 식별하므로 복잡한 영상처리를 거치지 않아도 되어 위변조 식별 프로세스를 빠르게 처리할 수 있는 장점이 있다.

Description

모션벡터 블록체인 기반의 압축영상 위변조 식별 방법 {method of providing video forgery identification for compressed video by use of blockchain of motion vectors}

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에 대해 영상 위변조를 효과적으로 식별해내는 기술에 관한 것이다.

더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라나 차량용 블랙박스가 생성하는 압축영상에 대해 종래기술처럼 감식 전문가들이 재생화면을 살펴보거나 압축영상에 삽입된 특수한 감식정보를 이용하여 위변조 여부를 식별할 필요없이 압축영상 데이터를 파싱하여 얻어지는 모션벡터를 블록체인으로 관리하는 방식으로 영상 위변조를 식별해내는 기술에 관한 것이다.

최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV 영상관제 시스템을 구축하는 것이 일반적이다. 지역별로 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 관제 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제 요원이 발견하면 그 즉시 적절하게 대처하는 한편, 범죄나 사고발생 이후에 사후증거 확보를 위해 스토리지 장치에 저장되어 있는 영상을 검색한다.

또한, 교통사고 처리에서 유리한 위치에 서기 위하여 차량에 블랙박스를 장착하는 것이 일반적이다. 블랙박스는 차량 운행시에 카메라를 통해 지속적으로 주변 상황을 촬영하여 메모리 카드에 저장해주는데, 교통사고가 발생하게 되면, 운전자는 자신의 차량에 장착된 블랙박스 영상을 확인하고 자신에게 유리한 내용이라면 사고발생 시점의 영상을 증거로 활용한다.

그런데, CCTV 영상이나 블랙박스 영상이 증거로서 정당하게 활용되려면 그 영상이 위변조되었는지 여부를 확인할 수 있어야 한다.

컴퓨터 그래픽 소프트웨어를 사용하여 CCTV 영상에서 한두 사람을 삭제하는 것은 그다지 어려운 것이 아니다. 이를 통해, 실제로는 세 사람이 공동으로 범죄를 저질렀음에도 불구하고 그중에서 한 사람을 CCTV 영상에서 지워서 두 사람만 범인으로 만들 수도 있다. 또는, CCTV 영상에서 특정인이 찍힌 중간의 3초 분량을 잘라내고 영상을 새로 인코딩하는 것도 가능하다. 이러한 일은 블랙박스 영상에서도 마찬가지로 발생한다. 교통사고 발생 시에 사고 당사자는 자신의 차량에 장착된 블랙박스에서 사고당시 영상을 확보한 후에, 자신에게 불리한 부분은 잘라내고 나머지 영상만 보험사나 경찰에 제출한다.

그러나, 종래에는 영상이 위변조되었는지 여부를 식별하는 것이 매우 어려웠다. 감식 전문가들이 검사대상 영상을 반복하여 재생하면서 그 화면이 자연스러운지 여부를 살펴보는 것이 일반적이었다. 또한, 워터마크와 같은 특수한 감식정보를 영상에 삽입해둠으로써 위변조 여부를 판단하였다.

그러나, 이러한 방식은 CCTV 영상이나 블랙박스 영상과 같이 대규모로 생성되고 특히 손실압축(lossy compression) 기술이 채택된 영상에는 적합하지 않다. 전문가 감식은 판별 속도가 느리기 때문에 소량의 영상을 감별하는 데에만 적합할 뿐만 아니라 불리한 결과를 받은 사람들이 쉽게 동의하지 않는 문제점이 있다. 감식정보 방식은 영상에 삽입된 감식정보들이 영상처리 과정에서 깨지면 안되기 때문에 손실압축 기술이 적용된 분야에는 적용이 곤란하다.

따라서, CCTV 영상이나 블랙박스 영상 등의 압축영상에 대해 영상 위변조를 효과적으로 식별해내는 기술이 필요하다.

본 발명의 목적은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에 대해 영상 위변조를 효과적으로 식별해내는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 예컨대 CCTV 카메라나 차량용 블랙박스가 생성하는 압축영상에 대해 종래기술처럼 감식 전문가들이 재생화면을 살펴보거나 압축영상에 삽입된 특수한 감식정보를 이용하여 위변조 여부를 식별할 필요없이 압축영상 데이터를 파싱하여 얻어지는 모션벡터를 블록체인으로 관리하는 방식으로 영상 위변조를 식별해내는 기술을 제공하는 것이다.

상기의 목적을 달성하기 위하여 본 발명에 따른 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법은, 영상 위변조 여부 관리 대상인 제 1 압축영상을 제공받는 제 1 단계; 제 1 압축영상을 파싱하여 다수의 모션벡터(이하, '제 1 모션벡터'라 함)를 시간 진행에 따라 순차적으로 획득하는 제 2 단계; 제 1 압축영상에서 위변조 여부의 관리 대상 이미지 덩어리인 위변조 관리 단위영역(이하, '제 1 위변조 관리 단위영역'이라 함)을 하나이상 식별하는 제 3 단계; 미리 설정된 블록체인 갱신주기 단위로, 하나이상의 제 1 위변조 관리 단위영역 별로 다수의 제 1 모션벡터 중에서 각각 관련된 모션벡터의 시퀀스(이하, '모션벡터 단위시퀀스'라 함)를 식별하고, 하나이상의 모션벡터 단위시퀀스를 조합하여 블록 데이터를 생성하는 제 4 단계; 블록체인 갱신주기마다 블록 데이터를 반영하여 블록체인을 업데이트하는 제 5 단계; 위변조 확인구간에 대한 영상 위변조 여부 확인 대상인 제 2 압축영상을 제공받는 제 6 단계; 제 2 압축영상을 파싱하여 다수의 모션벡터(이하, '제 2 모션벡터'라 함)를 시간 진행에 따라 순차적으로 획득하고, 제 2 압축영상에서 위변조 관리 단위영역(이하, '제 2 위변조 관리 단위영역'이라 함)을 하나이상 식별하는 제 7 단계; 다수의 제 2 모션벡터로부터 하나이상의 제 2 위변조 관리 단위영역에 각각 관련된 모션벡터 단위시퀀스를 식별하고 이들을 조합하여 제 2 압축영상에 대한 제 1 모션벡터 시퀀스를 획득하는 제 8 단계; 블록체인을 조회하여 제 2 압축영상에 대응하는 하나이상의 블록 데이터를 추출하고, 이 추출된 블록 데이터로부터 제 2 압축영상에 대한 제 2 모션벡터 시퀀스를 획득하는 제 9 단계; 제 1 모션벡터 시퀀스와 제 2 모션벡터 시퀀스를 비교한 결과에 기초하여 제 2 압축영상의 위변조 여부를 판단하는 제 10 단계;를 포함하여 구성된다.

이때, 위변조 관리 단위영역은 제 1 압축영상 또는 제 2 압축영상의 각각의 영상 프레임에 대한 전체 이미지 또는 미리 설정된 분할 단위에 따른 분할면으로 설정될 수 있다.

또한, 위변조 관리 단위영역은 제 1 압축영상의 데이터 또는 제 2 압축영상의 데이터에 대한 디코딩, 다운스케일 리사이징, 영상 분석을 통해 제 1 압축영상 또는 제 2 압축영상으로부터 추출된 하나이상의 이동객체 이미지로 설정될 수 있다.

또한, 위변조 관리 단위영역은 제 1 압축영상 또는 제 2 압축영상을 각각의 타겟 압축영상으로 하는 신택스 기반 이동객체 영역 추출 프로세스에 의해 식별될 수 있다. 이때, 신택스 기반 이동객체 영역 추출 프로세스는, 타겟 압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 제 A 단계; 타겟 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 제 B 단계; 복수의 영상 블록에 대하여 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 C 단계; 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 D 단계; 이동객체 영역으로 마킹된 영상 블록의 개별 덩어리를 위변조 관리 단위영역으로 설정하는 제 E 단계;를 포함하여 구성된다.

이때, 신택스 기반 이동객체 영역 추출 프로세스는, 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계; 복수의 이웃 블록에 대하여 제 1 단계에서 획득된 모션벡터 값을 미리 설정된 제 2 임계치와 비교하는 제 b 단계; 복수의 이웃 블록 중에서 제 b 단계의 비교 결과 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계; 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 d 단계; 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하여 이동객체 영역으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 추가 마킹하는 제 e 단계;를 포함하여 구성될 수 있다.

또한, 신택스 기반 이동객체 영역 추출 프로세스는, 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계; 복수의 이웃 블록에 대하여 모션벡터 누적값을 제 1 임계치보다 작은 값으로 미리 설정된 제 2 임계치와 비교하는 제 b 단계; 복수의 이웃 블록 중에서 제 b 단계의 비교 결과 제 2 임계치를 초과하는 모션벡터 누적값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계; 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 d 단계; 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하여 이동객체 영역으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 추가 마킹하는 제 e 단계;를 포함하여 구성될 수 있다.

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법을 실행시키기 위하여 매체에 저장된 것이다.

본 발명에 따르면 CCTV 영상이나 블랙박스 영상이 위변조 되었는지 여부를 명확하게 검증할 수 있어 범죄 수사나 교통사고 분석 등의 사후 증거로서 영상 증거의 신뢰도를 높일 수 있는 장점이 있다. 특히, 압축영상의 신택스 정보에 기반하여 위변조 여부를 식별하므로 복잡한 영상처리를 거치지 않아도 되어 위변조 식별 프로세스를 빠르게 처리할 수 있는 장점이 있다.

[도 1]은 본 발명에 따른 모션벡터 블록체인 기반의 압축영상 위변조 식별 시스템을 개념적으로 나타내는 도면.
[도 2]는 본 발명에 따른 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법의 전체 프로세스를 나타내는 순서도.
[도 3]은 CCTV 영상에서 시간 진행에 따라 각 영상 프레임에서 획득되는 모션벡터의 일 예를 나타내는 도면.
[도 4]는 본 발명에서 위변조 관리 단위영역 별로 모션벡터 단위시퀀스를 획득하고 이들을 조합하는 개념을 나타내는 도면.
[도 5]는 본 발명에서 압축영상에 대해 위변조 관리 단위영역을 설정하는 제 1 실시예를 개념적으로 나타내는 도면.
[도 6]은 본 발명에서 압축영상에 대해 위변조 관리 단위영역을 설정하는 제 2 실시예를 개념적으로 나타내는 순서도.
[도 7]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
[도 8]은 본 발명에서 압축영상에 대해 위변조 관리 단위영역을 설정하는 제 3 실시예를 나타내는 순서도.
[도 9]는 본 발명에서 압축영상으로부터 유효 움직임을 검출하는 과정의 구현 예를 나타내는 순서도.
[도 10]은 CCTV 영상에 대해 본 발명에 따른 유효 움직임 영역 검출 과정을 적용한 결과의 일 예를 나타내는 도면.
[도 11]은 본 발명에서 이동객체 영역에 대한 바운더리 영역을 검출하는 과정의 구현 예를 나타내는 순서도.
[도 12]는 [도 10]의 CCTV 영상 이미지에 대해 본 발명에 따른 바운더리 영역 검출 과정을 적용한 결과의 일 예를 나타내는 도면.
[도 13]은 [도 12]의 CCTV 영상 이미지에 대해 인터폴레이션을 통해 이동객체 영역을 정리한 결과의 일 예를 나타내는 도면.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

[도 1]은 본 발명에 따른 모션벡터 블록체인 기반의 압축영상 위변조 식별 시스템을 나타내는 도면이고, [도 2]는 본 발명에 따른 압축영상 위변조 식별 방법의 전체 프로세스를 나타내는 순서도이다.

[도 1]을 참조하면, 본 발명에 따른 압축영상 위변조 식별 시스템은 영상관리 서버(100)의 압축영상 데이터 처리 서브시스템, 블록체인 서브시스템, 영상검증 서버(300)의 압축영상 검증처리 서브시스템을 구비한다. 이때, 영상관리 서버(200)와 영상검증 서버(300)는 구현예에 따라서 동일한 장치일 수도 있고 별개의 장치일 수도 있다.

먼저, 영상관리 서버(200)는 다수의 CCTV 카메라(210)로부터 촬영영상을 제공받아 영상 스토리지(220)에 저장한다. 또한, 영상관리 서버(200)는 영상 스토리지(220)에 저장하는 CCTV 영상에 대하여 나중에 위변조 여부를 확인할 수 있도록 블록체인을 활용한다. 블록체인에 CCTV 영상에 대한 정보를 넣어두었다가 나중에 CCTV 영상에 대해 위변조 여부가 문제되면 블록체인으로부터 관련 정보를 찾아내서 위변조 확인에 활용하는 것이다.

이때, 영상 데이터 전부를 블록체인에 넣으면 블록 데이터가 비대해져서 블록체인의 운영 효율이 저하되기 때문에 본 발명에서는 모션벡터를 블록체인으로 관리하는 방식을 채택한다. 모션벡터는 데이터량이 매우 적기 때문에 블록 데이터의 크기를 줄일 수 있어 블록체인의 운영 효율을 높일 수 있다. 또한, 모션벡터는 압축영상을 디코딩하지 않고 단순히 파싱만 하면 얻을 수 있는 정보이기 때문에 영상관리 서버(200)의 데이터 처리 속도를 높일 수 있다.

본 명세서에서 영상관리 서버(200)가 영상 위변조 관리를 수행하는 영상을 제 1 압축영상이라고 표시한다. 영상관리 서버(200)는 제 1 압축영상을 구분 식별하기 위한 정보인 '영상 메타정보'를 추출한다. 예를 들어, 해당 영상을 생성한 CCTV 카메라(210)의 기기식별정보(Device Unique ID)와 촬영시각(recording time) 정보의 조합을 영상 메타정보로 설정할 수 있다. 또한, 영상관리 서버(200)는 제 1 압축영상으로부터 모션벡터를 획득한다. 본 명세서에서는 제 1 압축영상에서 얻은 모션벡터를 제 1 모션벡터라고 부른다. 일반적으로 시간이 경과함에 따라 제 1 압축영상으로부터 [도 3]과 같이 다수의 제 1 모션벡터가 획득된다.

이어서, 영상관리 서버(200)는 제 1 압축영상에 대해 위변조 여부 관리 목적으로 모션벡터를 다루기 위한 단위 이미지 덩어리를 식별하는데, 본 명세서에서는 이를 '위변조 관리 단위영역'이라고 부른다. 위변조 관리 단위영역은 [도 5] 내지 [도 8]을 참조하여 후술하는데, 일반적으로 제 1 압축영상으로부터 복수의 위변조 관리 단위영역이 식별된다. 또한, 영상관리 서버(200)는 위변조 관리 단위영역을 구분 식별하기 위한 정보인 '영역 식별정보'를 추출한다. 예를 들어, 제 1 압축영상에서 할당한 오브젝트 식별정보(Object ID)나 분할면 식별정보(Partition ID)를 영역 식별정보로 설정할 수 있다.

이어서, 영상관리 서버(200)는 다수의 제 1 모션벡터 중에서 각각의 위변조 관리 단위영역에 관련된 모션벡터들을 식별하여 위변조 관리 단위영역 별로 구분 정렬하고, 이들을 시간 순서대로 나열한다. 이처럼 위변조 관리 단위영역 별로 정렬된 모션벡터의 시퀀스를 본 명세서에서는 '모션벡터 단위시퀀스'라고 부른다. 그리고 나서, 이들 모션벡터 단위시퀀스를 미리 설정된 방식에 따라 결합시켜 모션벡터 조합시퀀스를 획득한다.

예를 들어, 영상관리 서버(200)는 1000대의 CCTV 카메라(210)와 연결되어 있고 블록체인 갱신주기는 30초라고 가정한다. 영상관리 서버(200)는 블록체인 갱신주기마다 CCTV 카메라(210)로부터 30초 분량의 CCTV 영상 1000개를 제공받는데, 이는 제 1 압축영상 1000개에 해당된다. 이중에서 하나의 CCTV 영상(30초 분량)으로부터 예컨대 250개의 제 1 모션벡터와 7개의 위변조 관리 단위영역를 얻는다고 가정하면, 이들 250개의 제 1 모션벡터를 위변조 관리 단위영역을 기준으로 정렬하여 7개의 모션벡터 단위시퀀스를 얻는다. 이들 7개의 모션벡터 단위시퀀스를 결합하여 해당 CCTV 영상 하나에 대한 모션벡터 조합시퀀스를 획득한다. CCTV 카메라(210)로부터 CCTV 영상 1000개를 제공받으므로 영상관리 서버(200)는 블록체인 갱신주기마다 1000개의 모션벡터 조합시퀀스를 획득한다.

영상관리 서버(200)는 이들 모션벡터 조합시퀀스를 포함시켜 블록 데이터를 생성하고 미리 설정된 스케쥴에 따라 해당 블록 데이터를 반영하여 블록체인을 업데이트한다. 이 실시예에서는 각각의 CCTV 영상 하나를 제 1 압축영상이라고 모델링하였는데, CCTV 영상 전체를 제 1 압축영상으로 모델링하는 것도 가능하다. 이상의 과정을 통해 제 1 압축영상의 영상 위변조 여부를 관리하기 위해 영상관리 서버(200)가 수행하는 작업이 마무리되었다.

블록체인(block chain)은 일반적으로는 네트워크 상에서 발생된 거래 정보가 네트워크 참여자들 간에 공유되는 노드 수만큼 복제되어 분산 저장되는 공개 디지털 거래 장부라는 개념을 갖는다. 블록체인 기술은 현재는 암호화폐를 중심으로 활발하게 적용되고 있는데, 본 발명에서는 압축영상의 위변조 식별에 블록체인 기술을 활용하며, 이를 위해 영상관리 서버(200)와 영상검증 서버(300)가 피어(peer)로서 블록체인의 디지털 원장 관리에 참여한다.

본 명세서에서는 블록체인이 영상 위변조 식별을 위해 관리하는 분산원장을 나타내기 위해 모션벡터 분산원장(100)이라는 용어를 사용하였다. 즉, 모션벡터 분산원장(100)은 블록체인을 위한 디지털 거래 장부로서 본 발명에서는 영상 위변조 여부 확인에 필요한 정보를 담는다.

모션벡터 분산원장(100)은 다수의 거래 데이터가 각각 블록처럼 구성되어 서로 연결되어 있는 형태인데, 하나의 블록은 그 대응하는 블록체인 갱신주기(예: 30초)에서 블록체인에 연동하는 피어들, 즉 하나이상의 영상관리 서버(200)가 새롭게 생성한 블록데이터에 대응한다. [도 1]을 참조하면, 이러한 블록에는 영상 메타정보, 영역 식별정보, 모션벡터 조합시퀀스가 포함될 수 있다. 분산 네트워크 기반이라는 블록체인의 속성상, 모션벡터 분산원장(100)에 반영된 데이터는 무단으로 수정하는 것이 사실상 불가능하므로 신뢰할 수 있다.

다음으로, 영상검증 서버(300)는 관리자 컴퓨터(400)로부터 특정 영상에 대한 위변조 여부 확인을 요구받는다. 본 명세서에서 위변조 여부를 확인해야 하는 영상을 제 2 압축영상이라고 부르는데, 제 2 압축영상은 이전에 영상관리 서버(200)에 의해 영상 위변조 관리를 위한 데이터 처리를 수행하였던 영상 중에서 예컨대 범죄 증거로서의 무결성 입증 등을 위해 영상 위변조 여부를 검증할 필요성이 생긴 영상이다. 이때, 제 2 압축영상의 길이는 블록체인 갱신주기(예: 30초)보다 길 수도 있고 혹은 짧을 수도 있다.

영상 위변조 여부를 확인하기 위해서 영상검증 서버(300)는 제 2 압축영상에 대해 2가지 경로로 모션벡터 시퀀스를 획득하고 이들을 비교하여 얼마나 일치하는지를 살펴 영상 위변조 여부를 판단한다. 개념적으로는 2가지 모션벡터 시퀀스의 일치 정도가 제 2 압축영상의 원본 근접도에 해당한다. 이때, 영상이 위변조되지 않았다고 판단하기 위하여 모션벡터 시퀀스가 완전히 동일할 것을 요구하는 엄격한 기준을 적용할 수도 있고, 구현예에 따라서는 일정 임계비율(예: 95%) 이상 동일할 것을 요구하는 완화된 기준을 적용할 수도 있다.

먼저, 제 1 획득 경로에 대해 기술한다.

개념적으로 제 1 획득 경로는 영상관리 서버(200)가 제 1 압축영상에 대해 수행했던 절차를 제 2 압축영상에 대해 그대로 적용하여 제 2 압축영상으로부터 모션벡터의 시퀀스를 얻는 것이다.

즉, 영상검증 서버(300)는 제 2 압축영상을 구분 식별하기 위한 정보인 '영상 메타정보'를 추출하고 제 2 압축영상으로부터 다수의 모션벡터, 즉 제 2 모션벡터를 획득한다. 앞서 제 1 압축영상에 대해 수행했던 것과 같은 방식으로 제 2 압축영상에 대해서도 하나이상의 위변조 관리 단위영역, 즉 제 2 위변조 관리 단위영역을 식별하고 이들 제 2 위변조 관리 단위영역을 구분 식별하기 위한 정보인 '영역 식별정보'를 추출한다. 이때, 영상 메타정보와 영역 식별정보는 제 2 획득 경로에서 블록체인을 조회할 때에 바람직하게 활용된다.

영상검증 서버(300)는 다수의 제 2 모션벡터로부터 하나이상의 제 2 위변조 관리 단위영역에 각각 관련된 모션벡터 단위시퀀스를 식별하고 이들을 조합하여 제 2 압축영상에 대한 제 1 모션벡터 시퀀스를 획득한다. 제 2 압축영상이 원본 영상 그대로라면 원본 영상과 동일한 모션벡터와 위변조 관리 단위영역이 획득될 것이다. 반면, 영상의 일부분을 잘라내는 등 무언가 위변조가 행해졌다면 제 2 압축영상에서 획득된 모션벡터와 위변조 관리 단위영역 중에서 적어도 어느 하나는 원본 영상과는 상이한 점이 생길 수밖에 없다.

이어서, 제 2 획득 경로에 대해 기술한다.

영상검증 서버(300)는 블록체인을 조회하여 제 2 압축영상에 대응하는 하나이상의 블록 데이터를 추출한다. 제 2 압축영상은 이전에 영상관리 서버(200)에 의해 영상 위변조 관리를 위한 데이터 처리를 수행하였었기 때문에 그에 대한 모션벡터 단위시퀀스 및 모션벡터 조합시퀀스가 블록체인의 어딘가에는 존재한다. 따라서, 영상검증 서버(300)는 예컨대 자신이 관리하는 모션벡터 분산원장(100)의 내용을 분석하여 제 2 압축영상에 대응하는 하나 혹은 그 이상의 블록 데이터를 추출한다. 이때, 영상 메타정보가 활용될 수 있다. 예를 들어, 해당 영상을 생성한 CCTV 카메라(210)의 기기식별정보와 촬영시각 정보의 조합이라면 다수의 영상들 중에서 제 2 압축영상을 구분 식별할 수 있다.

그리고 나서, 이 추출된 블록 데이터로부터 제 2 압축영상에 대한 제 2 모션벡터 시퀀스를 획득한다. 블록 데이터에는 이전에 제 2 압축영상의 원본 영상으로부터 영상관리 서버(200)가 위변조 관리 단위영역 별로 정리해두었던 모션벡터의 정보가 저장되어 있다. 따라서, 영상검증 서버(300)는 하나 또는 그 이상의 블록 데이터의 저장 내용으로부터 제 2 압축영상에 대한 제 2 모션벡터 시퀀스를 획득한다. 제 2 압축영상에 대응하여 블록 데이터에 저장되어 있던 모션벡터 조합시퀀스를 그대로 활용하여 제 2 모션벡터 시퀀스를 획득할 수도 있다. 또는, 블록 데이터의 저장내용으로부터 제 2 압축영상의 영상 메타정보에 대응하는 하나이상의 모션벡터 단위시퀀스를 추출하고, 이들을 제 1 모션벡터 시퀀스와 동일한 방식으로 조합하여 제 2 모션벡터 시퀀스를 획득할 수도 있다.

그리고 나서, 영상검증 서버(300)는 제 1 모션벡터 시퀀스와 제 2 모션벡터 시퀀스를 비교하고, 그 결과에 기초하여 제 2 압축영상이 원본 영상으로부터 위변조되었는지 여부를 판단한다. 개념적으로는, 현재 위변조 여부 확인 대상으로 제공된 제 2 압축영상에서 영상검증 서버(300)가 추출한 모션벡터의 시퀀스를 이전에 원본 영상에 대해 영상관리 서버(200)가 추출하여 블록체인에 넣어두었던 모션벡터의 시퀀스를 대비하려는 것이다.

다음으로, [도 2]를 참조하여 본 발명에 따른 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법의 전체 프로세스를 살펴본다.

단계 (S1000, S1100) : 먼저, 영상관리 서버(200)가 영상 위변조 여부 관리 대상인 제 1 압축영상을 예컨대 다수의 CCTV 카메라(210)로부터 제공받는다. 영상관리 서버(200)는 제 1 압축영상을 파싱하여 다수의 모션벡터('제 1 모션벡터')를 시간 진행에 따라 순차적으로 획득한다.

[도 3]은 CCTV 영상에서 시간 진행에 따라 각 영상 프레임에서 획득되는 모션벡터의 일 예를 나타내는 도면이다. 시간이 경과(t = t0 ~ t4)함에 따라 CCTV 영상에는 여러 객체들이 나타나고 이동하며 사라지는데, CCTV 영상을 파싱하면 영상내 객체들의 움직임에 맞게 다수의 모션벡터가 추출된다. 이러한 모션벡터는 H.264 AVC 및 H.265 HEVC 등의 영상압축 기술 규격에서 영상 압축률을 높여 데이터 사이즈를 줄이기 위해 CCTV 카메라(210)가 생성하여 CCTV 영상에 삽입한 정보이다. 본 발명에서는 이러한 모션벡터를 영상 위변조 식별에 활용한다.

단계 (S1200) : 영상관리 서버(200)는 제 1 압축영상에서 위변조 여부의 관리 대상 이미지 덩어리인 위변조 관리 단위영역을 하나이상 식별한다. 위변조 관리 단위영역은 [도 5] 내지 [도 8]을 참조하여 후술하는데, 본 명세서에서는 영상관리 서버(200)가 제 1 압축영상에 대해 식별한 위변조 관리 단위영역을 편이상 '제 1 위변조 관리 단위영역'이라고 표시한다.

단계 (S1300, S1400) : 영상관리 서버(200)는 미리 설정된 블록체인 갱신주기(예: 30초) 단위로 하나이상의 제 1 위변조 관리 단위영역 별로 다수의 제 1 모션벡터 중에서 각각 관련된 모션벡터의 시퀀스를 식별하여 이들을 모션벡터 단위시퀀스로 설정한다. 예를 들면, 제 1 압축영상(예: 30초 분량의 CCTV 영상)으로부터 제 1 모션벡터(예: 250개의 모션벡터)와 위변조 관리 단위영역(예: 7개의 이미지 덩어리)를 얻고, 각각의 위변조 관리 단위영역에 관련된 모션벡터를 정렬하여 7개의 모션벡터 단위시퀀스를 얻는다.

이어서, 영상관리 서버(200)는 이들 7개의 모션벡터 단위시퀀스를 조합하여 모션벡터 조합시퀀스를 획득한다. 만일 영상관리 서버(200)가 1000대의 CCTV 카메라(210)로부터 1000개의 CCTV 영상을 제공받는다면, 영상관리 서버(200)는 블록체인 갱신주기마다 1000개의 모션벡터 조합시퀀스를 획득한다. 영상관리 서버(200)는 모션벡터 조합시퀀스를 포함시켜 블록 데이터를 생성하며, 미리 설정된 스케쥴에 따라 블록 데이터를 반영하여 블록체인을 업데이트한다.

단계 (S1500) : 영상검증 서버(300)는 위변조 여부 확인 대상인 제 2 압축영상을 제공받는다. 제 2 압축영상은 외부, 예컨대 관리자 컴퓨터(400)로부터 제공될 수도 있고 내부, 예컨대 영상 스토리지(220)로부터 제공될 수도 있다. 영상 위변조 확인이 요구된 영상 시간 구간을 본 명세서에서는 '위변조 확인구간'이라고 표시하였다. 큰 영상을 제공하면서 그 일부를 특정하여 영상 위변조 여부의 확인을 요청하는 경우를 가정하면, 그 일부의 영상이 제 2 압축영상에 해당하고, 그 일부의 시간 구간이 위변조 확인구간에 대응한다. 위변조 확인구간은 블록체인 갱신주기보다 길 수도 있고 혹은 짧을 수도 있다.

단계 (S1600 ~ S1800) : 영상검증 서버(300)는 제 2 압축영상을 구분 식별하기 위한 정보인 '영상 메타정보'를 추출하고 제 2 압축영상으로부터 다수의 모션벡터, 즉 제 2 모션벡터를 획득한다. 또한, 제 2 압축영상에 대해 하나이상의 위변조 관리 단위영역, 즉 제 2 위변조 관리 단위영역을 식별하고 이들 제 2 위변조 관리 단위영역을 구분 식별하기 위한 정보인 '영역 식별정보'를 추출한다. 이어서, 영상검증 서버(300)는 다수의 제 2 모션벡터로부터 하나이상의 제 2 위변조 관리 단위영역에 각각 관련된 모션벡터 단위시퀀스를 식별하고 이들을 조합하여 제 2 압축영상에 대한 제 1 모션벡터 시퀀스를 획득한다.

단계 (S1900) : 영상검증 서버(300)는 블록체인을 조회하여 제 2 압축영상에 대응하는 하나이상의 블록 데이터를 추출한다. 제 2 압축영상은 이전에 영상관리 서버(200)에 의해 영상 위변조 관리를 위한 데이터 처리를 수행하였었기 때문에 그에 대한 모션벡터 단위시퀀스 및 모션벡터 조합시퀀스가 블록체인의 어딘가에는 존재한다. 따라서, 영상검증 서버(300)는 예컨대 자신이 관리하는 모션벡터 분산원장(100)의 내용을 분석하여 제 2 압축영상에 대응하는 하나 혹은 그 이상의 블록 데이터를 추출한다. 이때, 영상 메타정보가 활용될 수 있다. 예를 들어, 해당 영상을 생성한 CCTV 카메라(210)의 기기식별정보와 촬영시각 정보의 조합이라면 다수의 영상들 중에서 제 2 압축영상을 구분 식별할 수 있다.

그리고 나서, 영상검증 서버(300)는 이 추출된 블록 데이터로부터 제 2 압축영상에 대한 제 2 모션벡터 시퀀스를 획득한다. 블록 데이터에는 이전에 제 2 압축영상의 원본 영상으로부터 영상관리 서버(200)가 위변조 관리 단위영역 별로 정리해두었던 모션벡터의 정보가 저장되어 있다. 따라서, 영상검증 서버(300)는 하나 또는 그 이상의 블록 데이터의 저장 내용으로부터 제 2 압축영상에 대한 제 2 모션벡터 시퀀스를 획득한다.

단계 (S2000) : 영상검증 서버(300)는 제 1 모션벡터 시퀀스와 제 2 모션벡터 시퀀스를 비교하고, 그 결과에 기초하여 제 2 압축영상이 원본 영상으로부터 위변조되었는지 여부를 판단한다. 개념적으로는 2가지 모션벡터 시퀀스의 일치 정도가 제 2 압축영상의 원본 근접도에 해당한다. 이때, 영상이 위변조되지 않았다고 판단하기 위하여 모션벡터 시퀀스가 완전히 동일할 것을 요구하는 엄격한 기준을 적용할 수도 있고, 구현예에 따라서는 일정 임계비율(예: 95%) 이상 동일할 것을 요구하는 완화된 기준을 적용할 수도 있다.

[도 4]는 본 발명에서 위변조 관리 단위영역 별로 모션벡터 단위시퀀스를 획득하고 이들을 조합하는 개념을 나타내는 도면이다. 본 발명에서 영상관리 서버(200)와 영상검증 서버(300)는 압축영상에 대해 모션벡터 단위시퀀스를 획득하고 이들을 조합하여 모션벡터 조합시퀀스를 생성한다. [도 4]는 블록체인 갱신주기가 30초이고, 그 30초 분량의 CCTV 영상에 대해 모션벡터 단위시퀀스와 모션벡터 조합시퀀스를 획득하는 예를 나타내었다.

일반적으로는 30초 분량의 CCTV 영상에서는 다수의 위변조 관리 단위영역이 식별될 수 있으나, 설명의 편이를 위하여 2개의 위변조 관리 단위영역(A, B)가 식별되었다고 가정한다.

시간 경과(t = t0 ~ t4)에 대응하여 위변조 관리 단위영역 A, B와 관련하여 모션벡터가 추출될 수 있다. 예를 들어, [도 4]에서와 같이 위변조 관리 단위영역 A, B가 시간 경과에 따라 CCTV 영상에서 그 위치를 변경하고 그에 대응하도록 A, B에 대해 모션벡터가 추출될 수도 있다. [도 3]의 예에서도 시간 경과에 따라 CCTV 영상에서 객체들이 나타나고 사라지며 이동하는 모습이 관찰되고, 그에 대응하도록 각각의 객체에 대해 모션벡터가 추출된다. 다른 예에서는, [도 5]에서 후술하는 바와 같이 위변조 관리 단위영역 A, B의 위치는 고정되지만 CCTV 영상 내용에 대응하여 각각의 위치에서 모션벡터가 추출될 수도 있다.

이처럼 30초의 시간 동안 압축영상에서 획득되는 모션벡터를 위변조 관리 단위영역 별로 구분 정렬하면 [도 4]와 같이 위변조 관리 단위영역 A, B 각각에 대하여 모션벡터 단위시퀀스를 획득할 수 있다. 예를 들어, 위변조 관리 단위영역 A에 대한 모션벡터 단위시퀀스는 A와 관련하여 30초 동안 추출되었던 일련의 모션벡터 mva0 ~ mva4 를 시간 순서대로 정렬하여 시퀀스 [ mva0 mva1 mva2 mva3 mva4 ]를 만든 것이다.

이어서, 이들 모션벡터 단위시퀀스 [ mva0 mva1 mva2 mva3 mva4 ]와 [ mvb0 mvb1 mvb2 mvb3 mvb4 ] 를 미리 설정된 방식에 따라 결합시켜 모션벡터 조합시퀀스를 획득한다. [도 4]에서는 위변조 관리 단위영역의 순서대로 모션벡터 단위시퀀스를 연결(concatenation)하여 모션벡터 조합시퀀스 [ mva0 mva1 mva2 mva3 mva4 mvb0 mvb1 mvb2 mvb3 mvb4 ] 를 생성한 예를 나타내었다. 하지만, 다른 방식의 결합도 가능하다. 예를 들어, [ mva0 mvb0 mva1 mvb1 mva2 mvb2 mva3 mvb3 mva4 mvb4 ] 와 같은 방식으로 결합할 수도 있다.

[도 4]에서 모션벡터 mva0 ~ mva4, mvb0 ~ mvb4는 각각 모션벡터 하나를 의미하는 것이 아니라 해당 시점에서 위변조 관리 단위영역 A, B에 관련되어 추출된 모션벡터의 집합을 의미하는 것이다. 예를 들어, mva3은 시간 t = t3에서 위변조 관리 단위영역 A와 관련하여 압축영상으로부터 추출된 모션벡터 17개의 집합을 의미하는 것이 될 수 있다.

[도 5]는 본 발명에서 압축영상에 대해 위변조 관리 단위영역을 설정하는 제 1 실시예를 개념적으로 나타내는 도면이다.

제 1 실시예는 압축영상의 화면 전체 혹은 분할면을 위변조 관리 단위영역으로 설정하는 방식이다. 먼저 [도 5]의 (a)를 참조하면, 영상 프레임 전체 화면을 위변조 관리 단위영역으로 설정한다. 이 경우에는 해당 압축영상에 대해서 위변조 관리 단위영역이 하나 식별되는데, 각 시간대(예: t = t2)에서 압축영상의 영상 프레임 전체에서 얻어지는 모션벡터들 전체를 집합적으로 관리하며, 시간 흐름에 따라 연결하여 모션벡터 단위시퀀스 하나를 구성한다. 위변조 관리 단위영역이 하나이므로 모션벡터 조합시퀀스는 모션벡터 단위시퀀스와 동일하다.

[도 5]의 (b)를 참조하면, 영상 프레임을 가로세로 반씩 잘라서 4등분하고 각각의 분할면을 위변조 관리 단위영역으로 설정한다. 이 경우에는 해당 압축영상에 대해서 위변조 관리 단위영역이 4개 식별되는데, 각 시간대(예: t = t2)에서 각각의 분할면에서 얻어지는 모션벡터들을 해당 위변조 관리 단위영역에 연결 관리한다. 시간 흐름에 따라 각각의 위변조 관리 단위영역에 연결 관리되는 모션벡터들을 구분 연결하여 모션벡터 단위시퀀스 4개를 구성하고, 이들 모션벡터 단위시퀀스를 결합하여 모션벡터 조합시퀀스를 얻는다.

[도 5]의 (c)를 참조하면, 영상 프레임을 불균등하게 구분하고 각각의 분할면을 위변조 관리 단위영역으로 설정하였다. 불균등 구분하였다는 점을 제외하고는 [도 5]의 (b)와 나머지는 공통된다.

[도 6]은 본 발명에서 압축영상에 대해 위변조 관리 단위영역을 설정하는 제 2 실시예로서 CCTV 영상에서 영상 분석을 통해 이동객체를 식별하여 위변조 관리 단위영역으로 설정하는 과정을 나타내는 순서도이고, [도 7]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다.

제 2 실시예는 압축영상에 대해 복잡하고 고차원적인 영상분석 프로세스를 수행하여 오브젝트(예: 사람 A, 사람 B, 자동차, 동물 등)를 식별해내고 각각의 오브젝트가 영상에서 차지하는 이미지 덩어리(즉, 오브젝트 이미지)를 위변조 관리 단위영역으로 설정하는 방식이다. 이처럼 압축영상에서 오브젝트 이미지를 선별하여 위변조 관리 단위영역으로 설정하는 경우에는 압축영상에서 나뭇잎이나 쓰레기 같은 노이즈는 배제하고 중요한 객체들을 선별하여 위변조 관리를 효과적으로 수행할 수 있는 장점이 있다. 또한, 블록 데이터의 사이즈를 약간이나마 감소시켜 블록체인 처리 속도를 향상시킬 수 있는 장점도 있다.

[도 7]은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. [도 7]을 참조하면, H.264 AVC에 따른 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 모션벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다. 이들 하드웨어 모듈이 압축영상의 데이터를 순차적으로 처리함으로써 압축영상에서 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 구문분석기(11)는 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩유형을 파싱해낸다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상 블록이다.

[도 6]은 영상분석을 통해 CCTV 영상으로부터 오브젝트(이동객체)를 추출하여 위변조 관리 단위영역으로 설정하는 과정을 나타내는 순서도이다. [도 6]을 참조하면, 타겟 압축영상을 H.264 AVC 및 H.265 HEVC 등에 따라 디코딩하고(S10), 재생영상의 프레임 이미지들을 작은 이미지, 예컨대 320x240 정도로 다운스케일 리사이징을 한다(S20). 이때, 다운스케일 리사이징을 하는 이유는 이후 영상분석 과정에서의 프로세싱 부담을 그나마 줄이기 위한 것이다. 그리고 나서, 리사이징된 프레임 이미지들에 대해 차영상(differentials)을 구한 후에 영상 분석을 통해 이동객체를 추출해낸다(S30). 그리고 나서, 이들 이동객체의 이미지를 CCTV 영상에 대한 위변조 관리 단위영역으로 설정한다(S40). 이와 같은 압축영상 디코딩, 다운스케일 리사이징, 영상 분석 과정은 복잡도가 매우 높은 프로세스이기 때문에 시스템의 영상 처리 속도가 상당히 늦어지는 단점이 있다.

[도 8]은 본 발명에서 압축영상에 대해 위변조 관리 단위영역을 설정하는 제 3 실시예로서 타겟 압축영상으로부터 신택스(syntax) 기반으로 이동객체 영역을 추출하고 이를 타겟 압축영상에 대한 위변조 관리 단위영역으로 설정하는 프로세스를 나타내는 순서도이다.

제 3 실시예는 압축영상을 파싱하여 얻은 신택스 정보(syntax information)에 기초하여 압축영상으로부터 이동객체로 보이는 부분을 식별해내고 이들을 위변조 관리 단위영역을 설정하는 방식이다. 제 3 실시예는 압축영상에서 중요한 객체를 선별하여 위변조 관리한다는 점에서는 제 2 실시예와 공통되는 반면, 영상 분석을 통해 오브젝트 이미지를 추출하는 것이 아니라 압축영상에서 이동객체가 포함된 것으로 추정되는 이미지 덩어리를 추출하는 방식이라는 점에서 제 2 실시예와는 개념상 차이가 있다. 영상 분석을 하지 않았기에 영상 내용에 대해서는 정보가 없는 상태에서 이동객체 영역을 추출해내는 것이다.

제 3 실시예에서는 압축영상을 디코딩할 필요없이 압축영상의 비트스트림을 파싱하여 각 영상 블록에 대한 신택스 정보를 통해 이동객체 영역을 빠르게 추출한다. 영상 블록으로는 매크로블록(Macro Block) 및 서브블록(Sub Block) 등의 어느 하나 혹은 이들의 조합을 채택할 수 있고, 신택스 정보로는 모션벡터(Motion Vector)와 코딩유형(Coding Type)이 바람직하다. 이렇게 얻어진 이동객체 영역은 본 명세서에 첨부된 여러 이미지에서 확인되는 바와 같이 영상 내에 존재하는 이동객체의 경계선을 정밀하게 반영하지는 못하지만 처리속도가 빠르면서도 신뢰도가 높은 장점이 있다.

이하, [도 8]을 참조하여 제 3 실시예에 따라 압축영상으로부터 신택스 기반으로 이동객체 영역을 빠르게 추출하고 이를 타겟 압축영상에 대한 위변조 관리 단위영역으로 설정하는 과정의 개념을 살펴본다.

단계 (S100) : 먼저, 압축영상의 모션벡터에 기초하여 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임을 검출하며, 이처럼 유효 움직임이 검출된 영상 영역을 이동객체 영역으로 설정한다.

이를 위해, H.264 AVC 및 H.265 HEVC 등의 동영상압축 표준에 따라서 압축영상의 코딩 유닛(coding unit)의 모션벡터와 코딩유형을 파싱한다. 이때, 코딩 유닛의 사이즈는 일반적으로 64x64 픽셀 내지 4x4 픽셀 정도이며 설계자의 선택에 따라 다양하게 설정될 수 있다.

각 영상 블록에 대해 미리 설정된 일정 시간(예: 500 msec) 동안 모션벡터를 누적시키고, 그에 따른 모션벡터 누적값이 미리 설정된 제 1 임계치(예: 20)을 초과하는지 검사한다. 만일 그러한 영상 블록이 발견되면 해당 영상 블록에서 유효 움직임이 발견된 것으로 보고 이동객체 영역으로 마킹한다. 그에 따라, 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못하는 경우에는 영상 변화가 미미한 것으로 추정하고 무시한다.

단계 (S200) : 앞의 (S100)에서 검출된 이동객체 영역에 대하여 그 주변 영역을 모션벡터와 코딩유형에 기초하여 검사함으로써 이들 이동객체 영역의 바운더리가 대략적으로 어디까지인지 확장해나간다. 이러한 과정을 통해서 앞서 (S100)에서 파편화된 영상 블록의 형태로 검출된 이동객체 영역을 서로 연결하여 유의미한 덩어리 형태를 만들어가는 결과를 얻는다.

앞의 (S100)에서는 엄격한 판단기준에 따라 영상 블록들을 선별함으로써 압축영상 내에서 이동객체에 대응하는 것이 확실해 보이는 영상 블록을 검출하여 이동객체 영역으로 마킹하였다. 이번의 (S200)에서는 이렇게 (S100)에서 이동객체 영역으로 마킹되었던 영상 블록 주변에 위치하는 다른 영상 블록들을 검사한다. 이들을 본 명세서에서는 편이상 '이웃 블록'이라고 부른다. 이들 이웃 블록에 대해서는 앞서 (S100)에 적용하였던 판단기준에 비해 상대적으로 완화된 판단기준에 따라 이동객체 영역에 해당하는지 여부를 판단한다.

압축영상에서 매크로블록이나 서브블록 등은 매우 작은 사이즈이다. 따라서 CCTV 영상과 같이 사람, 자동차, 동물 등을 촬영한 영상이라면 그 속성상 이동객체가 하나의 영상 블록에만 나타나기는 곤란하고 여러 영상 블록에 걸쳐서 나타날 것으로 예상한다. 즉, 이동객체가 찍힌 영상 블록 근방에 존재하는 영상 블록에는 이동객체가 찍혀있을 가능성이 그렇지 않은 영상 블록에 비해 상대적으로 높다고 예상한다. 그러한 기술적 사상을 반영하여 (S200)에서는 이동객체 영역 주변에 존재하는 이웃 블록에 대해 상대적으로 완화된 판단기준에 따라 이동객체 영역에 해당하는지 여부를 판단한다.

바람직하게는 각각의 이웃 블록을 검사하여, 현재 프레임에서 검출된 모션벡터 값이 미리 설정된 제 2 임계치(예: 0) 이상이거나 코딩유형이 인트라 픽쳐(Intra Picture)일 경우에는 해당 영상 블록도 이동객체 영역으로 마킹한다. 다른 실시예로는, 이웃 블록에 대해 앞서 (S100)에서 산출하였던 모션벡터 누적값이 제 2 임계치(예: 5) 이상이거나 코딩유형이 인트라 픽쳐일 경우에는 해당 영상 블록도 이동객체 영역으로 마킹할 수 있다. 이때, 제 2 임계치는 제 1 임계치에 비해 작은 값으로 설정되는 것이 논리적으로 타당하다.

개념적으로는, 유효 움직임이 발견되어 이동객체 영역의 근방에서 어느 정도의 움직임이 있는 영상 블록이라면 이는 앞의 이동객체 영역과 한 덩어리일 가능성이 높기 때문에 이동객체 영역이라고 마킹하는 것이다. 또한, 인트라 픽쳐의 경우에는 모션벡터가 존재하지 않기 때문에 모션벡터에 기초하여 이동객체 영역인지 여부를 판단하는 것이 불가능하다. 이에, 이동객체 영역으로 이미 검출된 영상 블록에 인접하여 위치하는 인트라 픽쳐라면 기 추출된 이동객체 영역과 함께 한 덩어리를 이루는 것으로 추정한다. 이동객체 영역이 아닌 영상 블록 하나가 이동객체 영역에 포함되었을 때의 손실은 별로 크지 않은 반면, 이동객체 영역이 파편화되었을 때의 손실은 크기 때문이다.

단계 (S300) : 앞의 (S100)과 (S200)에서 검출된 이동객체 영역에 인터폴레이션(interpolation)을 적용하여 이동객체 영역의 분할(fragmentation)을 정리한다. 앞의 과정에서는 영상 블록 단위로 이동객체 영역 여부를 판단하였기 때문에 실제로는 하나의 이동객체(예: 사람)임에도 불구하고 중간중간에 이동객체 영역으로 마킹되지 않은 영상 블록이 존재하여 여러 개의 이동객체 영역으로 분할되는 현상이 발생할 수 있다. 그에 따라, 이동객체 영역으로 마킹된 복수의 영상 블록으로 둘러싸여 하나 혹은 소수의 비마킹 영상 블록이 존재한다면 이들은 이동객체 영역으로 추가로 마킹한다. 이를 통해, 여러 개로 분할되어 있는 이동객체 영역을 하나로 뭉쳐지도록 만들 수 있는데, 이와 같은 인터폴레이션의 영향은 [도 12]와 [도 13]을 비교하면 명확하게 드러난다.

앞서의 과정 (S100) 내지 (S300)을 통하여 압축영상으로부터 하나이상의 이동객체 영역을 획득하였다. 이동객체 영역(region of moving object)는 [도 13]에 도시된 것과 같이 다수의 영상블록들이 뭉쳐진 덩어리로서, 신택스 정보에 기초하여 그 안에 하나이상의 이동객체가 포함되어 있을 것으로 추정되기에 압축영상으로부터 별도로 선별된 것이다. 소프트웨어 처리를 위하여 이들 이동객체 영역에는 고유 식별정보(Unique ID)를 할당하여 관리하는 것이 바람직하다.

단계 (S400) : 이상의 과정을 통하여 압축영상에 대해 코딩 유닛의 신택스(모션벡터, 코딩유형)에 기초하여 이동객체 영역을 신속하게 추출하였다. 단계 (S400)에서는 이러한 이동객체 영역을 타겟 압축영상에 대한 위변조 관리 단위영역으로 설정한다.

[도 9]는 본 발명에서 압축영상으로부터 유효 움직임(effective movement)을 검출하는 과정의 구현 예를 나타내는 순서도이고, [도 10]은 CCTV 영상에 대해 유효 움직임 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면이다.

단계 (S110) : 먼저, 압축영상의 코딩 유닛을 파싱하여 모션벡터 및 코딩유형을 획득한다. [도 7]을 참조하면, 동영상 디코딩 장치는 압축영상의 스트림에 대해 H.264 AVC 및 H.265 HEVC 등과 같은 동영상압축 표준에 따라 구문분석(헤더 파싱) 및 모션벡터 연산을 수행한다. 이러한 과정을 통하여 압축영상의 코딩 유닛에 대하여 모션벡터와 코딩유형을 파싱해낸다.

단계 (S120) : 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간(예: 500 ms) 동안의 모션벡터 누적값을 획득한다.

이 단계는 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임, 예컨대 주행중인 자동차, 달려가는 사람, 서로 싸우는 군중들이 있다면 이를 검출하려는 의도를 가지고 제시되었다. 흔들리는 나뭇잎, 잠시 나타나는 고스트, 빛의 반사에 의해 약간씩 변하는 그림자 등은 비록 움직임은 있지만 실질적으로는 무의미한 객체이므로 검출되지 않도록 한다.

이를 위해, 미리 설정된 일정 시간(예: 500 msec) 동안 하나이상의 영상 블록 단위로 모션벡터를 누적시켜 모션벡터 누적값을 획득한다. 이때, 영상 블록은 매크로블록과 서브블록을 포함하는 개념으로 사용된 것이다.

단계 (S130, S140) : 복수의 영상 블록에 대하여 모션벡터 누적값을 미리 설정된 제 1 임계치(예: 20)와 비교하며, 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹한다.

만일 이처럼 일정 이상의 모션벡터 누적값을 갖는 영상 블록이 발견되면 해당 영상 블록에서 무언가 유의미한 움직임, 즉 유효 움직임이 발견된 것으로 보고 이동객체 영역으로 마킹한다. 예컨대 영상관제 시스템에서 사람이 뛰어가는 정도로 관제 요원이 관심을 가질만한 가치가 있을 정도의 움직임을 선별하여 검출하려는 것이다. 반대로, 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못할 정도로 작을 경우에는 영상에서의 변화가 그다지 크지않고 미미한 것으로 추정하고 검출 단계에서 무시한다.

[도 10]은 본 발명에서 [도 9]의 과정을 통해 CCTV 영상으로부터 유효 움직임 영역을 검출한 결과를 시각적으로 나타낸 일 예이다. [도 10]에서는 제 1 임계치 이상의 모션벡터 누적값을 갖는 영상 블록이 이동객체 영역으로 마킹되어 붉은 색으로 표시되었다. [도 10]을 살펴보면 보도블럭이나 도로, 그리고 그림자가 있는 부분 등은 이동객체 영역으로 표시되지 않은 반면, 걷고있는 사람들이나 주행중인 자동차 등이 이동객체 영역으로 표시되었다.

[도 11]은 본 발명에서 이동객체 영역에 대한 바운더리 영역(boundary area)을 검출하는 과정의 구현 예를 나타내는 순서도이고, [도 12]는 [도 10]의 CCTV 영상 이미지에 대해 [도 11]에 따른 바운더리 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면이다.

앞서의 [도 10]을 살펴보면 이동객체가 제대로 마킹되지 않았으며 일부에 대해서만 마킹이 이루어진 것을 발견할 수 있다. 즉, 걷고있는 사람이나 주행중인 자동차를 살펴보면 객체의 전부가 마킹된 것이 아니라 일부 영상블록만 마킹되었다는 것을 발견할 수 있다. 더욱이 하나의 이동객체에 대해 복수의 이동객체 영역이 마킹된 것도 많이 발견된다. 이는 앞의 (S100)에서 채택한 이동객체 영역의 판단 기준이 일반 영역을 필터링 아웃하는 데에는 매우 유용하지만 상당히 엄격한 것이었다는 것을 의미한다. 따라서, 이동객체 영역을 중심으로 그 주변을 살펴봄으로써 이동객체의 바운더리를 검출하는 과정이 필요하다.

단계 (S210) : 먼저, 앞의 (S100)에 의해 이동객체 영역으로 마킹된 영상 블록을 중심으로 하여 인접하는 복수의 영상 블록을 식별한다. 이들은 본 명세서에서는 '이웃 블록(neighboring blocks)'이라고 부른다. 이들 이웃 블록은 (S100)에 의해서는 이동객체 영역으로 마킹되지 않은 부분인데, [도 11]의 프로세스에서는 이들에 대해 좀더 살펴봄으로써 이들 이웃 블록 중에서 이동객체 영역의 바운더리에 포함될만한 것이 있는지 확인하려는 것이다.

단계 (S220, S230) : 복수의 이웃 블록에 대하여 모션벡터 값을 미리 설정된 제 2 임계치와 비교하고, 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹한다. 실질적으로 의미를 부여할만한 유효 움직임이 인정된 이동객체 영역에 인접하여 위치하고 그 자신에 대해서도 어느 정도의 움직임이 발견되고 있다면 그 영상 블록은 촬영 영상(예: CCTV 영상)의 특성상 앞의 이동객체 영역과 한 덩어리일 가능성이 높다. 따라서, 이러한 이웃 블록도 이동객체 영역이라고 마킹한다.

이를 구현하는 제 1 실시예로서, 각각의 이웃 블록을 검사하여, 현재 프레임에서 검출된 모션벡터 값이 미리 설정된 제 2 임계치(예: 0) 이상인 경우에 해당 영상 블록도 이동객체 영역으로 마킹한다.

한편, 제 2 실시예로서, 이웃 블록에 대해 앞서 (S100)에서 산출하였던 모션벡터 누적값이 미리 설정된 제 2 임계치(예: 5) 이상인 경우에는 해당 영상 블록도 이동객체 영역으로 마킹할 수 있다. 이때, 제 2 임계치는 제 1 임계치에 비해 작은 값으로 설정되는 것이 타당하다.

단계 (S240) : 또한, 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 것을 이동객체 영역으로 마킹한다. 인트라 픽쳐의 경우에는 모션벡터가 존재하지 않기 때문에 해당 이웃 블록이 이동객체 영역에 해당되는지 여부를 모션벡터에 기초하여 판단하는 것이 불가능하다. 이동객체 영역으로 이미 검출된 영상 블록에 인접하여 위치하는 인트라 픽쳐라면 기 추출된 이동객체 영역과 함께 한 덩어리를 이루는 것으로 추정하는 것이 바람직하다. 이동객체 영역이 아닌 영상 블록 하나가 이동객체 영역에 포함되었을 때의 손실은 별로 크지 않은 반면, 이동객체 영역이 파편화되었을 때의 손실은 크기 때문이다.

[도 12]는 본 발명에서 CCTV 영상에 바운더리 영역 검출 과정까지 적용된 결과를 시각적으로 나타낸 도면인데, 이상의 과정을 통해 이동객체 영역으로 마킹된 다수의 영상 블록을 파란 색으로 표시하였다. [도 12]를 살펴보면, 앞서 [도 10]에서 붉은 색으로 표시되었던 이동객체 영역의 근방으로 파란 색의 이동객체 영역은 좀더 확장되었으며 이를 통해 CCTV로 촬영된 실제 영상과 비교할 때 이동객체를 전부 커버할 정도가 되었다는 사실을 발견할 수 있다.

[도 13]은 [도 12]의 CCTV 영상 이미지에 대해 인터폴레이션을 통해 이동객체 영역을 정리한 결과의 일 예를 나타내는 도면이다.

단계 (S300)은 앞의 (S100)과 (S200)에서 검출된 이동객체 영역에 인터폴레이션을 적용하여 이동객체 영역의 분할을 정리하는 과정이다. [도 12]를 살펴보면 파란 색으로 표시된 이동객체 영역 사이사이에 비마킹 영상 블록이 발견된다. 이렇게 중간중간에 비마킹 영상 블록이 존재하게 되면 이들이 다수의 개별적인 이동객체인 것처럼 간주될 수 있다. 이렇게 이동객체 영역이 파편화되면 본 발명에 따른 압축영상 위변조 식별 결과가 부정확해질 수 있고, 이동객체 영역의 갯수가 많아져서 본 발명에 따른 압축영상 위변조 식별 프로세스가 복잡해지는 문제도 있다.

그에 따라, 본 발명에서는 이동객체 영역으로 마킹된 복수의 영상 블록으로 둘러싸여 하나 혹은 소수의 비마킹 영상 블록이 존재한다면 이는 이동객체 영역으로 마킹하는데, 이를 인터폴레이션이라고 부른다. [도 12]와 대비하여 [도 13]을 살펴보면, 이동객체 영역 사이사이에 존재하던 비마킹 영상 블록이 모두 이동객체 영역이라고 마킹되었다. 이를 통해, 덩어리로 움직이는 영역은 모두 묶어서 하나의 이동객체로서 다루게 된다.

[도 10], [도 12], [도 13]을 비교하면 바운더리 영역 검출 과정과 인터폴레이션 과정을 거치면서 이동객체 영역이 실제 영상의 상황을 제대로 반영하게 되어간다는 사실을 발견할 수 있다. [도 10]에서 붉은 색으로 마킹된 덩어리로 판단한다면 영상 화면 속에 아주 작은 물체들이 다수 움직이는 것처럼 다루어질 것인데, 이는 실제와는 부합하지 않는다. 반면, [도 13]에서 파란 색으로 마킹된 덩어리로 판단한다면 어느 정도의 부피를 갖는 몇 개의 이동객체가 존재하는 것으로 다루어질 것이어서 실제 장면을 유사하게 반영한다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

100 : 모션벡터 분산원장
200 : 영상관리 서버
210 : CCTV 카메라
220 : 영상 스토리지
300 : 영상검증 서버
400 : 관리자 컴퓨터

Claims (8)

1. 영상 위변조 여부 관리 대상인 제 1 압축영상을 제공받는 제 1 단계;
   제 1 압축영상을 파싱하여 다수의 모션벡터(이하, '제 1 모션벡터'라 함)를 시간 진행에 따라 순차적으로 획득하는 제 2 단계;
   상기 제 1 압축영상에서 위변조 여부의 관리 대상 이미지 덩어리인 위변조 관리 단위영역(이하, '제 1 위변조 관리 단위영역'이라 함)을 하나이상 식별하는 제 3 단계;
   미리 설정된 블록체인 갱신주기 단위로, 상기 하나이상의 제 1 위변조 관리 단위영역 별로 상기 다수의 제 1 모션벡터 중에서 각각 관련된 모션벡터의 시퀀스(이하, '모션벡터 단위시퀀스'라 함)를 식별하고, 상기 하나이상의 모션벡터 단위시퀀스를 조합하여 블록 데이터를 생성하는 제 4 단계;
   상기 블록체인 갱신주기마다 상기 블록 데이터를 반영하여 블록체인을 업데이트하는 제 5 단계;
   위변조 확인구간에 대한 영상 위변조 여부 확인 대상인 제 2 압축영상을 제공받는 제 6 단계;
   상기 제 2 압축영상을 파싱하여 다수의 모션벡터(이하, '제 2 모션벡터'라 함)를 시간 진행에 따라 순차적으로 획득하고, 상기 제 2 압축영상에서 위변조 관리 단위영역(이하, '제 2 위변조 관리 단위영역'이라 함)을 하나이상 식별하는 제 7 단계;
   상기 다수의 제 2 모션벡터로부터 상기 하나이상의 제 2 위변조 관리 단위영역에 각각 관련된 모션벡터 단위시퀀스를 식별하고 이들을 조합하여 상기 제 2 압축영상에 대한 제 1 모션벡터 시퀀스를 획득하는 제 8 단계;
   상기 블록체인을 조회하여 상기 제 2 압축영상에 대응하는 하나이상의 블록 데이터를 추출하고, 상기 추출된 블록 데이터로부터 상기 제 2 압축영상에 대한 제 2 모션벡터 시퀀스를 획득하는 제 9 단계;
   상기 제 1 모션벡터 시퀀스와 상기 제 2 모션벡터 시퀀스를 비교한 결과에 기초하여 상기 제 2 압축영상의 위변조 여부를 판단하는 제 10 단계;
   를 포함하여 구성되는 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법.
   
2. 청구항 1에 있어서,
   상기 위변조 관리 단위영역은 상기 제 1 압축영상 또는 상기 제 2 압축영상의 각각의 영상 프레임에 대한 전체 이미지 또는 미리 설정된 분할 단위에 따른 분할면으로 설정되는 것을 특징으로 하는 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법.
   
3. 청구항 1에 있어서,
   상기 위변조 관리 단위영역은 상기 제 1 압축영상의 데이터 또는 상기 제 2 압축영상의 데이터에 대한 디코딩, 다운스케일 리사이징, 영상 분석을 통해 상기 제 1 압축영상 또는 상기 제 2 압축영상으로부터 추출된 하나이상의 이동객체 이미지로 설정되는 것을 특징으로 하는 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법.
   
4. 청구항 1에 있어서,
   상기 위변조 관리 단위영역은 상기 제 1 압축영상 또는 상기 제 2 압축영상을 각각의 타겟 압축영상으로 하는 신택스 기반 이동객체 영역 추출 프로세스에 의해 식별되고,
   상기 신택스 기반 이동객체 영역 추출 프로세스는,
   타겟 압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 제 A 단계;
   타겟 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 제 B 단계;
   상기 복수의 영상 블록에 대하여 상기 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 C 단계;
   상기 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 D 단계;
   상기 이동객체 영역으로 마킹된 영상 블록의 개별 덩어리를 위변조 관리 단위영역으로 설정하는 제 E 단계;
   를 포함하여 구성되는 것을 특징으로 하는 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법.
   
5. 청구항 4에 있어서,
   상기 신택스 기반 이동객체 영역 추출 프로세스는,
   상기 제 D 단계와 상기 제 E 단계 사이에 수행되는,
   상기 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계;
   상기 복수의 이웃 블록에 대하여 상기 제 1 단계에서 획득된 모션벡터 값을 미리 설정된 제 2 임계치와 비교하는 제 b 단계;
   상기 복수의 이웃 블록 중에서 상기 제 b 단계의 비교 결과 상기 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계;
   를 더 포함하여 구성되는 것을 특징으로 하는 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법.
   
6. 청구항 4에 있어서,
   상기 신택스 기반 이동객체 영역 추출 프로세스는,
   상기 제 D 단계와 상기 제 E 단계 사이에 수행되는,
   상기 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계;
   상기 복수의 이웃 블록에 대하여 상기 모션벡터 누적값을 상기 제 1 임계치보다 작은 값으로 미리 설정된 제 2 임계치와 비교하는 제 b 단계;
   상기 복수의 이웃 블록 중에서 상기 제 b 단계의 비교 결과 상기 제 2 임계치를 초과하는 모션벡터 누적값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계;
   를 더 포함하여 구성되는 것을 특징으로 하는 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법.
   
7. 청구항 5 또는 청구항 6에 있어서,
   상기 신택스 기반 이동객체 영역 추출 프로세스는,
   상기 제 c 단계와 상기 제 E 단계 사이에 수행되는,
   상기 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 d 단계;
   상기 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하여 이동객체 영역으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 추가 마킹하는 제 e 단계;
   를 더 포함하여 구성되는 것을 특징으로 하는 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법.
   
8. 하드웨어와 결합되어 청구항 1 내지 6 중 어느 하나의 항에 따른 모션벡터 블록체인 기반의 압축영상 위변조 식별 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.

Images