KR102177494B1 - 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법 - Google Patents

Abstract

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에서 다른 객체들과는 다른 특이한 행동을 나타내는 객체, 즉 이상모션 객체를 효과적으로 식별해내는 기술에 관한 것이다. 특히, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 영상분석을 통해 객체 존재를 인식하고 이들의 행동을 관찰하여 이상모션 객체를 식별하는 것이 아니라 압축영상을 파싱하여 얻는 모션벡터를 이용하여 이동객체 영역을 추출하고 모션벡터 궤적 패턴에 기초하여 이상모션 객체를 효과적으로 식별하는 기술에 관한 것이다. 특히, 본 발명은 압축영상에 얻은 모션벡터 궤적 패턴으로 훈련 데이터세트를 구성하고 신경망을 학습시켜 이상모션 객체 식별에 활용함으로써 이상모션 객체 식별의 정확도를 개선하는 기술에 관한 것이다.

Description

모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법 {method of identifying abnormal-motion objects in compressed video by use of trajectory and pattern of motion vectors}

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에서 다른 객체들과는 다른 특이한 행동을 나타내는 객체, 즉 이상모션 객체를 효과적으로 식별해내는 기술에 관한 것이다.

특히, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 영상분석을 통해 객체 존재를 인식하고 이들의 행동을 관찰하여 이상모션 객체를 식별하는 것이 아니라 압축영상을 파싱하여 얻는 모션벡터를 이용하여 이동객체 영역을 추출하고 모션벡터 궤적 패턴에 기초하여 이상모션 객체를 효과적으로 식별하는 기술에 관한 것이다.

특히, 본 발명은 압축영상에 얻은 모션벡터 궤적 패턴으로 훈련 데이터세트를 구성하고 신경망을 학습시켜 이상모션 객체 식별에 활용함으로써 이상모션 객체 식별의 정확도를 개선하는 기술에 관한 것이다.

최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 지역별로 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제 요원이 발견하게 되면 그 즉시 적절하게 대처하는 한편, 필요에 따라서는 사후증거 확보를 위해 스토리지에 저장되어 있는 영상을 검색하는 것이다.

그런데. CCTV 카메라의 설치 현황에 비해 관제 요원의 수는 매우 부족한 것이 현실이다. 이처럼 제한된 인원으로 영상 감시를 효과적으로 수행하려면 CCTV 영상을 모니터 화면에 단순 표시하는 것만으로는 충분하지 않다. 각각의 CCTV 영상에 존재하는 객체의 움직임을 감지하여 실시간으로 해당 영역에 무언가 추가 표시함으로써 효과적으로 발견되도록 처리하는 것이 바람직하다. 이러한 경우에 관제 요원은 CCTV 영상 전체를 균일한 관심도를 가지고 지켜보는 것이 아니라 객체 움직임이 있는 부분을 중심으로 CCTV 영상을 감시하면 된다.

특히, 영상관제 시스템이 CCTV 영상에서 객체의 움직임을 자동 감지할 뿐만 아니라 이중에서 다른 객체들과는 구별되는 특이한 움직임을 나타내는 객체, 즉 이상모션 객체(abnormal-motion object)를 구분 식별할 수 있다면 영상관제의 효율을 더욱 제고할 수 있다. 이상모션 객체를 좀더 관심을 가지고 집중적으로 감시할 수 있을 뿐만 아니라 스토리지에 저장되어 있는 대규모의 CCTV 영상 데이터로부터 사후 증거를 빠르게 검출해낼 수 있게 된다.

최근에 설치되는 CCTV 카메라는 고해상도(예: Full HD) 및 고프레임(예: 초당 24프레임)의 제품이 채택되고 있기 때문에 네트워크 대역폭과 스토리지 공간의 부담을 고려하여 H.264 AVC 및 H.265 HEVC 등과 같은 고압축율의 복잡한 영상압축 기술이 채택되고 있다. CCTV 카메라 장치는 촬영 영상을 영상압축 기술에 따라 인코딩하여 생성한 압축영상을 제공하고, CCTV 영상을 활용하는 측에서는 해당 기술규격에 따라 역으로 압축영상에 대한 디코딩을 수행한다. 따라서, 영상압축 기술이 적용된 CCTV 영상에서 여러 객체의 존재를 인식하고 이들 중에서 이상모션 객체를 식별하려면 종래에는 압축영상을 디코딩하여 재생영상, 즉 압축이 풀려있는 원래 영상을 얻은 후에 영상을 분석하는 과정이 필요하였다.

이하에서는 [도 1]와 [도 2]를 참조하여 종래기술에서 CCTV 영상으로부터 이상모션 객체를 식별하는 과정을 기술한다.

[도 1]은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. [도 1]을 참조하면, H.264 AVC에 따른 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 모션벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다. 이들 하드웨어 모듈이 압축영상의 데이터를 순차적으로 처리함으로써 압축영상에서 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 구문분석기(11)는 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩 유형을 파싱해낸다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상블록이다.

[도 2]는 기존의 영상분석 솔루션에서 CCTV 영상으로부터 이상모션 객체를 식별하는 과정을 나타내는 순서도이다. [도 2]를 참조하면, 종래기술에서는 압축영상을 H.264 AVC 및 H.265 HEVC 등에 따라 디코딩하고(S10), 재생영상의 프레임 이미지들을 작은 이미지, 예컨대 320x240 정도로 다운스케일 리사이징을 한다(S20). 이때, 다운스케일 리사이징을 하는 이유는 이후 영상분석 과정에서의 프로세싱 부담을 그나마 줄이기 위한 것이다. 그리고 나서, 리사이징된 프레임 이미지들에 대해 차영상(differentials)을 구한 후에 영상 분석을 통해 이동객체를 추출해내고(S30), 일련의 프레임 이미지에 대한 영상 내용 분석을 통해 이동객체들의 행동을 관찰하여 이상모션 객체를 식별한다(S40).

종래기술에서 이동객체를 추출하고 이들 중에서 이상모션 객체를 식별해내려면 압축영상 디코딩, 다운스케일 리사이징, 영상 분석을 수행해야 한다. 이들은 복잡도가 매우 높은 프로세스이기 때문에 종래의 영상관제 시스템에서 이상모션 객체 식별 기능을 구현하는 것은 매우 곤란하였다.

본 발명의 목적은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에서 다른 객체들과는 다른 특이한 행동을 나타내는 객체, 즉 이상모션 객체를 효과적으로 식별해내는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 영상분석을 통해 객체 존재를 인식하고 이들의 행동을 관찰하여 이상모션 객체를 식별하는 것이 아니라 압축영상을 파싱하여 얻는 모션벡터를 이용하여 이동객체 영역을 추출하고 모션벡터 궤적 패턴에 기초하여 이상모션 객체를 효과적으로 식별하는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 압축영상에 얻은 모션벡터 궤적 패턴으로 훈련 데이터세트를 구성하고 신경망을 학습시켜 이상모션 객체 식별에 활용함으로써 이상모션 객체 식별의 정확도를 개선하는 기술을 제공하는 것이다.

상기의 목적을 달성하기 위하여 본 발명에 따른 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법은, 압축영상의 비트스트림을 파싱하여 다수의 영상블록에 대하여 모션벡터와 코딩 유형을 획득하는 제 1 단계; 모션벡터들 중에서 일련의 프레임 진행에 대해 불일치하는 모션벡터를 제거하는 제 2 단계; 일련의 프레임 진행에 따라 상호 연결되는 모션벡터를 조합하여 영상블록 단위로 벡터 궤적을 생성하는 제 3 단계; 압축영상에서 생성된 다수의 벡터 궤적을 대비하여 상호 매칭되는 벡터 궤적을 갖는 영상블록들의 덩어리를 압축영상에 대한 이동객체 영역으로 설정하는 제 4 단계; 이동객체 영역의 벡터 궤적 중 하나이상을 이동객체 벡터 패턴으로 설정하는 제 5 단계; 압축영상과 관련하여 획득된 다수의 이동객체 벡터 패턴을 통계 분석하여 그 발생 빈도가 미리 설정된 상위임계치 이상이면 정상 패턴으로 분류하고 미리 설정된 하위임계치 이하이면 이상 패턴으로 분류하여 신경망 학습을 위한 훈련 데이터세트를 구성하는 제 6 단계; 신경망 학습 모드에서, 훈련 데이터세트를 이용하여 신경망에 대한 머신러닝을 수행하는 제 7 단계; 신경망 적용 모드에서, 이동객체 영역의 이동객체 벡터 패턴을 신경망에 입력하여 신경망 연산 결과에 따라 이동객체 영역의 이상모션 객체 여부를 식별하는 제 8 단계;를 포함하여 구성될 수 있다.

이때, 본 발명에서 제 2 단계는, 모션벡터들 중에서 모션벡터의 크기 성분과 방향 성분에 기초하여 프레임 진행에 따른 연결성이 결여된 모션벡터를 제거하는 단계; 모션벡터들 중에서 프레임 진행에 따른 연결 길이가 미리 설정된 임계길이 이하인 모션벡터를 제거하는 단계; 모션벡터들 중에서 프레임 진행에 따라 연결된 모션벡터들 간의 방향성을 결여하는 모션벡터를 제거하는 단계;를 포함하여 구성되는 것이 바람직하다.

또한, 본 발명에서 제 3 단계는, 압축영상에서 인트라 코딩의 코딩 유형을 갖는 영상블록(이하, 'I-영상블록'이라 함)을 탐색하는 단계; 위 탐색된 I-영상블록을 벡터 궤적의 시작점으로 설정하는 단계; 후속 프레임에서 I-영상블록의 모션벡터에 대응하는 위치에 예측 코딩의 코딩 유형을 갖는 영상블록(이하, 'P-영상블록'이라 함)을 탐색하는 단계; 이어지는 일련의 후속 프레임을 진행하면서 기 탐색된 P-영상블록의 모션벡터에 대응하는 위치에 다음의 P-영상블록을 탐색하는 과정을 탐색 실패할 때까지 반복하는 단계; 위 시작점인 I-영상블록의 모션벡터 및 위 탐색된 복수의 P-영상블록의 모션벡터를 조합하여 벡터 궤적을 생성하는 단계;를 포함하여 구성되는 것이 바람직하다.

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법을 실행시키기 위하여 매체에 저장된 것이다.

본 발명에 따르면 CCTV 영상으로부터 이상모션 객체, 즉 다른 객체들과는 다른 특이한 행동을 나타내는 객체를 컴퓨터 소프트웨어 처리를 통해 구분 식별할 수 있어 영상관제 시스템의 운영 효율을 높일 수 있고 이를 통해 범죄예방과 사후증거 확보를 효과적으로 달성할 수 있는 장점이 있다.

특히, 본 발명에 따르면 디코딩, 다운스케일 리사이징, 차영상 획득, 영상 분석 등과 같은 복잡한 프로세싱이 필요없으므로 종래기술 대비 1/10 정도의 연산량으로 압축영상에서 이상모션 객체를 식별할 수 있어 영상분석 서버의 수용 채널수를 대략 10배 이상 증가시킬 수 있는 장점이 있다.

또한, 본 발명에 따르면 다양한 촬영환경에서 얻어지는 대량의 압축영상을 소프트웨어 처리하여 대규모의 훈련 데이터세트를 구성할 수 있고 이들을 이용하여 신경망을 학습시키는 것이 가능하므로 이상모션 객체 식별 결과의 신뢰성을 단시간에 크게 높일 수 있는 장점이 있다.

[도 1]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
[도 2]는 종래기술에서 CCTV 영상으로부터 이상모션 객체를 식별하는 과정을 나타내는 순서도.
[도 3]은 본 발명에 따라 압축영상으로부터 이상모션 객체를 식별하는 전체 프로세스를 나타내는 순서도.
[도 4]는 본 발명에서 노이즈 벡터를 제거하는 일 예를 나타내는 도면.
[도 5]는 본 발명에서 프레임 진행에 따른 모션벡터의 일 예를 나타내는 도면.
[도 6]은 본 발명에서 벡터 궤적을 생성하는 과정을 나타내는 순서도.
[도 7]은 본 발명에서 영상블록 하나에 대한 벡터 궤적을 개념적으로 나타내는 도면.
[도 8]은 본 발명에서 모션벡터 궤적 기반으로 이동객체 영역을 추출하는 일 예를 나타내는 도면.
[도 9]는 본 발명에서 프레임 진행에 따른 영상블록 및 이동객체 영역을 표시한 일 예를 나타내는 도면.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

[도 3]은 본 발명에 따라 압축영상에서 이상모션 객체를 식별해내는 전체 프로세스를 나타내는 순서도이다. 이러한 이상모션 객체 식별 프로세스는 대규모의 압축영상을 다루는 시스템, 예컨대 CCTV 영상관제 시스템 또는 CCTV 영상분석 시스템에서 영상분석 서버가 수행할 수 있다.

이상모션 객체 식별를 수행하려면 먼저 압축영상으로부터 객체를 구분해내야 한다. 종래기술에서는 이를 위해 디코딩, 다운스케일 리사이징, 영상 분석을 수행하였는데, 그로 인해 프로세싱 부담이 매우 높았다. 본 발명에서는 압축영상의 비트스트림을 파싱하여 영상블록의 신택스 정보(syntax information)를 얻고 이를 활용하여 이동객체 영역을 추출한다. 영상블록으로는 매크로블록(MacroBlock) 및 서브블록(SubBlock) 등의 어느 하나 혹은 이들의 조합을 채택할 수 있고, 신택스 정보로는 모션벡터(Motion Vector)와 코딩 유형(Coding Type)이 바람직하다. 이렇게 얻어진 이동객체 영역은 [도 8]에서 확인되는 바와 같이 영상 내에 존재하는 이동객체의 경계선을 정밀하게 반영하지는 못하지만 처리속도가 빠르면서도 객체 추출의 신뢰도가 높은 장점이 있다.

다만, 본 발명은 영상에서 객체를 인식하는 것이 아니라 이동객체로 추정되는 이미지의 덩어리를 추출하는 방식이라는 점에서 종래기술과는 개념상 차이가 있다. 영상 분석을 하지 않았기에 영상의 내용에 대해서는 구체적인 정보가 없는 상태에서 이동객체를 추출하고 이들 중에서 평범하게 움직이는 객체와 이상하게 움직이는 객체를 구분 식별해야 하는 것이다.

한편, 본 발명에 따르면 압축영상을 디코딩하지 않고도 이동객체 영역을 추출해내고 이상모션 객체를 식별할 수 있다. 하지만, 본 발명이 적용된 장치 또는 소프트웨어라면 압축영상을 디코딩하는 동작을 수행하지 않아야 하는 것으로 본 발명의 범위가 한정되는 것은 아니다.

이하, [도 3]을 참조하여 본 발명에 따라 압축영상에서 이상모션 객체를 식별하는 과정을 살펴본다.

단계 (S100) : 먼저, 압축영상의 비트스트림을 파싱하여 다수의 영상블록에 대하여 모션벡터와 코딩 유형을 획득한다. 이때, 압축영상은 단일 채널에서 나오는 압축영상인 것으로 가정한다. 본 발명은 모션벡터의 궤적 및 패턴에 기반하여 이동객체 영역을 추출하고 이상모션도 식별하기 때문에 복수의 채널에서 나오는 압축영상에는 적용하기 곤란하기 때문이다. 예를 들어, 상이한 장소를 촬영한 CCTV 영상들 간에 모션벡터의 궤적을 얻고 패턴을 비교하는 것은 무의미하다. 동일한 장소를 촬영한 CCTV 영상에서는 객체들(예: 사람, 자동차)이 유사한 움직임을 보이기 때문에 모션벡터를 분석하는 것이 유의미하다.

일정 시간(예: 5분 분량)의 압축영상을 파싱하면 압축영상을 구성하는 다수의 영상블록(예: 매크로블록, 서브블록)과 관련하여 다수의 모션벡터와 코딩 유형 정보를 획득할 수 있다. [도 1]에서 전술한 바와 같이 동영상 디코딩 장치는 압축영상의 비트스트림에 대해 동영상압축 표준(예: H.264 AVC, H.265 HEVC)에 따라 구문분석과 모션벡터 연산을 수행하는데, 이를 통하여 압축영상의 영상블록에 대하여 모션벡터와 코딩 유형을 파싱해낸다. 이때, 영상블록에서 신택스 정보에 대한 코딩 유닛의 사이즈는 일반적으로 64x64 픽셀 내지 4x4 픽셀 정도이며 설계자의 선택에 따라 다양하게 설정될 수 있다.

단계 (S200) : 앞서 (S100)에서 획득한 다수의 모션벡터들 중에서 일련의 프레임 진행에 대해 불일치하는 모션벡터를 제거한다. 즉, 영상블록에 대해 얻어진 모션벡터들의 크기와 방향을 이용하여 시간적 순서에 일치하지 않는 모션벡터들은 노이즈로 취급하여 제거하는 것이다. [도 4]에 본 발명에서 영상으로부터 노이즈로 보이는 모션벡터를 제거한 일 예를 나타내었다.

압축영상에서 프레임 한장은 매우 짧은 시간, 예컨대 0.03초에 대응한다. 따라서 현실 세계에서 사람, 자동차, 동물 등을 촬영한 영상(예: CCTV 영상)이라면 특히 그 영상에서 유의미한 정보를 얻을 수 있는 대상에 관한 것이라면 그 속성상 이동객체가 프레임 몇장에서만 나타나기는 곤란하고 상당한 갯수의 프레임에 걸쳐서 나타날 것으로 예상한다.

또한, 실체를 갖는 객체(substantial physical identity)라면 프레임 진행에 따라 그 움직임에 방향성이 있어야 한다. 예를 들어, 사람이나 자동차는 0.03초 단위로 이동 방향을 바꾸지 못하며 상당한 시간동안 이동 방향을 유지한다. 따라서, 일련의 프레임에 있어서 모션벡터 연속성을 판정하여 시간 흐름에 따른 일정한 방향성이 없는 것들은 노이즈로 간주하여 제거한다. 이는 영상압축 과정에서 삽입된 노이즈 데이터일 수도 있지만 흔들리는 나뭇잎, CCTV 카메라의 진동으로 인한 촬영 영상의 흔들림, 잠시 나타나는 고스트, 빛의 난반사에 의해 영상에 생기는 얼룩 등과 같이 영상 내에 존재하기는 하지만 실질적으로는 그다지 관심을 가질 필요가 없는 객체일 수도 있다.

본 발명에서 모션벡터의 노이즈를 제거하는 방식은 다양하게 구현될 수 있다. 예를 들어, 모션벡터들 중에서 모션벡터의 크기 성분과 방향 성분에 기초하여 프레임 진행에 따른 연결성이 결여된 모션벡터를 제거할 수 있다. 앞뒤 프레임과 연결되지 않는 모션벡터이므로 명확히 노이즈에 해당한다. 또한, 모션벡터들 중에서 프레임 진행에 따른 연결 길이가 미리 설정된 임계길이 이하인 모션벡터를 제거할 수 있다. 매우 짧은 시간동안(예: 0.1초) 나타났다가 사라지는 부분이므로 자세하게 관찰할 가치가 없는 대상이다. 또한, 모션벡터들 중에서 프레임 진행에 따라 연결된 모션벡터들 간의 방향성을 결여하는 모션벡터를 제거할 수 있다. 움직임에 있어서 유의미한 방향성이 없기 때문이다.

단계 (S300) : 다음으로, 일련의 프레임 진행에 따라 상호 연결되는 모션벡터를 조합하여 영상블록 단위로 벡터 궤적을 생성한다. 압축영상 내에 유의미한 객체가 있다면 그 객체는 시간이 경과함에 따라 영상 내에서 어떠한 움직임을 나타내게 된다. 그 움직임은 너무 빠르거나 불연속적이지 않고 일상 속에서 흔히 경험하는 대로 평범하고 익숙한 형태일 것이다.

압축영상에서 객체는 다수 영상블록의 덩어리로 표현되므로, 그 객체를 구성하는 각각의 영상블록도 이와 동일한 움직임 형태를 나타낼 것이다. 이에, 시간 흐름에 대응하여 압축영상의 프레임이 하나씩 진행하면 이동객체에서 영상블록 크기의 각 부분은 인접한 프레임 상에서 위치를 조금씩 이동해나가는데, 그러한 이동 양태는 해당 부분의 모션벡터와 정확히 대응된다.

[도 5]는 본 발명에서 프레임 진행에 따른 모션벡터의 일 예를 나타내는 도면이다. 모션벡터는 근본적으로는 영상에 담긴 개별 사물이 시간이 경과함에 따라 영상 내에서 보이는 움직임에 맞게 영상 인코더가 생성하여 압축영상의 데이터에 삽입하는 정보이다. 따라서, 시간을 고정시켜 하나의 프레임을 본다면 다수의 모션벡터들이 어지럽게 나타나지만, 시간을 진행시키면 동일 사물의 동일 부분에 관련되는 모션벡터가 일련의 프레임에 걸쳐 해당 사물의 움직임에 대응하여 서로 연결되어 나타나게 된다.

이처럼 영상블록 크기의 각 부분이 시간 흐름에 따라 이동하면서 상호 연결하는 모션벡터들을 조합하여 벡터 궤적을 생성한다. 벡터 궤적은 영상블록 단위로 시간 흐름에 대응하여 형성되는 개념인데, 본 발명에서 벡터 궤적을 생성하는 개념은 [도 6] 및 [도 7]을 참조하여 자세하게 후술한다.

단계 (S400) : 이상의 과정에서 압축영상으로부터 생성된 다수의 벡터 궤적을 대비하여 상호 매칭되는 벡터 궤적을 갖는 영상블록들의 덩어리를 압축영상에 대한 이동객체 영역으로 설정한다.

위의 (S300)에서 압축영상으로부터 영상블록 단위로 벡터 궤적을 획득하였다. 예를 들어, 5분 정도 분량의 CCTV 영상에 2개의 객체가 이동하는 모습이 찍혀 있고 이들이 각각 12개 영상블록과 5개 영상블록 정도의 크기라면 그 압축영상에서는 총 17개의 벡터 궤적이 생성된다.

이들 벡터 궤적을 비교하여 상호 매칭되는 벡터 궤적들을 다발로 묶고 이들 벡터 궤적에 관련된 영상블록들의 덩어리를 하나의 객체(object)로 추정하여 이동객체 영역으로 설정한다. 예를 들어, 각 프레임에서 벡터 궤적 간의 거리를 계산하고 이들을 전체 프레임으로 합산한 값이 미리 설정한 임계치 이내인 벡터 궤적은 상호 매칭된다고 판단할 수 있다. 또는, 그룹핑(grouping) 기법을 이용하여 서로 다발로 묶일 벡터 궤적을 선별할 수도 있다.

위의 예에서 총 17개의 벡터 궤적 상호간에 거리를 계산하여 비교하면 12개의 벡터 궤적과 7개의 벡터 궤적이 다발로 묶일 수 있을 것이다. 이들 다발로 묶이는 벡터 궤적에 관련된 영상블록들은 압축영상에서 동일하거나 적어도 매우 유사한 형태로 함께 움직히고 있다. 그에 따라, 본 발명에서는 이들 영상블록의 덩어리가 객체에 해당될 것이라 추정하고 이동객체 영역으로 설정한다.

[도 8]은 본 발명에서 모션벡터 궤적 기반으로 이동객체 영역을 추출하는 일 예를 나타내는 도면이다. [도 8]을 참조하면, (a)와 (b)에서 프레임이 진행됨에 따라 CCTV 영상 내의 사물이 이동하며 그에 따라 각각의 프레임에서는 영상블록 단위로 모션벡터가 발생하게 되고 시간 흐름에 따라 이들 모션벡터를 연결하면 CCTV 영상에서 다수의 벡터 궤적이 형성된다. [도 8]에 나타낸 CCTV 영상에서는 대략 80개의 벡터 궤적이 도출되었을 것으로 추산된다.

이들 다수의 벡터 궤적에 대하여 상호 매칭되는 벡터 궤적을 갖는 영상블록들의 덩어리를 묶으면 [도 8]과 같이 3개의 이동객체 영역을 추출할 수 있다. 이들은 CCTV 영상의 일련의 프레임에 걸쳐서 지속적으로 근접한 위치에 존재하고 매우 유사한 궤적을 나타내었기에 이동객체 영역으로 묶인 것이다.

한편, 소프트웨어 처리를 위하여 이들 이동객체 영역에는 고유한 객체 식별정보(Object ID)를 할당하여 관리하는 것이 바람직하다. [도 8]을 참조하면 CCTV 영상으로부터 3개의 이동객체 영역이 검출되었으며 이들에 대해서는 각각 001, 002, 003의 Object ID가 할당되었다.

이후의 단계에서는 개별 영상블록 단위가 아니라 이동객체 영역 단위로 데이터 처리를 수행하게 된다.

단계 (S500) : 다음으로, 이동객체 영역의 벡터 궤적 중 하나이상을 이동객체 벡터 패턴으로 설정한다. 이동객체 영역에는 서로 매우 유사한 궤적을 보이는 다수의 벡터 궤적이 연관되어 있는데, 이동객체 영역 별로 대표 벡터 궤적을 하나 혹은 몇개 선정할 수도 있고, 해당 이동객체 영역에 관련된 다수 벡터 궤적의 다발을 이동객체 벡터 패턴으로 설정할 수도 있다. 하나의 이동객체 영역에 속하는 벡터 궤적은 매우 유사하기 때문에, 이들을 모두 핸들링하는 것은 데이터 처리만 복잡해질 뿐 특별히 유리할 것은 없다. 이동객체 영역 별로 하나의 벡터 궤적을 대표로 선정하여 이동객체 벡터 패턴으로 설정하는 것이 바람직하다.

단계 (S600) : 다음으로, 압축영상과 관련하여 획득된 다수의 이동객체 벡터 패턴을 통계 분석하여 그 발생 빈도에 따라 정상 패턴 또는 이상 패턴으로 분류하고 이들을 취합하여 신경망 학습을 위한 훈련 데이터세트를 구성한다.

단일 채널에서 얻어지는 압축영상, 예컨대 특정 지점을 고정 촬영하여 얻은 CCTV 영상에는 다수의 사물(예: 사람, 자동차 등)이 찍혀 있는데, 그 장소의 구조 및 이용형태는 항상 일정하므로 이들 사물의 행동 형태는 몇가지 이내에서 반복적으로 나타나기 마련이다. 따라서, 개념적으로는 다수 사물들의 움직임을 관찰하여 다수의 사물들이 일반적으로 나타내는 패턴을 한가지 혹은 몇가지로 획득한 후에 이들과 매칭되는 이동객체 벡터 패턴을 정상 패턴이라고 구분하고 이들과 매칭되지 않는 특이한 움직임을 이상 패턴으로 구분한다.

예를 들면, 길을 촬영하는 CCTV 카메라가 생성한 영상이라면, 영상 내의 특정 방향(즉, 길이 형성된 방향)을 따라 통상의 속도로 걸어가는 행동은 발생 빈도가 높을 것이기에 정상 패턴으로 구분하고, 그 특정 방향과 직교하는 방향으로 뛰어가거나 길 중간에서 갑자기 멈추는 행동은 전체 영상에서 발생 빈도가 낮을 것이기에 이상 패턴으로 구분한다.

전술한 바와 같이 본 발명은 영상 분석을 하지 않았기에 영상의 내용에 대해서는 구체적인 정보가 없는 상태이다. 즉, 정상 패턴과 이상 패턴을 판별할 때에 시스템에 보여지는 화면은 [도 8]이 아니라 [도 9]이다. 영상 내용은 전혀 볼 수 없고 무언가 유의미한 움직임이 있는 영상블록의 위치 및 이들의 프레임 진행에 따른 움직임만 알 수 있을 뿐이다. 이러한 조건에서 정상 패턴과 이상 패턴을 판별하기 위하여, 본 발명에서는 다수의 이동객체 벡터 패턴을 통계 분석하여 그 발생 빈도에 따라 정상 패턴 또는 이상 패턴으로 분류한다.

바람직하게는 다수의 이동객체 벡터 패턴을 통계 분석하여 그 발생 빈도가 미리 설정된 상위임계치 이상이면 정상 패턴으로 분류하고 미리 설정된 하위임계치 이하이면 이상 패턴으로 분류한다. 이렇게 분류된 정상 패턴의 이동객체 벡터 패턴 및 이상 패턴의 이동객체 벡터 패턴을 각각 취합하여 신경망 학습을 위한 훈련 데이터세트를 구성한다.

이때, 신경망 학습을 위한 훈련 데이터세트를 만드는 과정에서는 명확한 것들만 취하고 애매한 것들은 버리도록 구성될 수 있다. 이를 위해서는 상위임계치와 하위임계치의 갭(gap)을 크게 설정할 수 있다. 예를 들어, 상위임계치는 30 %로 설정하고 하위임계치는 5 %로 설정할 수 있다. 반대로, 신경망의 이상 패턴 판별 범위를 넓히기 위해 상위임계치와 하위임계치의 갭을 상대적으로 작게 설정하거나 아예 동일하게 설정할 수도 있다.

이처럼 본 발명은 압축영상을 사람의 개입없이 자소프트웨어 처리를 통해 신경망의 훈련 데이터세트를 구성할 수 있다. 따라서 다양한 촬영환경에서 얻어지는 대량의 압축영상, 예컨대 전국의 1만개 지점에 설치된 CCTV 카메라가 생성한 각각 일년치의 압축영상으로부터 대규모의 훈련 데이터세트를 구성할 수 있고 이들을 이용하여 단시간에 신경망을 고도로 학습시키는 것이 가능하다. 이를 통해, 이들 1만개 지점에 각각 적합한 1만개의 신경망 학습 결과를 얻을 수 있고, 이를 통해 이상모션 객체 식별 결과의 신뢰성을 높일 수 있다.

단계 (S700, S800) : 신경망 학습 모드에서, 위에서 획득된 훈련 데이터세트를 이용하여 신경망에 대한 머신러닝을 수행한다. 신경망 이론에 따르면, 이러한 머신러닝을 통하여 해당 신경망은 해당 채널에서 얻어지는 이동객체 벡터 패턴에 대하여 정상 패턴과 이상 패턴을 판별하는 성질을 갖추게 된다.

이처럼 신경망에 대한 학습을 수행한 이후에 해당 신경망을 이용하여 이상모션 객체를 식별하게 된다.

즉, 신경망 적용 모드에서, (S500)에서 획득한 이동객체 영역의 이동객체 벡터 패턴을 신경망에 입력하여 신경망 연산 결과에 따라 그 이동객체 벡터 패턴이 정상 패턴인지 아니면 이상 패턴인지 판별하고, 만일 이상 패턴이라고 출력되면 해당 이동객체 영역을 이상모션 객체라고 식별한다.

일 구현예로서 이와 같은 이상모션 객체의 식별 결과는 영상관제 장치로 제공될 수 있다. 영상관제 장치는 관제 화면에서 이상모션 객체의 이동객체 영역을 관제요원에게 두드러진 모습으로 디스플레이 표시한다.

[도 6]은 본 발명에서 압축영상에 대해 벡터 궤적을 생성하는 과정을 나타내는 순서도이고, [도 7]은 본 발명에서 영상블록 하나에 대한 벡터 궤적을 개념적으로 나타내는 도면이다.

[도 6]의 프로세스는 [도 3]에서 단계 (S300)에 대응한다. 즉, 일련의 프레임 진행에 따라 상호 연결되는 모션벡터를 조합하여 영상블록 단위로 벡터 궤적을 생성하는 과정이다. 객체의 각 부분이 시간 흐름에 따라 이동하면서 상호 연결하는 모션벡터들을 조합하여 벡터 궤적을 생성한다. [도 6]은 벡터 궤적을 생성하는 구체적인 과정을 제시하는데, 이때 벡터 궤적의 시작점 탐색을 위해 코딩 유형 정보를 활용한다. 구체적인 내용은 후술한다.

단계 (S310, S320) : 압축영상에서 인트라 코딩(Intra coding)의 코딩 유형을 갖는 영상블록(이하, 'I-영상블록'이라 함)을 탐색하고, 그 탐색된 I-영상블록을 벡터 궤적의 시작점으로 설정한다. [도 7]을 참조하면, (t+0 프레임)에서 I-영상블록을 발견하고 이를 벡터 궤적의 시작점으로 설정한다.

개념적으로 기술하면 벡터 궤적은 시간 경과에 따른 모션벡터의 흐름을 찾아가려는 것이다. 영상에서 물체가 새로 나타나면 이전 프레임에 없는 그림이 새롭게 등장하는 것이므로 인코더에서는 이 부분을 인트라 코딩(Intra coding)하고 그 이후의 프레임에서는 이 인트라 코딩된 영상블록을 활용하여 순차적으로 예측 코딩(Predictive coding)을 수행하는 현상이 일반적으로 나타난다. 결국, 새로 등장하는 이동객체에 대해서는 인트라코딩된 영상블록을 선두로 일련의 예측 코딩된 영상블록이 이어지는 형태가 구성되는 것이다.

이에, 압축영상에서 인트라 코딩된 영상블록을 탐색하고 이를 벡터 궤적의 시작점으로 설정한다. 본 명세서에서는 인트라 코딩된 영상블록을 편이상 'I-영상블록'이라 표기한다. 마찬가지로, 예측 코딩된 영상블록을 편이상 'P-영상블록'이라 표기한다.

단계 (S330) : 다음으로, 후속 프레임에서 I-영상블록의 모션벡터에 대응하는 위치에 예측 코딩(Predictive coding)의 코딩 유형을 갖는 영상블록(이하, 'P-영상블록'이라 함)을 탐색한다. 앞서 (S310)에서 탐색되었던 I-영상블록의 객체가 이동하는 사물이었다면 I-영상블록에 대해 모션벡터가 인코딩 삽입되었을 것이고, 다음 프레임에서는 그 모션벡터만큼 이동한 위치에 앞서의 I-영상블록의 사물이 존재하게 된다. 이 부분은 I-영상블록을 기준으로 예측 코딩하였을 것이므로 이러한 조건을 만족하는 첫번째 P-영상블록을 탐색한다. [도 7]을 참조하면, (t+1 프레임)에서 발견한 P-영상블록이 첫번째 P-영상블록이며, 이는 벡터 궤적의 두번째 모션벡터에 대응한다.

단계 (S340 ~ S360) : 이어지는 일련의 후속 프레임을 진행하면서 기 탐색된 P-영상블록의 모션벡터에 대응하는 위치에 다음의 P-영상블록을 탐색하는 과정을 그 탐색이 실패할 때까지 반복한다. 이를 통해, I-영상블록을 뒤따르는 일련의 P-영상블록의 시퀀스가 형성된다. [도 7]을 참조하면, (t+2 프레임) 내지 (t+4 프레임)에서 일련의 P-영상블록이 발견되는데, 이들에 대응되는 각각의 모션벡터가 벡터 궤적에 순서대로 포함된다.

단계 (S370) : 위 시작점인 I-영상블록의 모션벡터 및 위 탐색된 복수의 P-영상블록의 모션벡터를 그 탐색된 순서대로 조합함으로써 해당 영상블록에 대한 벡터 궤적을 생성한다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (4)

1. 압축영상의 비트스트림을 파싱하여 다수의 영상블록에 대하여 모션벡터와 코딩 유형을 획득하는 제 1 단계;
   상기 모션벡터들 중에서 일련의 프레임 진행에 대해 불일치하는 모션벡터를 제거하는 제 2 단계;
   일련의 프레임 진행에 따라 상호 연결되는 모션벡터를 조합하여 영상블록 단위로 벡터 궤적을 생성하는 제 3 단계;
   상기 압축영상에서 생성된 다수의 벡터 궤적을 대비하여 상호 매칭되는 벡터 궤적을 갖는 영상블록들의 덩어리를 상기 압축영상에 대한 이동객체 영역으로 설정하는 제 4 단계;
   상기 이동객체 영역의 벡터 궤적 중 하나이상을 이동객체 벡터 패턴으로 설정하는 제 5 단계;
   상기 압축영상과 관련하여 획득된 다수의 이동객체 벡터 패턴을 통계 분석하여 그 발생 빈도가 미리 설정된 상위임계치 이상이면 정상 패턴으로 분류하고 미리 설정된 하위임계치 이하이면 이상 패턴으로 분류하여 신경망 학습을 위한 훈련 데이터세트를 구성하는 제 6 단계;
   신경망 학습 모드에서, 상기 훈련 데이터세트를 이용하여 신경망에 대한 머신러닝을 수행하는 제 7 단계;
   신경망 적용 모드에서, 상기 이동객체 영역의 이동객체 벡터 패턴을 상기 신경망에 입력하여 신경망 연산 결과에 따라 상기 이동객체 영역의 이상모션 객체 여부를 식별하는 제 8 단계;
   를 포함하여 구성되는 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법.
   
2. 청구항 1에 있어서,
   상기 제 3 단계는,
   압축영상에서 인트라 코딩(Intra coding)의 코딩 유형을 갖는 영상블록(이하, 'I-영상블록'이라 함)을 탐색하는 단계;
   상기 탐색된 I-영상블록을 벡터 궤적의 시작점으로 설정하는 단계;
   후속 프레임에서 상기 I-영상블록의 모션벡터에 대응하는 위치에 예측 코딩(Predictive coding)의 코딩 유형을 갖는 영상블록(이하, 'P-영상블록'이라 함)을 탐색하는 단계;
   이어지는 일련의 후속 프레임을 진행하면서 기 탐색된 P-영상블록의 모션벡터에 대응하는 위치에 다음의 P-영상블록을 탐색하는 과정을 탐색 실패할 때까지 반복하는 단계;
   상기 시작점인 I-영상블록의 모션벡터 및 상기 탐색된 복수의 P-영상블록의 모션벡터를 조합하여 벡터 궤적을 생성하는 단계;
   를 포함하여 구성되는 것을 특징으로 하는 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법.
   
3. 청구항 2에 있어서,
   상기 제 2 단계는,
   상기 모션벡터들 중에서 모션벡터의 크기 성분과 방향 성분에 기초하여 프레임 진행에 따른 연결성이 결여된 모션벡터를 제거하는 단계;
   상기 모션벡터들 중에서 프레임 진행에 따른 연결 길이가 미리 설정된 임계길이 이하인 모션벡터를 제거하는 단계;
   상기 모션벡터들 중에서 프레임 진행에 따라 연결된 모션벡터들 간의 방향성을 결여하는 모션벡터를 제거하는 단계;
   를 포함하여 구성되는 것을 특징으로 하는 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법.
   
4. 하드웨어와 결합되어 청구항 1 내지 3 중 어느 하나의 항에 따른 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.

Images