KR102211448B1 - 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법 - Google Patents

Abstract

본 발명은 일반적으로 다채널 압축영상 표시를 효율적으로 제공하기 위한 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 예컨대 CCTV 관제센터와 같이 다수의 채널로부터 압축영상이 집중 전달되는 환경에서 영상 모니터링의 필요성이 높다고 선별된 일부 채널에 대해서만 압축영상을 디코딩하여 재생 화면을 출력하는 반면, 나머지 비선별 채널에 대해서는 디코딩 재생하지는 않고 데이터 파싱을 통해 얻은 움직임 벡터를 화면에 색상 시각화 표시하는 구성을 채택함에 따라 다채널 압축영상을 모두 디코딩 재생하는 종래의 방식에 비하여 영상처리 장치가 다룰 수 있는 영상 채널의 수를 증가시킬 수 있는 기술에 관한 것이다. 본 발명에 따르면 다수의 채널로부터 압축영상이 집중 전달되는 환경에서 영상처리 장치가 다룰 수 있는 영상 채널의 수를 종래기술에 비해 획기적으로 증가시킬 수 있는 장점이 있다.

Description

움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법 {method of providing multi-channel video display based on visual presentation of motion vectors of the same}

본 발명은 일반적으로 다채널 압축영상 표시를 효율적으로 제공하기 위한 기술에 관한 것이다.

더욱 상세하게는, 본 발명은 예컨대 CCTV 관제센터와 같이 다수의 채널로부터 압축영상이 집중 전달되는 환경에서 영상 모니터링의 필요성이 높다고 선별된 일부 채널에 대해서만 압축영상을 디코딩하여 재생 화면을 출력하는 반면, 나머지 비선별 채널에 대해서는 디코딩 재생하지는 않고 데이터 파싱을 통해 얻은 움직임 벡터를 화면에 색상 시각화 표시하는 구성을 채택함에 따라 다채널 압축영상을 모두 디코딩 재생하는 종래의 방식에 비하여 영상처리 장치가 다룰 수 있는 영상 채널의 수를 증가시킬 수 있는 기술에 관한 것이다.

최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 지역별로 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제요원이 발견하게 되면 그 즉시 적절하게 대처하는 한편, 필요에 따라서는 사후증거 확보를 위해 스토리지에 저장되어 있는 영상을 검색한다.

그런데, CCTV 카메라의 설치 현황에 비해 관제요원의 인원 수는 매우 부족한 것이 현실이다. 이처럼 제한된 인원으로 영상 감시를 효과적으로 수행하려면 CCTV 영상을 모니터 화면에 단순 표시하는 것만으로는 충분하지 않다. 각각의 CCTV 영상에 존재하는 객체의 움직임을 감지하여 실시간으로 해당 영역에 무언가 추가 표시함으로써 효과적으로 발견되도록 처리하는 것이 바람직하다. 이러한 경우에 관제요원은 CCTV 영상 전체를 균일한 관심도를 가지고 지켜보는 것이 아니라 객체 움직임이 있는 부분을 중심으로 CCTV 영상을 감시하면 된다.

한편, 영상관제 시스템에서는 스토리지 공간의 효율을 위해 압축영상을 채택하고 있다. 특히 최근에는 CCTV 카메라의 설치 대수가 급속하게 증가하고 고화질 카메라가 주로 설치됨에 따라 H.264 AVC 및 H.265 HEVC 등과 같은 고압축율의 복잡한 영상압축 기술이 채택되고 있다.

동영상 데이터를 생성하는 카메라 장치에서는 이들 기술규격 중 어느 하나에 따라 압축영상을 생성하여 제공하며, 동영상을 재생하는 장치에서는 이러한 압축영상을 전달받으면 그 압축영상을 인코딩할 때 적용했던 기술규격에 따라 역으로 디코딩을 수행한다. 영상압축 기술이 적용된 CCTV 영상에서 객체 움직임 유무를 판단하려면 종래에는 압축영상을 디코딩하여 재생영상, 즉 압축이 풀린 원래 영상을 얻은 후에 이미지 처리하는 과정이 필요하였다.

[도 1]은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. [도 1]을 참조하면, H.264 AVC에 따른 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 움직임 벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다.

이들 하드웨어 모듈이 압축영상의 데이터를 순차적으로 처리함으로써 동영상에 대해 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 영상처리 단계의 비교적 앞단에 위치하는 구문분석기(11)는 압축영상의 코딩 유닛(영상 블록)에 대해 신택스 정보, 예컨대 움직임 벡터를 파싱한다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상 블록인데, 기술규격에 따라서 다양하게 정의될 수 있다.

종래기술에서는 CCTV 관제영상으로부터 관제요원에게 무언가 정보를 제공하려면 일단 압축영상을 디코딩하여 원래의 영상을 구한 후에 추가로 다운스케일 리사이징과 영상 분석을 수행하였다. 이들은 복잡도가 매우 높은 프로세스이고, 그로 인해 종래의 영상관제 시스템에서는 한 대의 영상분석 서버가 동시 처리할 수 있는 용량이 상당히 제한되어 있다. 현재 고성능의 영상분석 서버가 커버할 수 있는 최대 CCTV 채널은 통상 최대 16 채널이다. CCTV 관제센터에는 적게는 수백 대에서 많게는 수만 대의 CCTV 카메라로부터 촬영영상이 전달된다. 이렇게 다수의 채널로부터 전달되는 압축영상들을 모자이크 방식으로 화면에 표시하려면 영상분석 서버가 엄청나게 많이 필요하였고, 이는 비용 증가와 물리적 공간 확보의 어려움이라는 문제점을 유발하였다.

본 발명의 목적은 일반적으로 다채널 압축영상 표시를 효율적으로 제공하기 위한 기술을 제공하는 것이다.

특히, 본 발명의 목적은 예컨대 CCTV 관제센터와 같이 다수의 채널로부터 압축영상이 집중 전달되는 환경에서 영상 모니터링의 필요성이 높다고 선별된 일부 채널에 대해서만 압축영상을 디코딩하여 재생 화면을 출력하는 반면, 나머지 비선별 채널에 대해서는 디코딩 재생하지는 않고 데이터 파싱을 통해 얻은 움직임 벡터를 화면에 색상 시각화 표시하는 구성을 채택함에 따라 다채널 압축영상을 모두 디코딩 재생하는 종래의 방식에 비하여 영상처리 장치가 다룰 수 있는 영상 채널의 수를 증가시킬 수 있는 기술을 제공하는 것이다.

상기의 목적을 달성하기 위하여 본 발명은 영상처리 장치가 네트워크를 통해 다수의 채널로부터 다수의 압축영상을 수신하여 다채널 압축영상을 표시 처리하는 방법으로서, 다수의 채널로부터 수신되는 압축영상을 파싱하여 각각의 압축영상으로부터 영상 블록 별로 움직임 벡터를 획득하는 제 1 단계; 다수의 채널 중에서 모니터링 필요성이 높은 일부 채널을 선별하는 제 2 단계; 그 선별된 일부 채널에 대한 압축영상을 각각 디코딩 재생하여 제 1 표시 그룹을 생성하는 제 3 단계; 다수의 채널 중 나머지 비선별 채널로부터 수신되는 압축영상 각각으로부터 그 획득한 움직임 벡터를 미리 설정된 색상환에 매핑하여 움직임 벡터별로 매핑 색상을 얻어 해당 움직임 벡터가 귀속하는 영상 블록에 대해 설정함으로써 나머지 비선별 채널에 대하여 움직임 벡터를 시각화 처리한 제 2 표시 그룹을 생성하는 제 4 단계; 미리 설정된 레이아웃에 따라 제 1 표시 그룹과 제 2 표시 그룹을 디스플레이 표시하는 제 5 단계;를 포함하여 구성된다.

본 발명에서 제 4 단계는, 다수의 채널 중 나머지 비선별 채널에 대하여 시각화 처리 대상인 복수의 압축영상을 식별하는 제 41 단계; 시각화 처리 대상인 복수의 압축영상 각각에 대하여 해당 압축영상에서 도출되는 움직임 벡터를 색상으로 매핑하여 영상 블록 단위로 시각화 처리하는 제 42 단계; 시각화 처리 대상인 복수의 압축영상에 대한 시각화 처리 결과를 수집하여 제 2 표시 그룹을 생성하는 제 43 단계;를 포함하여 구성된다.

이때, 제 42 단계는, 해당 압축영상으로부터 획득된 움직임 벡터를 식별하는 제 421 단계; 미리 설정된 색상환에 그 식별된 움직임 벡터에 대한 크기 성분과 방향 성분을 매핑하여 움직임 벡터 별로 매핑 색상을 획득하는 제 422 단계; 그 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는 제 423 단계; 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는 제 424 단계;를 포함하여 구성될 수 있다. 또한, 제 42 단계는, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하는 단계; 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 단계;를 더 포함하여 구성될 수 있다.

이때, 제 422 단계는, 움직임 벡터에 대해 크기 성분과 방향 성분을 식별하는 단계; 미리 설정된 색상환의 중심으로부터 방향 성분 및 크기 성분에 기초하여 벡터 화살표를 오버레이하는 단계; 색상환에서 벡터 화살표의 종점 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 단계;를 포함하여 구성될 수 있다.

본 발명에서 제 2 단계는 다수의 채널로부터 수신되는 압축영상 각각으로부터 획득된 움직임 벡터에 기초하여 다수의 채널 중에서 모니터링 필요성이 높은 일부 채널을 선별하도록 구성될 수 있다.

또한 본 발명에서 색상환은 상호 근접하면 상호 유사한 색상을 나타내고 색상환 중심에서 반대 방향이면 상호 보색 관계로 대응하도록 설정되는 것이 바람직하다.

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법을 실행시키기 위하여 매체에 저장된 것이다.

본 발명에 따르면 다수의 채널로부터 압축영상이 집중 전달되는 환경에서 영상처리 장치가 다룰 수 있는 영상 채널의 수를 종래기술에 비해 획기적으로 증가시킬 수 있는 장점이 있다.

다수의 채널 중에서 영상 모니터링의 필요성이 높은 채널과 그렇지 않은 채널을 구분하여 전자에 해당하는 채널에 대해서만 압축영상을 디코딩하여 재생 화면을 출력하고 나머지 채널에 대해서는 움직임 벡터를 색상으로 표시하여 개략적으로만 표시하는 구성을 채택함으로써 영상처리 장치의 프로세싱 부담을 경감시킬 수 있기 때문에 이러한 장점이 얻어진다.

이때, 영상 모니터링의 필요성 판단도 움직임 벡터의 검출 정도에 의하도록 구성함으로써 영상 채널의 수를 증가시키더라도 영상처리 장치의 프로세싱 부담은 별로 증가하지 않는다. 이를 통해, 영상처리 장치가 다룰 수 있는 영상 채널의 수를 더욱 증가시킬 수 있다.

[도 1]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
[도 2]는 일반적인 다채널 압축영상 표시의 일 예를 나타내는 도면.
[도 3]은 본 발명에 따른 다채널 압축영상 표시의 일 예를 나타내는 도면.
[도 4]는 본 발명에 따라 움직임 벡터의 시각화 처리 기반으로 다채널 압축영상을 표시하는 전체 프로세스를 나타내는 순서도.
[도 5]는 본 발명에서 채널 하나의 압축영상에 대해 움직임 벡터를 시각화 처리하는 프로세스를 나타내는 순서도.
[도 6]과 [도 7]은 본 발명에서 움직임 벡터를 시각화 처리하는 개념을 나타내는 도면.
[도 8]은 본 발명에서 움직임 벡터를 색상환에 매핑하는 개념을 나타내는 도면.
[도 9]는 본 발명에서 움직임 벡터를 시각화 표시하여 객체 이동 방향을 대비 식별하는 개념을 나타내는 도면.
[도 10]은 본 발명에서 움직임 벡터의 시각화 처리 과정에서 이동객체의 내부 영역을 처리하는 개념을 나타내는 도면.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

[도 2]는 일반적인 다채널 압축영상 표시의 일 예인 4채널 모자이크 영상을 나타내는 도면이고, [도 3]은 본 발명에 따른 다채널 압축영상 표시의 일 예인 16채널 모자이크 영상을 나타내는 도면이다. [도 2]와 [도 3]은 여러 지역에 설치된 CCTV 카메라로부터 전달되는 촬영영상들을 CCTV 관제센터에서 영상처리 장치가 모자이크 형식으로 디스플레이하는 예를 나타낸 것이다. 본 발명은 이처럼 다수의 영상을 제공받아 처리하는 영상처리 장치, 예컨대 네트워크 영상 레코더(Network Video Recorder, NVR)에 적용될 수 있다.

먼저 [도 2]는 종래기술의 영상처리 장치가 4채널 모자이크 영상을 출력하는 예이다. 최근에는 고해상도 CCTV 카메라가 설치되는 추세이기 때문에 영상분석 장치 한 대에서 동시 처리할 수 있는 채널 수가 이처럼 제한된다. 그에 따라, CCTV 관제센터와 같이 수백 대에서 수만 대의 CCTV 카메라로부터 촬영영상을 제공받아 동시 처리하여 관제요원에게 모자이크 영상을 표시해주려면 상당히 많은 수의 영상처리 장치가 필요하게 되는 문제점이 있다.

[도 3]은 본 발명의 기술이 적용된 영상처리 장치가 16채널 모자이크 영상을 출력하는 예이다. [도 2]와 대비하여 [도 3]의 모자이크 영상을 살펴보면 일부 영상(4 채널)만 정상적으로 표시되는 반면 나머지 영상(12 채널)은 검은색 바탕에 약간의 색상 표시만 되어 있다는 점이 특징이다.

이처럼 본 발명에서는 다수의 압축영상에 대해 모니터링 필요성을 평가하고 그 결과에 따라 영상 모니터링의 필요성이 높다고 선별된 일부 채널에 대해서만 압축영상을 디코딩하여 재생 화면을 출력한다. 반면, 나머지 비선별 압축영상에 대해서는 디코딩 재생은 하지 않고 그 촬영된 영상에 존재하는 객체의 움직임을 색상으로 시각화 제공함으로써 관제요원이 상황에 대한 힌트만 받도록 한다. 바람직하게는 관제요원이 컴퓨터를 조작하여 특정의 모자이크 영역을 선택하면 해당 영역의 화면이 정상 재생되도록 변경되고 기존에 정상 재생되던 채널 하나가 색상으로 시각화 표시될 수 있다.

이처럼 비선별 압축영상에 대해 영상 데이터를 디코딩 재생하지 않으면서 객체의 움직임을 색상으로 시각화하기 위한 기술로서 본 발명에서는 움직임 벡터를 활용한다. 일반적으로 움직임 벡터(motion vector)는 압축영상의 디코딩 과정에서 움직임 보상(motion compensation)에 활용하라는 취지로 압축영상의 데이터(compressed video data)에 삽입 전송되는 정보인데, 본 발명에서는 이러한 움직임 벡터를 특수하게 활용하는 것이다.

일 예로 압축영상을 파싱하여 일부 영상 블록에 대해 움직임 벡터를 도출하면 움직임 벡터의 크기 성분과 방향 성분을 색상환에 매핑하고 이를 통해 얻어진 색상을 해당 영상 블록에 오버레이 표시한다. [도 3]에 도시된 예는 이 방법에 의해 획득한 색상 시각화 화면으로, 이동객체가 없는 부분은 검은 색으로 표시하였고 이동객체가 있는 부분, 즉 움직임 벡터가 도출된 영상 블록 부분은 해당 움직임 벡터를 색상환에 매핑하여 얻은 색상으로 표시하였다. 이를 통해 압축영상에 포함된 이동객체의 이동 속성, 즉 어디에 존재하고 어떻게 움직이는지를 직관적으로 식별해낼 수 있게 화면 상에 시각화 표시하였다.

또한, 다수의 압축영상에 대해 모니터링 필요성이 높은 채널을 선별하는 것도 움직임 벡터에 기반하는 것이 바람직하다. 영상 내에 움직임이 거의 없다면 굳이 관제요원이 모니터링을 할 필요성이 없는 것이고, 반대로 움직임이 활발하다면 화면 내용을 직접 살펴볼 필요성이 높다고 판단하는 것이다. 전자의 경우에는 압축영상으로부터 움직임 벡터가 별로 도출되지 않을 것이고, 후자의 경우에는 움직임 벡터가 다수 도출될 것이다.

[도 1]을 참조하여 전술한 바와 같이, 움직임 벡터는 압축영상을 파싱함으로써 도출할 수 있기 때문에 움직임 벡터를 이용하여 채널을 선별하거나 색상 시각화하는 과정은 압축영상 데이터를 디코딩 재생하는 것에 비해 영상처리 장치의 프로세싱 부담이 현저하게 낮아진다.

따라서, 16 채널의 압축영상을 종래기술에 따라 디코딩 재생 출력하여 [도 2]의 모자이크 영상을 표시할 수 있는 정도의 성능을 가진 영상처리 장치라면 본 발명의 기술을 적용하면 훨씬 더 많은 채널을 커버할 수 있다. 예를 들어, 128 채널로부터 압축영상을 제공받아 움직임 벡터에 근거하여 움직임이 많은 것으로 여겨지는 15 채널을 선별하여 디코딩 재생 출력하고 나머지 114 개의 비선별 채널은 움직임 벡터에 기초하여 색상 시각화 표시만 제공함으로써 [도 3]의 모자이크 영상을 구현하는 것도 가능하다.

[도 4]는 본 발명에 따라 다채널 압축영상을 표시하는 전체 프로세스를 나타내는 순서도이다. [도 4]의 순서도는 영상처리 장치가 네트워크를 통해 다수의 채널로부터 다수의 압축영상을 수신하여 이들 중에서 일부를 선별하여 디코딩 재생하고 나머지에 대해서는 디코딩 재생은 하지않고 압축영상의 데이터를 파싱하여 얻은 움직임 벡터를 색상 시각화 처리함으로써 [도 3]과 같은 형태로 다채널 압축영상을 표시 처리하는 기술에 관한 것이다.

단계 (S100) : 먼저, 영상처리 장치가 다수의 채널을 통해 수신하는 다수의 압축영상을 파싱하여 각각의 압축영상에 대하여 영상 블록 별로 움직임 벡터를 획득한다. [도 1]을 참조하면, 영상처리 장치는 압축영상의 스트림에 대해 H.264 AVC 및 H.265 HEVC 등과 같은 동영상압축 표준에 따라 구문분석(헤더 파싱) 및 움직임 벡터 연산을 수행한다. 이러한 과정을 통하여 압축영상에 대하여 영상 블록 별로 움직임 벡터를 얻는다. 압축영상을 구성하는 모든 영상 블록에 대해 움직임 벡터가 도출되는 것은 아니고, 일부에서만 움직임 벡터가 도출되고 나머지에서는 움직임 벡터가 도출되지 않는다.

단계 (S200) : 영상처리 장치가 수신하는 다수의 채널 중에서 모니터링 필요성이 높은 일부 채널을 선별한다. 이러한 선별 과정은 관제요원의 메뉴 조작에 의해 이루어지거나 라운드로빈 방식으로 돌아가면서 선별하는 것도 가능하지만 바람직하게는 현재의 영상으로부터 모니터링 필요성 지수를 산정하고 그에 따라 동적으로 이루어지는 것이 바람직하다.

이때, 다수의 채널로부터 수신되는 압축영상 각각으로부터 획득되는 움직임 벡터에 기초하여 다수의 채널 중에서 모니터링 필요성이 높은 일부 채널을 선별하는 것이 영상처리 장치의 프로세싱 부담이 적다는 점에서 바람직한 일 실시예가 될 수 있다. 개념적으로는, 움직임 벡터가 상대적으로 많이 도출된다면 영상 내에 이동객체가 많거나 더 활발하게 움직이는 것이므로 모니터링을 제대로 수행할 필요성이 크다고 판단하는 접근법이다.

단계 (S300) : 모니터링 필요성이 높다고 선별된 일부 채널에 대해서는 압축영상을 각각 디코딩 재생하여 제 1 표시 그룹을 생성한다. [도 3]을 참조하면, 총 16개의 모자이크 영상에서 CCTV 촬영영상이 정상적으로 표시되고 있는 4개의 엘리먼트 영역이 제 1 표시 그룹에 해당된다.

단계 (S400) : 그리고, 다수의 채널 중에서 모니터링 필요성이 상대적으로 낮다고 평가된 나머지 비선별 채널을 프로세싱 부담이 작게 인가되도록 시각화 처리하여 제 2 표시그룹을 생성한다. [도 3]을 참조하면, CCTV 촬영영상이 나타나지 않고 검은색 배경에 색상 덩어리만 띄엄띄엄 표시되어 있는 12개의 엘리먼트 영역이 제 2 표시 그룹에 해당된다.

이때, 나머지 비선별 채널에 대한 제 2 표시그룹을 형성하는 과정은 아래의 순서로 이루어진다. 먼저, 비선별 채널에 대하여 시각화 처리하여 제 2 표시그룹에 반영할 대상이 되는 복수의 압축영상을 식별한다. 비선별 채널 전체가 이에 해당될 수도 있고 그중 일부만 해당될 수도 있다. 다음으로, 시각화 처리 대상인 복수의 압축영상 각각에 대하여 해당 압축영상에서 도출된 움직임 벡터를 색상으로 매핑하여 영상 블록 단위로 시각화 처리한다. 이를 위해, 움직임 벡터를 색상환에 매핑하여 움직임 벡터 별로 매핑 색상을 얻어 해당 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는 방식이 제시되는데, 이에 대해서는 [도 5]를 참조하여 후술한다. 마지막으로, 시각화 처리 대상인 복수의 압축영상에 대한 시각화 처리 결과를 수집하여 제 2 표시 그룹을 생성한다.

단계 (S500) : 그리고 나서, 미리 설정된 레이아웃에 따라, 예컨대 모자이크 방식으로 제 1 표시 그룹과 제 2 표시 그룹을 디스플레이 표시하여 다채널 압축영상 표시를 구현한다. 이를 통해, [도 3]에 제시된 바와 같이, 모니터링 필요성이 높다고 선별된 일부 채널에 대해서는 영상이 정상적으로 재생 표시되어 관제요원이 제대로 관찰하게 제공하고, 모니터링 필요성이 상대적으로 낮은 나머지 채널에 대해서는 움직임 속성만 체크할 수 있는 정도의 화면이 표출된다. 후자의 경우에도 해당 영상에 얼마나 많은 움직임이 있는지와 그 움직임이 어떠한 속성을 가지고 있는지는 색상으로 표시되므로 관제요원에게 도움이 된다. 이와 같은 구성을 통하여 동일한 성능의 영상처리 장치를 활용하여 종래기술에 비해 영상채널의 수를 획기적으로 증가시킬 수 있게 되는 것이다.

[도 5]는 본 발명에서 채널 하나의 압축영상에 대해 움직임 벡터를 시각화 처리하는 프로세스를 나타내는 순서도이다. [도 5]의 프로세스는 [도 4]의 단계 (S400)에서 비선별 채널을 통해 수신되는 압축영상 하나에 대해 디코딩 재생을 수행하지 않고 압축영상 데이터를 파싱하여 얻은 움직임 벡터를 사람이 직관적으로 파악할 수 있도록 색상으로 시각화하는 과정이다.

단계 (S110) : 먼저, 이전의 단계 (S100)에서 해당 압축영상으로부터 획득하였던 움직임 벡터를 식별한다.

단계 (S120) : 미리 설정된 색상환에 그 식별된 움직임 벡터 각각을 매핑하여 그 획득된 움직임 벡터에 대응하는 매핑 색상을 획득한다. 일반적으로 움직임 벡터는 비디오 디코딩 과정에서 움직임 보상에 활용하라는 취지로 제공되는 정보로서 움직임 벡터 자체가 디스플레이 화면에 시각적으로 표현되는 일은 존재하지 않았다. 이러한 움직임 벡터는 크기 성분과 방향 성분을 가지고 있는데, 이들 성분을 이용하여 본 발명에서는 색상환에 움직임 벡터를 매핑한다. 본 발명에서 색상환에 움직임 벡터를 매핑하는 개념은 [도 8]를 참조하여 구체적으로 후술하며, 이와 같은 매핑(mapping)의 결과로 각각의 움직임 벡터마다 각자 크기와 방향에 대응하여 매핑 색상을 획득한다.

단계 (S130) : 그 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정한다. [도 6]을 참조하면 압축영상에서 움직임이 존재하는 일부 영상 블록에 대해 움직임 벡터가 산출되는데, 이들 각각의 움직임 벡터에 대해 매핑 색상이 획득되었다. 이에, 움직임 벡터가 산출된 영상 블록에 대해서는 해당 움직임 벡터로부터 얻어진 매핑 색상을 [도 7]와 같이 설정한다. 이를 통해, 움직임 벡터가 산출된 영상 블록에 대해서는 그 움직임 벡터의 크기와 방향에 대응하는 색상이 설정되었다.

단계 (S140, S150) : 이때, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하고, 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 것이 바람직하다.

이상에서는 압축영상의 인코딩 규격에 의해 영상 블록 단위로 다루었지만 일반적으로 영상기반 시스템(예: CCTV 영상관제)에서는 영상 블록 자체는 별다른 의미가 없고 이동객체(moving object)가 관심 단위이다. 일정 사이즈 이상의 객체가 이동하는 경우에, 그 바운더리 부분에 대응하는 영상 블록에는 움직임 벡터가 얻어지는 반면, 그 내부영역에 대응하는 영상 블록에는 움직임 벡터가 얻어지지 않는 경우도 많이 발견된다. 이때, 이상의 과정(S110 ~ S130)에 의해서는 하나의 이동객체에 대하여 바운더리의 영상 블록에는 매핑 색상이 설정되는 반면, 그 내부영역의 영상 블록에는 색상이 설정되지 않은 상태로 남겨져 마치 아무런 움직임이 없는 백그라운드처럼 다루어진다.

이 상태를 방치하는 경우에는 하나의 이동객체가 제대로 다루어지지 않고 여러 개의 작은 조각처럼 다루어지기 때문에 디스플레이 화면이 어지럽게 표시되는 문제가 발생한다. 그러한 화면에서는 관제요원이 정보를 얻기가 곤란하므로 본 발명의 효용가치가 크게 떨어지는 것이다.

이에, 이동객체의 내부영역에는 움직임 벡터가 도출되지 않지만 이를 둘러싸는 바운더리 영역에는 움직임 벡터가 도출된다는 점을 활용한다. 즉, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 영상블록을 식별하면 이를 이동객체의 내부영역이라고 간주하고 '객체내부 영상블록'이라고 부른다. 객체내부 영상블록에는 움직임 벡터가 없기 때문에 그 자체적으로는 매핑 색상을 얻지 못하고, 당해 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 매핑 색상을 구한다. 예를 들어, 평균 색상을 구할 수 있다. 이는 영상 블록의 매핑 색상 설정에 대한 인터폴레이션 과정에 해당하며, 객체 단위에서는 내부 영역을 채우는 과정에 해당한다. 이에 대해서는 [도 10]을 참조하여 좀더 상세하게 기술한다.

단계 (S160) : 각각의 영상 블록에 대해 설정된 매핑 색상을 사람이 인식할 수 있는 형태로 표시하며, 이를 통해 해당 비선별 채널의 압축영상에 대해 움직임 벡터의 시각화가 달성된다.

[도 6]과 [도 7]은 본 발명에서 움직임 벡터를 시각화 처리하는 개념을 나타내는 도면이다. [도 6]에는 압축영상을 재생할 화면과 이때 영상블록 별로 도출되는 움직임 벡터를 빗금으로 병기하였다. [도 6]을 참조하면 촬영 영상에서 움직임이 있는 부분에만 움직임 벡터가 나타나고, 그렇지 않은 영역에는 움직임 벡터가 도출되지 않는다는 것을 확인할 수 있다.

[도 7]은 움직임 벡터를 색상환에 매핑하여 시각화 표시한 결과를 나타내는데, 촬영 영상에서 움직임이 있는 객체가 뚜렷하게 드러날 뿐만 아니라 이동 방향이 색상에 반영되어 관제요원이 그 상황을 식별하기가 용이하다. 즉, [도 7]에서 유사한 방향으로 이동하고 있는 2명의 사람은 매우 유사한 색상으로 표시된 반면, 서로 상이한 방향으로 이동하고 있는 2대의 차량은 완전히 상이한 색상으로 표시되어 있다. [도 7]를 참조하면, 재생영상을 확인하지 않아도 관제요원은 3 방향으로 이동하는 객체가 존재한다는 것을 식별할 수 있다.

보안영상 등과 같이 촬영 영상에서 중요한 부분을 집중하여 모니터링하는 경우에 영상 내에서 움직이는 객체의 변화하는 부분을 표출할 수 있다면 대단히 효과적인 모니터링을 할 수 있다. CCTV 관제요원이 다수의 촬영영상에 대해 그 내용을 이해하고 정상 여부를 판단하는 과정을 거칠 필요 없이 색상이 분포되는 형태로부터 직관적으로 판단할 수 있기 때문이다.

[도 8]은 본 발명에서 움직임 벡터를 색상환에 매핑하는 개념을 나타내는 도면이다.

본 발명에서 색상환은 미리 설정해둔 것인데, 색상환이 바람직하게 갖추어야 할 요건을 정리하면, 먼저 상호 근접하면 상호 유사한 색상을 나타내어 근처색은 움직임의 유사도를 나타내도록 구성되고, 색상환 중심을 기점으로 서로 반대 방향이면 상호 보색 관계가 되도록 구성되며, 보색의 좌우 근처의 색은 반대색을 나타내도록 구성되는 것이 영상 관제 등의 용도에 유용하다.

종래의 색상환들 중에서 이 요건에 적합한 것으로는 먼셀 색상환(Munsell color circle)이 있다. 다만, 본 발명의 권리범위는 이와 같은 특정의 색상환에만 한정하는 것은 아니고 본 발명의 목적을 달성할 수만 있다면 기존의 혹은 향후 제안될 다른 색상환도 적용될 수 있다.

움직임 벡터를 색상환에 매핑하기 위해서는, 먼저 움직임 벡터에 대해 크기 성분과 방향 성분을 식별하고, 색상환의 중심으로부터 방향 성분 및 크기 성분에 기초하여 벡터 화살표를 오버레이한다. 그리고 나서, 색상환의 중심(center)에 벡터 화살표의 시점(start terminal)을 위치시킨 후에 벡터 화살표의 종점(end terminal, arrow point)이 가리키는 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 과정을 거친다. 반대로 색상환의 중심에 벡터 화살표의 종점을 위치시킨 후에 벡터 화살표의 시점이 가리키는 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 것도 같은 원리이다.

[도 9]는 본 발명에서 움직임 벡터를 시각화 표시하여 객체 이동 방향을 대비 식별하는 개념을 나타내는 도면이다.

본 발명에 따라 움직임 벡터를 시각화 표시함으로써 영상 내에 존재하는 이동객체의 움직임 특성을 디스플레이 화면에서 직관적으로 인식할 수 있는데, 특히 움직임의 방향이 정반대의 경우라면 화면상에서 명확히 대비되어 나타난다. [도 9]는 도로에서 다수의 차량이 좌우로 이동하는 상황을 촬영하여 압축영상으로 전달한 경우인데, 압축영상을 파싱하면 각 차량의 영상 블록에 대해 해당 차량의 주행 방향에 맞게 움직임 벡터가 도출된다.

[도 8]를 참조하여 전술한 바와 같이 본 발명에서 바람직한 색상환은 그 속성상 반대 방향은 보색 관계를 나타내므로 서로 반대 방향으로 주행하는 차량들이 화면에서 확연하게 드러나게 된다. 만일, 도로에 역주행하는 차량이 존재한다면 보색으로 표시된 색상 덩어리가 중간에 두드러지게 나타나게 되므로 관제요원이 그 즉시 파악하고 조치를 취할 수 있게 되는 것이다. 또한, 일 방향으로 이동하는 다수의 군중 속에서 반대 방향으로 도주하는 사람이 존재한다면 이 또한 확연히 드러나게 되므로 관제요원이 즉시 인식할 수 있다.

[도 10]은 본 발명에서 움직임 벡터의 시각화 처리 과정에서 이동객체의 내부 영역을 처리하는 개념을 나타내는 도면이다.

압축영상을 생성하는 인코딩 규칙의 속성상, 일정 사이즈 이상의 객체가 이동하는 경우에, 그 바운더리 부분에 대응하는 영상 블록에는 움직임 벡터가 얻어지는 반면, 그 내부영역에 대응하는 영상 블록에는 움직임 벡터가 얻어지지 않는 경우가 발생할 수 있다. [도 10]의 좌측을 참조하면 차량 이미지의 내부에 움직임 벡터가 없는 영상 블록이 2개 존재한다.

이 상태를 그대로 방치하면 하나의 이동객체가 제대로 다루어지지 않고 여러 개의 작은 조각처럼 다루어지기 때문에 디스플레이 화면이 어지럽게 표시되는 문제가 발생한다. [도 10]에서도 색상 표시가 차량 하나의 큰 덩어리로 표시되지 않고 2개 내지 4개의 조각으로 인식 가능하게 표시된다. 그러한 화면에서는 관제요원이 유용한 정보를 얻기가 곤란하다.

이에, 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 매핑 색상을 구하는 인터폴레이션 설정 과정을 수행한다. 예를 들어, 바람직하게는 움직임 벡터 평균으로 중심색을 결정하여 객체내부 영상블록의 매핑 색상으로 설정할 수 있는데, 이 경우 색상의 유사성에 의해 주변 영역과 일체로 이동하는 것을 시각화할 수 있다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (7)

1. 영상처리 장치가 네트워크를 통해 다수의 채널로부터 다수의 압축영상을 수신하여 다채널 압축영상을 표시 처리하는 방법으로서,
   다수의 채널로부터 수신되는 압축영상을 파싱하여 각각의 압축영상으로부터 영상 블록 별로 움직임 벡터를 획득하는 제 1 단계;
   상기 다수의 채널 중에서 모니터링 필요성이 높은 일부 채널을 선별하는 제 2 단계;
   상기 선별된 일부 채널에 대한 압축영상을 각각 디코딩 재생하여 제 1 표시 그룹을 생성하는 제 3 단계;
   상기 다수의 채널 중 나머지 비선별 채널로부터 수신되는 압축영상 각각으로부터 상기 획득한 움직임 벡터를 미리 설정된 색상환에 매핑하여 움직임 벡터별로 매핑 색상을 얻어 해당 움직임 벡터가 귀속하는 영상 블록에 대해 설정함으로써 상기 나머지 비선별 채널에 대하여 움직임 벡터를 시각화 처리한 제 2 표시 그룹을 생성하는 제 4 단계;
   미리 설정된 레이아웃에 따라 상기 제 1 표시 그룹과 상기 제 2 표시 그룹을 디스플레이 표시하는 제 5 단계;
   를 포함하여 구성되는 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법으로서,
   상기 제 4 단계는,
   상기 다수의 채널 중 나머지 비선별 채널에 대하여 시각화 처리 대상인 복수의 압축영상을 식별하는 제 41 단계;
   상기 시각화 처리 대상인 복수의 압축영상 각각에 대하여 해당 압축영상에서 도출되는 움직임 벡터를 색상으로 매핑하여 영상 블록 단위로 시각화 처리하는 제 42 단계;
   상기 시각화 처리 대상인 복수의 압축영상에 대한 시각화 처리 결과를 수집하여 제 2 표시 그룹을 생성하는 제 43 단계;
   를 포함하여 구성되고,
   상기 제 42 단계는,
   해당 압축영상으로부터 획득된 움직임 벡터를 식별하는 제 421 단계;
   미리 설정된 색상환에 상기 식별된 움직임 벡터에 대한 크기 성분과 방향 성분을 매핑하여 움직임 벡터 별로 매핑 색상을 획득하는 제 422 단계;
   상기 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는 제 423 단계;
   매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하는 단계;
   상기 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 상기 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 단계;
   각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는 제 424 단계;
   를 포함하여 구성되는 것을 특징으로 하는 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법.
   
2. 삭제
3. 삭제
4. 청구항 1에 있어서,
   상기 제 2 단계는 상기 다수의 채널로부터 수신되는 압축영상 각각으로부터 획득된 움직임 벡터에 기초하여 상기 다수의 채널 중에서 모니터링 필요성이 높은 일부 채널을 선별하는 것을 특징으로 하는 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법.
   
5. 청구항 1에 있어서,
   상기 제 422 단계는,
   상기 움직임 벡터에 대해 크기 성분과 방향 성분을 식별하는 단계;
   미리 설정된 색상환의 중심으로부터 상기 방향 성분 및 상기 크기 성분에 기초하여 벡터 화살표를 오버레이하는 단계;
   상기 색상환에서 상기 벡터 화살표의 종점 지점의 색상을 상기 움직임 벡터의 매핑 색상으로 설정하는 단계;
   를 포함하여 구성되는 것을 특징으로 하는 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법.
   
6. 청구항 5에 있어서,
   상기 색상환은 상호 근접하면 상호 유사한 색상을 나타내고 색상환 중심에서 반대 방향이면 상호 보색 관계로 대응하도록 설정되는 것을 특징으로 하는 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법.
   
7. 하드웨어와 결합되어 청구항 1, 4, 5, 6 중 어느 하나의 항에 따른 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.

Images