KR102014545B1 - 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법 - Google Patents

Abstract

본 발명은 움직임 벡터의 크기 성분, 방향 성분, 검출위치 값을 원형 HSV 색상팔레트에 매핑하고 이를 통해 얻어진 색상을 해당 영상 블록에 오버레이 표시함으로써 예컨대 CCTV 카메라가 생성하는 압축영상에 포함된 이동객체의 원근 이동 속성을 디스플레이 화면 상에 시각화 표시 처리하는 기술에 관한 것이다. 이를 통해, 사람(예: CCTV 관제요원)이 디스플레이 화면에서 이동객체의 원근 이동 속성, 즉 얼마나 멀리 있고 어떻게 움직이는지를 직관적으로 식별해낼 수 있게 보조해준다. 본 발명에 따르면 움직임 벡터를 원형 HSV 색상팔레트에 매핑하여 디스플레이 화면에 표시함으로써 이동객체의 움직임 특성 뿐만 아니라 원근까지 색상으로 표현할 수 있는 장점이 있다. CCTV 촬영영상의 경우에 영상 하단은 카메라에 가깝고 영상 상단은 카메라에서 멀기 때문에 이 영상에 본 발명을 적용하면 적외선 영상처럼 이동객체의 위치, 움직임, 원근의 관점에 포커싱된 영상을 생성하여 CCTV 관제요원에게 제공할 수 있다.

Description

움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법 {method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same}

본 발명은 일반적으로 움직임 보상(motion compensation)에 활용하라는 취지로 압축영상의 데이터(compressed video data)에 삽입 전송되는 움직임 벡터를 3차원 모델링함으로써 압축영상에 포함된 이동객체의 원근 이동 속성을 디스플레이 화면 상에 시각화 처리하는 기술에 관한 것이다.

더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상을 파싱하여 움직임 벡터(motion vector)를 도출한 후에 움직임 벡터의 크기 성분과 방향 성분 그리고 검출위치 값을 원형 HSV 색상팔레트에 매핑하고 이를 통해 얻어진 색상을 해당 영상 블록에 오버레이 표시함으로써 압축영상에 포함된 이동객체의 원근 이동 속성을 디스플레이 화면 상에 시각화 표시 처리하는 기술에 관한 것이다. 이를 통해, 사람(예: CCTV 관제요원)이 디스플레이 화면에서 이동객체의 원근 이동 속성, 즉 얼마나 멀리 있고 어떻게 움직이는지를 직관적으로 식별해낼 수 있게 보조하는 기술에 관한 것이다.

최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 지역별로 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제요원이 발견하게 되면 그 즉시 적절하게 대처하는 한편, 필요에 따라서는 사후증거 확보를 위해 스토리지에 저장되어 있는 영상을 검색하는 것이다.

그런데. CCTV 카메라의 설치 현황에 비해 관제요원의 인원 수는 매우 부족한 것이 현실이다. 이처럼 제한된 인원으로 영상 감시를 효과적으로 수행하려면 CCTV 영상을 모니터 화면에 단순 표시하는 것만으로는 충분하지 않다. 각각의 CCTV 영상에 존재하는 객체의 움직임을 감지하여 실시간으로 해당 영역에 무언가 추가 표시함으로써 효과적으로 발견되도록 처리하는 것이 바람직하다. 이러한 경우에 관제요원은 CCTV 영상 전체를 균일한 관심도를 가지고 지켜보는 것이 아니라 객체 움직임이 있는 부분을 중심으로 CCTV 영상을 감시하면 된다.

한편, 영상감지 시스템에서는 스토리지 공간의 효율을 위해 압축영상을 채택하고 있다. 특히 최근에는 CCTV 카메라의 설치 대수가 급속하게 증가하고 고화질 카메라가 주로 설치됨에 따라 H.264 AVC 및 H.265 HEVC 등과 같은 고압축율의 복잡한 영상압축 기술이 채택되고 있다.

동영상 데이터를 생성하는 카메라 장치에서는 이들 기술규격 중 어느 하나에 따라 압축영상을 생성하여 제공하며, 동영상을 재생하는 장치에서는 이러한 압축영상을 전달받으면 그 압축영상을 인코딩할 때 적용했던 기술규격에 따라 역으로 디코딩을 수행한다. 영상압축 기술이 적용된 CCTV 영상에서 객체 움직임 유무를 판단하려면 종래에는 압축영상을 디코딩하여 재생영상, 즉 압축이 풀린 원래 영상을 얻은 후에 이미지 처리하는 과정이 필요하였다.

[도 1]은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. [도 1]을 참조하면, H.264 AVC에 따른 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 움직임 벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다.

이들 하드웨어 모듈이 압축영상의 데이터를 순차적으로 처리함으로써 동영상에 대해 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 영상처리 단계의 비교적 앞단에 위치하는 구문분석기(11)는 압축영상의 코딩 유닛(영상 블록)에 대해 신택스 정보, 예컨대 움직임 벡터를 파싱한다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상 블록인데, 기술규격에 따라서 다양하게 정의될 수 있다.

종래기술에서는 CCTV 관제영상으로부터 관제요원에게 무언가 정보를 제공하려면 일단 압축영상을 디코딩하여 원래의 영상을 구한 후에 추가로 다운스케일 리사이징과 영상 분석을 수행하였다. 이들은 복잡도가 매우 높은 프로세스이고, 그로 인해 종래의 영상관제 시스템에서는 한 대의 영상분석 서버가 동시 처리할 수 있는 용량이 상당히 제한되어 있다. 현재 고성능의 영상분석 서버가 커버할 수 있는 최대 CCTV 채널은 통상 최대 16 채널이다. 다수의 CCTV 카메라가 설치되므로 영상관제 시스템에는 다수의 영상분석 서버가 필요하였고, 이는 비용 증가와 물리적 공간 확보의 어려움이라는 문제점을 유발하였다.

대규모의 영상관제 시스템을 구축 및 유지하는 데에는 상당한 예산이 소요되는 바, 그에 상당하는 효용가치가 요구되고 있다. 그러한 요구의 기본 방향은 범죄 예방 및 범죄증거 확보이다. 그에 따라, 주변 모습을 단순히 촬영하여 관제요원에게 제공하는 것에서 그칠 것이 아니라 문제발생 소지가 높은 특수한 상황을 영상관제 시스템이 감지하여 관제요원에게 두드러지게 보여줄 필요가 있다. 이때, 시스템 구축 비용과 시스템 공간 확보라는 현실적인 문제를 고려하여 그 구현기술은 매우 효과적으로 동작해야만 한다.

본 발명의 목적은 일반적으로 동영상 디코딩 과정에서 움직임 보상에 활용하라는 취지로 압축영상의 데이터에 삽입 전송되는 움직임 벡터를 3차원 모델링함으로써 압축영상에 포함된 이동객체의 원근 이동 속성을 디스플레이 화면 상에 시각화 처리하는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 예컨대 CCTV 카메라가 생성하는 압축영상을 파싱하여 움직임 벡터를 도출한 후에 움직임 벡터의 크기 성분과 방향 성분 그리고 검출위치 값을 원형 HSV 색상팔레트에 매핑하고 이를 통해 얻어진 색상을 해당 영상 블록에 오버레이 표시함으로써 압축영상에 포함된 이동객체의 원근 이동 속성을 디스플레이 화면 상에 시각화 표시 처리하는 기술을 제공하는 것이다. 이를 통해, 사람(예: CCTV 관제요원)이 디스플레이 화면에서 이동객체의 원근 이동 속성, 즉 얼마나 멀리 있고 어떻게 움직이는지를 직관적으로 식별해낼 수 있게 보조하는 기술을 제공하는 것이다.

상기의 목적을 달성하기 위하여 본 발명에 따른 압축영상 원근 시각화 표시 처리 방법은, 압축영상의 비트스트림을 파싱하여 영상 블록 별로 움직임 벡터를 획득하는 제 1 단계; 미리 설정된 원형 HSV 색상팔레트에 그 획득된 움직임 벡터의 크기 성분, 방향 성분, 검출위치 값을 매핑하여 그 획득된 움직임 벡터에 대응하는 매핑 색상을 획득하는 제 2 단계; 그 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는 제 3 단계; 디스플레이 화면 상에 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는 제 4 단계;를 포함하여 구성될 수 있다.

본 발명은, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하는 단계; 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 단계;를 더 포함하여 구성될 수 있다.

이때, 제 2 단계는, 움직임 벡터에 대해 크기 성분, 방향 성분, 검출위치 값을 식별하는 제 21 단계; 움직임 벡터의 검출위치 값에 대응하여 미리 설정된 원형 HSV 색상팔레트의 깔데기 수직 높이를 적용하여 원형 단면으로 이루어지는 단면 색상환을 설정하는 제 22 단계; 단면 색상환의 중심으로부터 방향 성분 및 크기 성분에 기초하여 벡터 화살표를 오버레이하는 제 23 단계; 단면 색상환에서 벡터 화살표의 종점 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 제 24 단계;를 포함하여 구성될 수 있다.

본 발명에서 움직임 벡터의 검출위치 값은 해당 움직임 벡터가 귀속하는 영상 블록이 압축영상에서 미리 설정된 기준라인으로부터 이격 거리로 설정되는 것이 바람직하다. 또한, 원형 HSV 색상팔레트는 깔데기 수직 높이에 대응하여 명도(V)와 채도(S) 중 어느 하나가 설정되며, 단면 색상환은 중심에서의 거리에 대응하여 명도(V)와 채도(S) 중 다른 하나가 설정되고 회전 방향에 대응하여 색조(H)가 설정되어 색상환 중심에서 반대 방향이면 상호 보색 관계로 대응하도록 설정되는 것이 바람직하다.

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법을 실행시키기 위하여 매체에 저장된 것이다.

본 발명에 따르면 촬영영상에 존재하는 이동객체의 존재 및 그 원근 이동 속성을 압축을 풀지 않고서도 디스플레이 화면에 효과적으로 표현할 수 있어 영상을 활용하는 여러 분야의 운영 효율을 높일 수 있는 장점이 있다. 예를 들어, CCTV 영상관제 분야에서는 다수의 CCTV 화면을 모니터링하는 관제요원이 용의자나 역주행 차량 등을 효과적으로 검출할 수 있다.

특히, 본 발명에 따르면 움직임 벡터를 원형 HSV 색상팔레트에 매핑하여 디스플레이 화면에 표시함으로써 이동객체의 움직임 특성 뿐만 아니라 원근까지 색상으로 표현할 수 있는 장점이 있다. CCTV 촬영영상의 경우에 영상 하단은 카메라에 가깝고 영상 상단은 카메라에서 멀기 때문에 이 영상에 본 발명을 적용하면 적외선 영상처럼 이동객체의 위치, 움직임, 원근의 관점에 포커싱된 영상을 생성하여 CCTV 관제요원에게 제공할 수 있다.

[도 1]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
[도 2]는 본 발명에서 압축영상의 움직임 벡터를 시각화 처리하는 개념을 나타나는 순서도.
[도 3]과 [도 4]는 본 발명에 따른 움직임 벡터의 시각화 처리 전후를 대비하여 나타내는 도면.
[도 5]는 본 발명에서 움직임 벡터를 색상환에 매핑하여 2차원 모델링하는 개념을 나타내는 도면.
[도 6]은 본 발명에서 움직임 벡터를 시각화 표시하여 객체 이동 방향을 대비 식별하는 개념을 나타내는 도면.
[도 7]은 본 발명에서 움직임 벡터의 시각화 처리 과정에서 이동객체의 내부 영역을 처리하는 개념을 나타내는 도면.
[도 8]은 본 발명에서 움직임 벡터를 원형 HSV 색상팔레트에 매핑하여 3차원 모델링하는 개념을 나타내는 도면.
[도 9]는 원형 HSV 색상팔레트의 일 예를 나타내는 도면.
[도 10]은 본 발명에 따른 압축영상 원근 시각화 표시 처리 방법의 전체 프로세스를 나타내는 순서도.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 이때, [도 2] 내지 [도 7]을 참조하여 압축영상의 움직임 벡터를 시각화 처리하는 기본 개념을 기술하였다. 이 과정에서는 문제를 단순화하기 위해 움직임 벡터를 색상환에 매핑하여 2차원 모델링하는 것을 기준으로 하였다. 그리고 나서, [도 10] 내지 [도 8]을 참조하면서, 본 발명에 따른 움직임 벡터를 원형 HSV 색상팔레트에 매핑하여 3차원 모델링하고 이를 기반으로 압축영상을 원근 시각화 표시 처리하는 기술에 대해 상세하게 기술하였다.

[도 2]는 본 발명에서 압축영상의 움직임 벡터를 시각화 처리하는 개념을 나타나는 순서도이다. 예를 들어 CCTV 카메라가 압축영상을 실시간으로 생성하여 지속적으로 전송해주면 그 데이터를 파싱하여 움직임 벡터를 도출하고 이를 시각화하여 디스플레이 화면에 표시하는 것이다. 압축영상으로부터 움직임 벡터를 도출하는 것은 압축영상을 디코딩하여 재생하는 것에 비해 프로세싱 부담이 훨씬 적기 때문에 효과적인 접근방식이다.

단계 (S110) : 먼저, 압축영상의 비트스트림을 파싱하여 영상 블록 별로 움직임 벡터를 획득한다. [도 1]을 참조하면, 동영상 디코딩 장치는 압축영상의 스트림에 대해 H.264 AVC 및 H.265 HEVC 등과 같은 동영상압축 표준에 따라 구문분석(헤더 파싱) 및 움직임 벡터 연산을 수행한다. 이러한 과정을 통하여 압축영상에 대하여 영상 블록 별로 움직임 벡터를 얻는다. 압축영상을 구성하는 모든 영상 블록에 대해 움직임 벡터가 도출되는 것은 아니고, 일부에서만 움직임 벡터가 도출되고 나머지에서는 움직임 벡터가 도출되지 않는다.

단계 (S120) : 미리 설정된 색상환에 그 획득된 움직임 벡터 각각을 매핑하여 그 획득된 움직임 벡터에 대응하는 매핑 색상을 획득한다. 일반적으로 움직임 벡터는 비디오 디코딩 과정에서 움직임 보상에 활용하라는 취지로 제공되는 정보로서 움직임 벡터 자체가 디스플레이 화면에 시각적으로 표현되는 일은 존재하지 않았다. 이러한 움직임 벡터는 크기 성분과 방향 성분을 가지고 있는데, 이들 성분을 이용하여 본 발명에서는 미리 준비해둔 색상환에 움직임 벡터를 매핑한다. 본 발명에서 색상환에 움직임 벡터를 매핑하는 개념은 [도 5]를 참조하여 구체적으로 후술하며, 이와 같은 매핑(mapping)의 결과로 각각의 움직임 벡터마다 각자 크기와 방향에 대응하여 매핑 색상을 획득한다.

단계 (S130) : 그 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정한다. [도 3]을 참조하면 압축영상에서 움직임이 존재하는 일부 영상 블록에 대해 움직임 벡터가 산출되는데, 이들 각각의 움직임 벡터에 대해 매핑 색상이 획득되었다. 이에, 움직임 벡터가 산출된 영상 블록에 대해서는 해당 움직임 벡터로부터 얻어진 매핑 색상을 [도 4]와 같이 설정한다. 이를 통해, 움직임 벡터가 산출된 영상 블록에 대해서는 그 움직임 벡터의 크기와 방향에 대응하는 색상이 설정되었다.

단계 (S140, S150) : 이때, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하고, 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 것이 바람직하다.

이상에서는 압축영상의 인코딩 규격에 의해 영상 블록 단위로 다루었지만 일반적으로 영상기반 시스템(예: CCTV 영상관제)에서는 영상 블록 자체는 별다른 의미가 없고 이동객체(moving object)가 관심 단위이다. 일정 사이즈 이상의 객체가 이동하는 경우에, 그 바운더리 부분에 대응하는 영상 블록에는 움직임 벡터가 얻어지는 반면, 그 내부영역에 대응하는 영상 블록에는 움직임 벡터가 얻어지지 않는 경우도 많이 발견된다. 이때, 이상의 과정(S110 ~ S130)에 의해서는 하나의 이동객체에 대하여 바운더리의 영상 블록에는 매핑 색상이 설정되는 반면, 그 내부영역의 영상 블록에는 색상이 설정되지 않은 상태로 남겨져 마치 아무런 움직임이 없는 백그라운드처럼 다루어진다.

이 상태를 방치하는 경우에는 하나의 이동객체가 제대로 다루어지지 않고 여러 개의 작은 조각처럼 다루어지기 때문에 디스플레이 화면이 어지럽게 표시되는 문제가 발생한다. 그러한 화면에서는 관제요원이 정보를 얻기가 곤란하므로 본 발명의 효용가치가 크게 떨어지는 것이다.

이에, 이동객체의 내부영역에는 움직임 벡터가 도출되지 않지만 이를 둘러싸는 바운더리 영역에는 움직임 벡터가 도출된다는 점을 활용한다. 즉, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 영상블록을 식별하면 이를 이동객체의 내부영역이라고 간주하고 '객체내부 영상블록'이라고 부른다. 객체내부 영상블록에는 움직임 벡터가 없기 때문에 그 자체적으로는 매핑 색상을 얻지 못하고, 당해 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 매핑 색상을 구한다. 예를 들어, 평균 색상을 구할 수 있다. 이는 영상 블록의 매핑 색상 설정에 대한 인터폴레이션 과정에 해당하며, 객체 단위에서는 내부 영역을 채우는 과정에 해당한다. 이에 대해서는 [도 7]을 참조하여 좀더 상세하게 기술한다.

단계 (S160) : 압축영상에 대한 디스플레이 화면 상에 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는데, 이를 통해 압축영상에 대해 움직임 벡터의 시각화가 달성된다.

[도 3]과 [도 4]는 본 발명에 따른 움직임 벡터의 시각화 처리 전후를 대비하여 나타내는 도면이다. [도 3]에는 압축영상을 재생할 화면과 이때 영상블록 별로 도출되는 움직임 벡터를 빗금으로 병기하였다. [도 3]을 참조하면 촬영 영상에서 움직임이 있는 부분에만 움직임 벡터가 나타나고, 그렇지 않은 영역에는 움직임 벡터가 도출되지 않는다는 것을 확인할 수 있다.

[도 4]는 움직임 벡터를 색상환에 매핑하여 시각화 표시한 결과를 나타내는데, 촬영 영상에서 움직임이 있는 객체가 뚜렷하게 드러날 뿐만 아니라 이동 방향이 색상에 반영되어 관제요원이 그 상황을 식별하기가 용이하다. 즉, [도 4]에서 유사한 방향으로 이동하고 있는 2명의 사람은 매우 유사한 색상으로 표시된 반면, 서로 상이한 방향으로 이동하고 있는 2대의 차량은 완전히 상이한 색상으로 표시되어 있다. [도 4]를 참조하면, 재생영상을 확인하지 않아도 관제요원은 3 방향으로 이동하는 객체가 존재한다는 것을 식별할 수 있다.

보안영상 등과 같이 촬영 영상에서 중요한 부분을 집중하여 모니터링하는 경우에 영상 내에서 움직이는 객체의 변화하는 부분을 표출할 수 있다면 대단히 효과적인 모니터링을 할 수 있다. CCTV 관제요원이 다수의 촬영영상에 대해 그 내용을 이해하고 정상 여부를 판단하는 과정을 거칠 필요 없이 색상이 분포되는 형태로부터 직관적으로 판단할 수 있기 때문이다.

[도 5]는 본 발명에서 움직임 벡터를 색상환에 매핑하여 2차원 모델링하는 개념을 나타내는 도면이다.

본 발명에서 색상환은 미리 설정해둔 것인데, 색상환이 바람직하게 갖추어야 할 요건을 정리하면, 먼저 상호 근접하면 상호 유사한 색상을 나타내어 근처색은 움직임의 유사도를 나타내도록 구성되고, 색상환 중심을 기점으로 서로 반대 방향이면 상호 보색 관계가 되도록 구성되며, 보색의 좌우 근처의 색은 반대색을 나타내도록 구성되는 것이 영상 관제 등의 용도에 유용하다.

종래의 색상환들 중에서 이 요건에 적합한 것으로는 먼셀 색상환(Munsell color circle)이 있다. 다만, 본 발명의 권리범위는 이와 같은 특정의 색상환에만 한정하는 것은 아니고 본 발명의 목적을 달성할 수만 있다면 기존의 혹은 향후 제안될 다른 색상환도 적용될 수 있다. 이는 [도 10] 내지 [도 8]에서 언급되는 원형 HSV 색상팔레트에도 해당된다.

움직임 벡터를 색상환에 매핑하기 위해서는, 먼저 움직임 벡터에 대해 크기 성분과 방향 성분을 식별하고, 색상환의 중심으로부터 방향 성분 및 크기 성분에 기초하여 벡터 화살표를 오버레이한다. 그리고 나서, 색상환의 중심(center)에 벡터 화살표의 시점(start terminal)을 위치시킨 후에 벡터 화살표의 종점(end terminal, arrow point)이 가리키는 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 과정을 거친다. 반대로 색상환의 중심에 벡터 화살표의 종점을 위치시킨 후에 벡터 화살표의 시점이 가리키는 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 것도 같은 원리이다.

[도 6]은 본 발명에서 움직임 벡터를 시각화 표시하여 객체 이동 방향을 대비 식별하는 개념을 나타내는 도면이다.

본 발명에 따라 움직임 벡터를 시각화 표시함으로써 영상 내에 존재하는 이동객체의 움직임 특성을 디스플레이 화면에서 직관적으로 인식할 수 있는데, 특히 움직임의 방향이 정반대의 경우라면 화면상에서 명확히 대비되어 나타난다. [도 6]은 도로에서 다수의 차량이 좌우로 이동하는 상황을 촬영하여 압축영상으로 전달한 경우인데, 압축영상을 파싱하면 각 차량의 영상 블록에 대해 해당 차량의 주행 방향에 맞게 움직임 벡터가 도출된다.

[도 5]를 참조하여 전술한 바와 같이 본 발명에서 바람직한 색상환은 그 속성상 반대 방향은 보색 관계를 나타내므로 서로 반대 방향으로 주행하는 차량들이 화면에서 확연하게 드러나게 된다. 만일, 도로에 역주행하는 차량이 존재한다면 보색으로 표시된 색상 덩어리가 중간에 두드러지게 나타나게 되므로 관제요원이 그 즉시 파악하고 조치를 취할 수 있게 되는 것이다. 또한, 일 방향으로 이동하는 다수의 군중 속에서 반대 방향으로 도주하는 사람이 존재한다면 이 또한 확연히 드러나게 되므로 관제요원이 즉시 인식할 수 있다.

[도 7]은 본 발명에서 움직임 벡터의 시각화 처리 과정에서 이동객체의 내부 영역을 처리하는 개념을 나타내는 도면이다.

압축영상을 생성하는 인코딩 규칙의 속성상, 일정 사이즈 이상의 객체가 이동하는 경우에, 그 바운더리 부분에 대응하는 영상 블록에는 움직임 벡터가 얻어지는 반면, 그 내부영역에 대응하는 영상 블록에는 움직임 벡터가 얻어지지 않는 경우가 발생할 수 있다. [도 7]의 좌측을 참조하면 차량 이미지의 내부에 움직임 벡터가 없는 영상 블록이 2개 존재한다.

이 상태를 그대로 방치하면 하나의 이동객체가 제대로 다루어지지 않고 여러 개의 작은 조각처럼 다루어지기 때문에 디스플레이 화면이 어지럽게 표시되는 문제가 발생한다. [도 7]에서도 색상 표시가 차량 하나의 큰 덩어리로 표시되지 않고 2개 내지 4개의 조각으로 인식 가능하게 표시된다. 그러한 화면에서는 관제요원이 유용한 정보를 얻기가 곤란하다.

이에, 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 매핑 색상을 구하는 인터폴레이션 설정 과정을 수행한다. 예를 들어, 바람직하게는 움직임 벡터 평균으로 중심색을 결정하여 객체내부 영상블록의 매핑 색상으로 설정할 수 있는데, 이 경우 색상의 유사성에 의해 주변 영역과 일체로 이동하는 것을 시각화할 수 있다.

[도 8]은 본 발명에서 움직임 벡터를 원형 HSV 색상팔레트에 매핑하여 3차원 모델링하는 개념을 나타내는 도면이다.

이상에서는 [도 2] 내지 [도 7]을 참조하여 압축영상에서 움직임 벡터를 도출하고 이를 색상으로 시각화 처리하는 개념을 기술하였다. 이하에서는 이 개념을 3차원으로 확장하여 움직임 벡터를 색상으로 표시함으로써 압축 영상을 원근 시각화 처리하는 개념에 대해서 기술한다.

이상의 내용에서 움직임 벡터는 크기 성분과 방향 성분을 가진 2차원 정보로서 다루어졌다. 본 발명에서는 이를 3차원 정보로 시각화하기 위해서 움직임 벡터가 귀속하는 해당 영상 블록의 압축영상 내에서의 위치를 이용한다. 이를 해당 움직임 벡터의 검출위치 값으로 간주한다. 이처럼 정보를 추가함으로써 압축영상에서 도출되는 움직임 벡터는 크기 성분, 방향 성분, 검출위치 값이라는 세 가지 요소를 갖게 되는데, 본 발명에서는 이들 세 가지 요소를 색상을 구성하는 색조(H), 채도(S), 명도(V)로 매핑하여 시각화한다.

이러한 매핑을 통하여 압축영상에 존재하는 이동객체의 원근 이동 속성, 즉 이동객체가 존재하는지 여부, 어떻게 움직이는지에 관한 특성, 그리고 카메라로부터 얼마나 멀리있는지에 관한 정보가 시각화 표현된다.

[도 9]는 본 발명에서 움직임 벡터의 3차원 모델링에 양호하게 활용할 수 있는 원형 HSV 색상팔레트의 일 예를 나타내는 도면이다. HSV 색상 표현은 색조(H), 채도(S), 명도(V)로 색상을 지정하는 방식으로서, [도 9]와 같이 색조(H), 채도(S), 명도(V)에 대응하여 색상을 3차원의 깔떼기(cone) 모양으로 배치할 수 있다. [도 8]을 참조하면, 압축영상에서 영상 블록에 대해 도출되는 복수의 움직임 벡터 각각에 대해 크기 성분, 방향 성분, 검출위치 값을 원형 HSV 색상팔레트의 색조(H), 채도(S), 명도(V)로 매핑한다. [도 8]은 본 발명을 위한 원형 HSV 색상팔레트의 일 예이며 이 형태로 제한되는 것은 아니다.

CCTV 촬영영상의 경우에 카메라가 약간 높은 위치에서 아래로 내려다보면서 촬영하기 때문에 영상의 하단은 카메라에 가깝고 반대로 영상 상단은 카메라에서 멀리 위치하기 마련이다. 따라서, 움직임 벡터의 검출위치 값(하단에서의 이격거리 y 좌표)은 해당 이동객체의 원근에 대응되며, 그 결과 근접한 이동객체 대해서는 채도(S)나 명도(V)가 큰 값이 할당되고, 반대로 원거리의 이동객체에 대해서는 채도(S)나 명도(V)가 작은 값이 할당되게 된다.

[도 8]의 하단에 제시된 원근 시각화 표시 결과를 참조하면, CCTV 촬영영상에서 카메라에 근접 위치한 물체는 밝게 시각화되어 있는 반면 카메라로부터 멀어질수록 어둡게 시각화되어 있다. 이 예는 움직임 벡터의 검출위치 값(y 좌표)을 명도(V)에 매핑한 예이며, 만일 채도(S)에 매핑하였다면 근접 위치한 물체는 맑게 시각화되고 멀어질수록 탁하게 시각화될 것이다. [도 8]의 하단 우측에 표시한 원근 시각화 결과 이미지는 마치 적외선 카메라로 야간 촬영한 것과 유사한 모양을 나타낸다. 적외선 카메라를 활용하여 어두운 숲속에서 동물을 찾아내는 것처럼 본 발명을 통한다면 복잡하고 혼란스러운 CCTV 촬영영상에서 이동객체를 구분하여 원근감있게 표시해줄 수 있는 것이다.

본 발명에서 얻어지는 이러한 결과물은 가까운 물체는 또렷이 보이고 멀리있는 물체는 흐리게 보여지는 카메라(일반 카메라, 적외선 카메라)의 일반적인 속성과도 일치하기 때문에 원근감이 정확하게 반영되어 있는 것이다. 이처럼 CCTV 촬영영상에 본 발명을 적용하면 이동객체의 위치, 움직임, 원근에 포커싱된 영상을 생성하여 CCTV 관제요원에게 제공할 수 있다.

[도 10]은 본 발명에 따라 압축영상에 포함되어 있는 움직임 벡터를 3차원 모델링함으로써 압축영상을 색상 기반으로 원근 시각화 표시 처리하는 전체 프로세스를 나타내는 순서도이다. [도 10]의 내용은 [도 2]를 참조하여 전술한 내용과 공통점이 많기 때문에 [도 2]와 중복되는 부분에 대한 설명은 생략하고 [도 2]와 차이나는 점을 중심으로 기술한다.

단계 (S210) : 먼저, 동영상 디코딩 장치는 H.264 AVC 및 H.265 HEVC 등과 같은 압축영상의 비트스트림을 파싱하여 영상 블록 별로 움직임 벡터를 획득하는데, 이는 [도 2]의 단계 (S110)과 공통된다.

단계 (S220) : 다음으로, 미리 설정된 원형 HSV 색상팔레트에 그 획득된 움직임 벡터의 속성, 즉 크기 성분, 방향 성분, 검출위치 값을 매핑하여 움직임 벡터에 대응하는 매핑 색상을 획득한다.

본 발명에서 활용 가능한 원형 HSV 색상팔레트는 색조(H), 채도(S), 명도(V)에 대응하여 색상을 입체적으로 대응시키는데 [도 8]과 [도 9]에 이러한 원형 HSV 색상팔레트의 일 예를 제시하였다. 먼저, 깔데기 수직 높이에 대응하여 명도(V)와 채도(S) 중 어느 하나가 설정된다. 이 값을 결정하면 깔데기의 수직 높이에 대응하여 깔데기 단면을 가상으로 형성할 수 있는데, 이를 단면 색상환이라고 부른다. 이 단면 색상환은 중심에서의 거리에 대응하여 명도(V)와 채도(S) 중 다른 하나가 설정되고, 회전 방향에 대응하여 색조(H)가 설정되어 색상환 중심에서 반대 방향이면 상호 보색 관계로 대응하도록 설정되는 것이 바람직하다.

원형 HSV 색상팔레트에 움직임 벡터의 크기 성분, 방향 성분, 검출위치 값을 매핑하여 매핑 색상을 획득하는 과정에 대해 기술한다.

먼저, [도 8]의 좌측 상단에 도시한 바와 같이 움직임 벡터에 대해 크기 성분, 방향 성분, 검출위치 값을 식별한다. 이때, 움직임 벡터의 크기 성분과 방향 성분은 벡터(vector)의 수학적 정의에 따라 결정된다. 또한, 움직임 벡터의 검출위치 값은 해당 움직임 벡터가 귀속하는 영상 블록이 압축영상에서 미리 설정된 기준라인으로부터 이격 거리로 설정된다. [도 8]에서는 촬영영상의 하단이 기준라인으로 설정되었는데, 적용 분야의 속성 또는 설계자의 의도에 따라 기준라인은 이와는 상이하게 설정될 수도 있다.

다음으로, 움직임 벡터의 검출위치 값에 대응하여 원형 HSV 색상팔레트의 깔데기 수직 높이를 적용하며, 이를 통해 원형 단면으로 이루어지는 단면 색상환을 설정한다. [도 9]에 도시된 예에서는 움직임 벡터의 검출위치 값에 따라 해당 움직임 벡터의 매핑 색상에 대한 명도(V) 값을 결정된다. 명도 값이 결정되면, 해당 명도 값의 수직 높이에 따라 깔데기를 수평으로 잘라내어 원형 단면을 가상으로 형성할 수 있는데, 이를 단면 색상환이라고 부른다.

단면 색상환의 중심으로부터 움직임 벡터의 방향 성분 및 크기 성분에 기초하여 벡터 화살표를 오버레이시키고, 단면 색상환에서 벡터 화살표의 종점 지점의 색상을 움직임 벡터의 매핑 색상으로 설정한다. 이 과정은 [도 2]의 단계 (S120)과 관련하여 전술한 내용에 대응한다.

단계 (S230) : 이상의 과정을 통하여 단계 (S220)에서 획득한 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는데, 이는 [도 2]의 단계 (S130)과 공통된다.

단계 (S240, S250) : 이때, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하고, 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정한다.

이 과정은 [도 2]의 단계 (S140, S150)과 관련하여 전술한 내용에 대응한다. 단계 (S140, S150)는 2차원 색상환을 사용한 경우이고 단계 (S240, S250)은 3차원의 원형 HSV 색상팔레트를 사용한 경우라는 점에서는 차이가 있다. 하지만, 움직임 벡터의 산출 속성을 고려하여 이동객체의 내부를 인터폴레이션하는 취지와 그 이유는 차이가 없다.

단계 (S260) : 다음으로, 디스플레이 화면 상에 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는데, 이를 통해 [도 8]의 하단 우측과 같은 압축영상 원근 시각화 표시가 구현된다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (6)

1. 압축영상의 비트스트림을 파싱하여 영상 블록 별로 움직임 벡터를 획득하는 제 1 단계;
   미리 설정된 원형 HSV 색상팔레트에 상기 획득된 움직임 벡터의 크기 성분, 방향 성분, 검출위치 값을 매핑하여 상기 획득된 움직임 벡터에 대응하는 매핑 색상을 획득하는 제 2 단계;
   상기 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는 제 3 단계;
   디스플레이 화면 상에 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는 제 4 단계;
   를 포함하여 구성되고,
   상기 제 2 단계는,
   상기 움직임 벡터에 대해 크기 성분, 방향 성분, 검출위치 값을 식별하는 제 21 단계;
   상기 움직임 벡터의 검출위치 값에 대응하여 미리 설정된 원형 HSV 색상팔레트의 깔데기 수직 높이를 적용하여 원형 단면으로 이루어지는 단면 색상환을 설정하는 제 22 단계;
   상기 단면 색상환의 중심으로부터 상기 방향 성분 및 상기 크기 성분에 기초하여 벡터 화살표를 오버레이하는 제 23 단계;
   상기 단면 색상환에서 상기 벡터 화살표의 종점 지점의 색상을 상기 움직임 벡터의 매핑 색상으로 설정하는 제 24 단계;
   를 포함하여 구성되는 것을 특징으로 하는 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법.
   
2. 청구항 1에 있어서,
   상기 제 3 단계와 상기 제 4 단계 사이에 수행되는,
   매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하는 단계;
   상기 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 상기 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 단계;
   를 더 포함하여 구성되는 것을 특징으로 하는 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법.
   
3. 삭제
4. 청구항 1에 있어서,
   상기 움직임 벡터의 검출위치 값은 해당 움직임 벡터가 귀속하는 영상 블록이 압축영상에서 미리 설정된 기준라인으로부터 이격 거리로 설정되는 것을 특징으로 하는 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법.
   
5. 청구항 4에 있어서,
   상기 원형 HSV 색상팔레트는 깔데기 수직 높이에 대응하여 명도(V)와 채도(S) 중 어느 하나가 설정되며, 상기 단면 색상환은 중심에서의 거리에 대응하여 명도(V)와 채도(S) 중 다른 하나가 설정되고 회전 방향에 대응하여 색조(H)가 설정되어 색상환 중심에서 반대 방향이면 상호 보색 관계로 대응하도록 설정되는 것을 특징으로 하는 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법.
   
6. 하드웨어와 결합되어 청구항 1, 2, 4, 5 중 어느 하나의 항에 따른 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.

Images