KR101946256B1 - 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법 - Google Patents

압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법 Download PDF

Info

Publication number
KR101946256B1
KR101946256B1 KR1020180079653A KR20180079653A KR101946256B1 KR 101946256 B1 KR101946256 B1 KR 101946256B1 KR 1020180079653 A KR1020180079653 A KR 1020180079653A KR 20180079653 A KR20180079653 A KR 20180079653A KR 101946256 B1 KR101946256 B1 KR 101946256B1
Authority
KR
South Korea
Prior art keywords
motion vector
color
image
mapping
motion
Prior art date
Application number
KR1020180079653A
Other languages
English (en)
Inventor
기창서
이현우
정승훈
이성진
Original Assignee
이노뎁 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이노뎁 주식회사 filed Critical 이노뎁 주식회사
Priority to KR1020180079653A priority Critical patent/KR101946256B1/ko
Application granted granted Critical
Publication of KR101946256B1 publication Critical patent/KR101946256B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 일반적으로 비디오 디코딩에서 움직임 보상(motion compensation)에 활용하라는 취지로 압축영상의 데이터(compressed video data)에 삽입되어 전송되는 움직임 벡터 정보를 사람이 디스플레이 화면 상에서 직접 눈으로 인식할 수 있도록 시각화 표시 처리하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 압축영상의 데이터를 파싱하여 움직임 벡터(motion vector)를 도출한 후에 움직임 벡터의 크기 성분과 방향 성분을 색상환에 매핑하여 해당 영상 블록에 오버레이 표시함으로써 움직임 벡터를 디스플레이 화면 상에 시각화 표시 처리하고 이를 통해 사람이 디스플레이 화면에서 이동객체의 존재 및 그 움직임 특성을 직관적으로 식별해낼 수 있게 해주는 기술에 관한 것이다. 본 발명에 따르면 영상 내에 존재하는 이동객체의 존재 및 그 움직임 특성을 디스플레이 화면에서 효과적으로 식별할 수 있어 영상을 활용하는 여러 분야에서 운영 효율을 높일 수 있는 장점이 있다. 예를 들어, CCTV 영상관제 분야에서는 다수의 CCTV 화면을 모니터링하는 관제요원이 용의자나 역주행 차량 등을 효과적으로 검출할 수 있게 되는 것이다.

Description

압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법 {method of processing compressed video for visual presentation of motion vectors of the same}
본 발명은 일반적으로 비디오 디코딩에서 움직임 보상(motion compensation)에 활용하라는 취지로 압축영상의 데이터(compressed video data)에 삽입되어 전송되는 움직임 벡터 정보를 사람이 디스플레이 화면 상에서 직접 눈으로 인식할 수 있도록 시각화 표시 처리하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 압축영상의 데이터를 파싱하여 움직임 벡터(motion vector)를 도출한 후에 움직임 벡터의 크기 성분과 방향 성분을 색상환에 매핑하여 해당 영상 블록에 오버레이 표시함으로써 움직임 벡터를 디스플레이 화면 상에 시각화 표시 처리하고 이를 통해 사람이 디스플레이 화면에서 이동객체의 존재 및 그 움직임 특성을 직관적으로 식별해낼 수 있게 해주는 기술에 관한 것이다.
최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 지역별로 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제요원이 발견하게 되면 그 즉시 적절하게 대처하는 한편, 필요에 따라서는 사후증거 확보를 위해 스토리지에 저장되어 있는 영상을 검색하는 것이다.
그런데. CCTV 카메라의 설치 현황에 비해 관제요원의 인원 수는 매우 부족한 것이 현실이다. 이처럼 제한된 인원으로 영상 감시를 효과적으로 수행하려면 CCTV 영상을 모니터 화면에 단순 표시하는 것만으로는 충분하지 않다. 각각의 CCTV 영상에 존재하는 객체의 움직임을 감지하여 실시간으로 해당 영역에 무언가 추가 표시함으로써 효과적으로 발견되도록 처리하는 것이 바람직하다. 이러한 경우에 관제요원은 CCTV 영상 전체를 균일한 관심도를 가지고 지켜보는 것이 아니라 객체 움직임이 있는 부분을 중심으로 CCTV 영상을 감시하면 된다.
한편, 영상감지 시스템에서는 스토리지 공간의 효율을 위해 압축영상을 채택하고 있다. 특히 최근에는 CCTV 카메라의 설치 대수가 급속하게 증가하고 고화질 카메라가 주로 설치됨에 따라 H.264 AVC 및 H.265 HEVC 등과 같은 고압축율의 복잡한 영상압축 기술이 채택되고 있다.
동영상 데이터를 생성하는 카메라 장치에서는 이들 기술규격 중 어느 하나에 따라 압축영상을 생성하여 제공하며, 동영상을 재생하는 장치에서는 이러한 압축영상을 전달받으면 그 압축영상을 인코딩할 때 적용했던 기술규격에 따라 역으로 디코딩을 수행한다. 영상압축 기술이 적용된 CCTV 영상에서 객체 움직임 유무를 판단하려면 종래에는 압축영상을 디코딩하여 재생영상, 즉 압축이 풀린 원래 영상을 얻은 후에 이미지 처리하는 과정이 필요하였다.
[도 1]은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. [도 1]을 참조하면, H.264 AVC에 따른 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 움직임 벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다.
이들 하드웨어 모듈이 압축영상의 데이터를 순차적으로 처리함으로써 동영상에 대해 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 영상처리 단계의 비교적 앞단에 위치하는 구문분석기(11)는 압축영상의 코딩 유닛(영상 블록)에 대해 신택스 정보, 예컨대 움직임 벡터를 파싱한다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상 블록인데, 기술규격에 따라서 다양하게 정의될 수 있다.
종래기술에서는 CCTV 관제영상으로부터 관제요원에게 무언가 정보를 제공하려면 일단 압축영상을 디코딩하여 원래의 영상을 구한 후에 추가로 다운스케일 리사이징과 영상 분석을 수행하였다. 이들은 복잡도가 매우 높은 프로세스이고, 그로 인해 종래의 영상관제 시스템에서는 한 대의 영상분석 서버가 동시 처리할 수 있는 용량이 상당히 제한되어 있다. 현재 고성능의 영상분석 서버가 커버할 수 있는 최대 CCTV 채널은 통상 최대 16 채널이다. 다수의 CCTV 카메라가 설치되므로 영상관제 시스템에는 다수의 영상분석 서버가 필요하였고, 이는 비용 증가와 물리적 공간 확보의 어려움이라는 문제점을 유발하였다.
대규모의 영상관제 시스템을 구축 및 유지하는 데에는 상당한 예산이 소요되는 바, 그에 상당하는 효용가치가 요구되고 있다. 그러한 요구의 기본 방향은 범죄 예방 및 범죄증거 확보이다. 그에 따라, 주변 모습을 단순히 촬영하여 관제요원에게 제공하는 것에서 그칠 것이 아니라 문제발생 소지가 높은 특수한 상황을 영상관제 시스템이 감지하여 관제요원에게 두드러지게 보여줄 필요가 있다. 이때, 시스템 구축 비용과 시스템 공간 확보라는 현실적인 문제를 고려하여 그 구현기술은 매우 효과적으로 동작해야만 한다.
본 발명의 목적은 일반적으로 비디오 디코딩에서 움직임 보상에 활용하라는 취지로 압축영상의 데이터에 삽입되어 전송되는 움직임 벡터 정보를 사람이 디스플레이 화면 상에서 직접 눈으로 인식할 수 있도록 시각화 표시 처리하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 압축영상의 데이터를 파싱하여 움직임 벡터를 도출한 후에 움직임 벡터의 크기 성분과 방향 성분을 색상환에 매핑하여 해당 영상 블록에 오버레이 표시함으로써 움직임 벡터를 디스플레이 화면 상에 시각화 표시 처리하고 이를 통해 사람이 디스플레이 화면에서 이동객체의 존재 및 그 움직임 특성을 직관적으로 식별해낼 수 있게 해주는 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명에 따른 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법은, 압축영상의 비트스트림을 파싱하여 영상 블록 별로 움직임 벡터를 획득하는 제 1 단계; 미리 설정된 색상환에 그 획득된 움직임 벡터 각각을 매핑하여 그 획득된 움직임 벡터에 대응하는 매핑 색상을 획득하는 제 2 단계; 그 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는 제 3 단계; 디스플레이 화면 상에 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는 제 4 단계;를 포함하여 구성된다.
이때, 본 발명은 제 3 단계와 제 4 단계 사이에 수행되는, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하는 단계; 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 단계;를 더 포함하여 구성될 수 있다.
또한, 제 2 단계는, 움직임 벡터에 대해 크기 성분과 방향 성분을 식별하는 제 21 단계; 미리 설정된 색상환의 중심으로부터 방향 성분 및 크기 성분에 기초하여 벡터 화살표를 오버레이하는 제 22 단계; 색상환에서 벡터 화살표의 엔드 터미널 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 제 23 단계;를 포함하여 구성될 수 있다.
또한, 본 발명에서 움직임 벡터와 매핑하기 위한 색상환은 상호 근접하면 상호 유사한 색상을 나타내고 색상환 중심에서 반대 방향이면 상호 보색 관계로 대응하도록 설정되는 것이 바람직하다.
한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명에 따르면 영상 내에 존재하는 이동객체의 존재 및 그 움직임 특성을 디스플레이 화면에서 효과적으로 식별할 수 있어 영상을 활용하는 여러 분야에서 운영 효율을 높일 수 있는 장점이 있다. 예를 들어, CCTV 영상관제 분야에서는 다수의 CCTV 화면을 모니터링하는 관제요원이 용의자나 역주행 차량 등을 효과적으로 검출할 수 있게 되는 것이다.
[도 1]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
[도 2]는 본 발명에 따른 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법의 전체 프로세스를 나타나는 순서도.
[도 3]과 [도 4]는 본 발명에 따른 움직임 벡터의 시각화 처리 전후를 대비하여 나타내는 도면.
[도 5]는 본 발명에 따라 움직임 벡터를 색상환에 매핑하는 개념을 나타내는 도면.
[도 6]은 본 발명에 따라 압축영상에서 움직임 벡터를 시각화 표시한 결과를 개념적으로 나타내는 도면.
[도 7]은 본 발명에 따른 움직임 벡터의 시각화 처리에서 이동객체의 내부 영역에 대한 처리를 개념적으로 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 2]는 본 발명에 따른 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법의 전체 프로세스를 나타나는 순서도이다. 예를 들어 CCTV 카메라가 압축영상을 실시간으로 생성하여 지속적으로 전송해주면 그 데이터를 파싱하여 움직임 벡터를 도출하고 이를 시각화하여 디스플레이 화면에 표시하는 것이다. 압축영상으로부터 움직임 벡터를 도출하는 것은 압축영상을 재생하는 것에 비해 프로세싱 부담이 훨씬 적기 때문에 효과적인 접근방식이다.
단계 (S110) : 먼저, 압축영상의 비트스트림을 파싱하여 영상 블록 별로 움직임 벡터를 획득한다. [도 1]을 참조하면, 동영상 디코딩 장치는 압축영상의 스트림에 대해 H.264 AVC 및 H.265 HEVC 등과 같은 동영상압축 표준에 따라 구문분석(헤더 파싱) 및 움직임 벡터 연산을 수행한다. 이러한 과정을 통하여 압축영상에 대하여 영상 블록 별로 움직임 벡터를 얻는다. 압축영상을 구성하는 모든 영상 블록에 대해 움직임 벡터가 도출되는 것은 아니고, 일부에서만 움직임 벡터가 도출되고 나머지에서는 움직임 벡터가 도출되지 않는다.
단계 (S120) : 미리 설정된 색상환에 그 획득된 움직임 벡터 각각을 매핑하여 그 획득된 움직임 벡터에 대응하는 매핑 색상을 획득한다.
일반적으로 움직임 벡터는 비디오 디코딩 과정에서 움직임 보상에 활용하라는 취지로 제공되는 정보로서 움직임 벡터 자체가 디스플레이 화면에 시각적으로 표현되는 일은 존재하지 않았다.
움직임 벡터는 크기 성분과 방향 성분을 가지고 있는데, 이들 성분을 이용하여 본 발명에서는 미리 준비해둔 색상환에 움직임 벡터를 매핑한다. 본 발명에서 색상환에 움직임 벡터를 매핑하는 개념은 [도 5]를 참조하여 구체적으로 후술하며, 이와 같은 매핑(mapping)의 결과로 각각의 움직임 벡터마다 각자 크기와 방향에 대응하여 매핑 색상을 획득한다.
단계 (S130) : 그 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정한다. 압축영상을 구성하는 일부 영상 블록에 대해 움직임 벡터가 산출되며, 각각의 움직임 벡터에 대해 매핑 색상이 획득되었다. 이에, 움직임 벡터가 산출된 영상 블록에 대해서는 해당 움직임 벡터로부터 얻어진 매핑 색상을 설정한다. 이를 통해, 움직임 벡터가 산출된 영상 블록에 대해서는 그 움직임 벡터의 크기와 방향에 대응하는 색상이 설정되었다.
단계 (S140, S150) : 이때, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하고, 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정한다.
이상에서는 압축영상의 인코딩 규격에 의해 영상 블록 단위로 다루었지만 일반적으로 영상기반 시스템(예: CCTV 영상관제)에서는 영상 블록 자체는 별다른 의미가 없고 이동객체(moving object)가 관심 단위이다. 일정 사이즈 이상의 객체가 이동하는 경우에, 그 바운더리 부분에 대응하는 영상 블록에는 움직임 벡터가 얻어지는 반면, 그 내부영역에 대응하는 영상 블록에는 움직임 벡터가 얻어지지 않는 것이 일반적이다. 그에 따라, 이상의 과정(S110 ~ S130)에 의해서는 하나의 이동객체에 대하여 그 바운더리의 영상 블록에는 매핑 색상이 설정되는 반면, 그 내부영역의 영상 블록에는 색상이 설정되지 않은 상태로 남겨져 마치 아무런 움직임이 없는 백그라운드처럼 다루어진다.
이 상태를 방치하는 경우에는 하나의 이동객체가 제대로 다루어지지 않고 여러 개의 작은 조각처럼 다루어지기 때문에 디스플레이 화면이 어지럽게 표시되는 문제가 발생한다. 그러한 화면에서는 관제요원이 정보를 얻기가 곤란하므로 본 발명의 효용가치가 크게 떨어지는 것이다.
이에, 이동객체의 내부영역에는 움직임 벡터가 도출되지 않지만 이를 둘러싸는 바운더리 영역에는 움직임 벡터가 도출된다는 점을 활용한다. 즉, 매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 영상블록을 식별하면 이를 이동객체의 내부영역이라고 간주하고 '객체내부 영상블록'이라고 부른다. 객체내부 영상블록에는 움직임 벡터가 없기 때문에 그 자체적으로는 매핑 색상을 얻지 못하고, 당해 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 매핑 색상을 구한다. 예를 들어, 평균 색상을 구할 수 있다. 이는 영상 블록의 매핑 색상 설정에 대한 인터폴레이션 과정에 해당하며, 객체 단위에서는 내부 영역을 채우는 과정에 해당한다.
단계 (S160) : 압축영상에 대한 디스플레이 화면 상에 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는데, 이를 통해 압축영상에 대해 움직임 벡터의 시각화가 달성된다.
[도 3]과 [도 4]는 본 발명에 따른 움직임 벡터의 시각화 처리 전후를 대비하여 나타내는 도면이다. [도 3]에는 압축영상을 재생할 화면과 이때 영상블록 별로 도출되는 움직임 벡터를 빗금으로 병기하였다. [도 3]을 참조하면 촬영 영상에서 움직임이 있는 부분에만 움직임 벡터가 나타나고, 그렇지 않은 영역에는 움직임 벡터가 도출되지 않는다는 것을 확인할 수 있다.
[도 4]는 움직임 벡터를 색상환에 매핑하여 시각화 표시한 결과를 나타내는데, 촬영 영상에서 움직임이 있는 객체가 뚜렷하게 드러날 뿐만 아니라 이동 방향이 색상에 반영되어 관제요원이 그 상황을 식별하기가 용이하다. 즉, [도 4]에서 유사한 방향으로 이동하고 있는 2명의 사람은 매우 유사한 색상으로 표시된 반면, 서로 상이한 방향으로 이동하고 있는 2대의 차량은 완전히 상이한 색상으로 표시되어 있다. [도 4]를 참조하면, 재생영상을 확인하지 않아도 관제요원은 3 방향으로 이동하는 객체가 존재한다는 것을 식별할 수 있다.
보안영상 등과 같이 촬영 영상에서 중요한 부분을 집중하여 모니터링하는 경우에 영상 내에서 움직이는 객체의 변화하는 부분을 표출할 수 있다면 대단히 효과적인 모니터링을 할 수 있는데, 본 발명은 그러한 요구를 충족시켜줄 수 있는 유용한 기술이 된다.
[도 5]는 본 발명에 따라 움직임 벡터를 색상환에 매핑하는 개념을 나타내는 도면이다.
본 발명에서 색상환은 미리 설정해둔 것인데, 색상환이 바람직하게 갖추어야 할 요건을 정리하면, 먼저 상호 근접하면 상호 유사한 색상을 나타내어 근처색은 움직임의 유사도를 나타내도록 구성되고, 색상환 중심을 기점으로 서로 반대 방향이면 상호 보색 관계가 되도록 구성되며, 보색의 좌우 근처의 색은 반대색을 나타내도록 구성되는 것이 영상 관제 등의 용도에 유용하다.
종래의 색상환들 중에서 이 요건에 적합한 것으로는 먼셀 색상환(Munsell color circle)이 있는데, 본 발명의 권리범위는 먼셀 색상환에만 한정하는 것은 아니고 다른 색상환도 사용될 수 있다.
움직임 벡터를 색상환에 매핑하기 위해서는, 먼저 움직임 벡터에 대해 크기 성분과 방향 성분을 식별하고, 색상환의 중심으로부터 방향 성분 및 크기 성분에 기초하여 벡터 화살표를 오버레이한다. 그리고 나서, 색상환에서 벡터 화살표의 엔드 터미널(end terminal, arrow point) 지점의 색상을 움직임 벡터의 매핑 색상으로 설정하는 과정을 거친다.
[도 6]은 본 발명에 따라 압축영상에서 움직임 벡터를 시각화 표시한 결과를 개념적으로 나타내는 도면이다.
도로에서 다수의 차량이 좌우로 이동하는 상황을 촬영하여 압축영상으로 전달한 경우인데, 압축영상을 파싱하면 각 차량의 영상 블록에 대해 해당 차량의 주행 방향에 맞게 움직임 벡터가 도출된다.
색상환의 속성상 반대 방향은 보색 관계이므로 서로 반대 방향으로 주행하는 차량들이 확연하게 드러나게 된다. 만일, 도로에 역주행하는 차량이 존재한다면 보색으로 표시된 색상 덩어리가 중간에 두드러지게 나타나게 되므로 관제요원이 그 즉시 파악하고 조치를 취할 수 있게 되는 것이다.
[도 7]은 본 발명에 따른 움직임 벡터의 시각화 처리에서 이동객체의 내부 영역 처리 과정을 나타내는 도면이다.
압축영상을 생성하는 인코딩 규칙의 속성상, 일정 사이즈 이상의 객체가 이동하는 경우에, 그 바운더리 부분에 대응하는 영상 블록에는 움직임 벡터가 얻어지는 반면, 그 내부영역에 대응하는 영상 블록에는 움직임 벡터가 얻어지지 않는 경우가 발생할 수 있다. [도 7]의 좌측을 참조하면 차량 이미지의 내부에 움직임 벡터가 없는 영상 블록이 2개 존재한다.
이 상태를 그대로 방치하면 하나의 이동객체가 제대로 다루어지지 않고 여러 개의 작은 조각처럼 다루어지기 때문에 디스플레이 화면이 어지럽게 표시되는 문제가 발생한다. [도 7]에서도 색상 표시가 차량 하나의 큰 덩어리로 표시되지 않고 2개 내지 4개의 조각으로 인식 가능하게 표시된다. 그러한 화면에서는 관제요원이 유용한 정보를 얻기가 곤란하다.
이에, 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 매핑 색상을 구하는 인터폴레이션 설정 과정을 수행한다. 이때, 바람직하게는 움직임 벡터 평균으로 중심색을 결정하여 객체내부 영상블록의 매핑 색상으로 설정할 수 있는데, 이를 통해 주변 영역과 일체로 이동하는 것을 시각화할 수 있다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (5)

  1. 압축영상의 비트스트림을 파싱하여 영상 블록 별로 움직임 벡터를 획득하는 제 1 단계;
    미리 설정된 색상환에 상기 획득된 움직임 벡터 각각을 매핑하여 상기 획득된 움직임 벡터에 대응하는 매핑 색상을 획득하는 제 2 단계;
    상기 획득된 매핑 색상을 그 대응하는 움직임 벡터가 귀속하는 영상 블록에 대해 설정하는 제 3 단계;
    매핑 색상이 설정된 복수의 영상 블록에 의해 둘러싸인 객체내부 영상블록을 식별하는 단계;
    상기 객체내부 영상블록을 둘러싸는 복수의 영상 블록에 설정된 매핑 색상을 집합적으로 연산하여 상기 객체내부 영상블록의 매핑 색상을 인터폴레이션 설정하는 단계;
    디스플레이 화면 상에 각각의 영상 블록에 대해 설정된 매핑 색상을 표시하는 제 4 단계;
    를 포함하여 구성되는 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 제 2 단계는,
    상기 움직임 벡터에 대해 크기 성분과 방향 성분을 식별하는 제 21 단계;
    미리 설정된 색상환의 중심으로부터 상기 방향 성분 및 상기 크기 성분에 기초하여 벡터 화살표를 오버레이하는 제 22 단계;
    상기 색상환에서 상기 벡터 화살표의 엔드 터미널 지점의 색상을 상기 움직임 벡터의 매핑 색상으로 설정하는 제 23 단계;
    를 포함하여 구성되는 것을 특징으로 하는 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법.
  4. 청구항 3에 있어서,
    상기 색상환은 상호 근접하면 상호 유사한 색상을 나타내고 색상환 중심에서 반대 방향이면 상호 보색 관계로 대응하도록 설정되는 것을 특징으로 하는 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법.
  5. 하드웨어와 결합되어 청구항 1, 3, 4 중 어느 하나의 항에 따른 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
KR1020180079653A 2018-07-09 2018-07-09 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법 KR101946256B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079653A KR101946256B1 (ko) 2018-07-09 2018-07-09 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079653A KR101946256B1 (ko) 2018-07-09 2018-07-09 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법

Publications (1)

Publication Number Publication Date
KR101946256B1 true KR101946256B1 (ko) 2019-02-11

Family

ID=65369630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079653A KR101946256B1 (ko) 2018-07-09 2018-07-09 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법

Country Status (1)

Country Link
KR (1) KR101946256B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190903A (ja) * 2019-05-21 2020-11-26 キヤノン株式会社 画像処理装置および画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074513A (ja) * 2004-09-02 2006-03-16 Oki Electric Ind Co Ltd 監視システム及び監視装置
JP2006211166A (ja) 2005-01-27 2006-08-10 Victor Co Of Japan Ltd 監視システム
JP2011259174A (ja) * 2010-06-08 2011-12-22 Renesas Electronics Corp 動きベクトル表示回路及び動きベクトル表示方法
JP2014508455A (ja) 2011-01-28 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 動くオブジェクトの動きベクトルに基づく比較

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074513A (ja) * 2004-09-02 2006-03-16 Oki Electric Ind Co Ltd 監視システム及び監視装置
JP2006211166A (ja) 2005-01-27 2006-08-10 Victor Co Of Japan Ltd 監視システム
JP2011259174A (ja) * 2010-06-08 2011-12-22 Renesas Electronics Corp 動きベクトル表示回路及び動きベクトル表示方法
JP2014508455A (ja) 2011-01-28 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 動くオブジェクトの動きベクトルに基づく比較

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190903A (ja) * 2019-05-21 2020-11-26 キヤノン株式会社 画像処理装置および画像処理方法およびプログラム

Similar Documents

Publication Publication Date Title
US10636263B2 (en) Method of encoding an image including a privacy mask
US10958942B2 (en) Processing spherical video data
US20120275524A1 (en) Systems and methods for processing shadows in compressed video images
US10277901B2 (en) Encoding a video stream having a privacy mask
JP2010136032A (ja) 映像監視システム
KR20160126861A (ko) 비디오 카메라 내의 비디오 스트림을 프로세싱하는 방법 및 디바이스
KR102090785B1 (ko) 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
US20200322639A1 (en) Syntax-based method of detecting object intrusion in compressed video
KR20200071886A (ko) 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
JP2012244574A (ja) 映像監視装置
KR101946256B1 (ko) 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법
KR102014545B1 (ko) 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법
US20200221115A1 (en) Syntax-based Method of Extracting Region of Moving Object in Compressed Video
KR102177494B1 (ko) 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법
KR102015082B1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
KR102211448B1 (ko) 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법
KR102015084B1 (ko) 압축영상에 대한 신택스 기반의 도로 역주행 감지 방법
CN106303366B (zh) 一种基于区域分类编码的视频编码的方法及装置
CN110958460B (zh) 一种视频存储方法、装置、电子设备及存储介质
KR102061915B1 (ko) 압축영상에 대한 신택스 기반의 객체 분류 방법
CN112911299B (zh) 一种视频码率控制方法、装置、电子设备和存储介质
KR102178952B1 (ko) 압축영상에 대한 신택스 기반의 mrpn-cnn을 이용한 객체 분류 방법
KR102139857B1 (ko) 영상 보안 관제 방법 및 그 장치
Sowmya et al. Object based forgery detection and localization in videos
KR102343029B1 (ko) 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant