KR102238124B1 - Detection System For Reverse Direction Moving Object - Google Patents

Detection System For Reverse Direction Moving Object Download PDF

Info

Publication number
KR102238124B1
KR102238124B1 KR1020200058000A KR20200058000A KR102238124B1 KR 102238124 B1 KR102238124 B1 KR 102238124B1 KR 1020200058000 A KR1020200058000 A KR 1020200058000A KR 20200058000 A KR20200058000 A KR 20200058000A KR 102238124 B1 KR102238124 B1 KR 102238124B1
Authority
KR
South Korea
Prior art keywords
color
hsv
fuzzy
module
map
Prior art date
Application number
KR1020200058000A
Other languages
Korean (ko)
Inventor
고영호
이윤진
Original Assignee
주식회사 다누시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다누시스 filed Critical 주식회사 다누시스
Application granted granted Critical
Publication of KR102238124B1 publication Critical patent/KR102238124B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a system for detecting an object moving in reverse direction capable of allowing a control agent to intuitively determine the moving direction of the object by detecting the object based on a motion vector, displaying the same as complementary color visualization information according to the moving direction of the detected object, and providing the same to the control agent. The system for detecting the object moving in reverse direction comprises: an image packet receiver; a motion vector extractor; a color wheel module; and a mapping module.

Description

역주행 객체 검출 시스템{Detection System For Reverse Direction Moving Object}Detection System For Reverse Direction Moving Object}

본 발명은 영상을 분석해 영상 내에 존재하는 객체에 대한 설정 이벤트를 검출하는 기술분야에 관한 속한다.The present invention relates to the technical field of analyzing an image and detecting a setting event for an object existing in an image.

현재, 인공지능(AI) 및 딥러닝 등 논리적인 연산과정을 통해 값을 산출하는 기술이 빠르게 발전하고 있다. 아울러, 다양한 기술분야로 확장되고 있으며 전술한 기술 발전과 맞물려 접속된 다양한 기술 또한 발전되고 있다. 일례로, 인공지능과 같은 논리적인 연산을 통해 특정값을 산출하는 기술은 폐회로 텔레비전(CCTV: Closed Circuit Television)과 결합되어 과거 폐회로 텔레비전이 갖는 한계를 뛰어넘는 선별관제시스템 기술로 발전되고 있다.Currently, technologies for calculating values through logical computational processes such as artificial intelligence (AI) and deep learning are rapidly developing. In addition, it is expanding to various technical fields, and various technologies connected in conjunction with the above-described technological development are also being developed. For example, a technology for calculating a specific value through a logical operation such as artificial intelligence is being combined with a closed circuit television (CCTV) to develop a selective control system technology that goes beyond the limitations of the past closed circuit television.

선별과제시스템 기술은 사전에 설정된 객체를 검출하고, 검출된 객체의 이동에 대한 정보를 모니터링 요원에 제공하며 관제요원이 보다 효과적으로 모니터링할 수 있도록 돕는 기술이 된다.The screening task system technology is a technology that detects objects set in advance, provides information on movement of detected objects to monitoring personnel, and helps control personnel to monitor more effectively.

그러나, 현재 개발된 선별과제시스템은 대다수 폐회로 텔레비전에서 촬영된 영상을 영상패킷으로 변환하고, 변환된 영상패킷을 영상프레임으로 디코딩하고, 디코딩된 영상프레임 가운데 이상 객체를 탐지하는 구조로 진행되고 있다. 즉, 현재의 선별과제 시스템은 정확한 객체를 감지하기 위해 수신된 데이터를 디코딩하여 영상으로 만들고 이를 기반으로 분석하고 있다.However, the currently developed screening task system is proceeding with a structure that converts images captured on most closed-circuit televisions into image packets, decodes the converted image packets into image frames, and detects abnormal objects among the decoded image frames. That is, the current screening task system decodes the received data into an image and analyzes it based on this in order to detect an accurate object.

이와 같은 방식의 선별과제시스템은 객체를 검출하는데 많은 리소스를 사용하는 문제와 많은 리소스의 사용에도 불구하고, 객체의 종류 및 위치 정보 등을 정확히 검출할 수 없는 문제를 가지고 있다. 특히, 정주행하는 차량과 역주행하는 차량을 구분하지 못하는 문제하며 서로 다른 방향으로 이동하는 차량을 직관적으로 식별할 수 있는 이미지를 산출하지 못하는 문제가 있다.The sorting task system of this type has a problem of using a lot of resources to detect an object and a problem in that it cannot accurately detect the type and location information of an object despite the use of a large number of resources. In particular, there is a problem in that it is not possible to distinguish between a vehicle traveling in a steady manner and a vehicle traveling in reverse, and an image capable of intuitively identifying a vehicle moving in different directions cannot be calculated.

대한민국 등록특허 제10-2042397호 (공고일자: 2019.11.8)Republic of Korea Patent Registration No. 10-2042397 (announcement date: 2019.11.8)

이에, 본 발명은 모션벡터를 기반으로 객체를 정확하게 검출하고, 검출된 객체의 주행 방향에 따라 시각화 정보로 나타내어 관제요원에게 제공함으로써 기존의 시스템이 갖는 문제 즉, 관제요원이 객체의 주행방향을 직관적으로 파악할 수 있도록 하는 데이터를 제공하지 못하는 문제를 해결하고자 한다.Accordingly, the present invention accurately detects an object based on a motion vector, and provides visualization information according to the movement direction of the detected object to the control personnel, thereby providing the control personnel intuitively to the problem of the existing system, that is, the driving direction of the object. We are trying to solve the problem of not providing data that can be grasped.

본 발명의 해결 하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to the problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 역주행 객체 검출 시스템은, 영상프레임을 영상패킷으로 변환시키는 카메라부와 데이터 통신 가능하게 연결되어, 상기 영상패킷을 시간의 경과에 따라 순차적으로 수신하는 수신모듈과 상기 영상패킷을 순차적으로 저장하는 저장모듈을 포함하여 상기 영상패킷을 수신해 순차적으로 저장하는 영상패킷수신부;The reverse-driving object detection system of the present invention for achieving the problem to be solved is connected to a camera unit that converts an image frame into an image packet in a data communication manner, and receives the image packet sequentially as time passes. An image packet receiver configured to receive and sequentially store the image packets, including a module and a storage module sequentially storing the image packets;

상기 영상패킷수신부에서 상기 영상패킷을 파싱(Parasing)하는 파싱모듈과 복수 개의 모션벡터와 복수 개의 상기 모션벡터를 하나씩 포함하는 화소블록을 추출하는 추출모듈을 포함하여, 상기 영상패킷으로부터 상기 모션벡터 및 화소블록을 추출하는 모션벡터추출부;Including a parsing module for parsing the video packet by the video packet receiving unit and an extraction module for extracting a pixel block including a plurality of motion vectors and a plurality of motion vectors one by one, and the motion vector and A motion vector extractor for extracting a pixel block;

하나의 휠의 중심점을 기준으로 대향되는 위치에 서로 반대되는 색이 위치하며 상기 중심점에서 외측으로 색채가 점차 진해지는 색상을 갖는 RGB색상휠을 포함하고 있는 색상휠모듈과 상기 모션벡터가 수신되면 상기 RGB색상휠에 각각의 상기 모션벡터를 중첩시켜 중첩되는 영역의 색상을 추출해 복수 개의 화소블록에 매핑시켜 상기 화소블록을 복수 개의 색상을 갖는 RGB동적객체와 하나의 색을 갖는 RGB배경객체로 형성시켜 하나의 RGB컬러맵을 형성시키는 매핑모듈을 포함해,When the color wheel module and the motion vector are received, the color wheel module including the RGB color wheel having colors that are located opposite to each other at a position opposite to the center point of one wheel, and whose color is gradually darkened from the center point to the outside, is received. By overlapping each of the motion vectors on the RGB color wheel, the color of the overlapping area is extracted and mapped to a plurality of pixel blocks to form the pixel block into an RGB dynamic object having a plurality of colors and an RGB background object having a color. Including a mapping module that forms a single RGB color map,

일방향 모션벡터에 의해 제1색상을 갖는 RGB동적객체를 생성하고 상기 일방향 모션벡터와 반대방향이 되는 역방향 모션벡터에 의해 상기 제1색상의 보색인 제2색상을 갖는 보색동적객체를 생성하는 컬러맵생성부;A color map that generates an RGB dynamic object having a first color by a one-way motion vector and a complementary dynamic object having a second color that is a complementary color of the first color by a reverse motion vector opposite to the one-way motion vector. Generation unit;

상기 RGB컬러맵의 색상채널(H), 채도채널(S), 명도채널(V) 중 어느 하나의 채널을 기준채널로 설정하는 정규화모듈과 상기 RGB컬러맵을 HSV컬러로 변환시켜 HSV컬러맵을 형성하는 HSV컬러변환모듈을 포함해 상기 RGB컬러맵을 상기 HSV컬러맵으로 변환시키는 HSV컬러변환부; 및A normalization module that sets any one of the color channel (H), saturation channel (S), and brightness channel (V) of the RGB color map as a reference channel, and converts the RGB color map to HSV color to convert the HSV color map. An HSV color conversion unit for converting the RGB color map into the HSV color map including an HSV color conversion module to form; And

상기 HSV컬러맵의 HSV동적객체의 채도값과 상기 HSV컬러맵의 HSV배경객체의 채도값을 추출하는 채도값추출모듈과 비선형 근방 연산을 사용하여 화상의 잡음을 제거하는 메디안필터를 생성해 상기 동적객체의 채도값과 상기 배경객체의 채도값을 재 배열한 후, 중간 채도값을 상기 동적객체의 중앙에 위치시켜 중간농도객체를 추출하는 필터모듈이 구비되어 상기 HSV컬러맵의 HSV동적객체와 HSV배경객체를 구분시키는 동적객체검출부를 포함할 수 있다.A saturation value extraction module that extracts the saturation value of the HSV dynamic object of the HSV color map and the saturation value of the HSV background object of the HSV color map, and a median filter that removes noise from the image using a nonlinear near operation After rearranging the saturation value of the object and the saturation value of the background object, a filter module is provided to extract the intermediate density object by placing the intermediate saturation value in the center of the dynamic object. It may include a dynamic object detection unit for classifying background objects.

상기 중간농도객체와 상기 RGB배경객체를 수신해, 상기 중간농도객체와 상기 RGB배경객체를 중첩시켜 출력하는 이동객체출력부를 포함할 수 있다.It may include a moving object output unit that receives the intermediate density object and the RGB background object, and outputs the intermediate density object and the RGB background object by overlapping them.

상기 HSV동적객체와 상기 HSV배경객체의 채도값과 색상값을 수신하는 퍼지수신모듈과 기준퍼지값과 기준퍼지수식이 기 설정되어 있고 상기 기준퍼지수식에 상기 HSV동적객체 및 상기 HSV배경객체의 채도값 그리고 상기 HSV동적객체 및 상기 HSV배경객체의 색상값을 넣어 제1연산퍼지값을 산출하는 퍼지값산출모듈 그리고 상기 HSV컬러맵에서 상기 제1연산퍼지값에 해당하는 색상을 추출해 퍼지맵을 형성하는 퍼지맵모듈,A fuzzy receiving module that receives the saturation and hue values of the HSV dynamic object and the HSV background object, and a reference fuzzy value and a reference fuzzy equation are set in advance, and the saturation of the HSV dynamic object and the HSV background object in the reference fuzzy equation A fuzzy value calculation module that calculates a first computational fuzzy value by putting a value and a color value of the HSV dynamic object and the HSV background object, and extracting a color corresponding to the first computational fuzzy value from the HSV color map to form a fuzzy map. Fuzzy map module,

상기 제1연산퍼지값과 상기 기준퍼지값을 대비해 상기 HSV동적객체에 해당하는 상기 제1연산퍼지값만 퍼지동적객체로 추출하고, 상기 HSV배경객체에 해당하는 상기 제1연산퍼지값을 삭제하는 동적객체표출모듈이 구비되어, HSV컬러맵을 퍼지맵으로 변환하여 퍼지맵에서 퍼지동적객체를 추출하는 퍼지맵생성부를 더 포함할 수 있다.Comparing the first computational fuzzy value and the reference fuzzy value, extracting only the first computational fuzzy value corresponding to the HSV dynamic object as a fuzzy dynamic object, and deleting the first computational fuzzy value corresponding to the HSV background object. The dynamic object display module may be provided, and may further include a fuzzy map generator configured to extract a fuzzy dynamic object from the fuzzy map by converting the HSV color map into a fuzzy map.

상기 중간농도객체 그리고 상기 퍼지동적객체가 수신되면 상기 중간농도객체 및 상기 퍼지동적객체를 역주행 객체로 판별하는 역주행객체판별부를 더 포함할 수 있다.When the intermediate density object and the fuzzy dynamic object are received, a reverse running object discrimination unit for determining the intermediate density object and the fuzzy dynamic object as a reverse running object may be further included.

본 발명에 따른 역주행 객체 검출 시스템은 모션벡터를 기반으로 객체를 검출하고, 검출된 객체의 주행 방향에 따라 보색의 시각화 정보로 나타낸다. 그리고 이를 관제요원에게 제공함으로써 관제요원이 객체의 주행방향을 직관적으로 판별할 수 있도록 한다.The reverse-running object detection system according to the present invention detects an object based on a motion vector, and displays it as visualization information of complementary colors according to the traveling direction of the detected object. And by providing this to the control personnel, the control personnel can intuitively determine the driving direction of the object.

도 1은 본 발명의 일 실시예에 따른 역주행 객체 검출 시스템의 블록도이다.
도 2는 도 1의 카메라부가 촬영한 영상프레임과 영상프레임의 비트스트림의 구조를 나타낸 도면이다.
도 3은 영상프레임에 포함되어 추출된 객체의 일방향 모션벡터를 RGB색상휠에 중첩시켜 RGG 색상휠에서 색상을 추출하는 상태를 나타낸 도면이다.
도 4는 도 3의 컬러맵생성부의 작동에 따른 동적객체와 배경객체에 채워진 색상을 나타낸 도면이다.
도 5는 영상프레임에 포함되어 추출된 객체의 역방향 모션벡터를 RGB색상휠에 중첩시켜 RGG 색상휠에서 색상을 추출하는 상태를 나타낸 도면이다.
도 6은 도 5의 컬러맵생성부의 작동에 따른 동적객체와 배경객체에 채워진 색상을 나타낸 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 역주행 객체 검출 시스템에 포함되는 HSV컬러변환부의 작동상태를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 역주행 객체 검출 시스템에 포함되는 퍼지맵생성부의 작동상태를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 역주행 객체 검출 시스템에 포함되는 역주행객체판별부의 작동상태를 나타낸 도면이다.
1 is a block diagram of a system for detecting a reverse driving object according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a structure of an image frame photographed by the camera of FIG. 1 and a bitstream of the image frame.
3 is a diagram showing a state in which a color is extracted from the RGG color wheel by superimposing a one-way motion vector of an object included in an image frame and extracted on an RGB color wheel.
4 is a diagram showing colors filled in a dynamic object and a background object according to an operation of the color map generator of FIG. 3.
5 is a diagram showing a state in which a color is extracted from the RGG color wheel by superimposing a reverse motion vector of an object included in an image frame and extracted on the RGB color wheel.
6 is a view showing colors filled in a dynamic object and a background object according to the operation of the color map generator of FIG. 5.
7 and 8 are views showing an operating state of an HSV color conversion unit included in the system for detecting a reverse-driving object according to an embodiment of the present invention.
9 is a view showing an operation state of a fuzzy map generator included in the system for detecting a reverse driving object according to an embodiment of the present invention.
10 is a view showing an operating state of a reverse traveling object discrimination unit included in the reverse traveling object detection system according to an embodiment of the present invention.

본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 방법들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.Advantages and features of the present invention, and methods for achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms. It is provided to fully inform the person of the scope of the invention.

본 발명의 청구범위는 청구항을 비롯해 청구항을 뒷받침하는 설명에 의해 정의될 수 있다. 아울러, 명세서 전체에 걸쳐 동일 참조부호는 동일 구성요소를 지칭한다.The claims of the present invention may be defined by the claims as well as the description supporting the claims. In addition, the same reference numerals refer to the same elements throughout the specification.

본 명세서 전체에 걸쳐 기술된 역주행 객체 검출 시스템은 데이터를 송신 및 수신하며 데이터를 처리하는 컴퓨터가 될 수 있다.The reverse running object detection system described throughout this specification may be a computer that transmits and receives data and processes data.

먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 역주행 객체 검출 시스템에 대해 개괄적으로 설명한다.First, a system for detecting a reverse-driving object according to an embodiment of the present invention will be generally described with reference to FIG. 1.

본 발명의 일 실시예에 따른 역주행 객체 검출 시스템(1)은 영상프레임에 생성되어 있는 모션벡터(B)를 추출하고, 추출된 모션벡터를 기반으로 객체를 검출한다. 그리고 검출된 객체의 주행 방향에 따라 보색의 시각화 정보로 나타내며 이를 관제요원에게 제공한다.The reverse-driving object detection system 1 according to an embodiment of the present invention extracts a motion vector B generated in an image frame, and detects an object based on the extracted motion vector. In addition, it is presented as visualized information in complementary colors according to the driving direction of the detected object, and it is provided to the control personnel.

이와 같은 본 발명은 관제요원이 객체의 주행방향을 직관적으로 판별할 수 있도록 한다. 일례로, 본 발명은 객체가 일방향 즉 정방향으로 주행할 때는 동적객체를 제1색상으로 나타내고, 동적객체가 타방향 즉 역방향으로 주행할 때는 동적객체를 제1색상의 보색인 제2색상으로 나타낸다. 그리고 배경색상을 제1색상으로 나타내며 동적객체가 확연히 구별될 수 있도록 한다. 그리고 이러한 이미지를 관제요원에게 제공하며 관제요원이 동적객체의 주행방향을 직관적으로 파악할 수 있도록 한다.The present invention allows the control personnel to intuitively determine the driving direction of the object. For example, in the present invention, when the object travels in one direction, that is, in the forward direction, the dynamic object is represented by a first color, and when the dynamic object travels in the other direction, that is, the reverse direction, the dynamic object is represented by a second color that is the complementary color of the first color. In addition, the background color is represented by the first color so that the dynamic objects can be clearly distinguished. In addition, this image is provided to the control personnel, and the control personnel can intuitively grasp the driving direction of the dynamic object.

이와 같은 특징을 갖는 역주행 객체 검출 시스템(1)은 영상패킷수신부(10), 모션벡터추출부(20), 컬러맵생성부(30)를 구성요소로 포함한다. 또한, 아울러, 역주행 객체 검출 시스템(1)은 HSV컬러변환부(40), 동적객체검출부(50), 이동객체출력부(60), 퍼지맵생성부(70) 그리고 역주행객체판별부(80)를 구성요소로 더 포함할 수 있다.The reverse-driving object detection system 1 having such a characteristic includes an image packet receiving unit 10, a motion vector extracting unit 20, and a color map generating unit 30 as constituent elements. In addition, the reverse running object detection system 1 includes an HSV color conversion unit 40, a dynamic object detection unit 50, a moving object output unit 60, a fuzzy map generation unit 70, and a reverse running object discrimination unit 80. It may further include as a component.

이하, 도 1 내지 도 10을 참조하여, 본 발명의 일 실시예에 따른 역주행 객체 검출 시스템을 구성하는 구성요소와 각 구성요소의 작동에 대해 구체적으로 설명한다.Hereinafter, components constituting the reverse-driving object detection system according to an embodiment of the present invention and operations of each component will be described in detail with reference to FIGS. 1 to 10.

다만, 본 발명의 일 실시예에 따른 역주행 객체 검출 시스템에 대한 설명이 간결하고 명확해질 수 있도록 도 2 내지 도 6를 참조하여 본 발명의 구성요소 중 영상패킷수신부(10), 모션벡터추출부(20), 컬러맵생성부(30)에 대한 설명과 이를 통해 객체의 역주행을 검출하는 과정에 대해 구체적으로 설명한다. 이후, 도 7 내지 도 10을 참조하여 전술된 설명을 기초로 하여 HSV컬러변환부(40), 동적객체검출부(50), 이동객체출력부(60), 퍼지맵생성부(70) 및 역주행객체판별부(80)에 대한 설명 및 이를 통해 동적객체의 역주행이 보다 정확히 검출될 수 있는 과정에 대해 설명한다.However, among the components of the present invention, the image packet receiving unit 10 and the motion vector extracting unit ( 20), a description of the color map generation unit 30 and a process of detecting the reverse movement of the object through the description will be described in detail. Thereafter, based on the description described above with reference to FIGS. 7 to 10, the HSV color conversion unit 40, the dynamic object detection unit 50, the moving object output unit 60, the fuzzy map generation unit 70, and the reverse running object A description of the determination unit 80 and a process through which the reverse driving of the dynamic object can be more accurately detected will be described.

이하, 역주행 객체 검출 시스템(1)에 포함되는 구성요소에 대해 구체적으로 설명한다.Hereinafter, components included in the reverse running object detection system 1 will be described in detail.

영상패킷수신부(10)는 카메라부(A)와 데이터 통신 가능하게 유선 또는 무선으로 연결된다. 그리고 카메라부(A)에서 전송되는 데이터 즉, 영상패킷을 수신하는 수신모듈(110)과 이를 순차적으로 저장하는 저장모듈(120)을 포함한다. 여기서, 카메라부(A)는 폐회로 텔레비전(CCTV: Closed Circuit Television)로 형성되어 특정영역을 촬영하는 장치가 된다. 이와 같은 카메라부(A)는 생성모듈(A1)을 포함하여 도 2의 (a)에 도시된 바와 같이 일정영역을 촬영하며 영상프레임(101)을 생성할 수 있다. 그리고 카메라부(A)는 변환모듈(A2)을 포함하여 영상프레임(101)을 도 2의 (b)에 도시된 바와 같은 영상패킷(102)으로 생성할 수 있다. 이때, 영상패킷(102)은 헤더와 코딩구조, 모션벡터 및 영상정보를 포함하는 복수 개의 매크로블록을 포함하는 비트스트림이 될 수 있다.The image packet receiving unit 10 is connected by wire or wirelessly to enable data communication with the camera unit A. In addition, it includes a receiving module 110 for receiving data transmitted from the camera unit A, that is, an image packet, and a storage module 120 for sequentially storing the same. Here, the camera unit A is formed of a closed circuit television (CCTV) to be a device for photographing a specific area. Such a camera unit A may generate an image frame 101 by capturing a certain area as shown in FIG. 2A including the generation module A1. In addition, the camera unit A may include the conversion module A2 to generate the image frame 101 as an image packet 102 as shown in FIG. 2B. In this case, the image packet 102 may be a bitstream including a header, a coding structure, a motion vector, and a plurality of macroblocks including image information.

영상패킷수신부(10)는 카메라부(A)로부터 영상패킷(102)을 수신한 후, 저장할 수 있다. 일례로, 영상패킷수신부(10)는 카메라부(A)로부터 영상패킷을 순차적으로 수신 한 후 저장 할 수 있다. 또한, 영상패킷수신부(30)는 저장된 영상패킷(102)을 모션벡터추출부(20)에 순차적으로 전송할 수 있다.The image packet receiving unit 10 may store the image packet 102 after receiving the image packet 102 from the camera unit A. For example, the image packet receiving unit 10 may sequentially receive the image packets from the camera unit A and then store them. In addition, the image packet receiving unit 30 may sequentially transmit the stored image packet 102 to the motion vector extracting unit 20.

모션벡터추출부(20)는 파싱모듈(210)과 추출모듈(220)을 포함한다. 여기서, 파싱모듈(210)은 영상패킷을 파싱(Parasing)할 수 있다. 그리고 추출모듈(220)은 복수 개의 모션벡터와 복수 개의 모션벡터(B)를 하나씩 포함하는 화소블록(C)을 추출할 수 있다.The motion vector extraction unit 20 includes a parsing module 210 and an extraction module 220. Here, the parsing module 210 may parse the image packet. In addition, the extraction module 220 may extract a pixel block C including a plurality of motion vectors and a plurality of motion vectors B one by one.

모션벡터추출부(20)는 파싱모듈(210)과 추출모듈(220)을 이용해 영상패킷(102)의 코딩 구조마다 존재하는 모션벡터(B) 및 하나의 모션벡터를 포함하는 화소블록(C)을 정확하게 추출할 수 있다. 일례로, 모션벡터추출부(20)는 도 3에 도시된 바와 같이, 영상프레임(101)에 생성되어 있는 모션벡터(B) 및 화소블록(C)을 추출할 수 있다. 여기서, 추출되는 모션벡터는 이미지 변화가 클 때 길게 형성되고, 이미지 변화가 작을 때 짧게 형성될 수 있다. 이때, 모션벡터추출부(20)는 객체가 움직이면 움직이는 객체와 움직이지 않는 객체의 코딩 구조를 맞추며 객체 간 경계로부터 움직이는 객체의 형태, 크기의 특징을 갖는 모션벡터를 추출할 수 있다.The motion vector extracting unit 20 uses the parsing module 210 and the extraction module 220 to provide a motion vector B existing in each coding structure of the image packet 102 and a pixel block C including one motion vector. Can be extracted accurately. For example, the motion vector extractor 20 may extract a motion vector B and a pixel block C generated in the image frame 101 as shown in FIG. 3. Here, the extracted motion vector may be formed long when the image change is large, and may be formed short when the image change is small. In this case, when the object moves, the motion vector extracting unit 20 may extract a motion vector having characteristics of the shape and size of the moving object from the boundary between the objects by matching the coding structure of the moving object and the non-moving object.

더욱이, 모션벡터추출부(20)는 추출된 모션벡터의 크기가 기준 크기 보다 작은 경우 0으로 두고, 기준 크기 보다 큰 경우 모션벡터로 추출할 수 있다. 이를 통해, 모션벡터추출부(20)는 영상패킷로부터 모션벡터를 추출할 수 있다.Furthermore, the motion vector extractor 20 may set the extracted motion vector to 0 when the size of the extracted motion vector is smaller than the reference size, and may extract the extracted motion vector as a motion vector when it is larger than the reference size. Through this, the motion vector extractor 20 may extract a motion vector from the image packet.

다만, 본 명세서 상에서는 모션벡터에 대한 이해를 돕고자 영상이미지에서 모션벡터가 형성되는 기준으로 하여 모션벡터를 나타나 있다.However, in this specification, in order to help understanding the motion vector, a motion vector is shown as a reference for forming a motion vector in an image image.

아울러, 모션벡터추출부(20)는 모션벡터그룹화모듈(230)을 더 포함하여 모션벡터(B)를 일정크기의 도형으로 그룹화하여 하나의 모션벡터그룹을 형성할 수 있다. 일례로, 모션벡터그룹화모듈(230)은 도 3에 도시된 바와 같이 모션벡터(B)를 일정크기의 도형으로 그룹화하여 모션벡터그룹으로 형성할 수 있다. 이와 같은, 모션벡터그룹화모듈(230)은 차량에 해당하는 제1객체와 사람에 해당하는 제2객체를 설정객체로 설정하고, 설정객체와 모션백터그룹을 대비할 수 있다. 그리고 모션벡터그룹이 제1객체에 대응될 때, 모션벡터그룹을 하나의 동적객체 즉, 차량객체로 검출할 수 있다. 이때, 모션벡터그룹화모듈(230)은 HOG(Histogram of Oriented Gradients), SVM(Support vector Machine) 및 딥러닝(Deep learning) 등을 통해 모션벡터그룹을 학습해 제1객체로 설정하고 지속적으로 업데이트되는 제1객체와 새롭게 검출되는 모션벡터그룹과 대비하며 모션벡터그룹을 보다 정확히 동적객체로 검출할 수 있다.In addition, the motion vector extracting unit 20 may further include a motion vector grouping module 230 to group the motion vectors B into figures having a predetermined size to form one motion vector group. For example, the motion vector grouping module 230 may form a motion vector group by grouping the motion vectors B into figures having a predetermined size, as shown in FIG. 3. As described above, the motion vector grouping module 230 may set a first object corresponding to a vehicle and a second object corresponding to a person as a setting object, and compare the setting object with the motion vector group. In addition, when the motion vector group corresponds to the first object, the motion vector group may be detected as one dynamic object, that is, a vehicle object. At this time, the motion vector grouping module 230 learns the motion vector group through Histogram of Oriented Gradients (HOG), Support Vector Machine (SVM), and deep learning, sets it as a first object, and is continuously updated. By contrasting the first object with the newly detected motion vector group, it is possible to more accurately detect the motion vector group as a dynamic object.

이와 같은 모션벡터추출부(20)는 동적객체를 정확히 검출하고, 검출된 객체 내의 모션벡터를 컬러맵생성부(30)에 전송한다.The motion vector extraction unit 20 accurately detects the dynamic object and transmits the motion vector in the detected object to the color map generation unit 30.

컬러맵생성부(30)는 화소블록(C)을 RGB 색상 중 어느 하나의 색상으로 채운다. 이러한 컬러맵생성부(30)는 RGB색상휠(D)을 포함하고 있는 색상휠모듈(310)과 RGB컬러맵을 형성시키는 매핑모듈(320)을 포함한다. 여기서, 색상휠모듈(310)은 중심점을 기준으로 대향되는 위치에 서로 반대되는 색이 위치하며 중심점에서 외측으로 색채가 점차 진해지는 색상을 갖는 RGB색상휠(D)을 포함한다. 이와 같은 RGB색상휠(D)은 도 3의 (b)에 도시된 바와 같은 RGB색상휠과 같은 데이터가 될 수 있다. 그리고 매핑모듈(320)은 모션벡터(B)가 수신되면 도 3의 (a)에 도시된 RGB색상휠(D)에 각각의 모션벡터(B)를 중첩시켜 중첩되는 영역의 색상 일례로, 보라색 및 보라색과 유사한 색상을 복수 개의 화소블록(C)에 매핑시킬 수 있다. 아울러 매핑모듈(320)은 도 5의 (a)에 도시된 바와 같이 일방향 모션벡터(B)와 반대방향이 되는 역방향 모션벡터(RB)에 의해 제1색상의 보색이 되는 제2색상 일례로, 살구색 및 살구색과 유사한 색상을 복수 개의 화소블록(C)에 매핑시킬 수 있다.The color map generator 30 fills the pixel block C with any one of RGB colors. The color map generator 30 includes a color wheel module 310 including an RGB color wheel D and a mapping module 320 for forming an RGB color map. Here, the color wheel module 310 includes an RGB color wheel D having colors opposite to each other at positions opposite to each other with respect to the center point, and colors gradually becoming darker from the center point to the outside. Such an RGB color wheel D may be the same data as the RGB color wheel as shown in (b) of FIG. 3. When the motion vector B is received, the mapping module 320 superimposes each motion vector B on the RGB color wheel D shown in FIG. And a color similar to purple may be mapped to the plurality of pixel blocks C. In addition, the mapping module 320 is an example of a second color that becomes a complementary color of the first color by a reverse motion vector (RB) in a direction opposite to the one-way motion vector (B) as shown in FIG. 5A, The apricot color and a color similar to the apricot color may be mapped to the plurality of pixel blocks C.

컬러맵생성부(30)는 도 4의 (a)에 도시된 바와 같이 동적객체의 화소블록(C)에 보라색 및 보라색과 유사한 색상을 갖는 RGB동적객체(E1)와 흰색을 갖는 RGB배경객체(E2)로 형성시키며 하나의 RGB컬러맵(E)을 형성시킬 수 있다. 또한, 컬러맵생성부(30)는 RGB이진화모듈(340), 배경객체전환모듈(350) 및 동적객체적용모듈(360)을 더 포함할 수 있다. 여기서, RGB이진화모듈(340)은 기준명도값이 설정되어 동적객체와 배경객체의 명도값을 기준명도값에 대비하며 RGB동적객체와 RGB배경객체를 검정색 또는 흰색으로 나타낼 수 있다. 그리고 배경객체전환모듈(350)은 RGB이진화모듈(340)에서 검정색 또는 흰색으로 표현된 이진화배경객체(F2)를 화소블록(C)에 매핑된 어느 하나의 색으로 전환시킬 수 있다. 그리고 동적객체적용모듈(360)은 배경객체전환모듈(350)에서 흰색 또는 검정색으로 표현되어 있는 이진화동적객체(F1)에 RGB색상휠(D)에서 형성된 RGB동적객체(E1)를 적용할 수 있다.The color map generation unit 30 includes an RGB dynamic object E1 having a color similar to purple and purple in the pixel block C of the dynamic object and an RGB background object having white ( It is formed by E2) and one RGB color map (E) can be formed. In addition, the color map generation unit 30 may further include an RGB binarization module 340, a background object conversion module 350, and a dynamic object application module 360. Here, the RGB binarization module 340 may set the reference brightness value to compare the brightness values of the dynamic object and the background object with the reference brightness value, and display the RGB dynamic object and the RGB background object in black or white. In addition, the background object conversion module 350 may convert the binary background object F2 expressed in black or white in the RGB binarization module 340 into any one color mapped to the pixel block C. In addition, the dynamic object application module 360 may apply the RGB dynamic object E1 formed in the RGB color wheel D to the binary dynamic object F1 expressed in white or black in the background object conversion module 350. .

컬러맵생성부(30)는 RGB이진화모듈(340)을 통해 도 4의 (a)에 RGB동적객체(E1)와 RGB배경객체(E2)의 명도값을 기준명도값에 대비한다. 이를 통해, 도 4의 (b)에 도시된 바와 같이 RGB동적객체(E1)를 흰색의 이진화동적객체(F1)로 나타내고 RGB배경객체(E2)를 검정색의 이진화배경객체(F2)로 나타낼 수 있다. 또한, 컬러맵생성부(30)는 배경객체전환모듈(350)을 통해 도 4의 (c)에 도시된 바와 같이 이진화배경객체(F2)를 화소블록(C)에 매핑된 보라색 및 보라색과 유사한 색으로 전환시킬 수 있다. 그리고, 동적객체적용모듈(360)을 이용해, 배경객체전환모듈(350)에서 전환된 전환배경객체(G1)에 RGB색상휠(D)에서 형성된 일방향 모셕벡터(B)에 의한 RGB동적객체(E1)를 적용시킬 수 있다.The color map generation unit 30 compares the brightness values of the RGB dynamic object E1 and the RGB background object E2 to the reference brightness value in FIG. 4A through the RGB binarization module 340. Through this, as shown in (b) of FIG. 4, the RGB dynamic object E1 can be represented as a white binary dynamic object F1, and the RGB background object E2 can be represented as a black binary background object F2. . In addition, the color map generation unit 30 uses the background object conversion module 350 to map the binary background object F2 to the pixel block C as shown in FIG. 4C. Can be converted to color. And, using the dynamic object application module 360, the converted background object (G1) converted in the background object conversion module 350, the RGB dynamic object (E1) by a one-way motion vector (B) formed by the RGB color wheel (D). ) Can be applied.

아울러, 컬러맵생성부(30)는 전환배경객체(G1)에 RGB색상휠(D)에서 형성된 역방향 모셕벡터(RB)에 의한 RGB동적객체를 적용시킬 수 있다. 일례로 도 6에 도시된 바와 같이 제1색상의 보색이 되는 제2색상 즉, 살구색 및 살구색과 유사한 색상을 갖는 보색동적객체(E3)를 적용시킬 수 있다.In addition, the color map generator 30 may apply an RGB dynamic object based on a reverse model vector RB formed in the RGB color wheel D to the transition background object G1. As an example, as shown in FIG. 6, a second color that becomes a complementary color of the first color, that is, an apricot color and a complementary color dynamic object E3 having a color similar to the apricot color may be applied.

이와 같이 본 발명은 영상패킷수신부(10), 모션벡터추출부(20), 컬러맵생성부(30)를 통해 동적객체가 정방향으로 주행할 때는 RGB동적객체(E1)를 제1색상으로 나타내고, RGB동적객체(E1)가 역방향으로 주행할 때는 제1색상과 보색인 제2색상을 갖는 보색동적객체(E3)를 나타낼 수 있다. 본 발명은 동적객체가 역방향으로 주행할 때, 동적객체가 정주행 할 때의 색을 배경색으로 나타내고, 역주행하는 동적객체를 배경색의 보색으로 나타내며 역주행하는 동적객체가 배경에서 확연히 구별될 수 있도록 한다. 그리고 이러한 이미지를 관제요원에게 제공하며 관제요원이 동적객체의 주행방향을 직관적으로 파악할 수 있도록 한다.As described above, the present invention represents the RGB dynamic object E1 as the first color when the dynamic object travels in the forward direction through the image packet receiving unit 10, the motion vector extracting unit 20, and the color map generating unit 30, When the RGB dynamic object E1 travels in the reverse direction, a complementary color dynamic object E3 having a first color and a second color that is a complementary color may be displayed. In the present invention, when the dynamic object travels in the reverse direction, the color when the dynamic object travels in the background is indicated by the background color, and the dynamic object running in the reverse direction is indicated by the complementary color of the background color, so that the dynamic object running in the reverse direction can be clearly distinguished from the background. In addition, this image is provided to the control personnel, and the control personnel can intuitively grasp the driving direction of the dynamic object.

이하, 도 7 내지 도 10을 참조하여 전술된 설명을 기초로 하여 HSV컬러변환부(40), 동적객체검출부(50), 이동객체출력부(60), 퍼지맵생성부(70) 및 역주행객체판별부(80)에 대한 설명 및 이를 통해 동적객체의 역주행이 보다 정확히 검출되는 과정에 대해 구체적으로 설명한다.Hereinafter, based on the description described above with reference to FIGS. 7 to 10, the HSV color conversion unit 40, the dynamic object detection unit 50, the moving object output unit 60, the fuzzy map generation unit 70, and the reverse running object A description of the determination unit 80 and a process in which the reverse driving of the dynamic object is more accurately detected through this will be described in detail.

HSV컬러변환부(40)는 RGB컬러맵을 HSV컬러맵으로 변환시킨다. 이러한 HSV컬러변환부(40)는 정규화모듈(410)과 컬러변환모듈(420)을 포함한다. 여기서, 정규화모듈(410)은 RGB컬러맵의 색상채널, 채도채널, 명도채널 중 어느 하나의 채널을 기준채널로 설정한다. 그리고 HSV컬러변환모듈(420)은 RGB컬러맵을 HSV컬러로 변환시킨다.The HSV color conversion unit 40 converts the RGB color map into an HSV color map. The HSV color conversion unit 40 includes a normalization module 410 and a color conversion module 420. Here, the normalization module 410 sets any one of a color channel, a saturation channel, and a brightness channel of the RGB color map as a reference channel. And the HSV color conversion module 420 converts the RGB color map to HSV color.

HSV컬러변환부(40)는 도 7에 도시된 RGB 색상모델의 데이터를 다음의 [수학식 1], [수학식 2], [수학식 3]을 이용하여 HSV 색상모델의 데이터로 변환한다.The HSV color conversion unit 40 converts the data of the RGB color model shown in FIG. 7 into data of the HSV color model using the following [Equation 1], [Equation 2], and [Equation 3].

[수학식 1][Equation 1]

Figure 112020048976808-pat00001
Figure 112020048976808-pat00001

[수학식 2][Equation 2]

Figure 112020048976808-pat00002
Figure 112020048976808-pat00002

[수학식 3][Equation 3]

Figure 112020048976808-pat00003
Figure 112020048976808-pat00003

여기서, RGB 색상모델의 데이터 가운데 R은 빨강(Red), G은 초록(Green), B는 파랑(Blue)을 의미한다. 그리고 HSV 색상모델의 데이터 가운데 H는 색상(Hue), S는 채도(Saturation), V는 명도(Value)를 의미한다.Here, among the data of the RGB color model, R stands for Red, G stands for Green, and B stands for Blue. In addition, among the data of the HSV color model, H stands for hue, S stands for saturation, and V stands for brightness.

이와 같은 HSV 색상모델의 데이터는 색상 데이터(H), 채도 데이터(S), 및 명도 데이터(V)를 포함한다. HSV 색상모델은 인간의 직관적인 시각에 기초하여 색상 채널(H), 채도 채널(S) 및 명도 채널(V)을 이용하여 색을 구성한다. 이와 같은 HSV 색공간의 경우, 명도(V) 부분을 분리할 수 있어 RGB 색공간의 경우 보다 빛의 광량을 보다 효과적으로 파악할 수 있다.The data of the HSV color model includes color data (H), saturation data (S), and brightness data (V). The HSV color model constructs colors using a color channel (H), a saturation channel (S), and a brightness channel (V) based on human intuitive vision. In the case of such an HSV color space, since the brightness (V) portion can be separated, it is possible to more effectively grasp the amount of light than in the case of the RGB color space.

이러한 특징을 갖는 HSV컬러변환부(40)는 빛의 광량에 대한 채널 즉, 명도 채널을 기준 채널로 설정하여 도 8의 (a)와 같은 RGB컬러맵을 도 8의 (b)와 같은 HSV컬러맵(H)으로 변환시킨다.The HSV color conversion unit 40 having these characteristics sets the channel for the amount of light, that is, the brightness channel as a reference channel, and converts the RGB color map as shown in FIG. 8A to the HSV color as shown in FIG. 8B. Convert to map (H).

동적객체검출부(50)는 채도값추출모듈(510)과 필터모듈(520)을 포함하여 HSV컬러맵(H)의 HSV동적객체(H1)와 HSV배경객체(H2)를 더욱 명확하게 구분시킬 수 있다. 여기서, 채도값추출모듈(510)은 HSV컬러맵의 동적객체의 채도값과 배경객체의 채도값을 추출할 수 있다. 그리고 필터모듈(520)은 비선형 근방 연산을 사용하여 화상의 잡음을 제거하는 메디안필터를 생성해 동적객체의 채도값과 배경객체의 채도값을 재 배열한다. 이후, 중간채도값을 동적객체의 중앙에 위치시킬 수 있다. 일례로, 동적객체검출부(50)는 도 8의 (c)에 도시된 바와 같이 HSV동적객체(H1)의 채도값과 HSV배경객체(H2)의 채도값이 102, 67, 84, 224, 189, 33, 212, 163, 54로 산출되었을 때, 이를 작은 순서대로 33-54-67-84-102-163-189-212-224로 재배열 한 후, 배열된 값 들중 중간의 채도값인 102를 HSV동적객체(H1)의 중앙에 위치시킬 수 있다. 아울러, 동적객체검출부(50)는 필터모듈(520)을 통해 중간 채도값이 위치한 중간농도객체(I1) 추출할 수 있다.The dynamic object detection unit 50 can more clearly distinguish between the HSV dynamic object H1 and the HSV background object H2 of the HSV color map H, including the saturation value extraction module 510 and the filter module 520. have. Here, the saturation value extraction module 510 may extract a saturation value of a dynamic object and a saturation value of a background object of the HSV color map. In addition, the filter module 520 rearranges the saturation value of the dynamic object and the saturation value of the background object by generating a median filter that removes noise from the image by using a nonlinear near operation. Thereafter, the intermediate saturation value can be placed in the center of the dynamic object. For example, the dynamic object detection unit 50 has a saturation value of the HSV dynamic object H1 and a saturation value of the HSV background object H2 as shown in FIG. 8C. 102, 67, 84, 224, 189 , 33, 212, 163, 54, after rearranging them into 33-54-67-84-102-163-189-212-224 in small order, 102 can be placed in the center of the HSV dynamic object (H1). In addition, the dynamic object detection unit 50 may extract the intermediate concentration object I1 in which the intermediate saturation value is located through the filter module 520.

동적객체검출부(50)는 HSV동적객체(H1)와 HSV배경객체(H2)를 더욱 명확하게 구분시키며 중간농도객체(I1) 추출해 이동객체출력부(60)에 전송할 수 있다.The dynamic object detection unit 50 more clearly distinguishes the HSV dynamic object H1 and the HSV background object H2, extracts the intermediate concentration object I1, and transmits it to the moving object output unit 60.

이동객체출력부(60)는 동적객체검출부(50)로부터 중간농도객체(I1)를 수신하고, 컬러맵생성부(30)로부터 RGB컬러맵의 RGB배경객체(E2)를 수신한 후, 이를 중첩시켜 하나의 이미지로 출력할 수 있다.The moving object output unit 60 receives the intermediate density object (I1) from the dynamic object detection unit 50, receives the RGB background object (E2) of the RGB color map from the color map generator 30, and then overlaps it. You can print it out as one image.

퍼지맵생성부(70)는 HSV컬러맵(H)을 도 9의 (a)와 같은 퍼지맵(J)으로 변환하여 퍼지맵(J)에서 퍼지동적객체(J1)를 추출할 수 있다. 이러한 퍼지맵생성부(70)는 퍼지수신모듈(710), 퍼지값산출모듈(720), 퍼지맵모듈(730), 동적객체표출모듈(740) 및 퍼지이진화모듈(750)을 포함한다. 여기서, 퍼지수신모듈(710)은 HSV컬러맵(H)의 HSV동적객체(H1)와 HSV배경객체(H2)의 채도값과 색상값을 수신할 수 있다. 그리고 퍼지값산출모듈(720)은 입력색상값, 기준퍼지값 그리고 기준퍼지수식이 기 설정되어 있고 기준퍼지수식에 동적객체 및 배경객체의 채도값 그리고 동적객체 및 배경객체의 색상값을 대입하여 제1연산퍼지값을 산출할 수 있다. 그리고 퍼지맵모듈(730)은 HSV컬러맵(H)에서 제1연산퍼지값에 해당하는 색상을 추출해 퍼지맵(H)을 형성할 수 있다. 아울러, 동적객체표출모듈(740)은 제1연산퍼지값과 기준퍼지값을 대비해 HSV동적객체에 해당하는 제1연산퍼지값을 퍼지동적객체(J1)로 추출할 수 있다. 그리고 나머지 제1연산퍼지값을 삭제할 수 있다. 그리고 퍼지이진화모듈(750)은 퍼지동적객체(J1)와 삭제된 객체 즉, 퍼지배경객체를 이진화하여 나타낼 수 있다.The fuzzy map generator 70 may convert the HSV color map H into a fuzzy map J as shown in FIG. 9A to extract the fuzzy dynamic object J1 from the fuzzy map J. The fuzzy map generation unit 70 includes a fuzzy reception module 710, a fuzzy value calculation module 720, a fuzzy map module 730, a dynamic object display module 740, and a fuzzy binarization module 750. Here, the fuzzy receiving module 710 may receive saturation values and color values of the HSV dynamic object H1 and the HSV background object H2 of the HSV color map H. In addition, the fuzzy value calculation module 720 has an input color value, a reference fuzzy value, and a reference fuzzy equation set in advance, and the reference fuzzy equation is calculated by substituting the saturation value of the dynamic object and the background object and the color value of the dynamic object and the background object. One operation purge value can be calculated. Further, the fuzzy map module 730 may form a fuzzy map H by extracting a color corresponding to the first calculated purge value from the HSV color map H. In addition, the dynamic object display module 740 may extract a first computational fuzzy value corresponding to the HSV dynamic object as a fuzzy dynamic object J1 by comparing the first computational fuzzy value and the reference fuzzy value. In addition, the remaining first computational fuzzy values can be deleted. Further, the fuzzy binarization module 750 may binarize the fuzzy dynamic object J1 and the deleted object, that is, the fuzzy background object.

일례로, 퍼지맵생성부(70)는 퍼지값산출모듈(720)을 이용해 도 9의 (a) 도시된 HSV컬러맵(H)을 다음의 수학식을 이용하여 제1연산퍼지값을 산출한다. 그리고 퍼지맵모듈(730)을 이용해 HSV컬러맵(H)에서 제1연산퍼지값에 해당하는 색상을 추출해 도 9의 (b)의 퍼지맵(J)을 생성할 수 있다.As an example, the fuzzy map generation unit 70 calculates a first computational fuzzy value using the fuzzy value calculation module 720 using the HSV color map H shown in FIG. 9A using the following equation. . In addition, by using the fuzzy map module 730 to extract a color corresponding to the first computational fuzzy value from the HSV color map H, the fuzzy map J of FIG. 9B may be generated.

[수학식 4][Equation 4]

Figure 112020048976808-pat00004
Figure 112020048976808-pat00004

[수학식 5][Equation 5]

Figure 112020048976808-pat00005
Figure 112020048976808-pat00005

[수학식 4]에서, μc는 퍼지함수(fuzzy function)을 의미하고, a는 상수이고, hc는 관심색상값, h는 입력 색상값을 의미하고, W와 H는 각각 영상의 높이와 너비이다.In [Equation 4], μ c denotes a fuzzy function, a denotes a constant, h c denotes a color of interest value, h denotes an input color value, and W and H denote the image height and Is the width.

[수학식 5]에서, [수학식 4]를 이용하여 생성된 차량의 정주행 방향 컬러 퍼지집합 μc1과 역주행 방향 컬러 퍼지집합 μc2를 최대값으로 만들어지는 컬리 퍼지맵(fuzzy map) μH이다. 또한, 퍼지맵생성부(70)는 동적객체표출모듈(740)을 이용해 제1연산 퍼지집합과 기준퍼지값을 대비해 도 9의 (b)에 도시된 바와 같이 동적객체에 해당하는 제1연산퍼지값을 퍼지동적객체(J1)로 추출할 수 있다. 그리고 배경객체에 해당하는 제1연산퍼지값을 삭제할 수 있다. 그리고 퍼지맵생성부(70)는 퍼지이진화모듈(750)을 이용해 도 9의 (c)에 도시된 바와 같이 퍼지동적객체(J1)를 흰색 그리고 퍼지배경객체(J2)를 검정색으로 나타낼 수 있다.In [Equation 5], a curly fuzzy map μ H which is made of the vehicle's normal driving direction color fuzzy set μ c1 and the reverse driving direction color fuzzy set μ c2 as maximum values of the vehicle generated using [Equation 4]. to be. In addition, the fuzzy map generation unit 70 uses the dynamic object display module 740 to compare the first computational fuzzy set and the reference fuzzy value, as shown in Fig. 9(b), the first computational fuzzy value corresponding to the dynamic object. Can be extracted as a fuzzy dynamic object (J1). In addition, the first computational fuzzy value corresponding to the background object can be deleted. In addition, the fuzzy map generator 70 may use the fuzzy binarization module 750 to represent the fuzzy dynamic object J1 in white and the fuzzy background object J2 in black as shown in FIG. 9C.

역주행객체판별부(80)는 도 10에 도시된 바와 같이 중간농도객체(I1) 그리고 퍼지이진화모듈(750)에 의해 추출된 퍼지동적객체(J1)를 모두 수신하면 수신된 객체를 역주행 객체(K)로 판별한다.As shown in FIG. 10, when the reverse running object discrimination unit 80 receives both the intermediate concentration object I1 and the fuzzy dynamic object J1 extracted by the fuzzy binarization module 750, the received object is converted to the reverse running object (K). ).

역주행 객체 검출 시스템(1)은 영상패킷수신부(10), 모션벡터추출부(20), 컬러맵생성부(30)로 구성되었을 때 보다, HSV컬러변환부(40), 동적객체검출부(50), 이동객체출력부(60), 퍼지맵생성부(70) 및 역주행객체판별부(80)를 구성요소로 포함하여 역주행하는 동적객체를 보다 명확하게 나타낼 수 있다. 그리고 이러한 이미지를 관제요원에게 제공하므로써, 관제요원이 역주행 객체를 보다 정확하게 판별할 수 있도록 한다.The reverse-driving object detection system 1 is composed of an image packet receiving unit 10, a motion vector extracting unit 20, and a color map generation unit 30, HSV color conversion unit 40, and dynamic object detection unit 50. , The moving object output unit 60, the fuzzy map generation unit 70, and the reverse running object discrimination unit 80 may be included as components to more clearly represent a dynamic object running in reverse. And by providing such an image to the control personnel, the control personnel can more accurately determine the reverse running object.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.Embodiments of the present invention have been described above with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features. You will be able to understand. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting.

1: 역주행 객체 검출 시스템 10: 영상패킷수신부
101: 영상프레임 102: 영상패킷
110: 수신모듈 120: 저장모듈
20: 모션벡터추출부 210: 파싱모듈
220: 추출모듈 230: 모션벡터그룹화모듈
30: 컬러맵생성부 310: 색상휠모듈
320: 매핑모듈 330: 모션벡터그룹화모듈
340: 이진화모듈 350: 배경객체전환모듈
360: 동적객체적용모듈 40: HSV컬러변환부
410: 정규화모듈 420: HSV컬러변환모듈
50: 동적객체검출부 510: 채도값추출모듈
520: 필터모듈 60: 이동객체출력부
70: 퍼지맵생성부 710: 수신모듈
720: 퍼지값산출모듈 730: 퍼지맵모듈
740: 동적객체표출모듈 80: 역주행객체판별부
A: 카메라부 A1: 생성모듈
A2: 변환모듈 B: 모션벡터
RB: 역방향 모션벡터 C: 화소블록
D: RGB 색상휠 E: RGB컬러맵
E1: RGB동적객체 E2: RGB배경객체
E3: 보색동적객체 F1: 이진화동적객체
F2: 이진화배경객체 G1: 전환배경객체
H: HSV컬러맵 H1: HSV동적객체
H2: HSV배경객체 I1: 중간농도객체
J: 퍼지맵 J1: 퍼지동적객체
K: 역주행 객체
1: reverse-driving object detection system 10: video packet receiver
101: image frame 102: image packet
110: receiving module 120: storage module
20: motion vector extraction unit 210: parsing module
220: extraction module 230: motion vector grouping module
30: color map generation unit 310: color wheel module
320: mapping module 330: motion vector grouping module
340: binarization module 350: background object conversion module
360: dynamic object application module 40: HSV color conversion unit
410: normalization module 420: HSV color conversion module
50: dynamic object detection unit 510: saturation value extraction module
520: filter module 60: moving object output unit
70: fuzzy map generation unit 710: receiving module
720: fuzzy value calculation module 730: fuzzy map module
740: dynamic object display module 80: reverse driving object discrimination unit
A: Camera part A1: Generation module
A2: Conversion module B: Motion vector
RB: Reverse motion vector C: Pixel block
D: RGB color wheel E: RGB color map
E1: RGB dynamic object E2: RGB background object
E3: Complementary dynamic object F1: Binary dynamic object
F2: Binaryized background object G1: Transition background object
H: HSV colormap H1: HSV dynamic object
H2: HSV background object I1: Medium concentration object
J: Fuzzy map J1: Fuzzy dynamic object
K: reverse running object

Claims (5)

삭제delete 영상프레임을 영상패킷으로 변환시키는 카메라부(A)와 데이터 통신 가능하게 연결되어, 상기 영상패킷을 시간의 경과에 따라 순차적으로 수신하는 수신모듈(110)과 상기 영상패킷을 순차적으로 저장하는 저장모듈(120)을 포함하여 상기 영상패킷을 수신해 순차적으로 저장하는 영상패킷수신부(10);
상기 영상패킷수신부(10)에서 상기 영상패킷을 파싱(Parasing)하는 파싱모듈(210)과 복수 개의 모션벡터와 복수 개의 상기 모션벡터(B)를 하나씩 포함하는 화소블록(C)을 추출하는 추출모듈(220)을 포함하여, 상기 영상패킷으로부터 상기 모션벡터 및 화소블록을 추출하는 모션벡터추출부(20);
하나의 휠의 중심점을 기준으로 대향되는 위치에 서로 반대되는 색이 위치하며 상기 중심점에서 외측으로 색채가 점차 진해지는 색상을 갖는 RGB색상휠(D)을 포함하고 있는 색상휠모듈(310)과,
상기 모션벡터(B)가 수신되면 상기 RGB색상휠(D)에 각각의 상기 모션벡터(B)를 중첩시켜 중첩되는 영역의 색상을 추출해 복수 개의 화소블록(C)에 매핑시켜 상기 화소블록(C)을 복수 개의 색상을 갖는 RGB동적객체(E1)와 하나의 색을 갖는 RGB배경객체(E2)로 형성시켜 하나의 RGB컬러맵(E)을 형성시키는 매핑모듈(320)을 포함해,
일방향 모션벡터에 의해 제1색상을 갖는 RGB동적객체를 생성하고 상기 일방향 모션벡터와 반대방향이 되는 역방향 모션벡터(RB)에 의해 상기 제1색상의 보색인 제2색상을 갖는 보색동적객체(E3)를 생성하는 컬러맵생성부(30)를 포함하고,
상기 RGB컬러맵의 색상채널(H), 채도채널(S), 명도채널(V) 중 어느 하나의 채널을 기준채널로 설정하는 정규화모듈(410)과 상기 RGB컬러맵(E)을 HSV컬러로 변환시켜 HSV컬러맵(H)을 형성하는 HSV컬러변환모듈(420)을 포함해 상기 RGB컬러맵(H)을 상기 HSV컬러맵(H)으로 변환시키는 HSV컬러변환부(40);
상기 HSV컬러맵의 HSV동적객체(H1)의 채도값과 상기 HSV컬러맵의 HSV배경객체(H2)의 채도값을 추출하는 채도값추출모듈(510)과 비선형 근방 연산을 사용하여 화상의 잡음을 제거하는 메디안필터를 생성해 상기 동적객체의 채도값과 상기 배경객체의 채도값을 재 배열한 후, 중간 채도값을 상기 동적객체의 중앙에 위치시켜 중간농도객체를 추출하는 필터모듈(520)이 구비되어 상기 HSV컬러맵의 HSV동적객체(H1)와 HSV배경객체(H2)를 구분시키는 동적객체검출부(50)를 더 포함하는, 역주행 객체 검출 시스템.
A receiving module 110 connected to the camera unit A for converting an image frame into an image packet and capable of data communication, and sequentially receiving the image packet over time, and a storage module sequentially storing the image packet An image packet receiver 10 that receives and sequentially stores the image packets, including 120;
A parsing module 210 for parsing the image packet by the image packet receiver 10 and an extraction module for extracting a pixel block C including one of a plurality of motion vectors and a plurality of the motion vectors B Including 220, a motion vector extracting unit 20 for extracting the motion vector and the pixel block from the video packet;
A color wheel module 310 including an RGB color wheel D having colors that are opposite to each other at positions opposite to each other with respect to the center point of one wheel, and the color gradually darkens from the center point to the outside,
When the motion vector (B) is received, each of the motion vectors (B) is superimposed on the RGB color wheel (D) to extract the color of the overlapping area and map it to a plurality of pixel blocks (C), and the pixel block (C) is ) To form an RGB dynamic object (E1) having a plurality of colors and an RGB background object (E2) having one color to form a single RGB color map (E),
An RGB dynamic object having a first color is generated by a one-way motion vector, and a complementary dynamic object (E3) having a second color that is a complementary color of the first color by means of a reverse motion vector (RB) opposite to the one-way motion vector. Including a color map generating unit 30 to generate ),
A normalization module 410 that sets any one of the color channel (H), saturation channel (S), and brightness channel (V) of the RGB color map as a reference channel, and the RGB color map (E) as HSV color. An HSV color conversion unit 40 for converting the RGB color map H to the HSV color map H, including an HSV color conversion module 420 for converting to form an HSV color map H;
Image noise is reduced by using a saturation value extraction module 510 for extracting the saturation value of the HSV dynamic object (H1) of the HSV color map and the saturation value of the HSV background object (H2) of the HSV color map and a nonlinear near operation. A filter module 520 that generates a median filter to be removed and rearranges the saturation value of the dynamic object and the saturation value of the background object, and then locates the intermediate saturation value at the center of the dynamic object to extract the intermediate density object. The system further comprises a dynamic object detection unit (50) that is provided and separates the HSV dynamic object (H1) and the HSV background object (H2) of the HSV color map.
제2항에 있어서,
상기 중간농도객체(I1)와 상기 RGB배경객체(E2)를 수신해, 상기 중간농도객체(I1)와 상기 RGB배경객체(H2)를 중첩시켜 출력하는 이동객체출력부(60)를 포함하는, 역주행 객체 검출 시스템.
The method of claim 2,
Receiving the intermediate density object (I1) and the RGB background object (E2), including a moving object output unit 60 for outputting the intermediate density object (I1) and the RGB background object (H2) overlapping, Reverse running object detection system.
제3항에 있어서,
상기 HSV동적객체(H1)와 상기 HSV배경객체(H2)의 채도값과 색상값을 수신하는 퍼지수신모듈(710)과 기준퍼지값과 기준퍼지수식이 기 설정되어 있고 상기 기준퍼지수식에 상기 HSV동적객체 및 상기 HSV배경객체의 채도값 그리고 상기 HSV동적객체 및 상기 HSV배경객체의 색상값을 넣어 제1연산퍼지값을 산출하는 퍼지값산출모듈(720) 그리고 상기 HSV컬러맵(H)에서 상기 제1연산퍼지값에 해당하는 색상을 추출해 퍼지맵을 형성하는 퍼지맵모듈(730),
상기 제1연산퍼지값과 상기 기준퍼지값을 대비해 상기 HSV동적객체에 해당하는 상기 제1연산퍼지값만 퍼지동적객체(J1)로 추출하고, 상기 HSV배경객체(H2)에 해당하는 상기 제1연산퍼지값을 삭제하는 동적객체표출모듈(740)이 구비되어, HSV컬러맵(H)을 퍼지맵(J)으로 변환하여 퍼지맵(J)에서 퍼지동적객체(J1)를 추출하는 퍼지맵생성부(70)를 더 포함하는, 역주행 객체 검출 시스템.
The method of claim 3,
A fuzzy receiving module 710 that receives the saturation and color values of the HSV dynamic object (H1) and the HSV background object (H2), and a reference fuzzy value and a reference fuzzy equation are preset, and the HSV A fuzzy value calculation module 720 for calculating a first computational fuzzy value by putting the saturation value of the dynamic object and the HSV background object and the color value of the HSV dynamic object and the HSV background object, and the HSV color map H A fuzzy map module 730 for forming a fuzzy map by extracting a color corresponding to the first calculated fuzzy value,
Comparing the first computational fuzzy value and the reference fuzzy value, only the first computational fuzzy value corresponding to the HSV dynamic object is extracted as a fuzzy dynamic object (J1), and the first computational fuzzy value corresponding to the HSV background object (H2) A dynamic object expression module 740 that deletes the computational fuzzy value is provided, and a fuzzy map is generated to extract the fuzzy dynamic object (J1) from the fuzzy map (J) by converting the HSV color map (H) into a fuzzy map (J). Further comprising a unit 70, the reverse running object detection system.
제4항에 있어서,
상기 중간농도객체(I1) 그리고 상기 퍼지동적객체(J1)가 수신되면 상기 중간농도객체(I1) 및 상기 퍼지동적객체(J1)를 역주행 객체(K)로 판별하는 역주행객체판별부(80)를 더 포함하는, 역주행 객체 검출 시스템.
The method of claim 4,
When the intermediate concentration object (I1) and the fuzzy dynamic object (J1) are received, a reverse running object discrimination unit 80 that determines the intermediate concentration object (I1) and the fuzzy dynamic object (J1) as a reverse running object (K) Further comprising, a reverse running object detection system.
KR1020200058000A 2019-11-29 2020-05-14 Detection System For Reverse Direction Moving Object KR102238124B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190156868 2019-11-29
KR20190156868 2019-11-29

Publications (1)

Publication Number Publication Date
KR102238124B1 true KR102238124B1 (en) 2021-04-08

Family

ID=75480423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200058000A KR102238124B1 (en) 2019-11-29 2020-05-14 Detection System For Reverse Direction Moving Object

Country Status (1)

Country Link
KR (1) KR102238124B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112111A (en) * 2016-03-30 2017-10-12 주식회사 에스원 Virtual line generation method, system and method for detecting reverse driving of vehicle
KR101915538B1 (en) * 2018-05-04 2018-11-06 주식회사 다누시스 System For Detecting Objects Motion Vectors And Method For Detecting Objects Motion Vectors
KR102014545B1 (en) * 2018-07-11 2019-08-26 이노뎁 주식회사 method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same
KR102015084B1 (en) * 2017-12-20 2019-08-27 이노뎁 주식회사 syntax-based method of detecting fence-climbing objects in compressed video
KR102042397B1 (en) 2018-07-30 2019-11-08 이노뎁 주식회사 syntax-based method of producing heat-map for compressed video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112111A (en) * 2016-03-30 2017-10-12 주식회사 에스원 Virtual line generation method, system and method for detecting reverse driving of vehicle
KR102015084B1 (en) * 2017-12-20 2019-08-27 이노뎁 주식회사 syntax-based method of detecting fence-climbing objects in compressed video
KR101915538B1 (en) * 2018-05-04 2018-11-06 주식회사 다누시스 System For Detecting Objects Motion Vectors And Method For Detecting Objects Motion Vectors
KR102014545B1 (en) * 2018-07-11 2019-08-26 이노뎁 주식회사 method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same
KR102042397B1 (en) 2018-07-30 2019-11-08 이노뎁 주식회사 syntax-based method of producing heat-map for compressed video

Similar Documents

Publication Publication Date Title
KR101942808B1 (en) Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN
CN109922310B (en) Target object monitoring method, device and system
CN101960834B (en) Imaging device
KR100476019B1 (en) Monitoring method for detecting an intruding object and monitoring apparatus therefor
US8687887B2 (en) Image processing method, image processing apparatus, and image processing program
CN109640007B (en) Artificial intelligence image sensing equipment
JP6804965B2 (en) Image processing equipment, image processing system, and image processing method
CN110706150A (en) Image processing method, image processing device, electronic equipment and storage medium
EP1909484A1 (en) Image processing device, image processing program, and image processing method
KR20200058260A (en) Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
JP2016085619A (en) Image processing device, image processing method, poi information creation system, warning system, and guidance system
KR20130000828A (en) A method of detecting facial features
CN105744115A (en) Method and system for processing video content
CN112489143A (en) Color identification method, device, equipment and storage medium
JP2004282535A (en) Device for adjusting angle of field
CN113065568A (en) Target detection, attribute identification and tracking method and system
CN106097483A (en) A kind of video record processing method and system based on intelligent back vision mirror
US11455785B2 (en) System and method for use in object detection from video stream
KR102238124B1 (en) Detection System For Reverse Direction Moving Object
CN109729259B (en) Image processing apparatus, method thereof, system thereof, and computer readable medium
US9542777B2 (en) Image processing apparatus, image processing method, and storage medium
KR101915538B1 (en) System For Detecting Objects Motion Vectors And Method For Detecting Objects Motion Vectors
EP3901900A1 (en) Image processing system, image processing method, and image processing program
JP5453796B2 (en) Image processing apparatus, electronic camera, and image processing program

Legal Events

Date Code Title Description
GRNT Written decision to grant