KR102520729B1 - Multi-channel image single channel processing system of image analysis system and method thereof - Google Patents

Multi-channel image single channel processing system of image analysis system and method thereof Download PDF

Info

Publication number
KR102520729B1
KR102520729B1 KR1020210107390A KR20210107390A KR102520729B1 KR 102520729 B1 KR102520729 B1 KR 102520729B1 KR 1020210107390 A KR1020210107390 A KR 1020210107390A KR 20210107390 A KR20210107390 A KR 20210107390A KR 102520729 B1 KR102520729 B1 KR 102520729B1
Authority
KR
South Korea
Prior art keywords
image
channel
ratio
unit
channel image
Prior art date
Application number
KR1020210107390A
Other languages
Korean (ko)
Other versions
KR20230025181A (en
Inventor
강인구
정재호
Original Assignee
주식회사 포딕스시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포딕스시스템 filed Critical 주식회사 포딕스시스템
Priority to KR1020210107390A priority Critical patent/KR102520729B1/en
Publication of KR20230025181A publication Critical patent/KR20230025181A/en
Application granted granted Critical
Publication of KR102520729B1 publication Critical patent/KR102520729B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템 및 방법에 관한 것으로, 더욱 상세하게는 다수의 채널로 입력되는 다수의 채널 영상을 단일화된 하나의 결합 채널 영상으로 결합하여 영상 분석을 수행할 수 있도록 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템 및 방법에 관한 것이다.The present invention relates to a multi-channel image single-channel processing system and method of an image analysis system, and more particularly, to perform image analysis by combining multiple channel images input through multiple channels into a single combined channel image. It relates to a multi-channel image single-channel processing system and method of an image analysis system that enables

Description

영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템 및 방법 {Multi-channel image single channel processing system of image analysis system and method thereof}Multi-channel image single channel processing system of image analysis system and method thereof}

본 발명은 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템 및 방법에 관한 것으로, 더욱 상세하게는 다수의 채널로 입력되는 다수의 입력 영상(이하 "채널 영상"이라 함)을 단일화된 하나의 채널 영상(이하 " 결합 채널 영상"이라 함)으로 결합하여 영상 분석을 수행할 수 있도록 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템 및 방법에 관한 것이다.The present invention relates to a multi-channel image single-channel processing system and method of an image analysis system, and more particularly, to a single channel image in which a plurality of input images (hereinafter referred to as “channel images”) input through multiple channels are unified. (Hereinafter referred to as "combined channel image") relates to a single channel processing system and method of a multi-channel image of an image analysis system that enables image analysis to be performed.

영상기술 및 카메라 기술이 발전함에 따라 다양한 분야에서 무수히 많은 영상이 만들어지고 있다.As image technology and camera technology develop, countless images are being created in various fields.

일반적으로 시, 도, 군 등과 같은 지자체들은 시민의 안전 및 치안을 위해 거리 및 다양한 장소에 다수의 폐쇄 회로 텔레비전(Closed Circuit Television: CCTV)을 설치하고 있다.In general, local governments such as cities, provinces, and counties install a plurality of closed circuit televisions (CCTVs) on streets and in various places for the safety and security of citizens.

지자체뿐만 아니라 건물에는 건물 내의 보안을 위해 다수의 CCTV가 설치되고 있으며, 최근에는 일반 가정에도 치안, 보안 및 육아 돌봄 등을 위해 가정용 CCTV가 설치되고 있다.In addition to local governments, a number of CCTVs are installed in buildings for security within the building, and recently, home CCTVs are also being installed in general homes for public order, security, and childcare.

이처럼 CCTV 영상획득장치는 촬영되는 영상을 저장수단에 저장하였다가 추후 확인할 수 있도록 할 뿐만 아니라 인터넷을 통해 실시간 확인할 수 있도록 한다.In this way, the CCTV image capture device not only stores the captured image in a storage means so that it can be checked later, but also can be checked in real time through the Internet.

일반적인 CCTV 영상획득장치를 이용하는 경우, 관리자가 직접 촬영 영상을 확인하여 영상 내의 상황 및 이벤트 발생을 분석하는 것이 일반적이었으나, 동시다발적으로 발생하는 영상을 소수의 관리자가 일일이 모니터링하여 이벤트의 발생을 감지하는 데는 한계가 있는 문제점이 있었다.In the case of using a general CCTV image acquisition device, it is common for managers to directly check the captured images and analyze the situation and event occurrence in the images, but a small number of managers monitor the simultaneously occurring images one by one to detect the occurrence of events. There was a problem with limitations.

이러한 문제점을 해결하기 위해 최근에는 획득되는 영상을 자동으로 분석하여 영상 내에서 발생하는 침입, 폭력, 사고 등과 같은 다양한 이벤트를 검출하는 영상 분석 시스템이 개발되어 적용되고 있다.In order to solve this problem, recently, an image analysis system that automatically analyzes acquired images and detects various events such as intrusion, violence, and accidents occurring in the images has been developed and applied.

이러한 영상 분석 시스템은 딥러닝(Deep Learning) 등과 같은 인공지능(AI)기술이 접목되어 영상 내의 객체 인식을 통해 해당 영상의 상황을 빠르게 판단하고, 영상 내에서의 다양한 이벤트를 빠르게 감지하고 있다.These video analysis systems are grafted with artificial intelligence (AI) technologies such as deep learning to quickly determine the situation of the video through object recognition in the video and quickly detect various events in the video.

또한, 최근 영상 분석 시스템은 이러한 이벤트의 검출을 넘어, 사고를 예방하는 사전적 보안 단계까지 실현할 수 있을 것으로 기대를 모으고 있다.In addition, recent video analysis systems are expected to be able to realize a proactive security step that prevents accidents beyond the detection of these events.

딥러닝 알고리즘은 비지도 학습 및 지도 학습, 합성곱신경망(Convolution Neural Network: CNN), 순환신경망(Recursive Neural Network: RNN) 등으로 고도화되고 있으며, 이를 처리하는 하드웨어의 발전도 진화하는 추세이다. 통상적으로 영상의 처리는 그래픽 프로세싱 유닛(Graphic Processing Unit: GPU)에서 수행된다.Deep learning algorithms are being advanced with unsupervised learning and supervised learning, convolutional neural networks (CNNs), and recursive neural networks (RNNs), and the development of hardware processing them is also evolving. Typically, image processing is performed in a graphic processing unit (GPU).

그러나 수많은 영상을 빠르게 분석하여야 하므로 영상을 처리하기 위한 GPU 등과 같은 하드웨어의 속도가 빨라져야 하나, 하드웨어의 속도를 향상시키기 위해서는 그 가격이 비싸지는 문제점이 있으며, 가격이 저렴한 하드웨어로는 사용자가 원하는 속도를 확보하기 어려운 문제점이 있었다.However, since a large number of images must be analyzed quickly, the speed of hardware such as GPU for image processing must be increased, but there is a problem in that the price is expensive to improve the speed of the hardware, and the speed desired by the user is secured with inexpensive hardware. There was a problem that was difficult to do.

또한, 속도가 빠른 하드웨어라도 물리적으로 그 속도를 향상시키는데는 한계가 있는 문제점이 있었다. In addition, there is a problem in that there is a limit to physically improving the speed even with fast hardware.

대한민국 등록특허 제1637193호(2016.07.08.공고)Republic of Korea Patent Registration No. 1637193 (2016.07.08. Notice)

따라서 본 발명의 목적은 다수의 채널로 입력되는 다수의 채널 영상을 상기 채널 영상에 포함된 임의의 객체 수에 대응하여 크기가 조절된 채널 영상(이하 "스케일링 채널 영상"이라 함)으로 변환한 후, 상기 스케일링 채널 영상을 단일화된 하나의 결합 채널 영상으로 결합하여 영상 분석을 수행할 수 있도록 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템 및 방법을 제공함에 있다.Therefore, an object of the present invention is to convert multiple channel images input through multiple channels into channel images (hereinafter referred to as "scaling channel images") whose size is adjusted according to the number of objects included in the channel images. To provide a multi-channel image single-channel processing system and method of an image analysis system capable of performing image analysis by combining the scaling channel images into one unified combined channel image.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템은: 각각의 채널 영상을 획득하여 출력하는 적어도 둘 이상의 영상획득부; 상기 영상획득부 각각에 대응하는 입력 채널을 통해 영상획득부 각각으로부터 입력되는 각 채널 영상 내의 객체를 검출하고, 채널 영상별 객체 수 및 전체 채널 영상의 총 객체 수를 출력하는 객체 검출부; 상기 총 객체 수 및 채널 영상별 객체 수에 의해 각 채널 영상의 크기 비율을 결정하여 출력하는 비율 결정부; 상기 영상획득부로부터 상기 둘 이상의 채널 영상을 입력받고, 상기 비율 결정부로부터 채널 영상별 크기 비율을 입력받아 해당 채널 영상을 대응하는 크기 비율에 따라 조절한 후 단일 채널로 처리하기 위한 하나의 결합 채널 영상으로 결합하여 출력하는 퍼즐영상 생성부; 및 상기 결합 채널 영상을 입력받아 영상 분석을 수행하는 영상 분석부를 포함하는 것을 특징으로 한다.To achieve the above object, a multi-channel image single-channel processing system of an image analysis system according to the present invention includes: at least two image acquisition units for obtaining and outputting respective channel images; an object detection unit for detecting objects in each channel image input from each image acquisition unit through an input channel corresponding to each of the image acquisition units, and outputting the number of objects for each channel image and the total number of objects in all channel images; a ratio determination unit that determines and outputs a size ratio of each channel image based on the total number of objects and the number of objects for each channel image; One combined channel for receiving the two or more channel images from the image acquisition unit, receiving a size ratio for each channel image from the ratio determination unit, adjusting the corresponding channel image according to the corresponding size ratio, and then processing the image as a single channel. a puzzle image generating unit that combines and outputs an image; and an image analysis unit receiving the combined channel image and performing image analysis.

상기 비율 결정부는, 상기 총 객체 수 및 채널 영상별 객체 수에 의해 각 채널 영상의 크기 비율을 결정하여 출력하는 크기 결정부; 및 상기 채널 영상별로 가로 및 세로 방향 중 객체의 분포가 높은 방향의 비율이 높아지도록 가로세로 비율을 결정하되, 각 채널 영상별 크기 비율 및 가로세로 비율에 따라 상기 채널 영상들이 일정 크기의 결합 채널 영상에 포함될 수 있도록 상기 가로세로 비율을 결정하는 가로세로 비율 결정부를 포함하는 것을 특징으로 한다.The ratio determination unit may include: a size determination unit determining and outputting a size ratio of each channel image based on the total number of objects and the number of objects for each channel image; and determining an aspect ratio for each channel image so that a ratio of a direction in which an object distribution is high among the horizontal and vertical directions is increased, and the channel images are combined channel images having a certain size according to the size ratio and aspect ratio of each channel image. It is characterized in that it includes an aspect ratio determining unit for determining the aspect ratio so that it can be included in the.

상기 퍼즐영상 생성부는, 상기 비율 결정부에서 결정된 채널영상별 크기 비율 및 가로세로 비율에 따라 해당 채널영상의 크기를 조절한 스케일링 채널 영상을 출력하는 영상 비율 조절부; 및 상기 비율 조절된 스케일링 채널 영상들을 결합하여 미리 설정된 크기의 결합 채널 영상을 생성하는 영상 결합부를 포함하는 것을 특징으로 한다.The puzzle image generation unit may include: an image ratio controller outputting a scaling channel image obtained by adjusting the size of the corresponding channel image according to the size ratio and aspect ratio of each channel image determined by the ratio determination unit; and an image combining unit generating a combined channel image having a preset size by combining the ratio-adjusted scaling channel images.

상기 객체 검출부는, 움직이는 물체를 검출 대상 객체로서 검출하는 것을 특징으로 한다.The object detection unit may detect a moving object as a detection target object.

상기 결합 채널 영상의 크기는, 비율조절 전의 상기 채널영상의 크기와 동일한 것을 특징으로 한다.The size of the combined channel image is the same as the size of the channel image before scaling.

상기 영상 결합부는 상기 결합된 채널 영상들의 결합 채널 영상 내에서의 배치정보를 영상 분석부로 더 제공하되, 상기 영상 분석부는, 상기 결합 채널 영상을 단일 채널의 영상으로써 간주하여 영상을 분석하되, 분석된 분석정보를 상기 배치정보에 기반하여 채널 영상별 분석정보로 분류하여 출력하는 것을 특징으로 한다.The image combiner further provides arrangement information of the combined channel images within the combined channel image to the image analyzer, wherein the image analyzer considers the combined channel image as an image of a single channel and analyzes the image. Characterized in that the analysis information is classified into analysis information for each channel image based on the arrangement information and output.

상기 영상 분석부는, 합성곱신경망(CNN), 순환신경망(RNN) 및 생성적 대립 신경망(GAN) 중 어느 하나를 포함하는 딥러닝 인공지능모델에 의해 영상을 분석하는 것을 특징으로 한다.The image analysis unit is characterized in that the image is analyzed by a deep learning artificial intelligence model including any one of a convolutional neural network (CNN), a recurrent neural network (RNN), and a generative adversarial network (GAN).

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법은: 적어도 둘 이상의 영상획득부가 각각의 채널 영상을 획득하여 출력하는 채널영상 획득 과정; 객체 검출부가 상기 영상획득부 각각에 대응하는 입력 채널을 통해 영상획득부 각각으로부터 입력되는 각 채널 영상 내의 객체를 검출하고, 채널 영상별 객체 수 및 전체 채널 영상의 총 객체 수를 출력하는 객체 검출 과정; 비율 결정부가 상기 총 객체 수 및 채널 영상별 객체 수에 의해 각 채널 영상의 크기 비율을 결정하여 출력하는 비율 결정 과정; 퍼즐영상 생성부가 상기 영상획득부로부터 상기 둘 이상의 채널 영상을 입력받고, 상기 비율 결정부로부터 채널 영상별 크기 비율을 입력받아 해당 채널 영상을 대응하는 크기 비율에 따라 조절한 후 단일 채널로 처리하기 위한 하나의 결합 채널 영상으로 결합하여 출력하는 퍼즐영상 생성 과정; 및 영상 분석부가 상기 결합 채널 영상을 입력받아 영상 분석을 수행하고, 분석결과를 출력하는 영상 분석 과정을 포함하는 것을 특징으로 한다.In order to achieve the above object, a method for processing a single channel of a multi-channel image of an image analysis system according to the present invention includes: a channel image acquisition process in which at least two or more image acquisition units acquire and output respective channel images; An object detection process in which an object detection unit detects an object in each channel image input from each image acquisition unit through an input channel corresponding to each image acquisition unit, and outputs the number of objects for each channel image and the total number of objects in all channel images. ; a ratio determining step of determining and outputting a size ratio of each channel image according to the total number of objects and the number of objects for each channel image by a ratio determining unit; For the puzzle image generation unit to receive the two or more channel images from the image acquisition unit, receive the size ratio for each channel image from the ratio determination unit, adjust the corresponding channel image according to the corresponding size ratio, and process it as a single channel. A puzzle image generation process of combining and outputting a single combined channel image; and an image analysis process in which the image analysis unit receives the combined channel image, performs image analysis, and outputs an analysis result.

상기 비율 결정 과정은, 상기 비율 결정부가 크기 결정부를 통해 상기 총 객체 수 및 채널 영상별 객체 수에 의해 각 채널 영상의 크기 비율을 결정하여 출력하는 크기 결정 단계; 및 상기 비율 결정부가 가로세로 비율 결정부를 통해 상기 채널 영상별로 가로 및 세로 방향 중 객체의 분포가 높은 방향의 비율이 높아지도록 가로세로 비율을 결정하되, 각 채널 영상별 크기 비율 및 가로세로 비율에 따라 상기 채널 영상들이 일정 크기의 결합 채널 영상에 포함될 수 있도록 상기 가로세로 비율을 결정하는 가로세로 비율 결정 단계를 포함하는 것을 특징으로 한다.The ratio determining process may include a size determination step of determining and outputting a size ratio of each channel image by the total number of objects and the number of objects for each channel image by the ratio determination unit through the size determination unit; And the ratio determining unit determines the aspect ratio through the aspect ratio determining unit so that the ratio of the direction in which the distribution of objects is high among the horizontal and vertical directions for each channel image increases, and according to the size ratio and aspect ratio of each channel image and an aspect ratio determining step of determining the aspect ratio so that the channel images can be included in a combined channel image having a predetermined size.

상기 퍼즐영상 생성 과정은, 상기 퍼즐영상 생성부가 영상 비율 조절부를 통해 상기 비율 결정부에서 결정된 채널 영상별 크기 비율 및 가로세로 비율에 따라 해당 채널영상의 크기를 조절하는 영상 비율 조절 단계; 및 상기 퍼즐영상 생성부가 영상 결합부를 통해 상기 비율 조절된 채널영상들을 단일 채널로 처리할 수 있도록 결합하여 미리 설정된 크기의 결합 채널 영상을 생성하는 영상 결합 단계를 포함하는 것을 특징으로 한다.The puzzle image generating process may include: an image ratio adjusting step in which the puzzle image generating unit adjusts the size of a corresponding channel image according to the size ratio and aspect ratio of each channel image determined by the ratio determination unit through an image ratio adjusting unit; and an image combining step of generating a combined channel image having a preset size by combining the ratio-adjusted channel images to be processed into a single channel by the puzzle image generating unit through the image combiner.

상기 객체 검출부가 움직이는 물체를 검출 대상 객체로서 검출하는 것을 특징으로 한다.It is characterized in that the object detection unit detects a moving object as a detection target object.

상기 결합 채널 영상의 크기는, 비율조절 전의 상기 채널영상의 크기와 동일한 것을 특징으로 한다.The size of the combined channel image is the same as the size of the channel image before scaling.

상기 영상 결합 단계는, 상기 퍼즐 영상 생성부가 상기 영상 결합부를 통해 상기 비율 조절된 채널영상들을 단일 채널로 처리할 수 있도록 결합하여 미리 설정된 크기의 결합 채널 영상을 생성하는 결합 채널 영상 생성 단계; 및 상기 퍼즐 영상 생성부가 상기 영상 결합부를 통해 상기 결합된 채널 영상들의 결합 채널 영상 내에서의 배치에 따른 배치정보를 생성한 후 상기 결합 채널 영상과 함께 영상 분석부로 제공하는 결합 채널 영상 제공 단계를 포함하되, 상기 영상 분석 과정에서 상기 영상 분석부가 상기 결합 채널 영상을 단일 채널의 영상으로써 간주하여 영상을 분석하되, 분석된 분석정보를 상기 배치정보에 기반하여 채널 영상별 분석정보로 분류하여 출력하는 것을 특징으로 한다.The image combining step may include a combined channel image generating step in which the puzzle image generating unit generates a combined channel image having a preset size by combining the ratio-adjusted channel images to be processed into a single channel through the image combining unit; and a combined channel image providing step in which the puzzle image generation unit generates arrangement information according to the arrangement of the combined channel images in the combined channel image through the image combiner, and then provides the combined channel image and the combined channel image to an image analyzer. However, in the image analysis process, the image analysis unit regards the combined channel image as a single channel image and analyzes the image, classifying the analyzed analysis information into analysis information for each channel image based on the arrangement information and outputting the to be characterized

상기 영상 분석부가 합성곱신경망(CNN), 순환신경망(RNN) 및 생성적 대립 신경망(GAN) 중 어느 하나를 포함하는 딥러닝 인공지능모델에 의해 영상을 분석하는 것을 특징으로 한다.It is characterized in that the image analysis unit analyzes the image by a deep learning artificial intelligence model including any one of a convolutional neural network (CNN), a recurrent neural network (RNN), and a generative adversarial network (GAN).

본 발명은 다수의 채널로 입력되는 다수의 채널 영상을 하나로 결합한 결합 채널 영상으로 합성하여 다수의 채널 영상을 한 채널에 대한 영상으로써 분석을 수행하므로, 하드웨어 성능을 업그레이드하지 않고도 영상 분석 속도를 향상시킬 수 있는 효과가 있다.Since the present invention synthesizes a plurality of channel images input through multiple channels into a combined channel image and analyzes the multiple channel images as an image for one channel, the image analysis speed can be improved without upgrading hardware performance. There are possible effects.

또한, 본 발명은 각 채널 영상에 포함된 객체 수에 대응하도록 해당 채널 영상을 스케일링하므로 보다 효율적이고 빠르게 영상을 분석할 수 있는 효과가 있다.In addition, since the present invention scales a corresponding channel image to correspond to the number of objects included in each channel image, the image can be analyzed more efficiently and quickly.

또한, 본 발명은 획득되는 채널 영상들을 포함된 객체수에 따라 스케일링 비율을 조절하되 각 채널 영상에서 검출된 객체의 가로세로 분포 비율에 따라 가로세로 비율을 변경하므로 보다 효율적이고 정확하게 영상을 분석할 수 있는 효과가 있다.In addition, the present invention adjusts the scaling ratio according to the number of objects included in the acquired channel images, but changes the aspect ratio according to the horizontal-to-vertical distribution ratio of objects detected in each channel image, so that the image can be analyzed more efficiently and accurately. There is an effect.

도 1은 본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 다채널 영상 단일 채널 처리 시스템의 영상 비율 조절 및 영상 결합 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 4개의 채널 영상을 단일 채널의 결합 채널 영상으로 변환하는 일 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 다채널 영상 단일 채널 처리 시스템의 영상 처리부에서 영상을 처리하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법을 나타낸 흐름도이다.1 is a diagram showing the configuration of a multi-channel image single-channel processing system of an image analysis system according to the present invention.
2 is a diagram for explaining an image ratio adjustment and image combining method of a multi-channel image single-channel processing system according to the present invention.
3 is a diagram illustrating an example of converting a 4-channel image into a combined channel image of a single channel according to an embodiment of the present invention.
4 is a diagram for explaining a method of processing an image in an image processing unit of a multi-channel image single-channel processing system according to an embodiment of the present invention.
5 is a flowchart illustrating a method for processing a single channel of a multi-channel image of an image analysis system according to the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 다채널 영상 단일 채널 처리 방법을 설명한다.Hereinafter, the configuration and operation of the multi-channel image single-channel processing system of the image analysis system according to the present invention will be described in detail with reference to the accompanying drawings, and the multi-channel image single-channel processing method in the system will be described.

도 1은 본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 다채널 영상 단일 채널 처리 시스템의 영상 비율 조절 및 영상 결합 방법을 설명하기 위한 도면이고, 도 3은 본 발명의 일실시예에 따른 4개의 채널 영상을 단일 채널의 결합 채널 영상으로 변환하는 일 예를 나타낸 도면이며, 도 4는 본 발명의 일실시예에 따른 다채널 영상 단일 채널 처리 시스템의 영상 처리부에서 영상을 처리하는 방법을 설명하기 위한 도면이다. 이하 도 1 내지 도 4를 참조하여 설명한다.1 is a diagram showing the configuration of a multi-channel image single-channel processing system of an image analysis system according to the present invention, and FIG. 2 explains an image ratio adjustment and image combining method of a multi-channel image single-channel processing system according to the present invention. FIG. 3 is a diagram showing an example of converting a 4-channel image according to an embodiment of the present invention into a combined channel image of a single channel, and FIG. 4 is a multi-channel image according to an embodiment of the present invention. It is a diagram for explaining a method of processing an image in an image processing unit of a single channel processing system. It will be described with reference to FIGS. 1 to 4 below.

본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템은 둘 이상의 영상 획득부(10), 객체 검출부(20), 비율 결정부(30), 퍼즐영상 생성부(40) 및 영상 분석부(50)를 포함한다.The multi-channel image single-channel processing system of the image analysis system according to the present invention includes two or more image acquisition units 10, an object detection unit 20, a ratio determination unit 30, a puzzle image generator 40, and an image analysis unit ( 50) included.

영상 획득부(10)는 DVR, NVR 등의 다수의 영상을 저장하는 저장 수단으로부터 임의의 영상을 채널 영상으로 로드하여 객체 검출부(20) 및 퍼즐영상 생성부(40)로 출력하도록 구성될 수 있을 것이다.The image acquisition unit 10 may be configured to load an arbitrary image as a channel image from a storage means for storing a plurality of images such as a DVR or NVR and output the image to the object detection unit 20 and the puzzle image generator 40. will be.

또한, 영상 획득부(10)는 폐쇄회로텔레비전(CCTV) 등의 카메라로부터 특정 촬영영역을 촬영한 촬영 영상을 채널 영상으로써 획득하여 출력하도록 구성될 수도 있을 것이다.In addition, the image acquisition unit 10 may be configured to acquire and output a captured image obtained by capturing a specific capturing area from a camera such as a closed circuit television (CCTV) as a channel image.

객체 검출부(20)는 다수의 영상 획득부(10)와 연결되어 상기 다수의 영상 획득부(10)로부터 각각의 채널 영상을 수신하기 위한 다수의 채널을 가지는 장치로서, 적어도 둘 이상의 영상 획득부(10)로부터 입력되는 채널 영상 각각으로부터 객체를 검출하고, 검출된 객체 수를 카운트하며, 채널 영상별 객체 수를 누적하여 전체 채널 영상의 총 객체 수를 계산하고, 상기 채널 영상별 객체 수 및 총 객체 수를 비율 결정부(30)로 출력한다. 객체 검출부(20)는 각 채널 영상으로부터 단순하게 객체만을 빠르게 검출하여 그 객체수를 카운팅한다. 이때 단순하게 객체만을 빠르게 검출하기 위해서 욜로(YOLO)방식이 적용되는 것이 바람직할 것이다.The object detection unit 20 is a device having a plurality of channels for receiving each channel image from the plurality of image acquisition units 10 by being connected to the plurality of image acquisition units 10, and at least two or more image acquisition units ( 10) detects objects from each input channel image, counts the number of detected objects, calculates the total number of objects in all channel images by accumulating the number of objects for each channel image, and calculates the number of objects for each channel image and the total number of objects The number is output to the ratio determination unit 30. The object detection unit 20 simply and rapidly detects only objects from each channel image and counts the number of objects. At this time, it would be desirable to apply the YOLO method in order to simply and quickly detect only the object.

도 3을 예를 들어 설명하면, 객체 검출부(20)는 채널 영상으로부터 검출하고자 하는 객체가 사람인 제1채널 영상(301-1)에서 한 명의 객체를 검출하여 객체 수, 1을 카운팅하고, 제2채널 영상(301-2)에서 16명의 객체를 검출하여 객체 수, 16을 카운팅하며, 제3채널 영상(301-3)에서는 3명의 객체를 검출하여 객체 수, 3을 카운팅하며, 제4채널 영상(301-4)에서는 객체를 검출하지 못하여 객체 수, 0을 카운팅한다. 그러나 객체가 없는 채널 영상이라도 영상 처리는 수행하는 것이 바람직하므로 미리 설정된 최소 객체 수(1보다 작은 수, 0.5 등)를 할당할 수 있을 것이다.Referring to FIG. 3 as an example, the object detection unit 20 detects one object in the first channel image 301-1 in which the object to be detected from the channel image is a person, counts the number of objects, 1, and second In the channel image 301-2, 16 objects are detected and the number of objects, 16, is counted. In the third channel image 301-3, three objects are detected and the number of objects, 3, is counted. In 301-4, no object is detected, so the number of objects, 0, is counted. However, since it is desirable to perform image processing even on a channel image without an object, a preset minimum number of objects (a number less than 1, 0.5, etc.) may be allocated.

다른 방식으로는 객체가 검출되지 않은 제4채널 영상(301-4)을 제거할 수도 있고, 객체가 검출되는 시점(프레임)의 제4채널 영상(301-4)을 대체 적용할 수도 있을 것이다.Alternatively, the fourth channel image 301-4 at which no object is detected may be removed, or the fourth channel image 301-4 at the point in time (frame) at which the object is detected may be applied instead.

상기의 경우 객체 검출부(20)는 총 객체 수로 20.5를 출력할 것이다.In this case, the object detection unit 20 will output 20.5 as the total number of objects.

비율 결정부(30)는 크기 결정부(31)만으로 구성되거나, 가로세로 비율 결정부(32)를 더 포함하여 구성되어, 상기 총 객체 수 및 채널 영상별 객체 수에 의해 각 채널 영상의 크기 비율을 결정하고, 그에 따른 스케일링 비율정보를 생성하여 출력한다.The ratio determining unit 30 is composed of only the size determining unit 31 or further includes an aspect ratio determining unit 32, so that the size ratio of each channel image is determined by the total number of objects and the number of objects for each channel image. is determined, and scaling ratio information is generated and output accordingly.

구체적으로 상기 크기 결정부(31)는 상기 객체 검출부(20)로부터 채널 영상별 객체 수 및 총 객체 수를 입력받고, 총 객체 수 대비 채널 영상별 객체 수에 따라 상기 채널 영상의 스케일링 비율을 결정하고 스케일링 비율에 따른 채널 영상들 각각의 크기를 결정한다. 상기 스케일링 비율은 총 객체수 대비 채널 영상별 객체 수가 그대로 적용될 수도 있고, 로그 스케일링 방식 등과 같은 다양한 스케일링 방식을 적용하여 결정될 수도 있을 것이다.Specifically, the size determination unit 31 receives the number of objects for each channel image and the total number of objects from the object detection unit 20, determines the scaling ratio of the channel image according to the number of objects for each channel image compared to the total number of objects, The size of each channel image is determined according to the scaling ratio. The scaling ratio may be applied as it is to the number of objects per channel image relative to the total number of objects, or may be determined by applying various scaling methods such as a logarithmic scaling method.

가로세로 비율 결정부(32)는 크기 결정부(31)에서 크기가 결정된 경우 검출된 객체들의 가로 및 세로 분포에 따라 가로세로의 비율을 결정한다. 예를 들어, 객체의 가로 분포도가 더 높으면 가로의 비율을 더 높게 설정한다. 즉, 크기가 크기 결정부(31)에서 10*10=100으로 결정되었으나, 가로 분포도가 더 높아 가로세로 분포도에 따라 25*4=100으로 가로세로 비율이 변경 적용될 수 있을 것이다.The aspect ratio determination unit 32 determines the aspect ratio according to the horizontal and vertical distribution of the detected objects when the size is determined by the size determination unit 31 . For example, if the horizontal distribution of an object is higher, the horizontal ratio is set higher. That is, although the size is determined to be 10*10=100 by the size determining unit 31, the horizontal distribution is higher and the aspect ratio can be changed to 25*4=100 according to the horizontal and vertical distribution.

상기 비율 결정부(30)는 상기 각 채널영상의 크기를 결정 시 미리 설정된 단일 채널로 처리하기 위해 결합되는 결합 채널 영상(203)의 크기를 미리 정의하고 있으며, 상기 스케일링 조절된 스케일링 채널 영상(202)이 그 크기가 미리 결정된 상기 결합 채널 영상(203)에 포함될 수 있도록 각 스케일링 채널 영상(202)의 크기가 결정되어야 할 것이다. 상기 결합 채널 영상(203)의 크기는 영상 분석 효율을 극대화하기 위해 채널 영상의 크기와 동일하게 설정되는 것이 바람직하나, 분석 정확도를 높이기 위해 더 크게 조정될 수도 있을 것이다. 예를 들어, 결합 채널 영상(203)의 크기는 영상 채널(201) 전체를 결합한 크기의 1/2(=2* 채널 영상 크기)로 조정될 수도 있을 것이다.When determining the size of each channel image, the ratio determining unit 30 predefines the size of the combined channel image 203 to be combined in order to process it as a preset single channel, and the scaling-adjusted scaling channel image 202 The size of each scaling channel image 202 should be determined so that ) can be included in the combined channel image 203 whose size is predetermined. The size of the combined channel image 203 is preferably set equal to that of the channel image to maximize image analysis efficiency, but may be adjusted larger to increase analysis accuracy. For example, the size of the combined channel image 203 may be adjusted to 1/2 of the combined size of the entire image channels 201 (= 2* channel image size).

상기 비율 결정부(30)는 상기 스케일링 채널 영상(202)의 생성 시 미리 설정된 크기에 맞춰 가로세로 비율 및 그 크기가 결정되어야 하므로, 상기 크기 내에서 스케일링 채널 영상(202)들이 배치되어야 할 위치에 대한 배치정보를 더 생성하여 퍼즐영상 생성부(40)의 영상 결합부(42) 및 영상 분석부(50)로 출력한다. When the scaling channel image 202 is created, the ratio determining unit 30 determines the aspect ratio and its size according to the preset size, so that the scaling channel images 202 are located within the size. Placement information is further generated and output to the image combiner 42 and the image analyzer 50 of the puzzle image generator 40.

퍼즐영상 생성부(40)는 영상 비율 조절부(41) 및 영상 결합부(42)를 포함하여, 영상 획득부(10)들로부터 입력되는 채널 영상(201) 각각을 해당하는 스케일링 비율로 조절한 스케일링 채널 영상(202)으로 변환한 후 상기 비율 결정부(30)로부터 입력되는 배치정보에 따라 스케일링 채널 영상(202)을 결합하여 결합 채널 영상(203)을 생성한다. 생성된 결합 채널 영상(203)은 영상 분석부(50)로 제공된다.The puzzle image generator 40 includes an image ratio adjuster 41 and an image combiner 42 to adjust each of the channel images 201 input from the image acquirers 10 to a corresponding scaling ratio. After conversion to the scaling channel image 202, the combined channel image 203 is generated by combining the scaling channel image 202 according to the arrangement information input from the ratio determining unit 30. The generated combined channel image 203 is provided to the image analyzer 50 .

구체적으로 영상 비율 조절부(41)는 상기 영상 획득부(10)들로부터 다수의 채널 영상(201)을 입력받고 상기 비율 결정부(30)로부터 결정된 영상별 스케일링 비율을 포함하는 스케일링 비율정보를 입력받아 해당 채널 영상의 크기를 조절하여 크기 조절된 스케일링 채널 영상(202)을 영상 결합부(42)로 출력한다.Specifically, the image ratio control unit 41 receives multiple channel images 201 from the image acquisition units 10 and inputs scaling ratio information including scaling ratios for each image determined by the ratio determination unit 30. received, the scaled channel image 202 is output to the image combiner 42 by adjusting the size of the corresponding channel image.

영상 결합부(42)는 영상 비율 조절부(41)로부터 스케일링 채널 영상(202)들을 입력받고 비율 결정부(30)로부터 입력되는 배치정보에 따라 스케일링 채널 영상(202)들을 결합하여 결합 채널 영상(203)을 생성한 후 영상 분석부(50)로 출력한다.The image combining unit 42 receives the scaling channel images 202 from the image ratio adjusting unit 41 and combines the scaling channel images 202 according to the arrangement information input from the ratio determining unit 30 to combine the combined channel images ( 203) is generated and then output to the image analysis unit 50.

영상 분석부(50)는 도 4에서 보이는 바와 같이 상기 퍼즐영상 생성부(40)로부터 결합 채널 영상(203)을 입력받고, 비율 결정부(30)로부터 배치정보를 입력받아 배치정보에 근거하여 상기 결합 채널 영상에 포함된 스케일링 채널 영상들의 객체들에 대한 분석을 동시에 수행한다.As shown in FIG. 4 , the image analysis unit 50 receives the combined channel image 203 from the puzzle image generator 40 and receives arrangement information from the ratio determination unit 30, and receives the arrangement information based on the arrangement information. Analysis of objects of scaling channel images included in the combined channel image is simultaneously performed.

상기 영상 분석부(50)는 CNN, RNN, 생성적 대립 신경망(Generative Adversarial Network: GAN) 등의 딥러닝 기반 객체 탐색 기법들이 적용될 수 있으며, 입력되는 결합 채널 영상으로부터 객체를 탐색, 식별, 추적 등을 수행할 수 있을 것이다.The image analysis unit 50 may apply deep learning-based object search techniques such as CNN, RNN, and generative adversarial network (GAN), and search, identify, track, etc. an object from an input combined channel image. will be able to do

도 2 내지 도 4에서와 같이 4채널의 채널 영상(201)을 객체 수에 따라 스케일링하여 결합한 하나의 결합 채널 영상(203)을 상기 채널 영상(201)의 크기, 즉 해상도와 동일한 해상도로 구성한 경우 채널 영상(201) 각각 처리 시보다 4배 빠르게 분석을 수행할 수 있을 것이다.2 to 4, when a combined channel image 203 obtained by scaling and combining 4 channel images 201 according to the number of objects is configured with the same resolution as the size, that is, the resolution, of the channel image 201. Analysis can be performed 4 times faster than when each channel image 201 is processed.

또한, 상술한 바와 같이 분석 정확도를 향상시키기 위해 결합 채널 영상(203)의 해상도를 채널 영상(201)의 두 배로 설정하는 경우 채널 영상(201) 각각 분석 시보다 두 배 빠르게 분석을 수행할 수 있을 것이다.In addition, as described above, when the resolution of the combined channel image 203 is set to twice that of the channel image 201 to improve the analysis accuracy, the analysis can be performed twice as fast as when each channel image 201 is analyzed. will be.

또한, 본 발명은 다수 채널의 채널 영상(201)을 일정 프레임 단위로 쪼개어 처리하는 프레임을 이용한 다채널 처리 방식을 복합적으로 적용할 수도 있을 것이다.In addition, the present invention may apply a multi-channel processing method using a frame in which the channel image 201 of multiple channels is divided into predetermined frame units and processed.

도 5는 본 발명에 따른 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method for processing a single channel of a multi-channel image of an image analysis system according to the present invention.

도 5를 참조하면, 객체 검출부(20)는 적어도 둘 이상의 영상 획득부(10)들로부터 다채널 채널 영상(201)이 입력되는지를 모니터링한다(S111).Referring to FIG. 5 , the object detector 20 monitors whether a multi-channel image 201 is input from at least two or more image acquirers 10 (S111).

영상 획득부(10)들로부터 다채널의 채널 영상(201)이 입력되면 객체 검출부(20)는 각 채널 영상(201)으로부터 객체 수를 검출하고(S113), 전 채널의 총 객체 수를 계산하여 비율 결정부(30)로 출력한다(S115).When multi-channel channel images 201 are input from the image acquisition units 10, the object detection unit 20 detects the number of objects from each channel image 201 (S113), calculates the total number of objects in all channels, and It is output to the ratio determination unit 30 (S115).

비율 결정부(30)는 전 채널의 총 객체 수 및 각 채널 영상(201)의 객체 수가 입력되면 각 채널 영상(201)의 스케일링 비율을 결정하고, 각 채널 영상(201)의 결합 위치를 포함하는 배치정보를 생성한다(S117). 상기 스케일링 비율정보는 각 채널 영상(201)의 크기 및 가로세로 비율을 포함할 수 있을 것이다. 상기 스케일링 비율정보는 퍼즐영상 생성부(40)의 영상 비율 조절부(40)로 출력되고, 상기 배치정보는 영상 결합부(42) 및 영상 분석부(50)로 출력된다.The ratio determining unit 30 determines the scaling ratio of each channel image 201 when the total number of objects in all channels and the number of objects in each channel image 201 are input, and includes a combined position of each channel image 201 Placement information is generated (S117). The scaling ratio information may include the size and aspect ratio of each channel image 201 . The scaling ratio information is output to the image ratio controller 40 of the puzzle image generator 40, and the arrangement information is output to the image combiner 42 and the image analyzer 50.

스케일링 비율정보를 입력받은 퍼즐영상 생성부(40)는 영상 비율 조절부(41)를 통해 각 채널 영상(201)을 스케일링 비율정보에 포함된 채널 영상(201)별 스케일링 비율에 따라 스케일링을 수행하여 스케일링된 스케일링 채널 영상(202)을 생성하여 영상 결합부(42)로 출력한다(S119).The puzzle image generation unit 40 receiving the scaling ratio information performs scaling of each channel image 201 according to the scaling ratio for each channel image 201 included in the scaling ratio information through the image ratio control unit 41. The scaled scaling channel image 202 is generated and output to the image combiner 42 (S119).

영상 결합부(42)는 스케일링 조절된 스케일링 채널 영상(202)들을 배치정보에 따라 결합하여 결합 채널 영상(203)을 생성한 후 영상 분석부(50)로 출력한다(S121).The image combiner 42 generates a combined channel image 203 by combining the scaled channel images 202 that are scaled according to the arrangement information, and outputs the combined channel image 203 to the image analyzer 50 (S121).

영상 분석부(50)는 상기 결합 채널 영상(203) 및 배치정보를 입력받고, 배치정보에 근거하여 결합 채널 영상(203)에 결합된 채널 영상들의 객체들을 검출하고, 검출된 객체들의 분류, 추적, 움직임 패턴 등을 분석하고, 이러한 분석을 통해 침입, 폭력, 사고 등과 같은 다양한 이벤트의 발생을 분석한다(123).The image analysis unit 50 receives the combined channel image 203 and arrangement information, detects objects of channel images combined with the combined channel image 203 based on the arrangement information, and classifies and tracks the detected objects. , movement patterns, etc. are analyzed, and through this analysis, the occurrence of various events such as intrusion, violence, accidents, etc. is analyzed (123).

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.On the other hand, it is common knowledge in the art that the present invention is not limited to the above-described typical preferred embodiments, but can be implemented by various improvements, changes, substitutions, or additions within the scope of the present invention. If you have the , you can easily understand. If the implementation by such improvement, change, substitution or addition falls within the scope of the appended claims below, the technical idea should also be regarded as belonging to the present invention.

10: 영상 획득부 20: 객체 검출부
30: 비율 결정부 31: 크기 결정부
32: 가로세로 비율 결정부 40: 퍼즐영상 생성부
41: 영상 비율 조절부 42: 영상 결합부
50: 영상 분석부10: image acquisition unit 20: object detection unit
30: ratio determining unit 31: size determining unit
32: aspect ratio determining unit 40: puzzle image generating unit
41: video ratio control unit 42: video coupling unit
50: image analysis unit

Claims (14)

각각의 채널 영상을 획득하여 출력하는 적어도 둘 이상의 영상획득부;
상기 영상획득부 각각에 대응하는 입력 채널을 통해 영상획득부 각각으로부터 입력되는 각 채널 영상의 동일 시점의 프레임 단위의 채널 영상 내의 객체를 검출하고, 프레임 단위의 채널 영상별 객체 수 및 전체 채널 영상의 총 객체 수를 출력하는 객체 검출부;
상기 총 객체 수 및 채널 영상별 객체 수에 의해 프레임 단위의 각 채널 영상의 크기 비율을 결정하여 출력하는 비율 결정부;
상기 영상획득부로부터 상기 둘 이상의 프레임 단위의 채널 영상을 입력받고, 상기 비율 결정부로부터 채널 영상별 크기 비율을 입력받아 해당 프레임 단위의 채널 영상을 대응하는 크기 비율에 따라 조절한 후 프레임 단위의 단일 채널로 처리하기 위한 하나의 프레임 단위의 결합 채널 영상으로 결합하여 출력하는 퍼즐영상 생성부; 및
상기 프레임 단위의 결합 채널 영상을 입력받아 영상 분석을 수행하는 영상 분석부를 포함하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템.
at least two image acquisition units for obtaining and outputting respective channel images;
Through the input channel corresponding to each of the image acquisition units, an object is detected in the channel image in frame units at the same time point of each channel image input from each image acquisition unit, and the number of objects per channel image in frame units and the total channel image an object detection unit outputting the total number of objects;
a ratio determining unit which determines and outputs a size ratio of each channel image in frame units based on the total number of objects and the number of objects for each channel image;
The channel image in units of two or more frames is input from the image acquisition unit, and the size ratio for each channel image is input from the ratio determination unit, and the channel image in the unit of frame is adjusted according to the corresponding size ratio. a puzzle image generation unit that combines and outputs a combined channel image in one frame unit to be processed as a channel; and
A multi-channel image single-channel processing system of an image analysis system, characterized in that it comprises an image analysis unit for receiving the combined channel image in units of frames and performing image analysis.
 제1항에 있어서,
상기 비율 결정부는,
상기 총 객체 수 및 채널 영상별 객체 수에 의해 각 채널 영상의 크기 비율을 결정하여 출력하는 크기 결정부; 및
상기 채널 영상별로 가로 및 세로 방향 중 객체의 분포가 높은 방향의 비율이 높아지도록 가로세로 비율을 결정하되, 각 채널 영상별 크기 비율 및 가로세로 비율에 따라 상기 채널 영상들이 일정 크기의 결합 채널 영상에 포함될 수 있도록 상기 가로세로 비율을 결정하는 가로세로 비율 결정부를 포함하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템.
According to claim 1,
The ratio determining unit,
a size determining unit determining and outputting a size ratio of each channel image based on the total number of objects and the number of objects for each channel image; and
The aspect ratio is determined for each channel image so that the ratio of the direction in which the object distribution is high among the horizontal and vertical directions is high, and the channel images are combined into a combined channel image of a certain size according to the size ratio and aspect ratio of each channel image. A multi-channel image single-channel processing system of an image analysis system, characterized in that it comprises an aspect ratio determining unit for determining the aspect ratio so that it can be included.
 제2항에 있어서,
상기 퍼즐영상 생성부는,
상기 비율 결정부에서 결정된 채널영상별 크기 비율 및 가로세로 비율에 따라 해당 채널영상의 크기를 조절한 스케일링 채널 영상을 출력하는 영상 비율 조절부; 및
상기 비율 조절된 스케일링 채널 영상들을 결합하여 미리 설정된 크기의 결합 채널 영상을 생성하는 영상 결합부를 포함하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템.
According to claim 2,
The puzzle image generating unit,
an image ratio control unit outputting a scaling channel image obtained by adjusting the size of the corresponding channel image according to the size ratio and aspect ratio of each channel image determined by the ratio determination unit; and
A multi-channel image single-channel processing system of an image analysis system, characterized in that it comprises an image combiner for generating a combined channel image of a preset size by combining the scaled channel images with the ratio adjusted.
 제1항에 있어서,
상기 객체 검출부는,
움직이는 물체를 검출 대상 객체로서 검출하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템.
According to claim 1,
The object detection unit,
A multi-channel image single-channel processing system of an image analysis system, characterized in that for detecting a moving object as a detection target object.
 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 결합 채널 영상의 크기는,
비율조절 전의 상기 채널영상의 크기와 동일한 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템.
According to any one of claims 1 to 3,
The size of the combined channel image,
Multi-channel image single-channel processing system of the image analysis system, characterized in that the same as the size of the channel image before scaling.
 제3항에 있어서,
상기 영상 결합부는 상기 결합된 채널 영상들의 결합 채널 영상 내에서의 배치정보를 영상 분석부로 더 제공하되,
상기 영상 분석부는,
상기 결합 채널 영상을 단일 채널의 영상으로써 간주하여 영상을 분석하되, 분석된 분석정보를 상기 배치정보에 기반하여 채널 영상별 분석정보로 분류하여 출력하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템.
According to claim 3,
The image combiner further provides arrangement information of the combined channel images within the combined channel image to the image analyzer,
The video analysis unit,
The combined channel image is regarded as a single channel image and the image is analyzed, and the analyzed analysis information is classified into analysis information for each channel image based on the arrangement information and output. channel processing system.
 제6항에 있어서,
상기 영상 분석부는,
합성곱신경망(CNN), 순환신경망(RNN) 및 생성적 대립 신경망(GAN) 중 어느 하나를 포함하는 딥러닝 인공지능모델에 의해 영상을 분석하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템.
According to claim 6,
The video analysis unit,
Multi-channel image single channel of an image analysis system, characterized in that the image is analyzed by a deep learning artificial intelligence model including any one of a convolutional neural network (CNN), a recurrent neural network (RNN) and a generative adversarial network (GAN) processing system.
 적어도 둘 이상의 영상획득부가 각각의 채널 영상을 획득하여 출력하는 채널영상 획득 과정;
객체 검출부가 상기 영상획득부 각각에 대응하는 입력 채널을 통해 영상획득부 각각으로부터 입력되는 각 채널 영상의 동일 시점의 프레임 단위의 채널 영상 내의 객체를 검출하고, 프레임 단위의 채널 영상별 객체 수 및 전체 채널 영상의 총 객체 수를 출력하는 객체 검출 과정;
비율 결정부가 상기 총 객체 수 및 채널 영상별 객체 수에 의해 프레임 단위의 각 채널 영상의 크기 비율을 결정하여 출력하는 비율 결정 과정;
퍼즐영상 생성부가 상기 영상획득부로부터 상기 둘 이상의 프레임 단위의 채널 영상을 입력받고, 상기 비율 결정부로부터 채널 영상별 크기 비율을 입력받아 프레임 단위의 해당 채널 영상을 대응하는 크기 비율에 따라 조절한 후 프레임 단위의 단일 채널로 처리하기 위한 하나의 프레임 단위의 결합 채널 영상으로 결합하여 출력하는 퍼즐영상 생성 과정; 및
영상 분석부가 프레임 단위의 상기 결합 채널 영상을 입력받아 영상 분석을 수행하고, 분석결과를 출력하는 영상 분석 과정을 포함하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법.
a channel image acquisition process in which at least two or more image acquisition units acquire and output respective channel images;
An object detection unit detects an object in a channel image in units of frames at the same time point of each channel image input from each of the image acquisition units through an input channel corresponding to each of the image acquisition units, and determines the number of objects and the total number of objects for each channel image in units of frames. object detection process of outputting the total number of objects in the channel image;
a ratio determination process in which a ratio determination unit determines and outputs a size ratio of each channel image in frame units based on the total number of objects and the number of objects for each channel image;
After the puzzle image generation unit receives the channel images in units of two or more frames from the image acquisition unit and receives the size ratio for each channel image from the ratio determination unit, the corresponding channel image in frame units is adjusted according to the corresponding size ratio. A puzzle image generation process of combining and outputting a combined channel image in one frame unit for processing into a single channel in unit of frame; and
A multi-channel image single-channel processing method of an image analysis system, characterized in that the image analysis unit comprises an image analysis process of receiving the combined channel image in frame units, performing image analysis, and outputting an analysis result.
 제8항에 있어서,
상기 비율 결정 과정은,
상기 비율 결정부가 크기 결정부를 통해 상기 총 객체 수 및 채널 영상별 객체 수에 의해 각 채널 영상의 크기 비율을 결정하여 출력하는 크기 결정 단계; 및
상기 비율 결정부가 가로세로 비율 결정부를 통해 상기 채널 영상별로 가로 및 세로 방향 중 객체의 분포가 높은 방향의 비율이 높아지도록 가로세로 비율을 결정하되, 각 채널 영상별 크기 비율 및 가로세로 비율에 따라 상기 채널 영상들이 일정 크기의 결합 채널 영상에 포함될 수 있도록 상기 가로세로 비율을 결정하는 가로세로 비율 결정 단계를 포함하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법.
According to claim 8,
The ratio determination process,
a size determination step of determining and outputting a size ratio of each channel image based on the total number of objects and the number of objects for each channel image through the size determination unit by the ratio determination unit; and
The ratio determining unit determines the aspect ratio through the aspect ratio determining unit so that the ratio of the direction in which the distribution of objects is high among the horizontal and vertical directions for each channel image increases, and according to the size ratio and aspect ratio of each channel image, the aspect ratio A multi-channel image single-channel processing method of an image analysis system, characterized in that it comprises an aspect ratio determining step of determining the aspect ratio so that channel images can be included in a combined channel image of a certain size.
 제9항에 있어서,
상기 퍼즐영상 생성 과정은,
상기 퍼즐영상 생성부가 영상 비율 조절부를 통해 상기 비율 결정부에서 결정된 채널 영상별 크기 비율 및 가로세로 비율에 따라 해당 채널영상의 크기를 조절하는 영상 비율 조절 단계; 및
상기 퍼즐영상 생성부가 영상 결합부를 통해 상기 비율 조절된 채널영상들을 단일 채널로 처리할 수 있도록 결합하여 미리 설정된 크기의 결합 채널 영상을 생성하는 영상 결합 단계를 포함하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법.
According to claim 9,
The puzzle image generation process,
an image ratio adjusting step of adjusting the size of the corresponding channel image according to the size ratio and aspect ratio of each channel image determined by the ratio determining unit through the image ratio adjusting unit, by the puzzle image generating unit; and
An image combining step of generating a combined channel image of a preset size by combining the ratio-adjusted channel images to be processed into a single channel by the puzzle image generating unit through the image combining unit. Channel image single channel processing method.
 제8항에 있어서,
상기 객체 검출가 움직이는 물체를 검출 대상 객체로서 검출하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법.
According to claim 8,
A multi-channel image single-channel processing method of an image analysis system, characterized in that the object detection detects a moving object as a detection target object.
 제8항 내지 제11항 중 어느 한 항에 있어서,
상기 결합 채널 영상의 크기는,
비율조절 전의 상기 채널영상의 크기와 동일한 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법.
According to any one of claims 8 to 11,
The size of the combined channel image,
A multi-channel image single-channel processing method of an image analysis system, characterized in that the size of the channel image before scaling is the same.
 제10항에 있어서,
상기 영상 결합 단계는,
상기 퍼즐 영상 생성부가 상기 영상 결합부를 통해 상기 비율 조절된 채널영상들을 단일 채널로 처리할 수 있도록 결합하여 미리 설정된 크기의 결합 채널 영상을 생성하는 결합 채널 영상 생성 단계; 및
상기 퍼즐 영상 생성부가 상기 영상 결합부를 통해 상기 결합된 채널 영상들의 결합 채널 영상 내에서의 배치에 따른 배치정보를 생성한 후 상기 결합 채널 영상과 함께 영상 분석부로 제공하는 결합 채널 영상 제공 단계를 포함하되,
상기 영상 분석 과정에서 상기 영상 분석부가 상기 결합 채널 영상을 단일 채널의 영상으로써 간주하여 영상을 분석하되, 분석된 분석정보를 상기 배치정보에 기반하여 채널 영상별 분석정보로 분류하여 출력하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법.
According to claim 10,
The image combining step,
a combined channel image generating step of generating a combined channel image having a predetermined size by combining the ratio-adjusted channel images to be processed into a single channel by the puzzle image generating unit through the image combining unit; and
A combined channel image providing step in which the puzzle image generating unit generates arrangement information according to the arrangement of the combined channel images in the combined channel image through the image combining unit and provides the combined channel image and the combined channel image to an image analysis unit; ,
In the image analysis process, the image analysis unit considers the combined channel image as an image of a single channel and analyzes the image, classifies the analyzed analysis information into analysis information for each channel image based on the arrangement information, and outputs it. A multi-channel image single-channel processing method of an image analysis system.
 제13항에 있어서,
상기 영상 분석부가 합성곱신경망(CNN), 순환신경망(RNN) 및 생성적 대립 신경망(GAN) 중 어느 하나를 포함하는 딥러닝 인공지능모델에 의해 영상을 분석하는 것을 특징으로 하는 영상 분석 시스템의 다채널 영상 단일 채널 처리 방법.According to claim 13,
The image analysis unit analyzes the image by a deep learning artificial intelligence model including any one of a convolutional neural network (CNN), a recurrent neural network (RNN), and a generative adversarial network (GAN). Channel image single channel processing method.
KR1020210107390A 2021-08-13 2021-08-13 Multi-channel image single channel processing system of image analysis system and method thereof KR102520729B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210107390A KR102520729B1 (en) 2021-08-13 2021-08-13 Multi-channel image single channel processing system of image analysis system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210107390A KR102520729B1 (en) 2021-08-13 2021-08-13 Multi-channel image single channel processing system of image analysis system and method thereof

Publications (2)

Publication Number Publication Date
KR20230025181A KR20230025181A (en) 2023-02-21
KR102520729B1 true KR102520729B1 (en) 2023-04-12

Family

ID=85327963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210107390A KR102520729B1 (en) 2021-08-13 2021-08-13 Multi-channel image single channel processing system of image analysis system and method thereof

Country Status (1)

Country Link
KR (1) KR102520729B1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062436A (en) * 2010-12-06 2012-06-14 에스케이플래닛 주식회사 Image monitoring system and method
KR101291616B1 (en) * 2011-12-29 2013-08-01 동명대학교산학협력단 Multi image monitering system using the weight value of image variation rates
KR101352001B1 (en) * 2012-04-06 2014-01-16 주식회사 에스원 Image monitoring system and method thereof
KR101637193B1 (en) 2015-02-24 2016-07-08 (주)네스테크놀로지 The layer is set as distributed processing type multi channel image composite system and the control method
KR20210076334A (en) * 2019-12-16 2021-06-24 주식회사 영국전자 Video surveillance device for Crime prevention using omnidirectional camera

Also Published As

Publication number Publication date
KR20230025181A (en) 2023-02-21

Similar Documents

Publication Publication Date Title
CN108230594B (en) Method for generating alarm in video monitoring system
KR102195706B1 (en) Method and Apparatus for Detecting Intruder
KR101910542B1 (en) Image Analysis Method and Server Apparatus for Detecting Object
CN109740590B (en) ROI accurate extraction method and system based on target tracking assistance
RU2651147C1 (en) Device of cascade processing of a stream of images by means of convolutional neural network
KR20190038137A (en) Image Analysis Method and Server Apparatus for Per-channel Optimization of Object Detection
CN110570454A (en) Method and device for detecting foreign matter invasion
US9230176B2 (en) Method of detecting camera tampering and system thereof
KR102002812B1 (en) Image Analysis Method and Server Apparatus for Detecting Object
JP2011123563A (en) Image processor, image processing method and program
JP2007148988A (en) Face authentication unit, face authentication method, and entrance/exit management device
KR20140039927A (en) Method and apparatus for detecting event from multiple image
Parveen et al. A motion detection system in python and opencv
KR101747214B1 (en) Muliti-channel image analyzing method and system
Szczodrak et al. Behavior analysis and dynamic crowd management in video surveillance system
KR102520729B1 (en) Multi-channel image single channel processing system of image analysis system and method thereof
Dargham et al. The effect of training data selection on face recognition in surveillance application
KR20060003321A (en) The method or device for the object recognition in the security system
Salim et al. Crowd detection and tracking in surveillance video sequences
Zhang et al. Edge detection by adaptive neuro-fuzzy inference system
US11539895B1 (en) Systems, methods, and media for motion adaptive imaging using single-photon image sensor data
KR102450466B1 (en) System and method for removing camera movement in video
JP5241687B2 (en) Object detection apparatus and object detection program
Nandhini et al. Anamoly detection for safety monitoring
Panda et al. A gaussian mixture model with gaussian weight learning rate and foreground detection using neighbourhood correlation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right