KR101906796B1 - Device and method for image analyzing based on deep learning - Google Patents
Device and method for image analyzing based on deep learning Download PDFInfo
- Publication number
- KR101906796B1 KR101906796B1 KR1020170084367A KR20170084367A KR101906796B1 KR 101906796 B1 KR101906796 B1 KR 101906796B1 KR 1020170084367 A KR1020170084367 A KR 1020170084367A KR 20170084367 A KR20170084367 A KR 20170084367A KR 101906796 B1 KR101906796 B1 KR 101906796B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- probability
- color
- pedestrian
- line
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title 1
- 230000033001 locomotion Effects 0.000 claims abstract description 77
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000003702 image correction Methods 0.000 claims abstract description 13
- 238000001583 randomness test Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 68
- 239000000284 extract Substances 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000003672 processing method Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000003703 image analysis method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001787 Wald–Wolfowitz test Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 컬러명도차분 보행자 검출 및 추적에 대한 영상 분석 장치 및 영상 분석 방법에 관한 것으로써, 보행자 검출 시 이동하는 객체와 같은 피사체를 촬영하여 획득한 영상 이미지에서 컬러명도차분 기술을 통해 차영상을 분리함과 동시에 실시간으로 영상분석을 하고 저장된 영상데이터에서 동일 보행자를 추적하여 검색하는 영상처리 기술이다. 그리고 지정된 보행자를 바운딩 박스로 표시하면 컬러명도차분7등분 메타데이터를 생성하고 Label Tag으로 표기하여 저장한 후, 다른 영상에서 동일 보행자를 검색하는 목적으로 사용된다. The present invention relates to an image analysis apparatus and an image analysis method for detecting and tracking color pedestrian differential pedestrians, and more particularly, to an image analysis apparatus and an image analysis method for pedestrian detection and tracking using color difference degree pedestrians, It is an image processing technology that performs image analysis in real time at the same time as detaching and tracks the same pedestrian from stored image data. When the designated pedestrian is displayed in the bounding box, the color name is used to generate the 7th and 7th digits of the difference data, store it in the label tag, and search for the same pedestrian in other images.
최근에 인트라넷과 인터넷 기술의 발달로 인하여 데이터의 실시간 스트리밍이 가능해졌다. 특히, 하드웨어가 고 용량화 되고 풍부한 시스템적인 자원 활용이 가능해지면서 Full-HD 이상의 고해상도 영상을 실시간으로 영상 분석하고, 그 분석된 결과를 이 기종간의 시스템과 실시간 연동이 가능해졌다. Recently, due to the development of intranet and internet technology, real-time streaming of data has become possible. In particular, as the hardware becomes larger and the abundant system resources become available, it is possible to analyze the real-time image of high-resolution images over Full-HD and to analyze the results in real time.
상술한 문제점을 해결하기 위해서 안출된 본 발명은, CCTV영상에서 이동중인 객체인 보행자를 촬영하여 이미지를 추출하고, 추출된 이미지의 컬러명도차분 히스토그램 특징을 메타데이터로 생성하여 다른 이미지에서 동일 객체를 추적하여 찾아내는 영상 분석 장치 및 영상 분석 방법을 제공하는 것을 목적으로 한다.In order to solve the above-described problems, the present invention has been developed to extract a pedestrian moving object in a CCTV image, extract an image, And to provide a video analysis apparatus and an image analysis method for tracking and locating video.
상기 목적을 달성하기 위해서 본 발명에 따른 영상 분석 장치는, 촬영 장치에 의해서 촬영된 영상 이미지를 실시간으로 수신하는 수신부, 보행자의 이동객체 명도차분영상의 각 차분이미지 색상을 계산하기 위한 컬러 및 휘도 정보에 기초하여 적어도 2차원의 색 공간에서 상기 수신된 영상 이미지에 포함된 픽셀의 색상 분포를 모델링 하여 색상 확률을 산출하고, 상기 산출된 색상 확률을 이용하여 색상 확률 이미지를 생성하는 색상 확률 이미지 생성부, 상기 수신된 영상 이미지에 대한 배경을 모델링 하여 배경 이미지를 생성하는 배경 이미지 생성부, 상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하는 움직임 이미지 생성부, 상기 빛 반사 각(보행자 이동객체를 의미한다.)에 대한 색상 확률 이미지 및 상기 움직임 이미지를 이용하여 후보 확률 이미지를 생성하고, 상기 후보 확률 이미지에 대한 복수의 특성을 추출하며, 상기 추출된 복수의 특성에 대한 무 작위성 테스트 알고리즘을 적용하여 무 작위성 확률을 산출하고, 상기 산출된 무 작위성 확률을 이용하여 상기 후보 확률 이미지를 검증함으로써, 상기 후보 확률 이미지를 보정하는 이미지 보정부를 포함한다.According to an aspect of the present invention, there is provided an image analyzing apparatus including a receiving unit for receiving a video image photographed by a photographing apparatus in real time, a moving object name of a pedestrian, a color and brightness information A color probability image generating unit for modeling a color distribution of pixels included in the received image image in at least two-dimensional color space to calculate a color probability, and generating a color probability image using the calculated color probability; A background image generation unit for modeling the background of the received video image to generate a background image, a motion image generation unit for generating a motion image using the received video image and the background image, Quot; moving object ") and the motion A candidate probability image is generated using the unknown image, a plurality of characteristics of the candidate probability image are extracted, a randomness test algorithm is applied to the extracted plurality of characteristics to calculate a random probability, And an image corrector for correcting the candidate probabilistic image by verifying the candidate probabilistic image using the random probability.
본 발명의 일 실시예에 있어서, 상기 색상 확률 이미지 생성 부는, 다음의 수학식에 기초하여 색상 확률을 연산할 수 있다.In one embodiment of the present invention, the color probability image generating unit may calculate a color probability based on the following equation.
여기서, 는 x, y 좌표의 픽셀에서의 빛 반사 각에 대한 색상 확률을 의미하고, rate는 x, y 좌표 픽셀에서의 Cr/Cb을 의미한다.here, Denotes the chromatic probability for the light reflection angle at the x, y coordinate pixel, and rate means Cr / Cb at the x, y coordinate pixel.
본 발명의 일 실시예에 있어서, 상기 움직임 이미지 생성 부는, 상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하고, 상기 움직임 이미지를 제1 문턱 값으로 이진화하여 를 산출하고, 제2 문턱 값으로 이진화하여 를 산출하며, 다음의 수학식에 의해서 최종 빛 반사 각 이동에 따른 움직임 이미지를 생성할 수 있다.In one embodiment of the present invention, the motion image generation unit generates a motion image using the received image and the background image, and binarizes the motion image to a first threshold value And binarizes it to a second threshold value And a motion image according to the movement of the final light reflection angle can be generated by the following equation.
본 발명의 일 실시예에 있어서, 상기 이미지 보정 부는, 상기 복수의 특성에 대해서 복수의 무 작위성 확률을 산출하고, 상기 복수의 무 작위성 확률을 이용하여 무 작위성 확률 평균을 연산하며, 상기 수신된 영상 데이터의 N개의 프레임에 대해서 상기 무 작위성 확률 평균을 반복 연산함으로써 N개의 무 작위성 확률 평균을 연산하고, 상기 무 작위성 확률 평균을 특정 보행자에 대하여 Label Tag으로 표기한 후 메타데이터로 저장하며, 상기 N개의 무 작위성 확률 평균을 평균하여 산출된 값을 상기 빛 반사 각의 이동에 따른 움직임 이미지에 포함된 이동중인 보행자의 객체 이미지의 복원을 위한 문턱 값으로 이용하고, 상기 저장된 메타데이터는 다른 영상에서 상기 특정 보행자와 동일한 보행자를 검색하는데 이용될 수 있다.In one embodiment of the present invention, the image correction unit may calculate a plurality of randomness probabilities for the plurality of characteristics, calculate a random probability average using the plurality of randomness probabilities, Calculating N random probability averages by repeatedly computing the random probability average over N frames of data, marking the random probability average as Label Tag for a specific pedestrian and storing the same as metadata, The method comprising the steps of: (a) calculating a mean value of a plurality of randomly selected random probabilities from a plurality of images, using the calculated average values as a threshold value for restoring an object image of a moving pedestrian contained in a motion image according to the movement of the light reflection angle, It can be used to search for the same pedestrian as a specific pedestrian.
본 발명의 일 실시예에 있어서, 상기 복수개의 특성은 보행자의 팔 2개, 다리 2개, 몸통 1개, 머리 1개 및 보행자 전체 1개의 7개의 특성을 포함하며, 상기 무 작위성 확률 평균은 다음의 수학식으로 정의될 수 있다.In one embodiment of the present invention, the plurality of characteristics include seven characteristics of two pedestrian's arms, two legs, one trunk, one head and one entire pedestrian, and the random probability average is . ≪ / RTI >
여기서, 는 특정 프레임에서의 7개의 특징에 대한 무작위성 확률이며, 는 무 작위성 확률 평균을 나타낸다.here, Is the probability of randomness for the seven features in a particular frame, Represents the random probability average.
본 발명의 일 실시예에 있어서, 상기 이미지 보정 부는, 다음의 수학식을 이용하여 상기 이동 보행자 객체 컬러명도차분 이미지를 추적용 복원 이미지를 결정할 수 있다.In one embodiment of the present invention, the image corrector may determine a restored image for tracking the moving pedestrian object color brightness differential image using the following equation.
여기서, W는 명도차분보행자 이미지, 는 상기 문턱 값, line은 확실한 컬러 빛 굴절 각을 이루고 있는 선으로 판정, Should_line은 흐린 선으로 판정, Maybe_line은 격자 선으로 판정, Not_line은 공백으로 판정하는 것을 의미한다.Where W is the brightness differential pedestrian image, , The line is determined as a line forming a certain color light refraction angle, the Should_line is determined as a blurred line, the Maybe_line is determined as a lattice line, and the Not_line is determined as a blank line.
본 발명의 일 실시예에 있어서, 상기 이미지 보정부는 객체 특성 학습 데이터를 이용하여 객체를 검출하는 객체 검출부 및 상기 객체 특성 학습 데이터를 이용하여 객체를 추적하는 객체 추적부를 더 포함할 수 있다.In one embodiment of the present invention, the image correcting unit may further include an object detecting unit for detecting an object using the object characteristic learning data, and an object tracking unit for tracking the object using the object characteristic learning data.
본 발명의 일 실시예에 있어서, 상기 객체 검출부는 상기 영상 이미지의 데이터를 이용하여 보행자 객체를 생성하고, 군집별로 저장된 객체의 컬러 형태소 정보의 객체 특성 학습 데이터를 추출하여 추출된 객체 특성 학습 데이터를 바탕으로 객체를 검출하고, 객체 검출 과정을 지속적으로 반복하며, 상기 추출된 객체 특성 학습 데이터를 이용하여 학습한 학습 데이터를 기록할 수 있다. 상기 객체 추적부는 군집별로 저장된 객체의 컬러 형태소 정보의 객체 특성 학습 데이터를 추출하고, 객체의 형태소 정보를 사전 예측하고 가장 유사한 형태소 정보를 추출하며, 이를 바탕으로 객체를 추적할 수 있다.In one embodiment of the present invention, the object detection unit generates a pedestrian object using data of the video image, extracts object characteristic learning data of color morpheme information of an object stored for each of the clusters, The object is detected on the basis of the extracted object characteristic learning data, the object detection process is continuously repeated, and the learned learning data can be recorded using the extracted object characteristic learning data. The object tracking unit extracts object characteristic learning data of color morpheme information of an object stored by the clusters, predicts the morpheme information of the object, extracts the most similar morpheme information, and tracks the object based on the extracted morphological information.
본 발명의 다른 실시 예에 따른 영상 분석 방법은, 촬상 장치에 의해서 촬상된 영상 이미지를 실시간으로 수신하는 단계, 컬러 및 휘도 정보에 기초하여 적어도 2차원의 색 공간에서 상기 수신된 영상 이미지에 포함된 픽셀의 색상 분포를 모델링 하여 색상 확률을 산출하는 단계, 상기 산출된 색상 확률을 이용하여 색상 확률 이미지를 생성하는 단계, 상기 수신된 영상 이미지에 대한 배경을 모델링 하여 배경 이미지를 생성하는 단계, 상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하는 단계, 상기 색상 확률 이미지 및 상기 움직임 이미지를 이용하여 후보 확률 이미지를 생성하는 단계, 상기 후보 확률 이미지에 대한 복수의 특성을 추출하는 단계, 상기 추출된 복수의 특성에 대한 무 작위성 테스트 알고리즘을 적용하여 무 작위성 확률을 산출하는 단계, 상기 산출된 무 작위성 확률을 이용하여 상기 후보 확률 이미지를 검증함으로써, 상기 후보 확률 이미지를 보정하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image analysis method comprising: receiving in real time a video image picked up by an image pickup apparatus; Calculating a color probability by modeling a color distribution of a pixel, generating a color probability image using the calculated color probability, modeling a background of the received image image to generate a background image, Generating a candidate image by using the color probability image and the motion image, extracting a plurality of characteristics for the candidate probability image, The randomness test algorithm for the extracted characteristics is applied Calculating a no-jakwiseong probability, by using the calculated free jakwiseong probability verifying the candidate probability image, and a step of correcting said candidate probability image.
본 발명의 일 실시예에 있어서, 상기 색상 확률 이미지를 생성하는 단계는, 다음의 수학식에 기초하여 색상 확률을 연산할 수 있다.In one embodiment of the present invention, the step of generating the color probability image may calculate the color probability based on the following equation.
여기서, 는 x, y 좌표의 픽셀에서의 색상 확률을 의미하고, rate는 x, y 좌표 픽셀에서의 Cr/Cb을 의미한다.here, Denotes the chromatic probability in the pixels of the x and y coordinates, and rate denotes the Cr / Cb in the x, y coordinate pixels.
본 발명의 일 실시예에 있어서, 상기 움직임 이미지를 생성하는 단계는, 상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하는 단계, 상기 움직임 이미지를 제1 문턱 값으로 이진화하여 를 산출하는 단계, 상기 움직임 이미지를 제2 문턱 값으로 이진화하여 를 산출하는 단계 및 다음의 수학식에 의해서 최종 움직임 이미지를 생성하는 단계를 포함할 수 있다.In one embodiment of the present invention, the step of generating a motion image comprises generating a motion image using the received image and the background image, binarizing the motion image to a first threshold value , Binarizing the motion image to a second threshold value And generating a final motion image by the following equation: < EMI ID = 1.0 >
본 발명의 일 실시예에 있어서, 상기 이미지를 보정하는 단계는, 상기 복수의 특성에 대해서 복수의 무 작위성 확률을 산출하는 단계, 상기 복수의 무 작위성 확률을 이용하여 무 작위성 확률 평균을 연산하는 단계, 상기 수신된 영상 데이터의 N개의 프레임에 대해서 상기 무 작위성 확률 평균을 반복 연산함으로써 N개의 무 작위성 확률 평균을 연산하는 단계, 상기 무 작위성 확률 평균을 특정 보행자에 대하여 Label Tag으로 표기한 후 메타데이터로 저장하는 단계, 상기 N개의 무 작위성 확률 평균을 평균하여 산출된 값을 문턱 값으로 이용하여 상기 움직임 이미지에 포함된 컬러명도차분 이미지를 복원하는 단계 및 상기 저장된 메타데이터를 이용하여 다른 영상에서 상기 특정 보행자와 동일한 보행자를 검색하는 단계를 포함할 수 있다.In one embodiment of the present invention, the step of correcting the image comprises: calculating a plurality of randomness probabilities for the plurality of characteristics; computing a random probability average using the plurality of randomness probabilities; Calculating N random probability averages by repeatedly calculating the random probability average for N frames of the received image data, writing the random probability average to a label for a specific pedestrian, , Restoring a color brightness difference image included in the motion image using a value calculated by averaging the N random probability averages as a threshold value and restoring the color brightness difference image included in the motion image using the stored non- And searching for the same pedestrian as the specific pedestrian.
본 발명의 일 실시예에 있어서, 상기 복수개의 특성은 보행자의 팔 2개, 다리 2개, 몸통 1개, 머리 1개 및 보행자 전체 1개의 7개의 특성을 포함하며, 상기 무 작위성 확률 평균은 다음의 수학식으로 정의될 수 있다.In one embodiment of the present invention, the plurality of characteristics include seven characteristics of two pedestrian's arms, two legs, one trunk, one head and one entire pedestrian, and the random probability average is . ≪ / RTI >
여기서, 는 특정 프레임에서의 7개의 특징에 대한 무작위성 확률이며, 는 무 작위성 확률 평균을 나타낸다.here, Is the probability of randomness for the seven features in a particular frame, Represents the random probability average.
본 발명의 일 실시예에 있어서, 상기 이미지를 복원하는 단계는, 다음의 수학식을 이용하여 상기 컬러명도차분 이미지의 복원 이미지를 결정할 수 있다.In one embodiment of the present invention, the step of reconstructing the image may determine a reconstructed image of the color brightness differential image using the following equation.
(여기서, W는 복원 컬러명도차분 이미지, 는 상기 문턱값, line은 확실한 선으로 판정, Should_line은 흐린 선으로 판정, Maybe_line은 격자 선으로 판정, Not_line은 공백으로 판정하는 것을 의미)(Where W is the restored color brightness differential image, , The line is determined as a certain line, the Should_line is determined as a blurred line, the Maybe_line is determined as a lattice line, and the Not_line is determined as a blank line)
본 발명의 일 실시예에 있어서, 상기 이미지를 보정하는 단계는 객체 특성 학습 데이터를 이용하여 객체를 검출하는 단계 및 상기 객체 특성 학습 데이터를 이용하여 객체를 추적하는 단계를 더 포함할 수 있다.In one embodiment of the present invention, the step of correcting the image may further include the step of detecting the object using the object characteristic learning data and the step of tracking the object using the object characteristic learning data.
본 발명의 일 실시예에 있어서, 상기 객체를 검출하는 단계는 상기 영상 이미지의 데이터를 이용하여 보행자 객체를 생성하는 단계, 군집별로 저장된 객체의 컬러 형태소 정보의 객체 특성 학습 데이터를 추출하는 단계, 상기 추출된 객체 특성 학습 데이터를 바탕으로 객체를 검출하는 단계, 상기 객체 검출 단계를 지속적으로 반복하는 단계 및 상기 추출된 객체 특성 학습 데이터를 이용하여 학습한 학습 데이터를 기록하는 단계를 포함할 수 있다. 상기 객체를 추적하는 단계는 군집별로 저장된 객체의 컬러 형태소 정보의 학습 데이터를 추출하는 단계, 객체 형태소 정보를 사전 예측하고 가장 유사한 형태소 정보를 추출하는 단계 및 상기 추출된 가장 유사한 형태소 정보를 바탕으로 객체를 추적하는 단계를 포함할 수 있다.In one embodiment of the present invention, the step of detecting the object may include generating a pedestrian object using data of the image image, extracting object characteristic learning data of color morpheme information of the object stored for each of the clusters, Detecting the object based on the extracted object characteristic learning data, continuously repeating the object detecting step, and recording the learned learning data using the extracted object characteristic learning data. The step of tracking the object may include extracting learning data of color morpheme information of an object stored for each group, extracting the most similar morpheme information by predicting the object morpheme information, and extracting the most similar morpheme information As shown in FIG.
본 발명의 다양한 실시 예에 따르면, 이동 객체 이벤트 발생으로 인한 컬러명도차분 이미지를 촬영하여 실시간으로 이미지 보정을 하여, 이동중인 객체의 이미지 밀림이나 이미지 번짐 등의 왜곡 현상을 감소시킴으로써, 차분영상 객체에 대한 인식 율이 높아지는 효과를 발휘한다.According to various embodiments of the present invention, by capturing a color difference differential image due to the occurrence of a moving object event and performing image correction in real time, distortion phenomenon such as image blurring or image blurring of the moving object is reduced, The recognition rate of the user is increased.
도 1은 본 발명의 일 실시 예에 따른 지능형 영상 처리 시스템을 개략적으로 설명하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치를 설명하기 위한 블럭도이다.
도 3a 내지 3d는 본 발명의 일 실시 예에 따른 Cb 및 Cr 분포의 히스토그램을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 촬영 이미지로부터 컬러명도차분 이미지를 추출하는 과정을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따라 원본 컬러명도차분 이미지로부터 이동중인 차분객체 이미지를 복원하는 실시 예를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시 예에 따라 영상 처리 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 다른 실시 예에 따른 실시간 컬러명도차분영상 정보 취득 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법의 객체 검출 단계를 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법의 객체 추적 단계를 설명하기 위한 순서도이다.1 is a schematic view illustrating an intelligent image processing system according to an embodiment of the present invention.
2 is a block diagram for explaining an image processing apparatus according to an embodiment of the present invention.
3A to 3D are diagrams illustrating a histogram of Cb and Cr distributions according to an embodiment of the present invention.
4 is a diagram for explaining a process of extracting a color brightness difference image from a captured image according to an embodiment of the present invention.
5A and 5B are views for explaining an embodiment of restoring a moving object image from a source color brightness difference image according to an embodiment of the present invention.
6 is a flowchart illustrating an image processing method according to another embodiment of the present invention.
FIG. 7 is a flowchart for explaining a real-time color brightness difference image information obtaining method according to another embodiment of the present invention.
8 is a flow chart for explaining an object detection step of the image processing method according to an embodiment of the present invention.
9 is a flow chart for explaining an object tracking step of the image processing method according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템을 개략적으로 설명하는 도면이다.1 is a schematic view illustrating an image processing system according to an embodiment of the present invention.
본 발명에 따른 영상 처리 시스템(10)은, 영상 처리 장치(100), 촬상 장치(200) 및 영상 스트림 통신 장치(300)를 포함한다. 또한, 영상 처리 시스템(10)은 원격 서버(400)와 유무선 통신을 할 수 있다. 이러한 영상 처리 시스템(10)은 셀룰러 폰, PDA, 스마트폰, 테블릿, 랩톱 등 다양한 종류의 모바일 단말로 구현될 수 있다.The
영상 처리 장치(100)는 촬영 장치(200)에 의해서 촬영된 이미지를 영상 처리하여, 이미지에 포함된 컬러명도차분 이미지 등의 정보를 분석하고, 분석된 정보를 원격 서버(400)로 전송한다.The
촬영 장치(200)는 Full-HD급 이상의 해상도로 피사체를 촬영할 수 있는 이미지 촬영 장치이다. 촬영 장치(200)는 RTP/RTSP 프로토콜 기반의 복수의 디지털 카메라로 구성될 수 있다. The photographing
영상 스트림 통신 장치(300)는 영상 처리 장치(100)와 촬영 장치(200) 간의 데이터의 스트리밍 통신을 할 수 있다. 영상 스트림 통신 장치(300)는 촬영장치(200)에 의해서 촬영된 이미지 데이터에 대한 영상 시퀀스를 실시간으로 영상 처리 장치(100)에 전송할 수 있다.The video
원격 서버(400)는 영상 처리 장치(100)에 의해서 영상 처리된 데이터에 관한 정보를 수집, 처리 및 저장하는 원격지의 데이터 베이스로 구성될 수 있다. The
이하에서는 설명의 편의를 위해서 영상 처리 장치(100)는 촬영 장치(200)에 의해서 촬영된 영상 데이터를 영상 스트림 통신 장치(300)를 통해서 수신하는 실시예를 중심으로 설명한다. 이러한 실시 예는 예시적인 것에 불과하며 다양한 형태로 변형될 수 있음은 통상의 기술자에게 자명하다.Hereinafter, for convenience of explanation, the
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치를 설명하기 위한 블록도 이다. 도 2를 참고하면, 영상 처리 장치(100)는 수신부(110), 이미지 처리부(130), 컬러명도차분 객체 분리 처리부(150), 송신부(170) 및 제어부(190)를 포함한다. 2 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention. Referring to FIG. 2, the
수신부(110)는 촬상 장치(200)로부터 촬상된 이미지 데이터를 수신한다. 예컨대, 수신부(110)는 RTP/RTSP 프로토콜 기반의 통신 모듈로 구현될 수 있다. 그리고, 수신부(110)는 이미지 데이터 시퀀스를 수신하기 위해서 영상 스트리밍 통신 모듈로 구현될 수 있다.The
이미지 처리부(130)는 색상 확률 이미지 생성부(131), 배경 이미지 생성부(132), 움직임 이미지 생성부(133) 및 이미지 보정부(134)를 포함한다. 이미지 처리부(130)의 각각의 구성은 독립적인 모듈로 구성될 수 있거나 통합 모듈 형태로 구현될 수 있다. 이미지 처리부(130)의 각 구성에 대해서는 이하에서 별도로 설명한다.The
컬러명도차분 객체 분리 처리부(150)는 이미지 처리부(130)에 의해서 이미지 처리된 이미지에 포함된 컬러명도차분 전 이미지로부터 정보를 추출할 수 있다.The color brightness difference differential object
송신부(170)는 원격 서버와 유무선 통신을 통해서 컬러명도차분 메타 데이터에 관한 정보를 전송한다. 송신부(170)는 유무선 통신 모듈로 구현될 수 있다. 예컨대, 송신부(170)는 인터넷, 인트라넷, 무선랜, 와이파이(WiFi) 등 다양한 종류의 유무선 통신 모듈로 구현될 수 있다. The transmitting
제어부(190)는 영상 처리 장치(100)의 동작 전반을 제어할 수 있다. 즉, 제어부(190)는 영상 처리 장치(100)의 영상 데이터 수신, 영상 이미지 프로세싱, 데이터 전송, 전원 공급 등의 영상 처리 장치(100)의 구동을 위한 전반적인 동작을 제어할 수 있다. The
영상 데이터 입력Input image data
본 발명의 일 실시 예에 따르면, 영상 처리 장치(100)는 촬영 장치(200)로부터 촬영된 영상 데이터를 실시간으로 수신할 수 있다. According to an embodiment of the present invention, the
구체적으로, 영상 처리 장치(100)는 영상 스트림 통신 장치(300)를 통해서 촬영장치(200)로부터 영상 데이터 시퀀스를 수신할 수 있다.Specifically, the
촬영 장치(200)는 Full-HD급 이상의 고해상도 영상을 촬영할 수 있는 디지털 카메라로 구현될 수 있다. 촬영 장치(200)는 빛 에너지를 전기에너지로 변환할 수 있는 이미지 센서를 포함하고, 이러한 이미지 센서는 CMOS, CCD 등 다양한 종류로 구현될 수 있다. 촬영 장치(200)는 고속으로 이동하는 이동체에 부착된 라벨(Label)을 실시간으로 촬영한다. 영상 스트림 통신 장치(300)는 촬영된 영상 데이터 시퀀스를 영상 처리 장치(100)로 전송할 수 있다.The photographing
영상 스트림 통신 장치(300)는 RTP/RTSP 프로토콜을 기반으로 한 실시간 스트리밍 기술을 적용한 통신 장치이다. 영상 스트림 통신 장치(300)는 영상 처리 장치(100) 또는 촬영 장치(200)에 통합적으로 설치되거나 독립적인 장치로 구성될 수 있다.The video
영상 스트림 통신 장치(300)는 촬영 장치(200)에 의해서 촬영된 영상 데이터를 BGR24 타입의 데이터로 변환하고, 이 변환된 데이터를 영상 처리 장치(100)로 전송할 수 있다. 이때, BGR 24 타입의 데이터는 픽셀당 24비트를 갖는 sRGB 포맷의 데이터이다. 영상 스트림 통신 장치(300)는 BGR24 타입의 데이터 이외에도 다양한 포맷의 이미지 데이터로 변환하여 전송할 수 있다.The video
컬러명도차분Color brightness difference 객체 이미지가 각각 이동에 따른 색 확률 분포 이미지 Image of color probability distribution according to movement of object image 모델링modelling
색상 확률 이미지 생성부(131)는 YCbCr 색 공간에서 영상 데이터를 구성하는 픽셀에 대한 색상 확률을 산출하고, 산출된 색상 확률을 이용하여 색상 확률 이미지를 생성할 수 있다.The color probability
구체적으로 색상 확률 이미지 생성부(131)는 입력된 영상 데이터를 이용하여 픽셀의 Cb 및 Cr의 히스토그램을 모델링 할 수 있다. 색상 확률 이미지 생성부(131)는 입력된 영상 데이터의 픽셀에 대한 색상 확률 분포를 분석하기 위해서 Cb, Cr의 히스토그램을 분석하여, 컬러 픽셀의 Cb, Cr에 대한 최소값, 최대값 및 Cb/Cr의 값을 연산할 수 있다. Specifically, the color probability
도 3a 내지 3d는 본 발명의 일 실시 예에 따른 Cb 및 Cr 분포의 히스토그램을 설명하기 위한 도면이다.3A to 3D are diagrams illustrating a histogram of Cb and Cr distributions according to an embodiment of the present invention.
도 3a는 색 픽셀에 대한 Cb와 Cr 분포의 히스토그램이고, 도 3a의 가로축은 픽셀 값, 세로축은 픽셀 수를 의미한다. 라인 Cb 분포는 점선으로 표시하고, 라인 Cr 분포는 실선으로 표시한다. FIG. 3A is a histogram of Cb and Cr distributions for color pixels. In FIG. 3A, the horizontal axis represents pixel values, and the vertical axis represents the number of pixels. The line Cb distribution is indicated by a dotted line, and the line Cr distribution is indicated by a solid line.
도 3b는 Cb 및 Cr 분포의 히스토그램이고, 도 3b의 가로축은 픽셀 값, 세로축은 픽셀 수를 의미한다. 도 3b에서 라인 Cb 분포는 제1선(Line 1)으로 표시하고, 라인 Cr분포는 제2선(Line 2)으로 표시하며, 비라인(Non-Line) Cb 분포는 제3선(Line 3)으로 표시하고, 비라인(Non-Line) Cr 분포는 제4선(Line 4)으로 표시한다.FIG. 3B is a histogram of Cb and Cr distributions. In FIG. 3B, the horizontal axis represents pixel values and the vertical axis represents the number of pixels. In FIG. 3B, the line Cb distribution is represented by a first line (Line 1), the line Cr distribution is represented by a second line (Line 2), the non-line Cb distribution is represented by a third line (Line 3) And the non-line Cr distribution is represented by the fourth line (Line 4).
도 3c는 색 픽셀에 대한 Cb/Cr 분포의 히스토그램이고, 도 3c의 가로축은 Cb/Cr의 비율이고, 세로축은 픽셀 수를 의미한다.3C is a histogram of the Cb / Cr distribution for the color pixel, the horizontal axis of FIG. 3C is the ratio of Cb / Cr, and the vertical axis is the number of pixels.
도 3d는 Cb/Cr 분포의 히스토그램이고, 도 3d의 가로축은 Cb/Cr의 비율이고, 세로축은 픽셀 수를 의미한다. 도 3d에서 라인 Cb/Cr 분포는 제1선으로 표시하고, 비라인의 Cb/Cr 분포는 제2선으로 표시한다. FIG. 3D is a histogram of the Cb / Cr distribution. In FIG. 3D, the horizontal axis indicates the ratio of Cb / Cr, and the vertical axis indicates the number of pixels. In FIG. 3D, the line Cb / Cr distribution is represented by the first line, and the non-line Cb / Cr distribution is represented by the second line.
색상 확률 이미지 생성부(110)는 입력된 영상 데이터의 픽셀의 특정 좌표(x,y)에서 픽셀 색상 확률()을 다음의 수학식 1에 의해서 정의한다.The color probability
수학식 1
여기서, rate는 Cb/Cr을 의미하고, 입력된 영상 데이터에서 각 픽셀은 다음의 조건을 만족한다.Here, rate means Cb / Cr, and each pixel in the inputted image data satisfies the following condition.
상기 조건을 만족하지 않는 경우에는 해당 좌표의 픽셀의 색상 확률은 0이다.색상 확률 이미지 생성부(110)는 영상 데이터의 픽셀에 대하여 색상 확률을 산출하여, 산출된 색상 확률에 대한 색상 확률 이미지를 생성한다.If the above condition is not satisfied, the color probability of the pixel of the coordinate is 0. The color probability
컬러명도차분Color brightness difference 객체 배경 이미지 Object background image 모델링modelling
배경 이미지 생성부(132)는 영상 이미지의 특정 프레임의 배경을 모델링하여 배경 이미지를 생성할 수 있다. 즉, 배경 이미지 생성부(132)는 움직임 이미지를 생성하기에 앞서, 해당 프레임의 배경을 모델링 하여 배경 이미지를 생성한다. 배경 이미지 생성부(132)는 다음의 수학식 2에 의해서 배경 이미지의 픽셀값()를 산출하고, 산출된 배경 이미지의 픽셀 값에 의해서 배경 이미지를 생성할 수 있다.The background
수학식 2
여기서, 는 n번째 프레임의 배경 이미지의 (i,j) 위치에서의 픽셀 값이고, 는 입력된 영상 이미지의 (i,j) 위치에서의 픽셀 값을 의미한다. 그리고, 첫번째 프레임의 배경 이미지의 픽셀 값()는 첫 번째 입력된 영상 이미지의 픽셀 값 ()과 함께 0으로 초기화된다. 여기서 사용되는 입력된 영상 이미지 및 배경 이미지는 모두 그레이(gray) 이미지이다.here, Is the pixel value at the (i, j) position of the background image of the n-th frame, Denotes a pixel value at the (i, j) position of the input image. Then, the pixel value of the background image of the first frame ( ) Represents the pixel value of the first input image image ( ) Is initialized to zero. The input image image and background image used here are all gray images.
컬러명도차분Color brightness difference 객체 움직임 이미지 추출 알고리즘 Object Motion Image Extraction Algorithm
도 4는 본 발명의 일 실시 예에 따른 촬상 이미지로부터 컬러명도차분 이미지를 추출하는 과정을 설명하기 위한 도면이다.FIG. 4 is a view for explaining a process of extracting a color brightness difference image from a sensed image according to an embodiment of the present invention.
도 4를 참고하면, 영상 처리 장치(100)는 입력된 원본 영상 이미지(401)로부터 보행자 이미지(403)를 추출할 수 있다. Referring to FIG. 4, the
입력된 원본 영상 이미지(401)는 배경 이미지와 이동중인 보행자 이미지(403)를 포함한다. 움직임 이미지 생성부(133)는 배경 이미지 생성부(132)에 의해서 생성된 배경 이미지 및 입력된 영상 이미지를 이용하여 움직임 이미지를 생성할 수 있다. The input
구체적으로, 움직임 이미지 생성부(133)는 다음의 수학식 3을 이용하여 움직임 이미지의 픽셀 값(M(i,j))을 산출하고, 산출된 움직임 이미지 픽셀 값(M(i,j))에 의해서 움직임 이미지를 생성할 수 있다.Specifically, the motion
수학식 3
여기서, M(i,j)는 움직임 이미지의 픽셀 값이고, I(i,j)는 입력된 영상 이미지의 픽셀 값이며, B(i,j)는 배경 이미지의 픽셀 값을 의미한다.Here, M (i, j) is the pixel value of the motion image, I (i, j) is the pixel value of the input image, and B (i, j) is the pixel value of the background image.
움직임 이미지 생성부(133)는 산출된 움직임 이미지 픽셀 값(M(i,j))을 제1 문턱 값에 의해서 제1 이미지 픽셀 값(Mb(i,j))으로 산출한다. 움직임 이미지 생성부(133)는 산출된 제1 이미지 픽셀 값(Mb(i,j))을 개방연산(open operation)을 통해서 노이즈를 제거할 수 있다.The motion
움직임 이미지 생성부(133)는 노이즈가 제거된 제1 이미지 픽셀 값(Mb(i,j))에 대해서 제2 문턱값에 의해서 제2 이미지 픽셀 값()으로 이진화할 수 있다. The motion
움직임 이미지 생성부(133)는 제2 이미지 픽셀 값()을 정규화하여 1 또는 0 값으로 최종적으로 이진화함으로써 최종적인 움직임 이미지를 산출할 수 있다.The motion
컬러명도차분Color brightness difference 객체 이미지 보정 알고리즘 Object Image Calibration Algorithm
이미지 보정부(134)는 색상 확률 이미지 및 움직임 이미지를 이용하여 후보 확률 이미지를 생성한다. 이미지 보정부(134)는 후보 확률 이미지에 대한 복수의 특성을 추출한다.The
복수의 특징은 이동중인 보행자의 빛 반사 라인을 판별하는 특성을 의미한다. 예컨대, 복수의 특징은 이동중인 보행자의 스타트 반사 존, 빛 반사의 엔드 존, 반사각의 넓이, 원본 이미지로부터 컬러 차분명도객체간 경계선 라인의 넓이, 해상도, 조도 및 보행자 객체를 포함하는 보행자의 명도차분객체의 넓이 등을 포함한다. The plurality of features means the characteristic of discriminating the light reflection line of the moving pedestrian. For example, a plurality of features include a start reflection zone of a moving pedestrian, an end zone of light reflection, a width of a reflection angle, a color difference brightness from an original image, a width of a boundary line between objects, resolution, illuminance, The width of the object, and the like.
이미지 보정부(134)는 추출된 복수의 특성에 대한 무 작위성 테스트 알고리즘을 적용하여 무 작위성 확률을 산출한다. The
이미지 보정부(134)는 무 작위성 테스트 알고리즘으로써 월드월포위츠(Wald-Wolfowitz) 테스트 알고리즘을 이용할 수 있다. 이미지 보정부(134)는 다음의 수학식 4 내지 6을 통해서 무 작위성 테스트 결과를 산출할 수 있다.The
수학식 4
여기서, n1 과 n2는 무 작위성 테스트의 대상이 되는 특성의 비트인 0 및 1의 개수를 의미한다.Here, n 1 and n 2 are the numbers of 0 and 1, which are the bits of the characteristic subjected to the randomness test.
수학식 5
수학식 6Equation 6
여기서, R은 0 및 1 사이에 바뀐 횟수를 의미하고, Z는 특성에 대한 무 작위성 테스트 결과를 의미한다.Here, R denotes the number of times of changing between 0 and 1, and Z denotes an anisotropy test result on the characteristic.
무 작위성 테스트가 완료되고 나면, 그 테스트 결과인 Z는 다음의 수학식 7을 이용하여 산출되는 무 작위성 확률(P)를 제공하기 위한 문턱 값으로 이용될 수 있다.After the randomness test is completed, the test result Z can be used as a threshold value to provide the random probability P, which is calculated using the following equation (7).
수학식 7Equation 7
이미지 보정부(134)는 상기 수학식 7에 의해서 산출된 무작위성 확률(P)을 각각의 특성에 대해서 산출할 수 있다. 즉, 빛 반사 스타트 존, 빛 반사 엔드 존, 객체의 경계선 라인의 넓이, 반사 각 라인의 넓이, 해상도, 조도 및 이동중인 보행자의 컬러명도차분 이미지를 포함하는 반사각의 넓이에 대해서 각각 무 작위성 확률 P1 내지 P7 를 산출한다.The
이미지 보정부(134)는 7개의 특성에 대해서 무 작위성 확률( 내지 )를 산출하고, 7개의 무 작위성 확률( 내지 )을 이용하여 다음의 수학식 8에 의해서 무 작위성 확률 평균()을 산출할 수 있다. 이때 동일 확률 평균()은 지정된 보행자에 대하여 Label Tag으로 표기한 후 메타데이터를 저장한다. The
수학식 8Equation 8
여기서, 는 특정 프레임에서의 7개의 특징에 대한 무작위성 확률을 의미한다. 7개의 특성은 보행자를 검출함에 있어서 7등분(팔2, 다리2, 몸1, 머리1, 전체1)으로 세분화하여 각각의 컬러명도차분 확률을 산출하여 메타데이터를 생성하고 저장한 후, 다른 영상의 보행자 색 정보와 비교하여 동일 보행자를 추정한다. here, Means the probability of randomness for seven features in a particular frame. The seven characteristics are subdivided into 7 equal parts (
즉, 이미지 보정부(134)는 컬러명도차분객체의 경계 라인을 판별하기 위해서, 특정 프레임에서 7개의 특징에 대해서 무 작위성 확률을 산출한다. 7개의 특성 중 운송자(상승 이동 중인 컬러명도차분객체 빛 반사 각)의 가로 및 세로는 컬러명도차분객체의 외곽(edge)를 이루고 있는 색과 관련된 비트 조합 그룹을 무 작위성 테스트에 의해서 구할 수 있다. That is, the
한편, 운송자(상승 이동 중인 컬러명도차분객체 빛 반사 각)의 외곽 0과 1의 비트의 조합을 평균하려면 Wald-Wolfowitz 알고리즘의 비모수 T-검정 알고리즘을 이용하여 비트 그룹의 최소값과 최대값 및 결측되지 않은 경우의 수와 같은 평균들을 구한다.On the other hand, in order to average the combinations of
이미지 보정부(134)는 상기 수학식 8에 의해서 산출된 복원 전 확률을 개의 연속 프레임에 대해서 각각 반복 수행한다. 각각의 프레임에 대해서 산출된 개의 복원 전 확률을 이용하여 다음의 수학식 9에 의해서 복원 후 확률()을 산출한다.The
수학식 9Equation 9
여기서, 는 개의 연속적인 프레임 각각에 대해서 산출된 복원 전 확률의 산술 평균을 의미한다. 수학식 9에 의해서 산출된 복원 후 확률()은 다음의 수학식 10에서 컬러명도차분객체 이미지의 라인을 판정하기 위한 문턱 값으로 이용할 수 있다.here, The Means an arithmetic mean of the computed restoration probabilities for each of consecutive frames. The post-restoration probability calculated by the equation (9) ) Can be used as a threshold for determining the line of the color difference differential object image in the following equation (10).
수학식 10
이미지 보정부(134)는 상기 수학식 10에 따라 복원 후 확률()을 문턱 값으로 이용하여 4단계의 컬러명도차분 후 객체 라인 복원 판정을 수행한다. 예를 들어, 복원 후 확률(Pw)이 0.1보다 클 경우에는 해당 비트 그룹은 line으로 판정하고, Pw가 0.07보다 클 경우에는 해당 비트 그룹은 Should_line으로 판정하며, Pw가 0.05보다 클 경우에는 해당 비트 그룹은 Maybe_line으로 판정하고, Pw가 0.05보다 작은 경우에는 해당 비트 그룹은 Not_line으로 판정한다.The
보다 구체적으로 살펴보면, 복원 후 확률()이 0.1보다 크면, 해당 비트 그룹은 거의 왜곡이 발생하지 않은 것이므로 선명한 선으로 복원할 수 있음을 의미한다(line으로 판정). 복원 후 확률()이 0.1보다 작고 0.07보다 크면, 해당 비트 그룹은 초점이 약간 흐려지는 왜곡이 발생한 것이지만 선으로 복원할 수 있음을 의미한다(Should_line으로 판정). 복원 후 확률()이 0.07보다 작고 0.05보다 크면, 해당 비트 그룹은 피사체의 이동으로 촬영 순간 다소 밀림 현상과 부분적인 계단식 격자 또는 계단식 연속성을 가진 격자 라인으로 왜곡이 발생한 것이므로, 이러한 계단식 격자 또는 계단식 연속성을 선으로 복원할 수 있음을 의미한다(Maybe_line으로 판정). 복원 후 확률()이 0.05보다 작으면, 피사체의 이동으로 촬영 순간 번짐이나 밀림의 왜곡이 발생한 것으로, 이러한 번짐이나 밀림의 왜곡을 공백으로 복원할 수 있음을 의미한다(Not_line으로 판정).More specifically, the probability of restoration ( ) Is larger than 0.1, it means that the corresponding bit group has almost no distortion and can be restored to a clear line (judged as a line). Probability after restoration ( ) Is smaller than 0.1 and larger than 0.07, it means that the corresponding bit group is distorted slightly in focus but can be restored to a line (Judged as Should_line). Probability after restoration ( ) Is smaller than 0.07 and larger than 0.05, the corresponding bit group is distorted by a grating line having a partial cascade lattice or a cascade continuity at the moment of photographing due to the movement of the subject, so that the cascade lattice or the cascade continuity is restored to a line (Judged as Maybe_line). Probability after restoration ( ) Is less than 0.05, it means that the blur of the photographing moment and the distortion of the jumping are caused by the movement of the subject, and that such blurring and jarring distortion can be restored to blank (judged as Not_line).
또한, 상기 이미지 보정부(134)에서는 수직/ 수평 히스토그램을 이용하여 관심영역(region of interest, ROI)에 사용할 영상의 화소 값의 위치와 경계값(역치값, threshold)를 구할 수 있다. 그리고, 수직/ 수평 히스토그램의 영상처리에서 고주파 필터 및 저주파 필터 보간법을 적용해 보행자와 같은 객체의 영역을 감지하고, 추출과 더불어 객체의 보정 효과(객체 이미지가 흐려진 부분을 보정해 선명한 객체로 보여지게 함)를 제공할 수 있다. In addition, the
상기 고주파 필터 보간법은 아래의 수학식 11로 정의될 수 있다.The high-frequency filter interpolation method may be defined by Equation (11) below.
수학식 11
여기서, 는 누적 가중계수, 는 복원 계수, 는 가중 계수를 나타낸다.here, Is a cumulative weighting coefficient, Is the restoration coefficient, Represents a weighting factor.
또한, 상기 저주파 필터 보간법은 아래의 수학식 12로 정의될 수 있다.Further, the low-frequency filter interpolation method can be defined by the following equation (12).
수학식 12
여기서, 를 나타낸다.here, .
또한, 필터 보간 영역은 아래의 수학식 13으로 정의될 수 있다.Further, the filter interpolation area can be defined by the following equation (13).
수학식 13
고주파 필터 보간법은 영상 처리에서 영역내의 화소의 변화가 특정 임계치보다 클 때 처리하는 필터기법이고, 저주파 필터 보간법은 영상 처리에서 영역내의 화소 변화가 특정 임계치보다 작을 때 처리하는 필터기법이다. 따라서, 베르누이 공식을 이용한 는 누적 가중계수이고, 이는 배경의 누적 행렬로 형성되는 과정에서 가중된 강도(복원)의 이미지를 복원 계수 복원 계수로부터 획득하고, 감산행렬 를 이용한 색소공간영역 이동에 따른 가중(복원)된 색상의 이미지를 획득할 수 있다. 따라서, 고주파 필터 및 저주파 필터를 이용하여 영상을 보다 선명하게 복원할 수 있다. The high frequency filter interpolation method is a filtering method for processing when a pixel change in an image area is larger than a certain threshold value and a low frequency filter interpolation method is a filtering method for processing when a pixel change in an image area is smaller than a specific threshold value in image processing. Thus, using the Bernoulli formula Is a cumulative weighting factor, which is the sum of the weighted intensity (restoration) From the restoration coefficient restoration coefficient, and the subtraction matrix It is possible to obtain an image of weighted (restored) color according to the movement of the dye spatial domain using the color space. Therefore, the image can be more clearly restored by using the high-frequency filter and the low-frequency filter.
이하에서는 도 5a 및 5b를 참고하여 원본 이동중인 보행자 이미지로부터 컬러명도차분 객체 라인을 복원하는 일 예를 설명한다.Hereinafter, an example of restoring the color brightness differential object line from the original moving pedestrian image will be described with reference to FIGS. 5A and 5B.
도 5a를 참고하면, 도 5a의 상측 도면의 그래프는 컬러명도차분객체 이미지가 Wald-Wolfowitz test T-검정 테스트 결과가 선 흐림 판정(Should_line)과 격자 선 판정(maybe_line)의 블랍(Blab) 그래프 파형이다. 흐림, 밀림 및 격자 발생의 경우에는 그래프 파형이 불규칙하게 도시된다. 5A, the graph of the upper side of FIG. 5A shows that the color brightness differential object image is a Blab graph waveform of a Wald-Wolfowitz test T-test result of a line blur judgment (Should_line) and a lattice line judgment (maybe_line) to be. In the case of clouding, jumping and lattice generation, the graph waveforms are shown irregularly.
도 5a의 하측 도면의 그래프는 정상적인 보행자 컬러 패턴을 가지고 있을 때의 규칙적인 블랍(Blab) 그래프 파형이다. 정상적인 보행자 컬러 패턴을 가진 경우에는 블랍 그래프의 파형이 규칙적으로 도시된다. 이는 선들이 진하고 영상 판독에 적합한 상태임을 나타낸다.The graph in the bottom view of Figure 5A is a regular blob graph waveform when having a normal pedestrian color pattern. In the case of a normal pedestrian color pattern, the waveform of the blob graph is regularly shown. This indicates that the lines are dark and suitable for image reading.
도 5b를 참고하면, 도 5b의 상측 도면은 촬상된 원본 보행자 이미지이고, 하측 도면은 보정된 컬러명도차분객체 영상의 이미지다. Referring to FIG. 5B, the upper diagram of FIG. 5B is the captured original pedestrian image, and the lower diagram is the image of the corrected color brightness differential object image.
도 5b의 상측 도면에서, 라인(L1)은 촬상시 외부 조도에 의해서 흐림 왜곡이 발생된 것으로, 해당 비트 그룹에 대한 복원 후 확률을 산출해보면 0.07이상 이므로 흐림 선으로 판정(Should_line으로 판단)하고, 도 5b의 하측 도면에서 라인(L1')과 같이 복원한다.In the upper diagram of Fig. 5B, the line L1 has a blurring distortion due to the external illuminance at the time of imaging. When calculating the probability of restoration for the bit group, it is determined to be a blurred line (determined as Should_line) Is restored as shown by the line L1 'in the bottom view of FIG. 5B.
도 5b의 상측 도면에서, 라인(L2, L3)은 피사체의 이동에 의해서 촬상시 라인의 밀림 및 계단식 격자 형태를 보이는 왜곡이 발생된 것으로, 해당 비트 그룹에 대한 복원 후 확률을 산출해보면 0.07보다 작고 0.05보다 큰 값을 갖게 되므로 격자 선으로 판정(maybe_line으로 판단)하고, 도 5b의 하측 도면에서 라인(L2', L3')과 같이 복원한다. In the upper diagram of Fig. 5B, lines L2 and L3 show that the distortion of the lines and the step-like lattice shape occurred at the time of imaging due to the movement of the subject. When calculating the probability of restoration for the corresponding bit group, It is determined to be a grid line (determined as maybe_line), and is restored as shown by lines L2 'and L3' in the lower diagram of FIG. 5B.
도 5b의 상측 도면에서, 라인(L4)은 피사체의 이동으로 인하여 라인의 번짐이 발생된 것으로, 해당 비트 그룹에 대한 복원 후 확률을 산출해보면 0.03보다 작은 값을 갖게 되므로, 선이 아닌 것으로 판정(not_line으로 판단)하고, 도 5b의 하측 도면에서 공백(L4')과 같이 복원한다.5B, the line L4 indicates that blurring of the line has occurred due to the movement of the subject. When calculating the probability after restoration for the corresponding bit group, the line L4 has a value smaller than 0.03, quot; not_line "), and restores the blank space L4 'in the lower drawing of Fig. 5B.
컬러명도차분객체 분리 처리부(150)는 이미지 보정부(134)에 의해서 보정된 이미지에 포함된 컬러명도차분 영상을 분석할 수 있다. 즉, 컬러명도차분객체 분리 처리부(150)는 빛 반사 스타트 존과 엔드 존으로 구분되는 이동중인 보행자를 인식하고, 빛 반사 이동 각도 계 변환 알고리즘에 의해서 이미지 속의 보행자의 컬러 맵을 읽어 해당 보행자의 이동 및 변호 속도를 생성해 기록할 수 있다.The color brightness differential object
컬러명도차분객체 분리 처리부(150)는 이미지 속의 보행자를 분석해 보행자의 이동치를 기하학으로 변환해주는 알고리즘이다.The color brightness differential object
도 6은 본 발명의 다른 실시 예에 따라 영상 처리 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an image processing method according to another embodiment of the present invention.
도 6을 참고하면, 본 발명에 따른 영상 처리 방법은 영상 처리 장치(100)가 촬영 장치(200)에 의해서 촬영된 영상 이미지를 수신하는 단계(S601)를 수행한다.Referring to FIG. 6, in the image processing method according to the present invention, the
영상 처리 장치(100)는 색상 확률을 산출하는 단계(S602)를 수행한다. 단계(602)에서는 컬러 및 휘도 정보에 기초하여 적어도 2차원의 색 공간에서 수신된 영상 이미지에 포함된 픽셀의 색상 분포를 모델링하고, 모델링된 색상 분포에 기초하여 색상 확률을 산출한다.The
영상 처리 장치(100)는 색상 확률 이미지를 생성하는 단계(S603)를 수행한다. 단계(603)에서는 산출된 색상 확률을 이용하여 색상 확률 이미지를 생성한다.The
영상 처리 장치(100)는 입력된 영상 이미지의 픽셀에 대한 Cb, Cr 및 Cr/Cb 값을 이용하여 색상 확률을 연산한다.The
영상 처리 장치(100)는 배경 이미지를 생성하는 단계(S604)를 수행한다. 단계(S604)에서는 수신된 영상 이미지에 대한 배경을 모델링하여 배경 이미지를 생성한다.The
영상 처리 장치(100)는 움직임 이미지를 생성하는 단계(S605)를 수행한다. 단계(S605)에서는 단계(S601)에서 수신된 영상 이미지와 단계(S604)에서 생성된 배경 이미지를 이용하여 움직임 이미지를 생성한다.The
단계(S605)는 수신된 영상 이미지와 배경 이미지를 이용하여 움직임 이미지를 생성하는 단계(S605-1), 움직임 이미지를 제1 문턱 값으로 이진화하여 를 산출하는 단계(S605-2) 및 움직임 이미지를 제2 문턱 값으로 이진화하여 를 산출하는 단계(S605-3) 및 및 를 이용하여 최종 움직임 이미지(M(x,y))를 생성하는 단계(S605-4)를 더 수행한다.In operation S605, a motion image is generated using the received image and the background image in operation S605-1. The motion image is binarized to a first threshold value (Step S605-2) and binarizing the motion image to a second threshold value (S605-3) and And (Step S605-4) of generating a final motion image (M (x, y)) using the motion image (step S605-4).
영상 처리 장치(100)는 후보 확률 이미지를 생성하는 단계(S606)를 수행한다. 단계(S606)에서는 단계(S603)에서 생성된 색상 확률 이미지 및 단계(S605)에서 생성된 최종 움직임 이미지를 이용하여 후보 확률 이미지를 생성한다.The
영상 처리 장치(100)는 복수의 특성을 추출하는 단계(S607)을 수행한다. 단계(S607)에서는 후보 확률 이미지에 대한 복수의 특성은 빛 반사 스타트 존, 빛 반사 엔드 존, 빛 반사각의 라인의 넓이, 객체의 흰색 경계선 라인의 넓이, 해상도, 조도 및 보행자 이미지를 포함하는 운송인의 넓이 등을 포함한다.The
영상 처리 장치(100)는 무 작위성 확률을 산출하는 단계(S608)를 수행한다. 단계(S608)에서는 단계(607)에서 추출한 복수의 특성에 대해서 무 작위성 테스트 알고리즘을 적용하여 복수의 무 작위성 확률을 산출한다. 단계(S608)는 복수의 무 작위성 확률을 산술 평균하여 무 작위성 확률 평균을 연산하는 단계(S608-1), 수신된 영상 데이터의 N개의 프레임에 대해서 무 작위성 확률 평균을 반복 연산함으로써 N개의 무 작위성 확률 평균을 연산하는 단계(S608-2) 및 N개의 무 작위성 확률 평균을 산술 평균하여 산출된 값을 문턱 값을 설정하는 단계(S608-3)를 더 포함한다.The
영상 처리 장치(100)는 후보 확률 이미지를 검증하는 단계(S609)를 수행한다. 단계(S609)에서는 단계(S608-3) 이후에 설정된 문턱 값을 이용하여 후보 확률 이미지에 대한 복원 여부를 판정한다. 해당 비트 그룹의 문턱 값이 0.1보다 크면 라인으로 판정하고, 해당 비트 그룹의 문턱 값이 0.1보다 작고 0.07보다 크면 흐린 선(Should_line)으로 판정한다. 해당 비트 그룹의 문턱 값이 0.07보다 작고 0.05보다 크면 격자 선(Maybe_line)으로 판정한다. 해당 비트 그룹의 문턱 값이 0.05보다 작은 경우에는 선이 아닌 것(Not_line)으로 판정한다.The
영상 처리 장치(100)는 후보 확률 이미지를 보정하는 단계(S610)를 수행한다. 단계(S610)에서는 단계(S609)의 검증 결과에 기초하여 후보 확률 이미지에 대한 이미지 보정을 수행한다.The
도 7은 본 발명의 다른 실시예에 따른 실시간 보행자 명도차분 객체의 이동치 정보 취득 방법을 설명하기 위한 흐름도이다.FIG. 7 is a flowchart illustrating a method of acquiring movement value information of a real-time pedestrian brightness difference object according to another embodiment of the present invention.
도 7을 참고하면, 영상 처리 장치(100)는 실시간으로 영상 프레임을 입력 받는다(S701). 영상처리장치(100)는 백그라운드 모델링 알고리즘에 의해서 입력된 영상 프레임 데이터를 배경과 전경으로 분리한다. 영상처리장치(100)는 분리된 배경을 배경동화 백그라운드 모델링 알고리즘에 의해서 고정된 자리에서 큰 이동의 변화가 없이 움직이는 물체와 자연 조도 및 인위조도 상에서 빛의 굴절에 의한 미세한 움직임 등을 하나의 배경으로 동화시킴으로써 인식을 못하도록 강제한다. Referring to FIG. 7, the
영상처리장치(100)는 객체 히스토그램 에지(Object Histogram Edge) 알고리즘을 이용하여 실시간으로 입력된 영상 프레임으로부터 관심 영역(Region of Interest)의 정지 영상을 추출한다(S702). The
영상처리장치(100)는 개체분류(Classification) 알고리즘에 의해서 개체의 넓이, 길이, 개체의 RGB 색상 정보 등을 계산하고 보행자 명도차분 컬러 레이블의 픽셀 상의 논리좌표를 지정하며, 이러한 논리좌표의 시작(x,y), 종료(x2,y2) 좌표로 디지털 16배 줌 엔진을 작동해 비트맵 이미지로 변환한 다음 시스템의 메모리 상에 옮겨놓는다(S703).The
영상처리장치(100)는 디지털 확대된 이미지에 포함된 노이즈를 제거함으로써 촬영된 영상 이미지를 보정한다(S704). 영상처리장치(100)는 보정된 영상 이미지에 포함된 형상 이미지를 추출한다(S705). 영상 처리 장치(100)는 추출된 형상 이미지로부터 레이블 이미지를 추출한다(S706). The
영상처리장치(100)는 배경 모델링 알고리즘을 이용하여 레이블 이미지로부터 보행자 이미지를 추출한다(S707). 영상 처리 장치(100)는 보행자 이미지의 특성 정보를 추출하고, 추출된 특성 정보에 기초하여 무 작위성 테스트를 수행하여, 추출된 보행자 이미지에 포함된 이미지 밀림, 이미지 흐림 등을 보정한다(S708).The
영상 처리 장치(100)는 보정된 보행자 이미지를 인식하고(S709), 인식된 보행자의 좌표 및 컬러명도차분 객체 정보를 텍스트 정보로 변환한다(S710). 영상처리장치(100)는 변환 텍스트 정보를 원격의 서버로 전송한다(S711).The
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법의 객체 검출 단계를 설명하기 위한 순서도이다.8 is a flow chart for explaining an object detection step of the image processing method according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 방법의 객체 검출 단계는 객체 특성 학습 데이터를 이용하여 객체를 검출하며, 데이터를 획득하는 단계(S801), 영상 이미지의 데이터를 이용하여 보행자 객체를 생성하는 단계(S802), 객체 특성 학습 데이터가 존재하는 경우 이를 바탕으로 보행자를 검출하는 단계(S803), 객체 특성 학습 데이터가 존재하지 않는 경우 군집별로 저장된 객체의 컬러 형태소 정보의 객체 학습 데이터를 추출하는 단계(S804), 상기 보행자를 검출 하는 단계를 지속적으로 반복 하는 단계 및 상기 추출된 객체 특성 학습 데이터를 이용하여 학습한 학습 데이터를 기록하는 단계를 포함한다.Referring to FIG. 8, in the object detection step of the image processing method according to an embodiment of the present invention, an object is detected using object property learning data and data is acquired (S801) (Step S803). In the case where the object characteristic learning data does not exist, the step of detecting the object learning data includes the steps of: Extracting data (S804), continuously repeating the step of detecting the pedestrian, and recording the learned learning data using the extracted object characteristic learning data.
상기 데이터를 획득하는 단계에서는 카메라의 Instance(RGB24 인수) 정보를 획득하고, 상기 RGB24 정보를 CIC7P 알고리즘을 호출할 때 인수로 전달한다. 여기서 CIC7P(CIC7P(Color Intensity Classification 7 Part Based Model) 알고리즘은 보행자 검출 단계와 보행자 추적 단계를 포함하는 알고리즘으로서, 컬러명도차분 7등분 검출 알고리즘이며, 형태소를 7등분하여 보행자를 검출하고 추적하는 알고리즘을 말한다. 이후 CIC7P 알고리즘 컴포넌트를 사용 초기화할 때 Instance를 하나의 클래스로 묶어 초기화해 컴포넌트를 생성한다. In the step of acquiring the data, information of the camera's Instance (RGB24 argument) is obtained, and the RGB24 information is passed as an argument when calling the CIC7P algorithm. Here, CIC7P (CIC7P (Color Intensity Classification 7 Part Based Model) algorithm is an algorithm that includes a pedestrian detection step and a pedestrian tracking step, and is a color difference degree difference equalization detection algorithm. An algorithm for detecting and tracking a pedestrian by dividing a morpheme into 7 equal parts Then, when using the CIC7P algorithm component, initialize the Instance by grouping it into one class.
상기 영상 이미지의 데이터를 이용하여 보행자 객체를 생성하는 단계(S802)에서는 보행자 명도차분 객체만을 독립적인 차 영상으로 생성한다. In step S802 of generating a pedestrian object using the image data, only the pedestrian name difference object is generated as an independent difference image.
이후, 객체 특성 학습 데이터가 존재하는지 여부를 판단하여, 객체 특성 학습 데이터가 존재하는 경우 이를 바탕으로 보행자는 검출하는 단계(S803)를 수행한다. 또한 상기 보행자를 검출하는 단계를 지속적으로 반복한다.Thereafter, it is determined whether or not object characteristic learning data exists, and if the object characteristic learning data exists, step S803 of detecting a pedestrian based on the object characteristic learning data is performed. Further, the step of detecting the pedestrian is continuously repeated.
만약, 객체 특성 학습 데이터가 존재하지 않는 경우 군집별로 저장된 객체의 컬러 형태소 정보의 객체 학습 데이터를 추출하는 단계(S804)를 수행한다. 이후, 상기 추출된 군집별로 저장된 객체의 컬러 형태소 정보의 객체 학습 데이터를 이용하여 학습한 학습 데이터를 기록하고 종료 하거나, 다시 이 학습 데이터를 이용하여 보행자를 검출하는 단계를 수행할 수 있다. If the object characteristic learning data does not exist, the object learning data of the color morpheme information of the object stored in the clusters is extracted (S804). Thereafter, the learning data learned using the object learning data of the color morpheme information of the object stored for each of the extracted clusters may be recorded and terminated, or the pedestrian may be detected using the learning data again.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법의 객체 추적 단계를 설명하기 위한 순서도이다.9 is a flow chart for explaining an object tracking step of the image processing method according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 방법의 객체 추적 단계는 객체 특성 학습 데이터를 이용하여 객체를 추적하며, 데이터를 획득하는 단계(S901), 군집별로 저장된 객체의 컬러 형태소 정보의 학습 데이터를 추출하는 단계(S902), 객체 형태소 정보를 사전 예측하고 가장 유사한 형태소 정보를 추출하는 단계(S903) 및 상기 추출된 가장 유사한 형태소 정보를 바탕으로 객체를 추적하는 단계(S904)를 포함한다. Referring to FIG. 9, in the object tracking step of the image processing method according to an embodiment of the present invention, an object is traced using object characteristic learning data and data is acquired (S901) Step S902 of extracting learning data of information (S902), predicting the object morpheme information and extracting the most similar morphological information (S903), and tracking the object based on the extracted most similar morpheme information (S904) .
상기 데이터를 획득하는 단계(S901)에서는 카메라의 Instance(=RGB24 인수) 정보를 획득하고, RGB24 정보를 CIC7P 알고리즘을 호출할 때 인수로 전달한다. 이후 판독하는 영상이 현재 보여지고 있는 영상인지 판단한다. 판독 대상 영상이 현재 보여지고 있는 영상이 아니라면 객체 추적 단계를 종료하고, 판독 대상 영상이 현재 보여지고 있는 영상이라면 군집별로 저장된 객체의 컬러 형태소 정보의 학습 데이터를 추출(S902)한다. In the step of acquiring the data (S901), the camera's Instance (= RGB24 argument) information is acquired, and the RGB24 information is passed as an argument when calling the CIC7P algorithm. Then, it is determined whether the image to be read is a currently displayed image. If the image to be read is not the image currently being viewed, the object tracking step is terminated. If the image to be read is the image currently being viewed, the learning data of the color morpheme information of the object stored for each cluster is extracted (S902).
이후, 복수개의 카메라에 입력되고 있는 영상에서 동일 보행자로 인식할 객체 인지 여부를 판단하며, 동일 보행자임을 판단하기 위해 객체 형태소 정보를 사전 예측하고 가장 유사한 형태소 정보를 추출(S903)한다. 상기 추출된 가장 유사한 형태소 정보를 바탕으로 객체를 추적(S904)하며, 이 과정에서 추출된 정보를 기반으로 추적 객체 목록과 특징 리스트를 작성할 수 있다.Then, it is determined whether or not the object is recognized as the same pedestrian in the image input to the plurality of cameras. In order to determine that the object is the same pedestrian, the object morpheme information is predicted in advance and the most similar morpheme information is extracted (S903). The object is tracked based on the extracted most similar morpheme information (S904), and a tracked object list and a feature list can be created based on the extracted information.
본 발명의 다양한 실시 예에 따른 상술한 방법들은 컴퓨터 판독 가능한 저장 매체에 코드로 저장될 수 있다. 이러한 본 발명의 다양한 실시 예에 따른 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 전자 장치에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다. The above-described methods according to various embodiments of the present invention may be stored as a code in a computer-readable storage medium. The code for performing the above-described methods according to various embodiments of the present invention may be stored in a memory such as a random access memory (RAM), a flash memory, a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an Electrically Erasable and Programmable ROM ), A register, a hard disk, a removable disk, a memory card, a USB memory, a CD-ROM, and the like.
비록 본 발명의 예시적인 실시 예 및 적용 예가 도시되고 설명되었더라도, 본 발명의 기술적 사상의 범위를 벗어나지 않는 범위에서 많은 변화 및 수정이 가능하고, 이러한 변형은 본 발명이 속하는 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있습니다. 따라서, 설명된 실시 예는 예시적이지 제한적인 것이 아니며, 본 발명은 첨부된 상세한 설명에 의해서 제한되는 것이 아니지만 청구항의 기술적 범위 내에서 수정 가능하다.Although illustrative embodiments and applications of the present invention have been shown and described, many changes and modifications may be made without departing from the scope of the present invention, and such modifications may be made by one of ordinary skill in the art to which the present invention pertains It can be clearly understood. Accordingly, the described embodiments are illustrative and not restrictive, and the invention is not limited by the accompanying detailed description, but is capable of modifications within the scope of the claims.
100 : 영상 처리 장치 110 : 수신부
130 : 이미지 처리부 131 : 반사각 이동 색상 확률 이미지 생성부
132 : 배경 이미지 생성부 133 : 컬러차분객체 움직임 이미지 생성부
134 : 이미지 보정부 150 : 컬러명도차분 이미지 분리 처리부
170 : 송신부 190 : 제어부
200 : 촬상 장치 300 : 영상 스트림 수신 장치
400 : 원격 서버 100: image processing apparatus 110:
130: image processing unit 131: reflection angle moving color probability image generating unit
132: background image generation unit 133: color difference object motion image generation unit
134: Image correction unit 150: Color brightness difference image separation processing unit
170: Transmitting section 190:
200: Image pickup device 300: Video stream receiving device
400: remote server
Claims (16)
컬러 및 휘도 정보에 기초하여 적어도 2차원의 색 공간에서 상기 수신된 영상 이미지에 포함된 픽셀의 색상 분포를 모델링하여 색상 확률을 산출하고, 상기 산출된 색상 확률을 이용하여 색상 확률 이미지를 생성하는 색상 확률 이미지 생성부;
상기 수신된 영상 이미지에 대한 배경을 모델링하여 배경 이미지를 생성하는 배경 이미지 생성부;
상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하는 움직임 이미지 생성부;
상기 색상 확률 이미지 및 상기 움직임 이미지를 이용하여 후보 확률 이미지를 생성하고, 상기 후보 확률 이미지에 대한 복수의 특성을 추출하며, 상기 추출된 복수의 특성에 대한 무 작위성 테스트 알고리즘을 적용하여 무 작위성 확률을 산출하고, 상기 산출된 무 작위성 확률을 이용하여 상기 후보 확률 이미지를 검증함으로써, 상기 후보 확률 이미지를 보정하는 이미지 보정부를 포함하고,
상기 색상 확률 이미지 생성부는,
다음의 수학식에 기초하여 색상 확률을 연산하고,
(여기서, 는 x, y 좌표의 픽셀에서의 색상 확률을 의미하고, rate는 x, y 좌표 픽셀에서의 Cr/Cb을 의미함)
상기 움직임 이미지 생성부는,
상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하고,
상기 움직임 이미지를 제1 문턱 값으로 이진화하여 를 산출하고, 제2 문턱 값으로 이진화하여 를 산출하며,
다음의 수학식에 의해서 최종 움직임 이미지를 생성하고,
상기 이미지 보정부는,
상기 복수의 특성에 대해서 복수의 무 작위성 확률을 산출하고,
상기 복수의 무 작위성 확률을 이용하여 무 작위성 확률 평균을 연산하며,
상기 수신된 영상 데이터의 N개의 프레임에 대해서 상기 무 작위성 확률 평균을 반복 연산함으로써 N개의 무 작위성 확률 평균을 연산하고,
상기 무 작위성 확률 평균을 특정 보행자에 대하여 Label Tag으로 표기한 후 메타데이터로 저장하며,
상기 N개의 무 작위성 확률 평균을 평균하여 산출된 값을 상기 움직임 이미지에 포함된 보행자 이미지의 복원을 위한 문턱 값으로 이용하고,
상기 저장된 메타데이터는 다른 영상에서 상기 특정 보행자와 동일한 보행자를 검색하는데 이용되고,
상기 복수개의 특성은 보행자의 팔 2개, 다리 2개, 몸통 1개, 머리 1개 및 보행자 전체 1개의 7개의 특성을 포함하며, 상기 무 작위성 확률 평균은 다음의 수학식으로 정의되고,
여기서, 는 특정 프레임에서의 7개의 특징에 대한 무작위성 확률이며, 는 무 작위성 확률 평균을 나타냄.
상기 이미지 보정부는, 다음의 수학식을 이용하여 상기 보행자 이미지의 복원 이미지를 결정하고,
(여기서, W는 복원 보행자 이미지, 는 상기 문턱 값, line은 확실한 선으로 판정, Should_line은 흐린 선으로 판정, Maybe_line은 격자 선으로 판정, Not_line은 공백으로 판정하는 것을 의미)
상기 이미지 보정부는 수직/ 수평 히스토그램을 이용하여 관심 영역에 사용할 영상의 화소 값의 위치와 경계값을 산출하고, 수직/ 수평 히스토그램의 영상처리에서 고주파 필터 보간법 및 저주파 필터 보간법을 적용해 객체의 영역을 감지하고,
상기 고주파 필터 보간법은 아래의 수학식에 의해 정의되며,
여기서, 는 누적 가중계수, 는 복원 계수, 는 가중 계수를 를 나타냄.
상기 저주파 필터 보간법은 아래의 수학식에 의해 정의되고,
여기서, 를 나타냄.
필터 보간 영역은 아래의 수학식에 의해 정의되고,
상기 고주파 필터 보간법은 영역내의 화소 변화가 특정 임계치보다 클 때 사용되고, 상기 저주파 필터 보간법은 영역내의 화소 변화가 특정 임계치보다 작을 때 사용되며,
상기 이미지 보정부는,
객체 특성 학습 데이터를 이용하여 객체를 검출하는 객체 검출부; 및
상기 객체 특성 학습 데이터를 이용하여 객체를 추적하는 객체 추적부를 더 포함하고,
상기 객체 검출부는 상기 영상 이미지의 데이터를 이용하여 보행자 객체를 생성하고, 군집별로 저장된 객체의 컬러 형태소 정보의 객체 특성 학습 데이터를 추출하여 추출된 객체 특성 학습 데이터를 바탕으로 객체를 검출하고, 객체 검출 과정을 지속적으로 반복하며, 상기 추출된 객체 특성 학습 데이터를 이용하여 학습한 학습 데이터를 기록하고,
상기 객체 추적부는 군집별로 저장된 객체의 컬러 형태소 정보의 객체 특성 학습 데이터를 추출하고, 객체의 형태소 정보를 사전 예측하고 가장 유사한 형태소 정보를 추출하며, 이를 바탕으로 객체를 추적하는 것을 특징으로 하는 영상 분석 장치.
A receiving unit that receives a video image photographed by a photographing apparatus in real time;
Calculating a color probability by modeling a color distribution of pixels included in the received image image in at least two-dimensional color space based on color and luminance information, and generating a color probability image using the calculated color probability A probability image generating unit;
A background image generation unit for modeling a background of the received video image to generate a background image;
A motion image generation unit for generating a motion image using the received image and the background image;
Generating a candidate probability image using the color probability image and the motion image, extracting a plurality of characteristics for the candidate probability image, and applying a randomness test algorithm for the extracted plurality of characteristics to calculate a random probability And correcting the candidate probabilistic image by verifying the candidate probabilistic image using the calculated non-random probability,
Wherein the color probability image generating unit comprises:
Calculates a color probability based on the following equation,
(here, Denotes the chromatic probability at the pixel of the x, y coordinate, and rate denotes the Cr / Cb at the x, y coordinate pixel)
Wherein the motion image generating unit comprises:
Generating a motion image using the received video image and the background image,
The motion image is binarized to a first threshold value And binarizes it to a second threshold value Lt; / RTI >
A final motion image is generated by the following equation,
Wherein the image correction unit comprises:
Calculating a plurality of randomness probabilities for the plurality of characteristics,
Calculating a random probability average using the plurality of random probabilities,
Calculating the N random probability average by iteratively calculating the random probability average over N frames of the received image data,
The random probability average is expressed as a label tag for a specific pedestrian and then stored as metadata,
Using a value calculated by averaging the N random probability averages as a threshold value for restoring a pedestrian image included in the motion image,
The stored metadata is used to search for pedestrians that are the same as the specific pedestrian in another image,
Wherein the plurality of characteristics includes seven characteristics of a pedestrian's arms, two legs, one trunk, one head, and one entire pedestrian, and the random probability average is defined by the following equation,
here, Is the probability of randomness for the seven features in a particular frame, Represents the random probability average.
The image correction unit may determine a restored image of the pedestrian image using the following equation,
(Where W is the restored pedestrian image, , The line is determined as a certain line, the Should_line is determined as a blurred line, the Maybe_line is determined as a lattice line, and the Not_line is determined as a blank line)
The image corrector calculates a position and a boundary value of a pixel value of an image to be used in a ROI by using a vertical / horizontal histogram, and applies a high frequency filter interpolation method and a low frequency filter interpolation method in the vertical / horizontal histogram image processing, Sensing,
The high-frequency filter interpolation method is defined by the following equation,
here, Is a cumulative weighting coefficient, Is the restoration coefficient, Represents the weighting factor.
The low-pass filter interpolation method is defined by the following equation,
here, Lt; / RTI >
The filter interpolation area is defined by the following equation,
The high frequency filter interpolation method is used when a pixel change in an area is larger than a specific threshold value and the low frequency filter interpolation method is used when a pixel change in an area is smaller than a specific threshold value,
Wherein the image correction unit comprises:
An object detector for detecting an object using object characteristic learning data; And
And an object tracking unit for tracking an object using the object characteristic learning data,
The object detection unit generates a pedestrian object using data of the image image, extracts object characteristic learning data of color morpheme information of the object stored by the clusters, detects an object based on the extracted object characteristic learning data, The object characteristic learning data is continuously repeated, and the learned learning data is recorded using the extracted object characteristic learning data,
Wherein the object tracking unit extracts object characteristic learning data of color morpheme information of an object stored by the clusters, predicts the morpheme information of the object, extracts the most similar morpheme information, and tracks the object based on the extracted morphological information. Device.
컬러 및 휘도 정보에 기초하여 적어도 2차원의 색 공간에서 상기 수신된 영상 이미지에 포함된 픽셀의 색상 분포를 모델링 하여 색상 확률을 산출하는 단계;
상기 산출된 색상 확률을 이용하여 색상 확률 이미지를 생성하는 단계;
상기 수신된 영상 이미지에 대한 배경을 모델링 하여 배경 이미지를 생성하는 단계;
상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하는 단계;
상기 색상 확률 이미지 및 상기 움직임 이미지를 이용하여 후보 확률 이미지를 생성하는 단계;
상기 후보 확률 이미지에 대한 복수의 특성을 추출하는 단계;
상기 추출된 복수의 특성에 대한 무 작위성 테스트 알고리즘을 적용하여 무 작위성 확률을 산출하는 단계;
상기 산출된 무 작위성 확률을 이용하여 상기 후보 확률 이미지를 검증함으로써, 상기 후보 확률 이미지를 보정하는 단계를 포함하고,
상기 색상 확률 이미지를 생성하는 단계는,
다음의 수학식에 기초하여 색상 확률을 연산하고,
(여기서, 는 x, y 좌표의 픽셀에서의 빛 반사 각의 이동에 따른 색상 확률을 의미하고, rate는 x, y 좌표 픽셀에서의 Cr/Cb을 의미함)
상기 움직임 이미지를 생성하는 단계는,
상기 수신된 영상 이미지와 상기 배경 이미지를 이용하여 움직임 이미지를 생성하는 단계;
상기 움직임 이미지를 제1 문턱 값으로 이진화하여 를 산출하는 단계;
상기 움직임 이미지를 제2 문턱 값으로 이진화하여 를 산출하는 단계; 및
다음의 수학식에 의해서 최종 움직임 이미지를 생성하는 단계를 포함하고,
상기 이미지를 보정하는 단계는,
상기 복수의 특성에 대해서 복수의 무 작위성 확률을 산출하는 단계;
상기 복수의 무 작위성 확률을 이용하여 무 작위성 확률 평균을 연산하는 단계;
상기 수신된 영상 데이터의 N개의 프레임에 대해서 상기 무 작위성 확률 평균을 반복 연산함으로써 N개의 무 작위성 확률 평균을 연산하는 단계;
상기 무 작위성 확률 평균을 특정 보행자에 대하여 Label Tag으로 표기한 후 메타데이터로 저장하는 단계;
상기 N개의 무 작위성 확률 평균을 평균하여 산출된 값을 문턱 값으로 이용하여 상기 움직임 이미지에 포함된 보행자 이미지를 복원하는 단계; 및
상기 저장된 메타데이터를 이용하여 다른 영상에서 상기 특정 보행자와 동일한 보행자를 검색하는 단계를 포함하고,
상기 복수개의 특성은 보행자의 팔 2개, 다리 2개, 몸통 1개, 머리 1개 및 보행자 전체 1개의 7개의 특성을 포함하며, 상기 무 작위성 확률 평균은 다음의 수학식으로 정의되고,
여기서, 는 특정 프레임에서의 7개의 특징에 대한 무작위성 확률이며, 는 무 작위성 확률 평균을 나타냄.
상기 이미지를 복원하는 단계는, 다음의 수학식을 이용하여 상기 보행자 이미지의 복원 이미지를 결정하고,
(여기서, W는 복원 보행자 이미지, 는 상기 문턱 값, line은 확실한 선으로 판정, Should_line은 흐린 선으로 판정, Maybe_line은 격자 선으로 판정, Not_line은 공백으로 판정하는 것을 의미)
상기 이미지를 보정하는 단계는 수직/ 수평 히스토그램을 이용하여 관심영역에 사용할 영상의 화소 값의 위치와 경계값을 산출하고, 수직/ 수평 히스토그램의 영상처리에서 고주파 필터 보간법 및 저주파 필터 보간법을 적용해 객체의 영역을 감지하고,
상기 고주파 필터 보간법은 아래의 수학식에 의해 정의되며,
여기서, 는 누적 가중계수, 는 복원 계수, 는 가중 계수를 를 나타냄.
상기 저주파 필터 보간법은 아래의 수학식에 의해 정의되고,
여기서, 를 나타냄.
필터 보간 영역은 아래의 수학식에 의해 정의되고,
상기 고주파 필터 보간법은 영역내의 화소 변화가 특정 임계치보다 클 때 사용되고, 상기 저주파 필터 보간법은 영역내의 화소 변화가 특정 임계치보다 작을 때 사용되며,
상기 이미지를 보정하는 단계는,
객체 특성 학습 데이터를 이용하여 객체를 검출하는 단계; 및
상기 객체 특성 학습 데이터를 이용하여 객체를 추적하는 단계를 더 포함하고,
상기 객체를 검출하는 단계는,
상기 영상 이미지의 데이터를 이용하여 보행자 객체를 생성하는 단계;
군집별로 저장된 객체의 컬러 형태소 정보의 객체 특성 학습 데이터를 추출하는 단계;
상기 추출된 객체 특성 학습 데이터를 바탕으로 객체를 검출하는 단계;
상기 객체 검출 단계를 지속적으로 반복하는 단계; 및
상기 추출된 객체 특성 학습 데이터를 이용하여 학습한 학습 데이터를 기록하는 단계를 포함하고,
상기 객체를 추적하는 단계는,
군집별로 저장된 객체의 컬러 형태소 정보의 학습 데이터를 추출하는 단계;
객체 형태소 정보를 사전 예측하고 가장 유사한 형태소 정보를 추출하는 단계; 및
상기 추출된 가장 유사한 형태소 정보를 바탕으로 객체를 추적하는 단계를 포함하는 것을 특징으로 하는 영상 분석 방법.Receiving a video image photographed by a photographing apparatus in real time;
Calculating a color probability by modeling a color distribution of pixels included in the received image in at least two-dimensional color space based on color and luminance information;
Generating a color probability image using the calculated color probability;
Generating a background image by modeling the background of the received video image;
Generating a motion image using the received image and the background image;
Generating a candidate probability image using the color probability image and the motion image;
Extracting a plurality of characteristics for the candidate probabilistic image;
Calculating a random probability by applying a randomness test algorithm to the extracted plurality of characteristics;
And correcting the candidate probabilistic image by verifying the candidate probabilistic image using the calculated non-random probability,
Wherein the step of generating the color probability image comprises:
Calculates a color probability based on the following equation,
(here, Denotes the chromatic probability due to the movement of the light reflection angle in the pixels of x and y coordinates, and rate denotes Cr / Cb in the x and y coordinate pixels)
Wherein the step of generating the motion image comprises:
Generating a motion image using the received image and the background image;
The motion image is binarized to a first threshold value ;
The motion image is binarized to a second threshold value ; And
Generating a final motion image by: < EMI ID =
Wherein the correcting the image comprises:
Calculating a plurality of randomness probabilities for the plurality of characteristics;
Calculating a random probability average using the plurality of random probabilities;
Calculating N random probability averages by iteratively calculating the random probability average over N frames of the received video data;
Storing the random probability average as metadata in a label tag for a specific pedestrian;
Restoring a pedestrian image included in the motion image using a value calculated by averaging the N random probability averages as a threshold value; And
And retrieving the same pedestrian as the specific pedestrian from another image using the stored metadata,
Wherein the plurality of characteristics includes seven characteristics of a pedestrian's arms, two legs, one trunk, one head, and one entire pedestrian, and the random probability average is defined by the following equation,
here, Is the probability of randomness for the seven features in a particular frame, Represents the random probability average.
Wherein restoring the image comprises: determining a restoration image of the pedestrian image using the following equation:
(Where W is the restored pedestrian image, , The line is determined as a certain line, the Should_line is determined as a blurred line, the Maybe_line is determined as a lattice line, and the Not_line is determined as a blank line)
In the step of correcting the image, a position and a boundary value of a pixel value to be used in a ROI are calculated using a vertical / horizontal histogram, and a high frequency filter interpolation method and a low frequency filter interpolation method are used in the image processing of a vertical / horizontal histogram, Lt; / RTI >
The high-frequency filter interpolation method is defined by the following equation,
here, Is a cumulative weighting coefficient, Is the restoration coefficient, Represents the weighting factor.
The low-pass filter interpolation method is defined by the following equation,
here, Lt; / RTI >
The filter interpolation area is defined by the following equation,
The high frequency filter interpolation method is used when a pixel change in an area is larger than a specific threshold value and the low frequency filter interpolation method is used when a pixel change in an area is smaller than a specific threshold value,
Wherein the correcting the image comprises:
Detecting an object using object property learning data; And
Further comprising tracking the object using the object property learning data,
Wherein detecting the object comprises:
Generating a pedestrian object using data of the image;
Extracting object characteristic learning data of color morpheme information of an object stored for each of the clusters;
Detecting an object based on the extracted object characteristic learning data;
Continuously repeating the object detection step; And
And recording the learned learning data using the extracted object characteristic learning data,
The method of claim 1,
Extracting learning data of color morpheme information of an object stored for each group;
Predicting object morpheme information and extracting the most similar morpheme information; And
And tracing the object based on the extracted most similar morpheme information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170084367A KR101906796B1 (en) | 2017-07-03 | 2017-07-03 | Device and method for image analyzing based on deep learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170084367A KR101906796B1 (en) | 2017-07-03 | 2017-07-03 | Device and method for image analyzing based on deep learning |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101906796B1 true KR101906796B1 (en) | 2018-10-11 |
Family
ID=63865044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170084367A KR101906796B1 (en) | 2017-07-03 | 2017-07-03 | Device and method for image analyzing based on deep learning |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101906796B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200073078A (en) | 2018-12-13 | 2020-06-23 | 주식회사 픽스트리 | Image processing device of learning parameter based on machine Learning and method of the same |
KR20200073079A (en) | 2018-12-13 | 2020-06-23 | 주식회사 픽스트리 | Image processing device of learning parameter based on machine Learning and method of the same |
KR102152318B1 (en) * | 2019-11-13 | 2020-09-04 | 주식회사 벡터시스 | Tracking system that can trace object's movement path |
CN112215109A (en) * | 2020-09-29 | 2021-01-12 | 中科劲点(北京)科技有限公司 | Vehicle detection method and system based on scene analysis |
KR20210114309A (en) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | Apparatus and method for tracking pedestrians in multiple cctv environment |
KR102556544B1 (en) * | 2022-10-05 | 2023-07-18 | 주식회사 넥스인테크놀로지 | Method, apparatus and computer program for improving recognition ratio of artificial intelligence model through image histogram analysis and recognizing object using artificial intelligence model with improved recognition ratio |
US11741617B2 (en) | 2021-05-26 | 2023-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus with object tracking |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101270718B1 (en) * | 2011-11-30 | 2013-06-03 | 아이브스테크놀러지(주) | Video processing apparatus and method for detecting fire from video |
KR101809031B1 (en) * | 2016-08-26 | 2017-12-14 | 한국수자원공사 | Composition fire detection processing apparatus and video processing method |
-
2017
- 2017-07-03 KR KR1020170084367A patent/KR101906796B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101270718B1 (en) * | 2011-11-30 | 2013-06-03 | 아이브스테크놀러지(주) | Video processing apparatus and method for detecting fire from video |
KR101809031B1 (en) * | 2016-08-26 | 2017-12-14 | 한국수자원공사 | Composition fire detection processing apparatus and video processing method |
Non-Patent Citations (1)
Title |
---|
Yang et al. Multi human tracking using part based appearance modelling and grouping based tracklet association for visual surveillance applications. Multimedia Tools and Applications, Vol. 76, No. 5,* |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200073078A (en) | 2018-12-13 | 2020-06-23 | 주식회사 픽스트리 | Image processing device of learning parameter based on machine Learning and method of the same |
KR20200073079A (en) | 2018-12-13 | 2020-06-23 | 주식회사 픽스트리 | Image processing device of learning parameter based on machine Learning and method of the same |
KR102152318B1 (en) * | 2019-11-13 | 2020-09-04 | 주식회사 벡터시스 | Tracking system that can trace object's movement path |
WO2021095916A1 (en) * | 2019-11-13 | 2021-05-20 | 주식회사 벡터시스 | Tracking system capable of tracking movement path of object |
KR20210114309A (en) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | Apparatus and method for tracking pedestrians in multiple cctv environment |
KR102355006B1 (en) | 2020-03-10 | 2022-01-24 | 연세대학교 산학협력단 | Apparatus and method for tracking pedestrians in multiple cctv environment |
CN112215109A (en) * | 2020-09-29 | 2021-01-12 | 中科劲点(北京)科技有限公司 | Vehicle detection method and system based on scene analysis |
CN112215109B (en) * | 2020-09-29 | 2024-07-16 | 中科劲点(北京)科技有限公司 | Vehicle detection method and system based on scene analysis |
US11741617B2 (en) | 2021-05-26 | 2023-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus with object tracking |
KR102556544B1 (en) * | 2022-10-05 | 2023-07-18 | 주식회사 넥스인테크놀로지 | Method, apparatus and computer program for improving recognition ratio of artificial intelligence model through image histogram analysis and recognizing object using artificial intelligence model with improved recognition ratio |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101906796B1 (en) | Device and method for image analyzing based on deep learning | |
CN110956094B (en) | RGB-D multi-mode fusion personnel detection method based on asymmetric double-flow network | |
Singh et al. | Muhavi: A multicamera human action video dataset for the evaluation of action recognition methods | |
CN111104943B (en) | Color image region-of-interest extraction method based on decision-level fusion | |
Noh et al. | A new framework for background subtraction using multiple cues | |
CN110580428A (en) | image processing method, image processing device, computer-readable storage medium and electronic equipment | |
JP4653155B2 (en) | Image processing method and apparatus | |
Zheng et al. | Single image cloud removal using U-Net and generative adversarial networks | |
CN110929593B (en) | Real-time significance pedestrian detection method based on detail discrimination | |
US11450087B2 (en) | System and method for multimedia analytic processing and display | |
US20190005361A1 (en) | Real-time identification of moving objects in video images | |
EP2549759B1 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras | |
CN103946866A (en) | Text detection using multi-layer connected components with histograms | |
Huynh-The et al. | NIC: A robust background extraction algorithm for foreground detection in dynamic scenes | |
CN112104869B (en) | Video big data storage and transcoding optimization system | |
CN114022823A (en) | Shielding-driven pedestrian re-identification method and system and storable medium | |
CN116311212B (en) | Ship number identification method and device based on high-speed camera and in motion state | |
CN117218672A (en) | Deep learning-based medical records text recognition method and system | |
KR101809031B1 (en) | Composition fire detection processing apparatus and video processing method | |
Ayub et al. | CNN and Gaussian Pyramid-Based Approach For Enhance Multi-Focus Image Fusion | |
Sung et al. | Feature based ghost removal in high dynamic range imaging | |
KR101912678B1 (en) | Pressure water leak detection processing apparatus and video processing method | |
Sowjanya et al. | Vehicle detection and classification using consecutive neighbouring frame difference method | |
Priya et al. | A wavelet based method for text segmentation in color images | |
Jadav et al. | Shadow Extraction and Elimination of Moving Vehicles for Tracking Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
N231 | Notification of change of applicant | ||
GRNT | Written decision to grant |