KR102245501B1 - 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템 - Google Patents

딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템 Download PDF

Info

Publication number
KR102245501B1
KR102245501B1 KR1020200160089A KR20200160089A KR102245501B1 KR 102245501 B1 KR102245501 B1 KR 102245501B1 KR 1020200160089 A KR1020200160089 A KR 1020200160089A KR 20200160089 A KR20200160089 A KR 20200160089A KR 102245501 B1 KR102245501 B1 KR 102245501B1
Authority
KR
South Korea
Prior art keywords
image
deep learning
low
module
cctv
Prior art date
Application number
KR1020200160089A
Other languages
English (en)
Inventor
백성현
김보순
김지윤
Original Assignee
주식회사 아이지오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이지오 filed Critical 주식회사 아이지오
Priority to KR1020200160089A priority Critical patent/KR102245501B1/ko
Application granted granted Critical
Publication of KR102245501B1 publication Critical patent/KR102245501B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템는,
저화질 CCTV 영상을 딥러닝 기반의 업스케일링 알고리즘을 통해 식별 가능한 고해상도 영상으로 변환하는 영상변환부와 상기 영상변환부의 데이터를 바탕으로 영상에서 안개 또는 미세먼지를 제거하는 보정을 하는 영상보정부 및 상기 영상보정부의 데이터를 바탕으로 딥러닝 기반의 객체 인식, 분류, 속성 분석을 통해 객체에 대한 정보를 획득하고, 필요객체를 제외한 타객체에 대해 마스킹 처리를 수행하는 객체복원부를 포함하는 것을 특징으로 하여 구성될 수 있다.

Description

딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템 {Low-quality CCTV Image Based Object Restoration System Using Deep-learning}
본 발명은 CCTV 영상 기반의 객체 복원 시스템에 관한 것으로, 보다 상세하게는 기존의 저성능 CCTV 장비에서 수집되는 저화질 영상을 딥러닝 기술을 활용하여 차량번호, 사람, 기타 사물 등의 객체를 정확히 식별 가능한 고화질 영상으로 변환하고, 해당 분석결과를 실제 활용할 수 있도록 필요객체 이외의 타 객체는 자동으로 마스킹하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템에 관한 것이다.
일반적으로, CCTV 통합관제센터에서 관제의 방법은 전문인력이 배치되어 1인당 행정안전부 권고 48대의 CCTV 영상을 실시간으로 모니터링함으로써, 각종 범죄와 불법행위를 예방한다.
이때, 예를 들어 부산지역에 설치된 CCTV 대수는 약 13,000여개로 관제요원 약 350명이 2 ~ 3교대로 24시간 모니터링하고 있는데, 1인당 책임져야 할 CCTV 영상의 개수는 111.4개로, 위의 권고사항의 2배가 넘는 수치이다.
그래서, 기존 인력에 의존하는 CCTV 영상 관제방식은 급격한 CCTV의 증가에 따라서, 관제 효율과 영상관제요원의 집중도가 떨어지며, 막대한 재정부담이 지속해서 발생할 수밖에 없고, 이를 해소하기 위해서 CCTV 영상 관제방식에 개선이 필요하게 되었다.
한편, 범죄와 재난/재해로부터 국빈의 생명과 재산을 효과적으로 예방하고 보호하기 위해 활용되는 CCTV는 자동차 번호, 사람 등 식별 가능한 100만화소 이상의 카메라가 요구되나, 기 설치된 CCTV 카메라 중 약 35% 이상은 100만화소 미만의 저화질 카메라로, CCTV 카메라가 있으나 식별하지 못해 증거자료로 활용되지 못하는 사례가 종종 발생하고 있다.
이를 해결하기 위해 저화질의 CCTV 카메라를 고화질의 CCTV 카메라로 변경하는 방안이 있으나, 비용적인 문제와 공공 CCTV 카메라의 사용연한 문제, 미설치구역의 CCTV 우선 설치 등의 이유로 당장 해결이 불가능한 상태이므로, 기존의 저화질 CCTV 카메라를 활용한 관제기술의 개발 필요성이 있다.
또한, 종래의 CCTV 영상 관련 기술은 증거 등 범죄 관련 영상을 확복하기 위해서는 일일이 관련 영상을 수작업으로 확인하는 문제점이 있으며, 차량 번호판 인식기능의 경우에는 저화질, 빛 번짐, 객체의 빠른 속도 등으로 인해 정확성이 떨어지는 문제점이 있다. 또한, 자동으로 마스킹 처리하는 기능이 없어 작업자가 직접 수작업으로 일일이 처리해야 한다는 문제점이 있다.
KR 102144531 B1 KR 101846537 B1 KR 100371868 B1
본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템은 상기한 바와 같은 종래의 문제점들을 개선하기 위해 창출된 것으로,
기존의 저성능 CCTV 장비에서 수집되는 저화질 영상을 딥러닝 기술을 활용하여 자동차번호, 사람, 기타 사물 등의 객체를 정확히 식별 가능한 고화질 영상으로 변환하고, 해당 분석결과를 활용할 수 있도록 필요객체 이외 타 객체는 자동으로 마스킹하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템을 제공함에 그 목적이 있다.
또한, 기존의 저화질 CCTV 영상을 식별 가능한 고화질로 변환시킴으로, 영상의 증거수집 등과 같은 중요한 자료수집 활동에 있어서 소요되는 불필요한 시간과 비용의 단축을 할수 있는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템을 제공함에 그 목적이 있다.
상기의 과제를 해결하기 위한 본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템은,
저화질 CCTV 영상을 딥러닝 기반의 업스케일링 알고리즘을 통해 식별 가능한 고해상도 영상으로 변환하는 영상변환부(100); 상기 영상변환부(100)의 데이터를 바탕으로 영상에서 안개 또는 미세먼지를 제거하는 보정을 하는 영상보정부(200); 및 상기 영상보정부(200)의 데이터를 바탕으로 딥러닝 기반의 객체 인식, 분류, 속성 분석을 통해 객체에 대한 정보를 획득하고, 필요 객체를 제외한 타 객체에 대해 마스킹 처리를 수행하는 객체복원부(300)를 포함하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 영상변환부(100)는 입력받은 영상을 단일 이미지로 변환하는 이미지변환모듈(110)과 상기 단일 이미지를 SI(super image)로 변경한 후 통합하여 업스케일링하는 업스케일링모듈(120)을 포함하는 것을 특징으로 하여 구성될 수 있다.
상기 업스케일링 모듈(120)은 딥러닝 기반의 SRGAN(Super Resolution Generative Adversarial Network) 네트워크를 통해 업스케일링하는 것을 특징으로 하여 구성될수 있다.
또한, 상기 SRGAN 네트워크는 생성(Generator) 모델과 분류(Discriminator) 모델을 포함하되,
상기 생성 모델은 3*3 커널과 64개의 피쳐맵(Feature Map)을 가진 두개의 컨볼루션 레이어를 포함하는 동일한 레이아웃을 가진 B residual block이고, batch normalization과 활성화 함수로 쓰인 parametricrelu를 사용하고,
상기 분류 모델은 max-pooling을 방지하기 위해 leakyrelu activation을 사용하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 영상보정부(200)는 영상에서 주변 광원으로부터 대기에 반사되어 함께 시야에 들어오는 대기 산란광이 섞임으로 인해 발생되는 노이즈를 제거하는 노이즈제거모듈(210)을 포함하되,
상기 노이즈제거모듈(210)은 노이즈 픽셀을 분석하여 R, G, B의 픽셀을 HSI로 변경하여 그 값을 추출하고, 상기 추출된 픽셀 값을 DCP(Dark Channel Prior)를 적용하여 노이즈를 제거하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 객체복원부(300)는 객체 복원 기술 구현을 위한 데이터셋모듈(310), 복원 및 영상 처리에 사용되는 영상데이터를 입력받는 영상데이터수신모듈(320), 객체 식별 및 분석을 위한 딥러닝모듈(330), 움직이는 객체를 분리하고 객체의 이동경로를 추적하는 객체추적모듈(340)을 포함하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 데이터셋모듈(310)은 기존 학습 Open 데이터셋과 CCTV 전용 동영상에서 획득한 데이터셋을 바탕으로 생성되는 CMS(Custom Many Sides) 데이터셋인 것을 특징으로 하여 구성될 수 있다.
또한, 상기 기존 학습 Open 데이터셋은 Caltch 101, Caltech 256, STL-10, ImageNet 데이터셋 중 적어도 하나 이상을 구비하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 딥러닝모듈(330)은 RCNN기반의 커스터마이징 신경망 층을 파라미터로 설정하여 연결하고, 상기 파라미터는 노드와 소프트맥스로 구성되되,
손실 함수(Loss function), 옵티마이저(Optimizer), 지표(Metrics)의 값을 설정하여 훈련 중 출력되는 손실과 정확도 지표에 따라 모델링되는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 객체추적모듈(340)은 다중 객체에 대해 추출 및 추적이 가능하고, 객체를 인식하여 분류 및 저장이 가능하며, 선택적으로 식별된 소정의 객체 외의 타 객체에 대해서는 마스킹 처리가 가능한 것을 특징으로 하여 구성될 수 있다.
이에 따라, 본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체복원시스템은, 기존에 저성능 CCTV 장비에서 수집한 저화질의 영상을 고화질 영상으로 변환하여 자동차 번호, 사람, 사물 등 객체 식별의 정확성을 높일 수 있다는 이점이 있다.
또한, CCTV 영상 데이터를 통해 증거 등 자료수집 활동을 지원함에 따라 관련 업무의 효율성을 높일 수 있다는 이점이 있다.
또한, 기보급된 저성능 CCTV 장비를 고성능의 CCTV 장비로 교체할 필요가 없으므로 교체예산비용 및 시간을 절감할 수 있다는 이점이 있다.
도 1은 본 개시의 실시예에 따른 저화질 CCTV 영상 기반의 객체 복원 시스템의 전체적인 구성을 개략적으로 나타낸 개념도.
도 2는 업스케일링 모듈의 개념도.
도 3a는 SRGAN의 구조를 나타낸 사진.
도 3b는 SRGAN 알고리즘을 적용한 예시를 나타낸 사진.
도 4는 Defog의 원인을 설명하기 위한 사진.
도 5는 DCP(Dark Channel Prior)를 적용하여 Defog를 제거하는 순서를 나타내는 흐름도.
도 6은 안개가 낀 사진을 안개가 제거된 사진으로 변화되는 순서를 나타낸 사진.
도 7은 객체복원부의 구성을 간략히 나타낸 블록구성도.
도 8은 마스킹(masking) 처리된 것을 나타낸 사진.
도 9는 다중 객체의 추출, 추적, 인식, 및 저장 절차를 나타낸 도면.
도 10은 본 발명의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체복원시스템을 이용한 객체복원방법을 설명하기 위한 흐름도.
이하에서는, 본 발명의 기술적 사상을 도면을 참조하여 설명하지만, 이는 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명함에 있어서 널리 알려진 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
도 1은 본 개시의 실시예에 따른 저화질 CCTV 영상 기반의 객체 복원 시스템의 전체적인 구성을 개략적으로 나타낸 개념도이고, 도 2는 업스케일링 모듈의 개념도이고, 도 3a는 SRGAN의 구조를 나타낸 사진이고, 도 3b는 SRGAN 알고리즘을 적용한 예시를 나타낸 사진이고, 도 4는 는 Defog의 원인을 설명하기 위한 사진이고, 도 5는 DCP(Dark Channel Prior)를 적용하여 Defog를 제거하는 순서를 나타내는 흐름도이고, 도 6은 안개가 낀 사진을 안개가 제거된 사진으로 변화되는 순서를 나타낸 사진이고, 도 7은 객체복원부의 구성을 간략히 나타낸 블록구성도이고, 도 8은 마스킹(masking) 처리된 것을 나타낸 사진이고, 도 9는 다중 객체의 추출, 추적, 인식 및 저장 절차를 나타낸 도면이고, 도 10은 본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템을 이용한 객체복원방법을 설명하기 위한 흐름도이다.
<본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템>
도 1을 참조하면, 본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템(1000)의 전체적인 구성은 다음과 같다.
먼저, 저화질 CCTV 영상을 딥러닝 기반의 업스케일링 알고리즘을 통해 식별 가능한 고해상도 영상으로 변환하는 영상변환부(100)와 상기 영상변환부(100)의 데이터를 바탕으로 영상에서 안개 또는 미세먼지를 제거하는 보정을 하는 영상보정부(200)가 형성된다.
그리고, 상기 영상보정부(200)의 데이터를 바탕으로 딥러닝 기반의 객체 인식, 분류, 속성 분석을 통해 객체에 대한 정보를 획득하고, 필요 객체를 제외한 타객체에 대해 마스킹 처리를 수행하는 객체복원부(300)를 포함하여 구성될 수 있다.
상기 영상변환부(100)는 업스케일링 알고리즘의 딥러닝 기술을 사용하는데, 상기 알고리즘이라는 것은 기존에 저화질의 영상에서 식별이 불가능하였던 자동차번호, 사람, 사물 등의 객체를 고화질 영상으로 변환시켜 정확히 구분하여 식별이 가능하도록 하는 것이다. 즉, 저해상도의 영상을 딥러닝 기반의 업스케일링 알고리즘을 통하여 4k이상의 고해상도의 영상으로 변환시키는 것이다.
도 2에 도시된 바와 같이, 상기 영상변환부(100)는 입력받은 영상을 단일 이미지로 변환하는 이미지변환모듈(110)이 형성되며, 상기 이미지변환 모듈(110)은 입력받은 영상을 단일 MAT 형식의 이미지로 변환시키는 것인데, 상기 이미지 변환모듈(110)이 영상에서 이미지를 추출하여, 단일 jpeg, png 형식의 이미지 생성과 디코딩을 하여 단일 이미지를 생성시킨 후, 단일 Mat 형식의 이미지로 변환, 생성시킨다.
상기와 같이 생성된 단일 이미지를 SI(super image)로 변경한 후, 통합하여 업스케일링하는 업스케일링 모듈(120)으로 이루어지며, 상기 업스케일링 모듈(120)은 딥러닝 기반의 SRGAN(Super Resolution Generative Adversarial Network) 네트워크를 통해 업스케일링시키는 방식을 취한다.
상기와 같은 업스케일링을 위하여는 SRGAN의 알고리즘을 이용하는데, 상기 SRGAN 알고리즘은 기존의 SR(Super-Resolution) 기법의 문제점을 해결한 기술로써, GAN을 사용하여 실제 사진과 같은 복원이 가능한 것이다. 도 3a는 상기 SRGAN의 구조를 나타낸 사진이다.
이하에서는 SRGAN의 생성자와 분류자 모델에 관련하여 설명하기로 한다.
SRGAN의 네트워크 형태는 생성자(Generator) 모델과 분류자(Discriminator: 구분자) 모델을 포함한다.
상기 생성자 모델의 구현은 3*3 커널과 64개의 피쳐맵(Feature Map)을 가진 두개의 컨볼루션 레이어를 포함하는 동일한 레이아웃을 가진 B residual block이고, batch normalization과 활성화 함수로 쓰인 parametricrelu(각 차원마다 학습된 relu를 사용)를 사용한다.
이렇게, 학습되어 있는 2개의 sub-pixel 콘벌루션 레이어를 이용하여 이미지의 해상도를 높이는 것이다.
상기 구분자 모델의 구현은 max-pooling을 방지하기 위해 leakyrelu activation을 사용하는 것이다.
이하에서는, 딥러닝을 활용한 영상 업스케일링 모듈에 대하여 설명하기로 한다.
상기 영상 업스케일링 모듈은 단일 이미지를 SI(Super Image)로 변경하여 전체의 단일 이미지 또는 전체 동영상 협태로 업-스케일링을 하는 것이다.
이것은 입력받은 영상을 MAT 영상 이미지로 변환하는 것으로, 업스케일링을 위하여 Generative Adversarial Network(GAN) for Super Resolution(SRGAN) 알고리즘을 이용한다.
도 3b를 참조하면, 상기 SRGAN 알고리즘은 기존의 SR(Super -Resolution) 기법의 문제점을 해결한 기술로서, GAN(Generative Adversarial Network)을 사용하여 실사진과 거의 같은 복원이 가능한 것이다.
기존의 SRResNet이나 bicubic interpolation 방법은 주변 픽셀의 average(평균)를 학습하기 때문에 영상이 좀 흐릿하게 나오지만, 상기 SRGAN은 기존의 상기 SRResNet에서 GAN을 더 활용하여 가중치 값을 더하는 형식이기 때문에 업-스케일링하더라도 타 기법과 다르기 때문에 더욱 선명한 출력 값을 얻을수 있는 것이다.
영상보정부(200)는 상기 영상변환부(100)의 데이터를 바탕으로 영상에서 안개 또는 미세먼지를 제거보정을 한다. 즉, 영상에서 시야가 확보되지 않은 영상의 오염원을 제거해서 가시거리를 확보하는 것으로, CCTV의 노후화로 렌즈가 뿌연하거나 미세먼지, 안개 등으로 가시거리가 확보되지 않은 영상에서 오염물질을 제거하여 객체가 식별 가능하도록 하기 위한 영상으로 변환한다. 이러한 영상의 시야 확보를 위하여 안개제거(Defog) 모듈 소프트웨어를 이용하는 것이다.
상기 영상보정부(200)에는 영상에서 주변 광원으로부터 대기에 반사되어 함께 시야에 들어오는 대기 산란광이 섞임으로 인하여 발생되는 노이즈를 제거하는 노이즈제거모듈(미도시)이 형성된다.
상기와 같은 노이즈제거모듈은 미세먼지, 안개, 스모그 등으로 오염된 CCTV 영상에서 뿌옇게 나온 안개 부분을 제거하여 영상의 품질과 객체 식별률을 높이는 것으로, 이러한 안개와 같은 것을 Defog로 명명하고, 상기 Defog를 제거하는 것을 의미한다.
도 4에 나타난 대로, Defog의 주요 원인은 물체로부터 반사된 후, 대기에 의해 일부 손실된 빛과 태양 등과 같은 주변 광원으로부터 대기에 반사되어 함께 시야에 들어오는 대기 산란광(Airlight)이 섞임으로 인해 발생되는 노이즈 현상인 것이다.
즉, 대상이 뿌옇게 보이는 이유는 대기로 인해 우리가 원하는 빛이 손실됨과 동시에 주변 광원으로 인해 우리가 원하지 않는 빛이 함께 우리 눈에 도달하기 때문이다.
이러한 Defog를 제거하기 위하여 상기 노이즈 제거모듈은 노이즈 픽셀을 분석하여 R, G, B의 픽셀을 HSI(Hue(색상), Saturation(채도), Intensity(명도))로 변경하여 그 값을 추출하고, 상기 추출된 픽셀 값을 DCP(Dark Channel Prior)를 적용하여 노이즈를 제거하는 것이다.
이러한 안개제거(Defog)알고리즘의 수식은 Jdark(x) = min(min(Jc(y)))이다.
여기서, c ∈ {r,g,b} y ∈ Ω(z)
Jdark(x) : dark channel
Jc(x) :픽셀 x의 r,g,b 중 한 Channel을 의미
Ω(x) : x를 중심으로 하는 일정범위 안의 pixel들의 집합, x주변의 pixel들의 집합(Local Patch)
도 5는 상기 DCP(Dark Channel Prior)를 적용하여 영상의 Defog를 제거하는 순서를 나타내는 흐름도이다.
즉, 원래의 영상인 오리지날 영상을 DCP(Dark Channel Prior)인 트랜스미션 맵을 적용하여, 상기 오리지날 영상(이하, 원래 영상)을 Matting을 시킨 후, Defog 제거 이미지를 적용하여 안개 Defog가 제거된 영상을 이루는 것이다.
이를 더욱 자세히 설명하면, DCP는 안개성분이 포함되는 원래 영상에 대응한 상기 영상의 정보를 나타내며, 상기 원래 영상에서의 영역 화소들에 대응하는 DCP 수치를 기초로 하여, 상기 원래 영상의 안개값을 추정하고, 상기 안개값을 기초로 하여 원래 영상에 포함된 안개성분을 제거하기 위한 Software Mating 알고리즘에 의하여 Defog 제거 이미지를 생성하고, 상기 Defog 제거 이미지를 사용하여 안개가 제거된 복원 영상을 생성하는 것이다.
이하, 도 6은 상기와 같은 방식을 적용하여 처음에는 안개가 있는 사진을 상기에서 언급한 안개제거 (Defog) 이미지를 이용하여 안개가 제거된 사진으로 변화되는 흐름을 나타낸 사진이다.
이하에서는, 도 7을 참조하여 객체복원부(300)에 대하여 설명하기로 한다. 상기 객체복원부(300)는 객체 복원 기술 구현을 위하여, Caltch 101, Caltech 256, STL-10, ImageNet 데이터셋 중 적어도 하나 이상을 구비하는 기존 학습 Open 데이터셋과, CCTV 전용 동영상에서 획득한 데이터셋을 바탕으로 생성되는 CMS(Custom Many Sides) 데이터셋인 데이터셋모듈(310)이 있다.
상기 CMS 데이터셋인 데이터셋모듈(310) 말고도 전용의 데이터셋은 이미지 또는 영상에 객체를 캡쳐하여 객체 이미지를 리사이징, 각도조절한 데이터 셋인것을 특징으로 하여 구성될 수 있다.
따라서, 다양한 각도에서 촬영되는 CCTV 영상에 맞도록 다양한 데이터 셋을 제조한 것이다. 그러므로, 종래의 객체의 각도가 조금만 달라도 객체를 미인식하거나 오인식하는 경우를 해소할 수 있는 것이다.
또한, 상기 객체복원부(300)는 도시된 대로, 상기 데이터셋모듈(310)을 비롯하여, 객체의 복원 및 영상 처리에 사용되는 영상데이터를 외부로부터 입력받는 영상데이터수신모듈(320), 객체의 식별 및 분석을 위한 딥러닝모듈(330), 움직이는 객체를 분리하고 객체의 이동경로를 추적하는 객체추적모듈(340)을 포함한다.
상기 딥러닝모듈(330)은 RCNN(Regions with CNN features) 기반의 커스터마이징 신경망 층을 파라미터로 설정하여 연결하고, 상기 파라미터는 노드와 소프트맥스로 구성되되, 손실 함수(Loss function), 옵티마이저(Optimizer), 지표(Metrics)의 값을 설정하여 훈련 중 출력되는 손실과 정확도 지표에 따라 모델링되어 객체분석을 하는 것을 특징으로 한다.
그리고, 상기 객체추적모듈(340)은 다중 객체에 대하여 추출 및 추적이 가능하고, 객체를 인식하여 분류 및 저장이 가능하며, 선택적으로 식별이 된 소정의 객체 외의 타 객체에 대해서는 마스킹(masking) 처리가 가능한 것이다(도 8 참조).
상기 마스킹 처리는 객체(사람, 자동차)자동 마스킹 및 특정영역이나 특정객체에만 수동마스킹을 할수 있는 마스킹 모듈(미도시)에 의하여 이루어진다.
이하, 상기와 같은 마스킹 처리를 위한 과정에 대하여 도 9를 참조하여 설명하기로 한다. 상기 도 9는 객체추출부(A), 객체추적기(B), 객체인식기(C) 및 저장부(D)를 통한 다중 객체의 추출, 추적, 인식 및 저장 절차를 나타낸 도면이다.
먼저, 마스킹 기능의 구현을 위한 객체 추적기 모듈을 구현하는 것으로서, 해당하는 영상의 객체를 객체추출부(A)에 넣어 추출한다(S 1).
상기 객체추출부(A)에서 움직이는 객체를 분리하고, 객체 추적기(B)에 입력하여, 객체의 이동경로를 추적하여 영상에서 객체가 포함된 부분을 분리하여 객체 인식기(C)에 입력시킨다(S 2).
그 다음, 상기 입력된 객체를 사람, 차량 등으로 분류하고, 저장부(D)에 저장시켜서, 필요한 객체 이외에는 모두 마스킹 기능을 구현한다(S 3).
이하에서는 본 발명에 의한 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원시스템(1000)을 이용한 객체 복원방법에 대하여 도 10을 참조하여 설명하기로 한다. 이전에서 설명한 객체 복원시스템(1000)의 실시예의 설명과 중복되는 설명은 어느정도 생략하기로 한다.
먼저, 분석할 영상을 선택한다(제1단계). 상기 제1단계는 분석 프로세스에서 처리 가능한 동영상의 목록을 확인하는 것이다.
상기 제1단계에서 분석할 영상이 지원 가능한 파일인지 여부를 확인한다(제2단계).
상기 영상이 지원 가능한 파일이라면, 영상을 미리보기를 하여 손상된 영상인지를 확인한다(제3단계).
상기 제3단계에서 손상되어 있는 영상에 해당하면, 해당 영상의 손상 종류에 따라 세부 기능을 선택하는 것이다(제4단계).
상기 세부기능이란 영상에서 등장하는 모든 객체를 인식 및 식별할 때 사용하는 딥러닝 기술을 활용한 객체인식 기술인지, 육안으로 식별이 불가능한 저화질 영상을 사용자가 보고 식별할 수 있을 정도의 고화질, 고해상도영상으로 변화시키는 업스케일링 기술인지, CCTV의 노후화로 인하여 렌즈가 뿌옇거나 미세먼지, 황사, 안개등으로 인한 가시거리가 확보되지 않은 영상에서 오염물질을 제거하여 식별가능한 영상으로 변환시키는 안개제거(Defog)기술 중에서 어떤 기술을 활용할지를 선택하는 것이다. 즉, 상기 손상되어 있는 영상의 형태를 파악하여 활용할 기술을 결정하는 것이다.
상기 제4단계에서 세부기능인 업스케일링이나, 안개(Defog) 제거기술 등을 선택하였으면 상기 선택한 세부기능에 알맞는 기술을 이용하여 해당 영상을 복원시키는 것이다(제5단계).
따라서, 상기와 같이 영상이 복원되면 예를 들어, 자동차 번호판의 경우에는 경찰청 데이터베이스나 국세청 데이터베이스와 연동하여 범죄관련 차량이나 국세체납이나 탈세관련 차량을 검색기능을 지원할 수 있는 것이다.
상기 제5단계에서 같이 업스케일링된 영상이나 안개나 미세먼지가 제거되어 복구, 복원된 영상에 만약 사람의 객체가 있을 경우에는 개인정보 보호를 위하여 상기 사람의 객체에 마스킹 처리를 하는 것이다(제6단계).
이상에서 설명한 바와 같이, 본 발명에 의한 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템은 기존 저화질 CCTV 영상을 식별 가능한 고화질 영상으로 변환할 수 있는 기술 확보를 통해 증거 등 자료수집 활동에서 소요되는 불필요한 시간 및 비용 단축을 도모할 수 있다.
또한, 수 초간 등장하는 등장객체의 인접 프레임 영상만으로 차량번호, 객체 얼굴이 인식 가능하다.
또한, 저화질의 CCTV 영상이라도 사건, 사고의 중요한 단서가 됨으로써, 이를 식별 가능한 영상으로 변환함으로써 국내 범인 검거율 향상을 기대할 수 있다.
또한, 매년 지적되는 저화질 CCTV 카메라의 교체 시점연장과 비용 절감 기대할수 있다.
또한, 영상분석인력, 관제지원인력 등 다양한 분야에서의 일자리 창출의 기대 효과가 있다.
또한, 경찰청, 지자체, 보안업체 등에서 요구하는 수요기술에 맞게 제품 기술개발을 진행하여, 실적에 즉시 투입 가능한 제품 확보 기대를 도모할 수 있다.
또한, 종래의 저화질 영상으로 인하여 객체 식별이 불가능하여 미해결로 남은 사건을 해결할 수 있는 기술 확보를 기대할 수 있다.
이하에서는 본 발명의 알고리즘을 적용한 영상 반출 기능의 흐름에 대해 설명하기로 한다.
사용자가 해당하는 동영상 파일을 요청할 경우, 서버(미도시)에서 동영상 파일을 구성한 다음, 외부 파일의 형태로 사용자에게 동영상 파일을 전송하고, DB에 저장된 업스케일링 영상을 반출하는 것이다. 참고로, 상기 영상을 반출 시에는 개인정보보호법의 준수를 위해 객체의 자동 마스킹 기능을 활용한다. 따라서, 사람이 영상에 있을 경우에 얼굴 등을 자동적으로 마스킹 처리가 된 동영상 파일이 생성되는 것이다.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상기 기술한 실시 예는 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 첨부된 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 영상변환부 110 : 이미지변환모듈 120 : 업스케일링모듈 200 : 영상보정부
300 : 객체복원부 310 : 데이터셋모듈
320 : 영상데이터수신모듈 330 : 딥러닝모듈
340 : 객체추적모듈
1000 : 본 개시의 실시예에 따른 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템

Claims (10)

  1. 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템에 있어서,
    저화질 CCTV 영상을 딥러닝 기반의 업스케일링 알고리즘을 통해 식별 가능한 고해상도 영상으로 변환하는 영상변환부(100);
    상기 영상변환부(100)의 데이터를 바탕으로 영상에서 안개 또는 미세먼지를 제거하는 보정을 하는 영상보정부(200); 및
    상기 영상보정부(200)의 데이터를 바탕으로 딥러닝 기반의 객체 인식, 분류, 속성 분석을 통해 객체에 대한 정보를 획득하고, 필요객체를 제외한 타객체에 대해 마스킹(masking) 처리를 수행하는 객체복원부(300);를 포함하고,

    상기 영상변환부(100)는,
    상기 저화질 CCTV 영상이 고해상도 영상으로 변환될 경우에, 원래 영상에서 이미지를 추출하여, 단일 이미지파일 형식의 이미지 생성과 디코딩으로 단일 이미지를 생성시키고, 단일 Mat 형식의 이미지로 변환, 생성시키며, 생성된 단일 이미지를 SI(super image)로 변경해서 통합하여 업스케일링하고,

    상기 영상변환부(100)는 입력받은 영상을 단일 이미지로 변환하는 이미지변환모듈(110);
    상기 단일 이미지를 SI(super image)로 변경한 후 통합하여 업스케일링하는 업스케일링 모듈(120)을 포함하여 이루어지고,
    상기 업스케일링 모듈(120)은 딥러닝 기반의 SRGAN(Super Resolution Generative Adversarial Network) 네트워크를 통해 업스케일링하고,
    상기 SRGAN 네트워크는 생성(Generator) 모델과 분류(Discriminator) 모델을 포함하되,
    상기 생성 모델은 3*3 커널과 64개의 피쳐맵(Feature Map)을 가진 두개의 컨볼루션 레이어를 포함하는 동일한 레이아웃을 가진 B residual block이고, batch normalization과 활성화 함수로 쓰인 parametricrelu를 사용하고,
    상기 분류 모델은 max-pooling을 방지하기 위해 leakyrelu activation을 사용하고,

    상기 영상보정부(200)는
    a) 상기 안개 또는 미세먼지가 제거되어 보정될 경우에, 원래 영상을 DCP(Dark Channel Prior)인 트랜스미션 맵을 적용하여, Matting을 시킨 후,
    b) 상기 안개 또는 미세먼지를 포함한 노이즈 픽셀을 분석하여 R, G, B의 픽셀을 HSI로 변경하여 그 값을 추출하고, 상기 추출된 픽셀 값을 DCP(Dark Channel Prior)를 적용하여 아래의 식에 따라서,
    [식 1]
    Jdark(x) = min(min(Jc(y)))
    (여기서, Jdark(x) : dark channel, Jc(x) :픽셀 x의 r,g,b 중 한 Channel을 의미, c ∈ {r,g,b} y ∈ Ω(z), Ω(x) : x를 중심으로 하는 일정범위 안의 pixel들의 집합, x주변의 pixel들의 집합(Local Patch))
    노이즈를 제거하는 것; 을 특징으로 하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 영상보정부(200)는 영상에서 주변 광원으로부터 대기에 반사되어 함께 시야에 들어오는 대기 산란광이 섞임으로 인해 발생되는 노이즈를 제거하는 노이즈제거모듈을 포함하되,
    상기 노이즈제거모듈은 노이즈 픽셀을 분석하여 R, G, B의 픽셀을 HSI로 변경하여 그 값을 추출하고, 상기 추출된 픽셀 값을 DCP(Dark Channel Prior)를 적용하여 노이즈를 제거하는 것을 특징으로 하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템.
  6. 제1항에 있어서,
    상기 객체복원부(300)는 객체 복원 기술 구현을 위한 데이터셋모듈(310), 복원 및 영상 처리에 사용되는 영상데이터를 입력받는 영상데이터수신모듈(320), 객체 식별 및 분석을 위한 딥러닝모듈(330), 움직이는 객체를 분리하고 객체의 이동경로를 추적하는 객체추적모듈(340)을 포함하는 것을 특징으로 하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템.
  7. 제6항에 있어서,
    상기 데이터셋모듈(310)은 기존 학습 Open 데이터셋과 CCTV 전용 동영상에서 획득한 데이터셋을 바탕으로 생성되는 CMS(Custom Many Sides) 데이터셋인 것을 특징으로 하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템.
  8. 제7항에 있어서,
    상기 기존 학습 Open 데이터셋은 Caltch 101, Caltech 256, STL-10, ImageNet 데이터셋 중 적어도 하나 이상을 구비하는 것을 특징으로 하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템.
  9. 제6항에 있어서,
    상기 딥러닝모듈(330)은 RCNN기반의 커스터마이징 신경망 층을 파라미터로 설정하여 연결하고, 상기 파라미터는 노드와 소프트맥스로 구성되되,
    손실 함수(Loss function), 옵티마이저(Optimizer), 지표(Metrics)의 값을 설정하여 훈련 중 출력되는 손실과 정확도 지표에 따라 모델링되는 것을 특징으로 하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템.
  10. 제6항에 있어서,
    상기 객체추적모듈(340)은 다중 객체에 대해 추출 및 추적이 가능하고, 객체를 인식하여 분류 및 저장이 가능하며, 선택적으로 식별된 소정의 객체 외의 타 객체에 대해서는 마스킹 처리가 가능한 것을 특징으로 하는 딥러닝을 활용한 저화질 CCTV 영상 기반의 객체 복원 시스템.




KR1020200160089A 2020-11-25 2020-11-25 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템 KR102245501B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160089A KR102245501B1 (ko) 2020-11-25 2020-11-25 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160089A KR102245501B1 (ko) 2020-11-25 2020-11-25 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템

Publications (1)

Publication Number Publication Date
KR102245501B1 true KR102245501B1 (ko) 2021-04-29

Family

ID=75728116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160089A KR102245501B1 (ko) 2020-11-25 2020-11-25 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템

Country Status (1)

Country Link
KR (1) KR102245501B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102326840B1 (ko) * 2021-09-07 2021-11-17 주식회사 이지스마트팜 Ip타입 cctv의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치
KR102378499B1 (ko) * 2021-10-26 2022-03-24 주식회사 아이지오 5g영상통신을 이용한 영상 확대/축소 솔루션
KR102426910B1 (ko) * 2021-10-26 2022-08-01 주식회사 아이지오 사고관리차량 탑재용 5G 기반의 IoT 디바이스 장치
KR102479841B1 (ko) * 2022-02-18 2022-12-28 인하대학교 산학협력단 해석 가능한 얼굴 이미지 품질 평가 기법
KR20230053448A (ko) * 2021-10-14 2023-04-21 (주)엘컴텍 인공지능 기반의 센서등 및 작동방법.
KR102518152B1 (ko) * 2022-08-23 2023-04-24 주식회사 아이지오 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템
KR102585040B1 (ko) * 2023-04-05 2023-10-11 뉴브로드테크놀러지(주) 재난재해지역 객체탐지 시스템
KR102637711B1 (ko) * 2022-12-22 2024-02-19 한국건설기술연구원 도로 상태이상 식별 모델 제공 시스템 및 방법
KR102678533B1 (ko) * 2023-09-06 2024-06-26 이윤희 인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371868B1 (ko) 2001-02-19 2003-02-12 학교법인 한국정보통신학원 영상 압축/복원 시스템에서 객체 기반 액세스를 위한 객체마스크 추적 장치
KR20110070735A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 영상의 프라이버시 마스킹 방법 및 장치
JP2015192338A (ja) * 2014-03-28 2015-11-02 株式会社ニコン 画像処理装置および画像処理プログラム
JP2018032078A (ja) * 2016-08-22 2018-03-01 Kddi株式会社 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法
KR101846537B1 (ko) 2015-10-26 2018-04-06 이형용 Cctv 자동선별 모니터링 시스템, cctv 자동선별 모니터링 관리서버 및 관리방법
KR102144531B1 (ko) 2019-07-10 2020-08-14 (주)아이지오 딥 러닝 영상분석을 활용한 객체 메타데이터 기반의 자동 선별관제 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371868B1 (ko) 2001-02-19 2003-02-12 학교법인 한국정보통신학원 영상 압축/복원 시스템에서 객체 기반 액세스를 위한 객체마스크 추적 장치
KR20110070735A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 영상의 프라이버시 마스킹 방법 및 장치
JP2015192338A (ja) * 2014-03-28 2015-11-02 株式会社ニコン 画像処理装置および画像処理プログラム
KR101846537B1 (ko) 2015-10-26 2018-04-06 이형용 Cctv 자동선별 모니터링 시스템, cctv 자동선별 모니터링 관리서버 및 관리방법
JP2018032078A (ja) * 2016-08-22 2018-03-01 Kddi株式会社 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法
KR102144531B1 (ko) 2019-07-10 2020-08-14 (주)아이지오 딥 러닝 영상분석을 활용한 객체 메타데이터 기반의 자동 선별관제 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Matthew Ciolino, David Noever, Josh Kalin, "Training Set Effect on Super Resolution for Automated Target Recognition", Computer Vision and Pattern Recognition (cs.CV)(2020.02.07.) 1부.* *
Shaoqing Ren, et al, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, June 1 2017(2017.06.01.) 1부.* *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102326840B1 (ko) * 2021-09-07 2021-11-17 주식회사 이지스마트팜 Ip타입 cctv의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치
KR20230053448A (ko) * 2021-10-14 2023-04-21 (주)엘컴텍 인공지능 기반의 센서등 및 작동방법.
KR102656690B1 (ko) 2021-10-14 2024-04-12 (주)엘컴텍 인공지능 기반의 센서등 및 작동방법.
KR102378499B1 (ko) * 2021-10-26 2022-03-24 주식회사 아이지오 5g영상통신을 이용한 영상 확대/축소 솔루션
KR102426910B1 (ko) * 2021-10-26 2022-08-01 주식회사 아이지오 사고관리차량 탑재용 5G 기반의 IoT 디바이스 장치
KR102479841B1 (ko) * 2022-02-18 2022-12-28 인하대학교 산학협력단 해석 가능한 얼굴 이미지 품질 평가 기법
KR102518152B1 (ko) * 2022-08-23 2023-04-24 주식회사 아이지오 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템
KR102637711B1 (ko) * 2022-12-22 2024-02-19 한국건설기술연구원 도로 상태이상 식별 모델 제공 시스템 및 방법
KR102585040B1 (ko) * 2023-04-05 2023-10-11 뉴브로드테크놀러지(주) 재난재해지역 객체탐지 시스템
KR102678533B1 (ko) * 2023-09-06 2024-06-26 이윤희 인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR102245501B1 (ko) 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템
CN110232380B (zh) 基于Mask R-CNN神经网络的火灾夜间场景复原方法
Saha et al. License Plate localization from vehicle images: An edge based multi-stage approach
KR101173853B1 (ko) 다중 객체 인식장치 및 방법
Kumar et al. Automatic vehicle number plate recognition system using machine learning
KR102035592B1 (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
CN105139003A (zh) 一种动态人脸识别系统及方法
Shafi et al. License plate identification and recognition in a non-standard environment using neural pattern matching
KR102134902B1 (ko) 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법
CN114648714A (zh) 一种基于yolo的车间规范行为的监测方法
Beghdadi et al. Towards the design of smart video-surveillance system
CN109274945B (zh) 一种自适应进行图像真彩色还原的方法及系统
Pawar et al. Morphology based moving vehicle detection
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
Jain et al. A hybrid approach for detection and recognition of traffic text sign using MSER and OCR
Abdulhussein et al. Computer vision to improve security surveillance through the identification of digital patterns
CN114140674A (zh) 结合图像处理及数据挖掘技术的电子证据可用性鉴别方法
Saha et al. A novel scheme for binarization of vehicle images using hierarchical histogram equalization technique
Villena et al. Image super-resolution for outdoor digital forensics. Usability and legal aspects
Hemalakshmi et al. An efficient filtering technique for detecting traffic surveillance in intelligent transportation systems
Selvakarthi et al. Edge detection and object identification for vision enhancement at rescue operations using deep learning techniques
CN112184566A (zh) 一种针对附着水雾水珠去除的图像处理方法和系统
Chithra et al. Feature based multiple vehicle license plate detection and video based traffic counting
Oheka et al. Real-time multiple vehicle detection using a rear camera mounted on a vehicle
Chandan et al. Vehicle number identification using machine learning & OPENCV

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant