KR20220040530A - 딥 러닝 기반 저조도 영상 분할 시스템 및 방법 - Google Patents

딥 러닝 기반 저조도 영상 분할 시스템 및 방법 Download PDF

Info

Publication number
KR20220040530A
KR20220040530A KR1020200122718A KR20200122718A KR20220040530A KR 20220040530 A KR20220040530 A KR 20220040530A KR 1020200122718 A KR1020200122718 A KR 1020200122718A KR 20200122718 A KR20200122718 A KR 20200122718A KR 20220040530 A KR20220040530 A KR 20220040530A
Authority
KR
South Korea
Prior art keywords
deep learning
image
low
segmentation
illuminance
Prior art date
Application number
KR1020200122718A
Other languages
English (en)
Other versions
KR102490445B1 (ko
Inventor
박강령
조세운
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020200122718A priority Critical patent/KR102490445B1/ko
Publication of KR20220040530A publication Critical patent/KR20220040530A/ko
Application granted granted Critical
Publication of KR102490445B1 publication Critical patent/KR102490445B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 저조도 영상의 객체를 정확하게 분할하기 위한 딥 러닝 기반 저조도 영상 분할 시스템 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 딥 러닝 기반 저조도 영상 분할 시스템 및 방법은 취득한 저조도 영상의 밝기를 복원하여 영상 내 객체 분할의 정확도를 높인다.

Description

딥 러닝 기반 저조도 영상 분할 시스템 및 방법 {SYSTEM AND METHOD FOR DEEP LEARNING BASED SEMANTIC SEGMENTATION WITH LOW LIGHT IMAGES}
본 발명은 저조도 영상의 분할 시스템 및 방법에 관한 것으로, 보다 상세하게는 저조도 또는 야간 시간에 촬상된 영상의 멀티클래스 분할(Multi-class segmentation) 성능을 높이는 개선된 사이클 생성적 적대 신경망(Cycle Generative Adversarial Network : CycleGAN) 기반의 딥 러닝 기반 저조도 영상 분할 시스템 및 방법에 관한 것이다.
최근에 들어서, 딥 러닝 알고리즘 중 시맨틱 세그멘테이션(semantic segmentation) 분야가 활발히 연구되고 있으며 그 중요성이 증대되고 있다. 세그멘테이션(Segmentation)이란, 이미지를 픽셀(Pixel)단위로 구분해 각 픽셀이 어떤 물체 클래스(class)인지 구분하는 문제다. 기존의 최첨단(the state-of-the-art : SOTA) 세그멘테이션(segmentation) 방법들은 조도가 높고 선명한 영상에 대해서는 높은 성능을 보여주었다. 하지만 조도가 낮거나 야간 시간(low light or nighttime) 환경에서는 영상이 블러(blur)되고 카메라 센서(sensor)의 특성 상 노이즈(noise)가 증가하기 때문에, 다양한 객체들(objects)에 대한 분할(segmentation)이 매우 어려우며, 이러한 이유로 기존에 조도가 낮거나 야간 시간(low light or nighttime) 환경에서의 멀티 클래스 분할(multi-class segmentation)에 대해서는 많이 연구되지 않았다.
본 발명의 배경기술은 대한민국 공개특허 제2019-0049100호에 게시되어 있다.
본 발명은 저조도 영상의 밝기를 복원하여 영상 내 객체 분할의 정확성이 높은 딥 러닝 기반 저조도 영상 분할 시스템 및 방법을 제공한다.
본 발명은 강화 네트워크와 분할 네트워크를 구분하여 다양한 기존 네트워크를 쉽게 결합할 수 있는 딥 러닝 기반 저조도 영상 분할 시스템 및 방법을 제공한다.
본 발명은 저조도 환경에서의 객체 분할 성능을 향상시켜 야간 자량 운전 보조 및 사고 예방이 도움이 되는 딥 러닝 기반 저조도 영상 분할 시스템 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 딥 러닝 기반 저조도 영상 분할 시스템을 제공한다.
본 발명의 일 실시예에 따른 딥 러닝 기반 저조도 영상 분할 시스템은 단일 가시광선 카메라를 이용해 저조도 영상을 취득하는 입력부, 상기 저조도 영상의 가로와 세로 비율을 유지하면서 크기를 조정하는 전처리부, 상기 저조도 영상을 강화하는 변환부 및 상기 저조도 영상에서 객체를 분할하는 분할부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥 러닝 기반 저조도 영상 분할 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.
본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 저조도 영상을 취득하는 단계, 상기 저조도 영상의 가로와 세로 비율을 유지하여 크기를 조절하는 단계, 상기 저조도 영상을 딥 러닝을 이용해 밝기를 복원하는 단계 및 상기 저조도 영상의 객체를 멀티 클래스 분할하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 저조도 영상 분할 시스템 및 방법은 취득한 저조도 영상의 밝기를 복원하여 영상 내 객체 분할의 정확도를 높인다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 저조도 영상 분할 시스템 및 방법은 정확하게 객체를 분할하여 객체 인식 성능을 개선한다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 저조도 영상 분할 시스템 및 방법은 영상 이미지를 강화하는 네트워크와 객체를 분할하는 네트워크가 분리되어 다양한 기존 분할 네트워크와 쉽게 결합할 수 있다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 저조도 영상 분할 시스템 및 방법은 저조도 환경에서의 객체 분할 성능을 향상시켜 야간 자량 운전 보조 및 사고 예방이 도움이 된다.
도 1 내지 도 6은 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 분할 영상 분할 시스템을 설명하기 위한 도면들.
도 8은 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 분할 영상 방법을 설명하기 위한 도면.
도 9 내지 도 14는 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 시스템(10)과 다른 방법들의 비교 실험 결과들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 시스템을 설명하기 위한 도면들이다.
도 1을 참조하면, 저조도 영상 분할 시스템(10)은 입력부(100), 전처리부(200), 변환부(300) 및 분할부(400)를 포함한다.
저조도 영상 분할 시스템(10)은 저조도 영상의 밝기를 복원하여 영상 내 객체 인식 성능을 개선하여 객체를 분할의 정확도를 높인다.
입력부(100)는 카메라를 사용하여 야간 영상을 취득한다. 예를 들면 입력부(100)는 차량에 설치된 단일 가시광선 카메라를 사용하여 야간 도로 영상을 취득할 수 있다.
전처리부(200)는 취득한 영상의 가로와 세로 크기를 조정한다. 전처리부(200)는 저조도 영상 내의 객체들의 모양을 유지하기 위해 원본 영상의 가로와 세로 비율을 유지하면서 크기를 조정한다.
변환부(300)는 저조도 영상에 대한 밝기 복원을 수행한다. 야간 영상은 밝기가 낮고 잡음과 흐림이 많다. 변환부(300)는 이미지 강화(image enhancement)를 수행하여 영상 내 객체들의 모양과 경계를 선명하게 한다. 변화부(300)는 개선된 사이클 생성적 적대 신경망(modified Cycle Generative Adversarial Networks: modified CycleGAN)을 이용해 영상의 가시성을 높인다. 변환부(300)는 개선된 사이클 생성적 적대 신경망(modified CycleGAN)을 이용해 저조도 야간 영상을 밝기를 복원하여 주간 영상과 유사하게 변환한다.
도 2를 참조하면, 변환부(300)는 개선된 사이클 생성적 적대 신경망(modified CycleGAN)을 이용한다. 개선된 사이클 생성적 적대 신경망(modified CycleGAN) 은 크게 생성기(generator, 310)와 판별기(discriminator, 320)를 포함한다. 개선된 사이클 생성적 적대 신경망(modified CycleGAN)은 적대 학습의 기술을 통해 생성기와 판결기의 성능을 향상시키도록 훈련한다.
도 3을 참조하면, 생성기(310)는 필터 7 * 7의 크기를 갖는 제1 컨볼루션 레이어와 특징 맵의 크기를 줄이기위한 2 개의 스트라이드 -2 컨볼루션 레이어로 구성된다. 이어서, 6 개의 잔차(residual) 블록이 존재하고 특징 맵의 크기가 유지된다.
생성기(310)는 인코더(Encoder)와 디코더(Decoder)를 포함한다.
인코더(Encoder)는 필터 7 * 7의 크기를 갖는 제1컨볼루션 레이어 및 특징 맵의 크기를 줄이기 위한 2 개의 스트라이드 -2 컨볼루션(convolutional) 레이어와 6 개의 수정된 잔차 블록을 포함한다.
디코더(Decoder)는 특징 맵의 크기를 증가시키기 위해 2 개의 디컨볼루션(deconvolutional) 레이어와 입력 이미지와 같은 크기의 가짜 이미지를 생성하는 출력 레이어를 포함한다.
도 4를 참조하면, 개선된 사이클 생성적 적대 신경망(modified CycleGAN)의 잔차 블록의 구조(도4b)는 사이클 생성적 적대 신경망(CycleGAN)의 잔차 블록(도4a)과는 상이하다.
도4b를 참조하면, 개선된 사이클 생성적 적대 신경망(modified CycleGAN)의 잔차 블록은 3개의 컨볼루션 레이어로 구성되고, 특징 맵의 채널 수를 128로 줄이고, 다시 256으로 증가시키는 병목 구조이다. 또한 개선된 사이클 생성적 적대 신경망(modified CycleGAN)의 잔차 블록은 ReLU를 누설(leaky) ReLU (LReLU)로 대체하여 정보 손실과 모양의 변화를 줄이고 학습 안정성을 향상시킨다.
생성기(310)는 잔차 블록의 수와 구조를 수정하여 기존 CycleGAN 모델에 비해 출력 이미지의 품질을 향상시키고 계산 비용과 처리 시간을 감소시킨다.
도 5를 참조하면, 판별기(320)는 필터 크기가 4 * 4 인 4 개의 스트라이드-2 컨볼루션 레이어와 실제 이미지와 가짜 이미지를 구별하는 출력 레이어를 포함한다.
다시 도 1을 참조하면, 분할부(400)는 변환부(300)에서 밝기를 복원하여 강화된 영상 내의 객체를 분할하고 분할 맵을 출력한다. 분할부(400)는 강화된 영상에 멀티 클래스 분할(multi-class segmentation)을 수행한다. 분할부(400)의 입력 영상은 변환부(300)에서 수행한 개선된 사이클 생성적 적대 신경망(modified CycleGAN)의 결과 영상으로, 정확한 판별을 위해 밝기를 복원하여 강화된 영상이다. 분할부(400)는 PSPNet(PYRAMID SCENE PARSING NETWORK)을 이용해 영상에서 객체를 인식하고 분할할 수 있다.
또한 딥 러닝 기반 저조도 영상 분할 시스템(10)는 영상을 강화하는 네트워크를 변환부(300)로 하고, 분할 네트워크를 분할부(400)로 구분하여 다양한 분할 네트워크와 결합하여 사용할 수 있다.
도6은 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 방법을 설명한 도면이다. 이하 설명하는 각 과정은 딥 러닝 기반 저조도 영상 분할 시스템을 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 딥 러닝 기반 저조도 영상 분할 시스템으로 통칭하도록 한다
도 6을 참조하면, 단계 S610에서 딥 러닝 기반 영상 분할 시스템(10)은 저조도 영상을 획득한다. 예를 들면, 딥 러닝 기반 영상 분할 시스템(10)은 차량에 설치된 단일 가시광선 카메라를 사용하여 야간 도로 영상을 취득할 수 있다.
단계 S620에서 딥 러닝 기반 영상 분할 시스템(10)은 저조도 원본 영상의 가로와 세로 크기를 조정한다. 딥 러닝 기반 영상 분할 시스템(10)은 영상 내의 객체들의 모양을 유지하기 위해, 원본 영상의 가로와 세로 비율을 유지하면서 크기를 줄인다.
단계 S630에서 딥 러닝 기반 영상 분할 시스템(10)은 개선된 사이클 생성적 적대 신경망(modified CycleGAN)을 사용하여 저조도 영상에 대한 밝기 복원을 수행한다. 구체적인 사이클 생성적 적대 신경망(modified CycleGAN)은 앞서 도3 및 도 5에서 설명하였다.
단계 S640에서 딥 러닝 기반 영상 분할 시스템(10)은 사이클 생성적 적대 신경망(modified CycleGAN)을 통해 강화된 결과 영상을 입력값으로 하여 멀티 클래스 분할을 수행한다. 예를 들면 딥 러닝 기반 영상 분할 시스템(10)은 PSPNet 모델을 사용하여 영상에서 멀티 클래스 분할을 수행할 수 있다.
도 7은 본 발명 일 실시 예에 따른 딥 러닝 기반 영상 분할 장치가 학습하고 실험에 이용할 영상의 예시이다.
도 7a는 딥 러닝 기반 영상 분할 시스템(10)이 차량에 설치된 단일 가시광선 카메라를 사용하여 주간에 취득한 실제 도로 영상이다.
도 7b는 딥 러닝 기반 영상 분할 시스템(10)의 학습 및 실험을 위해 실제 야간 도로와 유사한 합성된 저조도 영상이다.
딥 러닝 기반 영상 분할 시스템(10)은 학습 및 실험을 위해 움직이는 차량에 설치된 카메라에 의해 획득된 주간 도로 영상 데이터베이스인 CamVid 및 KITTI 데이터베이스를 사용한다. 딥 러닝 기반 영상 분할 시스템(10)은 CamVid 및 KITTI 데이터베이스의 주간 도로 영상을 저조도 야간 도로 영상을 변환하여 학습하고 실험한다.
도 8 내지 도 13는 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 시스템(10)과 다른 방법들의 비교 실험 결과들이다.
도 8 및 도 9는 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 시스템(10)이 개선된 사이클 생성적 적대 신경망(modified CycleGAN)과 기존 방법들을 사용하여 이미지 강화를 수행한 비교 결과 화면들이다.
도 8을 참조하면, 딥 러닝 기반 저조도 영상 분할 시스템(10)은 개선된 사이클 생성적 적대 신경망(modified CycleGAN)을 이용하여 가시적으로 가장 우수한 품질의 이미지 강화를 수행하는 것으로 보여준다.
도 9를 참조하면, 딥 러닝 기반 저조도 영상 분할 시스템(10)은 개선된 사이클 생성적 적대 신경망(modified CycleGAN)을 이용하여 최대 신호 대 잡음비(PSNR), 신호 대 잡음비(SNR), 구조적 유사성 지수(SSIM)의 세 가지 평가 지표에 대해 수치적으로 가장 우수한 성능을 보여준다.
도 10 및 도11은 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 시스템(10)가 개선된 생성적 적대 신경망(modified CycleGAN)을 이용해 분할 성능을 향상시키는 것을 보여주는 화면이다.
도10을 참조하면, 딥 러닝 기반 저조도 영상 분할 시스템(10)가 개선된 사이클 생성적 적대 신경망(modified CycleGAN)으로 영상을 강화한 한 후, 다양한 분할 네트워크(FCN, SegNet, ICNet, PSPNet)들을 사용하여 멀티 클래스 분할을 수행한 결과를 확인할 수 있다. 개선된 사이클 생성적 적대 신경망(modified CycleGAN)은 도9에서와 같이 분할 성능을 향상시킬 수 있다.
도 11을 참조하면, 개선된 사이클 생성적 적대 신경망(modified CycleGAN)으로 이미지 강화를 수행하기 전, 후 분할 성능을 비교하면, 픽셀 정확도(Pixel Acc), 클래스 평균 픽셀 정확도(Class Acc), 평균 IOU(Mean Intersection Over Union)의 세 가지 평가 지표에 대해서 성능이 크게 향상된 것을 확인할 수 있다.
도 12및 도 13은 본 발명의 일 실시 예에 따른 딥 러닝 기반 저조도 영상 분할 시스템(10)가 분할 네트워크를 PSPNet으로 고정하고, 다양한 이미지 강화 네트워크(PLN, Pix2Pix, CycleGAN, modified CycleGAN)와 각각 결합시킨 모델을 이용하여 멀티 클래스 분할한 결과 화면이다.
도 12를 참조하면, 개선된 사이클 생성적 적대 신경망(modified CycleGAN)과 PSPNet을 결합시킨 모델의 결과 영상이 가시적으로 가장 우수함을 알 수 있다.
도 13을 참조하면, 개선된 사이클 생성적 적대 신경망(modified CycleGAN)과 PSPNet을 결합시킨 딥 러닝 기반 저조도 영상 분할 시스템(10)가 Ground-truth 영상을 기준으로 픽셀 정확도(Pixel Acc)는 88.58%, 클래스 평균 픽셀 정확도(Class Acc)는 63.97%, 평균 IOU(Mean Intersection Over Union)은 55.31%로 높은 성능을 보여준다.
상술한 딥 러닝 기반 저조도 영상 분할 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 딥 러닝 기반 저조도 영상 분할 시스템
100: 입력부
200: 전처리부
300: 변환부
310: 생성기
320: 판별기
400: 분할부

Claims (7)

  1. 딥 러닝 기반 저조도 영상 분할 시스템에 있어서,
    단일 가시광선 카메라를 이용해 저조도 영상을 취득하는 입력부;
    상기 저조도 영상의 가로와 세로 비율을 유지하면서 크기를 조정하는 전처리부;
    상기 저조도 영상을 딥 러닝을 이용해 밝기를 복원하는 변환부; 및
    상기 변환부가 밝기를 복원한 영상 내의 객체를 멀티 클래스 분할하는 분할부를 포함하는 딥 러닝 기반 저조도 영상 분할 시스템.
  2. 제1 항에 있어서,
    상기 변환부는
    상기 저조도 영상을 개선된 사이클 생성적 적대 신경망(modified CycleGAN)을 이용해 밝기를 복원하는 딥 러닝 기반 저조도 영상 분할 시스템.
  3. 제1항에 있어서,
    상기 분할부는
    상기 변환부가 밝기를 복원한 영상 내의 객체를 피에스피넷(PSPNet)을 이용해 멀티 클래스 분할하는 딥 러닝 기반 저조도 영상 분할 시스템.
  4. 딥 러닝 기반 저조도 영상 분할 시스템이 수행하는 딥 러닝 기반 저조도 영상 분할 방법에 있어서,
    저조도 영상을 취득하는 단계; 및
    상기 저조도 영상의 가로와 세로 비율을 유지하여 크기를 조절하는 단계;
    상기 저조도 영상을 딥 러닝을 이용해 밝기를 복원하는 단계; 및
    상기 밝기가 복원된 영상 내의 객체를 멀티 클래스 분할하는 단계를 포함하는 딥 러닝 기반 저조도 영상 분할 방법.
  5. 제4항에 있어서,
    상기 저조도 영상을 딥 러닝을 이용해 밝기를 복원하는 단계는,
    개선된 사이클 생성적 적대 신경망(modified CycleGAN)을 사용하는 딥 러닝 기반 저조도 영상 분할 방법.
  6. 제4항에 있어서,
    상기 밝기가 복원된 영상 내의 객체를 멀티 클래스 분할하는 단계는
    피에스이넷(PSPNet) 이용하여 멀티 클래스 분할을 수행하는 딥 러닝 기반 저조도 영상 분할 방법.
  7. 제4항 내지 제6항의 방법 중 어느 하나의 딥 러닝 기반 저조도 영상 분할 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

KR1020200122718A 2020-09-23 2020-09-23 딥 러닝 기반 저조도 영상 분할 시스템 및 방법 KR102490445B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200122718A KR102490445B1 (ko) 2020-09-23 2020-09-23 딥 러닝 기반 저조도 영상 분할 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122718A KR102490445B1 (ko) 2020-09-23 2020-09-23 딥 러닝 기반 저조도 영상 분할 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220040530A true KR20220040530A (ko) 2022-03-31
KR102490445B1 KR102490445B1 (ko) 2023-01-20

Family

ID=80934761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200122718A KR102490445B1 (ko) 2020-09-23 2020-09-23 딥 러닝 기반 저조도 영상 분할 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102490445B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533765B1 (ko) * 2022-12-13 2023-05-18 한국광기술원 영상 변환 네트워크를 이용한 영상 처리하는 전자 장치 및 영상 변환 네트워크의 학습 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pyramid Scene Parsing Network, Proceedings of the IEEE CVPR, 2017.08.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533765B1 (ko) * 2022-12-13 2023-05-18 한국광기술원 영상 변환 네트워크를 이용한 영상 처리하는 전자 장치 및 영상 변환 네트워크의 학습 방법

Also Published As

Publication number Publication date
KR102490445B1 (ko) 2023-01-20

Similar Documents

Publication Publication Date Title
Michaelis et al. Benchmarking robustness in object detection: Autonomous driving when winter is coming
CN112987759A (zh) 基于自动驾驶的图像处理方法、装置、设备及存储介质
CN107909026B (zh) 基于小规模卷积神经网络年龄和/或性别评估方法及系统
CN109145798B (zh) 一种驾驶场景目标识别与可行驶区域分割集成方法
Zhang et al. ISSAFE: Improving semantic segmentation in accidents by fusing event-based data
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
JP6392572B2 (ja) 画像受信装置、画像伝送システムおよび画像受信方法
CN111008973A (zh) 用于对图像数据的语义分割的方法、人工神经网络和设备
US8971634B2 (en) Approximate pyramidal search for fast displacement matching
WO2020131134A1 (en) Systems and methods for determining depth information in two-dimensional images
CN111898539A (zh) 一种多目标检测方法、装置、系统、设备及可读存储介质
WO2020043296A1 (en) Device and method for separating a picture into foreground and background using deep learning
CN114782705A (zh) 一种物体封闭轮廓的检测方法和装置
CN111008972A (zh) 用于图像数据的语义分割的方法和设备
CN111062347B (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
KR20220040530A (ko) 딥 러닝 기반 저조도 영상 분할 시스템 및 방법
CN108090455A (zh) 基于级联机制的车位线顶点定位方法、系统、终端及介质
Aditya et al. Collision detection: An improved deep learning approach using SENet and ResNext
KR102405767B1 (ko) 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
Antic et al. Efficient wavelet based detection of moving objects
WO2021014809A1 (ja) 画像認識評価プログラム、画像認識評価方法、評価装置及び評価システム
CN115082867A (zh) 用于对象检测的方法和系统
Diaz-Zapata et al. Instance segmentation with unsupervised adaptation to different domains for autonomous vehicles
EP4174757B1 (en) Method and system for embedding information in a video signal

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant