KR102240127B1 - 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치 - Google Patents

딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치 Download PDF

Info

Publication number
KR102240127B1
KR102240127B1 KR1020200132029A KR20200132029A KR102240127B1 KR 102240127 B1 KR102240127 B1 KR 102240127B1 KR 1020200132029 A KR1020200132029 A KR 1020200132029A KR 20200132029 A KR20200132029 A KR 20200132029A KR 102240127 B1 KR102240127 B1 KR 102240127B1
Authority
KR
South Korea
Prior art keywords
image
resolution
deep learning
learning model
low
Prior art date
Application number
KR1020200132029A
Other languages
English (en)
Inventor
박세길
장준혁
한정욱
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020200132029A priority Critical patent/KR102240127B1/ko
Application granted granted Critical
Publication of KR102240127B1 publication Critical patent/KR102240127B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 관한 것으로서, 특히 선박의 접안 시 또는 자동차의 주차 시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황에서 딥러닝 방식에 기초하여 주변 상황을 운전자가 정확하게 모니터링 할 수 있게 하여 안전한 접안 또는 주차를 가능하게 하는 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 관한 것이다.

Description

딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치{SURROUNDING SITUATION MONITORING DEVICE APPLYING TECHNOLOGY FOR OVERCOMING LOW VISIBILITY SITUATION BASED ON DEEP LEARNING}
본 발명은 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 관한 것으로서, 특히 선박의 접안 시 또는 자동차의 주차 시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황에서 딥러닝 방식에 기초하여 주변 상황을 운전자가 정확하게 모니터링 할 수 있게 하여 안전한 접안 또는 주차를 가능하게 하는 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 관한 것이다.
일반적으로, 대량의 화물이나 승객을 운송하는 선박은 사고 발생 빈도는 낮아도 한 번 사고가 발생하면 대량 인명피해나 치명적 인명사고, 물적 손실 등을 유발할 수 있다. 선박은 미리 설정된 항로를 따라 이동하기는 하나, 도로와 같은 정해진 형태의 길이 없는 관계로 항만 부근에서, 또는 해상에서 충돌 사고가 발생할 수 있다. 선박사고의 대부분은 운항과실로 인한 다수의 인명피해를 동반하고 있다. 그 이유는 새벽 시간에 졸음 운항이나, 해상기상 악화 또는 부주의 등과 같이 사람의 실수로 인해 일어나기 때문이다. 최근에는 이와 같은 사람이 범할 수 있는 부주의를 방지하기 위해 선박에 카메라를 설치하고 영상 분석 및 알림 시스템을 통해 부주의를 줄일 수 있는 방안을 연구하고 있다. 특히 안개가 각 산업분야에 미치는 영향은 다양하다. 도로상의 안개는 교통사고 발생에 주로 영향을 미친다. 도로교통안전관리공단의 통계에 따르면 안개가 발생한 날은 사고발생 건수에 비해 치사율이 상대적으로 높다. 선박의 경우에 있어서도 마찬가지로, 안개가 심한 날씨나 파도가 치는 환경 등 해상 기상 악화 상황에서는 이웃하는 선박의 접근을 미리 인지하거나 충돌 상황을 회피하기 어려운 상황이 있다.
국내 특허 등록 제2060567호 공보(이하, 선행기술이라 함)에는 해상에서의 기상 악화에 따른 안개 등과 같은 환경에서 해상 위에 존재하는 물체와의 충돌 사고를 방지하기 위해, 일정 반경 내의 모든 물체 움직임을 감지 및 인식하고, 객체 감지 시 위험 알림을 선장에게 알림으로써 사고를 크게 감소시킬 수 있는 영상 인식 및 검출 시스템이 개시되어 있다.
그러나 선행기술은 일정 반경 내의 물체 움직임을 감지하여 객체 감지시 알람을 발생하는 구성을 가지고 있으나, 안개와 같은 기상 악화 상황에서 실제 운전자의 시정 개선 효과는 없었다.
국내 특허 등록 제2060567호 공보(발명의 명칭 : 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템)
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 선박의 접안 시 또는 자동차의 주차 시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황에서 주변 상황을 운전자가 정확하게 모니터링할 수 있게 하여 안전한 접안 또는 주차를 가능하게 하는 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치를 제공하는 데에 있다.
상기의 목적을 달성하기 위해, 본 발명의 실시형태에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치는 선박의 접안 시 기상악화에 따른 저시정 상황에서 운전자에게 고시정을 확보해주고 객체에 대한 깊이를 추정하여 제공해주는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치로서, 저시정 상황에서 저시정 영상을 획득하도록 구성된 광학 카메라; 저해상도의 흑백 영상을 획득하도록 구성된 적외선 카메라; 선박 본체에 장착되어 상기 광학 카메라 및 적외선 카메라를 텔레스코프 방식으로 수직이동 가능하게 함과 아울러, 수직선을 기준으로 360도 회전가능하게 하는 카메라 이동 장치; 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부; 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부; 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부; 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및 상기 선박의 운전자가 응시할 수 있는 위치에 설치되어 상기 고해상도 융합 영상과 추정된 객체 깊이 정보를 출력하도록 구성된 결과 출력부;를 포함하는 것을 특징으로 한다.
상기 실시형태에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 있어서, 상기 카메라 이동 장치는 상기 광학 카메라 및 적외선 카메라가 일측면에 장착될 수 있는 공간을 제공하도록 구성된 헤드부; 상기 헤드부의 하부에 부착되어 텔레스코프 방식으로 수직이동 가능함과 아울러, 수직선을 기준으로 360도 회전가능한 지지대; 및 상기 지지대를 수용하여 상기 수직 이동 및 회전을 가능하게 하는 수용부;를 포함할 수 있다.
상기의 목적을 달성하기 위해, 본 발명의 다른 실시형태에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치는 자동차의 주차 시 기상악화에 따른 저시정 상황에서 운전자에게 고시정을 확보해주고 객체에 대한 깊이를 추정하여 제공해주는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치로서, 저시정 상황에서 저시정 영상을 획득하는 광학 카메라와 저해상도의 흑백 영상을 획득하는 적외선 카메라가 쌍을 이루어 상기 자동차의 2개의 사이드미러 및 백미러에 장착된 카메라 쌍; 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부; 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부; 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부; 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및 상기 자동차의 운전자가 응시할 수 있는 위치에 설치되어 상기 2개의 사이드미러 및 백미러에 장착된 카메라 쌍들 각각에서 얻어지는 저시정 영상 및 저해상도의 흑백 영상을 기초로 하여 얻어진 고해상도 융합 영상 및 객체 깊이 정보를 합성시켜 출력하는 결과 출력부;를 포함하는 것을 특징으로 한다.
상기 실시형태들에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 있어서, 상기 저시정 영상 개선부는 상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성되며, 여기서, 학습 완료된 딥러닝 모델은 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것일 수 있다.
상기 실시형태들에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 있어서, 상기 저시정 영상 개선부는 상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성되며, 여기서, 학습 완료된 딥러닝 모델은 연무가 제거된 2차원 영상과 연무가 제거되지 않은 2차원 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것일 수 있다.
상기 실시형태들에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 있어서, 상기 적외선 영상 처리부는 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력하도록 구성된 채색부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 채색부; 및 상기 채색부로부터 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력하도록 구성된 고해상 처리부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 고해상 처리부;를 포함할 수 있다.
상기 실시형태들에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 있어서, 상기 영상 융합부는 상기 저시정 영상 개선부 및 적외선 영상 처리부로부터 고시정 영상 및 고해상도 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력하도록 구성되며, 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것일 수 있다.
상기 실시형태들에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 있어서, 상기 객체 깊이 추정부는 상기 영상 융합부에서 입력된 고해상도 융합 영상, 및 외부로부터 입력된 객체의 영상내 좌표 정보를 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성되며, 여기서, 학습 완료된 딥러닝 모델은 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것일 수 있다.
본 발명의 일실시형태에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 의하면, 저시정 상황에서 저시정 영상을 획득하도록 구성된 광학 카메라; 저해상도의 흑백 영상을 획득하도록 구성된 적외선 카메라; 선박 본체에 장착되어 상기 광학 카메라 및 적외선 카메라를 텔레스코프 방식으로 수직이동 가능하게 함과 아울러, 수직선을 기준으로 360도 회전가능하게 하는 카메라 이동 장치; 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부; 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부; 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부; 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및 상기 선박의 운전자가 응시할 수 있는 위치에 설치되어 상기 고해상도 융합 영상과 추정된 객체 깊이 정보를 출력하도록 구성된 결과 출력부;를 포함하여 구성됨으로써, 선박의 접안 시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황에서 주변 상황을 운전자가 정확하게 모니터링할 수 있게 하여 안전한 접안을 가능하게 한다는 뛰어난 효과가 있다.
본 발명의 다른 실시형태에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 의하면, 저시정 상황에서 저시정 영상을 획득하는 광학 카메라와 저해상도의 흑백 영상을 획득하는 적외선 카메라가 쌍을 이루어 상기 자동차의 2개의 사이드미러 및 백미러에 장착된 카메라 쌍; 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부; 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부; 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부; 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및 상기 자동차의 운전자가 응시할 수 있는 위치에 설치되어 상기 2개의 사이드미러 및 백미러에 장착된 카메라 쌍들 각각에서 얻어지는 저시정 영상 및 저해상도의 흑백 영상을 기초로 하여 얻어진 고해상도 융합 영상 및 객체 깊이 정보를 합성시켜 출력하는 결과 출력부;를 포함하여 구성됨으로써, 자동차의 주차 시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황에서 주변 상황을 운전자가 정확하게 모니터링할 수 있게 하여 안전한 주차를 가능하게 한다는 뛰어난 효과가 있다.
도 1은 본 발명의 제 1 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치를 나타낸 도면이다.
도 2는 본 발명의 제 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치를 나타낸 도면이다.
도 3은 본 발명의 제 1, 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 구현한 시스템에 적용되는 블록 구성도이다.
도 4는 도 3의 딥러닝 기반 저시정 상황 극복 기술을 구현한 시스템에서 이루어지는 저시정 상황 극복 방법을 설명하기 위한 플로우챠트이다.
도 5는 도 4의 스텝(S40)에 대한 상세 플로우챠트이다.
본 발명의 실시예를 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예를 기술하기 위한 것이며, 결코 제한적으로 해석되어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하는 것으로 해석되어서는 안 된다.
도면에서 도시된 각 시스템에서, 몇몇 경우에서의 요소는 각각 동일한 참조 번호 또는 상이한 참조 번호를 가져서 표현된 요소가 상이하거나 유사할 수가 있음을 시사할 수 있다. 그러나 요소는 상이한 구현을 가지고 본 명세서에서 보여지거나 기술된 시스템 중 몇몇 또는 전부와 작동할 수 있다. 도면에서 도시된 다양한 요소는 동일하거나 상이할 수 있다. 어느 것이 제1 요소로 지칭되는지 및 어느 것이 제2 요소로 불리는지는 임의적이다.
본 명세서에서 어느 하나의 구성요소가 다른 구성요소로 자료 또는 신호를 '전송', '전달' 또는 '제공'한다 함은 어느 한 구성요소가 다른 구성요소로 직접 자료 또는 신호를 전송하는 것은 물론, 적어도 하나의 또 다른 구성요소를 통하여 자료 또는 신호를 다른 구성요소로 전송하는 것을 포함한다.
이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명하기로 한다.
[제 1 실시예]
도 1은 본 발명의 제 1 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치를 나타낸 도면이고, 도 3은 본 발명의 제 1, 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 구현한 시스템에 적용되는 블록 구성도이다.
본 발명의 제 1 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치는, 도 1에 도시된 바와 같이, 광학 카메라(100), 적외선 카메라(110), 카메라 이동 장치(10), 저시정 영상 개선부(200), 적외선 영상 처리부(300), 영상 융합부(400), 객체 깊이 추정부(410) 및 결과 출력부(500)를 포함한다.
광학 카메라(100)는 선박(B)의 운전 시 운전자의 시야를 확보하기 위한 위치에 설치되어 영상을 획득하는 역할을 하며, 특히 안개, 운무, 태풍 등의 기상악화로 인한 저시정 상황에서는 저시정 영상을 획득한다.
적외선 카메라(110)는 선박(B)의 운전 시 운전자의 시야를 확보하기 위한 위치에 설치되어 저해상도의 흑백 영상을 획득하는 역할을 한다.
적외선 카메라(110)는 적외선 에너지(열)를 비접촉식으로 감지하여 전기 신호로 변환해 주는 기기이다. 이 전기 신호는 다시 열화상 이미지나 동영상으로 변환되어 비디오 모니터를 통해 출력되고 온도 관련 정보를 산출하는데 활용된다.
카메라 이동 장치(10)는 선박(B) 본체에 장착되어 광학 카메라(100) 및 적외선 카메라(110)를 텔레스코프 방식으로 수직이동 가능하게 함과 아울러, 수직선을 기준으로 360도 회전가능하게 하는 역할을 한다. 특히 선박의 이동시에는 광학 카메라(100) 및 적외선 카메라(110)를 숨긴상태에 있다가 접안시 또는 주변을 모니터링하고자 할 때 수직으로 이동시켜 원하는 높이에 위치시킬 수 있다.
카메라 이동 장치(10)는 광학 카메라(100) 및 적외선 카메라(110)가 일측면에 장착될 수 있는 공간을 제공하는 헤드부(13), 헤드부(13)의 하부에 부착되어 텔레스코프 방식으로 수직이동 가능하여 원하는 위치에 고정될 수 있음과 아울러 수직선을 기준으로 360도 회전가능하여 원하는 각도의 위치에 고정될 수 있는 지지대(12), 및 지지대(12)를 하부에서 수용하여 수직 이동 및 회전을 가능하게 하는 수용부(11)를 포함한다.
저시정 영상 개선부(200)는 광학 카메라(100)로부터 저시정 영상을 입력받아 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하는 역할을 한다.
여기서, 학습에 이용되는 데이터는 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한쌍이 되는 데이터 셋이거나, 또는 연무가 제거된 2차원 영상 데이터와 연무가 제거되지 않은 2차원 영상이 한쌍이 되는 데이터 셋이다. 이 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시키면 딥러닝 모델이 생성된다. 이 생성된 딥러닝 모델의 입력노드에 저시정 영상을 입력시키면 연무가 제거된 고시정 영상이 출력노드를 통해 출력된다.
적외선 영상 처리부(300)는 적외선 카메라(110)로부터 입력된 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하는 역할을 한다.
적외선 영상 처리부(300)는 채색부(310) 및 고해상 처리부(320)를 포함한다. 적외선 영상 처리부(300)는 입력되는 저해상도의 흑백 영상에 대해서 채색부(310)에 의한 처리를 한 후 고해상 처리부(320)에 의한 처리를 할 수도 있고, 고해상 처리부(320)에 의한 처리를 한 후 채색부(310)에 의한 처리를 할 수도 있다.
[채색부에 의한 처리를 한 후 고해상 처리부에 의한 처리를 할 경우]
채색부(310)는 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력하는 역할을 한다. 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
고해상 처리부(320)는 채색부(310)로부터 컬러 영상을 입력받아 학습 완료된딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력하는 역할을 한다. 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
[고해상 처리부에 의한 처리를 한 후 채색부에 의한 처리를 할 경우]
고해상 처리부(320)는 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 흑백 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본의 흑백 고해상도 영상과 이 원본의 흑백 고해상도 영상을 다운 샘플링 한 흑백 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
채색부(310)는 고해상 처리부(320)로부터 입력되는 고해상도 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
영상 융합부(400)는 저시정 영상 개선부(200) 및 적외선 영상 처리부(300)로부터 입력된 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다. 고해상도 융합 영상이란 고시정 및 고해상도의 컬러 영상을 의미한다.
객체 깊이 추정부(410)는 영상 융합부(400)에서 고해상도 융합 영상을 입력받고, 외부의 유저로부터 객체 깊이를 추정하기 위한 객체의 영상내 좌표의 정보를 입력받아, 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다. 여기서, 객체는 배경이 아닌 부분 즉, 바다에 있는 선박을 말한다.
객체 깊이는 광학 카메라(100) 및 적외선 카메라(110)로부터 이격된 객체의 거리를 의미한다. 예를 들어, 선박을 접안시킬 때 광학 카메라(100) 및 적외선 카메라(110)로부터 접안 시설까지의 거리를 의미할 수 있다.
결과 출력부(500)는 선박 운전자가 응시할 수 있는 위치에 설치되고, 영상 융합부(400) 및 객체 깊이 추정부(410)로부터 고해상도 융합 영상과 추정된 객체 깊이 정보를 입력받아 영상으로, 또는 영상 및 음성으로 출력하는 역할을 한다. 선박 운전자는 결과 출력부(500)를 통해 출력되는 고해상도 융합 영상을 보면서 주변의 상황을 정확하게 파악할 수 있고, 고해상도 융합 영상 내의 원하는 위치의 추정된 객체 깊이 정보를 파악할 수 있다.
위에 설명한 본 발명의 딥러닝 기반 저시정 상황 극복 기술을 구현한 시스템에서 이루어지는 저시정 상황 극복 방법에 대해 도면을 참조하여 설명하기로 한다.
도 4는 도 3의 딥러닝 기반 저시정 상황 극복 기술을 구현한 시스템에서 이루어지는 저시정 상황 극복 방법을 설명하기 위한 플로우챠트이고, 도 5는 도 4의 스텝(S40)에 대한 상세 플로우챠트로서, 여기서 S는 스텝(step)을 의미한다.
우선, 선박의 접안 시 저시정 상황이고, 카메라 이동 장치(10)의해 광학 카메라(100) 및 적외선 카메라(110)를 모니터링하고자 하는 방향에 위치시킨 상태라고 가정한다.
먼저, 광학 카메라(100)에 의해 저시정 영상이 획득되고(S10), 적외선 카메라(110)에 의해 저해상도의 흑백 영상이 획득된다(S20).
이어서, 저시정 영상 개선부(200)가 스텝(S10)에서 획득된 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜서 연무가 제거된 고시정 영상을 출력함으로써, 저시정 영상을 고시정 영상으로 변환하게 된다(S30).
다음, 적외선 영상 처리부(300)가 스텝(S20)에서 획득된 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상을 출력함으로써, 저해상도의 흑백 영상을 고해상도의 컬러 영상으로 변환한다(S40).
다음, 영상 융합부(400)가 스텝(S30) 및 스텝(S40)에서 얻어진 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력함으로써, 고시정 영상 및 고해상도의 컬러 영상을 고해상도의 융합 영상으로 변환하고, 결과 출력부(500)를 통해 이 고해상도 융합 영상을 출력한다(S50).
이어서, 객체 깊이 추정부(410)가 스텝(S50)에서 획득된 고해상도 융합 영상과, 유저에 의해 입력된 추정하고자 하는 객체의 영상내 좌표 정보를 입력받아 학습 료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하고, 추정된 객체 깊이 정보를 결과 출력부를 통해 출력한다(S60).
한편, 상기 스텝(S40)을 도 5를 참조하여 상세히 설명하기로 한다.
먼저, 적외선 영상 처리부(300)가 적외선 카메라(110)에 의해 획득된 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력시킴으로써, 저해상도의 흑백 영상을 컬러 영상으로 변환한다(S41). 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
이어서, 적외선 영상 처리부(300)가 스텝(S41)에서 획득된 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력시킴으로써, 컬러영상을 고해상도의 컬러 영상으로 변환한다(S42). 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수개를 인공신경망에 입력시켜 학습시킨 것이다.
한편, 위의 설명에서는 스텝(S40)이 저해상도의 흑백 영상을 컬러 영상으로 변환하는 스텝(S41)을 수행한 후, 컬러영상을 고해상도의 컬러 영상으로 변환하는 스텝(S42)을 수행하는 것을 예로 들었다.
그러나, 역으로 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 흑백 영상을 출력하는 스텝을 수행한 후, 고해상도 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상을 출력하는 스텝을 수행할 수도 있다.
한편, 위의 실시예에서는 광학 카메라 및 적외선 카메라로부터 취득한 영상을 이용하여 저시정 영상을 개선하는 것을 예로 들었으나, 광학 카메라 및 적외선 카메라 대신에 다른 영상 취득 수단에서 취득한 영상을 이용하여 위의 실시예와 동일한 절차를 적용하여 구성할 수도 있다.
본 발명의 제 1 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 의하면, 저시정 상황에서 저시정 영상을 획득하도록 구성된 광학 카메라; 저해상도의 흑백 영상을 획득하도록 구성된 적외선 카메라; 선박 본체에 장착되어 상기 광학 카메라 및 적외선 카메라를 텔레스코프 방식으로 수직이동 가능하게 함과 아울러, 수직선을 기준으로 360도 회전가능하게 하는 카메라 이동 장치; 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부; 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부; 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부; 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및 상기 선박의 운전자가 응시할 수 있는 위치에 설치되어 상기 고해상도 융합 영상과 추정된 객체 깊이 정보를 출력하도록 구성된 결과 출력부;를 포함하여 구성됨으로써, 선박의 접안 시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황에서 주변 상황을 운전자가 정확하게 모니터링할 수 있게 하여 안전한 접안을 가능하게 한다
[제 2 실시예]
도 2는 본 발명의 제 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치를 나타낸 도면이고, 도 3은 본 발명의 제 1, 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 구현한 시스템에 적용되는 블록 구성도이다.
본 발명의 제 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치는, 도 2에 도시된 바와 같이, 카메라 쌍(T), 저시정 영상 개선부(200), 적외선 영상 처리부(300), 영상 융합부(400), 객체 깊이 추정부(410) 및 결과 출력부(500)를 포함한다.
카메라 쌍(T)은 광학 카메라(100)와 적외선 카메라(110)가 쌍을 이루어 자동차의 2개의 사이드미러(S, S) 및 백미러(R)에 장착된다.
광학 카메라(100)는 자동차(A)의 주차 시 운전자의 시야를 확보하기 위한 위치에 설치되어 영상을 획득하는 역할을 하며, 특히 안개, 운무, 태풍 등의 기상악화로 인한 저시정 상황에서는 저시정 영상을 획득한다.
적외선 카메라(110)는 자동차(A)의 주차 시 운전자의 시야를 확보하기 위한 위치에 설치되어 저해상도의 흑백 영상을 획득하는 역할을 한다.
적외선 카메라(110)는 적외선 에너지(열)를 비접촉식으로 감지하여 전기 신호로 변환해 주는 기기이다. 이 전기 신호는 다시 열화상 이미지나 동영상으로 변환되어 비디오 모니터를 통해 출력되고 온도 관련 정보를 산출하는데 활용된다.
저시정 영상 개선부(200)는 광학 카메라(100)로부터 저시정 영상을 입력받아 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하는 역할을 한다.
여기서, 학습에 이용되는 데이터는 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한쌍이 되는 데이터 셋이거나, 또는 연무가 제거된 2차원 영상 데이터와 연무가 제거되지 않은 2차원 영상이 한쌍이 되는 데이터 셋이다. 이 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시키면 딥러닝 모델이 생성된다. 이 생성된 딥러닝 모델의 입력노드에 저시정 영상을 입력시키면 연무가 제거된 고시정 영상이 출력노드를 통해 출력된다.
적외선 영상 처리부(300)는 적외선 카메라(110)로부터 입력된 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하는 역할을 한다.
적외선 영상 처리부(300)는 채색부(310) 및 고해상 처리부(320)를 포함한다. 적외선 영상 처리부(300)는 입력되는 저해상도의 흑백 영상에 대해서 채색부(310)에 의한 처리를 한 후 고해상 처리부(320)에 의한 처리를 할 수도 있고, 고해상 처리부(320)에 의한 처리를 한 후 채색부(310)에 의한 처리를 할 수도 있다.
[채색부에 의한 처리를 한 후 고해상 처리부에 의한 처리를 할 경우]
채색부(310)는 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력하는 역할을 한다. 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
고해상 처리부(320)는 채색부(310)로부터 컬러 영상을 입력받아 학습 완료된딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력하는 역할을 한다. 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
[고해상 처리부에 의한 처리를 한 후 채색부에 의한 처리를 할 경우]
고해상 처리부(320)는 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 흑백 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본의 흑백 고해상도 영상과 이 원본의 흑백 고해상도 영상을 다운 샘플링 한 흑백 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
채색부(310)는 고해상 처리부(320)로부터 입력되는 고해상도 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
영상 융합부(400)는 저시정 영상 개선부(200) 및 적외선 영상 처리부(300)로부터 입력된 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다. 고해상도 융합 영상이란 고시정 및 고해상도의 컬러 영상을 의미한다.
객체 깊이 추정부(410)는 영상 융합부(400)에서 고해상도 융합 영상을 입력받고, 외부의 유저로부터 객체 깊이를 추정하기 위한 객체의 영상내 좌표의 정보를 입력받아, 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다. 여기서, 객체는 배경이 아닌 부분 즉, 도로에 있는 자동차를 말한다.
객체 깊이는 광학 카메라(100) 및 적외선 카메라(110)로부터 이격된 객체의 거리를 의미한다. 예를 들어, 자동차의 주차시 사이드미러(S) 및 백미러(R)에 장착된 광학 카메라(100) 및 적외선 카메라(110)로부터 주변 객체까지의 거리를 의미할 수 있다.
결과 출력부(500)는 자동차 운전자가 응시할 수 있는 위치에 설치되고, 영상 융합부(400) 및 객체 깊이 추정부(410)로부터 고해상도 융합 영상과 추정된 객체 깊이 정보[2개의 사이드미러(S, S) 및 백미러(R)에 장착된 카메라 쌍(T)들 각각에서 얻어지는 저시정 영상 및 저해상도의 흑백 영상을 기초로 하여 얻어진 고해상도 융합 영상과 추정된 객체 깊이 정보]를 입력받아 합성시킨 영상으로, 또는 합성시킨 영상 및 음성으로 출력하는 역할을 한다. 자동차 운전자는 주차 시 결과 출력부(500)를 통해 출력되는 합성된 고해상도 융합 영상을 보면서 주변의 상황을 정확하게 파악할 수 있고, 합성된 고해상도 융합 영상 내의 원하는 위치의 추정된 객체 깊이 정보를 파악할 수 있다.
상기와 같이 구성된 본 발명의 제 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치의 작용에 대해 설명하기로 한다.
우선, 저시정 상황에서 광학 카메라(100) 및 적외선 카메라(110)로부터 획득된 저시정 영상 및 저해상도의 흑백 영상을 기초로 하여 고해상도 융합 영상 및 객체 깊이 정보를 얻는 과정은 위에 설명한 제 1 실시예와 동일하므로 이에 대한 설명은 생략하기로 한다.
자동차의 주차 시 저시정 상황이라고 가정하고, 2개의 사이드미러(S, S) 및 백미러(R)에 장착된 카메라 쌍(T)들 각각에서 저시정 영상 및 저해상도의 흑백 영상이 획득되고, 이들 2개의 사이드미러(S, S) 및 백미러(R) 각각에서 획득된 저시정 영상 및 저해상도의 흑백 영상을 기초로 하여 도 3 및 도 4에 설명된 과정에 의해 고해상도 융합 영상 및 객체 깊이 정보가 얻어진다.
이어서, 결과 출력부(500)는 얻어진 2개의 사이드미러(S, S) 및 백미러(R) 각각의 위치에서 획득된 고해상도 융합 영상 및 객체 깊이 정보를 합성시켜서 출력하게 된다. 이에 따라 운전자는 자동차 주변의 상황을 파악하면서 안전한 주차를 할 수 있게 된다.
본 발명의 제 2 실시예에 의한 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치에 의하면, 저시정 상황에서 저시정 영상을 획득하는 광학 카메라와 저해상도의 흑백 영상을 획득하는 적외선 카메라가 쌍을 이루어 상기 자동차의 2개의 사이드미러 및 백미러에 장착된 카메라 쌍; 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부; 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부; 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부; 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및 상기 자동차의 운전자가 응시할 수 있는 위치에 설치되어 상기 2개의 사이드미러 및 백미러에 장착된 카메라 쌍들 각각에서 얻어지는 저시정 영상 및 저해상도의 흑백 영상을 기초로 하여 얻어진 고해상도 융합 영상 및 객체 깊이 정보를 합성시켜 출력하는 결과 출력부;를 포함하여 구성됨으로써, 자동차의 주차 시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황에서 주변 상황을 운전자가 정확하게 모니터링할 수 있게 하여 안전한 주차를 가능하게 한다.
도면과 명세서에는 최적의 실시예가 개시되었으며, 특정한 용어들이 사용되었으나 이는 단지 본 발명의 실시형태를 설명하기 위한 목적으로 사용된 것이지 의미를 한정하거나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 카메라 이동 장치
12: 지지대
13: 헤드부
A: 자동차
B: 선박
100: 광학 카메라
110: 적외선 카메라
200: 저시정 영상 개선부
300: 적외선 영상처리부
310: 착색부
320: 고해상 처리부
400: 영상 융합부
410: 객체 깊이 추정부
500: 결과 출력부

Claims (8)

  1. 선박의 접안 시 기상악화에 따른 저시정 상황에서 운전자에게 고시정을 확보해주고 객체에 대한 깊이를 추정하여 제공해주는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치로서,
    저시정 상황에서 저시정 영상을 획득하도록 구성된 광학 카메라;
    저해상도의 흑백 영상을 획득하도록 구성된 적외선 카메라;
    선박 본체에 장착되어 상기 광학 카메라 및 적외선 카메라를 텔레스코프 방식으로 수직이동 가능하게 함과 아울러, 수직선을 기준으로 360도 회전가능하게 하는 카메라 이동 장치;
    상기 저시정 영상을, 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한쌍이 되는 데이터 셋 또는 연무가 제거된 2차원 영상과 연무가 제거되지 않은 2차원 영상이 한쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부;
    상기 저해상도의 흑백 영상을, 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델을 이용하여 컬러 영상으로 변환하고, 이 컬러 영상을, 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부;
    상기 고시정 영상 및 고해상도의 컬러 영상을, 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부;
    상기 고해상도 융합 영상을 입력받음과 아울러 외부의 유저로부터 객체의 영상내 좌표 정보를 입력받아, 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및
    상기 선박의 운전자가 응시할 수 있는 위치에 설치되어 상기 고해상도 융합 영상과 추정된 객체 깊이 정보를 출력하도록 구성된 결과 출력부;를 포함하는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
  2. 제 1 항에 있어서,
    상기 카메라 이동 장치는
    상기 광학 카메라 및 적외선 카메라가 일측면에 장착될 수 있는 공간을 제공하도록 구성된 헤드부;
    상기 헤드부의 하부에 부착되어 텔레스코프 방식으로 수직이동 가능함과 아울러, 수직선을 기준으로 360도 회전가능한 지지대; 및
    상기 지지대를 수용하여 상기 수직 이동 및 회전을 가능하게 하는 수용부;를 포함하는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
  3. 자동차의 주차 시 기상악화에 따른 저시정 상황에서 운전자에게 고시정을 확보해주고 객체에 대한 깊이를 추정하여 제공해주는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치로서,
    저시정 상황에서 저시정 영상을 획득하는 광학 카메라와 저해상도의 흑백 영상을 획득하는 적외선 카메라가 쌍을 이루어 상기 자동차의 2개의 사이드미러 및 백미러에 장착된 카메라 쌍;
    상기 저시정 영상을, 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한쌍이 되는 데이터 셋 또는 연무가 제거된 2차원 영상과 연무가 제거되지 않은 2차원 영상이 한쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부;
    상기 저해상도의 흑백 영상을, 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델을 이용하여 컬러 영상으로 변환하고, 이 컬러 영상을, 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부;
    상기 고시정 영상 및 고해상도의 컬러 영상을, 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부;
    상기 고해상도 융합 영상을 입력받음과 아울러 외부의 유저로부터 객체의 영상내 좌표 정보를 입력받아, 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및
    상기 자동차의 운전자가 응시할 수 있는 위치에 설치되어 상기 2개의 사이드미러 및 백미러에 장착된 카메라 쌍들 각각에서 얻어지는 저시정 영상 및 저해상도의 흑백 영상을 기초로 하여 얻어진 고해상도 융합 영상 및 객체 깊이 정보를 합성시켜 출력하는 결과 출력부;를 포함하는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 저시정 영상 개선부는
    상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
  5. 제 1 항 또는 제 3 항에 있어서,
    상기 저시정 영상 개선부는
    상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 연무가 제거된 2차원 영상과 연무가 제거되지 않은 2차원 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
  6. 제 1 항 또는 제 3 항에 있어서,
    상기 적외선 영상 처리부는
    상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력하도록 구성된 채색부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 채색부; 및
    상기 채색부로부터 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력하도록 구성된 고해상 처리부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 고해상 처리부;를 포함하는, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
  7. 제 1 항 또는 제 3 항에 있어서,
    상기 영상 융합부는
    상기 저시정 영상 개선부 및 적외선 영상 처리부로부터 고시정 영상 및 고해상도 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
  8. 제 1 항 또는 제 3 항에 있어서,
    상기 객체 깊이 추정부는
    상기 영상 융합부에서 입력된 고해상도 융합 영상, 및 외부로부터 입력된 객체의 영상내 좌표 정보를 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인, 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치.
KR1020200132029A 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치 KR102240127B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200132029A KR102240127B1 (ko) 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200132029A KR102240127B1 (ko) 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치

Publications (1)

Publication Number Publication Date
KR102240127B1 true KR102240127B1 (ko) 2021-04-14

Family

ID=75477668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132029A KR102240127B1 (ko) 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치

Country Status (1)

Country Link
KR (1) KR102240127B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611954A (zh) * 2024-01-19 2024-02-27 湖北大学 一种红外视频图像有效性评价方法、设备及存储设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931319B1 (ko) * 2008-12-03 2009-12-11 주식회사 창성에이스산업 선박 침입자 탐지 및 격퇴장치 및 그 방법
KR102060567B1 (ko) 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
KR102073971B1 (ko) * 2019-09-10 2020-02-05 (주)서광시스템 딥러닝 기반의 차량 단속 시스템 및 방법
KR20200039588A (ko) * 2018-10-04 2020-04-16 씨드로닉스(주) 선박 및 항만 실시간 모니터링 장치 및 방법
KR102151750B1 (ko) * 2019-08-08 2020-09-03 동아대학교 산학협력단 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931319B1 (ko) * 2008-12-03 2009-12-11 주식회사 창성에이스산업 선박 침입자 탐지 및 격퇴장치 및 그 방법
KR20200039588A (ko) * 2018-10-04 2020-04-16 씨드로닉스(주) 선박 및 항만 실시간 모니터링 장치 및 방법
KR102060567B1 (ko) 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
KR102151750B1 (ko) * 2019-08-08 2020-09-03 동아대학교 산학협력단 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법
KR102073971B1 (ko) * 2019-09-10 2020-02-05 (주)서광시스템 딥러닝 기반의 차량 단속 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611954A (zh) * 2024-01-19 2024-02-27 湖北大学 一种红外视频图像有效性评价方法、设备及存储设备
CN117611954B (zh) * 2024-01-19 2024-04-12 湖北大学 一种红外视频图像有效性评价方法、设备及存储设备

Similar Documents

Publication Publication Date Title
US11543532B2 (en) Signal processing apparatus, signal processing method, program, and mobile object for map generation baded on LiDAR and image processing
US11606516B2 (en) Image processing device, image processing method, and image processing system
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
CN109844813B (zh) 图像处理装置和图像处理方法
CN107545232B (zh) 车道探测系统和方法
US11587419B2 (en) Methods and systems providing an intelligent camera system
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
EP3663882B1 (en) Information processing device, information processing method, program and mobile unit
US10508911B2 (en) Apparatus and method for measurement, and program
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
US11127194B2 (en) Image processing apparatus and image processing method
CN111597974A (zh) 一种基于tof相机车厢内人员活动的监控方法及系统
JPWO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
KR102238629B1 (ko) 딥러닝 기반 저시정 상황 극복 시스템 및 방법
KR20210043566A (ko) 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램
KR20210098445A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체
KR102240127B1 (ko) 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치
US11443520B2 (en) Image processing apparatus, image processing method, and image processing system
US20220319192A1 (en) Driving assistance device, driving assistance method, and non-transitory computer-readable medium
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
Kutila et al. Towards autonomous vehicles with advanced sensor solutions
CN114995408A (zh) 一种船舶智能物标识别瞭望系统及方法
CN118414633A (zh) 电路系统、系统和方法