KR102238629B1 - 딥러닝 기반 저시정 상황 극복 시스템 및 방법 - Google Patents

딥러닝 기반 저시정 상황 극복 시스템 및 방법 Download PDF

Info

Publication number
KR102238629B1
KR102238629B1 KR1020200132028A KR20200132028A KR102238629B1 KR 102238629 B1 KR102238629 B1 KR 102238629B1 KR 1020200132028 A KR1020200132028 A KR 1020200132028A KR 20200132028 A KR20200132028 A KR 20200132028A KR 102238629 B1 KR102238629 B1 KR 102238629B1
Authority
KR
South Korea
Prior art keywords
image
resolution
deep learning
learning model
low visibility
Prior art date
Application number
KR1020200132028A
Other languages
English (en)
Inventor
박세길
장준혁
한정욱
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020200132028A priority Critical patent/KR102238629B1/ko
Application granted granted Critical
Publication of KR102238629B1 publication Critical patent/KR102238629B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 저시정 상황 극복 시스템 및 방법에 관한 것으로서, 특히 해상, 육상 또는 공중에서 선박, 자동차 또는 비행기의 운전시 안개, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황을 딥러닝 방식에 기초하여 극복하는 딥러닝 기반 저시정 상황 극복 시스템 및 방법에 관한 것이다.

Description

딥러닝 기반 저시정 상황 극복 시스템 및 방법{SYSTEM AND METHOD FOR OVERCOMING LOW VISIBILITY SITUATION BASED ON DEEP LEARNING}
본 발명은 딥러닝 기반 저시정 상황 극복 시스템 및 방법에 관한 것으로서, 특히 해상, 육상 또는 공중에서 선박, 자동차 또는 비행기의 운전시 연무, 비, 눈 등과 같은 기상 악화에 따른 저시정 상황을 딥러닝 방식에 기초하여 극복하는 딥러닝 기반 저시정 상황 극복 시스템 및 방법에 관한 것이다.
일반적으로, 대량의 화물이나 승객을 운송하는 선박은 사고 발생 빈도는 낮아도 한 번 사고가 발생하면 대량 인명피해나 치명적 인명사고, 물적 손실 등을 유발할 수 있다. 선박은 미리 설정된 항로를 따라 이동하기는 하나, 도로와 같은 정해진 형태의 길이 없는 관계로 항만 부근에서, 또는 해상에서 충돌 사고가 발생할 수 있다. 선박사고의 대부분은 운항과실로 인한 다수의 인명피해를 동반하고 있다. 그 이유는 새벽 시간에 졸음 운항이나, 해상기상 악화 또는 부주의 등과 같이 사람의 실수로 인해 일어나기 때문이다. 최근에는 이와 같은 사람이 범할 수 있는 부주의를 방지하기 위해 선박에 카메라를 설치하고 영상 분석 및 알림 시스템을 통해 부주의를 줄일 수 있는 방안을 연구하고 있다. 특히 연무가 각 산업분야에 미치는 영향은 다양하다. 도로상의 연무는 교통사고 발생에 주로 영향을 미친다. 도로교통안전관리공단의 통계에 따르면 연무가 발생한 날은 사고발생 건수에 비해 치사율이 상대적으로 높다. 선박의 경우에 있어서도 마찬가지로, 연무가 심한 날씨나 파도가 치는 환경 등 해상 기상 악화 상황에서는 이웃하는 선박의 접근을 미리 인지하거나 충돌 상황을 회피하기 어려운 상황이 있다.
국내 특허 등록 제2060567호 공보(이하, 선행기술이라 함)에는 해상에서의 기상 악화에 따른 연무 등과 같은 환경에서 해상 위에 존재하는 물체와의 충돌 사고를 방지하기 위해, 일정 반경 내의 모든 물체 움직임을 감지 및 인식하고, 객체 감지 시 위험 알림을 선장에게 알림으로써 사고를 크게 감소시킬 수 있는 영상 인식 및 검출 시스템이 개시되어 있다.
그러나 선행기술은 일정 반경 내의 물체 움직임을 감지하여 객체 감지시 알람을 발생하는 구성을 가지고 있으나, 연무와 같은 기상 악화 상황에서 실제 운전자의 시정 개선 효과는 없었다.
국내 특허 등록 제2060567호 공보(발명의 명칭 : 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템)
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 육상 또는 공중에서 선박, 자동차 또는 비행기의 운전 시 기상 악화에 따른 저시정 상황을 극복할 수 있게 하는 딥러닝 기반 저시정 상황 극복 시스템 및 방법을 제공하는 데에 있다.
상기의 목적을 달성하기 위해, 본 발명의 실시형태에 의한 딥러닝 기반 저시정 상황 극복 시스템은 기상 악화에 따른 저시정 상황에서 운전자에게 고시정을 확보해주고 객체에 대한 깊이를 추정하여 제공해주는 딥러닝 기반 저시정 상황 극복 시스템으로서, 저시정 상황에서 저시정 영상을 획득하도록 구성된 광학 카메라; 저해상도의 흑백 영상을 획득하도록 구성된 적외선 카메라; 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부; 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부; 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부; 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및 상기 고해상도 융합 영상과 추정된 객체 깊이 정보를 출력하도록 구성된 결과 출력부;를 포함하는 것을 특징으로 한다.
상기 실시 형태에 의한 딥러닝 기반 저시정 상황 극복 시스템에 있어서, 상기 저시정 영상 개선부는 상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성될 수 있으며, 여기서 학습 완료된 딥러닝 모델은 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
상기 실시 형태에 의한 딥러닝 기반 저시정 상황 극복 시스템에 있어서, 상기 저시정 영상 개선부는 상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성될 수 있으며, 여기서 학습 완료된 딥러닝 모델은 연무가 제거된 2차원 영상과 연무가 제거되지 않은 2차원 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
상기 실시 형태에 의한 딥러닝 기반 저시정 상황 극복 시스템에 있어서, 상기 적외선 영상 처리부는 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력하도록 구성된 채색부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 채색부; 및 상기 채색부로부터 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력하도록 구성된 고해상 처리부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 고해상 처리부;를 포함할 수 있다.
상기 실시 형태에 의한 딥러닝 기반 저시정 상황 극복 시스템에 있어서, 상기 영상 융합부는 상기 저시정 영상 개선부 및 적외선 영상 처리부로부터 고시정 영상 및 고해상도 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력하도록 구성될 수 있으며, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
상기 실시 형태에 의한 딥러닝 기반 저시정 상황 극복 시스템에 있어서, 상기 객체 깊이 추정부는 상기 영상 융합부에서 입력된 고해상도 융합 영상, 및 외부로부터 입력된 객체의 영상내 좌표 정보를 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성될 수 있으며, 여기서 학습 완료된 딥러닝 모델은 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
상기의 목적을 달성하기 위해, 본 발명의 다른 실시형태에 의한 딥러닝 기반 저시정 상황 극복 방법은 저시정 상황에서 광학 카메라에 의해 저시정 영상이 획득됨과 아울러 적외선 카메라에 의해 저해상도의 흑백 영상이 획득되는 단계; 저시정 영상 개선부가 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하는 단계; 적외선 영상 처리부가 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하는 단계; 영상 융합부가 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하고, 결과 출력부를 통해 고해상도 융합 영상을 출력하는 단계; 및 객체 깊이 추정부가 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하고, 추정된 객체 깊이 정보를 상기 결과 출력부를 통해 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기 다른 실시형태에 의한 딥러닝 기반 저시정 상황 극복 방법에 있어서, 상기 고해상도의 컬러 영상으로 변환하는 단계는 상기 적외선 영상 처리부가 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력시키는 단계로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 컬러 영상 출력 단계; 및 상기 적외선 영상 처리부가 상기 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력시키는 단계로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수개를 인공신경망에 입력시켜 학습시킨 것인 고해상도 컬러 영상 출력 단계;를 포함할 수 있다.
본 발명의 실시형태들에 의한 딥러닝 기반 저시정 상황 극복 시스템 및 방법에 의하면, 저시정 상황에서 광학 카메라에 의해 저시정 영상이 획득됨과 아울러 적외선 카메라에 의해 저해상도의 흑백 영상이 획득되고; 저시정 영상 개선부가 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하며; 적외선 영상 처리부가 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하며; 영상 융합부가 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하고, 결과 출력부를 통해 고해상도 융합 영상을 출력하며; 객체 깊이 추정부가 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하고, 추정된 객체 깊이 정보를 상기 결과 출력부를 통해 출력하도록 구성됨으로써, 육상 또는 공중에서 선박, 자동차 또는 비행기의 운전 시 기상 악화에 따른 저시정 상황을 극복할 수 있게 한다는 뛰어난 효과가 있다.
도 1은 본 발명의 실시예에 의한 딥러닝 기반 저시정 상황 극복 시스템의 블록 구성도이다.
도 2는 본 발명의 실시예에 의한 딥러닝 기반 저시정 상황 극복 방법을 설명하기 위한 플로우챠트이다.
도 3은 도 2의 스텝(S40)에 대한 상세 플로우챠트이다.
본 발명의 실시예를 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예를 기술하기 위한 것이며, 결코 제한적으로 해석되어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하는 것으로 해석되어서는 안 된다.
도면에서 도시된 각 시스템에서, 몇몇 경우에서의 요소는 각각 동일한 참조 번호 또는 상이한 참조 번호를 가져서 표현된 요소가 상이하거나 유사할 수가 있음을 시사할 수 있다. 그러나 요소는 상이한 구현을 가지고 본 명세서에서 보여지거나 기술된 시스템 중 몇몇 또는 전부와 작동할 수 있다. 도면에서 도시된 다양한 요소는 동일하거나 상이할 수 있다. 어느 것이 제1 요소로 지칭되는지 및 어느 것이 제2 요소로 불리는지는 임의적이다.
본 명세서에서 어느 하나의 구성요소가 다른 구성요소로 자료 또는 신호를 '전송', '전달' 또는 '제공'한다 함은 어느 한 구성요소가 다른 구성요소로 직접 자료 또는 신호를 전송하는 것은 물론, 적어도 하나의 또 다른 구성요소를 통하여 자료 또는 신호를 다른 구성요소로 전송하는 것을 포함한다.
이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 의한 딥러닝 기반 저시정 상황 극복 시스템의 블록 구성도이다.
본 발명의 실시예에 의한 딥러닝 기반 저시정 상황 극복 시스템은, 도 1에 도시된 바와 같이, 광학 카메라(100), 적외선 카메라(110), 저시정 영상 개선부(200), 적외선 영상 처리부(300), 영상 융합부(400), 객체 깊이 추정부(410) 및 결과 출력부(500)를 포함한다.
광학 카메라(100)는 선박, 차량 등의 운송수단 운전 시 운전자의 시야를 확보하기 위한 위치에 설치되어 영상을 획득하는 역할을 하며, 특히 안개, 운무, 태풍 등의 기상악화로 인한 저시정 상황에서는 저시정 영상을 획득한다.
적외선 카메라(110)는 운송수단의 운전 시 운전자의 시야를 확보하기 위한 위치에 설치되어 저해상도의 흑백 영상을 획득하는 역할을 한다.
적외선 카메라(110)는 적외선 에너지(열)를 비접촉식으로 감지하여 전기 신호로 변환해 주는 기기이다. 이 전기 신호는 다시 열화상 이미지나 동영상으로 변환되어 비디오 모니터를 통해 출력되고 온도 관련 정보를 산출하는데 활용된다.
저시정 영상 개선부(200)는 광학 카메라(100)로부터 저시정 영상을 입력받아 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하는 역할을 한다.
여기서, 학습에 이용되는 데이터는 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한쌍이 되는 데이터 셋이거나, 또는 연무가 제거된 2차원 영상 데이터와 연무가 제거되지 않은 2차원 영상이 한쌍이 되는 데이터 셋이다. 이 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시키면 딥러닝 모델이 생성된다. 이 생성된 딥러닝 모델의 입력노드에 저시정 영상을 입력시키면 연무가 제거된 고시정 영상이 출력노드를 통해 출력된다.
적외선 영상 처리부(300)는 적외선 카메라(110)로부터 입력된 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하는 역할을 한다.
적외선 영상 처리부(300)는 채색부(310) 및 고해상 처리부(320)를 포함한다. 적외선 영상 처리부(300)는 입력되는 저해상도의 흑백 영상에 대해서 채색부(310)에 의한 처리를 한 후 고해상 처리부(320)에 의한 처리를 할 수도 있고, 고해상 처리부(320)에 의한 처리를 한 후 채색부(310)에 의한 처리를 할 수도 있다.
[채색부에 의한 처리를 한 후 고해상 처리부에 의한 처리를 할 경우]
채색부(310)는 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력하는 역할을 한다. 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
고해상 처리부(320)는 채색부(310)로부터 컬러 영상을 입력받아 학습 완료된딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력하는 역할을 한다. 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
[고해상 처리부에 의한 처리를 한 후 채색부에 의한 처리를 할 경우]
고해상 처리부(320)는 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 흑백 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본의 흑백 고해상도 영상과 이 원본의 흑백 고해상도 영상을 다운 샘플링 한 흑백 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
채색부(310)는 고해상 처리부(320)로부터 입력되는 고해상도 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
영상 융합부(400)는 저시정 영상 개선부(200) 및 적외선 영상 처리부(300)로부터 입력된 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다. 고해상도 융합 영상이란 고시정 및 고해상도의 컬러 영상을 의미한다.
객체 깊이 추정부(410)는 영상 융합부(400)에서 고해상도 융합 영상을 입력받고, 외부의 유저로부터 객체 깊이를 추정하기 위한 객체의 영상내 좌표의 정보를 입력받아, 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하는 역할을 한다. 여기서, 학습 완료된 딥러닝 모델은 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다. 여기서, 객체는 배경이 아닌 부분을 의미한다. 예를 들어 하늘에 비행기, 바다에 선박, 도로 위의 자동차 등을 말한다.
객체 깊이는 광학 카메라(100) 및 적외선 카메라(110)로부터 이격된 객체의 거리를 의미한다.
결과 출력부(500)는 영상 융합부(400) 및 객체 깊이 추정부(410)로부터 고해상도 융합 영상과 추정된 객체 깊이 정보를 입력받아 영상으로, 또는 영상 및 음성으로 출력하는 역할을 한다. 선박 또는 자동차 운전자는 결과 출력부(500)를 통해 출력되는 고해상도 융합 영상을 보면서 주변의 상황을 정확하게 파악할 수 있고, 고해상도 융합 영상 내의 원하는 위치의 추정된 객체 깊이 정보를 파악할 수 있다.
상기와 같이 구성된 본 발명의 실시예에 의한 딥러닝 기반 저시정 상황 극복 시스템을 이용한 저시정 상황 극복 방법에 대해 도면을 참조하여 설명하기로 한다.
도 2는 본 발명의 실시예에 의한 딥러닝 기반 저시정 상황 극복 방법을 설명하기 위한 플로우챠트이고, 도 3은 도 2의 스텝(S40)에 대한 상세 플로우챠트로서, 여기서 S는 스텝(step)을 의미한다.
먼저, 선박 또는 자동차의 운전 시, 저시정 상황이라고 가정하면, 광학 카메라(100)에 의해 저시정 영상이 획득되고(S10), 적외선 카메라(110)에 의해 저해상도의 흑백 영상이 획득된다(S20).
이어서, 저시정 영상 개선부(200)가 스텝(S10)에서 획득된 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜서 연무가 제거된 고시정 영상을 출력함으로써, 저시정 영상을 고시정 영상으로 변환하게 된다(S30).
다음, 적외선 영상 처리부(300)가 스텝(S20)에서 획득된 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상을 출력함으로써, 저해상도의 흑백 영상을 고해상도의 컬러 영상으로 변환한다(S40).
다음, 영상 융합부(400)가 스텝(S30) 및 스텝(S40)에서 얻어진 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력함으로써, 고시정 영상 및 고해상도의 컬러 영상을 고해상도의 융합 영상으로 변환하고, 결과 출력부(500)를 통해 이 고해상도 융합 영상을 출력한다(S50).
이어서, 객체 깊이 추정부(410)가 스텝(S50)에서 획득된 고해상도 융합 영상과, 유저에 의해 입력된 추정하고자 하는 객체의 영상내 좌표 정보를 입력받아 학습 료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하고, 추정된 객체 깊이 정보를 결과 출력부를 통해 출력한다(S60).
한편, 상기 스텝(S40)을 도 3을 참조하여 상세히 설명하기로 한다.
먼저, 적외선 영상 처리부(300)가 적외선 카메라(110)에 의해 획득된 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력시킴으로써, 저해상도의 흑백 영상을 컬러 영상으로 변환한다(S41). 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것이다.
이어서, 적외선 영상 처리부(300)가 스텝(S41)에서 획득된 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력시킴으로써, 컬러영상을 고해상도의 컬러 영상으로 변환한다(S42). 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수개를 인공신경망에 입력시켜 학습시킨 것이다.
한편, 위의 설명에서는 스텝(S40)이 저해상도의 흑백 영상을 컬러 영상으로 변환하는 스텝(S41)을 수행한 후, 컬러영상을 고해상도의 컬러 영상으로 변환하는 스텝(S42)을 수행하는 것을 예로 들었다.
그러나, 역으로 적외선 카메라(110)로부터 입력되는 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도 흑백 영상을 출력하는 스텝을 수행한 후, 고해상도 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상을 출력하는 스텝을 수행할 수도 있다.
한편, 위의 실시예에서는 광학 카메라 및 적외선 카메라로부터 취득한 영상을 이용하여 저시정 영상을 개선하는 것을 예로 들었으나, 광학 카메라 및 적외선 카메라 대신에 다른 영상 취득 수단에서 취득한 영상을 이용하여 위의 실시예와 동일한 절차를 적용하여 구성할 수도 있다.
본 발명의 실시예에 의한 딥러닝 기반 저시정 상황 극복 시스템 및 방법에 의하면, 저시정 상황에서 광학 카메라에 의해 저시정 영상이 획득됨과 아울러 적외선 카메라에 의해 저해상도의 흑백 영상이 획득되고; 저시정 영상 개선부가 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하며; 적외선 영상 처리부가 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하며; 영상 융합부가 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하고, 결과 출력부를 통해 고해상도 융합 영상을 출력하며; 객체 깊이 추정부가 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하고, 추정된 객체 깊이 정보를 상기 결과 출력부를 통해 출력하도록 구성됨으로써, 육상 또는 공중에서 선박, 자동차 또는 비행기의 운전 시 기상 악화에 따른 저시정 상황을 극복할 수 있다.
도면과 명세서에는 최적의 실시예가 개시되었으며, 특정한 용어들이 사용되었으나 이는 단지 본 발명의 실시형태를 설명하기 위한 목적으로 사용된 것이지 의미를 한정하거나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 광학 카메라
110: 적외선 카메라
200: 저시정 영상 개선부
300: 적외선 영상처리부
310: 채색부
320: 고해상 처리부
400: 영상 융합부
410: 객체 깊이 추정부
500: 결과 출력부

Claims (8)

  1. 기상 악화에 따른 저시정 상황에서 운전자에게 고시정을 확보해주고 객체에 대한 깊이를 추정하여 제공해주는 딥러닝 기반 저시정 상황 극복 시스템으로서,
    저시정 상황에서 저시정 영상을 획득하도록 구성된 광학 카메라;
    저해상도의 흑백 영상을 획득하도록 구성된 적외선 카메라;
    상기 저시정 영상을, 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한쌍이 되는 데이터 셋 또는 연무가 제거된 2차원 영상 과 연무가 제거되지 않은 2차원 영상이 한쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하도록 구성된 저시정 영상 개선부;
    상기 저해상도의 흑백 영상을, 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델을 이용하여 컬러 영상으로 변환하고, 이 컬러 영상을, 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델에 입력시켜 고해상도의 컬러 영상으로 변환하도록 구성된 적외선 영상 처리부;
    상기 고시정 영상 및 고해상도의 컬러 영상을, 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하도록 구성된 영상 융합부;
    상기 고해상도 융합 영상을 입력받음과 아울러 외부의 유저로부터 객체의 영상내 좌표 정보를 입력받아, 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋을 인공신경망에 입력시켜 학습시킨, 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성된 객체 깊이 추정부; 및
    상기 고해상도 융합 영상과 추정된 객체 깊이 정보를 출력하도록 구성된 결과 출력부;를 포함하는 딥러닝 기반 저시정 상황 극복 시스템.
  2. 제 1 항에 있어서,
    상기 저시정 영상 개선부는
    상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 연무효과가 있는 3차원 가상현실 영상과 연무효과가 없는 3차원 가상현실 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 딥러닝 기반 저시정 상황 극복 시스템.
  3. 제 1 항에 있어서,
    상기 저시정 영상 개선부는
    상기 저시정 영상을 학습 완료된 딥러닝 모델에 입력시켜 연무가 제거된 고시정 영상을 출력하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 연무가 제거된 2차원 영상과 연무가 제거되지 않은 2차원 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 딥러닝 기반 저시정 상황 극복 시스템.
  4. 제 1 항에 있어서,
    상기 적외선 영상 처리부는
    상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력하도록 구성된 채색부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 채색부; 및
    상기 채색부로부터 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력하도록 구성된 고해상 처리부로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 고해상 처리부;를 포함하는 딥러닝 기반 저시정 상황 극복 시스템.
  5. 제 1 항에 있어서,
    상기 영상 융합부는
    상기 저시정 영상 개선부 및 적외선 영상 처리부로부터 고시정 영상 및 고해상도 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 융합 영상을 출력하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 학습을 위해 준비한 연무가 제거된 광학 카메라 영상과 채색되고 고해상도 처리된 적외선 카메라 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 딥러닝 기반 저시정 상황 극복 시스템.
  6. 제 1 항에 있어서,
    상기 객체 깊이 추정부는
    상기 영상 융합부에서 입력된 고해상도 융합 영상, 및 외부로부터 입력된 객체의 영상내 좌표 정보를 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하도록 구성되며,
    여기서, 학습 완료된 딥러닝 모델은 3차원 가상현실 영상, 객체의 영상내 좌표 정보 및 객체 깊이 정보를 포함하는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 딥러닝 기반 저시정 상황 극복 시스템.
  7. 제 1 항에 기재된 딥러닝 기반 저시정 상황 극복 시스템을 이용한 딥러닝 기반 저시정 상황 극복 방법으로서,
    저시정 상황에서 광학 카메라에 의해 저시정 영상이 획득됨과 아울러 적외선 카메라에 의해 저해상도의 흑백 영상이 획득되는 단계;
    저시정 영상 개선부가 상기 저시정 영상을 학습 완료된 딥러닝 모델을 이용하여 연무가 제거된 고시정 영상으로 변환하는 단계;
    적외선 영상 처리부가 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도의 컬러 영상으로 변환하는 단계;
    영상 융합부가 상기 고시정 영상 및 고해상도의 컬러 영상을 학습 완료된 딥러닝 모델을 이용하여 고해상도 융합 영상으로 변화하고, 결과 출력부를 통해 고해상도 융합 영상을 출력하는 단계; 및
    객체 깊이 추정부가 상기 고해상도 융합 영상 및 객체의 영상내 좌표 정보를 입력받아 학습 완료된 딥러닝 모델에 입력시켜 객체 깊이를 추정하고, 추정된 객체 깊이 정보를 상기 결과 출력부를 통해 출력하는 단계;를 포함하는 딥러닝 기반 저시정 상황 극복 방법.
  8. 제 7 항에 있어서,
    상기 고해상도의 컬러 영상으로 변환하는 단계는
    상기 적외선 영상 처리부가 상기 저해상도의 흑백 영상을 학습 완료된 딥러닝 모델에 입력시켜 컬러 영상을 출력시키는 단계로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도의 영상과 이 원본 고해상도의 영상을 흑백 영상화한 흑백 영상이 한 쌍이 되는 데이터 셋 다수 개를 인공신경망에 입력시켜 학습시킨 것인 컬러 영상 출력 단계; 및
    상기 적외선 영상 처리부가 상기 컬러 영상을 입력받아 학습 완료된 딥러닝 모델에 입력시켜 고해상도 컬러 영상을 출력시키는 단계로서, 여기서 학습 완료된 딥러닝 모델은 학습을 위해 준비한 원본 고해상도 영상과 이 원본 고해상도 영상을 다운 샘플링한 저해상도 영상이 한 쌍이 되는 데이터 셋 다수개를 인공신경망에 입력시켜 학습시킨 것인 고해상도 컬러 영상 출력 단계;를 포함하는 딥러닝 기반 저시정 상황 극복 방법.
KR1020200132028A 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 시스템 및 방법 KR102238629B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200132028A KR102238629B1 (ko) 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200132028A KR102238629B1 (ko) 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102238629B1 true KR102238629B1 (ko) 2021-04-09

Family

ID=75443958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132028A KR102238629B1 (ko) 2020-10-13 2020-10-13 딥러닝 기반 저시정 상황 극복 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102238629B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283529A (zh) * 2021-06-08 2021-08-20 南通大学 一种面向多模态图像能见度检测的神经网络构建方法
KR102546982B1 (ko) * 2022-12-23 2023-06-26 한국건설기술연구원 딥러닝 모델을 위한 학습 데이터를 생성하기 위한 장치 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746712B1 (ko) * 2016-02-26 2017-06-13 울산과학기술원 안개 제거 방법 및 장치
KR102060567B1 (ko) 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
KR102073971B1 (ko) * 2019-09-10 2020-02-05 (주)서광시스템 딥러닝 기반의 차량 단속 시스템 및 방법
KR20200039588A (ko) * 2018-10-04 2020-04-16 씨드로닉스(주) 선박 및 항만 실시간 모니터링 장치 및 방법
KR20200071866A (ko) * 2018-12-05 2020-06-22 성균관대학교산학협력단 기계학습을 이용한 고해상도 영상의 처리 방법 및 장치
KR102151750B1 (ko) * 2019-08-08 2020-09-03 동아대학교 산학협력단 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746712B1 (ko) * 2016-02-26 2017-06-13 울산과학기술원 안개 제거 방법 및 장치
KR20200039588A (ko) * 2018-10-04 2020-04-16 씨드로닉스(주) 선박 및 항만 실시간 모니터링 장치 및 방법
KR20200071866A (ko) * 2018-12-05 2020-06-22 성균관대학교산학협력단 기계학습을 이용한 고해상도 영상의 처리 방법 및 장치
KR102060567B1 (ko) 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
KR102151750B1 (ko) * 2019-08-08 2020-09-03 동아대학교 산학협력단 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법
KR102073971B1 (ko) * 2019-09-10 2020-02-05 (주)서광시스템 딥러닝 기반의 차량 단속 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283529A (zh) * 2021-06-08 2021-08-20 南通大学 一种面向多模态图像能见度检测的神经网络构建方法
KR102546982B1 (ko) * 2022-12-23 2023-06-26 한국건설기술연구원 딥러닝 모델을 위한 학습 데이터를 생성하기 위한 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US11543532B2 (en) Signal processing apparatus, signal processing method, program, and mobile object for map generation baded on LiDAR and image processing
KR101836304B1 (ko) 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치
US20210058573A1 (en) Image processing device, image processing method, and image processing system
JP7003660B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109844813B (zh) 图像处理装置和图像处理方法
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
EP3367361B1 (en) Method, device and system for processing startup of front vehicle
US9196054B2 (en) Method and system for recovery of 3D scene structure and camera motion from a video sequence
US20200410274A1 (en) Image processing apparatus and image processing method
EP3663882B1 (en) Information processing device, information processing method, program and mobile unit
JP2019008460A (ja) 物体検出装置、物体検出方法およびプログラム
KR102238629B1 (ko) 딥러닝 기반 저시정 상황 극복 시스템 및 방법
US20220180483A1 (en) Image processing device, image processing method, and program
KR20200043391A (ko) 화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램
CN111597974A (zh) 一种基于tof相机车厢内人员活动的监控方法及系统
US20200158856A1 (en) Apparatus, method and computer program for computer vision
CN110574357A (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
KR20210098445A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체
US20220397675A1 (en) Imaging systems, devices and methods
US20210176390A1 (en) Image processor, image processing method, and imaging device
WO2019111529A1 (ja) 画像処理装置および画像処理方法
KR102240127B1 (ko) 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
KR102283968B1 (ko) 이미지 학습 기반 시정 관측 정보 생성 및 공유 시스템과 그 방법
US20220165066A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant