KR102498615B1 - 인공지능 기반의 나이트비전 시스템 - Google Patents

Abstract

본 발명의 일 실시예에 따른 인공지능 기반의 나이트비전 시스템은, 야간 주행 중인 전방 장소를 촬영한 적외선 영상을 획득하는 나이트비전 카메라; 기 학습된 딥러닝 모델을 통해 상기 나이트비전 카메라에 의해 획득한 영상에 포함된 빛퍼짐 현상과 노이즈를 모두 제거하는 전처리 작업을 수행하는 영상 전처리부; 기 학습된 머신 러닝 모델을 통해 상기 영상 전처리부에 의해 전처리된 영상에 존재하는 객체를 자동으로 인식하는 객체 인식부; 및 상기 객체 인식부에 의한 객체 인식 결과를 상기 영상 전처리부에 의해 전처리된 영상에 오버레이시켜 제공하는 영상 제공부를 포함한다.

Description

인공지능 기반의 나이트비전 시스템 {AI Based Night Vision System}

본 출원은 인공지능 기반의 나이트비전 시스템에 관한 것이다.

나이트비전 시스템(Night Vision System)은 야간 주행 시에 운전자에게 개선된 시야를 제공해 주기 위한 것으로, 불충분한 조명, 제한된 시야, 빛 반사 등으로 인한 야간 운전의 위험에 대처하기 위해 널리 사용되고 있다.

일반적으로 나이트비전 시스템은 근적외선 방식 또는 원적외선 방식으로 영상을 획득하고, 획득한 영상을 디스플레이 장치를 통해 운전자에게 제공하도록 구성된다.

그러나 나이트비전 시스템 사용 시에 기상 상태나 주변 환경에 따라 영상 품질이 떨어질 수 있으며, 이 경우 영상에서 객체를 인식하는데 어려움이 있을 수 있다. 특히, 빛의 난반사에 의해 빛퍼짐 현상이 발생하는 경우 영상 품질이 크게 떨어질 수 있다.

또한, 별도의 디스플레이 장치를 통해 영상을 제공하는 경우, 운전자가 전방이 아닌 디스플레이 장치를 주시하여야 하므로 불편함이 있을 수 있다.

따라서, 당해 기술 분야에서는 딥러닝 모델과 머신 러닝 모델을 함께 이용하여 나이트비전 시스템에서 영상의 빛퍼짐 현상을 보다 효율적으로 개선함과 더불어, 영상을 보다 효율적으로 운전자에게 제공하기 위한 방안이 요구되고 있다.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 인공지능 기반의 나이트비전 시스템을 제공한다.

상기 인공지능 기반의 나이트비전 시스템은, 야간 주행 중인 전방 장소를 촬영한 적외선 영상을 획득하는 나이트비전 카메라; 기 학습된 딥러닝 모델을 통해 상기 나이트비전 카메라에 의해 획득한 영상에 포함된 빛퍼짐 현상과 노이즈를 모두 제거하는 전처리 작업을 수행하는 영상 전처리부; 기 학습된 머신 러닝 모델을 통해 상기 영상 전처리부에 의해 전처리된 영상에 존재하는 객체를 자동으로 인식하는 객체 인식부; 및 상기 객체 인식부에 의한 객체 인식 결과를 상기 영상 전처리부에 의해 전처리된 영상에 오버레이시켜 제공하는 영상 제공부를 포함한다.

상기 딥러닝 모델은 Cycle-GAN(Generative Adversarial Network)와 CNN(Convolutional Neural Network) 중 어느 하나로 구현되며, 빛퍼짐 현상과 노이즈 중 적어도 하나를 포함하는 영상을 입력 조건으로 가지고, 빛퍼짐 현상과 노이즈 중 적어도 하나가 제거된 영상을 출력 조건으로 가지는 학습 데이터를 이용하여 사전에 학습되는 것을 특징으로 하는 것을 특징으로 한다.

상기 머신 러닝 모델은 전이학습 머신러닝와 적응형 머신러닝 중 어느 하나로 구현되며, 서로 상이한 객체가 존재하는 영상을 입력 조건으로 가지고, 객체 인식 결과를 출력 조건을 가지는 학습 데이터를 이용하여 사전에 학습되는 것을 특징으로 하는 것을 특징으로 한다.

상기 영상 제공부는 객체 인식 결과에 대응되는 색상 및 도형 중 적어도 하나로 표시하여 객체 인식 결과를 포함하는 영상을 출력하는 것을 특징으로 한다.

또한 상기 영상 제공부는 객체 종류를 알려주는 텍스트와 객체 인식 결과에 대응되는 알람 정보 중 적어도 하나를 더 제공하는 것을 특징으로 한다.

더하여, 상기 영상 제공부는 HUD(Head Up Display)로 구현되어 차량의 전창에 빛을 투사하여 상기 영상을 표시하는 것을 특징으로 한다.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 딥러닝 모델을 이용하여 영상의 빛퍼짐 현상을 사전 제거한 후 머신 러닝 모델을 통해 객체 인식 동작을 수행함으로써, 나이트비전 시스템에서 영상의 빛퍼짐 현상을 보다 효율적으로 개선할 수 있도록 한다.

또한 객체 인식 결과를 딥러닝 모델을 통해 빛퍼짐 현상이 제거된 영상에 오버레이시켜 제공함으로써, 영상 시청에 따른 운전자의 시야 피로도도 낮아질 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 나이트비전 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 딥 러닝 모델의 구현 예를 도시한 도면이다.
도 3는 본 발명의 일 실시예에 따른 머신 러닝 모델의 구현 예를 도시한 도면이다.
도 4은 본 발명의 일 실시예에 따른 인공지능 기반의 나이트비전 시스템의 동작 방법을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 나이트비전 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 나이트비전 시스템(100)은 나이트비전 카메라(110), 영상 전처리부(120), 객체 인식부(130) 및 영상 제공부(140)를 포함하여 구성될 수 있다.

나이트비전 카메라(110)는 주행 중의 운전자의 시야 영상을 획득하기 위한 것으로, 근적외선 및 원적외선 중 적어도 하나 방식으로 적외선 영상을 획득할 수 있다. 여기서, 근적외선 방식은 적외선 방사기(IR Generator)를 통하여 방사된 적외선이 객체에 도달한 후 반사된 근적외선(파장 : 800~1,000nm)을 카메라를 통하여 감지하는 방식이고, 원적외선 방식은 객체가 발산하는 열(파장 : 1,000nm 이상)을 원적외선 카메라를 이용하여 감지하는 방식이다. 나이트비전 카메라(110)는 통상의 기술자에게 알려진 바에 따라 구현될 수 있는 바, 이에 대한 구체적인 설명은 생략한다.

영상 전처리부(120)는 나이트비전 카메라(110)에 의해 획득한 적외선 영상을 전처리하여 객체 인식부(130)가 인식 및 처리할 수 있는 영상으로 변환하기 위한 것으로, 기 학습된 딥러닝 모델(121)에 의해 입력 영상의 전처리 작업을 수행할 수 있다.

본 발명의 영상 전처리부(120)는 딥러닝 모델(121)을 통해 영상의 빛퍼짐 현상과 각종 노이즈가 제거되도록 영상을 보정할 수 있다. 여기서, 딥러닝 모델(121)은 Cycle-GAN(Generative Adversarial Network), CNN(Convolutional Neural Network) 등으로 구현될 수 있으며, 이는 기상 상태 등의 다양한 요인에 의한 빛퍼짐 현상과 노이즈 중 적어도 하나를 포함하는 영상을 입력 조건으로 가지고, 빛퍼짐 현상과 노이즈 중 적어도 하나가 제거된 영상을 출력 조건으로 가지는 학습 데이터를 이용하여 사전에 학습된 것일 수 있다. 이에 따라, 영상 전처리부(120)는 나이트비전 카메라(110)에 의해 획득한 영상을 입력받아 딥러닝 모델(121)을 통해 빛퍼짐 현상과 각종 노이즈가 제거된 영상을 출력할 수 있다.

객체 인식부(130)는 영상 전처리부(120)에 의해 전처리된 영상에서 객체를 인식하기 위한 것으로, 기 학습된 머신 러닝 모델(131)에 의해 보정된 영상에서 적어도 하나의 객체를 자동으로 인식할 수 있다.

일 실시예에 따르면, 객체 인식부(130)는 머신 러닝 모델(131)을 통해 보정된 영상에서 존재하는 객체를 인식할 수 있다. 여기서, 머신 러닝 모델(131)은 전이학습 머신러닝, 적응형 머신러닝 등으로 구현될 수 있으며, 이는 도로, 차량, 사람 등과 같이 서로 상이한 객체가 존재하는 영상을 입력 조건으로 가지고, 객체 인식 결과를 출력 조건을 가지는 학습 데이터를 이용하여 사전에 학습된 것일 수 있다. 이에 따라, 객체 인식부(130)는 영상 전처리부(120)에 의해 보정된 영상을 입력받아 머신 러닝 모델(131)을 통해 영상에 존재하는 객체를 자동으로 인식할 수 있다.

더 나아가, 객체 인식부(130)는 인식된 객체에 대해 기 설정된 색상 및/또는 도형(예를 들어, 객체를 포함하는 박스, 인식된 객체의 윤곽선 등)으로 표시하여 객체 인식 결과를 포함하는 영상을 출력할 수 있다.

영상 제공부(140)는 객체 인식부(130)의 객체 인식 결과를 포함하는 영상을 생성하여, 운전자에게 제공하도록 한다. 이때, 객체 인식 결과는 객체 각각에 대응되는 색상 및 도형 중 적어도 하나를 생성한 후, 이를 적외선 영상에 오버레이시키는 방식으로 표시될 수 있다.

일 실시예에 따르면, 영상 제공부(140)는 차량의 전창에 영상이 표시되도록 함으로써 운전자가 전방을 주시하면서 품질이 개선되고 객체 인식 결과가 포함된 영상을 확인하도록 할 수 있다. 이 경우, 영상 제공부(140)는 차량의 전창에 빛을 투사하여 영상이 표시되도록 하는 HUD(Head Up Display)로 구현될 수 있으며, 이를 통해 UHD(Ultra High Definition)와 같이 고화질 해상도로 영상을 제공할 수 있다.

도 2는 본 발명의 일 실시예에 따른 딥 러닝 모델의 구현 예를 도시한 도면이다.

참고로, 종래의 영상 전처리 알고리즘들은 대부분 컬러 이미지를 기반으로 설계되었으나, 본 발명에서는 야간주행이라는 특수한 상황에서 획득되는 적외선 영상, 즉 흑백을 영상 처리해야 하는 차이가 있다.

이에 본 발명에서는 딥 러닝 모델을 Cycle-GAN로 구현한 후, 이를 통해 적외선 영상내에 존재하는 증폭된 여러 빛의 파장과 노이즈를 선택적으로 제거함으로써, 영상의 빛퍼짐 현상과 노이즈가 제거된 영상을 획득할 수 있도록 한다.

여기서, Cycle-GAN는 기존의 이미지를 다른 이미지와 합성하여 기존 이미지의 style을 바꾸는 GAN 모델이다. 즉, 짝지어진 예시없이 X라는 도메인으로부터 얻은 이미지를 타겟 도메인 Y로 바꾸는 알고리즘이다.

도 3는 본 발명의 일 실시예에 따른 머신 러닝 모델의 구현 예를 도시한 도면이다.

도 3에 도시된 바와 같이, 본 발명의 머신 러닝 모델은 사전 학습된 네트워크를 미세 조정하면 처음부터 직접 학습하는 것보다 훨씬 쉽고 빠르게 목적을 달성할 수 있는 전이학습 머신 러닝 모델로 구현될 수 있다.

이때의 전이학습 머신 러닝 모델은 필요한 데이터의 양과 계산 리소스도 훨씬 적고, 한 가지 유형의 문제를 통해 알아낸 지식을 적용하여 비슷한 문제를 해결할 수 있도록 한다.

또한 기존에 사전 학습된 모델의 특징 추출(Feature Extraction)을 담당하는 컨볼루션 층은 이미지 내의 저수준 특징을 감지하도록 학습되어서 다른 이미지 분류 작업에 유용하기 때문에 해당 층의 가중치들을 초기 값으로 고정시킨 후에 재사용할 수 있도록 한다.

전이학습 머신 러닝 모델은 먼저 사전 학습된 네트워크를 사용하여 새로운 작업을 학습하며, 이러한 전이 학습은 사전 학습된 네트워크에 기존에 학습된 수많은 특징이 포함되어 수백만 개의 이미지를 학습한 네트워크가 있다면, 수백 개의 이미지만을 사용하여 새로운 객체 분류를 수행하도록 다시 학습시킬 수 있는 장점을 제공한다.

도 4은 본 발명의 일 실시예에 따른 인공지능 기반의 나이트비전 시스템의 동작 방법을 설명하기 위한 도면이다.

단계 S1에서는 나이트비전 카메라(110)를 통해 야간 주행 중인 전방 장소를 촬영한 적외선 영상을 획득한다.

그러면 단계 S2에서는 영상 전처리부(120)가 딥 러닝 모델(121)을 통해 적외선 영상에 포함된 빛퍼짐 현상과 노이즈를 모두 제거하여, 객체 인식부(130)의 머신 러닝 모델(131)이 인식 가능한 영상으로 변환하도록 한다.

그러면 단계 S3에서는 객체 인식부(130)가 머신 러닝 모델(131)을 통해 적외선 영상내에 존재하는 도로, 장애물, 사람 등의 다양한 객체 모두를 인식한다.

마지막 단계 S4에서는 객체 인식 결과에 대응되는 색상 또는 도형을 생성한 후, 적외선 영상에 오버레이시켜 화면 표시함으로써, 운전자가 이를 고려한 안전 운전을 수행할 수 있도록 한다.

또한 단계 S4에서는 객체 종류를 알려주는 텍스트(예를 들어, 사람, 도로, 자동차 등)를 객체 인식 결과에 대응되는 색상 또는 도형에 인접시켜 추가 제공함으로써, 사용자의 객체 인식 정도를 더욱 높여줄 수도 있도록 한다.

또 다르게는 객체 인식 결과를 단순 표시하는 것에서, 객체 종류와 객체간 위치 관계를 기반으로 충돌 가능성을 산출한 후, 충돌 가능성이 기 설정치 이상이면 위험 상황 발생을 통보하기 위한 알람 정보를 추가적으로 생성하여 제공할 수도 있다.

예를 들어, 도로 객체 상에 위치하는 장애물 객체 또는 사람 객체가 감지되면, 장애물 객체 또는 사람 객체와의 충돌 가능성을 운전자에게 경고하기 위한 알람 정보를 생성 및 제공함으로써, 위험 상황에 대한 인지 및 대처 속도가 향상될 수 있도록 한다. 이때, 알람 정보는 화면에 오버레이 표시되는 이미지 또는 텍스트와, 스피커를 통해 재생되는 오디오 중 적어도 하나 이상일 수 있으나, 이에 한정될 필요는 없다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

100: 나이트비전 시스템
110: 나이트비전 카메라
120: 영상 전처리부
121: 딥러닝 모델
130: 객체 인식부
131: 머신 러닝 모델
140: 영상 제공부

Claims (6)

1. 딥러닝 모델과 머신 러닝 모델을 함께 이용하는 인공지능 기반의 나이트비전 시스템에 있어서,
   야간 주행 중인 전방 장소를 촬영한 적외선 영상을 획득하는 나이트비전 카메라;
   기 학습된 딥러닝 모델을 통해 상기 나이트비전 카메라에 의해 획득한 영상에 포함된 빛퍼짐 현상과 노이즈를 모두 제거하는 전처리 작업을 수행하는 영상 전처리부;
   기 학습된 머신 러닝 모델을 통해 상기 영상 전처리부에 의해 전처리된 영상에 존재하는 객체를 자동으로 인식하는 객체 인식부; 및
   상기 객체 인식부에 의한 객체 인식 결과를 상기 영상 전처리부에 의해 전처리된 영상에 오버레이시켜 제공하는 영상 제공부를 포함하며,
   상기 딥러닝 모델은 짝지어진 예시없이 X라는 도메인으로부터 얻은 이미지를 타겟 도메인 Y로 바꾸는 Cycle-GAN(Generative Adversarial Network)로 구현되며, 상기 Cycle-GAN는 빛퍼짐 현상과 노이즈를 포함하거나 빛퍼짐 현상을 포함하는 영상을 입력 조건으로 가지고, 빛퍼짐 현상과 노이즈를 포함하거나 빛퍼짐 현상이 제거된 영상을 출력 조건으로 가지는 학습 데이터를 이용하여 사전 학습되며,
   상기 머신 러닝 모델은 전이학습 머신 러닝 모델로 구현되며, 서로 상이한 객체가 존재하는 영상을 입력 조건으로 가지고, 객체 인식 결과를 출력 조건을 가지는 학습 데이터를 이용하여 사전에 학습되며,
   상기 전이학습 머신러닝은 학습 완료된 머신 러닝 모델의 특징 추출을 담당하는 컨볼루션 층의 가중치를 미세 조정함으로써, 새로운 객체 분류 동작을 수행할 수 있는 것을 특징으로 하는 인공지능 기반의 나이트비전 시스템.
   
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 영상 제공부는
   객체 인식 결과에 대응되는 색상 및 도형 중 적어도 하나로 표시하여 객체 인식 결과를 포함하는 영상을 출력하는 것을 특징으로 하는 인공지능 기반의 나이트비전 시스템.
   
5. 제4항에 있어서, 상기 영상 제공부는
   객체 종류를 알려주는 텍스트와 객체 인식 결과에 대응되는 알람 정보 중 적어도 하나를 더 제공하는 것을 특징으로 하는 인공지능 기반의 나이트비전 시스템.
   
6. 제1항에 있어서, 상기 영상 제공부는
   HUD(Head Up Display)로 구현되어 차량의 전창에 빛을 투사하여 상기 영상을 표시하는 것을 특징으로 하는 인공지능 기반의 나이트비전 시스템.

Images