KR20230109256A - 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템 - Google Patents

Abstract

본 발명은 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템으로써, 보다 상세하게 차량과, 상기 차량의 양측에 구비되고, 모터가 장착되는 백미러와, 상기 차량의 운전석에 착석한 운전자의 안면을 촬영하여 송신하는 카메라부와, 상기 카메라부를 통해 전송 받은 디지털 영상의 왜곡을 보정하고, 상기 디지털 영상에서 상기 운전자의 안구의 위치를 파악하며, 딥 러닝 기법을 이용하여 미리 기계학습을 진행하여 생성한 안구 학습 데이터와 상기 디지털 영상 데이터를 비교하여 송신하는 영상처리부와, 상기 영상처리부를 통해 전송 받은 상기 안구 학습 데이터와 디지털 영상 데이터의 비교결과를 바탕으로 상기 백미러의 보정각도를 산출하고, 상기 모터를 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

머신러닝 기반의 차량 백미러 각도 자동 제어 시스템{Automatic control system based on machine learning for adjusting the angle of the vehicle rear mirror}

본 발명은 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템으로써 더욱 자세하게는, 운전자의 얼굴 각도를 측정하여 실시간으로 백미러의 위치를 최적화하는 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템에 관한 것이다.

교통사고를 예방하기 위해서는 자동차 백미러의 최적 시야를 보장하도록 조정하는 것은 매우 중요하다. 따라서, 운전자가 운전석에 앉으면 제일 먼저 하는 일은 시트와 백미러를 조정하는 일이다. 운전자의 체형에 맞게 시트를 조정하고 백미러를 조정하는 일은 본인만 차량을 운전하는 경우는 한번 맞추어 놓고 차후 조정하는 일이 없다. 하지만, 여러 사람이 운전하는 차량의 경우 운전자가 탑승할 때마다 조정을 해주어야 한다. 특히, 백미러의 경우 최적의 시야가 확보되지 않으면 사고의 위험이 따를 수 있기 때문에 정확한 백미러의 조정이 안전 운전에 큰 도움을 줄 수 있다. 일례로, 대한민국 등록특허 제10-0969307호(2010.07.09.)에서는 자동차 백미러에 대해 개시하고 있다.

최근에는 운전자에 따라 조정되어야 하는 시트, 백미러에 관한 정보를 미리 메모리에 저장해두었다가, 나중에 이를 불러오는 방법으로 운전자 체형에 맞게 백미러를 조정하였다. 그러나, 상기 메모리에 저장되지 않은 운전자의 경우 탑승시 백미러를 다시 조정해야하는 문제점이 있었다.

대한민국 등록특허 제10-0969307호(2010.07.09.)

본 발명은 상술한 바와 같은 선행 기술의 문제점을 해결하기 위하여 안출된 것으로, 정지 상태에서 인식한 운전자의 얼굴 위치 및 각도를 초기값으로 설정하고, 운전자의 몸이 운전석에서 이탈하지 않는 범위 내에서 회전 또는 이동 시 그에 대응하여 백미러의 각도가 자동으로 조절되어 운전자에게 후방의 환경에 대한 시각 정보를 전달하는 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템을 제공하는데 그 목적이 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 여기에 언급되지 않은 본 발명이 해결하려는 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 바람직한 일실시예에 따른 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템에 있어서, 차량과, 상기 차량의 양측에 구비되고, 모터가 장착되는 백미러와, 상기 차량의 운전석에 착석한 운전자의 안면을 촬영하여 송신하는 카메라부와, 상기 카메라부를 통해 전송 받은 디지털 영상의 왜곡을 보정하고, 상기 디지털 영상에서 상기 운전자의 안구의 위치를 파악하며, 딥 러닝 기법을 이용하여 미리 기계학습을 진행하여 생성한 안구 학습 데이터와 상기 디지털 영상 데이터를 비교하여 송신하는 영상처리부와, 상기 영상처리부를 통해 전송 받은 상기 안구 학습 데이터와 디지털 영상 데이터의 비교결과를 바탕으로 상기 백미러의 보정각도를 산출하고, 상기 모터를 제어하는 제어부를 포함하는 것을 특징으로 한다.

상기 과제의 해결 수단에 의해, 본 발명의 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템은 정지 상태에서 인식한 운전자의 얼굴 위치 및 각도를 초기값으로 설정하고, 운전자의 몸이 운전석에서 이탈하지 않는 범위 내에서 회전 또는 이동 시 그에 대응하여 백미러의 각도가 자동으로 조절되어 운전자에게 후방의 환경에 대한 시각 정보를 전달하는 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템을 제공하는데 그 효과가 있다.

또한, 본 발명의 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템은 사용자의 얼굴 위치 및 각도에 대한 실시간 정보에 따라 백미러가 어느 조건에서든지 최적의 각도로 조절될 수 있으며, 이를 통해 운전자는 운전에 필요한 후방의 시각적 정보를 더욱 정확하고 효율적으로 습득할 수 있어 운전의 안정성이 향상될 수 있는 이점이 있다.

본 발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 여기에 언급되지 않은 본 발명의 효과는 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템의 구성을 나타낸 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시 예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.

도 1을 참조하면, 본 발명의 바람직한 일실시예에 따른 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템에 있어서, 차량(100)과, 상기 차량(100)의 양측에 구비되고, 모터(111)가 장착되는 백미러(110)와, 상기 차량(100)의 운전석에 착석한 운전자의 안면을 촬영하여 송신하는 카메라부(200)와, 상기 카메라부(200)를 통해 전송 받은 디지털 영상의 왜곡을 보정하고, 상기 디지털 영상에서 상기 운전자의 안구의 위치를 파악하며, 딥 러닝 기법을 이용하여 미리 기계학습을 진행하여 생성한 안구 학습 데이터와 상기 디지털 영상 데이터를 비교하여 송신하는 영상처리부(300)와, 상기 영상처리부(300)를 통해 전송 받은 상기 안구 학습 데이터와 디지털 영상 데이터의 비교결과를 바탕으로 상기 백미러(110)의 보정각도를 산출하고, 상기 모터(111)를 제어하는 제어부(400)를 포함한다.

먼저, 상기 차량(100)이 마련된다. 상기 차량(100)은 도로를 주행하는 모든 차를 통틀어 이르는 것으로, 대표적으로 자동차일 수 있으며, 이에 한전되지 않는다. 이때, 상기 차량(100)의 양측 단부에는 상기 백미러(110)가 각각 구비된다.

여기서, 상기 백미러(110)는 상기 백미러(110) 내의 거울이 이송되거나 회동될 수 있도록 마련된다. 보다 구체적으로, 상기 백미러(110)는 상기 백미러(110) 내의 거울을 이송시키거나 회동시킬 수 있는 구동력을 제공하는 상기 모터(110)를 포함한다. 이때, 상기 모터(110)는 상기 백미러(110) 내의 거울을 이송시키거나 회동시킬 수 있다면 어떠한 형태로든 마련될 수 있다.

다음으로, 상기 카메라부(200)가 마련된다. 상기 카메라부(200)는 상기 차량(100)에 탑승한 운전자의 안면을 디지털 촬영하고, 생성된 디지털 영상을 상기 영상처리부(300)로 송신한다. 일례로, 상기 카메라부(200)는 디지털 카메라일 수 있으며, 상기 차량(100)에 탑승한 운전자의 안면을 촬영하여 디지털 영상을 생성할 수 있다면 어떠한 형태로든 마련될 수 있다.

다음으로, 상기 영상처리부(300)가 마련된다. 상기 영상처리부(300)는 일례로, 컴퓨터 일 수 있으며, 상기 카메라부(200)를 통해 생성된 디지털 영상을 전송받아 해당 디지털 영상을 보정하고, 운전자의 안구 위치를 연속적으로 분석하여 상기 제어부(400)로 송신하는 역할을 한다. 이때, 상기 영상처리부(300)는 딥 러닝 기법을 통해 미리 기계학습을 진행하여 생성한 안구 학습 데이터를 저장하고, 상기 카메라부(200)를 통해 전송받은 디지털 영상과 상기 안구 학습 데이터를 비교하여 상기 백미러(110)의 보정각도를 산출한다.

보다 구체적으로, 상기 영상처리부(300)는 상기 카메라부(200)의 디지털 영상을 바탕으로 상기 운전자의 얼굴 각도를 감지하여 대응되는 상기 백미러(110)의 보정각도를 산출한 후 상기 제어부(400)로 전송한다. 이에 따라 상기 제어부(400)는 상기 영상처리부(300)로부터 전송된 보정각도를 바탕으로 상기 모터(111)를 제어하여 상기 백미러(110) 내의 거울을 이송시키거나 회동시킬 수 있도록 하는 것이다. 즉, 상기 영상처리부(300)는 상기 카메라부(200)와 컴퓨터의 비전 기술을 적용하여 상기 운전자의 얼굴 각도를 측정하고, 그에 따른 상기 백미러(110)의 각도가 상기 운전자의 시야에 최적화되도록 조절될 수 있도록 한다. 일례로, 기계학습은 머신러닝의 합성공 신경망 기술 MTCNN method를 적용할 수 있다. MTCNN method 는 multi task cascaded neural network의 약자로 3개의 신경망(P-Net, R-Net, O-Net)을 활용한다. 상기 3개의 신경망은 각각 얼굴 분류, bound box 회귀 분석, 얼굴 인식표 배정 과정을 진행하며 동시 학습을 진행한다. 예를 들어, 상기 카메라부(200)의 디지털 영상을 바탕으로 신경망에 시험 사진을 인식시켜 초기 위치를 학습하게 한다. 이후, 동일한 운전자가 자세를 바꿔서 찍은 사진을 여러 장 입력하여 운전자의 얼굴 각도가 변화하더라도 동일한 운전자의 얼굴을 인식할 수 있도록 테스트 및 코드 수정을 반복한다. 상기 3개의 신경망 결과가 산출되는 신경망은 O-Net 이므로 대조군을 만들기 위하여 두 개의 O-Net을 설계한다. 실험군에는 근접 탐지 및 정렬 기술을 사용한 데이터를 입력하고, 대조군에는 일반적인 CNN 방식에서 사용하는 hard sample mining을 거친 데이터를 입력하여 기존 방법에 비해 효율을 높일 수 있도록 한다. 결과적으로, 정지상태에서 인식한 상기 운전자의 얼굴 위치 및 각도를 초기값으로 놓았을 때 상기 운전자의 몸이 운전석에서 이탈하지 않는 범위 내에서 회전 또는 이동을 하면 그에 맞춰 백미러의 각도가 자동으로 조절되도록 한다. 백미러의 역할은 거울 반사를 통해 운전자에게 후방의 환경에 대한 시각 정보를 전달함에 있으므로, 얼굴의 여러 부위 중 특히 눈의 위치를 따라 움직이는 아이트래킹이 가능하도록 한다. 즉, MTCNN에 입력할 데이터 중 얼굴의 주요 특징을 운전자의 눈으로 설정하여 추적할 수 있도록 한다. 따라서, MTCNN 방법을 통해 습득한 사용자의 얼굴 위치 및 각도에 대한 실시간 정보에 따라 백미러가 어느 조건에서든지 최적의 각도로 조절될 수 있으며, 이를 통해 운전자는 운전에 필요한 후방의 시각적 정보를 더욱 정확하고 효율적으로 습득할 수 있어 운전의 안정성이 향상될 수 있는 이점이 있다.

이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 차량
110 : 백미러
111 : 모터
200 : 카메라부
300 : 영상처리부
400 : 제어부

Claims (1)

1. 차량;
   상기 차량의 양측에 구비되고, 모터가 장착되는 백미러;
   상기 차량의 운전석에 착석한 운전자의 안면을 촬영하여 송신하는 카메라부;
   상기 카메라부를 통해 전송 받은 디지털 영상의 왜곡을 보정하고, 상기 디지털 영상에서 상기 운전자의 안구의 위치를 파악하며, 딥 러닝 기법을 이용하여 미리 기계학습을 진행하여 생성한 안구 학습 데이터와 상기 디지털 영상 데이터를 비교하여 송신하는 영상처리부; 및
   상기 영상처리부를 통해 전송 받은 상기 안구 학습 데이터와 디지털 영상 데이터의 비교결과를 바탕으로 상기 백미러의 보정각도를 산출하고, 상기 모터를 제어하는 제어부;를 포함하는 것을 특징으로 하는 머신러닝 기반의 차량 백미러 각도 자동 제어 시스템.