KR20240034949A - 딥러닝 기반의 사물인식과 svm 카메라와 dsw 카메라를 이용한 운전자 시선 위치의 a 필러 사각영상 제공 장치 - Google Patents

Abstract

본 발명은 일반적으로 안전운전을 위해 A 필러 사각영상을 운전자에게 표시해주는 기술에 관한 것이다. 특히, 본 발명은 차량 구조에 의해 필연적으로 발생하는 A 필러에 의해 가려진 사각지대의 모습을 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 활용하여 운전자 시선에 맞게 자연스러운 영상으로 제공함으로써 사각지대로 인한 문제를 완화하고 안전운전을 보조할 수 있는 기술에 관한 것이다. 본 발명에 따르면 운전자에게 차량 A 필러에 가려진 사각지대의 영상을 제공함으로써 안전운전을 보조할 수 있는 장점이 있다. 특히, 본 발명에 따르면 A 필러에 가려진 사각지대 영상을 운전자 시점과 특징사물 위치를 고려한 영상처리를 통해 이질감 없이 자연스러운 형태로 구현함으로써 운전자가 운전에 집중할 수 있는 장점이 있다.

Description

딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 이용한 운전자 시선 위치의 A 필러 사각영상 제공 장치 {device of providing A-pillar blind-spot video corresponding to driver's viewpoint by use of Deep Learning-based object recognition, SVM cameras, and a DSW camera}

본 발명은 일반적으로 안전운전을 위해 A 필러 사각영상을 운전자에게 표시해주는 기술에 관한 것이다.

특히, 본 발명은 차량 구조에 의해 필연적으로 발생하는 A 필러에 의해 가려진 사각지대의 모습을 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 활용하여 운전자 시선에 맞게 자연스러운 영상으로 제공함으로써 사각지대로 인한 문제를 완화하고 안전운전을 보조할 수 있는 기술에 관한 것이다.

일반적으로 차량 사고는 운전자의 부주의에 기인한 경우가 많다. 그에 따라, 최근들어 차량 안전운전을 기술적으로 보조하기 위한 기술 개발이 활발하다.

먼저, 서라운드뷰 모니터링(Surround View Monitoring 또는 Surround Vision Monitoring, SVM) 기술을 들 수 있다. SVM 기술은 차량의 차량 주변을 버드아이뷰(탑뷰) 또는 외부 3차원 시점 화면을 제공해주는 기술로서 주차를 보조하기에 적합하다. 반면, 주행 중에 SVM 영상으로 차량 주변을 살피게 되면 전방주시가 곤란해져 오히려 사고위험을 높일 수 있다.

사각지대 경고(Blind Spot Warning, BSW) 기술도 있다. BSW 기술은 차량 주행 중에 좌우측 후방차선에 다른 주행 차량이 있는지 모니터링하고 사이드 미러에 경고 표시를 제공하는 기술로서 어떤 사물이 어느 위치에 있는지 확인은 불가능하지만 차선 변경에는 도움이 된다.

운전자 상태경고(Driver State Warning 또는 Driving Safety Warning, DSW) 기술을 들 수 있다. DSW 기술은 운전석 앞 계기판 상단에 위치한 카메라로 운전자 얼굴을 촬영한 후에 이 운전자 얼굴 영상을 분석하여 운전자 행동(예: 하품, 눈 깜빡임, 고개 숙임, 전방주시 태만)을 식별하고 졸음운전이나 주의력 저하라고 판단될 경우에는 경고 메세지나 경고음을 제공한다.

사각지대 모니터링(Blind Spot Monitoring, BSM) 기술도 있다. BSM 기술은 차량의 사각지대(차량 좌, 우측 후방) 영상을 운전자에게 제공하는 기술로서, 예컨대 운전자가 우측 깜빡이를 조작하면 차량 이동 방향의 영상을 실내 디스플레이 장치에 표시해주어 차량 운전자가 차량 우측 전방의 골목길에서 튀어나오는 사람이나 자전거가 있는지 등을 확인할 수 있도록 해준다. 이때, BSM 시스템에서는 차량의 카메라 장착 위치를 기준으로 고정 영역의 영상만 출력할 수 있을 뿐으로 운전자의 신체적 조건이나 운전 습관에 따라 영상 표시 영역을 변경해주는 기능은 없다.

오토파일럿(autopilot) 기술도 있다. 미국 테슬라(Tesla Inc.)의 오토파일럿 기술은 차량에 장착된 8개의 카메라와 12개 초음파 센서를 이용하여 의사 레이더(pseudo raider)를 구현하고 이를 통해 차량 스스로가 차량 주변의 사물을 인지하고 충돌을 자동 회피할 수 있도록 하는 기술이다.

운전자는 차량 주변 상황을 주로 시각에 의해 파악하므로 운전자의 시야가 가려진 영역(사각지대)에 사물이 위치하게 되면 사고 위험이 대폭 증가하게 된다. 그런데, 운전자가 대부분의 정보를 얻는 차량 전방의 시야는 전면유리 좌우의 A 필러(A pillar)에 의해 상당부분 가려져서 차량 사고의 위험 요인이 된다. 특히, 차량을 좌회전하거나 우회전할 때에는 A 필러에 의한 사각지대로 인해 사고가 발생할 위험이 대폭 증가하는 문제가 있다.

종래의 SVM 기술이나 BSW 기술, 그리고 DSW 기술은 A 필러 사각지대로 인한 주행중 사고 위험을 해소하지 못한다. BSM 기술은 사각지대 문제를 완화해주기는 하지만 고정 영역의 화면을 보여주기 때문에 주행 중의 구체적인 상황에 적절하지 못할 수 있다. 오토파일럿 기술은 레이더 구축을 위해 다수의 카메라와 초음파 센서를 사용해야 하므로 구축비용이 과다한 단점이 있고, 운전자에게 정보를 제공하는 것이 아니라 차량 스스로 해결하는 기술이므로 본 발명에서 고려한 해결과제와는 차이가 있다.

대한민국 등록특허 10-1865254호(2018.05.31) "사각지대를 주행하는 차량을 모니터링하기 위한 레이더 장치 및 그 방법" 대한민국 등록특허 10-2185674호(2020.11.26) "차량의 사각지대 감지 기기" 대한민국 등록특허 10-1927026호(2018.12.03) "카메라를 이용한 차량의 시야확보 시스템" 대한민국 공개특허 10-2017-0087368호(2017.07.28) "사각지대 감지장치 및 방법" 대한민국 공개특허 10-2018-0025664호(2018.03.09) "사각지대 뷰 변환 장치 및 그 방법"

본 발명의 목적은 일반적으로 안전운전을 위해 A 필러 사각영상을 운전자에게 표시해주는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 차량 구조에 의해 필연적으로 발생하는 A 필러에 의해 가려진 사각지대의 모습을 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 활용하여 운전자 시선에 맞게 자연스러운 영상으로 제공함으로써 사각지대로 인한 문제를 완화하고 안전운전을 보조할 수 있는 기술을 제공하는 것이다.

본 발명의 해결 과제는 이 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.

상기의 목적을 달성하기 위하여 본 발명은 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 이용한 운전자 시선 위치의 A 필러 사각영상 제공 장치를 제시한다.

본 발명에 따른 운전자 시선 위치의 A 필러 사각영상 제공 장치는, 차량 외부의 복수 지점에 배치되어 차량 주변에 대한 다채널 카메라 영상을 생성하는 SVM 카메라부(100); 차량 내부에 배치된 카메라 모듈을 통해 획득되는 운전자 얼굴 영상을 분석하여 운전자 시각 위치를 식별하는 DSW 카메라부(200); 차량의 A 필러에 의해 가려진 사각지대의 영상(이하, 'A 필러 사각영상'이라 함)을 차량 내부의 모니터를 통해 운전자에게 표시하기 위한 사각영상 표시부(300); DSW 카메라부(200)로부터 운전자 시각 위치를 제공받고, SVM 카메라부(100)가 생성하는 다채널 카메라 영상으로부터 A 필러 사각지대에 대응하는 영상을 획득하고, A 필러 사각지대에 대응하는 영상에 대해 운전자 시각 위치에 따른 시점이동 영상 변환을 수행하여 A 필러 사각영상을 생성하는 사각영상 생성부(400);를 포함하여 구성된다.

본 발명에서 사각영상 생성부(300)는, DSW 카메라부(200)로부터 운전자 시각 위치를 제공받아 물리 좌표계로 나타내고, SVM 카메라부(100)가 생성하는 다채널 카메라 영상으로부터 A 필러 사각지대에 대응하는 영상을 획득하고, A 필러 사각지대에 대응하는 영상으로부터 딥러닝 기반의 신경망 모델에 의해 특징점을 식별하고, 특징점의 위치를 물리 좌표계로 나타내고, 운전자 시각 위치의 물리 좌표와 특징점의 물리 좌표를 연결하는 시점방향 벡터를 식별하고, SVM 카메라부(100)가 생성하는 다채널 카메라 영상에서 특징점 주변의 영상을 획득하고, 특징점 주변의 영상에 대해 시점방향 벡터에 기초하여 시점이동 영상 변환을 수행하여 A 필러 사각영상을 생성하도록 구성될 수 있다.

또한, 본 발명에서 사각영상 생성부(300)는 A 필러 사각지대에 대응하는 영상으로부터 복수의 특징점을 식별하는 경우에 복수의 특징점이 하나로 뭉쳐진 가상의 특징점을 설정하도록 구성될 수 있다.

한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 이용한 운전자 시선 위치의 A 필러 사각영상 제공 장치의 데이터 처리 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.

본 발명에 따르면 운전자에게 차량 A 필러에 가려진 사각지대의 영상을 제공함으로써 안전운전을 보조할 수 있는 장점이 있다.

특히, 본 발명에 따르면 A 필러에 가려진 사각지대 영상을 운전자 시점과 특징사물 위치를 고려한 영상처리를 통해 이질감 없이 자연스러운 형태로 구현함으로써 운전자가 운전에 집중할 수 있는 장점이 있다.

[도 1]은 일반적인 도로 주행상황을 나타내는 예시도.
[도 2]는 본 발명에 따른 운전자 시선 위치의 A 필러 사각영상 제공 장치의 전체 구성을 나타내는 도면.
[도 3]은 차량용 서라운드뷰 모니터링(SVM) 기술의 개념을 나타내는 도면.
[도 4]는 2D SVM 화면과 3D SVM 화면의 예시도.
[도 5]는 본 발명에서 특징점 기반으로 시점이동 영상 변환을 수행하는 개념도.
[도 6]은 본 발명에서 시점이동 영상 변환의 예시도.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

[도 1]은 일반적인 도로 주행상황을 나타내는 예시도이다.

도로에서 차량을 운행할 때에 전면유리 좌우의 A 필러에 의해 차량(A)의 좌측과 우측으로 사각지대(BSL, BSR)가 형성된다. 이 위치에 다른 사물(B)이 존재하는 경우에는 사고발생 위험이 상당히 증가한다.

사각지대 사물(B)이 자동차나 트럭인 경우에는 운전자가 약간만 주의하면 식별 가능하므로 크게 문제되지 않는다. 그러나, 사각지대 사물(B)이 킥보드나 오토바이와 같이 상대적으로 작은 물체인 경우에는 운전자가 이를 식별하기가 대단히 곤란하여 사고가 자주 발생한다. 유튜브를 검색하면 골목길 교차로에서 직각에 가까운 방향으로 킥보드나 오토바이가 돌진하면 차량 운전자가 전혀 인지하지 못한 상태로 사고가 발생하는 모습을 다수 발견할 수 있다.

차량 구조상 A 필러에 의한 사각지대(BSL, BSR)는 형성될 수밖에 없으며, 차량 구조를 완전히 변경하지 않는 이상 이 문제는 불가피하다.

본 발명은 이처럼 A 필러 사각지대(BSL, BSR)가 존재함에도 불구하고 차량 운전자에게 해당 영역의 영상을 제공함으로써 안전운전을 보조할 수 있는 기술을 제공한다. 특히, 사각지대 영상을 이질감없이 자연스럽게 형성하여 제공함으로써 운전자가 차량 운행 중에 해당 영역의 정보를 직관적으로 빠르게 식별할 수 있도록 기술적으로 구성하였다.

[도 2]는 본 발명에 따른 운전자 시선 위치의 A 필러 사각영상 제공 장치의 전체 구성을 나타내는 개념도이다.

[도 2]를 참조하면, 사각영상 생성부(400)가 SVM 카메라부(100)와 DSW 카메라부(200)를 이용하여 차량 A 필러에 의한 사각지대(Blind Spot, BS)의 영상을 생성하여 사각영상 표시부(300)에 표시해주는 구조이다. 사각영상 표시부(300)는 차량 내부에 운전자(D)가 보기 편한 위치에 배치되어 있으므로 운전자(D)는 사각지대(BS)에 킥보드(B)가 숨겨져 있더라도 바로 식별할 수 있다.

사각영상 생성부(400)는 차량 내부에 설치되어 있는 것이 실시간성 측면에서 유리하다. 하지만, 5G 이후의 초고속 통신망을 활용한다면 차량 외부, 예컨대 클라우드에 설치되는 것이 배제되지는 않는다.

또한, 사각영상 생성부(400)는 딥러닝(Deep Learning) 기반의 신경망 모델(Neural Network model)을 이용하여 사각지대(BS) 내에 사물이 존재하는지 여부, 그리고 사물의 형태나 위치, 그리고 종류에 대한 정보 중 적어도 하나이상을 식별해내고 그 식별정보를 활용하는 것이 바람직하다.

[도 2]를 참조하면, 본 발명에 따른 운전자 시선 위치의 A 필러 사각영상 제공 장치는 SVM 카메라부(100), DSW 카메라부(200), 사각영상 표시부(300), 사각영상 생성부(400)를 포함하여 구성된다.

먼저, SVM 카메라부(100)는 서라운드뷰 모니터링(SVM) 영상을 생성하기 위해 차량 외부의 복수 지점에 배치되어 차량 주변에 대한 다채널 카메라 영상을 생성하는 구성요소이다.

[도 3]은 차량용 서라운드뷰 모니터링(SVM) 기술의 개념을 나타내는 도면이다. [도 3]에 나타낸 바와 같이, SVM 시스템에서는 차량 외부의 복수 지점, 일반적으로는 전후방 범퍼와 사이드미러 양쪽에 카메라(11 ~ 14)를 장착하고 이들 다채널 카메라 장치(11 ~ 14)로부터 제공된 단위 카메라 영상(15 ~ 18)에 대해 이미지 개선과 왜곡 보정(캘리브레이션)을 적용하여 평면 이미지로 만든 후, 스티칭(이미지 정합 및 합성) 처리를 통해 버드아이뷰(탑뷰) 형태의 서라운드뷰 영상(19)을 얻는다. 이 서라운드뷰 영상(19)은 차량 내부의 모니터를 통해 운전자에게 제공된다.

이와 같은 SVM 시스템으로는 2D SVM과 3D SVM이 있는데, [도 4]는 2D SVM 화면과 3D SVM 화면의 예시도이다. [도 4] (a)는 2D SVM 영상인데, 좌측은 후방 카메라 영상이고 우측은 버드아이뷰(탑뷰) 영상이다. [도 4] (b)는 3D SVM 영상이다. 3D SVM은 다채널 카메라 영상(15 ~ 18)을 원통(cylinder)이나 보울(bowl) 형태의 3D 투영면에 투영하고 그 중심에 3D 차량 모델을 배치함으로써 입체(3D) 시점으로 합성 영상을 제공한다.

DSW 카메라부(200)는 운전자 상태경고(DSW) 기능을 위해 차량 내부에 배치되는 카메라 모듈에서 얻어지는 운전자 얼굴 영상을 분석하여 운전자 시각 위치를 식별하는 구성요소이다. 일반적으로 운전자 상태경고(DSW) 기능을 위해 차량 내부, 통상적으로 운전석 앞 계기판 상단에 DSW 용의 카메라 모듈이 설치되는데, 본 발명에서는 DSW 카메라부(200)로 촬영한 운전자 얼굴 영상을 분석하여 운전자 시각 위치(즉, 눈의 위치)를 식별한다.

사각영상 표시부(300)는 차량 내부에 운전자가 보기 편한 위치에 설치된 모니터 장치를 통해 차량의 A 필러에 의해 가려진 사각지대의 영상, 즉 'A 필러 사각영상'을 운전자에게 디스플레이해주는 구성요소이다. 사각영상 표시부(300)가 표시하는 A 필러 사각영상은 사각영상 생성부(400)가 생성한다.

사각영상 생성부(400)는 SVM 카메라부(100)가 SVM 영상을 위해 생성하는 다채널 카메라 영상(15 ~ 18)으로부터 운전자 시각 위치에 따른 A 필러 사각영상을 생성하는 구성요소이다. 구체적으로, 사각영상 생성부(400)는 DSW 카메라부(200)로부터 운전자 시각 위치를 제공받고, SVM 카메라부(100)가 생성하는 다채널 카메라 영상으로부터 A 필러 사각지대에 대응하는 영상을 획득하고, A 필러 사각지대에 대응하는 영상에 대해 운전자 시각 위치에 따른 시점이동 영상 변환을 수행하여 A 필러 사각영상을 생성한다.

본 발명에서 SVM 카메라부(100), DSW 카메라부(200), 사각영상 표시부(300), A 필러는 차량 내외부의 특정 위치에 고정되어 있기 때문에 변하지 않는다. 따라서, A 필러 사각영상를 생성할 때에 고려해야 하는 변수는 운전자 시각 위치(눈 위치)와 SVM 카메라부(100)에서 촬영한 영상에서 취득 가능한 특징점이다. 바람직하게는 운전자가 A 필러가 없는 것처럼 차량 외부 상황을 효과적으로 인지할 수 있도록 자연스러운 영상을 제공하는 것이다.

먼저, 운전자 시각 위치는 DSW 카메라부(200)로부터 획득할 수 있다. 사각영상 생성부(400)는 DSW 카메라부(200)로부터 운전자 시각 위치, 즉 운전자의 눈 위치를 물리 좌표계(글로벌 좌표계, 절대 좌표계)로 나타낸다.

해당 차량 모델에서 A 필러의 위치는 미리 알려져 있기 때문에 운전자의 눈 위치를 획득하면 A 필러로 인한 사각지대가 어느 영역인지 식별할 수 있다. 그에 따라, SVM 카메라부(100)가 생성하는 다채널 카메라 영상(15 ~ 18)에서 어느 부분을 A 필러 사각영상으로 특정하여 사각영상 표시부(300)에 표시하면 될지 개략적으로 판단할 수 있다.

바람직하게는 사각영상 생성부(400)는 A 필러 사각영상을 생성함에 있어서 아래의 2가지 이슈를 고려한다.

첫번째 이슈는 다채널 카메라 장치(11 ~ 14)의 설치 위치와 운전자의 눈 위치가 상이하다는 점이다. 즉, 다채널 카메라 영상(15 ~ 18)은 다채널 카메라 장치(11 ~ 14)에서 바라본 모습이므로 그 영상을 그대로 사각영상 표시부(300)에 디스플레이하면 운전자가 이질감을 느끼게 되고, 사각지대의 실제 상황을 직관적으로 파악하기가 어려워진다.

두번째 이슈는 A 필러 사각지대의 영역 크기에 비해 사각영상 표시부(300)의 디스플레이 사이즈가 작다는 점이다. 일반적으로 사각영상 표시부(300)는 보조 모니터 정도의 역할을 하기 때문에 차량 내부에 큰 사이즈로 설치하기가 곤란하다. 그로 인해, A 필러에 의해 가려지는 영역 전부를 A 필러 사각영상으로 만들 수가 없고, 그중에 일부를 선택하여야 한다.

이러한 2가지 이슈를 해결하기 위해, 본 발명에서 사각영상 생성부(400)는 시점이동 영상 변환을 수행한다. [도 5]는 본 발명에서 특징점 기반으로 시점이동 영상 변환을 수행하는 개념도이다.

먼저, DSW 카메라부(200)로부터 운전자 시각 위치를 제공받아 물리 좌표계(글로벌 좌표계, 절대 좌표계)로 나타낸다. [도 5]에서 운전자 시각 위치의 물리좌표를 Q1로 표시하였다.

다음으로, 사각영상 생성부(400)는 SVM 카메라부(100)가 생성하는 다채널 카메라 영상(15 ~ 18)으로부터 A 필러 사각지대에 대응하는 영상을 획득한다. 차량 구조와 다채널 카메라 장치(11 ~ 14)의 배치를 감안하면 사이드미러 양쪽에 배치된 카메라(13, 14)가 생성한 단위 카메라 영상(17, 18)에서 A 필러 사각지대에 대응하는 영상을 획득할 것이다. 이때, A 필러 사각지대에 대응하는 영상을 획득하는 과정에서 운전자 시각 위치를 감안하여 실제 사각지대를 엄밀하게 설정할 수도 있지만, 운전자 시각 위치를 감안하지 않고 미리 설정된 명목상의 사각지대를 설정할 수도 있다.

그리고 나서, 사각영상 생성부(400)는 A 필러 사각지대에 대응하는 영상으로부터 딥러닝 기반의 신경망 모델에 의해 특징점(예: 사람, 킥보드, 이동물체 등)을 식별한다. 이는 SVM 카메라부(100)가 촬영한 영상에서 사물을 식별해내는 과정에 대응하는데, 신속한 판별을 위해 딥러닝 기반의 신경말 모델을 사용하는 것이 바람직하다. 이를 위해, 사각영상 생성부(400)는 딥러닝 신경망 모델을 구비하는데, 이 딥러닝 신경망 모델은 ToF(Time-Of-flight) 방식의 깊이 카메라 혹은 라이다(LiDAR) 센서로 취득한 데이터를 기반으로 구축한 학습데이터에 의해 사물을 인지할 수 있도록 미리 학습이 이루어져 있다.

그리고 나서, 사각영상 생성부(400)는 특징점의 위치를 물리 좌표계로 나타내고, 운전자 시각 위치의 물리 좌표와 특징점의 물리 좌표를 연결하는 방향 벡터, 즉 시점방향 벡터를 식별한다. [도 5]에서 특징점의 위치는 Q2로 표시하였고 시점방향 벡터는 Q1과 Q2를 연결하는 화살표로 표시하였다.

위에서 A 필러 사각지대에 대응하는 영상은 SVM 카메라부(100)의 위치(Q3)에서 특징점(Q2)을 바라본 모습이다. 편의상 Q3와 Q2를 연결하는 화살표를 촬영방향 벡터라고 표시하였다. 반면, 사각영상 표시부(300)에 표시할 A 필러 사각영상은 차량 운전자(D)의 시각 위치(Q1)에서 바라본 영상인 것이 바람직하다.

이러한 형태의 A 필러 사각영상을 획득하기 위해, 사각영상 생성부(400)는 SVM 카메라부(100)가 생성하는 다채널 카메라 영상(15 ~ 18)에서 특징점 주변의 영상을 획득하고, 그 특징점 주변의 영상에 대해 시점방향 벡터에 기초하여 시점이동 영상 변환을 수행한다. [도 6]는 본 발명에서 본 발명에서 시점이동 영상 변환의 예시도이다. [도 6] (a)는 사이드미러 하단에서 바라본 영상이고, [도 6] (b)는 그보다는 약간 높은 쪽으로 시점을 이동시켜 영상 변환을 수행한 결과이다. 이처럼 운전자 시각 위치에 대응하여 시점이동 영상 변환을 수행하여 A 필러 사각영상을 구성함으로써 운전자가 이질감을 느끼는 형태를 최소화할 수 있어 사각지대의 모습을 직관적으로 직시 인지할 수 있고 운전에 집중할 수 있다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있다. 또한, 본 발명은 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태로도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

100 : SVM 카메라부
200 : DSW 카메라부
300 : 사각영상 표시부
400 : 사각영상 생성부

Claims (3)

1. 차량 외부의 복수 지점에 배치되어 차량 주변에 대한 다채널 카메라 영상을 생성하는 SVM 카메라부(100);
   차량 내부에 배치된 카메라 모듈을 통해 획득되는 운전자 얼굴 영상을 분석하여 운전자 시각 위치를 식별하는 DSW 카메라부(200);
   차량의 A 필러에 의해 가려진 사각지대의 영상(이하, 'A 필러 사각영상'이라 함)을 차량 내부의 모니터를 통해 운전자에게 표시하기 위한 사각영상 표시부(300);
   상기 DSW 카메라부(200)로부터 운전자 시각 위치를 제공받고, 상기 SVM 카메라부(100)가 생성하는 다채널 카메라 영상으로부터 A 필러 사각지대에 대응하는 영상을 획득하고, 상기 A 필러 사각지대에 대응하는 영상에 대해 상기 운전자 시각 위치에 따른 시점이동 영상 변환을 수행하여 상기 A 필러 사각영상을 생성하는 사각영상 생성부(400);
   를 포함하여 구성되는 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 이용한 운전자 시선 위치의 A 필러 사각영상 제공 장치.
   
2. 청구항 1에 있어서,
   상기 사각영상 생성부(300)는, 상기 DSW 카메라부(200)로부터 운전자 시각 위치를 제공받아 물리 좌표계로 나타내고, 상기 SVM 카메라부(100)가 생성하는 다채널 카메라 영상으로부터 A 필러 사각지대에 대응하는 영상을 획득하고, 상기 A 필러 사각지대에 대응하는 영상으로부터 딥러닝 기반의 신경망 모델에 의해 특징점을 식별하고, 상기 특징점의 위치를 물리 좌표계로 나타내고, 상기 운전자 시각 위치의 물리 좌표와 상기 특징점의 물리 좌표를 연결하는 시점방향 벡터를 식별하고, 상기 SVM 카메라부(100)가 생성하는 다채널 카메라 영상에서 상기 특징점 주변의 영상을 획득하고, 상기 특징점 주변의 영상에 대해 상기 시점방향 벡터에 기초하여 시점이동 영상 변환을 수행하여 상기 A 필러 사각영상을 생성하도록 구성되는 것을 특징으로 하는 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 이용한 운전자 시선 위치의 A 필러 사각영상 제공 장치.
   
3. 청구항 2에 있어서,
   상기 사각영상 생성부(300)는 상기 A 필러 사각지대에 대응하는 영상으로부터 복수의 특징점을 식별하는 경우에 상기 복수의 특징점이 하나로 뭉쳐진 가상의 특징점을 설정하도록 구성되는 것을 특징으로 하는 딥러닝 기반의 사물인식과 SVM 카메라와 DSW 카메라를 이용한 운전자 시선 위치의 A 필러 사각영상 제공 장치.
   

Images