KR20200010660A

KR20200010660A - 원격 주차 시스템 및 방법, 차량의 객체 인식 장치

Info

Publication number: KR20200010660A
Application number: KR1020180076308A
Authority: KR
Inventors: 조흥래
Original assignee: 현대모비스 주식회사
Priority date: 2018-07-02
Filing date: 2018-07-02
Publication date: 2020-01-31
Also published as: KR102584955B1

Abstract

본 발명은 원격 주차 시스템 및 방법, 차량의 객체 인식 장치에 관한 것으로서, 차량에 설치되어 차량 주변 영상을 획득하는 카메라 센서부, 및 주차 공간에 설치된 영상 인식 장치에 의해 획득된 주차 공간 영상, 및 카메라 센서부에 의해 획득된 차량 주변 영상을 합성하여 차량의 원격 주차 제어를 위한 제어 디스플레이 영상을 생성한 후 사용자에게 제공하고, 사용자의 모션에 기초하여 카메라 센서부의 동작을 제어하며, 카메라 센서부의 동작 제어에 따라 가공되는 제어 디스플레이 영상을 사용자에게 제공함으로써, 주차 공간에서의 차량의 주차를 원격 제어하는 원격 제어 디바이스부를 포함하는 것을 특징으로 한다.

Description

원격 주차 시스템 및 방법, 차량의 객체 인식 장치{SYSTEM FOR REMOTE PARKING AND METHOD THEREOF, APPARATUS FOR RECOGNIZING OBJECT OF VEHICLE}

본 발명은 원격 주차 시스템 및 방법, 차량의 객체 인식 장치에 관한 것으로서, 더욱 상세하게는 원격으로 차량의 주차를 제어하고, 자율 주행 차량의 객체 인식 성능을 향상시킬 수 있는 원격 주차 시스템 및 방법, 차량의 객체 인식 장치에 관한 것이다.

일반적으로, 자동주차 시스템은 주차에 서투른 초보 운전자에게 편리한 주차를 제공할 수 있는 시스템이다. 자동주차 시스템은 주차 시 차량에 부착된 카메라나 초음파 센서를 사용하여 장애물의 위치를 판단하고, 운전자가 평행 주차 또는 직각 주차를 선택하게 되면 일정한 동작을 수행하여 운전자의 주차를 보조한다.

최근의 차량에는 주차 보조 시스템(PAS: Parking Assist System)이 탑재되어 후방 주차 시, 후방의 물체를 탐지하여 운전자에게 편의성과 안전성을 제공하고 있다. 주차 보조 시스템이 탑재된 차량은, 후방 주차 시 차량 후방에 장착된 초음파센서를 구동시켜 초음파 신호를 발사하고 후방의 존재하는 물체로부터의 반사 신호를 수신하여 후방 물체와의 거리를 계산함으로써 장애물과 충돌하지 않고 주차가 완료될 있도록 한다.

한편, 사용자가 자차량을 주차 공간에 주차한 후 용무를 위해 이동한 상태에서, 타차량의 이동 등의 이유로 자차량을 이동 주차해야 하는 상황이 발생할 수 있다(예: 자차량을 이중 주차한 경우 등). 주차 공간으로부터 원거리에 위치한 사용자가 자차량을 이동시키기 위해서는 원격에서 자차량의 주차를 제어할 수 있는 원격 제어 단말이 요구되며, 사용자가 원격에서 자차량의 주차를 정밀하게 제어하기 위해서는 주차 공간에서의 차량의 주변 영상이 반영된 디스플레이 영상을 원격 제어 단말에 디스플레이하여 사용자에게 제공할 필요가 있다. 현재, 주차 공간 영상을 사용자에게 제공하는 기술이 제시되어 있으나, 상기 기술은 단순히 빈 주차 공간만을 인식하여 사용자에게 제공하는데 국한되는 한계를 갖는다.

또한, 자율 주행 차량은 장착된 카메라 센서에 의해 획득되는 물체 인식 결과를 기반으로 그 자율 주행이 제어되기 때문에, 자율 주행 차량의 카메라 센서의 물체 인식 성능은 자율 주행 제어 정밀도에 직결된다. 따라서, 자율 주행 차량의 카메라 센서의 물체 인식 성능을 개선하기 위한 시스템이 요청된다.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2015-0038776호(2015. 04. 09 공개)에 개시되어 있다.

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 사용자가 원격으로 주차를 제어하기 위해 요구되는 디스플레이 영상을 사용자에게 제공함으로써 원격에서 차량의 주차 제어를 가능하게 하는 원격 주차 시스템 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 자율 주행 차량의 카메라 센서의 물체 인식 성능을 개선할 수 있는 차량의 객체 인식 장치를 제공하는 것이다.

본 발명의 일 측면에 따른 원격 주차 시스템은 차량에 설치되어 차량 주변 영상을 획득하는 카메라 센서부, 및 주차 공간에 설치된 영상 인식 장치에 의해 획득된 주차 공간 영상, 및 상기 카메라 센서부에 의해 획득된 상기 차량 주변 영상을 합성하여 상기 차량의 원격 주차 제어를 위한 제어 디스플레이 영상을 생성한 후 사용자에게 제공하고, 상기 사용자의 모션에 기초하여 상기 카메라 센서부의 동작을 제어하며, 상기 카메라 센서부의 동작 제어에 따라 가공되는 상기 제어 디스플레이 영상을 상기 사용자에게 제공함으로써, 상기 주차 공간에서의 상기 차량의 주차를 원격 제어하는 원격 제어 디바이스부를 포함하는 것을 특징으로 한다.

본 발명은 상기 차량에 설치되며, 상기 영상 인식 장치로부터 수신한 제1 위치 판단 신호와 상기 사용자가 소지한 원격 단말로부터 수신한 제2 위치 판단 신호의 각 RSSI(Received Signal Strength Indication)에 기초하여 상기 주차 공간에서의 상기 차량의 위치 정보를 생성하는 측위부를 더 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 원격 제어 디바이스부는, 상기 측위부로부터 전달받은 상기 차량의 위치 정보를 기반으로 상기 주차 공간 영상 및 상기 차량 주변 영상을 합성함으로써, 상기 주차 공간 내에서의 상기 차량의 위치가 반영되도록 상기 제어 디스플레이 영상을 생성하는 것을 특징으로 한다.

본 발명에 있어 상기 카메라 센서부는, 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어, 초점 거리 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되는 가변 화각 카메라 모듈을 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 원격 제어 디바이스부는, 상기 사용자의 모션에 기초하여 상기 카메라 센서부의 화각을 가변시키고, 상기 카메라 센서부의 화각이 가변됨에 따라 변화하는 상기 차량 주변 영상을 기반으로 가공되는 상기 제어 디스플레이 영상을 상기 사용자에게 제공하는 것을 특징으로 한다.

본 발명에 있어 상기 원격 제어 디바이스부는, 상기 사용자의 모션을 토대로 결정되는 상기 사용자의 관심 영역(ROI: Region Of Interest)에 해당하는 영상이 획득되도록 상기 카메라 센서부의 화각을 가변시키되, 상기 사용자의 모션은 상기 사용자의 수조작 및 시선 정보 중 하나 이상을 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 원격 제어 디바이스부는, 상기 사용자를 인증하기 위한 인증 정보를 상기 사용자로부터 획득하고, 상기 카메라 센서부는, 상기 인증 정보가 상기 원격 제어 디바이스부로부터 상기 차량으로 전송된 경우에만 상기 차량 주변 영상을 획득하여 상기 원격 제어 디바이스부로 전달하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 원격 주차 방법은 차량에 설치된 카메라 센서부가, 차량 주변 영상을 획득하는 단계, 및 원격 제어 디바이스부가, 주차 공간에 설치된 영상 인식 장치에 의해 획득된 주차 공간 영상, 및 상기 카메라 센서부에 의해 획득된 상기 차량 주변 영상을 합성하여 상기 차량의 원격 주차 제어를 위한 제어 디스플레이 영상을 생성한 후 사용자에게 제공하고, 상기 사용자의 모션에 기초하여 상기 카메라 센서부의 동작을 제어하며, 상기 카메라 센서부의 동작 제어에 따라 가공되는 상기 제어 디스플레이 영상을 상기 사용자에게 제공함으로써, 상기 주차 공간에서의 상기 차량의 주차를 원격 제어하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 차량의 객체 인식 장치는 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어 자율 주행 차량에 장착되며, 초점 거리 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되어 대상 객체를 인식하는 가변 화각 카메라 모듈, 및 상기 대상 객체에 대한 해상도가 증가되도록 상기 가변 화각 카메라 모듈의 화각을 가변시켜 상기 가변 화각 카메라 모듈을 통해 상기 대상 객체를 인식하고, 그 인식 결과를 기반으로 상기 자율 주행 차량의 자율 주행을 제어하는 제어부를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 제어부는, 상기 대상 객체에 대한 상기 가변 화각 카메라 모듈의 인식도가 미리 설정된 임계치 미만인 경우에만 상기 대상 객체에 대한 해상도가 증가되도록 상기 가변 화각 카메라 모듈의 화각을 가변시키는 것을 특징으로 한다.

본 발명에 있어 상기 제어부는, 상기 인식 결과에 딥 러닝(Deep Learning) 또는 영상 처리 기법을 적용하여 상기 자율 주행 차량의 자율 주행을 제어하는 것을 특징으로 한다.

본 발명의 일 측면에 따르면, 본 발명은 주차 공간 영상 및 차량 주변 영상을 합성하는 방식을 통해 사용자가 원격으로 주차를 제어하기 위해 요구되는 디스플레이 영상을 사용자에게 제공함으로써 보다 편리하게 원격에서 차량의 주차 제어를 가능하게 할 수 있고, 차량에 적용된 가변 화각 카메라 모듈을 활용하여 사용자의 모션에 능동적인 디스플레이 영상을 사용자에게 제공함으로써 원격 주차 제어의 정밀도를 향상시킬 수 있다.

또한, 본 발명은 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈의 화각을 가변시키는 방식을 통해 가변 화각 카메라 모듈의 인식 성능을 향상시킴으로써, 자율 주행 차량의 자율 주행 성능을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 원격 주차 시스템을 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 원격 주차 시스템에서 카메라 센서부 및 제어 장치의 장착례 및 배선 구조를 도시한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 원격 주차 시스템에서 가변 화각 카메라 모듈과 차량에 구비되는 제어부의 하위 구성을 도시한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 원격 주차 시스템의 전체 동작 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 원격 주차 시스템에서 사용자의 관심 영역에 해당하는 영상이 획득되도록 카메라 센서부의 화각이 가변되는 예시를 도시한 예시도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 원격 주차 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 객체 인식 장치를 설명하기 위한 블록구성도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 객체 인식 장치의 동작 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 차량의 객체 인식 방법을 설명하기 위한 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 원격 주차 시스템 및 방법, 차량의 객체 인식 장치의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 원격 주차 시스템을 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 원격 주차 시스템에서 카메라 센서부 및 제어 장치의 장착례 및 배선 구조를 도시한 예시도이며, 도 3은 본 발명의 일 실시예에 따른 원격 주차 시스템에서 가변 화각 카메라 모듈과 차량에 구비되는 제어부의 하위 구성을 도시한 예시도이고, 도 4는 본 발명의 일 실시예에 따른 원격 주차 시스템의 전체 동작 과정을 설명하기 위한 예시도이며, 도 5는 본 발명의 일 실시예에 따른 원격 주차 시스템에서 사용자의 관심 영역에 해당하는 영상이 획득되도록 카메라 센서부의 화각이 가변되는 예시를 도시한 예시도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 원격 주차 시스템은 카메라 센서부(100), 측위부(200) 및 원격 제어 디바이스부(300)를 포함할 수 있으며, 카메라 센서부(100) 및 측위부(200)는 차량(VEH)에 설치되고, 원격 제어 디바이스부(300)는 차량으로부터 원거리에 위치하는 사용자가 소지하여 차량의 원격 주차를 제어하기 위한 사용자 단말로 구현될 수 있다. 또한, 후술할 것과 같이 본 실시예에 따른 원격 주차 시스템은 제어부(ECU module)를 더 포함할 수도 있다.

카메라 센서부(100)는 차량에 설치되어 차량 주변 영상을 획득할 수 있다. 카메라 센서부(100)에 의해 획득된 차량 주변 영상은 후술하는 것과 같이 주차 공간 영상과 합성되어 제어 디스플레이 영상의 형태로서 원격 제어 디바이스부(300)를 통해 사용자에게 제공될 수 있다.

본 실시예의 카메라 센서부(100)는 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어, 초점 거리(Focal Length) 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되는 가변 화각 카메라 모듈을 포함할 수 있다.

가변 화각 카메라 모듈은 인가되는 전기 신호에 의해 각 렌즈를 구성하는 결정 물질의 특성이 변경되어 각 렌즈의 굴절률이 제어될 수 있으며, 또한 주지된 바와 같이 초점 거리가 작아질수록 화각이 증가하고 해상도가 감소하며, 초점 거리가 증가할수록 화각이 감소하고 해상도가 증가하기 때문에, 가변 화각 카메라 모듈은 초점 거리 및 각 렌즈의 굴절률의 조합을 통해 다양한 화각을 가질 수 있다(즉, 화각이 가변될 수 있다).

카메라 센서부(100)는 도 2에 도시된 것과 같이 제1 내지 제5 가변 화각 카메라 모듈(110, 120, 130, 140, 150)을 포함할 수 있고, 제1 내지 제5 가변 화각 카메라 모듈(110, 120, 130, 140, 150)은 카메라 센서 제어 장치(CAM_ECU)에 의해 초점 거리(Focal Length) 및 각 렌즈의 굴절률이 제어됨으로써 화각이 가변 제어될 수 있다. 제1 내지 제5 가변 화각 카메라 모듈(110, 120, 130, 140, 150)은 SVM(Surround View Monitoring) 시스템 및 MFC(Multifunction Front Camera) 시스템을 구성하는 카메라 모듈로 구현될 수 있으며, 예를 들어 제1 내지 제4 가변 화각 카메라 모듈(110, 120, 130, 140)은 SVM 시스템을 구성하는 카메라 모듈로 구현되고, 제5 가변 화각 카메라 모듈(150)은 MFC 시스템을 구성하는 카메라 모듈로 구현될 수 있다. 이 경우, 도 4에 도시된 ①번 영역은 제5 가변 화각 카메라 모듈(150)에 의해 촬영되는 영역(MFC 카메라 영역)이 되고, ②번 영역은 제1 내지 제4 가변 화각 카메라 모듈(110, 120, 130, 140)에 의해 촬영되는 영역(SVM 카메라 영역)이 된다. ①번 영역과 ②번 영역에 해당하는 영상이 차량 주변 영상이 되며, 제1 내지 제5 가변 화각 카메라 모듈(110, 120, 130, 140, 150)로서 SVM(Surround View Monitoring) 시스템 및 MFC(Multifunction Front Camera) 시스템을 구성하는 카메라 모듈이 채용될 때, 차량 주변 영상은 고해상도로 획득될 수 있다.

측위부(200)는 차량에 설치되며, 영상 인식 장치(CAM_CCTV)로부터 수신한 제1 위치 판단 신호와 사용자가 소지한 원격 단말(SMK)로부터 수신한 제2 위치 판단 신호의 각 RSSI(Received Signal Strength Indication)에 기초하여 주차 공간에서의 차량의 위치 정보를 생성할 수 있다.

여기서, 영상 인식 장치(CAM_CCTV)는 주차 공간에 설치되어 주차 공간을 촬영하여 주차 공간 영상을 생성하는 장치로서, 주차 공간에 설치된 CCTV 카메라로 구현될 수 있으며, 도 4는 영상 인식 장치(CAM_CCTV)가 네 개의 CCTV 카메라를 포함하는 예시를 도시하고 있다. 고해상도로 획득될 수 있는 차량 주변 영상과 달리, 주차 공간 영상은 통상의 CCTV 카메라에 의해 획득되는 점에서 저해상도로 획득된다. 또한, 원격 단말(SMK)은 사용자가 원격에서 차량의 도어 잠금 및 도어 잠금 해제 등을 수행하기 위해 사용자가 소지하는 스마트키로 구현될 수 있다.

본 실시예에서 영상 인식 장치(CAM_CCTV) 및 원격 단말(SMK)은 각각 제1 위치 판단 신호 및 제2 위치 판단 신호를 송신하도록 동작할 수 있으며, 제1 및 제2 위치 판단 신호는 RF(Radio Frequency, 통상 315/433MHz) 신호일 수 있다(영상 인식 장치(CAM_CCTV)가 도 4에 도시된 것과 같이 네 개의 CCTV 카메라를 포함하는 경우, 제1 위치 판단 신호는 각 CCTV 카메라로부터 송신되는 제1-1 위치 판단신호, 제1-2 위치 판단신호, 제1-3 위치 판단신호 및 제1-4 위치 판단신호로 세분화될 수 있다).

이에 따라, 측위부(200)는 수신된 제1 및 제2 위치 판단 신호의 각 RSSI에 기초하여 주차 공간에서의 차량의 위치 정보를 생성할 수 있다. 즉, 측위부(200)는 영상 인식 장치(CAM_CCTV) 및 원격 단말(SMK)로부터 각각 수신한 제1 및 제2 위치 판단 신호의 각 RSSI 간 차이에 따른 다각 측량 알고리즘을 이용하여 주차 공간 내에서의 위치 좌표로서 차량의 위치 정보를 생성할 수 있다.

전술한 동작을 수행하는 측위부(200)는, 도 2에 도시된 것과 같이 원격 단말(SMK)과의 LF 및 RF 통신을 기반으로 차량의 도어 잠금 및 도어 잠금 해제 등을 수행하는 스마트키 시스템 제어 장치(SMK_ECU)로 구현될 수도 있고, 도 3(b)에 도시된 것과 같이 차량에 설치된 별도의 제어부(ECU module) 내에서 구현될 수도 있으며, 스마트키 시스템 제어 장치(SMK_ECU)가 부재하거나 제어부(ECU module)를 통해 제1 및 제2 위치 판단 신호를 수신할 수 없는 다양한 경우 등을 고려하여 도 3(a)에 도시된 것과 같이 가변 화각 카메라 모듈 내에서 구현될 수도 있다.

원격 제어 디바이스부(300)는 주차 공간에 설치된 영상 인식 장치(CAM_CCTV)에 의해 획득된 주차 공간 영상, 및 카메라 센서부(100)에 의해 획득된 차량 주변 영상을 합성하여 차량의 원격 주차 제어를 위한 제어 디스플레이 영상을 생성한 후 사용자에게 제공하고, 사용자의 모션에 기초하여 카메라 센서부(100)의 동작을 제어하며, 카메라 센서부(100)의 동작 제어에 따라 가공되는 제어 디스플레이 영상을 사용자에게 제공함으로써, 주차 공간에서의 차량의 주차를 원격 제어할 수 있다.

즉, 주차 공간에 위치한 차량에 대하여 사용자가 원격으로 주차를 제어하기 위해서는 주차 공간 영상과 함께 차량 주변 영상을 확인할 수 있어야 하므로, 원격 제어 디바이스부(300)는 주차 공간 영상 및 차량 주변 영상을 합성하여 제어 디스플레이 영상을 생성한 후 사용자에게 제공할 수 있다(영상 인식 장치(CAM_CCTV)에 의해 획득된 주차 공간 영상은 해당 주차 공간을 관리하기 위한 별도의 관리 서버에 의해 관리될 수 있으며, 이에 따라 원격 제어 디바이스부(300)는 상기 관리 서버를 통해 주차 공간 영상을 제공받을 수 있다). 또한, 일률적인 제어 디스플레이 영상만을 사용자에게 제공할 경우 원격 주차 제어의 편의성이 저하되는 점을 고려하여, 원격 제어 디바이스부(300)는 사용자의 모션에 기초하여 가변 화각 카메라 모듈을 포함하는 카메라 센서부(100)의 동작을 제어할 수 있다(즉, 카메라 센서부(100)에 포함되는 가변 화각 카메라 모듈의 화각을 제어할 수 있다). 카메라 센서부(100)의 동작이 제어됨에 따라 카메라 센서부(100)에 의해 획득되는 차량 주변 영상의 범위 및 해상도가 가변되며, 따라서 제어 디스플레이 영상은 실시간으로 가공되어 원격 제어 디바이스부(300)를 통해 사용자에게 제공될 수 있다.

전술한 내용에 기초하여, 이하에서는 원격 제어 디바이스부(300)의 동작을 구체적으로 설명한다.

원격 제어 디바이스부(300)는 측위부(200)로부터 전달받은 차량의 위치 정보를 기반으로 주차 공간 영상 및 차량 주변 영상을 합성함으로써, 주차 공간 내에서의 차량의 위치가 반영되도록 제어 디스플레이 영상을 생성할 수 있다.

즉, 주차 공간에 위치한 차량에 대하여 사용자가 원격으로 주차를 제어하기 위해서는 주차 공간 내에서 차량의 위치를 확인할 수 있어야 하므로, 원격 제어 디바이스부(300)는 측위부(200)로부터 전달받은 차량의 위치 정보를 기반으로 주차 공간 영상 및 차량 주변 영상을 합성함으로써, 사용자가 주차 공간 내에서의 차량의 위치를 확인할 수 있도록 제어 디스플레이 영상을 생성하여 사용자에게 제공할 수 있다.

원격 제어 디바이스부(300)는 주차 공간 내에서의 차량의 위치가 반영되도록 생성된 제어 디스플레이 영상을 조감도(Bird-View Image) 형태로 제공할 수 있으며, 사용자의 조작에 따라 조감도 형태의 제어 디스플레이 영상을, 차량 내에서의 사용자의 시점에 정합되도록 사용자 시점 형태의 제어 디스플레이 영상으로 변환하여 사용자에게 제공할 수도 있다(즉, 사용자가 차량에 실제로 탑승한 상태에서 보여지는 시야를 사용자에게 제공할 수 있다). 이를 위해, 원격 제어 디바이스부(300)에는 제어 디스플레이 영상을 변환하기 위해 사용자가 조작할 수 있는 조작부(예: 버튼 등)가 구비되어 있을 수 있다.

또한, 원격 제어 디바이스부(300)는 사용자의 모션에 기초하여 카메라 센서부(100)의 화각을 가변시키고, 카메라 센서부(100)의 화각이 가변됨에 따라 변화하는 차량 주변 영상을 기반으로 가공되는 제어 디스플레이 영상을 사용자에게 제공할 수 있다.

즉, 원격 제어 디바이스부(300)는 사용자의 모션(후술)에 기초하여 카메라 센서부(100)에 포함된 가변 화각 카메라 모듈의 화각을 가변시키기 위한 제어 신호를 차량의 카메라 센서 제어 장치(CAM_ECU)로 전송할 수 있고, 카메라 센서 제어 장치(CAM_ECU)는 수신한 제어 신호를 기반으로 카메라 센서부(100)의 화각을 가변시킬 수 있으며, 카메라 센서부(100)의 화각이 가변됨에 따라 차량 주변 영상은 변화하게 된다. 변화되는 차량 주변 영상은 원격 제어 디바이스부(300)로 전송되어, 원격 제어 디바이스부(300)는 변화하는 차량 주변 영상을 기반으로 가공되는 제어 디스플레이 영상을 사용자에게 제공할 수 있다.

이때, 원격 제어 디바이스부(300)는 사용자의 모션을 토대로 결정되는 사용자의 관심 영역(ROI: Region Of Interest)에 해당하는 영상이 획득되도록 카메라 센서부(100)의 화각을 가변시킬 수 있다. 여기서, 사용자의 모션은 사용자의 수조작 및 시선 정보 중 하나 이상을 포함할 수 있으며, 사용자의 시선 정보는 사용자의 시선 방향(위치) 및 해당 방향으로 시선이 머문 시간을 포함할 수 있다.

구체적으로, 원격 제어 디바이스부(300)는 조작부에 대한 사용자의 수조작을 통해 사용자로부터 관심 영역을 입력받을 수 있으며, 사용자의 수조작을 토대로 결정되는 사용자의 관심 영역에 해당하는 영상이 획득되도록 카메라 센서부(100)의 화각을 가변시킬 수 있다.

또한, 원격 제어 디바이스부(300)는 사용자의 시선 방향을 검출하고 해당 방향으로 시선이 머문 시간을 측정할 수 있으며, 일정 시간 이상 시선이 머문 위치를 사용자의 관심 영역으로 결정하고, 결정된 관심 영역에 해당하는 영상이 획득되도록 카메라 센서부(100)의 화각을 가변시킬 수 있다. 사용자의 시선 방향을 검출하기 위해 원격 제어 디바이스부(300)에는 사용자의 동공 또는 홍채를 검출하는 동공 인식 모듈 또는 홍채 인식 모듈이 구비되어 있을 수 있다.

여기서, 사용자의 관심 영역에 해당하는 영상이 획득되도록 카메라 센서부(100)의 화각을 가변시킬 때, 원격 제어 디바이스부(300)는 차량 주변 영상에 대하여 줌 인(Zoom In), 줌 아웃(Zoom Out), 크롭(Crop) 및 시프트(Shift) 등의 기능을 적용할 수 있다. 즉, 전술한 것과 같이 차량 주변 영상은 고해상도로 획득될 수 있어 영상 확대가 가능하나, 주차 공간 영상은 저해상되로 획득되어 영상 확대가 불가능하기 때문에, 원격 제어 디바이스부(300)는 차량 주변 영상에 대하여 줌 인(Zoom In), 줌 아웃(Zoom Out), 크롭(Crop) 및 시프트(Shift) 기능을 적용하여 차량 주변 영상의 영역 중 관심 영역에 해당하는 영상을 사용자가 보다 자세히 확인하도록 할 수 있다.

도 5는 사용자의 관심 영역에 해당하는 영상이 획득되도록 카메라 센서부(100)의 화각이 가변되는 예시를 도시하고 있다. 도 5(a)는 최초 제어 디스플레이 영상의 예시를 도시하고 있고, 도 5(b)는 주차 공간 영상 대비 고해상도 영역인 차량 주변 영상이 더 확대된 제어 디스플레이 영상의 예시를 도시하고 있으며(Zoom In 케이스 1), 도 5(c)는 고해상도 영역인 차량 주변 영상이 확장 이동된 제어 디스플레이 영상의 예시를 도시하고 있고(Zoom In 케이스 2), 도 5(d)는 고해상도 영역인 차량 주변 영상이 확장 이동된 상태에서 주차 공간 영상 대비 차량 주변 영상이 더 확대된 제어 디스플레이 영상의 예시를 도시하고 있으며(Zoom In 케이스 3), 도 5(e)는 최초 제어 디스플레이 영상으로 복귀한 상태를 도시하고 있다(Zoon Out 케이스).

이에 따라, 원격 제어 디바이스부(300)가 사용자의 모션을 감지하여 카메라 센서부(100)의 화각을 가변시키고, 카메라 센서부(100)의 화각이 가변됨에 따라 변화하는 차량 주변 영상을 기반으로 제어 디스플레이 영상이 가공됨으로써, 차량의 이동 과정에서 사용자의 모션에 능동적으로 가공되는 제어 디스플레이 영상이 사용자에게 제공되어 원격 주차 제어의 정밀도가 향상될 수 있다.

한편, 원격 제어 디바이스부(300)는 사용자를 인증하기 위한 인증 정보를 사용자로부터 획득하여 차량(카메라 센서 제어 장치(CAM_ECU) 또는 카메라 센서부(100))으로 전송할 수 있으며, 카메라 센서부(100)는 인증 정보가 차량(카메라 센서 제어 장치(CAM_ECU) 또는 카메라 센서부(100))으로 전송된 경우에만 차량 주변 영상을 획득하여 원격 제어 디바이스부(300)로 전달할 수 있다.

즉, 원격 주차 제어를 개시하기 전 원격 제어 디바이스부(300)는 사용자를 인증하기 위한 인증 정보를 획득할 수 있으며, 획득된 인증 정보와 미리 등록된 인증 정보가 일치하는 경우, 획득된 인증 정보를 차량으로 전송할 수 있다. 이에 따라, 카메라 센서부(100)는 인증 정보가 차량으로 전송된 경우에만 차량 주변 영상을 획득하여 원격 제어 디바이스부(300)로 전달함으로써 차량의 원격 주차 제어가 개시될 수 있다.

인증 정보는 사용자의 홍채 정보, 지문 정보 및 스마트키 코드 정보를 포함할 수 있으며, 홍채 정보 및 지문 정보를 획득하기 위해 원격 제어 디바이스부(300)에는 홍채 인식 모듈 및 지문 인식 모듈이 구비되어 있을 수 있다.

한편, 원격 제어 디바이스부(300) 및 차량 간 송수신하는 모든 정보(차량 주변 영상, 차량의 위치 정보, 인증 정보)는 무선 통신을 기반으로 송수신되기 때문에, 그 보안 강화를 위해 각 정보는 암복호화되어 송수신될 수 있다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 원격 주차 방법을 설명하기 위한 흐름도이다.

도 6을 참조하여 본 발명의 일 실시예에 따른 원격 주차 방법을 설명하면, 먼저 원격 제어 디바이스부(300)는 주차 공간에서의 차량의 주차에 대한 원격 제어를 준비한다(S100).

도 7을 참조하여 S100 단계를 구체적으로 설명하면, 원격 제어 디바이스부(300)는 차량의 웨이크업(Wake Up)을 위한 웨이크업 신호를 차량(카메라 센서 제어 장치(CAM_ECU) 또는 카메라 센서부(100)를 의미할 수 있다. 이하에서는 원격 제어 디바이스부(300) 및 카메라 센서부(100)가 직접 통신하는 구성으로 설명한다)으로 전송한다(S110).

원격 제어 디바이스부(300)로부터 웨이크업 신호가 수신되지 않은 경우(S120), 현재의 슬립(Sleep) 모드가 유지되고(S130), 원격 제어 디바이스부(300)로부터 웨이크업 신호가 정상적으로 수신된 경우(S120), 카메라 센서부(100)는 웨이크업 신호에 대한 응답 신호를 원격 제어 디바이스부(300)로 전송한다(S140).

원격 제어 디바이스부(300)는 카메라 센서부(100)로부터 웨이크업 신호에 대한 응답 신호가 수신되는지 여부를 판단하며(S150), 응답 신호가 수신된 경우 사용자를 인증하기 위한 인증 정보를 사용자로부터 획득하여(S160) 카메라 센서부(100)로 송신하고(S170), 응답 신호가 수신되지 않은 경우 웨이크업 신호를 카메라 센서부(100)로 재송신한다(S110).

다시 도 6을 참조하여, S100 단계를 통해 원격 주차 제어의 준비가 완료되면, 측위부(200)는 영상 인식 장치(CAM_CCTV)로부터 수신한 제1 위치 판단 신호와 사용자가 소지한 원격 단말(SMK)로부터 수신한 제2 위치 판단 신호의 각 RSSI(Received Signal Strength Indication)에 기초하여 주차 공간에서의 차량의 위치 정보를 생성한다(S200).

이어서, 카메라 센서부(100)는 차량 주변 영상을 획득한다(S300).

이어서, 원격 제어 디바이스부(300)는 영상 인식 장치(CAM_CCTV)에 의해 획득된 주차 공간 영상, 및 카메라 센서부(100)에 의해 획득된 차량 주변 영상을 합성하여 차량의 원격 주차 제어를 위한 제어 디스플레이 영상을 생성한 후 사용자에게 제공하고, 사용자의 모션에 기초하여 카메라 센서부(100)의 동작을 제어하며, 카메라 센서부(100)의 동작 제어에 따라 가공되는 제어 디스플레이 영상을 사용자에게 제공함으로써, 주차 공간에서의 차량의 주차를 원격 제어한다(S400).

도 7을 참조하여 S400 단계를 구체적으로 설명하면, 원격 제어 디바이스부(300)는 측위부(200) 및 카메라 센서부(100)로부터 각각 차량의 위치 정보 및 차량 주변 영상을 전송받고, 또한 주차 공간을 관리하는 별도의 관리 서버를 통해 주차 공간 영상을 전송받는다(S410).

이어서, 원격 제어 디바이스부(300)는 차량의 위치 정보를 기반으로 주차 공간 영상 및 차량 주변 영상을 합성함으로써, 주차 공간 내에서의 차량의 위치가 반영되도록 제어 디스플레이 영상을 생성하여 사용자에게 제공한다(S420).

이후, 원격 제어 디바이스부(300)는 사용자의 모션에 기초하여 카메라 센서부(100)의 화각을 가변시키고, 카메라 센서부(100)의 화각이 가변됨에 따라 변화하는 차량 주변 영상을 기반으로 가공되는 제어 디스플레이 영상을 사용자에게 제공한다.

즉, 원격 제어 디바이스부(300)는 사용자의 모션에 기초하여 카메라 센서부(100)의 화각을 가변시키기 위한 제어신호를 생성하여(S430) 카메라 센서 제어 장치(CAM_ECU)로 송신하고(S440), 제어 신호를 수신한 카메라 센서 제어 장치(CAM_ECU)에 의해 카메라 센서부(100)의 화각이 가변되며(S450), 이후 S200 단계 및 S300 단계를 통해 차량의 현재 위치 정보 및 가변된 화각에 따라 획득된 차량 주변 영상이 원격 제어 디바이스부(300)로 전송되고, 최종적으로 원격 제어 디바이스부(300)는 카메라 센서부(100)의 화각이 가변됨에 따라 변화하는 차량 주변 영상을 기반으로 가공되는 제어 디스플레이 영상을 사용자에게 제공한다(S410). S410 단계 내지 S450 단계는 조작부를 통한 사용자의 주차 제어 중지 조작이 있을 때까지 순환적으로 수행됨으로써, 제어 디스플레이 영상이 사용자에게 실시간으로 제공될 수 있다.

한편, S400 단계에서 원격 제어 디바이스부(300)가 카메라 센서부(100)의 화각을 가변시킬 때, 원격 제어 디바이스부(300)는 사용자의 모션을 토대로 결정되는 사용자의 관심 영역(ROI: Region Of Interest)에 해당하는 영상이 획득되도록 카메라 센서부(100)의 화각을 가변시킬 수 있으며, 이때 사용자의 모션은 사용자의 수조작 및 시선 정보 중 하나 이상을 포함할 수 있다.

이상의 실시예에서는 사용자가 차량의 원격 주차 제어를 수행할 때 제어 디스플레이 영상이 사용자에게 제공되는 과정을 중심으로 설명하였으며, 이와 함께 제어 디스플레이 영상이 사용자에게 제공되는 구성과 병렬적으로, 차량의 이동을 제어하기 위한 사용자의 주행 제어가 원격 제어 디바이스부(300)에 구비된 조작부를 통해 이루어질 수 있다.

실시예 1에 따를 때, 주차 공간 영상 및 차량 주변 영상을 합성하는 방식을 통해 사용자가 원격으로 주차를 제어하기 위해 요구되는 디스플레이 영상을 사용자에게 제공함으로써 보다 편리하게 원격에서 차량의 주차 제어를 가능하게 할 수 있고, 차량에 적용된 가변 화각 카메라 모듈을 활용하여 사용자의 모션에 능동적으로 가공되는 디스플레이 영상을 사용자에게 제공함으로써 원격 주차 제어의 정밀도를 향상시킬 수 있다.

도 8은 본 발명의 일 실시예에 따른 차량의 객체 인식 장치를 설명하기 위한 블록구성도이고, 도 9는 본 발명의 일 실시예에 따른 차량의 객체 인식 장치의 동작 과정을 설명하기 위한 예시도이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 차량의 객체 인식 장치는 가변 화각 카메라 모듈(10) 및 제어부(20)를 포함할 수 있다.

가변 화각 카메라 모듈(10)은 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어 자율 주행 차량에 장착되며, 초점 거리 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되어 대상 객체를 인식할 수 있다. 실시예 2의 가변 화각 카메라 모듈(10)은 실시예 1에서 설명한 가변 화각 카메라 모듈(10)과 동일하므로, 구체적인 동작 설명은 생략한다. 실시예 2의 가변 화각 카메라 모듈(10)은 자율 주행 차량에 장착되어 자율 주행 제어에 요구되는 객체 인식 결과를 제공하는 기능을 수행할 수 있다.

제어부(20)는 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈(10)의 화각을 가변시켜 가변 화각 카메라 모듈(10)을 통해 대상 객체를 인식하고, 그 인식 결과를 기반으로 자율 주행 차량의 자율 주행을 제어할 수 있다.

구체적으로, 실시예 2의 자율 주행 차량은 장착된 가변 화각 카메라 모듈(10)에 의해 획득되는 대상 객체 인식 결과를 기반으로 자율 주행이 제어되기 때문에, 가변 화각 카메라 모듈(10)의 객체 인식 성능은 자율 주행 제어 정밀도에 직결된다. 그러나, 대상 객체의 사이즈가 작거나 Occulusion이 발생한 경우, 또는 환경 조건에 의해 가변 화각 카메라 모듈(10)에 의해 획득된 영상에 Blur가 발생한 경우에는 가변 화각 카메라 모듈(10)을 통한 대상 객체의 인식 및 추적 성능이 감소하게 된다.

따라서, 본 실시예에서 제어부(20)는 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈(10)의 화각을 가변시켜 가변 화각 카메라 모듈(10)을 통해 대상 객체를 인식하고, 그 인식 결과를 기반으로 자율 주행 차량의 자율 주행을 제어할 수 있다.

도 9를 참조하여 예시로서 설명하면, 가변 화각 카메라 모듈(10)이 대상 객체를 인식한 결과에 대하여 딥 러닝 또는 영상 처리 기법을 적용할 경우, 전술한 여러가지 요인에 따라 대상 객체를 인식하지 못하거나 오인식하는 경우가 발생할 수 있다.

따라서, 제어부(20)는 대상 객체가 미인식되거나 오인식된 경우, 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈(10)의 화각을 가변시키고, 화각이 가변된 가변 화각 카메라 모듈(10)을 통해 대상 객체를 인식하며, 그 인식 결과에 딥 러닝 또는 영상 처리 기법을 적용함으로써 대상 객체의 의미를 파악하여 자율 주행 차량의 자율 주행을 제어할 수 있다.

이때, 제어부(20)는 대상 객체에 대한 가변 화각 카메라 모듈(10)의 인식도가 미리 설정된 임계치 미만인 경우에만 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈(10)의 화각을 가변시킬 수 있다. 가변 화각 카메라 모듈(10)의 인식도는 가변 화각 카메라 모듈(10)의 인식 성능을 지표하는 파라미터로서, 예를 들어 해상도가 채용될 수 있다.

이에 따라, 대상 객체에 대한 가변 화각 카메라 모듈(10)의 인식도가 미리 설정된 임계치 미만인 경우, 대상 객체에 대한 미인식 또는 오인식으로 인해 자율 주행 제어 정밀도가 저감될 수 있으므로, 제어부(20)는 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈(10)의 화각을 가변시키고, 화각이 가변된 가변 화각 카메라 모듈(10)을 통해 대상 객체를 인식하며, 그 인식 결과에 딥 러닝 또는 영상 처리 기법을 적용함으로써 대상 객체의 의미를 파악하여 자율 주행 차량의 자율 주행을 제어할 수 있다.

도 10은 본 발명의 일 실시예에 따른 차량의 객체 인식 방법을 설명하기 위한 흐름도이다.

도 10을 참조하여 본 발명의 일 실시예에 따른 차량의 객체 인식 방법을 설명하면, 먼저 자율 주행 차량에 장착된 가변 화각 카메라 모듈(10)은 자율 주행 과정에서 대상 객체를 인식한다(S10).

이어서, 제어부(20)는 대상 객체에 대한 가변 화각 카메라 모듈(10)의 인식도가 미리 설정된 임계치 미만인 경우(S20), 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈(10)의 화각을 가변시키고, 화각이 가변된 가변 화각 카메라 모듈(10)을 통해 대상 객체를 인식하며, 그 인식 결과에 딥 러닝 또는 영상 처리 기법을 적용함으로써 대상 객체의 의미를 파악하여 자율 주행 차량의 자율 주행을 제어한다(S30).

실시예 2에 따를 때, 대상 객체에 대한 해상도가 증가되도록 가변 화각 카메라 모듈의 화각을 가변시키는 방식을 통해 가변 화각 카메라 모듈의 인식 성능을 향상시킴으로써, 자율 주행 차량의 자율 주행 성능을 향상시킬 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

<실시예 1>
100: 카메라 센서부
110, 120, 130, 140, 150: 제1 내지 제5 가변 화각 카메라 모듈
200: 측위부
300: 원격 제어 디바이스부
VEH: 차량
CAM_ECU: 카메라 센서 제어 장치
SMK_ECU: 스마트키 시스템 제어 장치
ECU module: 제어부
CAM_CCTV: 영상 인식 장치
SMK: 원격 단말
<실시예 2>
10: 가변 화각 카메라 모듈
20: 제어부

Claims

차량에 설치되어 차량 주변 영상을 획득하는 카메라 센서부; 및
주차 공간에 설치된 영상 인식 장치에 의해 획득된 주차 공간 영상, 및 상기 카메라 센서부에 의해 획득된 상기 차량 주변 영상을 합성하여 상기 차량의 원격 주차 제어를 위한 제어 디스플레이 영상을 생성한 후 사용자에게 제공하고, 상기 사용자의 모션에 기초하여 상기 카메라 센서부의 동작을 제어하며, 상기 카메라 센서부의 동작 제어에 따라 가공되는 상기 제어 디스플레이 영상을 상기 사용자에게 제공함으로써, 상기 주차 공간에서의 상기 차량의 주차를 원격 제어하는 원격 제어 디바이스부;
를 포함하는 것을 특징으로 하는 원격 주차 시스템.
제1항에 있어서,
상기 차량에 설치되며, 상기 영상 인식 장치로부터 수신한 제1 위치 판단 신호와 상기 사용자가 소지한 원격 단말로부터 수신한 제2 위치 판단 신호의 각 RSSI(Received Signal Strength Indication)에 기초하여 상기 주차 공간에서의 상기 차량의 위치 정보를 생성하는 측위부;를 더 포함하는 것을 특징으로 하는 원격 주차 시스템.
제2항에 있어서,
상기 원격 제어 디바이스부는, 상기 측위부로부터 전달받은 상기 차량의 위치 정보를 기반으로 상기 주차 공간 영상 및 상기 차량 주변 영상을 합성함으로써, 상기 주차 공간 내에서의 상기 차량의 위치가 반영되도록 상기 제어 디스플레이 영상을 생성하는 것을 특징으로 하는 원격 주차 시스템.
제1항에 있어서,
상기 카메라 센서부는, 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어, 초점 거리 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되는 가변 화각 카메라 모듈을 포함하는 것을 특징으로 하는 원격 주차 시스템.
제4항에 있어서,
상기 원격 제어 디바이스부는, 상기 사용자의 모션에 기초하여 상기 카메라 센서부의 화각을 가변시키고, 상기 카메라 센서부의 화각이 가변됨에 따라 변화하는 상기 차량 주변 영상을 기반으로 가공되는 상기 제어 디스플레이 영상을 상기 사용자에게 제공하는 것을 특징으로 하는 원격 주차 시스템.
제5항에 있어서,
상기 원격 제어 디바이스부는, 상기 사용자의 모션을 토대로 결정되는 상기 사용자의 관심 영역(ROI: Region Of Interest)에 해당하는 영상이 획득되도록 상기 카메라 센서부의 화각을 가변시키되, 상기 사용자의 모션은 상기 사용자의 수조작 및 시선 정보 중 하나 이상을 포함하는 것을 특징으로 하는 원격 주차 시스템.
제1항에 있어서,
상기 원격 제어 디바이스부는, 상기 사용자를 인증하기 위한 인증 정보를 상기 사용자로부터 획득하고,
상기 카메라 센서부는, 상기 인증 정보가 상기 원격 제어 디바이스부로부터 상기 차량으로 전송된 경우에만 상기 차량 주변 영상을 획득하여 상기 원격 제어 디바이스부로 전달하는 것을 특징으로 하는 원격 주차 시스템.
차량에 설치된 카메라 센서부가, 차량 주변 영상을 획득하는 단계; 및
원격 제어 디바이스부가, 주차 공간에 설치된 영상 인식 장치에 의해 획득된 주차 공간 영상, 및 상기 카메라 센서부에 의해 획득된 상기 차량 주변 영상을 합성하여 상기 차량의 원격 주차 제어를 위한 제어 디스플레이 영상을 생성한 후 사용자에게 제공하고, 상기 사용자의 모션에 기초하여 상기 카메라 센서부의 동작을 제어하며, 상기 카메라 센서부의 동작 제어에 따라 가공되는 상기 제어 디스플레이 영상을 상기 사용자에게 제공함으로써, 상기 주차 공간에서의 상기 차량의 주차를 원격 제어하는 단계;
를 포함하는 것을 특징으로 하는 원격 주차 방법.
제8항에 있어서,
상기 원격 제어 디바이스부가, 상기 주차 공간에서의 상기 차량의 주차에 대한 원격 제어를 준비하는 단계;를 더 포함하되,
상기 준비하는 단계는,
상기 원격 제어 디바이스부가, 상기 차량의 웨이크업(Wake Up)을 위한 웨이크업 신호를 상기 차량으로 전송하는 단계;
상기 원격 제어 디바이스부가, 상기 차량으로부터 상기 웨이크업 신호에 대한 응답 신호가 수신되는지 여부를 판단하는 단계; 및
상기 응답 신호가 수신된 경우, 상기 원격 제어 디바이스부가, 상기 사용자를 인증하기 위한 인증 정보를 상기 사용자로부터 획득하여 상기 차량으로 전송하는 단계;
를 포함하는 것을 특징으로 하는 원격 주차 방법.
제8항에 있어서,
상기 차량에 설치되는 측위부가, 상기 영상 인식 장치로부터 수신한 제1 위치 판단 신호와 상기 사용자가 소지한 원격 단말로부터 수신한 제2 위치 판단 신호의 각 RSSI(Received Signal Strength Indication)에 기초하여 상기 주차 공간에서의 상기 차량의 위치 정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 원격 주차 방법.
제10항에 있어서,
상기 원격 제어하는 단계에서, 상기 원격 제어 디바이스부는,
상기 측위부로부터 전달받은 상기 차량의 위치 정보를 기반으로 상기 주차 공간 영상 및 상기 차량 주변 영상을 합성함으로써, 상기 주차 공간 내에서의 상기 차량의 위치가 반영되도록 상기 제어 디스플레이 영상을 생성하는 것을 특징으로 하는 원격 주차 방법.
제8항에 있어서,
상기 카메라 센서부는, 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어, 초점 거리 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되는 가변 화각 카메라 모듈을 포함하는 것을 특징으로 하는 원격 주차 방법.
제12항에 있어서,
상기 원격 제어하는 단계에서, 상기 원격 제어 디바이스부는,
상기 사용자의 모션에 기초하여 상기 카메라 센서부의 화각을 가변시키고, 상기 카메라 센서부의 화각이 가변됨에 따라 변화하는 상기 차량 주변 영상을 기반으로 가공되는 상기 제어 디스플레이 영상을 상기 사용자에게 제공하는 것을 특징으로 하는 원격 주차 방법.
제13항에 있어서,
상기 원격 제어하는 단계에서, 상기 원격 제어 디바이스부는,
상기 사용자의 모션을 토대로 결정되는 상기 사용자의 관심 영역(ROI: Region Of Interest)에 해당하는 영상이 획득되도록 상기 카메라 센서부의 화각을 가변시키되, 상기 사용자의 모션은 상기 사용자의 수조작 및 시선 정보 중 하나 이상을 포함하는 것을 특징으로 하는 원격 주차 방법.
복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어 자율 주행 차량에 장착되며, 초점 거리 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되어 대상 객체를 인식하는 가변 화각 카메라 모듈; 및
상기 대상 객체에 대한 해상도가 증가되도록 상기 가변 화각 카메라 모듈의 화각을 가변시켜 상기 가변 화각 카메라 모듈을 통해 상기 대상 객체를 인식하고, 그 인식 결과를 기반으로 상기 자율 주행 차량의 자율 주행을 제어하는 제어부;
를 포함하는 것을 특징으로 하는 차량의 객체 인식 장치.
제15항에 있어서,
상기 제어부는, 상기 대상 객체에 대한 상기 가변 화각 카메라 모듈의 인식도가 미리 설정된 임계치 미만인 경우에만 상기 대상 객체에 대한 해상도가 증가되도록 상기 가변 화각 카메라 모듈의 화각을 가변시키는 것을 특징으로 하는 차량의 객체 인식 장치.
제15항에 있어서,
상기 제어부는, 상기 인식 결과에 딥 러닝(Deep Learning) 또는 영상 처리 기법을 적용하여 상기 자율 주행 차량의 자율 주행을 제어하는 것을 특징으로 하는 차량의 객체 인식 장치.