KR20240067830A

KR20240067830A - 운송 수단과 연결되어 동작하는 자율 주행 기능 지원 장치 및 그 동작 방법

Info

Publication number: KR20240067830A
Application number: KR1020230154917A
Authority: KR
Inventors: 방현진; 조현철; 박상호
Original assignee: 팅크웨어(주)
Priority date: 2022-11-09
Filing date: 2023-11-09
Publication date: 2024-05-17

Abstract

운송 수단과 연결되어 동작하는 자율 주행 기능 지원 장치 및 그 동작 방법을 개시한다.
본 발명의 실시예에 따른 자율 주행 기능 지원 장치는, 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 프로세서; 상기 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 게이트웨이 모듈; 및 상기 수집 정보 및 상기 주행 관련 정보를 획득하고, 상기 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성하는 그래픽 처리 모듈을 포함할 수 있다.

Description

운송 수단과 연결되어 동작하는 자율 주행 기능 지원 장치 및 그 동작 방법{Method and Apparatus for Supporting Autonomous Driving Function that Operates in Connection with Vehicle}

본 발명은 자율 주행 기능 지원 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 운송 수단과 연결되어 동작하는 자율 주행 기능 지원 장치 및 그 동작 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

차량이란, 사람 또는 화물을 운송할 목적으로, 도로 또는 선로 위를 달리는 모든 차를 통틀어 이르는 운송 기계이다. 이러한 차량은, 인력 또는 축력 이외의 동력을 사용하여, 주행 또는 운행되어 탑승하는 사용자가 원하는 방향으로 이동시키는 장치로서, 대표적으로 자동차를 예를 들 수 있다.

차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있다.

최근 자율 주행 차량에 대한 관심이 증가되면서 자율 주행 차량에 탑재되는 센서에 대한 연구가 활발히 진행되고 있다. 자율 주행 차량에 탑재되는 센서로 카메라, 적외선센서, 레이더, GPS, 라이다(Lidar), 자이로스코프 등이 있고 점점 그 활용도가 높아지고 있고, 이러한 각종 센서와 전자 장치들을 이용하여 자율주행이나 각종 안전/편의 기능 등이 더 개발되고 있다.

자율 주행 기술은 차간 거리 유지 기술인 고속도로 주행지원 시스템(HDA, high way driving assist), 차선 이탈 경보 시스템(LDWS, Lane Departure Wanning System), 차선유지 지원 시스템(LKAS, Lane Keeping Assist System), 후측방 경보 시스템(BSD, Blind Spot Detection), 어드밴스드 스마트 크루즈 컨트롤(ASCC, Advanced Smart Cruise Control), 자동 긴급제동 시스템(AEB, Autonomous Emergency Braking), 혼잡 구간 주행 지원 시스템(TJA, Traffic Jam Assist), 장애물 회피 제어 기술 등을 이용하여 출발지와 목적지 사이를 자율 주행하도록 차량을 제어하는 기술이다.

자율 주행 기술이 지원되는 차량을 구매하지 않더라도 운송 수단의 탑승자가 자율 주행 기능을 사용하기 위하여 자율 주행 기능을 기존의 운송 수단에 적용할 수 있는 기술의 연구 개발이 필요한 실정이다.

자율주행 운송 수단을 제작하기 위해서는, 조향 및 브레이크 하드웨어 별도 개조 작업에 의한 제작이 필요하다. 자율주행 운송 수단의 설계 의도에 맞추어 제작되더라도 고장 발생 빈도가 높고 안정성 저하가 발생하며, 1 년 이상의 안정화 테스트 기간이 필요하게 된다.

또한, 자율주행 운송 수단의 제작 시, 센서와 각 제어기들의 분리 장착과 연동으로 인한 케이블, 하네스, 배선, 장착 문제 및 반응 지연 문제 등이 발생하게 된다. 이러한 문제들로 인해 자율주행 운송 수단의 신뢰도가 낮아지고 고장 빈도가 높아지며, 자율주행 제어 성능을 제한하여 사용하게 된다.

또한, 자율주행 운송 수단의 제작을 위해서는 차량에 맞는 별도 장비가 필요하고 많은 개조 비용과 고장 불량, 안정성, 제어 성능에도 제한적이어서, 안정적으로 동작할 수 있는 ECU(Electronic Control Unit)에 대한 개발이 필요하다.

본 발명이 이루고자 하는 목적은, 자체적으로 자율 주행 기능을 제공하지 않는 다양한 종류의 운송 수단에 적용하여 탑승자에게 자율 주행 기능을 제공할 수 있는 운송 수단과 연결되어 동작하는 자율 주행 기능 지원 장치 및 그 동작 방법을 제공하는데 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

본 발명의 일 측면에 의하면, 상기 목적을 달성하기 위한 운송 수단과 연결되어 자율 주행 기능을 지원하는 장치에 있어서, 자율 주행 기능 지원 장치는, 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 프로세서; 상기 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 게이트웨이 모듈; 및 상기 수집 정보 및 상기 주행 관련 정보를 획득하고, 상기 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성하는 그래픽 처리 모듈을 포함할 수 있다.

또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 자율 주행 기능 지원 장치가 운송 수단과 연결되어 자율 주행 기능을 지원하는 방법에 있어서, 자율 주행 기능 지원 방법은, 프로세서에서, 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 단계; 게이트웨이 모듈에서, 상기 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 단계; 및 그래픽 처리 모듈에서, 상기 수집 정보 및 상기 주행 관련 정보를 획득하고, 상기 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성하는 단계를 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명은 운송 수단에 연결되어 동작하는 자율 주행 기능 지원 장치를 적용함으로써 자체적으로 자율 주행 기능을 제공하지 않는 다양한 종류의 운송 수단에 적용하여 탑승자에게 자율 주행 기능을 제공할 수 있다.

또한, 본 발명은 운송 수단에 연결되어 동작하는 자율 주행 기능 지원 장치를 적용함으로써, 장치 안정성 및 신뢰도를 확보할 수 있는 효과가 있다.

또한, 본 발명은 운송 수단에 연결되어 동작하는 자율 주행 기능 지원 장치를 적용하여 케이블, 하네스, 산업용 PC, 제어기 등을 최소화함으로써, 불량, 고장 빈도를 최소화할 수 있는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 실시예에 따른 자율 주행 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 자율 주행 기능 지원 시스템을 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 자율 주행 기능 지원 장치를 개략적으로 나타낸 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 자율 주행 기능 지원 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시예에 따른 그래픽 처리 모듈의 분산 처리 동작을 설명하기 위한 순서도이다.
도 6 및 도 7은 본 발명의 실시예에 따른 자율 주행 기능 지원 장치를 구현한 장비를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시 예에 따른, 차량의 자율 주행 시스템을 도시한 블록도의 일 예를 도시한다.
도 9 및 도 10은 본 발명의 일 실시 예에 따른, 자율 주행 이동체를 나타내는 블록도의 일 예를 도시한다.
도 11은 본 발명의 일 실시예에 따른, 사용자 장치와 관련된 게이트웨이의 예를 도시한다.
도 12는 본 발명의 일 실시예에 따른, 학습 데이터의 세트에 기반하여 뉴럴 네트워크를 트레이닝하는 전자 장치의 동작을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른, 전자 장치의 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소 들은 상기 용어들에 의해 한정되지는 않는다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있으며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함할 수 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 운송 수단과 연결되어 동작하는 자율 주행 기능 지원 장치 및 그 동작 방법에 대해 자세하게 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 자율 주행 시스템을 개락적으로 나타낸 블록 구성도이다.

도 1을 참조하면, 본 실시예에 따른 자율 주행 시스템(10)은 서비스 제공 서버(20), 네트워크(30), 자율 주행 차량(40) 및 비자율 주행 차량(50)을 포함한다.

도 2는 본 발명의 실시예에 따른 자율 주행 기능 지원 시스템을 개략적으로 나타낸 블록 구성도이고, 도 3은 본 발명의 실시예에 따른 자율 주행 기능 지원 장치를 개략적으로 나타낸 블록 구성도이다.

도 2를 참고하면, 본 실시예에 따른 자율 주행 기능 지원 시스템(100)은 안테나 장치(110), 센서 장치(120), 디스플레이 장치(130), 차량 제어 장치(140), 전원 장치(150) 및 자율 주행 기능 지원장치(160)를 포함한다. 도 2의 자율 주행 기능 지원 시스템(100)은 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 자율 주행 기능 지원 시스템(100)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.

도 2에 도시된 자율 주행 기능 지원 시스템(100)에는 자율 주행 기능을 지원하기 위한 운송 수단의 일부 구성만을 도시하며, 이동을 위하여 운송 수단에 구비될 수 있는 일반적인 구성은 생략하도록 한다. 여기서, 운송 수단은 탑승자가 탑승한 자율 주행 차량인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 무인 이동체로 구현될 수도 있다.

자율 주행 기능 지원 시스템(100)은 운송 수단과 연동하여 자율 주행을 위한 기능을 지원하는 시스템이다.

통신 안테나(110)는 외부 장치 또는 서버와 소정의 데이터 또는 정보를 송수신하는 동작을 수행한다.

통신 안테나(110)는 LTE(long-term evolution), 5G 등의 셀룰러 방식의 무선 통신 기반의 통신을 수행하기 위한 무선 통신 안테나(112), GPS(Global Positioning System), GNSS(Global Navigation Satellite System) 등의 위성을 통한 전지구 측위 시스템을 기반으로 위치 측정을 위하여 위성 신호를 수신하기 위한 위성 수신 안테나(114)를 포함할 수 있다

센서 장치(120)는 운송 수단에 탑재되어 차량 외부 환경을 센싱하는 동작을 수행한다.

센서 장치(120)는 레이저 펄스를 송수신하여 주변 환경 및 객체를 인식하는 라이다(LiDAR: Light Detection And Ranging) 센서(122), 운송 수단의 주행 또는 주변 환경을 촬영하여 영상 및 이미지를 획득하는 카메라 센서(124) 등을 포함할 수 있다. 여기서, 카메라 센서(124)는 차량에 장착되어 차량의 주행 영상을 획득할 수 있는 영상 촬영 장치인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 영상 획득이 가능한 다양한 형태의 센서로 구현될 수 있다.

디스플레이 장치(130)는 운송 수단에 탑재된 적어도 하나의 디스플레이를 포함한다.

디스플레이 장치(130)는 제1 차량 모니터(132), 제2 차량 모니터(134) 등을 포함할 수 있다. 여기서, 제1 차량 모니터(132)는 운송 수단의 내부에 탑재된 모니터(예: 헤드 유닛(H/U)과 연동하는 LCD 패널)일 수 있다. 또한, 제2 차량 모니터(134)는 후석 모니터(RSE: rear seat entertainment), 헤드업 디스플레이(HUD: Head-Up Display) 등과 같이 운송 수단의 내부에 추가로 탑재된 모니터일 수 있다.

차량 제어 장치(140)는 운송 수단의 전반적인 제어를 수행한다.

차량 제어 장치(140)는 CAN 통신부(142)를 포함하며, CAN 통신부(142)를 통해 CAN(Controller Area Network) 통신 프로토콜을 이용한 CAN 통신을 기반으로 차량 내 각 ECU(Electronic Control Unit)로 차량 제어를 수행하기 위한 제어 신호를 전달한다.

차량 제어 장치(140)는 엔진 제어, 변속기 제어, 전기 모터, 스티어링 휠, 가속, 감속 등과 같이 자율 주행과 관련된 차량 움직임에 대한 차량 제어를 수행할 수 있다.

전원 장치(150)는 운송 수단의 운용을 위한 전원을 제어하는 장치를 의미한다. 전원 장치(150)는 차량 배터리(152)를 포함할 수 있고, 자율 주행 기능 지원 장치(160)와의 연동을 통해 차량 배터리(152)의 전원 공급, 전원 차단, 전원 절전 등의 제어를 수행한다.

자율 주행 기능 지원장치(160)는 운송 수단에 대한 전반적인 기능을 제어 및 지원하는 장치를 의미한다.

자율 주행 기능 지원장치(160)는 복수의 기능을 통합하여 수행 가능한 올인원 키트(All-in-one kit)로 구현된 통합 ECU(Electronic Control Unit)로써, 자율 주행과 관련된 다양한 기능을 통합하여 차량의 자율 주행 기능의 지원이 가능하다.

자율 주행 기능 지원장치(160)는 수집 정보 및 주행 관련 정보를 획득하고, 수집 정보 및 주행 관련 정보에 대한 그래픽 연산을 처리하여 실시간 주행 정보를 생성한다. 자율 주행 기능 지원장치(160)는 무선 통신 안테나(112)를 통해 실시간으로 서비스 제공 서버(20)와 연동하며, 서비스 제공 서버(20)로 생성된 실시간 주행 정보를 제공한다. 이때 서비스 제공 서버(20)로 제공되는 실시간 주행 정보에는, 현재 차량이 속도, 위치, 주행 이벤트 정보 등이 포함될 수 있다. 이때 주행 이벤트 정보에는, 차량의 주행에 영향을 미칠 수 있는 다양한 요소들(공사중, 사고, 교통 정체 등)에 대한 정보가 포함될 수 있다.

한편, 자율 주행 기능 지원장치(160)는 서비스 제공 서버(20)로부터 주행 환경 정보가 반영된 자율 주행 관련 데이터를 수신하고, 수신된 자율 주행 관련 데이터를 기반으로 자율 주행 지원 정보를 생성하여 자율 주행을 위한 차량 제어가 가능한 지원(assist) 정보를 제공할 수 있다.

도 3을 참고하면, 본 실시예에 따른 자율 주행 기능 지원장치(160)는 프로세서(210), 게이트웨이 모듈(220), 위치 측정 모듈(230), 그래픽 처리 모듈(240) 및 전원 공급 모듈(250)을 포함한다. 도 3의 자율 주행 기능 지원장치(160)는 일 실시예에 따른 것으로서, 도 3에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 자율 주행 기능 지원장치(160)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.

이하, 자율 주행 기능 지원장치(160)에 포함된 구성요소 각각에 대해 설명하도록 한다.

프로세서(210)는 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 동작을 수행한다.

프로세서(210)는 외부 장치와 연동하여 자율 주행용 맵 데이터, 위치 측정 데이터, 라이다 데이터 및 위치 보정 데이터 중 적어도 하나를 포함하는 수집 정보를 획득한다. 프로세서(210)는 획득된 수집 정보를 그래픽 처리 모듈(240)로 전달한다. 여기서, 외부 장치는 통신 안테나(110)를 통해 연동되는 장치일 수 있으나 반드시 이에 한정되는 것은 아니며, 자율 주행 기능 지원장치(160)와 연동하는 센서 장치(120)일 수 있다.

프로세서(210)는 무선 통신 안테나(112)를 기반으로 자율 주행용 맵 데이터를 수신하고, 위성 수신 안테나(114)를 기반으로 위치 측정 데이터를 수신한다. 또한, 프로세서(210)는 운송 수단에 구비된 라이다 센서(122)로부터 라이다 데이터를 수신한다.

프로세서(210)는 무선 통신 안테나(112)를 기반으로 위치 보정 데이터를 추가로 수신한 경우, 위치 보정 데이터를 기반으로 위치 측정 데이터를 보정하고, 보정된 위치 측정 데이터를 그래픽 처리 모듈(240)로 전달하여 제1 주행 지원 정보가 생성되도록 한다.

게이트웨이 모듈(220)은 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 동작을 수행한다.

게이트웨이 모듈(220)은 외부 장치와 연동하여 카메라 영상 데이터 및 차량 제어 상태 데이터 중 적어도 하나를 포함하는 주행 관련 정보를 획득한다. 게이트웨이 모듈(220)은 획득된 주행 관련 정보를 그래픽 처리 모듈(240)로 전달한다. 여기서, 외부 장치는 통신 안테나(110)를 통해 연동되는 장치일 수 있으나 반드시 이에 한정되는 것은 아니며, 자율 주행 기능 지원장치(160)와 연동하는 센서 장치(120), 차량 제어 장치(140) 등일 수 있다.

게이트웨이 모듈(220)은 운송 수단에 구비된 카메라 센서(124)로부터 카메라 영상 데이터를 수신하고, 운송 수단에 구비된 차량 제어 장치(140)와 CAN(Controller Area Network) 통신 기반으로 차량 제어 상태 데이터를 수신한다.

게이트웨이 모듈(220)은 카메라 영상 데이터 및 차량 제어 상태 데이터 중 적어도 하나를 포함하는 주행 관련 정보를 그래픽 처리 모듈(240)로 전달하여 제2 주행 지원 정보가 생성되도록 한다.

위치 측정 모듈(230)은 GPS(Global Positioning System), GNSS(Global Navigation Satellite System) 등을 기반으로 위치 측정을 수행하는 모듈을 의미한다.

위치 측정 모듈(230)은 위성 수신 안테나(114)를 통해 수신된 위성 신호를 기반으로 위치 측정 데이터를 생성한다.

위치 측정 모듈(230)은 프로세서(210)를 통해 수신된 위성 신호를 획득하고, 위성 신호를 기반으로 위치 측정 데이터를 생성하여 프로세서(210)로 전달할 수 있다.

위치 측정 모듈(230)은 위성 신호를 기반으로 위치 보정을 수행하여 위치 측정 데이터를 생성할 수도 있다.

그래픽 처리 모듈(240)은 수집 정보 및 주행 관련 정보를 획득하고, 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성한다.

그래픽 처리 모듈(240)은 자율 주행용 맵 데이터, 위치 측정 데이터 및 라이다 데이터를 그래픽 연산 처리하여 제1 주행 지원 정보를 생성한다.

또한, 그래픽 처리 모듈(240)은 카메라 영상 데이터 및 차량 제어 상태 데이터를 그래픽 연산 처리하여 제2 주행 지원 정보를 생성한다.

그래픽 처리 모듈(240)은 제1 주행 지원 정보 및 제2 주행 지원 정보를 기반으로 운행 경로, 객체 인식 정보, 차선/차로 인식 정보 및 자율 주행 제어 정보를 포함하는 자율 주행 지원 정보를 생성한다.

그래픽 처리 모듈(240)은 자율 주행 지원 정보를 기반으로 CAN 통신 기반의 자율 주행에 대한 차량 제어가 가능하도록 자율 주행 지원 정보를 게이트웨이 모듈(220)의 인터페이스를 통해 차량 제어 장치(140)로 전달할 수 있다.

한편, 그래픽 처리 모듈(240)은 자율 주행 지원 정보를 운송 수단의 탑승자에게 전시하기 위한 시각화 데이터로 변환하고, 시각화 데이터를 프로세서(210) 내의 인터페이스를 통해 운송 수단 내에 구비된 디스플레이 장치(130)로 전달할 수 있다.

본 실시예에 따른 그래픽 처리 모듈(240)은 제1 그래픽 처리부(242) 및 제2 그래픽 처리부(244)를 포함할 수 있다.

제1 그래픽 처리부(242)는 자율 주행 지원 정보를 생성하기 위해 입력되는 수집 정보 및 주행 관련 정보에 대한 처리 우선 순위를 결정하고, 결정된 우선순위에 따라 입력된 적어도 하나의 정보에 대한 처리를 수행한다.

제2 그래픽 처리부(244)는 자율 주행 지원 정보를 생성하기 위해 입력되는 수집 정보 및 주행 관련 정보에서 자율 주행을 위한 영상 분석, 인식 및 제어 중 적어도 하나의 동작에 대한 처리를 수행한다.

그래픽 처리 모듈(240)은 제1 그래픽 처리부(242) 및 제2 그래픽 처리부(244) 각각의 부하 상태를 확인하고, 부하 상태에 근거하여 제1 그래픽 처리부(242) 및 제2 그래픽 처리부(244) 각각의 처리 동작을 조정할 수 있다.

그래픽 처리 모듈(240)은 제2 그래픽 처리부(244)의 부하 상태가 기 설정된 기준 임계치를 초과한 경우, 제2 그래픽 처리부(244)의 처리 동작 중 일부를 제1 그래픽 처리부(242)로 전달하여 분산 처리되도록 한다. 여기서, 제2 그래픽 처리부(244)의 처리 동작 중 일부는 기준 임계치를 초과한 정도에 따라 결정될 수 있다.

전원 공급 모듈(250)은 자율 주행 지원 정보를 생성하기 위하여 자율 주행 기능 지원장치(160)에 전원을 공급하는 동작을 수행한다.

전원 공급 모듈(250)은 게이트웨이 모듈(220) 내에 포함된 적어도 하나의 MCU(Micro Controller Unit)와의 연동을 통해 전원 공급 동작이 제어될 수 있다.

전원 공급 모듈(250)은 적어도 두 개의 전원 블록(252, 254)으로 구성될 수 있다. 여기서, 적어도 두 개의 전원 블록(252, 254)은 적어도 하나의 MCU(222, 224)의 전원 상태 모니터링 결과에 따라 선택적으로 연결되도록 전원 공급 동작이 제어될 수 있다.

도 4는 본 발명의 실시예에 따른 자율 주행 기능 지원 방법을 설명하기 위한 순서도이다.

프로세서(210)는, 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집 정보를 수집한다(S310).

프로세서(210)는, 수집된 수집 정보를 그래픽 처리 모듈(240)로 전달한다(S320).

게이트웨이 모듈(220)은, 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 수신한다(S330).

게이트웨이 모듈(220)은, 주행 관련 정보를 그래픽 처리 모듈(240)로 전달한다(S340).

그래픽 처리 모듈(240)은, 수집 정보 및 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성한다(S350).

그래픽 처리 모듈(240)은, 자율 주행 지원 정보를 게이트웨이 모듈(220)의 인터페이스를 통해 차량 제어 장치(140)로 전달한다(S360).

도 4에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.

도 4에 기재된 본 실시예에 따른 자율 주행 기능 지원 방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 자율 주행 기능 지원 방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.

도 5는 본 발명의 실시예에 따른 그래픽 처리 모듈의 분산 처리 동작을 설명하기 위한 순서도이다.

제1 그래픽 처리부(242)는 자율 주행 지원 정보를 생성하기 위해 입력되는 수집 정보 및 주행 관련 정보에 대한 처리 우선 순위를 결정한다(S410).

제1 그래픽 처리부(242)는 결정된 우선순위에 따라 입력된 적어도 하나의 정보에 대한 처리를 수행한다(S420).

제2 그래픽 처리부(244)는 자율 주행 지원 정보를 생성하기 위해 입력되는 수집 정보 및 주행 관련 정보에서 자율 주행을 위한 영상 분석, 인식 및 제어 중 적어도 하나의 동작에 대한 처리를 수행한다(S430).

그래픽 처리 모듈(240)은 제1 그래픽 처리부(242) 및 제2 그래픽 처리부(244) 각각의 부하 상태를 확인한다(S440).

그래픽 처리 모듈(240)은 제2 그래픽 처리부(244)의 부하 상태가 기 설정된 기준 임계치를 초과한 경우(S450), 제2 그래픽 처리부(244)의 처리 동작 중 일부를 제1 그래픽 처리부(242)로 전달하여 분산 처리되도록 한다(S460).

한편, 그래픽 처리 모듈(240)은 제2 그래픽 처리부(244)의 부하 상태가 기 설정된 기준 임계치를 초과하지 않은 경우(S450), 제1 그래픽 처리부(242) 및 제2 그래픽 처리부(244) 각각의 부하 상태를 확인하는 동작을 수행한다.

도 5에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.

도 6 및 도 7은 본 발명의 실시예에 따른 자율 주행 기능 지원 장치를 구현한 장비를 설명하기 위한 예시도이다.

본 발명에 따른, 자율 주행 기능 지원장치(160)는 복수의 기능을 통합하여 수행 가능한 올인원 키트(All-in-one kit)로 구현된 통합 ECU(Electronic Control Unit)일 수 있다.

본 발명에 따른 ECU의 구성 중에서 물리적인 구성은 AP(Application Processor), MCU(microcontroller unit), GPU(graphics processing unit), 5G/GNSS, CAN/Gateway가 있을 수 있다. AP(Application Processor), MCU(microcontroller unit), GPU(graphics processing unit), 5G/GNSS, CAN/Gateway는 하우징 내부에 위치할 수 있다. 여기서, AP는 프로세서(210)와 대응되는 구성이고, CAN/Gateway는 게이트웨이 모듈(220)과 대응되는 구성일 수 있다. 또한, GPU는 그래픽 처리 모듈(240)과 대응되는 구성이고, GNSS는 위치 측정 모듈(230)과 대응되는 구성일 수 있다.

ECU는 다양한 종류의 외부 센서와 연동되어 동작할 수 있다. 외부 센서 중에서는 카메라 센서(예를 들어, DVRS (Digital Video Recording System), 블랙박스), 라이다(LIDAR), 안테나가 있을 수 있다.

ECU는 AP를 사용해서 HD Map, 5G/GNSS를 연동하고 AP과 GPU 이더넷으로 통신하여 자율주행 프로토콜을 구현할 수 있다.

AP에서는 자율 주행용 HD 맵 데이터를 5G 통신 기반의 안테나를 통해 받아오고 GPU로 전송한다. 또한, AP에서는 Lidar 센서(3 Ch) 입력을 받아서 GPU로 전송한다. 또한, AP에서는 GPS 또는 GNSS 기반의 측위 데이터를 수신하여 GPU로 전송한다. 또한, GPS 또는 GNSS에서는 측위 시, AGPS를 적용하여 실시간 TTFF(Time To First Fix) 및 위치 정확도를 향상시키고, 5G, LTE를 통하여 RTK GPS 보정 데이터를 적용한다.

ECU는 DVRS(4K QHD, WDR, HDR 등)의 고성능 영상으로 GPU에서 처리하여 안정성 및 신뢰도를 확보할 수 있다.

ECU는 5G 통신을 이용하여, 실시간으로 HD 맵, RTK GPS 보정 데이터를 수신할 수 있고, 서버에서 가공 처리된 정보들을 AP와 GPU에 전달하여 자율주행에 이용할 수 있다.

ECU는 순정 모니터에 차량 정보와 HD Map, 경로, 라우팅, 자율 주행 객체인식 정보와 알림을 표출할 수 있다.

ECU는 후석 모니터에 상술한 순정 모니터에서 표시되는 정보와 동일한 정보를 표시할 수 있다.

AP에서는 자율 주행용 HD 맵 데이터를 5G를 통해서 받아오고 GPU로 전송할 수 있다. Gateway에서는 영상 데이터를 GPU로 전달하고 MCU를 통해서 CAN Rx/Tx 제어를 할 수 있다.

모든 영상, 측위, 처리 데이터(차선, 차로, 객체)는 실시간으로 5G를 통해서 서버에 전달하고, 서버는 관제 서비스 및 긴급 상황 알림, SOS 서비스를 ECU로 제공할 수 있다.

본 발명의 다양한 실시예에 따르면, P2P 승합차용 자율 주행과제를 실현하기 위하여 현재 상용화된 자동차/전장의 자동차를 대상으로 한 ECU (HW All-in-one) 를 개발 및 적용하여, 자동차의 개발 긴 개발 기간과 양산 시점과 별개로 어느 회사, 어느 차종을 대상으로 하더라도 쉽게 자율 주행 플랫폼을 적용하고 시범서비스와 상용화가 가능한 ECU(HW)를 구현할 수 있다.

AM(Automotive Mechatronics) 시장에서 다양한 차종 및 상황에 맞춰서, 본 발명에 따른 ECU(HW, All-in-one)는 적용될 수 있으며, P2P 자율주행 및 특정 상황에서의 자율주행 구현과 개발에 맞춰서 제품을 개발하고 상용화가 가능할 수 있다.

자율 주행 차량의 하드웨어 플랫폼(600)은 무선 통신 안테나(612), GNSS 신호 수신 안테나(614), LiDAR 센서(616), 표시부(618), 카메라(620), 차량 제어부(622) 및 이 블록 구성들(612, 614, 616, 618, 620, 622)과의 데이터 송수신을 통해 자율 주행 차량의 자율 주행을 수행하도록 제어하는 전자 장치(630)를 포함할 수 있다.

무선 통신 안테나(612)는 5G, LTE와 같은 셀룰러 기반의 이동 통신 네트워크와 데이터를 송수신하는 역할을 수행하며, GNSS 신호 수신 안테나(614)는 GNSS 위성으로부터 차량의 위치를 측위하기 위한 신호를 수신하는 역할을 수행하며, LiDAR 센서(616)는 빛(Laser)을 방사함으로써, 차량 주변의 대상물들로부터 반사된 신호를 통해, 차량 주변의 대상물들을 식별하고, 대상물까지의 거리를 측정할 수 있다. 표시부(618)는 차량 내부의 사용자(운전자 및/또는 승객)들에게 주행 관련 정보 및/또는 사용자 서비스를 제공하기 위한 장치이며, 카메라(620)는 차량 주변의 영상을 획득하기 위한 장치이다.

자율 주행 차량의 하드웨어 플랫폼(600)에서 전자 장치(630)는 무선 통신 안테나(612)가 수신한 무선 신호 및 GNSS 신호 수신 안테나(614)가 GNSS 위성으로부터 수신한 GNSS 신호의 무선 주파수 변환을 수행하는 RF(Radio Frequency) 부(662), 상기 RF부(662)가 무선 주파수 변환한 신호를 기저 대역(Baseband)로 변환하여 중앙 처리 장치(CPU)(670)로 출력하는 기저대역 처리부(BB부)(664)를 포함한다. NPU(666)는 자율 주행 차량의 하드웨어 플랫폼(600)이 자율 주행을 수행하기 위한 인공 신경 망 모델의 학습을 가속화(acceleration)하기 위한 가속기 역할을 수행할 수 있다.

CPU(670)는 전자 장치(630)내 각 구성들의 제어를 위한 제어 신호를 생성하여 출력하며, 본 발명의 실시 예에 따른 자율 주행 차량의 하드웨어 플랫폼(600)이 자율 주행을 위한 데이터 취득, 데이터 가공, 데이터 생성, 데이터 송신 등을 위한 제어 기능을 수행할 수 있다.

이더뎃 통신부(672)는 전자 장치(630)내 프로세서(660)와 그 주변 블록들(GNSS 처리부(632), 저장부(634), GPU 모듈(636), 전원부(638), 게이트웨어부(680))과의 이터넷 통신을 위한 인터페이스를 제공한다.

HDMI 출력 인터페이스(672)는 프로세서(660)에서 생성된 신호 중 HDMI 인터페이스를 통해 외부 블록들로 출력하기 위한 인터페이스를 제공한다.

GNSS 처리부(632)는 GNSS 안테나(614)를 통해 수신되어 기저대역 변환된 GNSS 신호로부터 차량의 현재 위치를 측위한 신호를 생성하고, 저장부(634)는 고정밀 지도 데이터 및 전자 장치의 동작을 위한 각종 프로그램 코드들이 저장되고, GPU 모듈(636)은 적어도 2개의 그래픽 처리 유닛들(636a, 636b)를 포함하여 구성되고, 표시부(618)에 표시될 그래픽 렌더링 또는 자율 주행 수행을 위한 인공 신경 망 모델의 학습을 위한 트레이닝을 위한 역할을 수행하고, 전원부(638)는 각종 모듈에 대한 전원 공급을 담당할 수 있다.

게이트웨이부(680)는 GPU 모듈(636)과의 인터페이스를 위한 이더넷 인터페이스(696), 카메라(620)가 획득한 차량 주변 영상을 입력받기 위한 HDMI 인터페이스(682) 및 CAN/게이트웨이 통신부(684) 및 자율 주행 정보 생성부(686)를 포함할 수 있다.

CAN/게이트웨이 통신부(684)는 차량 제어부(622)와 게이터웨이부(686)와의 CAN 통신을 위한 인터페이스를 제어하고, 자율 주행 정보 생성부(686)는 차량의 자율 주행을 위한 자율 주행 제어 정보(조향 각도, 가속 제어 정보, 감속 제어 정보 등)을 생성하여 CAN/게이트웨이 통신부(684)를 통해 차량 제어부(622)로 출력할 수 있다.

차량 제어부(622)는 차량 내 각 부품들(components)들에 대한 전자적인 제어 신호를 통해 각 부품들의 동작을 제어하기 위한 제어 신호를 생성하여 출력하는 것으로, 본 발명에서는 자율 주행 정보 생성부(686)에서 생성된 차량의 자율 주행을 위한 자율 주행 제어 정보(조향 각도, 가속 제어 정보, 감속 제어 정보 등)에 해당하는 각 부품들의 동작 범위 등을 제어하기 위한 제어 신호를 생성하여 출력한다. 이때 차량 제어부(622)는 CAN(Car Area Network) 규격에 정의된 프로토콜에 따른 제어 신호를 생성할 수 있다.

그리고, 전자 장치(630)는 실시간으로 취득되는 영상 정보, Lidar 센서 정보, 충격 정보, GPS 측위정보 등을 데이터화할 수 있다.

또한, 전자 장치(630)는 저장부(634)에 저장된 지리정보 데이터의 차선(중심, 차로)과 도로 상의 정보 등과 주행 중 취득된 지리 정보 데이터와 비교하고, 변경되거나 갱신되어야 할 지리 정보 데이터가 식별되면, 이 식별된 지리 정보 데이터를 저장부(634)에 저장함으로써, 지리 정보 데이터를 항상 최신 정보가 저장되도록 제어할 수 있다.

구체적으로, 전자 장치(630)는 주행 중 취득된 사고정보, 도로/위험 정보(공사구간, 포트홀, 균열, 낙하물. 구조변경. 사고), 위험물 객체 정보 수집 및 취득하고 이를 도로, 차선 정보 위에 지도 데이터에 반영함으로써 실시간 주행 환경 정보를 생성할 수 있다.

서비스 제공 서버는 다른 자율 주행 차량로부터 수신된 갱신이 필요한 지도 데이터와 자율 주행 관련 데이터를 실시간으로 자율 주행 차량(40)으로 전달할 수 있다.

이를 통해 본 발명의 실시 예에 따른 자율주행 차량은 서비스 제공 서버로부터 수신된 정보를 이용하여 현재 주행 중인 경로(지정된)에 대한 실시간 정보를 고려한 최적의 경로와 안전한 경로를 확보하고, 이를 통해 차선 변경, 차선 유지 등의 국부 경로 제어 등을 수행할 수 있다.

또한, 전자 장치(630)는 실시간으로 사고 및 안정 정보를 차량 내 표시부등을 통해 탑승자에게 경고를 표시할 수 있다.

본 발명의 실시 예에 따른 자율 주행 차량은 라이다(Lidar)를 포함할 수 있다. 라이다는 레이저 펄스를 발사한 후 반사되어 돌아오는 것을 통해 물체까지의 거리 등을 측정함으로써, 주변의 모습을 정밀하게 그려내는 장치를 말하는 것으로 전파를 이용한 레이더와 원리는 같으나, 전자기파 중 빛이라고 불리는 가시광선 영역의 주파수를 이용하므로, 실제 이용기술과 활용범위는 다르다고 볼 수 있다.

이러한 라이다는, 모바일 맵핑 시스템(MMS; Mobile Mapping System)을 구성하는 하나의 구성요소로서, MMS는 라이다 이외에도 카메라, 관성측정유닛(IMU; Inertial Measurement Unit), GPS, 거리측정표시기(DMI; Distance Measurement Indicator) 등을 포함하고 있다.

도 8은, 일 실시 예에 따른, 차량의 자율 주행 시스템을 도시한 블록도의 일 예를 도시한다. 도 9 및 도 10은, 일 실시 예에 따른, 자율 주행 이동체를 나타내는 블록도의 일 예를 도시한다. 도 11은, 일 실시예에 따른, 사용자 장치와 관련된 게이트웨이의 예를 도시한다.

도 8은, 일 실시 예에 따른, 차량의 자율 주행 시스템을 도시한 블록도의 일 예를 도시한다.

도 8에 따른 차량의 자율 주행 시스템(800)은 센서들(803), 이미지 전처리기(805), 딥 러닝 네트워크(807), 인공 지능(AI) 프로세서(809), 차량 제어 모듈(811), 네트워크 인터페이스(813), 및 통신부(815)를 포함하는 딥러닝 네트워크일 수 있다. 다양한 실시 예에서, 각 요소들은 다양한 인터페이스를 통해 연결될 수 있다. 예를 들어, 센서들(803)에 의해 센싱되어 출력되는 센서 데이터는 이미지 전처리기(805)로 피드(feed)될 수 있다. 이미지 전처리기(805)에 의해 처리된 센서 데이터는 AI 프로세서(809)에서 실행(run)하는 딥 러닝 네트워크(807)에 피드될 수 있다. AI 프로세서(809)에 의해 실행(run)하는 딥 러닝 네트워크(807)의 출력은 차량 제어 모듈(811)에 피드될 수 있다. AI 프로세서(809)에서 실행(run)되는 딥 러닝 네트워크(807)의 중간 결과들은 AI 프로세서(809)로 피드될 수 있다. 다양한 실시 예에서, 네트워크 인터페이스(813)는 차량 내 전자 장치와 통신을 수행함으로써, 차량의 자율 주행을 위한 자율 주행 경로 정보 및/또는 자율 주행 제어 명령들을 내부 블록 구성들로 전달한다. 일 실시예에서, 네트워크 인터페이스(813)는 센서(들)(803)를 통해 획득된 센서 데이터를 외부 서버로 전송하기 위해 이용될 수 있다. 일부 실시 예에서, 자율 주행 제어 시스템(800)은 적절하게(as appropriate) 추가적인 또는 보다 더 적은 구성 요소들을 포함할 수 있다. 예를 들어, 일부 실시 예에서, 이미지 전처리기(805)는 선택적인(optional) 구성요소일 수 있다. 다른 예를 들면, 후처리 구성 요소(미도시)는 출력이 차량 제어 모듈(811)로 제공되기 전에 딥 러닝 네트워크(807)의 출력에서 후처리를 수행하기 위해 자율 주행 제어 시스템(800) 내에 포함될 수 있다.

일부 실시 예에서, 센서들(803)은 하나 이상의 센서들을 포함할 수 있다. 다양한 실시 예에서, 센서들(803)은 차량의 상이한 위치들에 부착될 수 있다. 센서들(803)은 하나 이상의 상이한 방향들을 향할 수 있다. 예를 들어, 센서들(803)은 전면(forward-facing), 후면(rear-facing), 측면(side-facing) 등 방향들을 향하도록 차량의 앞(front), 옆(sides), 뒤(rear), 및/또는 루프(roof)에 부착될 수 있다. 일부 실시 예에서, 센서들(803)은 높은 동적 범위 카메라들(high dynamic range cameras)과 같은 이미지 센서들일 수 있다. 일부 실시 예에서, 센서들(803)은 비-시각적 센서들(non-visual sensors)을 포함한다. 일부 실시 예에서, 센서들(803)은 이미지 센서 외에도 레이더(RADAR), LiDAR(Light Detection And Ranging), 및/또는 초음파 센서들을 포함한다. 일부 실시 예에서, 센서들(803)은 차량 제어 모듈(811)을 갖는 차량에 장착(mounted)되지 않는다. 예를 들어, 센서들(803)은 센서 데이터를 캡쳐하기 위한 딥 러닝 시스템의 부분으로서 포함되고 환경 또는 도로에 부착 및/또는 주변의 차량들에 장착될 수 있다.

일부 실시 예에서, 이미지 전처리기(Image pre-processor)(805)는 센서들(803)의 센서 데이터를 전처리하기 위해 사용될 수 있다. 예를 들어, 이미지 전처리기(805)는 센서 데이터를 전처리하기 위해, 하나 이상의 구성 요소들로 센서 데이터를 스플릿(split)하기 위해, 및/또는 하나 이상의 구성 요소들을 후처리 하기 위해 사용될 수 있다. 일부 실시 예에서, 이미지 전처리기(805)는 그래픽 처리 장치(graphics processing unit; GPU), 중앙 처리 장치(central processing unit; CPU), 이미지 신호 프로세서, 또는 전문화된 이미지 프로세서(specialized image processor)일 수 있다. 다양한 실시 예에서, 이미지 전처리기(805)는 높은 동적 범위 데이터(high dynamic range data)를 처리하기 위한 톤-맵퍼(tone-mapper) 프로세서일 수 있다. 일부 실시 예에서, 이미지 전처리기(805)는 AI 프로세서(809)의 구성 요소일 수 있다.

일부 실시 예에서, 딥 러닝 네트워크(Deep learning network)(807)는 자율 차량을 제어하기 위한 제어 명령들을 구현하기 위한 딥 러닝 네트워크일 수 있다. 예를 들어, 딥 러닝 네트워크(807)는 센서 데이터를 사용하여 트레이닝된 컨볼루션 뉴럴 네트워크(CNN)와 같은 인공 뉴럴 네트워크일 수 있고, 딥 러닝 네트워크(807)의 출력은 차량 제어 모듈(811)로 제공된다.

일부 실시 예에서, 인공 지능(AI) 프로세서(809)는 딥 러닝 네트워크(807)를 실행(run)하기 위한 하드웨어 프로세서일 수 있다. 일부 실시 예에서, AI 프로세서(809)는 센서 데이터에 대하여 컨볼루션 뉴럴 네트워크(CNN)를 통한 추론(Inference)을 수행하기 위한 전문화된 AI 프로세서이다. 일부 실시 예에서, AI 프로세서(809)는 센서 데이터의 비트 깊이(bit depth)를 위해 최적화될 수 있다. 일부 실시 예에서, AI 프로세서(809)는 컨볼루션, 내적, 벡터 및/또는 행렬 연산들을 포함하는 뉴럴 네트워크의 연산들과 같은 딥 러닝 연산들을 위해 최적화될 수 있다. 일부 실시 예에서, AI 프로세서(809)는 병렬 처리를 효과적으로 수행할 수 있는 복수의 그래픽 처리 장치(GPU)들을 통해 구현될 수 있다.

다양한 실시 예에서, AI 프로세서(809)는 AI 프로세서(809)가 실행되는 동안 센서(들)(803)로부터 수신된 센서 데이터에 딥러닝 분석을 수행하고, 차량을 적어도 부분적으로 자율적으로 작동하는 데 사용된 머신 러닝 결과를 결정하도록 유발하는 명령어들을 갖는 AI 프로세서를 제공하도록 구성된 메모리에 입출력 인터페이스를 통해 커플링될 수 있다. 일부 실시 예에서, 차량 제어 모듈(Vehicle Control Module)(811)은 인공 지능(AI) 프로세서(809)로부터 출력된 차량 제어를 위한 명령들을 처리하고, 차량의 각종 모듈을 제어하기 위해 AI 프로세서(809)의 출력을 각 차량의 모듈을 제어하기 위한 명령어들로 트랜슬레이트(translate)하기 위해 이용될 수 있다. 일부 실시 예에서, 차량 제어 모듈(811)은 자율 주행을 위한 차량을 제어하기 위해 이용된다. 일부 실시 예에서, 차량 제어 모듈(811)은 차량의 스티어링 및/또는 속력을 조정할 수 있다. 예를 들어, 차량 제어 모듈(811)은 감속, 가속, 스티어링, 차선 변경, 차선 유지 등의 차량의 주행을 제어하기 위해 사용될 수 있다. 일부 실시 예에서, 차량 제어 모듈(811)은 브레이크 등들(brake lights), 방향 지시등들(turns signals), 헤드라이트(headlights) 등과 같은 차량 조명(vehicle lighting)을 제어하기 위한 제어 신호들을 생성할 수 있다. 일부 실시 예에서, 차량 제어 모듈(811)은 차량의 사운드 시스템(vehicle's sound system), 차량의 오디오 경고들(vehicle's audio warnings), 차량의 마이크 시스템(vehicle's microphone system), 차량의 경적 시스템(vehicle's horn system) 등과 같은 차량 오디오 관련 시스템들을 제어하기 위해 사용될 수 있다.

일부 실시 예에서, 차량 제어 모듈(811)은 의도된 목적지의 접근 또는 잠재적인 충돌(potential collision)과 같은 주행 이벤트들의 승객들 및/또는 운전자를 알리기 위한 경고 시스템들을 포함하는 통지 시스템들(notification systems)을 제어하기 위해 사용될 수 있다. 일부 실시 예에서, 차량 제어 모듈(811)은 차량의 센서들(803)과 같은 센서들을 조정하기 위해 사용될 수 있다. 예를 들어, 차량 제어 모듈(811)은 센서들(803)의 지향 방향을 수정(modifying the orientation), 센서들(803)의 출력 해상도 및/또는 포맷 유형을 변화, 캡쳐 비율(capture rate)을 증가 또는 감소, 동적 범위(dynamic range)를 조정, 카메라의 초점을 조정할 수 있다. 또한, 차량 제어 모듈(811)은 센서들의 동작을 개별적으로 또는 집단적으로 온/오프 시킬 수 있다.

일부 실시 예에서, 차량 제어 모듈(811)은 필터들의 주파수 범위를 수정하거나, 특징들(features) 및/또는 객체 검출을 위한 엣지 검출 파라미터들(edge detection parameter)을 조정하거나, 비트 깊이 및 채널들을 조정(adjusting channels and bit depth)하는 등과 같은 방식으로 이미지 전처리기(805)의 파라미터들을 변화하기 위해 사용될 수 있다. 다양한 실시 예에서, 차량 제어 모듈(811)은 차량의 자율 주행 및/또는 차량의 운전자-보조(Driver assistance) 기능을 제어하기 사용될 수 있다.

일부 실시 예에서, 네트워크 인터페이스(813)는 자율 주행 제어 시스템(800)의 블록 구성들과 통신부(815)간의 내부 인터페이스를 담당할 수 있다. 구체적으로, 네트워크 인터페이스(813)는 음성 데이터를 포함하는 데이터를 수신 및/또는 발신하기 위한 의사 소통 인터페이스일 수 있다. 다양한 실시 예에서, 네트워크 인터페이스(813)는 통신부(815)를 통해 음성 통화들을 연결하거나 문자 메시지들을 수신 및/또는 발신하거나, 센서 데이터를 전송하거나, 자율 주행 시스템으로 차량의 소프트웨어를 업데이트하거나, 차량의 자율 주행 시스템의 소프트웨어를 업데이트하기 위하여 외부의 서버들과 연결될 수 있다.

다양한 실시 예에서, 통신부(815)는 셀룰러 또는 WiFi 방식의 다양한 무선 인터페이스를 포함할 수 있다. 예를 들어, 네트워크 인터페이스(813)는 통신부(815)를 통해 접속된 외부 서버로부터 센서들(803), 이미지 전처리기(805), 딥 러닝 네트워크(807), AI 프로세서(809), 차량 제어 모듈(811)을 위한 작동 파라미터들 및/또는 명령어들에 대한 업데이트를 수신하기 위해 사용될 수 있다. 예를 들어, 딥 러닝 네트워크(807)의 머신 러닝 모델은 통신부(815)를 사용하여 업데이트될 수 있다. 또 다른 예시에 따르면, 통신부(815)는 이미지 프로세싱 파라미터들과 같은 이미지 전처리기(805)의 작동 파라미터들 및/또는 센서들(803)의 펌웨어를 업데이트하기 위해 이용될 수 있다.

다른 실시 예에서, 통신부(815)는 사고 또는 사고가 발생할 뻔한(near-accident) 이벤트에서 긴급 서비스들(emergency services)과 긴급 연락(emergency contact)을 위한 통신을 활성화시키기 위해 사용될 수 있다. 예를 들어, 충돌 이벤트에서, 통신부(815)는 도움을 위한 긴급 서비스들을 호출하기 위해 사용될 수 있고, 충돌 세부사항들 및 차량의 위치의 긴급 서비스들을 외부로 알리기 위해 사용될 수 있다. 다양한 실시 예에서, 통신부(815)는 예상된 도착 시간 및/또는 목적지 위치를 업데이트 하거나 획득할 수 있다.

일 실시 예에 따르면, 도 8에 도시된 자율 주행 시스템(800)은 차량의 전자 장치로 구성될 수도 있다. 일 실시 예에 따르면, 자율 주행 시스템(800)의 AI 프로세서(809)는 차량의 자율 주행 시에 사용자로부터 자율 주행 해제 이벤트가 발생하면, 자율 주행 해제 이벤트 관련 정보를 딥 러닝 네트워크의 트레이닝 셋 데이터로 입력하도록 제어함으로써 차량의 자율 주행 소프트웨어를 학습시키도록 제어할 수 있다.

도 9 및 도 10은, 일 실시 예에 따른, 자율 주행 이동체를 나타내는 블록도의 일 예를 도시한다. 도 9를 참조하면, 본 실시예에 따른 자율 주행 이동체(900)는 제어 장치(1000), 센싱 모듈(904a, 904b, 904c, 904d), 엔진(906), 및 사용자 인터페이스(908)를 포함할 수 있다.

자율 주행 이동체(900)는 자율 주행 모드 또는 매뉴얼 모드를 구비할 수 있다. 일 예로, 사용자 인터페이스(908)를 통해 수신된 사용자 입력에 따라 매뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드로 전환될 수 있다.

이동체(900)가 자율 주행 모드로 운행되는 경우 자율 주행 이동체(900)는 제어 장치(1000)의 제어 하에 운행될 수 있다.

본 실시예에서 제어 장치(1000)는 메모리(1022)와 프로세서(1024)를 포함하는 컨트롤러(1020), 센서(1010), 통신 장치(1030), 오브젝트 검출 장치(1040)를 포함할 수 있다.

여기서, 오브젝트 검출 장치(1040)는 거리 측정 장치(예, 전자 장치(101))의 전부 또는 일부의 기능을 수행할 수 있다.

즉, 본 실시 예에서, 오브젝트 검출 장치(1040)는 이동체(900) 외부에 위치하는 오브젝트를 검출하기 위한 장치로, 오브젝트 검출 장치(1040)는 이동체 (900)의 외부에 위치하는 오브젝트를 검출하고, 검출 결과에 따른 오브젝트 정보를 생성할 수 있다.

오브젝트 정보는 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 이동체와 오브젝트와의 거리 정보 및 이동체와 오브젝트와의 상대 속도 정보를 포함할 수 있다.

오브젝트는, 차선, 타 차량, 보행자, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 이동체(900)의 외부에 위치한 다양한 객체를 포함할 수 있다. 여기서, 교통 신호는 교통 신호등, 교통 표지판, 도로 면에 그려진 문양 또는 텍스트를 포함하는 개념일 수 있다. 그리고, 빛은 타 차량에 구비된 램프에서 생성된 빛이거나 가로등에서 생성된 빛이거나 태양광일 수 있다.

그리고, 구조물은 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다. 지형물은, 산, 언덕, 등을 포함할 수 있다.

이러한 오브젝트 검출 장치(1040)는 카메라 모듈을 포함할 수 있다. 컨트롤러(1020)는 카메라 모듈에서 촬영되는 외부 이미지로부터 객체 정보를 추출하고 이에 대한 정보를 컨트롤러(1020)가 처리하도록 할 수 있다.

또한, 오브젝트 검출 장치(1040)는 외부 환경을 인식하기 위한 이미징 장치들이 더욱 포함할 수 있다. LIDAR 외에 RADAR, GPS 장치, 주행 거리 측정 장치(Odometry) 및 기타 컴퓨터 비전 장치, 초음파 센서, 적외선 센서 들이 이용될 수 있으며, 이들의 장치는 필요에 따라 선택 또는 동시에 동작하여 보다 정밀한 감지가 가능하도록 한다.

한편, 본 발명의 일 실시 예에 따른 거리 측정 장치는 자율 주행 이동체(900)와 오브젝트 사이의 거리를 산출하고, 자율 주행 이동체(900)의 제어 장치(1000)와 연계하여 산출된 거리를 기초로 이동체의 동작을 제어할 수 있다.

일 예로, 자율 주행 이동체(900)와 오브젝트 간의 거리에 따라 추돌 가능성이 있는 경우, 자율 주행 이동체(900)는 속도를 낮추거나 또는 정지하도록 브레이크를 제어할 수 있다. 다른 예로, 오브젝트가 이동하는 오브젝트인 경우, 자율 주행 이동체(900)는 오브젝트와 소정 거리 이상을 유지하도록 자율 주행 이동체(900)의 주행 속도를 제어할 수 있다.

이러한 본 발명의 일 실시 예에 따른 거리 측정 장치는 자율 주행 이동체 (900)의 제어 장치(1000) 내의 일 모듈로 구성될 수 있다. 즉, 제어 장치(1000)의 메모리(1022)와 프로세서(1024)가 본 발명에 따른 추돌 방지 방법을 소프트웨어적으로 구현하도록 할 수 있다.

또한, 센서(1010)는 이동체 내부/외부 환경을 센싱 모듈(904a, 904b, 904c, 904d)와 연결되어 각종 센싱 정보를 획득할 수 있다. 여기서, 센서(1010)는 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 이동체 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 이동체 내부 온도 센서, 이동체 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.

이에 따라, 센서(1010)는 이동체 자세 정보, 이동체 충돌 정보, 이동체 방향 정보, 이동체 위치 정보(GPS 정보), 이동체 각도 정보, 이동체 속도 정보, 이동체 가속도 정보, 이동체 기울기 정보, 이동체 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 이동체 램프 정보, 이동체 내부 온도 정보, 이동체 내부 습도 정보, 스티어링 휠 회전 각도, 이동체 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.

또한, 센서(1010)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.

이와 같이, 센서(1010)는 센싱 데이터를 기초로 이동체 상태 정보를 생성할 수 있다.

무선 통신 장치(1030)는 자율 주행 이동체(900) 간의 무선 통신을 구현하기 위해 구성된다. 예를 들어, 사용자의 모바일 폰, 또는 다른 무선 통신 장치(1030), 다른 이동체, 중앙 장치(교통 제어 장치), 서버 등과 자율 주행 이동체(900)이 통신할 수 있도록 한다. 무선 통신 장치(1030)는 무선 신호를 접속 무선 프로토콜에 따라 송수신할 수 있다. 무선 통신 프로토콜은 Wi-Fi, Bluetooth, Long-Term Evolution (LTE), Code Division Multiple Access (CDMA), Wideband Code Division Multiple Access (WCDMA), Global Systems for Mobile Communications (GSM)일 수 있으며, 통신 프로토콜은 이에 제한되지 않는다.

또한 본 실시 예에서 자율 주행 이동체(900)은 무선 통신 장치(1030)를 통해 이동체 간 통신을 구현하는 것도 가능하다. 즉, 무선 통신 장치(1030)는 차량 대 차량 간(V2V) 통신(vehicle-to-vehicle communication)으로 도로 상의 다른 이동체 및 다른 이동체들과 통신을 수행할 수 있다. 자율 주행 이동체(900)는 주행 경고, 교통 정보와 같은 정보를 차량 간 통신으로 통해 송수신할 수 있으며, 다른 이동체 에게 정보를 요청하거나 요청을 수신하는 것도 가능하다. 예를 들어, 무선 통신 장치(1030)는 V2V 통신을 단 거리 통신(DSRC, dedicated short-range communication) 장치 또는 C-V2V(Cellular-V2V) 장치로 수행할 수 있다. 또한 차량 간의 통신 외에 차량과 다른 사물(예컨대 보행자가 휴대하는 전자 기기 등) 간의 통신(V2X, Vehicle to Everything communication)도 무선 통신 장치(1030)를 통해 구현할 수 있다.

본 실시 예에서 컨트롤러(1020)는 이동체(900) 내의 각 유닛의 전반적인 동작을 제어하는 유닛으로, 이동체의 제조사에 의해 제조 시에 구성되거나 또는 제조 후에 자율 주행의 기능 수행을 위해 추가 구성될 수 있다. 또는, 제조 시에 구성된 컨트롤러(1020)의 업그레이드를 통해 지속적인 부가 기능 수행을 위한 구성이 포함될 수 있다. 이러한 컨트롤러(1020)는 ECU(Electronic Control Unit)로 명명될 수도 있다.

컨트롤러(1020)는 연결된 센서(1010), 오브젝트 검출 장치(1040), 통신 장치(1030) 등으로부터 각종 데이터를 수집하고, 수집된 데이터를 기반으로 제어 신호를 이동체 내 다른 구성들로 포함된 센서(1010), 엔진(906), 사용자 인터페이스(908), 통신 장치(1030), 오브젝트 검출 장치(1040)에 전달할 수 있다. 또한, 도시 되지는 않았으나 이동체의 주행과 관련된 가속 장치, 브레이킹 시스템, 조향 장치, 또는 네비게이션 장치에도 제어 신호를 전달할 수 있다.

본 실시예에서, 컨트롤러(1020)는 엔진(906)을 제어할 수 있으며 예를 들어 자율 주행 이동체(900)가 주행 중인 도로의 제한 속도를 감지하고 주행 속도가 제한 속도를 초과하지 않도록 엔진(906)을 제어하거나, 제한 속도를 초과하지 않는 범위 내에서 자율 주행 이동체(900)의 주행 속도를 가속하도록 엔진(906)을 제어할 수 있다.

또한, 컨트롤러(1020)는 자율 주행 이동체(900)의 주행 중 자율 주행 이동체 (900)가 차선에 근접하거나 차선을 이탈하고 있다면, 이러한 차선 근접 및 이탈이 정상 주행 상황에 따른 것인지 또는 그 외의 주행 상황에 따른 것인지 판단하며, 판단 결과에 따라 이동체의 주행을 제어하도록 엔진(906)을 제어할 수 있다. 구체적으로, 자율 주행 이동체(900)는 이동체가 주행 중인 차로의 양 측에 형성된 차선을 검출할 수 있다. 이 경우, 컨트롤러(1020)는 자율 주행 이동체(900)가 차선에 근접하거나 차선을 이탈하고 있는지 여부를 판단하고, 만약, 자율 주행 이동체(900)가 차선에 근접하거나 차선을 이탈하고 있다고 판단되면 이러한 주행이 정확한 주행 상황에 따른 것인지 또는 그 외의 주행 상황에 따른 것인지 판단할 수 있다. 여기서, 정상 주행 상황의 예로, 이동체의 차로 변경이 필요한 상황일 수 있다. 그리고, 그 외의 주행 상황의 예로, 이동체의 차로 변경이 필요하지 않은 상황일 수 있다. 만약, 컨트롤러(1020)는 이동체의 차로 변경이 필요하지 않은 상황에서 자율 주행 이동체(900)가 차선에 근접하거나 차선을 이탈하고 있다고 판단되면, 자율 주행 이동체(900)가 차선을 이탈하지 않고 해당 이동체에서 정상적으로 주행하도록 자율 주행 이동체(900)의 주행을 제어할 수 있다.

이동체의 전방에 다른 이동체 또는 방해물이 존재하는 경우에는 주행 이동체를 감속하도록 엔진(906) 또는 브레이킹 시스템을 제어할 수 있으며, 속도 외에도 궤적, 운행 경로, 조향 각을 제어할 수 있다. 또는 컨트롤러(1020)는 이동체의 주행 차선, 주행 신호 등 기타 외부 환경의 인식 정보에 따라 필요한 제어 신호를 생성하여 이동체의 주행을 제어할 수 있다.

컨트롤러(1020)는 자체적인 제어 신호의 생성 외에 주변 이동체 또는 중앙 서버와의 통신을 수행하고 수신된 정보를 통해 주변 장치들을 제어하기 위한 명령을 전송함으로써, 이동체의 주행을 제어하는 것도 가능하다.

또한, 컨트롤러(1020)는 카메라 모듈(1050)의 위치가 변경되거나 화각이 변경될 경우, 본 실시예에 따른 정확한 이동체 또는 차선 인식이 어려울 수 있으므로, 이를 방지하기 위해 카메라 모듈(1050)의 캘리브레이션(calibration)을 수행하도록 제어하는 제어 신호를 생성할 수도 있다. 따라서, 본 실시예에서는 컨트롤러(1020)는 카메라 모듈(1050)로 캘리브레이션 제어 신호를 발생시킴으로써, 자율 주행 이동체(900)의 움직임에 따라 발생되는 진동 또는 충격 등에 의해 카메라 모듈(1050)의 장착 위치가 변경되더라도, 카메라 모듈(1050)의 정상적인 장착 위치, 방향, 화각 등을 지속적으로 유지할 수 있다. 컨트롤러(1020)는 미리 저장된 카메라 모듈(1020)의 최초 장착 위치, 방향, 화각 정보와 자율 주행 이동체(900)의 주행 중에 측정되는 카메라 모듈(1020)의 최초 장착 위치, 방향, 화각 정보 등이 임계 값 이상으로 달라질 경우, 카메라 모듈(1020)의 캘리브레이션을 수행하도록 제어 신호를 발생할 수 있다.

본 실시 예에서 컨트롤러(1020)는 메모리(1022)와 프로세서(1024)를 포함할 수 있다. 프로세서(1024)는 메모리(1022)에 저장된 소프트웨어를 컨트롤러(1020)의 제어 신호에 따라 실행시킬 수 있다. 구체적으로 컨트롤러(1020)는 본 발명에 따른 차선 검출 방법을 수행하기 위한 데이터 및 명령들은 메모리(1022)에 저장하고, 명령들은 여기에 개시된 하나 이상의 방법들을 구현하기 위해 프로세서(1024)에 의해 실행될 수 있다.

이때, 메모리(1022)는 비 휘발성의 프로세서(1024)에서 실행 가능한 기록 매체에 저장될 수 있다. 메모리(1022)는 적절한 내 외부 장치를 통해 소프트웨어와 데이터를 저장할 수 있다. 메모리(1022)는 RAM(random access memory), ROM(read only memory), 하드디스크, 동글과 연결된 메모리(1022) 장치로 구성될 수 있다.

메모리(1022)는 운영체제(OS, Operating system), 사용자 어플리케이션, 실행 가능한 명령들을 적어도 저장할 수 있다. 메모리(1022)는 어플리케이션 데이터, 배열 데이터 구조들도 저장할 수 있다.

프로세서(1024)는 마이크로 프로세서 또는 적절한 전자적 프로세서로 컨트롤러, 마이크로 컨트롤러 또는 스테이트 머신 일 수 있다.

프로세서(1024)는 컴퓨팅 장치들의 조합으로 구현될 수 있으며, 컴퓨팅 장치는 디지털 신호 프로세서, 마이크로프로세서 이거나 이들의 적절한 조합으로 구성될 수 있다.

한편, 자율 주행 이동체(900)는 상술한 제어 장치(1000)에 대한 사용자의 입력을 위한 사용자 인터페이스(908)를 더 포함할 수 있다. 사용자 인터페이스(908)는 적절한 상호작용으로 사용자가 정보를 입력하도록 할 수 있다. 예를 들어 터치스크린, 키패드, 조작 버튼 등으로 구현될 수 있다. 사용자 인터페이스(908)는 입력 또는 명령을 컨트롤러(1020)에 전송하고, 컨트롤러(1020)는 입력 또는 명령에 대한 응답으로 이동체의 제어 동작을 수행할 수 있다.

또한, 사용자 인터페이스(908)는 자율 주행 이동체(900) 외부의 장치로 무선 통신 장치(1030)를 통해 자율 주행 이동체(900)와 통신을 수행하도록 할 수 있다. 예를 들어 사용자 인터페이스(908)는 모바일 폰, 태블릿, 또는 기타 컴퓨터 장치와 연동 가능하도록 할 수 있다.

나아가, 본 실시예에서 자율 주행 이동체(900)는 엔진(906)을 포함하는 것으로 설명하였으나, 다른 타입의 추진 시스템을 포함하는 것도 가능하다. 예를 들어 이동체는 전기 에너지로 운행될 수 있으며, 수소 에너지 또는 이들을 조합한 하이브리드 시스템을 통해 운행될 수 있다. 따라서 컨트롤러(1020)는 자율 주행 이동체(900)의 추진 시스템에 따른 추진 메커니즘을 포함하고, 이에 따른 제어 신호를 각 추진 메커니즘의 구성들에 제공할 수 있다.

이하, 도 10을 참조하여 본 실시예에 따른 본 발명에 따른 제어 장치(1000)의 세부 구성에 대하여 보다 상세히 설명한다.

제어 장치(1000)는 프로세서(1024)를 포함한다. 프로세서(1024)는 범용 단일 또는 다중 칩 마이크로프로세서, 전용 마이크로프로세서, 마이크로 제어기, 프로그램가능 게이트 어레이 등일 수도 있다. 프로세서는 중앙 처리 장치(CPU)로 지칭될 수도 있다. 또한 본 실시예에서 프로세서(1024)는 복수의 프로세서들의 조합으로 사용되는 것도 가능하다.

제어 장치(1000)는 또한 메모리(1022)를 포함한다. 메모리(1022)는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수도 있다. 메모리(1022) 역시 단일 메모리 외에 메모리(1022)들의 조합을 포함할 수 있다.

본 발명에 따른 거리 측정 장치의 거리 측정 방법을 수행하기 위한 데이터 및 명령어(1022a)들은 메모리(1022)에 저장될 수도 있다. 프로세서(1024)가 명령어(1022a)들을 실행할 때, 명령어(1022a)들과 명령의 수행에 필요한 데이터(1022b)의 전부 또는 일부가 프로세서(1024)상으로 로딩(1024a, 1024b)될 수도 있다.

제어 장치(1000)는 신호들의 송신 및 수신을 허용하기 위한 송신기(1030a), 수신기(1030b) 또는 트랜시버(1030c)를 포함할 수도 있다. 하나 이상의 안테나(1032a, 1032b)들은 송신기(1030a), 수신기(1030b) 또는 각 트랜시버(1030c)에 전기적으로 연결될 수도 있으며 추가적으로 안테나들을 포함할 수도 있다.

제어 장치(1000)는 디지털 신호 프로세서(DSP)(1070)를 포함할 수도 있다. DSP(1070)를 통해 디지털 신호를 이동체가 빠르게 처리할 수 있도록 할 수 있다.

제어 장치(1000)는 통신 인터페이스(1080)를 포함할 수도 있다. 통신 인터페이스(1080)는 다른 장치들을 제어 장치(1000)와 연결하기 위한 하나 이상의 포트들 및/또는 통신 모듈 들을 포함할 수도 있다. 통신 인터페이스(1080)는 사용자와 제어 장치(1000)가 상호 작용할 수 있게 할 수 있다.

제어 장치(1000)의 다양한 구성들은 함께 하나 이상의 버스(1090)들에 의해 연결될 수도 있고, 버스(1090)들은 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수도 있다. 프로세서(1024)의 제어에 따라 구성들은 버스(1090)를 통해 상호 정보를 전달하고 목적하는 기능을 수행하도록 할 수 있다.

한편, 다양한 실시 예들에서, 제어 장치(1000)는 보안 클라우드와의 통신을 위해 게이트웨이와 관련될 수 있다. 예를 들어, 도 11을 참조하면, 제어 장치(1000)는 차량(1100)의 구성 요소들(1101) 내지 (1104) 중 적어도 하나로부터 획득되는 정보를 보안 클라우드(1106)에게 제공하기 위한 게이트웨이(1105)와 관련될 수 있다. 예를 들면, 게이트웨이(1105)는 제어 장치(1000) 내에 포함될 수 있다. 다른 예를 들면, 게이트웨이(1105)는 제어 장치(1000)과 구별되는 차량(1100) 내의 별도의 장치로 구성될 수도 있다. 게이트웨이(1105)는 서로 다른 네트워크를 갖는 소프트웨어 관리 클라우드(1109), 보안 클라우드(1106) 및 차 내 보안 소프트웨어(1110)에 의해 보안화된 차량(1100) 내 네트워크를 통신 가능하도록 연결한다.

예를 들면, 구성 요소(1101)은, 센서일 수 있다. 예를 들면, 상기 센서는 차량(1100)의 상태 또는 차량(1100) 주변의 상태 중 적어도 하나에 대한 정보를 획득하기 위해 이용될 수 있다. 예를 들면, 구성 요소(1101)은, 센서 1410을 포함할 수 있다.

예를 들면, 구성 요소(1102)는, ECU(electronic control unit)들일 수 있다. 예를 들면, 상기 ECU들은 엔진 제어, 변속기의 제어, 에어백의 제어, 타이어 공기압 관리를 위해 이용될 수 있다.

예를 들면, 구성 요소(1103)은, 인스트루먼트 클러스터(instrument cluster)일 수 있다. 예를 들면, 상기 인스트루먼트 클러스터는, 대시 보드(dashboard) 중 운전석 정면에 위치된 패널을 의미할 수 있다. 예를 들면, 상기 인스트루먼트 클러스터는 운전에 필요한 정보를 운전자(또는 탑승자)에게 보여주기 위해 구성될 수 있다. 예를 들면, 상기 인스트루먼트 클러스터는, 엔진의 분당 회전수(RPM, revolutions per minute 또는 rotate per minute)를 지시하기 위한 시각적 요소들, 차량(1100)의 속도를 지시하기 위한 시각적 요소들, 잔여 연료량을 지시하기 위한 시각적 요소들, 기어의 상태를 지시하기 위한 시각적 요소들, 또는 구성 요소(1101)을 통해 획득된 정보를 지시하기 위한 시각적 요소들 중 적어도 하나를 표시하기 위해, 이용될 수 있다.

예를 들면, 구성 요소(1104)는, 텔레매틱스(telematics) 장치일 수 있다. 예를 들면, 상기 텔레매틱스 장치는, 무선 통신 기술과 GPS(global positioning system) 기술을 결합하여 차량(1100) 내에서 위치 정보, 안전 운전 등의 다양한 이동통신 서비스를 제공하는 장치를 의미할 수 있다. 예를 들면, 상기 텔레매틱스 장치는, 운전자, 클라우드(예: 보안 클라우드(1106)), 및/또는 주변 환경과 차량(1100)을 연결하기 위해 이용될 수 있다. 예를 들면, 상기 텔레매틱스 장치는, 5G NR 규격의 기술(예: 5G NR의 V2X 기술)을 위해, 고대역폭과 저지연을 지원하도록, 구성될 수 있다. 옐르 들면, 상기 텔레매틱스 장치는, 차량(1100)의 자율 주행을 지원하도록, 구성될 수 있다.

예를 들면, 게이트웨이(1105)는, 차량(1100) 내 네트워크와 차량 외 네트워크인 소프트웨어 관리 클라우드(1109)와 보안 클라우드(1106)를 연결하기 위해 이용될 수 있다. 예를 들면, 소프트웨어 관리 클라우드(1109)는, 차량(1100)의 주행 및 관리에 필요한 적어도 하나의 소프트웨어를 갱신하거나 관리하기 위해 이용될 수 있다. 예를 들면, 소프트웨어 관리 클라우드(1109)는, 차량 내에 설치된 차 내 보안 소프트웨어(in-car security software) (1110과 연동될 수 있다. 예를 들면, 차 내 보안 소프트웨어(1110)은, 차량(1100) 내의 보안 기능을 제공하기 위해 이용될 수 있다. 예를 들면, 차 내 보안 소프트웨어(1110)은 차량 내 네트워크의 암호화를 위해 외부의 공인된(authorized) 서버로부터 획득된 암호화 키를 이용하여 차 내 네트워크를 통해 송수신되는 데이터들을 암호화할 수 있다. 다양한 실시 예들에서, 차 내 보안 소프트웨어(1110)에 의해 이용되는 상기 암호화 키는, 차량의 식별 정보(차량 번호판, 차 VIN(vehicle identification number)) 또는 사용자 별로 고유하게 부여된 정보(에: 사용자 식별 정보)에 대응하여 생성될 수 있다.

다양한 실시 예들에서, 게이트웨이(1105)는, 상기 암호화 키에 기반하여 차 내 보안 소프트웨어(1110)에 의해 암호화된 데이터들을, 소프트웨어 관리 클라우드(1109) 및/또는 보안 클라우드(1106)으로 송신할 수 있다. 소프트웨어 관리 클라우드(1109) 및/또는 보안 클라우드(1106)는 차 내 보안 소프트웨어(1110)의 상기 암호화 키(Encryption Key)에 의해 암호화된 상기 데이터를 해독할 수 있는 해독 키(Decryption Key)를 이용하여 해독함으로써, 상기 데이터가 어떤 차량 또는 어떤 사용자로부터 수신된 데이터인지를 식별할 수 있다. 예를 들면, 상기 해독 키는 상기 암호화 키에 대응되는 고유의 키이기 때문에, 소프트웨어 관리 클라우드(1109) 및/또는 보안 클라우드(1106)는 상기 해독 키를 통해 해독된 상기 데이터에 기반하여 상기 데이터의 송신 주체(예: 상기 차량 또는 상기 사용자)를 식별할 수 있다.

예를 들면, 게이트웨이(1105)는, 차 내 보안 소프트웨어(1110)을 지원할 수 있도록 구성되고, 제어 장치(1000)와 관련될 수 있다. 예를 들면, 게이트웨이(1105)는, 보안 클라우드(1106)와 연결된 클라이언트 장치(1107)와 제어 장치(1000) 사이의 연결을 지원하기 위해, 제어 장치(1000)와 관련될 수 있다. 다른 예를 들면, 게이트웨이(1105)는, 보안 클라우드(1106)와 연결된 써드 파티 클라우드(1108)와 제어 장치(1000) 사이의 연결을 지원하기 위해, 제어 장치(1000)와 관련될 수 있다. 하지만, 이에 제한되지 않는다.

다양한 실시 예들에서, 게이트웨이(1105)는, 차량(1100)의 운영 소프트웨어를 관리하기 위한 소프트웨어 관리 클라우드(1109)와 차량(1100)을 연결하기 위해 이용될 수 있다. 예를 들면, 소프트웨어 관리 클라우드(1109)는, 차량(1100)의 운영 소프트웨어의 갱신이 요구되는지 여부를 모니터링하고, 차량(1100)의 운영 소프트웨어의 갱신이 요구됨을 모니터링하는 것에 기반하여 게이트웨이(1105)를 통해 차량(1100)의 운영 소프트웨어를 갱신하기 위한 데이터를 제공할 수 있다. 다른 예를 들면, 소프트웨어 관리 클라우드(1109)는, 차량(1100)의 운영 소프트웨어의 갱신을 요구하는 사용자 요청을 차량(1100)으로부터 게이트웨이(1105)를 통해 수신하고, 상기 수신에 기반하여 차량(1100)의 운영 소프트웨어를 갱신하기 위한 데이터를 제공할 수 있다. 하지만, 이에 제한되지 않는다.

도 12는, 일 실시예에 따른, 학습 데이터의 세트에 기반하여 뉴럴 네트워크를 트레이닝하는 전자 장치(101)의 동작을 설명하기 위한 도면이다. 도 12를 참고하여 설명되는 동작은, 도 8 내지 도 11의 전자 장치에 의해 수행될 수 있다.

도 12를 참고하면, 동작(1202)에서, 일 실시예에 따른, 전자 장치는 학습 데이터의 세트를 획득할 수 있다. 전자 장치는 지도 학습(supervised learning)을 위한 학습 데이터의 세트를 획득할 수 있다. 학습 데이터는, 입력 데이터 및 상기 입력 데이터에 대응하는 기저 진리(ground truth) 데이터의 페어(pair)를 포함할 수 있다. 기저 진리 데이터는, 상기 기저 진리 데이터의 페어인 입력 데이터를 수신한 뉴럴 네트워크로부터 획득하고자 하는 출력 데이터를 나타낼 수 있다. 상기 기저 진리 데이터는, 도 8 내지 도 12를 참고하여 설명된 전자 장치에 의해 획득될 수 있다.

예를 들어, 이미지의 인식을 위해 뉴럴 네트워크를 트레이닝하는 경우, 학습 데이터는 이미지 및 상기 이미지에 포함된 하나 이상의 피사체들에 대한 정보를 포함할 수 있다. 상기 정보는, 이미지를 통해 식별가능한 피사체의 분류(category 또는 class))를 포함할 수 있다. 상기 정보는, 이미지 내에서, 피사체에 대응하는 시각적 객체의 위치, 너비, 높이 및/또는 사이즈를 포함할 수 있다. 동작(1202)를 통해 식별되는 학습 데이터의 세트는, 복수의 학습 데이터의 페어들을 포함할 수 있다. 이미지의 인식을 위해 뉴럴 네트워크를 트레이닝하는 상기 예시 내에서, 전자 장치에 의해 식별되는 학습 데이터의 세트는, 복수의 이미지들 및 상기 복수의 이미지들 각각에 대응하는 기저 진리 데이터를 포함할 수 있다.

도 12를 참고하면, 동작(1204)에서, 일 실시예에 따른, 전자 장치는, 학습 데이터의 세트에 기반하여, 뉴럴 네트워크에 대한 트레이닝을 수행할 수 있다. 뉴럴 네트워크가 지도 학습에 기반하여 트레이닝되는 일 실시예에서, 전자 장치는 학습 데이터에 포함된 입력 데이터를, 상기 뉴럴 네트워크의 입력 레이어에 입력할 수 있다. 상기 입력 레이어를 포함하는 뉴럴 네트워크의 일 예가, 도 13을 참고하여 설명된다. 입력 레이어를 통해 상기 입력 데이터를 수신한 뉴럴 네트워크의 출력 레이어로부터, 전자 장치는 상기 입력 데이터에 대응하는 상기 뉴럴 네트워크의 출력 데이터를 획득할 수 있다.

일 실시예에서, 동작(1204)의 트레이닝은, 상기 출력 데이터 및, 상기 학습 데이터에 포함되고, 상기 입력 데이터에 대응하는 기저 진리 데이터 사이의 차이에 기반하여, 수행될 수 있다. 예를 들어, 전자 장치는 경사 하강 알고리즘(gradient descent)에 기반하여, 상기 차이가 감소되도록 상기 뉴럴 네트워크와 관련된 하나 이상의 파라미터들(예, 도 13을 참고하여 후술되는 가중치)을 조절할 수 있다. 상기 하나 이상의 파라미터들을 조절하는 전자 장치의 동작은, 뉴럴 네트워크에 대한 튜닝으로 지칭될 수 있다. 전자 장치는, 출력 데이터에 기반하는 뉴럴 네트워크의 튜닝을, 비용 함수(cost function)와 같이, 뉴럴 네트워크의 성능을 평가하기 위해 정의된 함수를 이용하여 수행할 수 있다. 상술된 출력 데이터 및 기저 진리 데이터 사이의 차이는, 상기 비용 함수의 일 예로 포함될 수 있다.

도 12를 참고하면, 동작(1206)에서, 일 실시예에 따른, 전자 장치는 동작(1204)에 의해 트레이닝된 뉴럴 네트워크로부터, 유효한 출력 데이터가 출력되는지 여부를 식별할 수 있다. 출력 데이터가 유효하다는 것은, 출력 데이터 및 기저 진리 데이터 사이의 차이(또는 비용 함수)가, 상기 뉴럴 네트워크의 사용을 위해 설정된 조건을 만족함을 의미할 수 있다. 예를 들어, 출력 데이터 및 기저 진리 데이터 사이의 차이의 평균 값 및/또는 최대 값이 지정된 임계 값 이하인 경우, 전자 장치는, 유효한 출력 데이터가 뉴럴 네트워크로부터 출력되는 것으로 결정할 수 있다.

뉴럴 네트워크로부터 유효한 출력 데이터가 출력되지 않는 경우(1206-아니오), 전자 장치는 동작(1204)에 기반하는 뉴럴 네트워크의 트레이닝을 반복적으로 수행할 수 있다. 실시예가 이에 제한되는 것은 아니며, 전자 장치는 동작들(1202, 1304)을 반복적으로 수행할 수 있다.

뉴럴 네트워크로부터 유효한 출력 데이터를 획득한 상태에서(1206-예), 동작(1208)에 기반하여, 일 실시예에 따른, 전자 장치는 트레이닝된 뉴럴 네트워크를 사용할 수 있다. 예를 들어, 전자 장치는 학습 데이터로써 상기 뉴럴 네트워크에 입력되었던 입력 데이터와 구분되는 다른 입력 데이터를, 뉴럴 네트워크로 입력할 수 있다. 상기 다른 입력 데이터를 수신한 뉴럴 네트워크로부터 획득된 출력 데이터를, 전자 장치는 뉴럴 네트워크에 기반하여 상기 다른 입력 데이터에 대한 추론을 수행한 결과로써 이용할 수 있다.

도 13은, 일 실시예에 따른, 전자 장치(101)의 블록도이다. 도 13의 전자 장치(101)는 도 8 내지 도 11의 전자 장치를 포함할 수 있다. 예를 들어, 도 12를 참고하여 설명된 동작은, 도 13의 전자 장치(101) 및/또는 도 13의 프로세서(1310)에 의해 수행될 수 있다.

도 13을 참고하면, 전자 장치(101)의 프로세서(1310)는, 메모리(1320)에 저장된 뉴럴 네트워크(1330)와 관련된 계산들(computations)을 수행할 수 있다. 프로세서(1310)는, CPU(center processing unit), GPU(graphic processing unit) 또는 NPU(neural processing unit) 중 적어도 하나를 포함할 수 있다. NPU는, CPU와 분리된 칩으로 구현되거나, 또는 SoC(system on a chip)의 형태로 CPU와 같은 칩에 집적될(integrated) 수 있다. CPU에 집적된 NPU는, 뉴럴 코어 및/또는 AI(artificial intelligence) 가속기로 지칭될 수 있다.

도 13을 참고하면, 프로세서(1310)는, 메모리(1320)에 저장된 뉴럴 네트워크(1330)를 식별할 수 있다. 뉴럴 네트워크(1330)는, 입력 레이어(Input ayer)(1332), 하나 이상의 히든 레이어들(Hidden layers)(1334)(또는 중간 레이어들(Intermediate layers) 및 출력 레이어(Output layers)(1336)의 결합을 포함할 수 있다. 상술된 레이어들(예, 입력 레이어(1332), 하나 이상의 히든 레이어들(1334) 및 출력 레이어(1336))은, 복수의 노드들을 포함할 수 있다. 히든 레이어들(1334)의 개수는, 실시예에 따라 다를 수 있으며, 복수의 히든 레이어들(1334)을 포함하는 뉴럴 네트워크(1330)가 딥(deep) 뉴럴 네트워크로 지칭될 수 있다. 상기 딥 뉴럴 네트워크를 트레이닝하는 동작이, 딥 러닝(deep learning)으로 지칭될 수 있다.

일 실시예에서, 뉴럴 네트워크(1330)가 피드 포워드 뉴럴 네트워크(feed forward neural network)의 구조를 가지는 경우, 특정 레이어에 포함된 제1 노드는, 상기 특정 레이어 이전의 다른 레이어에 포함된 제2 노드들 전부와 연결될 수 있다. 메모리(1320) 내에서, 뉴럴 네트워크(1330)를 위해 저장된 파라미터들은, 상기 제2 노드들과 상기 제1 노드 사이의 연결들에 할당된(assigned) 가중치(weight)들을 포함할 수 있다. 피드 포워드 뉴럴 네트워크의 구조를 가지는 뉴럴 네트워크(1330)에서, 상기 제1 노드의 값은, 상기 제2 노드들 및 상기 제1 노드를 연결하는 연결들에 할당된 가중치들에 기반하는, 상기 제2 노드들에 할당된 값들의 가중 합(weighted sum)에 대응할 수 있다.

일 실시예에서, 뉴럴 네트워크(1330)가 콘볼루션(convolution) 뉴럴 네트워크의 구조를 가지는 경우, 특정 레이어에 포함된 제1 노드는, 상기 특정 레이어 이전의 다른 레이어에 포함된 제2 노드들 중 일부에 대한 가중 합에 대응할 수 있다. 상기 제1 노드에 대응하는 상기 제2 노드들 중 일부는, 상기 특정 레이어에 대응하는 필터에 의해 식별될 수 있다. 메모리(1320) 내에서, 뉴럴 네트워크(1330)를 위해 저장된 파라미터들은, 상기 필터를 나타내는 가중치들을 포함할 수 있다. 필터는, 상기 제2 노드들 중에서, 상기 제1 노드의 가중합을 계산하는데 이용될 하나 이상의 노드들, 및 상기 하나 이상의 노드들 각각에 대응하는 가중치들을 포함할 수 있다.

일 실시예에 따른, 전자 장치(101)의 프로세서(1310)는, 메모리(1320)에 저장된 학습 데이터 세트(1340)를 이용하여, 뉴럴 네트워크(1330)에 대한 트레이닝을 수행할 수 있다. 학습 데이터 세트(1340)에 기반하여, 프로세서(1310)는 도 12를 참고하여 설명된 동작을 수행하여, 뉴럴 네트워크(1330)를 위해 메모리(1320)에 저장된 하나 이상의 파라미터들을 조절할 수 있다.

일 실시예에 따른, 전자 장치(101)의 프로세서(1310)는, 학습 데이터 세트(1340)에 기반하여 트레이닝된 뉴럴 네트워크(1330)를 이용하여, 객체 탐지, 객체 인식 및/또는 객체 분류를 수행할 수 있다. 프로세서(1310)는, 카메라(1350)를 통해 획득된 이미지(또는 비디오)를, 뉴럴 네트워크(1330)의 입력 레이어(1332)에 입력할 수 있다. 이미지가 입력된 입력 레이어(1332)에 기반하여, 프로세서(1310)는 뉴럴 네트워크(1330)에 포함된 레이어들의 노드들의 값들을 순차적으로 획득하여, 출력 레이어(1336)의 노드들의 값들의 세트(예, 출력 데이터)를 획득할 수 있다. 상기 출력 데이터는, 뉴럴 네트워크(1330)를 이용하여 상기 이미지에 포함된 정보를 추론한 결과로써 이용될 수 있다. 실시예가 이에 제한되는 것은 아니며, 프로세서(1310)는, 통신 회로(1360)를 통해 전자 장치(101)에 연결된 외부 전자 장치로부터 획득된 이미지(또는 비디오)를, 뉴럴 네트워크(1330)에 입력할 수 있다.

일 실시예에서, 이미지를 처리하기 위해 트레이닝된 뉴럴 네트워크(1330)는, 상기 이미지 내에서, 피사체에 대응하는 영역을 식별하거나(객체 탐지), 및/또는 상기 이미지 내에 표현된 피사체의 클래스를 식별(객체 인식 및/또는 객체 분류)하는데 이용될 수 있다. 예를 들어, 전자 장치(101)는 뉴럴 네트워크(1330)를 이용하여, 상기 이미지 내에서, 상기 피사체에 대응하는 영역을, 바운딩 박스와 같은 사각형의 형태에 기반하여 분할(segment)할 수 있다. 예를 들어, 전자 장치(101)는 뉴럴 네트워크(1330)를 이용하여, 복수의 지정된 클래스들 중에서, 상기 피사체에 매칭되는 적어도 하나의 클래스를 식별할 수 있다.

상술한 본 발명에 따른, 운송 수단과 연결되어 자율 주행 기능을 지원하는 장치(160)는 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 프로세서(210); 상기 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 게이트웨이 모듈(220); 및 상기 수집 정보 및 상기 주행 관련 정보를 획득하고, 상기 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성하는 그래픽 처리 모듈(240)을 포함할 수 있다.

본 발명에 따른, 상기 프로세서(210)는, 외부 장치와 연동하여 자율 주행용 맵 데이터, 위치 측정 데이터, 라이다 데이터 및 위치 보정 데이터 중 적어도 하나를 포함하는 상기 수집 정보를 획득하고, 상기 수집 정보를 상기 그래픽 처리 모듈(240)로 전달하는 것을 특징으로 한다.

본 발명에 따른, 상기 프로세서(210)는, 무선 통신 안테나(112)를 기반으로 상기 자율 주행용 맵 데이터를 수신하고, 위성 수신 안테나(114)를 기반으로 상기 위치 측정 데이터를 수신하며, 상기 운송 수단에 구비된 라이다 센서(122)로부터 상기 라이다 데이터를 수신하되, 상기 그래픽 처리 모듈(240)은, 상기 자율 주행용 맵 데이터, 상기 위치 측정 데이터 및 상기 라이다 데이터를 그래픽 연산 처리하여 제1 주행 지원 정보를 생성하는 것을 특징으로 한다.

본 발명에 따른, 상기 프로세서(210)는, 상기 무선 통신 안테나(112)를 기반으로 상기 위치 보정 데이터를 추가로 수신한 경우, 상기 위치 보정 데이터를 기반으로 상기 위치 측정 데이터를 보정하고, 보정된 위치 측정 데이터를 상기 그래픽 처리 모듈(240)로 전달하여 상기 제1 주행 지원 정보가 생성되도록 하는 것을 특징으로 한다.

본 발명에 따른, 상기 게이트웨이 모듈(220)은, 외부 장치와 연동하여 카메라 영상 데이터 및 차량 제어 상태 데이터 중 적어도 하나를 포함하는 상기 주행 관련 정보를 획득하고, 상기 주행 관련 정보를 상기 그래픽 처리 모듈(240)로 전달하는 것을 특징으로 한다.

본 발명에 따른, 상기 게이트웨이 모듈(220)은, 상기 운송 수단에 구비된 카메라 센서로(124)부터 상기 카메라 영상 데이터를 수신하고, 상기 운송 수단에 구비된 차량 제어 장치(140)와 CAN(Controller Area Network) 통신 기반으로 상기 차량 제어 상태 데이터를 수신하되, 상기 그래픽 처리 모듈(240)은, 상기 카메라 영상 데이터 및 상기 차량 제어 상태 데이터를 그래픽 연산 처리하여 제2 주행 지원 정보를 생성하는 것을 특징으로 한다.

본 발명에 따른, 상기 그래픽 처리 모듈(240)은, 상기 제1 주행 지원 정보 및 상기 제2 주행 지원 정보를 기반으로 운행 경로, 객체 인식 정보, 차선/차로 인식 정보 및 자율 주행 제어 정보를 포함하는 상기 자율 주행 지원 정보를 생성하는 것을 특징으로 한다.

본 발명에 따른, 상기 그래픽 처리 모듈(240)은, 상기 자율 주행 지원 정보를 기반으로 CAN 통신 기반의 자율 주행에 대한 차량 제어가 가능하도록 상기 자율 주행 지원 정보를 상기 게이트웨이 모듈(220)의 인터페이스를 통해 차량 제어 장치(140)로 전달하는 것을 특징으로 한다.

본 발명에 따른, 상기 그래픽 처리 모듈(240)은, 상기 자율 주행 지원 정보를 운송 수단의 탑승자에게 전시하기 위한 시각화 데이터로 변환하고, 상기 시각화 데이터를 상기 프로세서(210) 내의 인터페이스를 통해 상기 운송 수단 내에 구비된 디스플레이 장치(130)로 전달하는 것을 특징으로 한다.

본 발명에 따른, 상기 그래픽 처리 모듈(240)은, 상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에 대한 처리 우선 순위를 결정하고, 결정된 우선순위에 따라 입력된 적어도 하나의 정보에 대한 처리를 수행하는 제1 그래픽 처리부(242); 및 상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에서 자율 주행을 위한 영상 분석, 인식 및 제어 중 적어도 하나의 동작에 대한 처리를 수행하는 제2 그래픽 처리부(244)를 포함할 수 있다.

본 발명에 따른, 상기 상기 그래픽 처리 모듈(240)은, 상기 제1 그래픽 처리부(242) 및 상기 제2 그래픽 처리부(244) 각각의 부하 상태를 확인하고, 상기 부하 상태에 근거하여 상기 제1 그래픽 처리부(242) 및 상기 제2 그래픽 처리부(244) 각각의 처리 동작을 조정하는 것을 특징으로 한다.

본 발명에 따른, 상기 자율 주행 지원 정보를 생성하기 위한 전원을 공급하는 전원 공급 모듈(250)을 추가로 포함하되, 상기 전원 공급 모듈(250)은, 상기 게이트웨이 모듈(220) 내에 포함된 적어도 하나의 MCU(Micro Controller Unit)와의 연동을 통해 전원 공급 동작이 제어되는 것을 특징으로 한다.

본 발명에 따른, 상기 전원 공급 모듈(250)은, 적어도 두 개의 전원 블록(252,254)으로 구성되며, 적어도 두 개의 전원 블록(252,254)은 상기 적어도 하나의 MCU의 전원 상태 모니터링 결과에 따라 선택적으로 연결되도록 상기 전원 공급 동작이 제어되는 것을 특징으로 한다.

본 발명에 따른, 자율 주행 기능 지원 장치가 운송 수단과 연결되어 자율 주행 기능을 지원하는 방법에 있어서, 프로세서(210)에서, 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 단계; 게이트웨이 모듈(220)에서, 상기 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 단계; 및 그래픽 처리 모듈(240)에서, 상기 수집 정보 및 상기 주행 관련 정보를 획득하고, 상기 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른, 상기 수집 정보를 전달하는 단계는, 외부 장치와 연동하여 자율 주행용 맵 데이터, 위치 측정 데이터, 라이다 데이터 및 위치 보정 데이터 중 적어도 하나를 포함하는 상기 수집 정보를 획득하고, 상기 수집 정보를 상기 그래픽 처리 모듈(240)로 전달하는 것을 특징으로 한다.

본 발명에 따른, 상기 수집 정보를 전달하는 단계는, 무선 통신 안테나(112)를 기반으로 상기 자율 주행용 맵 데이터를 수신하고, 위성 수신 안테나(114)를 기반으로 상기 위치 측정 데이터를 수신하며, 상기 운송 수단에 구비된 라이다 센서(122)로부터 상기 라이다 데이터를 수신하되, 상기 자율 주행 지원 정보를 생성하는 단계는, 상기 자율 주행용 맵 데이터, 상기 위치 측정 데이터 및 상기 라이다 데이터를 그래픽 연산 처리하여 제1 주행 지원 정보를 생성하는 것을 특징으로 한다.

본 발명에 따른, 상기 주행 관련 정보를 송수신하는 단계는, 외부 장치와 연동하여 카메라 영상 데이터 및 차량 제어 상태 데이터 중 적어도 하나를 포함하는 상기 주행 관련 정보를 획득하고, 상기 주행 관련 정보를 상기 그래픽 처리 모듈(240)로 전달하는 것을 특징으로 한다.

본 발명에 따른, 상기 주행 관련 정보를 송수신하는 단계는, 상기 운송 수단에 구비된 카메라 센서(124)로부터 상기 카메라 영상 데이터를 수신하고, 상기 운송 수단에 구비된 차량 제어 장치(140)와 CAN(Controller Area Network) 통신 기반으로 상기 차량 제어 상태 데이터를 수신하되, 상기 자율 주행 지원 정보를 생성하는 단계는, 상기 카메라 영상 데이터 및 상기 차량 제어 상태 데이터를 그래픽 연산 처리하여 제2 주행 지원 정보를 생성하는 것을 특징으로 한다.

본 발명에 따른, 상기 자율 주행 지원 정보를 생성하는 단계는, 상기 제1 주행 지원 정보 및 상기 제2 주행 지원 정보를 기반으로 운행 경로, 객체 인식 정보, 차선/차로 인식 정보 및 자율 주행 제어 정보를 포함하는 상기 자율 주행 지원 정보를 생성하는 것을 특징으로 한다.

본 발명에 따른, 상기 자율 주행 지원 정보를 생성하는 단계는, 상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에 대한 처리 우선 순위를 결정하고, 결정된 우선순위에 따라 입력된 적어도 하나의 정보에 대한 처리를 수행하는 제1 그래픽 처리 단계; 및 상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에서 자율 주행을 위한 영상 분석, 인식 및 제어 중 적어도 하나의 동작에 대한 처리를 수행하는 제2 그래픽 처리 단계를 포함하는 것을 특징으로 한다.

이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 자율 주행 기능 지원 시스템
160: 자율 주행 기능 지원장치
210: 프로세서
220: 게이트웨이 모듈
230: 위치 측정 모듈
240: 그래픽 처리 모듈
250: 전원 공급 모듈

Claims

운송 수단과 연결되어 자율 주행 기능을 지원하는 장치에 있어서,
자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 프로세서;
상기 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 게이트웨이 모듈; 및
상기 수집 정보 및 상기 주행 관련 정보를 획득하고, 상기 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성하는 그래픽 처리 모듈
을 포함하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제1항에 있어서,
상기 프로세서는,
외부 장치와 연동하여 자율 주행용 맵 데이터, 위치 측정 데이터, 라이다 데이터 및 위치 보정 데이터 중 적어도 하나를 포함하는 상기 수집 정보를 획득하고, 상기 수집 정보를 상기 그래픽 처리 모듈로 전달하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제2항에 있어서,
상기 프로세서는,
무선 통신 안테나를 기반으로 상기 자율 주행용 맵 데이터를 수신하고, 위성 수신 안테나를 기반으로 상기 위치 측정 데이터를 수신하며, 상기 운송 수단에 구비된 라이다 센서로부터 상기 라이다 데이터를 수신하되,
상기 그래픽 처리 모듈은, 상기 자율 주행용 맵 데이터, 상기 위치 측정 데이터 및 상기 라이다 데이터를 그래픽 연산 처리하여 제1 주행 지원 정보를 생성하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제3항에 있어서,
상기 프로세서는,
상기 무선 통신 안테나를 기반으로 상기 위치 보정 데이터를 추가로 수신한 경우, 상기 위치 보정 데이터를 기반으로 상기 위치 측정 데이터를 보정하고, 보정된 위치 측정 데이터를 상기 그래픽 처리 모듈로 전달하여 상기 제1 주행 지원 정보가 생성되도록 하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제2항에 있어서,
상기 게이트웨이 모듈은,
외부 장치와 연동하여 카메라 영상 데이터 및 차량 제어 상태 데이터 중 적어도 하나를 포함하는 상기 주행 관련 정보를 획득하고, 상기 주행 관련 정보를 상기 그래픽 처리 모듈로 전달하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제5항에 있어서,
상기 게이트웨이 모듈은,
상기 운송 수단에 구비된 카메라 센서로부터 상기 카메라 영상 데이터를 수신하고, 상기 운송 수단에 구비된 차량 제어 장치와 CAN(Controller Area Network) 통신 기반으로 상기 차량 제어 상태 데이터를 수신하되,
상기 그래픽 처리 모듈은, 상기 카메라 영상 데이터 및 상기 차량 제어 상태 데이터를 그래픽 연산 처리하여 제2 주행 지원 정보를 생성하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제6항에 있어서,
상기 그래픽 처리 모듈은,
상기 제1 주행 지원 정보 및 상기 제2 주행 지원 정보를 기반으로 운행 경로, 객체 인식 정보, 차선/차로 인식 정보 및 자율 주행 제어 정보를 포함하는 상기 자율 주행 지원 정보를 생성하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제7항에 있어서,
상기 그래픽 처리 모듈은,
상기 자율 주행 지원 정보를 기반으로 CAN 통신 기반의 자율 주행에 대한 차량 제어가 가능하도록 상기 자율 주행 지원 정보를 상기 게이트웨이 모듈의 인터페이스를 통해 차량 제어 장치로 전달하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제7항에 있어서,
상기 그래픽 처리 모듈은,
상기 자율 주행 지원 정보를 운송 수단의 탑승자에게 전시하기 위한 시각화 데이터로 변환하고, 상기 시각화 데이터를 상기 프로세서 내의 인터페이스를 통해 상기 운송 수단 내에 구비된 디스플레이 장치로 전달하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제7항에 있어서,
상기 그래픽 처리 모듈은,
상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에 대한 처리 우선 순위를 결정하고, 결정된 우선순위에 따라 입력된 적어도 하나의 정보에 대한 처리를 수행하는 제1 그래픽 처리부; 및
상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에서 자율 주행을 위한 영상 분석, 인식 및 제어 중 적어도 하나의 동작에 대한 처리를 수행하는 제2 그래픽 처리부
를 포함하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제10항에 있어서,
상기 상기 그래픽 처리 모듈은,
상기 제1 그래픽 처리부 및 상기 제2 그래픽 처리부 각각의 부하 상태를 확인하고, 상기 부하 상태에 근거하여 상기 제1 그래픽 처리부 및 상기 제2 그래픽 처리부 각각의 처리 동작을 조정하는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제1항에 있어서,
상기 자율 주행 지원 정보를 생성하기 위한 전원을 공급하는 전원 공급 모듈을 추가로 포함하되,
상기 전원 공급 모듈은, 상기 게이트웨이 모듈 내에 포함된 적어도 하나의 MCU(Micro Controller Unit)와의 연동을 통해 전원 공급 동작이 제어되는 것을 특징으로 하는 자율 주행 기능 지원 장치.
제12항에 있어서,
상기 전원 공급 모듈은,
적어도 두 개의 전원 블록으로 구성되며,
적어도 두 개의 전원 블록은 상기 적어도 하나의 MCU의 전원 상태 모니터링 결과에 따라 선택적으로 연결되도록 상기 전원 공급 동작이 제어되는 것을 특징으로 하는 자율 주행 기능 지원 장치.
자율 주행 기능 지원 장치가 운송 수단과 연결되어 자율 주행 기능을 지원하는 방법에 있어서,
프로세서에서, 자율 주행 프로토콜을 기반으로 인터페이스를 통해 수집된 수집 정보를 전달하는 단계;
게이트웨이 모듈에서, 상기 운송 수단의 자율 주행 운용을 위한 주행 관련 정보를 송수신하는 단계; 및
그래픽 처리 모듈에서, 상기 수집 정보 및 상기 주행 관련 정보를 획득하고, 상기 수집 정보 및 상기 주행 관련 정보에 대한 그래픽 연산을 처리하여 자율 주행 지원 정보를 생성하는 단계
를 포함하는 것을 특징으로 하는 자율 주행 기능 지원 방법.
제14항에 있어서,
상기 수집 정보를 전달하는 단계는,
외부 장치와 연동하여 자율 주행용 맵 데이터, 위치 측정 데이터, 라이다 데이터 및 위치 보정 데이터 중 적어도 하나를 포함하는 상기 수집 정보를 획득하고, 상기 수집 정보를 상기 그래픽 처리 모듈로 전달하는 것을 특징으로 하는 자율 주행 기능 지원 방법.
제15항에 있어서,
상기 수집 정보를 전달하는 단계는,
무선 통신 안테나를 기반으로 상기 자율 주행용 맵 데이터를 수신하고, 위성 수신 안테나를 기반으로 상기 위치 측정 데이터를 수신하며, 상기 운송 수단에 구비된 라이다 센서로부터 상기 라이다 데이터를 수신하되,
상기 자율 주행 지원 정보를 생성하는 단계는, 상기 자율 주행용 맵 데이터, 상기 위치 측정 데이터 및 상기 라이다 데이터를 그래픽 연산 처리하여 제1 주행 지원 정보를 생성하는 것을 특징으로 하는 자율 주행 기능 지원 방법.
제15항에 있어서,
상기 주행 관련 정보를 송수신하는 단계는,
외부 장치와 연동하여 카메라 영상 데이터 및 차량 제어 상태 데이터 중 적어도 하나를 포함하는 상기 주행 관련 정보를 획득하고, 상기 주행 관련 정보를 상기 그래픽 처리 모듈로 전달하는 것을 특징으로 하는 자율 주행 기능 지원 방법.
제17항에 있어서,
상기 주행 관련 정보를 송수신하는 단계는,
상기 운송 수단에 구비된 카메라 센서로부터 상기 카메라 영상 데이터를 수신하고, 상기 운송 수단에 구비된 차량 제어 장치와 CAN(Controller Area Network) 통신 기반으로 상기 차량 제어 상태 데이터를 수신하되,
상기 자율 주행 지원 정보를 생성하는 단계는, 상기 카메라 영상 데이터 및 상기 차량 제어 상태 데이터를 그래픽 연산 처리하여 제2 주행 지원 정보를 생성하는 것을 특징으로 하는 자율 주행 기능 지원 방법.
제18항에 있어서,
상기 자율 주행 지원 정보를 생성하는 단계는,
상기 제1 주행 지원 정보 및 상기 제2 주행 지원 정보를 기반으로 운행 경로, 객체 인식 정보, 차선/차로 인식 정보 및 자율 주행 제어 정보를 포함하는 상기 자율 주행 지원 정보를 생성하는 것을 특징으로 하는 자율 주행 기능 지원 방법.
제19항에 있어서,
상기 자율 주행 지원 정보를 생성하는 단계는,
상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에 대한 처리 우선 순위를 결정하고, 결정된 우선순위에 따라 입력된 적어도 하나의 정보에 대한 처리를 수행하는 제1 그래픽 처리 단계; 및
상기 자율 주행 지원 정보를 생성하기 위해 입력되는 상기 수집 정보 및 상기 주행 관련 정보에서 자율 주행을 위한 영상 분석, 인식 및 제어 중 적어도 하나의 동작에 대한 처리를 수행하는 제2 그래픽 처리 단계
를 포함하는 것을 특징으로 하는 자율 주행 기능 지원 방법.