KR20210100776A - 카메라를 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법 - Google Patents

Abstract

본 개시의 실시 예들은 카메라를 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법에 관한 것으로, 자율 주행 장치는 차량의 제 1 램프에 배치되며 제 1 측방을 포함하는 전방의 제 1 영상을 획득하기 위한 제 1 카메라, 상기 차량의 제 2 램프에 배치되며 제 2 측방을 포함하는 전방의 제 2 영상을 획득하기 위한 제 2 카메라 및 상기 제 1 카메라 및 상기 제 2 카메라와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 차량이, 상기 제 1 영상 및 상기 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여, 차선 인식에 사용할 적어도 하나의 카메라를 선택하고, 상기 선택된 카메라를 통해 획득되는 영상으로부터 인식되는 차선에 기초하여 주행하도록 제어할 수 있다. 본 개시의 자율 주행 차량(autonomous vehicle, autonomous driving), 사용자 단말기 및 서버 중 하나 이상이 인공지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(Virtual Reality, VR)장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

카메라를 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법{VEHICLE FOR PERFORMING AUTONOMOUS DRIVING USING CAMERA AND OPERATION METHOD THEREOF}

본 개시의 다양한 실시 예들은 카메라를 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법에 관한 것이다.

자율 주행 차량은 사용자의 조작 없이, 스스로 운행 할 수 있는 기능을 갖는 차량으로, 차선(lane)을 유지하면서 차량의 종방향 이동을 제어할 수 있는 지능형 순항 제어장치(smart cruise control), 고속도로 운전지원 시스템(highway driving assist), 주행중인 차선을 벗어나는 경우 운전자에게 경고를 주거나 본래 주행 중이던 차선으로 복귀시키는 차선 유지 지원 시스템(lane keeping assist system) 등과 같은 다양한 주행 기능을 제공하고 있다.

이러한 주행 기능에서 요구되는 것은 주행 중 차선을 인식하는 기술이며, 차선은 자율 주행 차량의 전방에 대한 영상으로부터 인식될 수 있다.

일반적으로, 자율 주행 차량은 프런트 윈드 쉴드에 근접하게 배치된 카메라를 이용하여 차량의 전방에 대한 영상을 획득할 수 있다. 프런트 윈드 쉴드에 근접하여 배치된 카메라를 통해 차량 전방에 장애물이 없는 상황에서 비교적 원거리에 존재하는 차선이 포함된 영상이 획득될 수 있으나, 장애물이 존재하는 상황에서는 장애물에 의해 차선이 가려진 영상이 획득되어, 자율 주행 차량이 차선을 정확하게 인식하지 못하는 문제점이 있다.

본 개시가 해결하기 위한 과제는 차량 전방의 장애물에 영향을 받지 않고 차선을 인식하기 위한 자율 주행 장치 및 그의 동작 방법을 제공하는 것에 있다.

본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 다양한 실시 예에 따른 자율 주행 장치는 차량의 제 1 램프에 배치되며 제 1 측방을 포함하는 전방의 제 1 영상을 획득하기 위한 제 1 카메라, 상기 차량의 제 2 램프에 배치되며 제 2 측방을 포함하는 전방의 제 2 영상을 획득하기 위한 제 2 카메라 및 상기 제 1 카메라 및 상기 제 2 카메라와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 차량이, 상기 제 1 영상 및 상기 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여, 차선 인식에 사용할 적어도 하나의 카메라를 선택하고, 상기 선택된 카메라를 통해 획득되는 영상으로부터 인식되는 차선에 기초하여 주행하도록 제어할 수 있다.

본 개시의 다양한 실시 예들에 따른 자율 주행 장치 동작 방법은 차량의 제 1 램프에 배치되며 제 1 측방을 포함하는 전방의 제 1 영상을 획득하기 위한 제 1 카메라를 통해 제 1 영상을 획득하는 동작, 상기 차량의 제 2 램프에 배치되며 제 2 측방을 포함하는 전방의 제 2 영상을 획득하기 위한 제 2 카메라를 통해 제 2 영상을 획득하는 동작, 상기 제 1 영상 및 상기 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여 차선 인식에 사용할 적어도 하나의 카메라를 선택하는 동작 및 상기 선택된 카메라를 통해 획득되는 영상으로부터 인식되는 차선에 기초하여 주행하도록 상기 차량을 제어하는 동작을 포함할 수 있다.

본 개시의 실시 예들에 따른 자율 주행 장치는 램프에 배치된 적어도 하나의 카메라를 통해 획득되는 영상으로부터 차선을 인식함으로써, 차량 전방의 장애물에 영향을 받지 않고 차선을 인식할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량 동작의 일 예를 나타낸다.
도 7a는 다양한 실시예들에 따른 차량의 헤드 램프에 포함되는 센서들을 도시한다.
도 7b는 다양한 실시예들에 따른 헤드 램프 내 센서들의 FOV(field of view)를 도시한다.
도 8은 다양한 실시예들에 따른 차량의 제어 블럭도이다.
도 9는 다양한 실시 예에 따른 전자 장치를 개념적으로 도시한 도면이다.
도 10은 다양한 실시 예에 따른 전자 장치의 차선 검출 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 실시 예들에 따른 전자 장치의 차선 인식 방법을 나타내는 플로우 차트이다.
도 12는 본 개시의 실시 예들에 따른 전자 장치에서 차선 인식에 사용되는 카메라를 선택하는 방법을 나타내는 플로우 차트이다.
도 13은 본 개시의 실시 예들에 따른 전자 장치에서 차선 인식 결과에 기초하여 차량을 제어하는 방법을 나타내는 플로우 차트이다.
도 14a 내지 도 14b는 다양한 실시 예에 따른 전자 장치에서 차량의 주행을 제어하는 동작을 설명하기 위한 도면이다.
도 15는 본 개시의 실시 예들에 따른 전자 장치에서 차선 인식 결과에 기초하여 차량을 제어하는 다른 방법을 나타내는 플로우 차트이다.
도 16a 내지 도 16c는 다양한 실시 예에 따른 전자 장치에서 차량의 주행을 제어하는 다른 동작을 설명하기 위한 도면이다.
도 17은 본 개시의 실시 예들에 따른 전자 장치에서 차선 인식 결과에 기초하여 차량을 제어하는 또 다른 방법을 나타내는 플로우 차트이다.
도 18a 내지 도 18c는 다양한 실시 예에 따른 전자 장치에서 차량의 주행을 제어하는 또 다른 동작을 설명하기 위한 도면이다.
도 19는 본 개시의 실시 예들에 따른 전자 장치에서 상황 정보를 고려하여 차선을 인식하는 방법을 나타내는 플로우 차트이다.
도 20은 본 개시의 실시 예들에 따른 전자 장치에서 근거리 차선 인식을 중단하는 방법을 나타내는 플로우 차트이다.
도 21은 본 개시의 실시 예들에 따른 전자 장치의 동작 방법을 나타내는 플로우 차트이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하의 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 개시의 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

하나의 구성 요소가 다른 구성 요소와 "연결된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 구성 요소와 직접 연결 또는 커플링된 경우 또는 중간에 다른 구성 요소를 개재한 경우를 모두 포함한다. 반면, 하나의 구성 요소가 다른 구성 요소와 "직접 연결된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 구성 요소를 개재하지 않은 것을 나타낸다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

본 개시에서 사용된 용어들은 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 개시에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 본 개시에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

비록 제 1, 제 2 등이 다양한 구성 요소들을 서술하기 위해서 사용되나, 이들 구성 요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성 요소와 구별하기 위하여 사용하는 것이다.

따라서, 이하에서 언급되는 제 1 구성 요소는 본 개시의 기술적 사상 내에서 제 2 구성 요소 일 수도 있음은 물론이다. 다른 정의가 없다면, 본 개시에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 개시에서 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성 요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.

본 개시의 몇몇 실시 예들과 관련하여 설명되는 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다.

도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.

자율 주행 차량(Autonomous Vehicle)은 특정 정보 전송을 5G 네트워크로 전송한다(S1). 상기 특정 정보는, 자율 주행 관련 정보를 포함할 수 있다. 상기 자율 주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.

상기 자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 상기 특정 정보는, 사용자 단말기를 통해 입력된 목적지와 차량의 안정 등급에 관한 정보를 포함할 수 있다.

그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2). 여기서, 상기 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.

그리고, 상기 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 상기 자율 주행 차량으로 전송할 수 있다(S3).

전술한 바와 같이, 상기 원격 제어와 관련된 정보는 자율 주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 개시의 일 실시 예에서는 자율 주행 차량은, 상기 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율 주행과 관련된 서비스를 제공할 수 있다.

이하 도 2 내지 도 6에서는 본 개시의 일 실시 예에 따라 자율 주행 과정에서 구간별 적용 가능한 보험 서비스를 제공하기 위하여, 자율 주행 차량과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예를 들어, 차량과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명한다.

도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.

자율 주행 차량은 5G 네트워크와 초기 접속(initial access) 절차를 수행한다(S20).

상기 초기 접속 절차는 하향 링크(Downlink, DL) 동기 획득을 위한 셀 서치(cell search), 시스템 정보(system information)를 획득하는 과정 등을 포함한다.

그리고, 상기 자율 주행 차량은 상기 5G 네트워크와 임의 접속(random access) 절차를 수행한다(S21). 상기 임의 접속 과정은 상향 링크(Uplink, UL) 동기 획득 또는 UL 데이터 전송을 위해 프리엠블 전송, 임의 접속 응답 수신 과정 등을 포함할 수 있다.

그리고, 상기 5G 네트워크는 상기 자율 주행 차량으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송한다(S22). 상기 UL Grant 수신은 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원 스케줄링을 받는 과정을 포함한다.

그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 상기 5G 네트워크로 특정 정보를 전송한다(S23).

그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정한다(S24).

그리고, 자율 주행 차량은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL grant를 수신한다(S25).

그리고, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 자율 주행 차량으로 원격 제어와 관련된 정보(또는 신호)를 전송한다(S26).

한편, 도 2에서는 자율 주행 차량과 5G 통신의 초기 접속 과정 및 또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 예를 S20 내지 S26의 과정을 통해 예시적으로 설명하였지만, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다.

예를 들어, S20, S22, S23, S24, S26 과정을 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 S21, S22, S23, S24, S26 과정을 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한 S23, S24, S25, S26을 통해 AI 동작과 하향링크 그랜트 수신과정이 결합되는 과정을 수행할 수 있다.

또한, 도 2에서는 자율 주행 차량 동작에 대하여 S20 내지 S26을 통해 예시적으로 설명한 것이며, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다.

예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S22, S25가 S23, S26과 선택적으로 결합되어 동작할 수 있다. 또한 예를 들어, 상기 자율 주행 차량 동작은, S21, S22, S23, S26으로 구성될 수도 있다. 또한 예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S23, S26으로 구성될 수 있다. 또한, 예를 들어, 상기 자율 주행 차량 동작은, S22, S23, S25, S26으로 구성될 수 있다.

도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량 동작의 일 예를 나타낸다.

먼저 도 3을 참고하면, 자율 주행 모듈을 포함하는 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S30).

그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S31).

그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S32).

그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S33).

그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S34).

그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S35).

S30에 빔 관리(beam management, BM) 과정이 추가될 수 있으며, S31에 PRACH(physical random access channel) 전송과 관련된 빔 실패 복구(beam failure recovery) 과정이 추가될 수 있으며, S32에 UL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계가 추가될 수 있으며, S33에 특정 정보를 포함하는 PUCCH (physical uplink control channel)/PUSCH (physical uplink shared channel)의 빔 전송 방향과 관련하여 QCL 관계가 추가될 수 있다. 또한, S34에 DL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계가 추가될 수 있다.

도 4를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S40).

그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S41).

그리고, 상기 자율 주행 차량은 설정된 그랜트(configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(S42).

그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호를) 상기 설정된 그랜트에 기초하여 5G 네트워크로부터 수신한다(S43).

도 5를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S50).

그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S51).

그리고, 상기 자율 주행 차량은 5G 네트워크로부터 DownlinkPreemption IE를 수신한다(S52).

그리고, 상기 자율 주행 차량은 상기 DownlinkPreemption IE에 기초하여 프리엠션 지시를 포함하는 DCI 포맷 2_1을 5G 네트워크로부터 수신한다(S53).

그리고, 상기 자율 주행 차량은 pre-emption indication에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB data의 수신을 수행(또는 기대 또는 가정)하지 않는다(S54).

그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S55).

그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S56).

그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S57).

그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S58).

도 6을 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S60).

그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S61).

그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S62).

상기 UL grant는 상기 특정 정보의 전송에 대한 반복 횟수에 대한 정보를 포함하고, 상기 특정 정보는 상기 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(S63).

그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다.

그리고, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.

상기 특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(narrowband)을 통해 전송될 수 있다.

그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S64).

그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S65).

앞서 살핀 5G 통신 기술은 후술할 본 명세서에서 제안하는 방법들과 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.

본 개시에서 기술되는 차량은 통신망을 통해 외부 서버에 연결되고, 자율 주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다. 본 개시의 차량은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등으로 구현될 수 있다.

이하의 실시 예에서, 사용자는 운전자, 탑승자 또는 사용자 단말기의 소유자로 해석될 수 있다. 사용자 단말기는 사용자가 휴대 가능하고 전화 통화와 다양한 어플리케이션(application)을 실행할 수 있는 이동 단말기 예를 들어, 스마트 폰일 수 있으나 이에 한정되지 않는다. 예를 들어, 사용자 단말기는 이동 단말기, PC(Personal computer), 노트북 컴퓨터 또는 자율 주행 차량 시스템으로 해석될 수 있다.

자율주행 차량에서는 주변 위험 요소들을 실시간 센싱하는 능력에 따라 사고 발생 유형 및 빈도가 크게 달라질 수 있다. 목적지까지의 경로는 날씨, 지형 특성, 교통 혼잡도 등 다양한 원인에 의해 위험 수준이 서로 다른 구간들을 포함할 수 있다. 본 개시는 사용자의 목적지 입력 시 구간별로 필요한 보험을 안내하고 실시간으로 위험구간 모니터링을 통해 보험 안내를 업데이트 한다.

본 개시의 자율 주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.

예를 들어, 자율 주행 차량은 차량에 포함된 적어도 하나의 인공지능 모듈, 로봇과 연계되어 동작할 수 있다.

예를 들어, 차량은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.

로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.

차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 로봇과 통신을 수행할 수 있다.

차량에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.

차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.

차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 차량의 이동 경로와 로봇의 이동 경로 간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.

차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)를 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.

인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.

차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.

실시 예에 따라, 차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.

도 7a는 다양한 실시 예들에 따른 차량의 헤드 램프에 포함되는 센서들을 도시한다.

도 7a를 참조하면, 다양한 실시 예들에 따른 차량의 헤드 램프들(701, 703) 각각은, 적어도 두 개의 카메라(711, 713, 731, 733), 적어도 하나의 라이다(721, 723), 및 적어도 하나의 광원(741, 743)을 포함할 수 있다.

다양한 실시 예들에 따르면, 제 1 헤드 램프(701)는 제 1 전방 카메라(711), 제 1 측방 카메라(731), 제 1 라이다(721), 및 적어도 하나의 제 1 광원(741) 중 적어도 하나를 포함할 수 있다. 제 1 헤드 램프(701)는 차량의 우측 전면에 장착되는 헤드 램프일 수 있으며, 제 1 전방 카메라(711)는, 차량의 전방을 센싱하도록 배치되고, 제 1 측방 카메라(731)는, 차량의 전방 중 적어도 일부 및 우측 방향을 센싱하도록 배치될 수 있다. 제 1 라이다(721)는 차량의 전방 중 적어도 일부 및 우측 방향을 센싱하도록 배치될 수 있다. 예를 들어, 제 1 전방 카메라(711)는, 차량의 전방 센싱을 위해 제 1 헤드 램프(701)의 내부 공간 영역 중 좌측의 영역에 배치될 수 있다. 제 1 측방 카메라(731)는, 차량의 전방 중 적어도 일부 및 우측 방향 센싱을 위해 제 1 헤드 램프(701)의 내부 공간 영역 중 우측 영역에 배치될 수 있다. 제 1 라이다(721)는, 차량의 전방 중 적어도 일부 및 우측 방향 센싱을 위해 제 1 헤드 램프(701)의 내부 공간 영역 중 우측 영역에 배치될 수 있다. 도 7a에서는, 제 1 측방 카메라(731)가 제 1 라이다(721)의 하부에 배치되었으나, 이는 예시일 뿐, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 제 1 측방 카메라(731)는 제 1 라이다(721)의 상부, 하부, 좌측, 또는 우측 중 어느 하나의 방향에 배치될 수 있다. 일 실시 예에 따르면, 제 1 측방 카메라(731)와 제 1 라이다(721)는 서로 이격되어 배치될 수도 있고, 이격되지 않고 직접적으로 맞닿도록 배치될 수 있다. 적어도 하나의 제 1 광원(741)은 제 1 헤드 램프(701)의 내부 공간 영역 중 중앙 영역에 배치될 수 있다. 이는 예시일 뿐, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 적어도 하나의 제 1 광원(741)은, 제 1 헤드 램프(701)의 내부 공간 영역 중 제 1 전방 카메라(711)에 인접한 좌측 영역에 배치되거나, 제 1 측방 카메라(731)에 인접한 우측 영역에 배치될 수 있다. 적어도 하나의 제 1 광원(741)은 복수 개일 수 있다. 예를 들어, 제 1 헤드 램프(701)는 복수의 광원들을 포함할 수 있다.

다양한 실시 예들에 따르면, 제 2 헤드 램프(703)는 제 2 전방 카메라(713), 제 2 측방 카메라(733), 및 제 2 라이다(723) 중 적어도 하나를 포함할 수 있다. 제 2 헤드 램프(703)는 차량의 좌측 전면에 장착되는 헤드 램프일 수 있으며, 제 2 전방 카메라(713)는, 차량의 전방을 센싱하도록 배치되고, 제 2 측방 카메라(733)는, 차량의 전방 중 적어도 일부 및 좌측 방향을 센싱하도록 배치될 수 있다. 제 2 라이다(723)는 차량의 전방 중 적어도 일부 및 좌측 방향을 센싱하도록 배치될 수 있다. 예를 들어, 제 2 전방 카메라(713)는, 차량의 전방 센싱을 위해 제 2 헤드 램프(703)의 내부 공간 영역 중 우측의 영역에 배치될 수 있다. 제 2 측방 카메라(733)는, 차량의 전방 중 적어도 일부 및 좌측 방향 센싱을 위해 제 2 헤드 램프(703)의 내부 공간 영역 중 좌측 영역에 배치될 수 있다. 제 2 라이다(723)는, 차량의 전방 중 적어도 일부 및 좌측 방향 센싱을 위해 제 2 헤드 램프(703)의 내부 공간 영역 중 좌측 영역에 배치될 수 있다. 도 7a에서는, 제 2 측방 카메라(733)가 제 2 라이다(723)의 하부에 배치되었으나, 이는 예시일 뿐, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 제 2 측방 카메라(733)는 제 2 라이다(723)의 상부, 하부, 좌측, 또는 우측 중 어느 하나의 방향에 배치될 수 있다. 일 실시 예에 따르면, 제 2 측방 카메라(733)와 제 2 라이다(723)는 서로 이격되어 배치될 수도 있고, 이격되지 않고 직접적으로 맞닿도록 배치될 수 있다. 적어도 하나의 제 2 광원(743)은 제 2 헤드 램프(703)의 내부 공간 영역 중 중앙 영역에 배치될 수 있다. 이는 예시일 뿐, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 적어도 하나의 제 2 광원(743)은, 제 2 헤드 램프(703)의 내부 공간 영역 중 제 2 전방 카메라(713)에 인접한 좌측 영역에 배치되거나, 제 2 측방 카메라(733)에 인접한 우측 영역에 배치될 수 있다. 적어도 하나의 제 2 광원(743)은 복수 개일 수 있다. 예를 들어, 제 2 헤드 램프(703)는 복수의 광원들을 포함할 수 있다.

도 7b는 다양한 실시 예들에 따른 헤드 램프 내 센서들의 FOV(field of view)를 도시한다. 도 7b의 차량에 장착된 헤드 램프들은, 도 7a에 도시된 헤드 램프들(701, 703)일 수 있다.

도 7b를 참조하면, 차량은 제 1 헤드 램프(701)에 포함된 제 1 전방 카메라(711)와 제 2 헤드 램프(703)에 포함된 제 2 전방 카메라(713)를 이용하여 전방에 위치한 오브젝트를 센싱할 수 있다. 제 1 전방 카메라(711), 및 제 2 전방 카메라(713) 각각의 시야각(field of view)은, 예를 들어, 약 40도일 수 있다.

차량은 제 1 헤드 램프(701)에 포함된 제 1 측방 카메라(731)와 제 2 헤드 램프(703)에 포함된 제 2 측방 카메라(733)를 이용하여 전방 및/또는 측방에 위치한 오브젝트를 센싱할 수 있다. 제 1 측방 카메라(731), 및 제 2 측방 카메라(733) 각각의 시야각(field of view)은, 예를 들어, 약 140도일 수 있다.

차량은 제 1 헤드 램프(701)에 포함된 제 1 라이다(721)와 제 2 헤드 램프(703)에 포함된 제 2 라이다(723)를 이용하여 전방 및/또는 측방에 위치한 오브젝트를 센싱할 수 있다. 제 1 라이다(721), 및 제 2 라이다(723) 각각의 시야각(field of view)은, 예를 들어, 약 120도일 수 있다.

상술한 시야각들은 예시일 뿐, 본 개시의 다양한 실시 예들은 이에 한정되지 않을 것이다. 예를 들어, 제 1 헤드 램프(701), 및 제 2 헤드 램프(703)에 포함된 센서들(711, 731, 721, 723, 731, 733)의 시야각은 설계자에 의해 다른 각도로 설정될 수 있다.

또한, 상술한 도 7a, 및 도 7b와 후술되는 실시 예들에서는, 차량의 전면에 위치한 두 개의 헤드 램프(701, 703)들 각각에 하나의 라이다가 포함된 경우를 가정하여 설명하나, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 본 개시의 다양한 실시 예들은, 헤드 램프(701, 703)들 각각에 복수의 라이다들이 포함된 경우에도 동일한 방식으로 적용될 수 있다. 또한, 적어도 두 개의 카메라(711, 713, 731, 733), 적어도 하나의 라이다(721, 723), 및 적어도 하나의 광원(741, 743)은 테일 램프, 포그 램프 등에도 동일한 방식으로 적용될 수도 있다.

상술한 도 7a 및 도 7b에 도시되지는 않았으나, 상술한 차량은, 적어도 하나의 후면 측방 카메라를 더 포함할 수 있다. 예를 들어, 차량의 후방 중 적어도 일부 및 우측 방향을 센싱하는 제 1 후면 측방 카메라와 차량의 후방 중 적어도 일부 및 좌측 방향을 센싱하는 제 2 후면 측방 카메라를 더 포함할 수 있다. 제 1 후면 측방 카메라는 차량의 우측 후방 램프에 배치되고, 제 2 후면 측방 카메라는 차량의 좌측 후방 램프에 배치될 수 있다.

이하에서는, 설명의 편의를 위해, 도 7a 및 도 7b에 도시된 제 1 전방 카메라(711)를 우측 전방 카메라로 지칭하고, 제 2 전방 카메라(713)를 좌측 전방 카메라로 지칭하고, 제 1 측방 카메라(731)를 우측 측방 카메라로 지칭하고, 제 2 측방 카메라(733)를 좌측 측방 카메라로 지칭할 수 있다.

도 8은 본 개시의 실시 예에 따른 차량의 제어 블럭도이다.

도 8을 참조하면, 차량은, 사용자 인터페이스 장치(800), 오브젝트 검출 장치(810), 통신 장치(820), 운전 조작 장치(830), 메인 ECU(840), 구동 제어 장치(850), 자율 주행 장치(860), 센싱부(870) 및 위치 데이터 생성 장치(880)를 포함할 수 있다. 오브젝트 검출 장치(810), 통신 장치(820), 운전 조작 장치(830), 메인 ECU(840), 구동 제어 장치(850), 자율 주행 장치(860), 센싱부(870) 및 위치 데이터 생성 장치(880)는 각각이 전기적 신호를 생성하고, 상호간에 전기적 신호를 교환하는 전자 장치로 구현될 수 있다.

사용자 인터페이스 장치(800)는, 차량과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(800)는, 사용자 입력을 수신하고, 차량에서 생성된 정보를 사용자에게 제공할 수 있다. 차량은, 사용자 인터페이스 장치(800)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다. 사용자 인터페이스 장치(800)는, 입력 장치, 출력 장치 및 사용자 모니터링 장치를 포함할 수 있다.

오브젝트 검출 장치(810)는, 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 오브젝트에 대한 정보는, 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량과 오브젝트와의 거리 정보, 및 차량과 오브젝트와의 상대 속도 정보 중 적어도 어느 하나를 포함할 수 있다. 오브젝트 검출 장치(810)는, 차량 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(810)는, 차량 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치(810)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(810)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.

카메라는 영상을 이용하여 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 카메라는 적어도 하나의 렌즈, 적어도 하나의 이미지 센서, 및 적어도 하나의 이미지 시그널 프로세서를 포함할 수 있다. 이미지 시그널 프로세서는 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성할 수 있다. 카메라는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라는, 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.

카메라는, 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있다. 카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.

레이다는 전파를 이용하여 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 레이다는, 전자파 송신부, 전자파 수신부, 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 전자파 송신부 및 전자파 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keying) 방식으로 구현될 수 있다. 레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

라이다는, 레이저 광을 이용하여, 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는, 광 송신부, 광 수신부 및 적어도 하나의 프로세서를 포함할 수 있다. 광 송신부 및 광 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다. 라이다는, 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량 주변의 오브젝트를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다를 포함할 수 있다. 라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

통신 장치(820)는, 차량 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(820)는, 인프라(예를 들면, 서버, 방송국), 타 차량, 단말기 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(820)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.

예를 들어, 통신 장치는 V2X 기술을 기반으로 외부 디바이스와 신호를 교환할 수 있다. 예를 들어, V2X 기술은 LTE 기반의 사이드링크 통신 및/또는 NR 기반의 사이드링크 통신을 포함할 수 있다. 또한 통신 장치는 5G 네트워크를 기반으로 타 차량, 모바일 기기, 도로 등의 사물과 정보를 교환할 수 있다. V2X와 관련된 내용은 후술한다.

예를 들어, 통신 장치는 IEEE 80211p PHY/MAC 계층 기술과 IEEE 1609 Network/Transport 계층 기술 기반의 DSRC(Dedicated Short Range Communications) 기술 또는 WAVE(Wireless Access in Vehicular Environment), SAEJ2735, SAE J2945 표준을 기반으로 외부 디바이스와 신호를 교환할 수 있다. DSRC(또는 WAVE 표준) 기술은 차량 탑재 장치 간 혹은 노변 장치와 차량 탑재 장치 간의 단거리 전용 통신을 통해 ITS(Intelligent Transport System) 서비스를 제공하기 위해 마련된 통신 규격이다. DSRC 기술은 59GHz 대역의 주파수를 사용할 수 있고, 3Mbps~27Mbps의 데이터 전송 속도를 가지는 통신 방식일 수 있다. IEEE 80211p 기술은 IEEE 1609 기술과 결합되어 DSRC 기술 (혹은 WAVE 표준)을 지원할 수 있다.

본 개시의 통신 장치는 V2X 기술 또는 DSRC 기술 중 어느 하나만을 이용하여 외부 디바이스와 신호를 교환할 수 있다. 또는, 본 개시의 통신 장치는 V2X 기술 및 DSRC 기술을 하이브리드하여 외부 디바이스와 신호를 교환할 수 있다. V2X 표준은 전기 전자 분야 표 준화 기관인 IEEE(IEEE 80211p, IEEE 1609)와 자동차 엔지니어 모임인 SAE(SAE J2735, SAE J2945 등) 등을 통해 만들어졌으며, 각각 물리 계층, SW 스택 표준화와 응용계층 표준화를 각각 담당한다. 특히, 메시지 표준과 관련하여, SAE에서는 V2X 통신을 위한 메시지 규격을 정의하기 위한 표준들을 제정하였다.

운전 조작 장치(830)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량은, 운전 조작 장치(830)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(830)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.

메인 ECU(840)는, 차량 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.

구동 제어 장치(850)는, 차량내 각종 차량 구동 장치를 전기적으로 제어하는 장치이다. 구동 제어 장치(850)는, 파워 트레인 구동 제어 장치, 샤시 구동 제어 장치, 도어/윈도우 구동 제어 장치, 안전 장치 구동 제어 장치, 램프 구동 제어 장치 및 공조 구동 제어 장치를 포함할 수 있다. 파워 트레인 구동 제어 장치는, 동력원 구동 제어 장치 및 변속기 구동 제어 장치를 포함할 수 있다. 샤시 구동 제어 장치는, 조향 구동 제어 장치, 브레이크 구동 제어 장치 및 서스펜션 구동 제어 장치를 포함할 수 있다. 한편, 안전 장치 구동 제어 장치는, 안전 벨트 제어를 위한 안전 벨트 구동 제어 장치를 포함할 수 있다.

구동 제어 장치(850)는, 적어도 하나의 전자적 제어 장치(예를 들면, 제어 ECU(Electronic Control Unit))를 포함한다.

구동 제어 장치(850)는, 자율 주행 장치(860)에서 수신되는 신호에 기초하여, 차량 구동 장치를 제어할 수 있다. 예를 들면, 구동 제어 장치(850)는, 자율 주행 장치(860)에서 수신되는 신호에 기초하여, 파워 트레인, 조향 장치 및 브레이크 장치를 제어할 수 있다.

자율 주행 장치(860)는, 획득된 데이터에 기초하여, 자율 주행을 위한 경로를 생성할 수 있다. 자율 주행 장치(860)는, 생성된 경로를 따라 주행하기 위한 드라이빙 플랜을 생성할 수 있다. 자율 주행 장치(860)는, 드라이빙 플랜에 따른 차량의 움직임을 제어하기 위한 신호를 생성할 수 있다. 자율 주행 장치(860)는, 생성된 신호를 구동 제어 장치(850)에 제공할 수 있다.

자율 주행 장치(860)는, 적어도 하나의 ADAS(Advanced Drive Assistance System) 기능을 구현할 수 있다. ADAS는, 적응형 크루즈 컨트롤 시스템(ACC: Adaptive Cruise Control), 자동 비상 제동 시스템(AEB: Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW: Forward Collision Warning), 차선 유지 보조 시스템(LKA: Lane Keeping Assist), 차선 변경 보조 시스템(LCA: Lane Change Assist), 타겟 추종 보조 시스템(TFA: Target Following Assist), 사각 지대 감시 시스템(BSD: Blind Spot Detection), 적응형 헤드라이트 시스템(AHS: Adaptive Headlight System), 자동 주차 시스템(APS: Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR: Traffic Sign Recognition), 교통 신호 보조 시스템(TSA: Traffic Sign Assist), 나이트 비전 시스템(NV: Night Vision), 운전자 상태 모니터링 시스템(DSM: Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA: Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.

자율 주행 장치(860)는, 자율 주행 모드에서 수동 주행 모드로의 전환 동작 또는 수동 주행 모드에서 자율 주행 모드로의 전환 동작을 수행할 수 있다. 예를 들면, 자율 주행 장치(860)는, 사용자 인터페이스 장치(800)로부터 수신되는 신호에 기초하여, 차량의 모드를 자율 주행 모드에서 수동 주행 모드로 전환하거나 수동 주행 모드에서 자율 주행 모드로 전환할 수 있다.

센싱부(870)는, 차량의 상태를 센싱할 수 있다. 센싱부(870)는, IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 방향 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial measurement unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.

센싱부(870)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 차량 상태 데이터는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다. 센싱부(870)는, 차량 자세 데이터, 차량 모션 데이터, 차량 요(yaw) 데이터, 차량 롤(roll) 데이터, 차량 피치(pitch) 데이터, 차량 충돌 데이터, 차량 방향 데이터, 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 차량의 중량 데이터, 배터리 데이터, 연료 데이터, 타이어 공기압 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터, 스티어링 휠 회전 각도 데이터, 차량 외부 조도 데이터, 가속 페달에 가해지는 압력 데이터, 브레이크 페달에 가해지는 압력 데이터 등을 생성할 수 있다.

위치 데이터 생성 장치(880)는, 차량의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(880)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(880)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량의 위치 데이터를 생성할 수 있다. 실시 예에 따라, 위치 데이터 생성 장치(880)는, 센싱부(870)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(810)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다. 위치 데이터 생성 장치(880)는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.

차량은, 도시되지 않았지만, 내부 통신 시스템을 포함할 수 있다. 차량에 포함되는 복수의 전자 장치는 내부 통신 시스템을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.

도 9는 다양한 실시 예에 따른 전자 장치(900)를 개념적으로 도시한 도면이다. 그리고, 도 10은 다양한 실시 예에 따른 전자 장치(900)의 차선 검출 동작을 설명하기 위한 도면이다. 도 9에 도시된 전자 장치(900)는 전술한 도 7a, 도 7b, 및 도 8의 차량에 포함되는 구성 요소의 적어도 일부를 포함하는 자율 주행 장치로 정의될 수 있다. 도 9에 도시된 전자 장치(900)의 구성은 일 실시 예로, 각각의 구성 요소는 하나의 칩, 부품 또는 전자 회로로 구성되거나, 칩, 부품 또는 전자 회로의 결합으로 구성될 수 있다. 다른 실시 예에 따라, 도 9에 도시된 구성 요소들 중 일부는 복수 개의 구성 요소로 분리되어 서로 다른 칩 또는 부품 또는 전자 회로로 구성될 수 있으며, 일부 구성 요소들은 결합되어 하나의 칩, 부품 또는 전자 회로로 구성될 수도 있다. 다른 실시 예에 따라, 도 9에 도시된 구성 요소들 중 일부가 생략되거나, 도 9에 도시되지 않은 다른 구성 요소가 추가될 수 있다. 일 실시 예에 따르면, 도 9에 도시된 구성 요소들 중 일부 구성 요소는, 전자 장치(900)에 포함되지 않고 차량에 포함된 구성 요소로, 전자 장치(900)에 포함된 적어도 하나의 다른 구성 요소와 전기적으로 연결될 수 있다.

도 9를 참조하면, 다양한 실시 예들에 따른 전자 장치(900)는 제 1 카메라(910), 제 2 카메라(920), 센서(930), 메모리(940), 통신 회로(950) 및 프로세서(960)를 포함할 수 있다.

다양한 실시 예에 따르면, 제 1 카메라(910) 및 제 2 카메라(920)는 차량(또는 전자 장치(900)) 외부에 대한 적어도 하나의 영상을 획득할 수 있다. 제 1 카메라(910)와 제 2 카메라(920)는, 도 7a 및 도 7b를 통해 전술한 바와 같이, 차량의 램프(예를 들어, 헤드 램프, 테일 램프, 포그 램프 등)에 포함될 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 제 1 카메라(910) 또는 제 2 카메라(920) 중 적어도 하나는 램프와 인접하게 램프 외부에 설치될 수도 있다. 또한, 제 1 카메라(910) 및 제 2 카메라(920)는, 차량에 대하여 동일면의 동일 중심축 상에 수평 간격으로 이격되어 서로 대칭되도록 설치될 수 있으나, 이에 한정되는 것은 아니다.

일 실시 예에 따르면, 제 1 카메라(910) 및/또는 제 2 카메라(920)는 복수의 카메라로 구성될 수 있다. 전술한 도 7a 및 도 7b의 예시와 같이, 제 1 카메라(910)는 제 1 전방 카메라(711)와 제 1 측방 카메라(731)를 포함할 수 있으며, 제 2 카메라(920)는 제 2 전방 카메라(713)와 제 2 측방 카메라(733)를 포함할 수 있다. 예를 들어, 제 1 카메라(910)는 차량의 전방을 기준으로 제 1 측방(예: 우측)을 포함하는 전방의 제 1 영상을 획득하고, 제 2 카메라(920)는 차량의 전방을 기준으로 제 2 측방(예: 좌측)을 포함하는 전방의 제 2 영상을 획득할 수 있다.

다양한 실시 예에 따르면, 센서(930)는 차량의 주행 정보를 수집하기 위한 적어도 하나의 센서를 포함할 수 있다. 주행 정보는 속도, 가속도, 휠 회전 각도 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시 예에 따르면, 센서(930)는 도 8의 센싱부(870)를 포함할 수 있다.

다양한 실시 예에 따르면, 메모리(940)는 적어도 하나의 구성요소(예를 들어, 제 1 카메라(910), 제 2 카메라(920), 센서(930), 통신 회로(950) 또는 프로세서(960))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 일 실시 예에 따르면, 메모리(940)는 고정밀 맵 데이터를 저장할 수 있다.

다양한 실시 예에 따르면, 통신 회로(950)는 프로세서(960)의 제어에 따라 외부 장치(예: 다른 전자 장치, 및/또는 서버)와 통신할 수 있다. 일 실시 예에 따르면, 통신 회로(950)는, 도 8의 통신 장치(820), 또는 위치 데이터 생성 장치(880) 중 적어도 일부를 포함할 수 있다.

다양한 실시 예에 따르면, 프로세서(960)는 전자 장치(900)의 전반적인 동작을 제어하도록 구성될 수 있다. 예를 들어, 프로세서(960)는 차량의 자율 주행과 관련된 제어 동작을 수행할 수 있다. 일 실시 예에 따르면, 프로세서(960)는, 메모리(940)에 저장된 소프트웨어(예를 들어, 프로그램)를 실행하여, 프로세서(960)에 연결된 구성 요소(예를 들어, 제 1 카메라(910), 제 2 카메라(920). 센서(930), 메모리(940) 또는 통신 회로(950)) 중 적어도 하나의 구성 요소를 제어할 수 있다. 예를 들어, 프로세서(960)는 연산 처리 기능을 가지는 프로세서를 포함할 수 있다. 예컨대, 프로세서(960)는 CPU(central processing unit), MCU(micro computer unit) 또는 GPU(graphics processing unit) 등의 연산처리장치를 포함할 수 있으나, 이에 한정되는 것은 아니다.

다양한 실시 예에 따르면, 프로세서(960)는 제 1 카메라(910) 및 제 2 카메라(920)를 획득된 영상으로부터 차선(또는 차선 성분)을 추출할 수 있다. 여기에서, 차선을 추출한다는 의미는 영상에 포함된 다양한 객체(예를 들어, 도로 시설물, 이동 수단 등)로부터 차선을 구분한다는 의미로, 이하 설명에서는 차선 인식, 차선 검출, 차선 확인 등의 용어와 유사하거나 동일한 의미를 가질 수 있다. 예를 들어, 프로세서(960)는, 도 10에 도시된 바와 같이, 제 1 카메라(910)를 통해 획득된 제 1 측방(예: 우측)을 포함하는 전방의 제 1 영상과 제 2 카메라(920)를 통해 획득된 제 2 측방(예: 좌측)을 포함하는 전방의 제 2 영상으로부터 차선을 추출(1010)할 수 있다.

일 실시 예에 따르면, 프로세서(960)는 차선을 추출하기 위하여, 제 1 영상 및 제 2 영상으로부터 일정 길이 이상의 선 성분을 추출할 수 있다. 예를 들어, 프로세서(960)는 밝기 특성, 색상 정보 등을 이용하여 특징점을 추출하고 이를 공지된 다양한 알고리즘을 통해, 아래의 예시적인 <수학식 1>과 같은 3차 함수의 차선 방정식을 도출할 수 있다.

여기에서, a는 곡률, b는 반경, c는 기울기 및 d는 차선의 오프셋을 의미한다.

이때, 프로세서(960)는 차선 추출 결과의 신뢰성을 높이기 위하여, 제 1 영상과 제 2 영상에 대한 가중치가 부여된 차선 방정식을 도출할 수 있다.

일 실시 예에 따르면, 도 7a 및 도 7b를 통해 전술한 바와 같이, 측방 카메라(예를 들어, 제 1 및 제 2 측방 카메라(731), (733))는 전방 카메라(예를 들어, 제 1 및 제 2 전방 카메라(711), (713)) 대비 넓은 시야각으로 근거리 차선을 인식할 수 있으며, 이로 인하여 차선의 오프셋(d)이나 기울기(c) 검출에 유리한 특성을 가질 수 있다. 또한, 전방 카메라는 측방 카메라 대비 좁은 시야각으로 원거리 차선을 인식할 수 있으며, 이로 인하여 차선의 곡률 (a)이나 반경(b)등의 상수값 검출에 유리한 특성을 가질 수 있다.

예를 들어, 프로세서(960)는, 도 10에 도시된 바와 같이, 전술한 특성에 기초하여, 제 1 전방 카메라(912)(예를 들어, 제 1 전방 카메라(711))(및/또는 제 2 전방 카메라(922)(예를 들어, 제 2 전방 카메라(713)))를 통해 획득된 영상을 통해 도출된 방정식에 대하여 차선의 곡률(a)이나 반경(b)에 가중치를 부여하고, 제 1 측방 카메라(914)(예를 들어, 제 1 측방 카메라(731))(및/또는 제 2 측방 카메라(924)(예를 들어, 제 2 측방 카메라(733)))를 통해 획득된 영상을 통해 도출된 방정식에 대하여는 차선의 오프셋(d)이나 기울기(c)에 가중치를 부여할 수 있다(1020). 또한, 프로세서(960)는 가중치가 부여된 방정식에 기초하여 차선을 검출(또는 확정)하거나 또는 추적할 수 있다(1030).

다양한 실시 예에 따르면, 프로세서(960)는 차선 검출 상태에 기초하여, 차선 인식(또는 검출)에 사용될 적어도 하나의 카메라를 선택할 수 있다. 일 실시 예에 따르면, 차선 검출 상태는, 미리 지정된 기준 거리(또는 길이) 이상의 유효한 차선이 영상으로부터 검출된 상태일 수 있다. 기준 거리는 차량의 속도, 차선의 인식 시간, 스티어링 제어 시간 중 적어도 하나에 기초하여 결정될 수 있으며, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(960)는 기준 거리 이상의 차선을 검출한 적어도 하나의 카메라를 선택하여 차선을 인식할 수 있다. 다른 예로, 프로세서(960)는 기준 거리 미만의 차선을 검출한 카메라를 차선 인식 외의 다른 용도(예를 들어, 전방의 객체를 인식하기 위한 용도)로 사용할 수도 있다.

다양한 실시 예에 따르면, 프로세서(960)는 선택된 카메라를 통해 획득된 영상으로 차선을 인식 및/또는 추적하고, 차선 인식 결과에 기초하여 차량의 주행을 제어할 수 있다.

일 실시 예에 따르면, 프로세서(960)는, 이하의 도 13 및 도 14를 통해 후술하는 바와 같이, 제 1 카메라(910)를 통해 인식된 제 1 차선과 제 2 카메라(920)를 통해 인식된 제 2 차선 사이(예를 들어, 차선 중간)를 추종하도록 차량을 제어할 수 있다. 다른 실시 예에 따르면, 프로세서(960)는, 이하의 도 15 및 도 16을 통해 후술하는 바와 같이, 하나의 카메라(제 1 카메라(910) 또는 제 2 카메라(920))를 통해 인식된 차선과 차량의 적어도 일부(예를 들어, 바퀴)가 일정 간격 이격된 상태로 주행하도록 차량을 제어할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시가 이에 한정되는 것은 아니다. 예컨대, 프로세서(960)는 도로 장애물(예를 들어, 다른 이동 수단, 낙하물 등)과 충돌하지 않는 범위에서 차량의 주행을 제어할 수도 있다.

다양한 실시 예에 따르면, 프로세서(960)는 제 1 카메라(910) 및 제 2 카메라(920)를 이용하여 차선 인식이 불가하다고 판단한 경우(예를 들어, 제 1 카메라(910) 및 제 2 카메라(920)가 기준 거리 미만의 차선을 검출한 상황)에는, 차선 인식을 위한 추가 정보를 획득할 수 있다. 일 실시 예에 따르면, 추가 정보는 차량 측방 또는 후방에 대한 영상을 포함할 수 있다. 예를 들어, 프로세서(960)는 차량의 측면(예를 들어, 사이드 미러, 필러, 휀다 등) 또는 후면(예를 들어, 리어 윈드 쉴드, 트렁크 등)에 설치된 적어도 하나의 추가 카메라를 동작시킨 후 추가 정보를 획득할 수 있다. 다른 실시 예에 따르면, 추가 정보는 지도 상의 도로 레이아웃 정보(예를 들어, 도로 정보)일 수 있다. 예를 들어, 프로세서(960)는 전자 장치(900)(예를 들어, 메모리(940))에 저장된 고정밀 지도에 기초하여 차량의 현재 위치에 대응하는 도로 정보(예를 들어, 도로의 종류, 형태, 길이, 폭, 차선 수, 차선 폭 또는 위치 정보 등)를 획득할 수 있다.

도 11은 본 개시의 실시 예들에 따른 전자 장치(900)의 차선 인식 방법을 나타내는 플로우 차트(1100)이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 또한, 이하의 동작들은 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 11을 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S1110 동작에서 제 1 램프에 배치된 제 1 카메라(910)를 통해 제 1 측방(예를 들어, 우측)을 포함하는 전방의 제 1 영상 획득할 수 있다. 제 1 램프는 차량의 우측 전면에 장착되는 헤드 램프일 수 있으나, 이에 한정되지 않는다. 일 실시 예에 따르면, 제 1 카메라(910)는 제 1 전방 카메라(예를 들어, 제 1 전방 카메라(912)) 및 제 1 측방 카메라(예를 들어, 제 1 측방 카메라(914))를 포함할 수 있으며, 전자 장치(900)는 제 1 전방 카메라 및 제 1 측방 카메라 중 적어도 하나를 통해 제 1 영상을 획득할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1120 동작에서 제 2 램프에 배치된 제 2 카메라(920)를 통해 제 2 측방(예를 들어, 좌측)을 포함하는 전방의 제 2 영상 획득할 수 있다. 제 2 램프는 차량의 좌측 전면에 장착되는 헤드 램프일 수 있으나, 이에 한정되지 않는다. 일 실시 예에 따르면, 제 2 카메라(920)는 제 2 전방 카메라(예를 들어, 제 2 전방 카메라(922)) 및 제 2 측방 카메라(예를 들어, 제 2 측방 카메라(924))를 포함할 수 있으며, 전자 장치(900)는 제 2 전방 카메라 및 제 2 측방 카메라 중 적어도 하나를 통해 제 2 영상을 획득할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1130 동작에서 제 1 영상 및 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여 차선 인식에 사용할 적어도 하나의 카메라 선택할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 제 1 영상 및 제 2 영상으로부터 차선을 추출하고, 추출 결과를 카메라 선택에 이용할 수 있다. 예를 들어, 전자 장치(900)는 이하의 도 12를 통해 후술하는 바와 같이, 미리 지정된 기준 거리(또는 기준 길이) 이상의 차선을 검출한 카메라를 차선 인식에 사용할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1140 동작에서, 선택된 카메라에 기초하여 차량을 제어할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 선택된 카메라를 통해 획득된 영상으로 차선을 인식 및/또는 추적할 수 있으며, 이를 기초로 하여 차량의 주행을 제어할 수 있다. 예를 들어, 전자 장치(900)는 인식된 두 개의 차선 사이를 추종하도록 차량의 횡방향 및/또는 종방향 이동을 제어할 수 있다. 다른 예로, 전자 장치(900)는 인식된 적어도 하나의 차선을 기준으로, 차량의 적어도 일부(예를 들어, 바퀴)가 일정 간격 이격된 상태로 주행하도록 차량의 이동을 제어할 수도 있으며, 또 다른 예로, 도로 장애물(예를 들어, 다른 이동 수단, 낙하물 등)과 충돌하지 않는 범위에서 차량의 이동을 제어할 수도 있다.

도 12는 본 개시의 실시 예들에 따른 전자 장치(900)에서 차선 인식에 사용되는 카메라를 선택하는 방법을 나타내는 플로우 차트(1200)이다. 이하 설명되는 도 12의 동작들은, 도 11의 S1130 동작의 다양한 실시 예를 나타낸 것일 수 있다. 또한, 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 12를 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S1210 동작에서 제 1 영상을 통해 제 1 차선(예를 들어, 우측 차선)을 추출하는 동작을 수행하고, S1220 동작에서 제 2 영상을 통해 제 2 차선(예를 들어, 좌측 차선)을 추출할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는, 도 9 및 도 10을 통해 전술한 바와 같이, 가중치가 부여된 신뢰성을 가지는 차선 방정식을 도출함으로써 제 1 차선 및 제 2 차선을 추출할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1230 동작에서 추출된 차선이 기준 조건을 만족하는지 여부를 판단할 수 있다. 기준 조건은 미리 지정된 기준 거리(또는 길이) 이상의 유효한 차선을 검출한 상태일 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 검출된 제 1 차선 및 제 2 차선이 기준 거리를 가지는 유효한 차선인지를 판단할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 제 1 차선 및 제 2 차선이 기준 조건을 만족하는 상황을 판단하는 것에 응답하여, S1240 동작에서 차량이 주행하는 동안 제 1 카메라(910) 및 제 2 카메라(920)를 이용하여 두 개의 차선을 인식할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 제 1 차선 및 제 2 차선이 기준 조건을 만족하지 못하는 상황을 판단하는 것에 응답하여, S1250 동작에서 제 1 차선 및 제 2 차선 중 적어도 하나의 차선이 기준 조건을 만족하는지를 판단할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 제 1 차선 및 제 2 차선 중 적어도 하나의 차선이 기준 조건을 만족하는 상황을 판단하는 것에 응답하여, S1260 동작에서 기준 조건을 만족하는 차선을 추출한 카메라를 이용하여 하나의 차선을 인식할 수 있다. 이때, 전자 장치(900)는 기준 조건을 만족하지 않는 차선을 추출한 다른 카메라를 차량 전방의 객체를 인식하기 위한 용도로 사용할 수도 있다. 추가적으로 또는 선택적으로, 전자 장치(900)는 자율 주행 성능을 향상시키 위하여, 인식되지 않은 차선을 대신하는 추가 차선을 제 1 카메라(910) 및 제 2 카메라(920)와 다른 추가 카메라(예를 들어, 측방 카메라, 후방 카메라 등)를 통해 인식할 수도 있다.

다양한 실시 예에 따른 전자 장치(900)는, 기준 조건을 만족하는 차선이 추출되지 않은 상황에 대하여, S1270 동작에서 정밀 지도 및 위치 정보에 기초하여 차선을 인식할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 저장된 고정밀 지도에 기초하여 차량의 현재 위치에 대응하는 도로 정보(예를 들어, 도로의 종류, 형태, 길이, 폭, 차선 수, 차선 폭 또는 위치 정보 등)를 획득할 수 있다. 추가적으로 또는 선택적으로, 전자 장치(900)는 차선 인식을 위해, 제 1 카메라(910) 및 제 2 카메라(920)와 다른 추가 카메라(예를 들어, 측방 카메라, 후방 카메라 등)를 통해 차선을 인식할 수도 있다.

도 13은 본 개시의 실시 예들에 따른 전자 장치(900)에서 차선 인식 결과에 기초하여 차량을 제어하는 방법을 나타내는 플로우 차트(1300)이다. 그리고, 도 14a 내지 도 14b는 다양한 실시 예에 따른 전자 장치(900)에서 차량의 주행을 제어하는 동작을 설명하기 위한 도면이다. 이하 설명되는 도 13의 동작들은, 도 11의 S1140 동작의 다양한 실시 예를 나타낸 것일 수 있다. 또한, 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 13을 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S1210 동작에서 제 1 차선 및 제 2 차선을 인식할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 기준 조건을 만족하는 차선을 추출한 제 1 카메라(910) 및 제 2 카메라(920)를 통해 획득된 제 1 영상 및 제 2 영상으로부터 차선을 인식할 수 있다. 예를 들어, 도 14a에 도시된 바와 같이, 전방의 차량(1404)과 일정 거리 이상의 간격으로 주행하는 상황(1400)에서, 전자 장치(900)(예를 들어, 차량(1402))는, 우측 차선(1420)으로부터 제 1 카메라(910)의 시야각(1408)에 대응하는 제 1 차선(1422)을 인식할 수 있으며, 좌측 차선(1410)으로부터 제 2 카메라(920)의 시야각(1406)에 대응하는 제 2 차선(1412)을 인식할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1220 동작에서 제 1 차선 및 제 2 차선에 기초하여 가이드 영역을 생성할 수 있다. 일 실시 예에 따르면, 도 14b에 도시된 바와 같이, 가이드 영역(GA)(1432)은, 제 1 차선(1422)과 제 2 차선(1412) 사이의 적어도 일부일 수 있다. 예를 들어, 가이드 영역(1432)은, 제 1 차선(1422)(예를 들어, 제 1 차선의 좌측 경계선)을 기준으로 일정 거리(d)(예를 들어, 30cm) 이격되고 제 2 차선(1412)(예를 들어, 제 2 차선의 우측 경계선)을 기준으로 일정 거리(d) 이격된 가상의 영역일 수 있다. 또한, 이러한 가이드 영역(1432)의 중심은 제 1 차선(1422) 및 제 2 차선(1412) 사이, 예를 들어, 차선 폭의 중심과 동일하거나 유사할 수 있다. 또한, 제 1 차선으로부터 이격되는 거리(d)와 제 2 차선으로부터 이격되는 거리(d)는 서로 동일하거나 그렇지 않을 수도 있다. 또한, 차선으로부터 이격되는 거리(d)는 도로 장애물(예를 들어, 다른 이동 수단, 낙하물 등)과 충돌하지 않는 범위에서 결정될 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1230 동작에서 가이드 영역을 추종하는 제어 명령을 생성할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 도 14b와 같이 정의된 가이드 영역(1432)을 따라 주행하도록 차량의 횡방향 이동을 제어할 수 있다(1430). 또한, 전자 장치(900)는 전방에서 주행 중인 다른 차량과 충돌을 방지하도록 차량의 종방향 이동(예를 들어, 차량의 가속)을 제어할 수도 있다.

도 15는 본 개시의 실시 예들에 따른 전자 장치(900)에서 차선 인식 결과에 기초하여 차량을 제어하는 다른 방법을 나타내는 플로우 차트(1500)이다. 그리고, 도 16a 내지 도 16c는 다양한 실시 예에 따른 전자 장치(900)에서 차량의 주행을 제어하는 다른 동작을 설명하기 위한 도면이다. 이하 설명되는 도 15의 동작들은, 도 11의 S1140 동작의 다양한 실시 예를 나타낸 것일 수 있다. 또한, 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 15를 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S1510 동작에서 제 1 차선 또는 제 2 차선을 인식할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 기준 조건을 만족하는 차선을 추출한 제 1 카메라(910) 또는 제 2 카메라(920)를 통해 획득된 영상으로부터 하나의 차선, 예를 들어, 제 1 차선 또는 제 2 차선을 인식할 수 있다. 예를 들어, 도 16a에 도시된 바와 같이, 전방의 차량(1604)과 일정 거리 미만의 간격으로 주행하는 상황(1600)에서, 전자 장치(900)(예를 들어, 차량(1602))는, 좌측 차선으로부터 제 2 카메라(920)의 시야각(1606)에 대응하는 제 2 차선(1612)을 인식할 수 있다. 하지만, 제 1 카메라(910)의 시야각(1608)을 통해 획득되는 영상의 우측 차선(1620)은 근접 주행 중인 전방의 차량(1604)에 의해 가려져 인식되지 않을 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1520 동작에서 위치 결정 정보를 획득할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 센서(930)(예를 들어, 도 8의 센싱부) 및/또는 통신 회로(950)(예를 들어, 도 8의 통신 장치(820), 또는 위치 데이터 생성 장치(880))를 이용하여 위치 결정 정보를 획득할 수 있다. 예를 들어, 전자 장치(900)는 센서(930)를 통해, 차량 자세 데이터, 차량 모션 데이터, 차량 요(yaw) 데이터, 차량 롤(roll) 데이터, 차량 피치(pitch) 데이터, 차량 충돌 데이터, 차량 방향 데이터, 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 스티어링 휠 회전 각도 데이터 중 하나를 위치 결정 정보를 획득할 수 있다. 다른 예로, 전자 장치(900)는 통신 회로(950)를 통해, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호를 위치 결정 정보로 획득할 수도 있다. 또 다른 예로, 전자 장치(900)는 V2X 기술을 기반으로, 적어도 하나의 외부 장치(예를 들어, 인프라, 다른 차량 등)로부터 위치 결정 정보를 획득할 수도 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1530 동작에서 위치 결정 정보에 기초하여 차량의 위치를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 위치 결정 정보에 기초하여 주행 중인 차량의 현재 위치를 확인(또는 예측)할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는 S1540 동작에서 차량의 위치에 대응하는 지도 정보를 검색할 수 있다. 지도 정보는 고정밀 지도를 구성하는 데이터 셋으로 도로 레이아웃 정보(예를 들어, 도로 정보), 시설물(예를 들어, 가드레일, 도로 표지판, 신호등 등) 정보 등을 포함할 수 있다. 또한, 도로 정보는 도로의 종류, 형태, 길이, 폭, 차선 수, 또는 위치 정보 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는 S1540 동작에서, 지도 정보 검색의 결과로 차량의 현재 위치에 대응하는 차로 결정 정보가 획득되는지 여부를 판단할 수 있다. 차로 결정 정보는 차량이 주행 중인 차선의 폭, 차선의 곡률 반경 등을 예측하는데 사용될 수 있는 정보일 수 있다. 지도 정보 검색을 통해 차로 결정 정보를 획득하는 것은 하나의 실시 예로, 본 개시가 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(900)는 차량의 현재 위치에 대응하는 차로 결정 정보를 외부(예를 들어, 서버, 주변 차량 등)로부터 획득할 수도 있다.

다양한 실시 예에 따른 전자 장치(900)는, 지도 상의 차로 결정 정보가 획득되는 상황에 응답하여, S1560 동작에서 차로 결정 정보에 기초하여, 인식된 차선에 대한 이격 정보를 결정할 수 있다. 이격 정보는, 도 16b에 도시된 바와 같이, 인식된 차선(1612)과 주행 중인 차량의 적어도 일부(예를 들어, 바퀴) 사이의 간격(d)일 수 있다.

일 실시 예에 따르면, 전자 장치(900)는 차로 결정 정보에 기초하여 현재 차량이 주행 중인 차선을 이탈하지 않는 범위 내에서 이격 정보(d)를 결정할 수 있다. 다른 실시 예에 따르면, 전자 장치(900)는 이격 정보를 결정하기 위하여, 차량 제원(예를 들어, 차폭, 윤거 등)의 적어도 일부를 추가적으로 고려할 수도 있다.

다른 실시 예에 따르면, 전자 장치(900)는 지도 상의 차로 결정 정보에 기초하여, 제 1 카메라(910)를 통해 인식되지 않은 차선을 대신하는 가상의 추가 차선(1632)을 예측하고, 인식된 차선(1632)과 예측된 추가 차선(1632)의 폭(ML_w)(1634)에 기초하여 이격 정보(d)를 결정할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치(900)는 S1570 동작에서 이격 정보를 유지하도록 적어도 하나의 차량 구동 장치(예를 들어, 도 8의 차량 구동 장치(850))에 대한 제어 명령을 생성할 수 있다(1630).

다양한 실시 예에 따른 전자 장치(900)는, 지도 상의 차로 결정 정보가 획득되지 않는 상황에 응답하여, S1580 동작에서 추가 카메라를 통해 차로 결정 정보를 획득할 수 있다. 추가 카메라는 전술한 바와 같이, 제 1 카메라(910) 및 제 2 카메라(920)와 다른 카메라로, 차량의 측면(예를 들어, 사이드 미러, 필러, 휀다 등) 또는 후면(예를 들어, 리어 윈드 쉴드, 트렁크 등)에 설치될 수 있다. 다양한 실시 예에 따르면, 전자 장치(900)는, 도 16c에 도시된 바와 같이, 추가 카메라(1642)를 통해 획득되는 차로 결정 정보(예를 들어, 차량 측방 또는 후방에 대한 영상)에 기초하여, 제 1 차선(1644), 제 2 차선(1646) 또는 차선 폭(L_w)(1648) 중 적어도 하나를 추출할 수 있다. 또한, 전자 장치(900)는 S1560 동작 및 S1570 동작과 같이, 이격 정보를 결정하고 이를 기초로 하여 제어 명령을 생성할 수 있다(1640).

도 17은 본 개시의 실시 예들에 따른 전자 장치(900)에서 차선 인식 결과에 기초하여 차량을 제어하는 또 다른 방법을 나타내는 플로우 차트(1700)이다. 그리고, 도 18a 내지 도 18c는 다양한 실시 예에 따른 전자 장치(900)에서 차량의 주행을 제어하는 또 다른 동작을 설명하기 위한 도면이다. 이하 설명되는 도 17의 동작들은, 도 11의 S1140 동작의 다양한 실시 예를 나타낸 것일 수 있다. 또한, 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 17을 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S1510 동작에서 위치 결정 정보를 획득할 수 있다. 전술한 바와 같이, 위치 결정 정보는 센서(930) 및/또는 통신 회로(950)를 통해 획득될 수 있다. 일 실시 예에 따르면, 도 18a에 도시된 바와 같이, 전자 장치(900)(예를 들어, 차량(1802))는 근접 주행 중인 전방의 차량(1804)에 의해 가려져 제 1 카메라(910)의 시야각(1808) 및 제 2 카메라(920)의 시야각(1806)에 대응되는 좌측 차선(1810) 및 우측 차선(1820)이 인식되지 않는 상황(1810)에서, 위치 결정 정보를 획득할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S1720 동작에서 위치 결정 정보에 기초하여 차량의 위치를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 센서(930) 및/또는 통신 회로(950)를 통해 획득되는 위치 결정 정보에 기초하여 주행 중인 차량의 현재 위치를 확인(또는 예측)할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는 S1730 동작에서 지도 정보 및 추가 카메라를 통해 차량의 위치에 대응하는 차로 결정 정보가 획득되는지 여부를 판단할 수 있다. 차로 결정 정보는 차량이 주행 중인 차선의 폭, 차선의 곡률 반경 등을 예측하는데 사용될 수 있는 정보일 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 차로 결정 정보가 획득되는 상황에 응답하여, S1750 동작에서 차로 결정 정보에 기초하여, 제어 명령을 생성할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는, 도 18b에 도시된 바와 같이, 제 1 카메라(910) 및 제 2 카메라(920)를 통해 인식되지 않은 차선들을 대신하는 가상의 제 1 차선(1832)과 제 2 차선(1834)을 예측하고, 예측된 제 1 차선(1832)과 제 2 차선(1834)의 폭(ML_w) (1836)에 기초하여 이격 정보를 결정할 수 있다(1830). 또한, 다양한 실시 예에 따른 전자 장치(900)는 결정된 이격 정보를 유지하도록 적어도 하나의 차량 구동 장치(예를 들어, 도 8의 차량 구동 장치(850))에 대한 제어 명령을 생성할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 차로 결정 정보가 획득되지 않는 상황에 응답하여, S1760 동작에서 전방 차량의 이동 궤적에 기초하여 가이드 영역을 생성한 후, S1770 동작에서 가이드 영역을 추종하는 제어 명령을 생성할 수 있다. 일 실시 예에 따르면, 도 18c에 도시된 바와 같이, 전방 차량(1804)의 이동 궤적에 기초한 가이드 영역(GA)(1842)은, 전방 차량(1804)의 중심일 수 있으며, 다른 예로, 전방의 차량(1804)의 차폭에 대응되는 폭을 가질 수도 있다.

도 19는 본 개시의 실시 예들에 따른 전자 장치(900)에서 상황 정보를 고려하여 차선을 인식하는 방법을 나타내는 플로우 차트(1900)이다. 이하 설명되는 도 19의 동작들은, 도 11의 S1110 동작 내지 S1140 동작의 다양한 실시 예를 나타낸 것일 수 있다. 또한, 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 19를 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S1910 동작에서 적어도 하나의 센서(예를 들어, 센서(930))를 이용하여 상황 정보를 획득할 수 있다. 상황 정보는 차량 주변의 밝기와 관련될 수 있으나, 이에 한정되지 않는다.

다양한 실시 예에 따른 전자 장치(900)는, S1920 동작에서 상황 정보에 기초하여, 램프 제어 조건을 만족하는지 여부를 판단할 수 있다. 램프 제어 조건은, 현재 주행 중인 도로의 차선 인식에 영향을 끼치는 상황을 포함할 수 있다. 예를 들어, 차량이 터널, 지하도 등과 같이 어두운 공간으로 진입하는 상황에 대하여, 전자 장치(900)는 램프 제어 조건을 만족하였다고 판단할 수 있다. 또한, 안개, 비, 눈 등으로 인한 기상 악화 상황에 대하여, 전자 장치(900)는 램프 제어 조건을 만족하였다고 판단할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 램프 제어 조건을 만족하지 않는 상황에 응답하여, 램프의 현재 설정(예를 들어, 광량)에 기초하여, 차선 인식 동작을 수행할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 램프 제어 조건을 만족하는 상황에 응답하여, S1930 동작에서 상황 정보에 기초하여, 제 1 램프 또는 제 2 램프 중 적어도 하나의 램프를 제어할 수 있다. 예를 들어, 도 7a에 도시된 바와 같이, 제 1 램프는 제 1 광원(741)일 수 있으며, 제 2 램프는 제 2 광원(743)일 수 있다.

일 실시 예에 따르면, 기준 밝기 보다 어두운 주행 환경에서, 전자 장치(900)는 차선 인식에 사용되는 적어도 하나의 카메라와 관련된 램프에 대한 광량을 증가시킬 수 있다. 또한, 전자 장치(900)는 기준 밝기 보다 밝은 주행 환경에서는 차선 인식에 사용되는 적어도 하나의 카메라와 관련된 램프에 대한 광량을 감소시킬 수도 있다. 다른 실시 예에 따르면, 전자 장치(900)는 차선 인식에 사용되지 않는 카메라(예를 들어, 전방의 객체를 인식하는 카메라)와 관련된 램프도 제어할 수 있다.

도 20은 본 개시의 실시 예들에 따른 전자 장치(900)에서 근거리 차선 인식을 중단하는 방법을 나타내는 플로우 차트(2000)이다. 이하 설명되는 도 20의 동작들은, 도 11의 S1140 동작의 다양한 실시 예를 나타낸 것일 수 있다. 또한, 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 20을 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S2010 동작에서 제 1 카메라(910) 및/또는 제 2 카메라(920)를 이용하여 차선을 인식할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 도 12의 S1240 동작의 실시 예와 같이, 두 개의 카메라를 통해 차선을 인식하거나 도 12의 S1260 동작의 실시 예와 같이, 하나의 카메라를 선택하여 차선을 인식할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S2020 동작에서 기준 거리 이상의 제 1 차선 및 제 2 차선이 인식되는지 판단할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는 두 개의 카메라가 차선 인식에 사용되는 경우, 기준 거리의 이상의 제 1 차선 및 제 2 차선이 일정 시간 이상 인식되는지를 판단할 수 있다. 이는 전자 장치(900)가 전방 차량과 거리가 일정 거리 이상 이격된 상태로 주행하는 상황일 수 있다. 다른 실시 예에 따르면, 한 개의 카메라가 차선 인식에 사용되는 경우, 전자 장치(900)는 지정된 시간 주기에 기초하여, 선택되지 않은 다른 카메라로 나머지 하나의 차선을 인식한 후 기준 거리 이상의 제 1 차선 및 제 2 차선이 인식되는지 판단할 수도 있다.

다양한 실시 예에 따른 전자 장치(900)는, 기준 거리 이상의 제 1 차선 및 제 2 차선이 인식되는 상황에 응답하여, S2030 동작에서 제 1 카메라(910) 및/또는 제 2 카메라(920)에 기초하여 차선을 인식하는 동작을 중단할 수 있다. 일 실시 예에 따르면, 전자 장치(900)는, 전자 장치(900)와 전방의 차량 사이의 거리가 일정 거리 이상 이격된 상태로 판단하여, 원거리 차선 인식이 가능한 제 3 카메라로 차선을 인식할 수 있다. 예를 들어, 제 3 카메라는 제 1 카메라(910) 및 제 2 카메라(920)와 수직 간격으로 이격되어 설치될 수 있다. 예컨대, 제 3 카메라는 프런트 윈드 쉴드에 근접하게 배치된 카메라일 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 기준 거리 이상의 제 1 차선 및 제 2 차선이 인식되지 않는 상황에 응답하여, S2040 동작에서 제 1 카메라(910) 및/또는 제 2 카메라(920)로 인식되는 차선에 기초하여 차량의 이동을 제어하는 동작을 수행할 수 있다. 예를 들어, 전자 장치(900)는, 전술한 도 11 내지 도 19의 동작 중 적어도 일부 동작을 수행할 수 있다.

도 21은 본 개시의 실시 예들에 따른 전자 장치(900)의 동작 방법을 나타내는 플로우 차트(2100)이다. 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 전자 장치(900)의 프로세서(960)에 의해 수행되거나 프로세서(960)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 9 및 도 21을 참조하면, 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, S2110 동작에서 제 1 촬영 거리를 가지는 카메라를 이용하여 차선 인식 동작을 수행할 수 있다. 일 실시 예에 따르면, 제 1 촬영 거리를 가지는 카메라는 원거리 차선 인식이 가능한 카메라일 수 있다. 예를 들어, 전자 장치(900)는 프런트 윈드 쉴드에 근접하게 배치된 카메라를 이용하여 차선 인식 동작을 수행할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, S2120 동작에서 차선 인식 오류가 발생되는지를 판단할 수 있다. 차선 인식 오류는, 예를 들어, 전방의 장애물에 의해 차선이 가려지는 상황을 포함할 수 있으나, 이에 한정되지 않는다.

다양한 실시 예에 따른 전자 장치(900)는, 차선 인식 오류가 발생되지 않는 상황에 응답하여, 제 1 촬영 거리를 가지는 카메라를 이용하여 차선 인식 동작을 유지할 수 있다.

다양한 실시 예에 따른 전자 장치(900)는, 차선 인식 오류가 발생되는 상황에 응답하여, S2130 동작에서 제 2 촬영 거리를 가지는 카메라를 이용하여 차선 인식 동작을 수행할 수 있다. 제 2 촬영 거리를 가지는 카메라는 제 1 촬영 거리를 가지는 카메라 대비 근거리 차선 인식이 가능한 카메라일 수 있다. 일 실시 예에 따르면, 제 2 촬영 거리를 가지는 카메라는 차량의 램프에 설치될 수 있다.

본 개시의 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))는, 차량의 제 1 램프에 배치되며 제 1 측방을 포함하는 전방의 제 1 영상을 획득하기 위한 제 1 카메라, 상기 차량의 제 2 램프에 배치되며 제 2 측방을 포함하는 전방의 제 2 영상을 획득하기 위한 제 2 카메라 및 상기 제 1 카메라 및 상기 제 2 카메라와 전기적으로 연결된 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 상기 프로세서는, 상기 차량이, 상기 제 1 영상 및 상기 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여, 차선 인식에 사용할 적어도 하나의 카메라를 선택하고, 상기 선택된 카메라를 통해 획득되는 영상으로부터 인식되는 차선에 기초하여 주행하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 차량이, 상기 제 1 카메라 및 상기 제 2 카메라 중 지정된 길이 이상의 차선을 추출한 카메라를 상기 차선 인식에 사용할 카메라로 선택하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 차량이, 상기 인식된 차선을 기준으로 상기 차량의 이격 거리를 결정하고, 상기 이격 거리를 유지하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 차량이, 상기 차량의 제원에 기초하여 이격 거리를 결정하도록 제어할 수 있다. 예를 들어, 상기 차량의 제원은 차폭 및 윤거 중 적어도 하나를 포함할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 차량이, 상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 차량의 전방에서 주행 중인 다른 차량을 추종하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 전자 장치는 고정밀 지도를 저장하는 메모리를 더 포함할 수 있으며, 상기 프로세서는, 상기 차량이, 상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 고정밀 지도에 기초하여 상기 차량이 주행 중인 도로의 폭, 차선의 곡률 반경 중 적어도 하나를 획득하고, 상기 획득의 적어도 일부에 기초하여, 상기 도로의 차선을 예측하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 차량이, 상기 차선 인식에 선택되지 않은 카메라로 상기 차량의 전방에 존재하는 객체를 인식하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 전자 장치는 상기 제 1 램프에 배치된 제 1 광원, 상기 제 2 램프에 배치된 제 2 광원 및 적어도 하나의 센서를 더 포함할 수 있으며, 상기 프로세서는, 상기 차량이, 상기 적어도 하나의 센서에 의해 수집되는 정보가 미리 지정된 조건을 만족하는 경우, 상기 제 1 광원 또는 상기 제 2 광원 중 적어도 하나를 제어하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 전자 장치는 상기 제 1 카메라 및 상기 제 2 카메라와 수직 간격으로 이격되어 설치된 제 3 카메라를 포함할 수 있으며, 상기 프로세서는, 상기 차량이, 상기 제 3 카메라를 통해 획득된 영상으로부터 차선 인식이 불가하다고 판단하는 경우 상기 제 1 카메라 및 상기 제 2 카메라 중 적어도 하나를 선택하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 전자 장치는 상기 제 1 카메라 및 상기 제 2 카메라와 수직 간격으로 이격되어 설치된 제 3 카메라를 포함할 수 있으며, 상기 프로세서는, 상기 차량이, 상기 적어도 하나의 카메라를 선택한 후, 지정된 주기에 따라 상기 제 1 영상 및 상기 제 2 영상을 획득하고, 상기 지정된 주기에서 획득되는 상기 제 1 영상 및 상기 제 2 영상으로부터 지정된 조건을 만족하는 제 1 차선 및 제 2 차선이 획득되는 경우, 상기 제 3 카메라를 차선 인식에 사용할 카메라로 선택하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면, 상기 제 1 카메라와 상기 제 2 카메라는 상기 차량에 대하여, 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치될 수 있다.

본 개시의 다양한 실시 예에 따른 전자 장치(900)(예를 들어, 자율 주행 장치(860))의 동작 방법은 차량의 제 1 램프에 배치되며, 제 1 측방을 포함하는 전방의 제 1 영상을 획득하기 위한 제 1 카메라를 통해 제 1 영상을 획득하는 동작, 상기 차량의 제 2 램프에 배치되며, 제 2 측방을 포함하는 전방의 제 2 영상을 획득하기 위한 제 2 카메라를 통해 제 2 영상을 획득하는 동작, 상기 제 1 영상 및 상기 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여 차선 인식에 사용할 적어도 하나의 카메라를 선택하는 동작 및 상기 선택된 카메라를 통해 획득되는 영상으로부터 인식되는 차선에 기초하여 주행하도록 상기 차량을 제어하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 선택하는 동작은 상기 제 1 카메라 및 상기 제 2 카메라 중 지정된 길이 이상이 차선을 추출한 카메라를 상기 차선 인식에 사용할 카메라로 선택하도록 제어하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 차량을 제어하는 동작은 상기 인식된 차선을 기준으로 상기 차량의 이격 거리를 결정하는 동작 및 상기 이격 거리를 유지하도록 제어하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 이격 거리를 결정하는 동작은 상기 차량의 제원에 기초하여 상기 이격 거리를 결정하는 동작을 포함할 수 있다. 예를 들어, 상기 차량의 제원은 차폭 및 윤거 중 적어도 하나를 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 차량을 제어하는 동작은 상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 차량의 전방에서 주행 중인 다른 차량을 추종하도록 제어하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 차량을 제어하는 동작은 상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 자율 주행 장치에 저장된 고정밀 지도에 기초하여 상기 차량이 주행 중인 도로의 폭, 차선의 곡률 반경 중 적어도 하나를 획득하는 동작 및 상기 획득의 적어도 일부에 기초하여, 상기 도로의 차선을 예측하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 차량을 제어하는 동작은 상기 차선 인식에 선택되지 않은 카메라로 상기 차량의 전방에 존재하는 객체를 인식하도록 제어하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 제 1 영상 및 상기 제 2 영상을 획득하는 동작은 상기 차량 주변에 대한 상황 정보를 수집하는 동작 및 상기 수집되는 정보가 미리 지정된 조건을 만족하는 경우, 상기 제 1 램프에 배치된 제 1 광원 및 상기 제 2 램프에 배치된 제 2 광원 중 적어도 하나를 제어하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 상기 전자 장치의 동작 방법은 상기 제 1 영상 및 상기 제 2 영상을 획득하기 전에, 상기 제 1 카메라 및 상기 제 2 카메라와 다른 제 3 카메라를 통해 제 3 영상을 획득하는 동작을 더 포함할 수 있으며, 상기 제 1 영상 및 상기 제 2 영상의 획득 동작은 상기 제 3 영상으로부터 차선 인식이 불가하다고 판단하는 경우 수행될 수 있다. 예를 들어, 상기 제 1 카메라와 상기 제 2 카메라는 상기 차량에 대하여, 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치도리 수 있다. 또한, 제 3 카메라는 상기 제 1 카메라 및 상기 제 2 카메라와 수직 간격으로 이격되어 설치될 수 있다.

본 개시의 다양한 실시 예에 따른 상기 전자 장치의 동작 방법은 상기 적어도 하나의 카메라를 선택한 후, 지정된 주기에 따라 상기 제 1 영상 및 상기 제 2 영상을 획득하는 동작 및 상기 지정된 주기에서 획득되는 상기 제 1 영상 및 상기 제 2 영상으로부터 지정된 조건을 만족하는 제 1 차선 및 제 2 차선이 획득되는 경우 상기 제 1 카메라 및 상기 제 2 카메라와 다른 제 3 카메라를 차선 인식에 사용할 카메라로 선택하는 동작을 더 포함할 수 있다.

본 개시의 실시 예들에 따른 전자 장치(900)의 동작 방법은 컴퓨터로 판독 가능한 저장 매체에 저장되어 프로세서(예를 들어, 도 9의 프로세서(960))에 의해 실행될 수 있는 명령어들로 구현될 수 있다.

저장 매체는, 직접 및/또는 간접적이든, 원시 상태, 포맷화된 상태, 조직화된 상태 또는 임의의 다른 액세스 가능한 상태이든 관계없이, 관계형 데이터베이스, 비관계형 데이터베이스, 인-메모리(in-memory) 데이터베이스, 또는 데이터를 저장할 수 있고 저장 제어기를 통해 이러한 데이터에 대한 액세스를 허용할 수 있는 다른 적절한 데이터베이스와 같이 분산형을 포함하는 데이터베이스를 포함할 수 있다. 또한, 저장 매체는, 1차 저장 장치(storage), 2차 저장 장치, 3차 저장 장치, 오프라인 저장 장치, 휘발성 저장 장치, 비휘발성 저장 장치, 반도체 저장 장치, 자기 저장 장치, 광학 저장 장치, 플래시 저장 장치, 하드 디스크 드라이브 저장 장치, 플로피 디스크 드라이브, 자기 테이프, 또는 다른 적절한 데이터 저장 매체와 같은 임의의 타입의 저장 장치를 포함할 수 있다.

본 개시는 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

1. 자율 주행 장치에 있어서,
   차량의 제 1 램프에 배치되며, 제 1 측방을 포함하는 전방의 제 1 영상을 획득하기 위한 제 1 카메라;
   상기 차량의 제 2 램프에 배치되며, 제 2 측방을 포함하는 전방의 제 2 영상을 획득하기 위한 제 2 카메라; 및
   상기 제 1 카메라 및 상기 제 2 카메라와 전기적으로 연결된 프로세서를 포함하며,
   상기 프로세서는, 상기 차량이,
   상기 제 1 영상 및 상기 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여, 차선 인식에 사용할 적어도 하나의 카메라를 선택하고,
   상기 선택된 카메라를 통해 획득되는 영상으로부터 인식되는 차선에 기초하여 주행하도록 제어하는 자율 주행 장치.
2. 제 1 항에 있어서,
   상기 프로세서는, 상기 차량이,
   상기 제 1 카메라 및 상기 제 2 카메라 중 지정된 길이 이상의 차선을 추출한 카메라를 상기 차선 인식에 사용할 카메라로 선택하도록 제어하는 자율 주행 장치.
3. 제 1 항에 있어서,
   상기 프로세서는, 상기 차량이,
   상기 인식된 차선을 기준으로 상기 차량의 이격 거리를 결정하고,
   상기 이격 거리를 유지하도록 제어하는 자율 주행 장치.
4. 제 3 항에 있어서,
   상기 프로세서는, 상기 차량이,
   상기 차량의 제원에 기초하여 이격 거리를 결정하도록 제어하며,
   상기 차량의 제원은 차폭 및 윤거 중 적어도 하나를 포함하는 자율 주행 장치.
5. 제 1 항에 있어서,
   상기 프로세서는, 상기 차량이,
   상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 차량의 전방에서 주행 중인 다른 차량을 추종하도록 제어하는 자율 주행 장치.
6. 제 1 항에 있어서,
   고정밀 지도를 저장하는 메모리를 더 포함하며,
   상기 프로세서는, 상기 차량이,
   상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 고정밀 지도에 기초하여 상기 차량이 주행 중인 도로의 폭, 차선의 곡률 반경 중 적어도 하나를 획득하고,
   상기 획득의 적어도 일부에 기초하여, 상기 도로의 차선을 예측하도록 제어하는 자율 주행 장치.
7. 제 1 항에 있어서,
   상기 프로세서는, 상기 차량이,
   상기 차선 인식에 선택되지 않은 카메라로 상기 차량의 전방에 존재하는 객체를 인식하도록 제어하는 자율 주행 장치.
8. 제 1 항에 있어서,
   상기 제 1 램프에 배치된 제 1 광원;
   상기 제 2 램프에 배치된 제 2 광원; 및
   적어도 하나의 센서를 더 포함하며,
   상기 프로세서는, 상기 차량이,
   상기 적어도 하나의 센서에 의해 수집되는 정보가 미리 지정된 조건을 만족하는 경우, 상기 제 1 광원 또는 상기 제 2 광원 중 적어도 하나를 제어하도록 제어하는 자율 주행 장치.
9. 제 1 항에 있어서,
   상기 제 1 카메라 및 상기 제 2 카메라와 수직 간격으로 이격되어 설치된 제 3 카메라를 포함하며,
   상기 프로세서는, 상기 차량이,
   상기 제 3 카메라를 통해 획득된 영상으로부터 차선 인식이 불가하다고 판단하는 경우 상기 제 1 카메라 및 상기 제 2 카메라 중 적어도 하나를 선택하도록 제어하는 자율 주행 장치.
10. 제 1 항에 있어서,
    상기 제 1 카메라 및 상기 제 2 카메라와 수직 간격으로 이격되어 설치된 제 3 카메라를 포함하며,
    상기 프로세서는, 상기 차량이,
    상기 적어도 하나의 카메라를 선택한 후, 지정된 주기에 따라 상기 제 1 영상 및 상기 제 2 영상을 획득하고,
    상기 지정된 주기에서 획득되는 상기 제 1 영상 및 상기 제 2 영상으로부터 지정된 조건을 만족하는 제 1 차선 및 제 2 차선이 획득되는 경우, 상기 제 3 카메라를 차선 인식에 사용할 카메라로 선택하도록 제어하는 자율 주행 장치.
11. 제 1 항에 있어서,
    상기 제 1 카메라와 상기 제 2 카메라는
    상기 차량에 대하여, 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치되는 자율 주행 장치.
12. 자율 주행 장치의 동작 방법에 있어서,
    차량의 제 1 램프에 배치되며, 제 1 측방을 포함하는 전방의 제 1 영상을 획득하기 위한 제 1 카메라를 통해 제 1 영상을 획득하는 동작;
    상기 차량의 제 2 램프에 배치되며, 제 2 측방을 포함하는 전방의 제 2 영상을 획득하기 위한 제 2 카메라를 통해 제 2 영상을 획득하는 동작;
    상기 제 1 영상 및 상기 제 2 영상을 통해 획득된 정보의 적어도 일부에 기초하여, 차선 인식에 사용할 적어도 하나의 카메라를 선택하는 동작; 및
    상기 선택된 카메라를 통해 획득되는 영상으로부터 인식되는 차선에 기초하여 주행하도록 상기 차량을 제어하는 동작을 포함하는 방법.
13. 제 12 항에 있어서,
    상기 선택하는 동작은,
    상기 제 1 카메라 및 상기 제 2 카메라 중 지정된 길이 이상의 차선을 추출한 카메라를 상기 차선 인식에 사용할 카메라로 선택하도록 제어하는 동작을 포함하는 방법.
14. 제 12 항에 있어서,
    상기 차량을 제어하는 동작은,
    상기 인식된 차선을 기준으로 상기 차량의 이격 거리를 결정하는 동작; 및,
    상기 이격 거리를 유지하도록 제어하는 동작을 포함하는 방법.
15. 제 14 항에 있어서,
    상기 이격 거리를 결정하는 동작은,
    상기 차량의 제원에 기초하여 상기 이격 거리를 결정하는 동작을 포함하며,
    상기 차량의 제원은 차폭 및 윤거 중 적어도 하나를 포함하는 방법.
16. 제 12 항에 있어서,
    상기 차량을 제어하는 동작은,
    상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 차량의 전방에서 주행 중인 다른 차량을 추종하도록 제어하는 동작을 포함하는 방법.
17. 제 12 항에 있어서,
    상기 차량을 제어하는 동작은,
    상기 제 1 영상 및 상기 제 2 영상으로부터 차선 인식이 불가하다고 판단하는 경우, 상기 자율 주행 장치에 저장된 고정밀 지도에 기초하여 상기 차량이 주행 중인 도로의 폭, 차선의 곡률 반경 중 적어도 하나를 획득하는 동작; 및
    상기 획득의 적어도 일부에 기초하여, 상기 도로의 차선을 예측하는 동작을 포함하는 방법.
18. 제 12 항에 있어서,
    상기 차량을 제어하는 동작은,
    상기 차선 인식에 선택되지 않은 카메라로 상기 차량의 전방에 존재하는 객체를 인식하도록 제어하는 동작을 포함하는 방법.
19. 제 12 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상을 획득하는 동작은,
    상기 차량 주변에 대한 상황 정보를 수집하는 동작; 및
    상기 수집되는 정보가 미리 지정된 조건을 만족하는 경우, 상기 제 1 램프에 배치된 제 1 광원 및 상기 제 2 램프에 배치된 제 2 광원 중 적어도 하나를 제어하는 동작을 포함하는 방법.
20. 제 12 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상을 획득하기 전에, 상기 제 1 카메라 및 상기 제 2 카메라와 다른 제 3 카메라를 통해 제 3 영상을 획득하는 동작을 더 포함하며;
    상기 제 1 영상 및 상기 제 2 영상의 획득 동작은, 상기 제 3 영상으로부터 차선 인식이 불가하다고 판단하는 경우 수행되는 방법.
    
    

Images