KR20210104199A - 자율주행 차량 및 그 제어 방법 - Google Patents

자율주행 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR20210104199A
KR20210104199A KR1020200018175A KR20200018175A KR20210104199A KR 20210104199 A KR20210104199 A KR 20210104199A KR 1020200018175 A KR1020200018175 A KR 1020200018175A KR 20200018175 A KR20200018175 A KR 20200018175A KR 20210104199 A KR20210104199 A KR 20210104199A
Authority
KR
South Korea
Prior art keywords
vehicle
processor
sensor
autonomous driving
driving device
Prior art date
Application number
KR1020200018175A
Other languages
English (en)
Inventor
하대근
양재혁
김철승
유준영
전수정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200018175A priority Critical patent/KR20210104199A/ko
Publication of KR20210104199A publication Critical patent/KR20210104199A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시의 실시 예들은 자율주행 차량 및 그의 동작 방법에 관한 것으로, 자율 주행 장치는 자차량의 전방 상황을 인지하는 적어도 하나의 센서; 및 상기 센서와 전기적으로 연결된 프로세서;를 포함하고, 상기 센서는 거리센서 및 카메라를 포함하고, 상기 프로세서는 상기 자차량의 전방 상황을 분석하여, 긴급 상황 발생 여부를 판단하고, 상기 긴급 상황 발생시 상기 자차량을 제어하는 제어 신호를 생성할 수 있다. 본 개시의 자율 주행 차량(autonomous vehicle, autonomous driving), 사용자 단말기 및 서버 중 하나 이상이 인공지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(Virtual Reality, VR)장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

자율주행 차량 및 그 제어 방법{Autonomous vehicle and method of controlling the same}
본 개시의 다양한 실시 예들은 자율주행 차량 및 그 제어 방법에 관한 것이다.
자율 주행 차량(autonomous vehicle)은 사용자(운전자 또는 승객)의 조작 없이 자동차 스스로 도로 환경 인식, 위험요소 판단, 주행경로 계획, 차량 제어 등이 가능한 자동차를 말한다.
자율 주행 차량은 차량에 부착된 카메라, 센서 및/또는 헤드 램프를 기반으로 획득된 정보를 서버로 송신하고, 서버로부터 주변의 차량 및 도로의 상황에 대한 정보를 수신함으로써, 사용자의 조작없이 자동 주행을 수행할 수 있다.
자율 주행 차량 주행 시, 전방의 선행 차량으로 인하여 자율 주행 차량의 시야가 가려질 경우, 선행 차량 전방의 상황을 정확하게 인지하기 어렵다. 그 결과 선행 차량의 전방에 긴급 상황이 발생하였을 경우 신속한 대응에 어려움이 발생할 수 있다.
본 개시가 해결하기 위한 과제는 전방 선행 차량으로 인해 시야가 가려진 영역의 상황을 미리 인지하여, 선행 차량의 전방에 긴급 상황이 발생하였을 경우, 신속한 대응이 가능한 자율 주행 장치 및 그의 동작 방법을 제공하는 것에 있다.
본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 다양한 실시 예에 따른 자율 주행 장치는 자차량의 전방 상황을 인지하는 적어도 하나의 센서; 및 상기 센서와 전기적으로 연결된 프로세서;를 포함하고, 상기 센서는 거리센서 및 카메라를 포함하고, 상기 프로세서는 상기 자차량의 전방 상황을 분석하여, 긴급 상황 발생 여부를 판단하고, 상기 긴급 상황 발생시 상기 자차량을 제어하는 제어 신호를 생성할 수 있다.
본 개시의 실시 예들에 따른 자율 주행 장치는 자차량의 전방 상황을 분석하는데 있어서, 전방 차량의 거동 분석뿐만 아니라 전방 차량의 전방 상황도 함께 고려하여, 자차량의 전방 상황을 분석함으로써, 자차량의 전방에 긴급 상황 발생 여부를 더 정밀하게 확인할 수 있다. 그 결과, 전방 차량의 전방에서 긴급 상황이 발생하더라도, 자차는 적시
할 수 있다. 또한, 본 개시의 실시 예들에 따른 자율 주행 장치는 헤드 램프 외부의 오염물에 의해 인식되지 않는 객체를 다른 센서로 인식함으로써, 차량 주변에 존재하는 객체의 인식 성능을 향상시킬 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량 동작의 일 예를 나타낸다.
도 7a는 일 실시 예에 따른 AI 장치를 나타낸다.
도 7b는 일 실시 예에 따른 AI 서버를 나타낸다.
도 7c는 일 실시 예에 따른 AI 시스템을 나타낸다.
도 8은 본 개시의 실시 예에 따른 차량의 제어 블럭도이다.
도 9는 다양한 실시예들에 따른 차량의 주행상황을 설명하는 도면이다.
도 10은 다양한 실시예에 따른 프로세서가 자차량의 전방상황을 인지하고 제어 신호를 생성하는 플로우 차트이다.
도 11은 다양한 실시예에 따른 프로세서가 자차량의 전방상황을 인지하는 세부 플로우 차트이다.
도 12는 다양한 실시예에 따른 프로세서가 자차량의 전방상황을 인지하는 세부 플로우 차트이다.
도 13은 다양한 실시예에 따른 프로세서가 오브젝트를 인식하는 세부 플로우 차트이다.
도 14는 다양한 실시예에 따른 카메라 영상을 도시한 것이다.
도 15는 다양한 실시예에 따라 오브젝트를 추적하는 것을 설명하기 위한 도면이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하의 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 개시의 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 구성 요소가 다른 구성 요소와 "연결된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 구성 요소와 직접 연결 또는 커플링된 경우 또는 중간에 다른 구성 요소를 개재한 경우를 모두 포함한다. 반면, 하나의 구성 요소가 다른 구성 요소와 "직접 연결된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 구성 요소를 개재하지 않은 것을 나타낸다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 개시에서 사용된 용어들은 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 개시에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 본 개시에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
비록 제 1, 제 2 등이 다양한 구성 요소들을 서술하기 위해서 사용되나, 이들 구성 요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성 요소와 구별하기 위하여 사용하는 것이다.
따라서, 이하에서 언급되는 제 1 구성 요소는 본 개시의 기술적 사상 내에서 제 2 구성 요소 일 수도 있음은 물론이다. 다른 정의가 없다면, 본 개시에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 개시에서 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성 요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.
본 개시의 몇몇 실시 예들과 관련하여 설명되는 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
자율 주행 차량(Autonomous Vehicle)은 특정 정보 전송을 5G 네트워크로 전송한다(S1). 상기 특정 정보는, 자율 주행 관련 정보를 포함할 수 있다. 상기 자율 주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
상기 자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 상기 특정 정보는, 사용자 단말기를 통해 입력된 목적지와 차량의 안정 등급에 관한 정보를 포함할 수 있다.
그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2). 여기서, 상기 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
그리고, 상기 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 상기 자율 주행 차량으로 전송할 수 있다(S3).
전술한 바와 같이, 상기 원격 제어와 관련된 정보는 자율 주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 개시의 일 실시 예에서는 자율 주행 차량은, 상기 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율 주행과 관련된 서비스를 제공할 수 있다.
이하 도 2 내지 도 6에서는 본 개시의 일 실시 예에 따라 자율 주행 과정에서 구간별 적용 가능한 보험 서비스를 제공하기 위하여, 자율 주행 차량과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예: 차량과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명한다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
자율 주행 차량은 5G 네트워크와 초기 접속(initial access) 절차를 수행한다(S20).
상기 초기 접속 절차는 하향 링크(Downlink, DL) 동기 획득을 위한 셀 서치(cell search), 시스템 정보(system information)를 획득하는 과정 등을 포함한다.
그리고, 상기 자율 주행 차량은 상기 5G 네트워크와 임의 접속(random access) 절차를 수행한다(S21). 상기 임의 접속 과정은 상향 링크(Uplink, UL) 동기 획득 또는 UL 데이터 전송을 위해 프리엠블 전송, 임의 접속 응답 수신 과정 등을 포함할 수 있다.
그리고, 상기 5G 네트워크는 상기 자율 주행 차량으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송한다(S22). 상기 UL Grant 수신은 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원 스케줄링을 받는 과정을 포함한다.
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 상기 5G 네트워크로 특정 정보를 전송한다(S23).
그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정한다(S24).
그리고, 자율 주행 차량은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL grant를 수신한다(S25).
그리고, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 자율 주행 차량으로 원격 제어와 관련된 정보(또는 신호)를 전송한다(S26).
한편, 도 2에서는 자율 주행 차량과 5G 통신의 초기 접속 과정 및 또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 예를 S20 내지 S26의 과정을 통해 예시적으로 설명하였지만, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다.
예를 들어, S20, S22, S23, S24, S26 과정을 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 S21, S22, S23, S24, S26 과정을 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한 S23, S24, S25, S26을 통해 AI 동작과 하향링크 그랜트 수신과정이 결합되는 과정을 수행할 수 있다.
또한, 도 2에서는 자율 주행 차량 동작에 대하여 S20 내지 S26을 통해 예시적으로 설명한 것이며, 본 개시의 다양한 실시 예들은 이에 한정되지 않는다.
예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S22, S25가 S23, S26과 선택적으로 결합되어 동작할 수 있다. 또한 예를 들어, 상기 자율 주행 차량 동작은, S21, S22, S23, S26으로 구성될 수도 있다. 또한 예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S23, S26으로 구성될 수 있다. 또한, 예를 들어, 상기 자율 주행 차량 동작은, S22, S23, S25, S26으로 구성될 수 있다.
도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량 동작의 일 예를 나타낸다.
먼저 도 3을 참고하면, 자율 주행 모듈을 포함하는 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S30).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S31).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S32).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S33).
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S34).
그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S35).
S30에 빔 관리(beam management, BM) 과정이 추가될 수 있으며, S31에 PRACH(physical random access channel) 전송과 관련된 빔 실패 복구(beam failure recovery) 과정이 추가될 수 있으며, S32에 UL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계가 추가될 수 있으며, S33에 특정 정보를 포함하는 PUCCH (physical uplink control channel)/PUSCH (physical uplink shared channel)의 빔 전송 방향과 관련하여 QCL 관계가 추가될 수 있다. 또한, S34에 DL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계가 추가될 수 있다.
도 4를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S40).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S41).
그리고, 상기 자율 주행 차량은 설정된 그랜트(configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(S42).
그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호를) 상기 설정된 그랜트에 기초하여 5G 네트워크로부터 수신한다(S43).
도 5를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S50).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S51).
그리고, 상기 자율 주행 차량은 5G 네트워크로부터 DownlinkPreemption IE를 수신한다(S52).
그리고, 상기 자율 주행 차량은 상기 DownlinkPreemption IE에 기초하여 프리엠션 지시를 포함하는 DCI 포맷 2_1을 5G 네트워크로부터 수신한다(S53).
그리고, 상기 자율 주행 차량은 pre-emption indication에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB data의 수신을 수행(또는 기대 또는 가정)하지 않는다(S54).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S55).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S56).
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S57).
그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S58).
도 6을 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S60).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S61).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S62).
상기 UL grant는 상기 특정 정보의 전송에 대한 반복 횟수에 대한 정보를 포함하고, 상기 특정 정보는 상기 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(S63).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다.
그리고, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.
상기 특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(narrowband)을 통해 전송될 수 있다.
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S64).
그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S65).
앞서 살핀 5G 통신 기술은 후술할 본 명세서에서 제안하는 방법들과 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
본 개시에서 기술되는 차량은 통신망을 통해 외부 서버에 연결되고, 자율 주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다. 본 개시의 차량은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등으로 구현될 수 있다.
이하의 실시 예에서, 사용자는 운전자, 탑승자 또는 사용자 단말기의 소유자로 해석될 수 있다. 사용자 단말기는 사용자가 휴대 가능하고 전화 통화와 다양한 어플리케이션(application)을 실행할 수 있는 이동 단말기 예를 들어, 스마트 폰일 수 있으나 이에 한정되지 않는다. 예를 들어, 사용자 단말기는 이동 단말기, PC(Personal computer), 노트북 컴퓨터 또는 자율 주행 차량 시스템으로 해석될 수 있다.
자율주행 차량에서는 주변 위험 요소들을 실시간 센싱하는 능력에 따라 사고 발생 유형 및 빈도가 크게 달라질 수 있다. 목적지까지의 경로는 날씨, 지형 특성, 교통 혼잡도 등 다양한 원인에 의해 위험 수준이 서로 다른 구간들을 포함할 수 있다. 본 개시는 사용자의 목적지 입력 시 구간별로 필요한 보험을 안내하고 실시간으로 위험구간 모니터링을 통해 보험 안내를 업데이트 한다.
본 개시의 자율 주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
예를 들어, 자율 주행 차량은 차량에 포함된 적어도 하나의 인공지능 모듈, 로봇과 연계되어 동작할 수 있다.
예를 들어, 차량은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.
로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 로봇과 통신을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 차량의 이동 경로와 로봇의 이동 경로 간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)를 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.
인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.
실시 예에 따라, 차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.
도 7a는 일 실시 예에 따른 AI 장치를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 7a를 참조하면, AI 장치(100)는 통신 회로(110), 입력 장치(120), 러닝 프로세서(130), 센서(140), 출력 장치(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신 회로(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예를 들어, 통신 회로(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신 회로(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력 장치(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력 장치(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력 장치(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력 장치(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)와 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센서(140)는 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센서(140)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등의 하나 또는 복수의 조합으로 구성될 수 있다.
출력 장치(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력 장치(150)에는 정보를 시각적으로 출력하는 디스플레이, 정보를 청각적으로 출력하는 스피커, 정보를 촉각적으로 출력하는 햅틱 액추에이터(actuator) 등이 포함될 수 있다. 예를 들어, 디스플레이는 이미지 또는 동영상을 출력할 수 있고, 스피커는 음성 또는 음향을 출력할 수 있고, 햅틱 액추에이터는 진동을 발생할 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들어, 메모리(170)는 입력 장치(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
메모리(170)는 플래시 메모리 타입(FlAHS Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장 매체를 포함할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 7b는 일 실시 예에 따른 AI 서버를 나타낸다.
도 7b를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신 회로(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신 회로(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 러닝 프로세서(240)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 7c는 일 실시 예에 따른 AI 시스템을 나타낸다.
도 7c를 참조하면, AI 시스템(1)에서, AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 서로 직접 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)를 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 7c에 도시된 AI 장치(100a 내지 100e)는 도 7a에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
자율 주행 차량(100b)은 AI 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
자율 주행 차량(100b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(100b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(100b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(100b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(100b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(100b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(100a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(100b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량(100b)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예를 들어, 자율 주행 차량(100b)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량(100b)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량(100b)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량(100b)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량(100b)을 주행시킬 수 있다.
맵 데이터에는 자율 주행 차량(100b)이 주행하는 공간(예를 들어, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예를 들어, 맵 데이터에는 교통표지판 등의 인프라(infra), 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량(100b)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량(100b)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
도 8은 본 개시의 실시 예에 따른 차량의 제어 블럭도이다.
도 8을 참조하면, 차량은, 사용자 인터페이스 장치(800), 오브젝트 검출 장치(810), 통신 장치(820), 운전 조작 장치(830), 메인 ECU(840), 구동 제어 장치(850), 자율 주행 장치(860), 센싱부(870) 및 위치 데이터 생성 장치(880)를 포함할 수 있다. 오브젝트 검출 장치(810), 통신 장치(820), 운전 조작 장치(830), 메인 ECU(840), 구동 제어 장치(850), 자율 주행 장치(860), 센싱부(870) 및 위치 데이터 생성 장치(880)는 각각이 전기적 신호를 생성하고, 상호간에 전기적 신호를 교환하는 전자 장치로 구현될 수 있다.
사용자 인터페이스 장치(800)는, 차량과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(800)는, 사용자 입력을 수신하고, 차량에서 생성된 정보를 사용자에게 제공할 수 있다. 차량은, 사용자 인터페이스 장치(800)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다. 사용자 인터페이스 장치(800)는, 입력 장치, 출력 장치 및 사용자 모니터링 장치를 포함할 수 있다.
오브젝트 검출 장치(810)는, 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 오브젝트에 대한 정보는, 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량과 오브젝트와의 거리 정보, 및 차량과 오브젝트와의 상대 속도 정보 중 적어도 어느 하나를 포함할 수 있다. 오브젝트 검출 장치(810)는, 차량 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(810)는, 차량 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치(810)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(810)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
카메라는 영상을 이용하여 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 카메라는 적어도 하나의 렌즈, 적어도 하나의 이미지 센서, 및 적어도 하나의 이미지 시그널 프로세서를 포함할 수 있다. 이미지 시그널 프로세서는 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성할 수 있다. 카메라는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라는, 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있다. 카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
레이다는 전파를 이용하여 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 레이다는, 전자파 송신부, 전자파 수신부, 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 전자파 송신부 및 전자파 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keying) 방식으로 구현될 수 있다. 레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는, 레이저 광을 이용하여, 차량 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는, 광 송신부, 광 수신부 및 적어도 하나의 프로세서를 포함할 수 있다. 광 송신부 및 광 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다. 라이다는, 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량 주변의 오브젝트를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다를 포함할 수 있다. 라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
통신 장치(820)는, 차량 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(820)는, 인프라(예를 들면, 서버, 방송국), 타 차량, 단말기 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(820)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
예를 들어, 통신 장치는 V2X 기술을 기반으로 외부 디바이스와 신호를 교환할 수 있다. 예를 들어, V2X 기술은 LTE 기반의 사이드링크 통신 및/또는 NR 기반의 사이드링크 통신을 포함할 수 있다. 또한 통신 장치는 5G 네트워크를 기반으로 타 차량, 모바일 기기, 도로 등의 사물과 정보를 교환할 수 있다. V2X와 관련된 내용은 후술한다.
예를 들어, 통신 장치는 IEEE 80211p PHY/MAC 계층 기술과 IEEE 1609 Network/Transport 계층 기술 기반의 DSRC(Dedicated Short Range Communications) 기술 또는 WAVE(Wireless Access in Vehicular Environment), SAEJ2735, SAE J2945 표준을 기반으로 외부 디바이스와 신호를 교환할 수 있다. DSRC(또는 WAVE 표준) 기술은 차량 탑재 장치 간 혹은 노변 장치와 차량 탑재 장치 간의 단거리 전용 통신을 통해 ITS(Intelligent Transport System) 서비스를 제공하기 위해 마련된 통신 규격이다. DSRC 기술은 59GHz 대역의 주파수를 사용할 수 있고, 3Mbps~27Mbps의 데이터 전송 속도를 가지는 통신 방식일 수 있다. IEEE 80211p 기술은 IEEE 1609 기술과 결합되어 DSRC 기술 (혹은 WAVE 표준)을 지원할 수 있다.
본 개시의 통신 장치는 V2X 기술 또는 DSRC 기술 중 어느 하나만을 이용하여 외부 디바이스와 신호를 교환할 수 있다. 또는, 본 개시의 통신 장치는 V2X 기술 및 DSRC 기술을 하이브리드하여 외부 디바이스와 신호를 교환할 수 있다. V2X 표준은 전기 전자 분야 표 준화 기관인 IEEE(IEEE 80211p, IEEE 1609)와 자동차 엔지니어 모임인 SAE(SAE J2735, SAE J2945 등) 등을 통해 만들어졌으며, 각각 물리 계층, SW 스택 표준화와 응용계층 표준화를 각각 담당한다. 특히, 메시지 표준과 관련하여, SAE에서는 V2X 통신을 위한 메시지 규격을 정의하기 위한 표준들을 제정하였다.
운전 조작 장치(830)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량은, 운전 조작 장치(830)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(830)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
메인 ECU(840)는, 차량 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
구동 제어 장치(850)는, 차량내 각종 차량 구동 장치를 전기적으로 제어하는 장치이다. 구동 제어 장치(850)는, 파워 트레인 구동 제어 장치, 샤시 구동 제어 장치, 도어/윈도우 구동 제어 장치, 안전 장치 구동 제어 장치, 램프 구동 제어 장치 및 공조 구동 제어 장치를 포함할 수 있다. 파워 트레인 구동 제어 장치는, 동력원 구동 제어 장치 및 변속기 구동 제어 장치를 포함할 수 있다. 샤시 구동 제어 장치는, 조향 구동 제어 장치, 브레이크 구동 제어 장치 및 서스펜션 구동 제어 장치를 포함할 수 있다. 한편, 안전 장치 구동 제어 장치는, 안전 벨트 제어를 위한 안전 벨트 구동 제어 장치를 포함할 수 있다.
구동 제어 장치(850)는, 적어도 하나의 전자적 제어 장치(예를 들면, 제어 ECU(Electronic Control Unit))를 포함한다.
구동 제어 장치(850)는, 자율 주행 장치(860)에서 수신되는 신호에 기초하여, 차량 구동 장치를 제어할 수 있다. 예를 들면, 구동 제어 장치(850)는, 자율 주행 장치(860)에서 수신되는 신호에 기초하여, 파워 트레인, 조향 장치 및 브레이크 장치를 제어할 수 있다.
자율 주행 장치(860)는, 획득된 데이터에 기초하여, 자율 주행을 위한 경로를 생성할 수 있다. 자율 주행 장치(860)는, 생성된 경로를 따라 주행하기 위한 드라이빙 플랜을 생성할 수 있다. 자율 주행 장치(860)는, 드라이빙 플랜에 따른 차량의 움직임을 제어하기 위한 신호를 생성할 수 있다. 자율 주행 장치(860)는, 생성된 신호를 구동 제어 장치(850)에 제공할 수 있다.
자율 주행 장치(860)는, 적어도 하나의 ADAS(Advanced Drive Assistance System) 기능을 구현할 수 있다. ADAS는, 적응형 크루즈 컨트롤 시스템(ACC: Adaptive Cruise Control), 자동 비상 제동 시스템(AEB: Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW: Forward Collision Warning), 차선 유지 보조 시스템(LKA: Lane Keeping Assist), 차선 변경 보조 시스템(LCA: Lane Change Assist), 타겟 추종 보조 시스템(TFA: Target Following Assist), 사각 지대 감시 시스템(BSD: Blind Spot Detection), 적응형 헤드라이트 시스템(AHS: Adaptive Headlight System), 자동 주차 시스템(APS: Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR: Traffic Sign Recognition), 교통 신호 보조 시스템(TSA: Traffic Sign Assist), 나이트 비전 시스템(NV: Night Vision), 운전자 상태 모니터링 시스템(DSM: Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA: Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
자율 주행 장치(860)는, 자율 주행 모드에서 수동 주행 모드로의 전환 동작 또는 수동 주행 모드에서 자율 주행 모드로의 전환 동작을 수행할 수 있다. 예를 들면, 자율 주행 장치(860)는, 사용자 인터페이스 장치(800)로부터 수신되는 신호에 기초하여, 차량의 모드를 자율 주행 모드에서 수동 주행 모드로 전환하거나 수동 주행 모드에서 자율 주행 모드로 전환할 수 있다.
센싱부(870)는, 차량의 상태를 센싱할 수 있다. 센싱부(870)는, IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 방향 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial measurement unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(870)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 차량 상태 데이터는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다. 센싱부(870)는, 차량 자세 데이터, 차량 모션 데이터, 차량 요(yaw) 데이터, 차량 롤(roll) 데이터, 차량 피치(pitch) 데이터, 차량 충돌 데이터, 차량 방향 데이터, 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 차량의 중량 데이터, 배터리 데이터, 연료 데이터, 타이어 공기압 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터, 스티어링 휠 회전 각도 데이터, 차량 외부 조도 데이터, 가속 페달에 가해지는 압력 데이터, 브레이크 페달에 가해지는 압력 데이터 등을 생성할 수 있다.
위치 데이터 생성 장치(880)는, 차량의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(880)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(880)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량의 위치 데이터를 생성할 수 있다. 실시 예에 따라, 위치 데이터 생성 장치(880)는, 센싱부(870)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(810)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다. 위치 데이터 생성 장치(880)는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.
차량은, 도시되지 않았지만, 내부 통신 시스템을 포함할 수 있다. 차량에 포함되는 복수의 전자 장치는 내부 통신 시스템을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
도 9는 다양한 실시예들에 따른 차량의 주행상황을 설명하는 도면이다.
도 9를 참조하면, 자차량(EV: Ego Vehicle)의 전방에는 전방 차량(FV: Forward Vehicle)이 위치할 수 있다. 또한 전방 차량(FV)의 전방에는 또 다른 전방 차량이 위치할 수 있으며, 이 차량은 자차량(EV)을 기준으로는 전전방 차량(FFV: Forward Forward Vechicle)이 된다.
자차량(EV)은 자율 주행 차량일 수 있다. 자차량(EV)은 차량에 부착된 카메라, 센서, 헤드램프를 기반으로 정보를 획득하여, 사용자의 조작 없이 자동 주행을 수행할 수 있다. 자차량(EV)은 차량에 부착된 카메라, 센서, 헤드램프를 기반으로 획득한 정보에 기초하여 자차량(EV)의 전방에 긴급상황이 발생하더라도 이에 대처하는 주행을 할 수 있다. 예를 들면 자차량(EV)은 전방 차량(FV)의 거동을 분석하여 전방 상황을 대비할 수 있다.
한편, 다양한 주행 환경에서 자차량(EV)과 전방 차량(FV)의 간격이 좁게 형성될 수 있다. 이러한 경우 전방 차량(FV)의 시야 방해로 인하여, 자차량(EV)은 전방 차량(FV)의 전방 상황에 대하여 충분한 정보를 획득할 수 없다. 이 경우 자차량(EV)은 자차량(EV)의 전방에 긴급상황이 발생하더라도, 긴급상황에 대한 대응을 전방 차량(EV)의 거동에 기초하여 이루어질 수밖에 없다. 따라서, 전방 차량(EV)이 긴급상황에 대한 대응이 미흡한 경우, 자차량(EV)는 이를 대비할 수 없고, 신속한 대응에 어려움이 발생할 수 있다.
도 10은 다양한 실시예에 따른 프로세서가 자차량의 전방상황을 인지하고 제어 신호를 생성하는 플로우 차트이다.
다양한 실시예에 따른 자율 주행 장치는 전술한 도 7a, 도 7b, 및 도 8의 차량에 포함되는 구성 요소의 적어도 일부로 자율 주행 장치로 정의될 수 있다. 자율 주행 장치 각각의 구성 요소는 하나의 칩, 부품 또는 전자 회로로 구성되거나, 칩, 부품 또는 전자 회로의 결합으로 구성될 수 있다. 다른 실시 예에 따라, 자율 주행 장치의 구성 요소들 중 일부는 복수 개의 구성 요소로 분리되어 서로 다른 칩 또는 부품 또는 전자 회로로 구성될 수 있으며, 일부 구성 요소들은 결합되어 하나의 칩, 부품 또는 전자 회로로 구성될 수도 있다.
다양한 실시예에 따른 자율 주행 장치는 자차량의 전방 상황을 인지하는 적어도 하나의 센서, 및 센서와 전기적으로 연결된 프로세서를 포함할 수 있다.
프로세서는 자차량(EV)의 전방 상황을 인지하고, 자차량(EV)의 전방에 긴급 상황이 발생하였는지 여부를 판단할 수 있다(S1010). 여기서 자차량(EV)의 전방은 전방 차량(FV)의 전방을 포함한다. 그리고, 프로세서는 자차량(EV)의 전방에 긴급 상황이 발생한 경우 자차량을 제어하는 제어 신호를 생성할 수 있다(S1020).
프로세서는 전방 차량(FV)의 거동을 분석하여 전방 상황을 인지할 수 있다. 센서는 거리센서 및 카메라를 포함하여 구성될 수 있다. 다양한 실시예에 따른 거리센서는 radar 센서, lidar 센서, 초음파 센서 중 적어도 어느 하나를 포함하여 구성될 수 있다. 프로세서는 센서를 구성하는 거리센서 및 카메라를 이용하여 전방 차량(FV)의 위치를 측정할 수 있다. 프로세서는 시간에 따른 전방 차량(FV)의 위치 변화를 계산할 수 있다.
또한 프로세서는 전방 차량(FV)의 전방 유리(front windshield) 및 후방 유리(rear wihdshield)를 통과하여 보이는 영상을 분석하여 전방 상황을 인지할 수 있다. 예를 들면, 전방 차량(FV)의 전방 유리 및 후방 유리를 통과하여 보이는 영상을 분석하여 전전방 차량(FFV)을 인지할 수 있다.
프로세서는 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단한 경우, 자차량(EV)을 제어하는 제어 신호를 생성할 수 있다. 제어 신호는 자차량(EV)의 속도를 감속하는 제어 신호일 수 있다. 또한, 제어 신호는 자차량(EV)의 주행 경로를 변경하는 제어 신호일 수 있다.
도 11은 다양한 실시예에 따른 프로세서가 자차량의 전방상황을 인지하는 세부 플로우 차트이다.
다양한 실시예에 따른 프로세서는 전방 차량(FV)의 거동을 분석하여, 자차량(EV)의 전방 상황을 인지할 수 있다.
도 11을 참조하면, 프로세서는 전방 차량(FV)의 위치를 추정(S1110)하고, 전방 차량(FV)의 거동을 분석(S1115)하여, 자차량(EV)의 전방에 긴급 상황이 발생하였는지 여부를 판단(S1120)한다.
프로세서는 센서를 구성하는 거리센서 및 카메라를 이용하여 전방 차량(FV)의 위치를 추정할 수 있다. 센서는 거리센서 및 카메라를 포함하여 구성될 수 있으며, 거리센서는 radar 센서, lidar 센서, 초음파 센서로 구성될 수 있다.
프로세서는 시간에 따른 전방 차량(FV)의 위치 변화를 계산할 수 있다. 프로세서는 전방 차량(FV)의 위치 변화량이 기 설정된 값 보다 클 경우, 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단할 수 있다. 기 설정된 값은 메모리에 저장될 수 있다.
또한, 프로세서는 센서 정보에 기초하여, 전방 차량(FV)이 방향 지시등을 켜지 않은 채, 전방 차량(FV)의 현재 주행 차로를 벗어난 경우, 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단할 수 있다.
또한, 프로세서는 센서 정보에 기초하여, 전방 차량(FV)이 지그재그로 주행하거나, 또는 한쪽 차선에 치우쳐서 주행하는 경우, 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단할 수 있다.
프로세서는 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단한 경우, 자차량(EV)을 제어하는 제어 신호를 생성할 수 있으며, 제어신호는 자차량(EV)의 속도를 감속하거나, 주행 경로를 변경하는 제어 신호일 수 있다.
도 12는 다양한 실시예에 따른 프로세서가 자차량의 전방상황을 인지하는 세부 플로우 차트이다.
다양한 실시예에 따른 프로세서는 전방 차량(FV)의 전방 유리(front windshield) 및 후방 유리(rear wihdshield)를 통과하여 보이는 영상을 분석하여 전방 상황을 인지할 수 있다. 예를 들면, 전방 차량(FV)의 전방 유리 및 후방 유리를 통과하여 보이는 영상을 분석하여 전전방 차량(FFV)을 인지할 수 있다.
프로세서는 전방 차량(FV)을 인지(S1205)하고, 전방 차량(FV)의 투과 영역상에서 오브젝트(Object)를 추출(S1210)하고, 자차량(ev)의 전방에 긴급 상황 발생 여부를 판단(S1220)할 수 있다. 그리고, 프로세서는 오브젝트를 추적하여, 자차량(EV)의 전방에 긴급 상황 발생 여부를 판단할 수 있다.
프로세서는 센서를 구성하는 거리센서 및 카메라를 이용하여 전방 차량(FV)을 인지할 수 있다.
프로세서는 전방 차량(FV)의 센서 투과 영역을 추출할 수 있다. 프로세서는 이미지 센서의 영상 데이터를 사용하여 전방 차량(FV)의 후방 유리 영역을 추출하고, 추출된 영역 중에서 전방 차량(FV)의 전방 유리에 해당하는 영역을 추출할 수 있다.
또한 프로세서는 자차량(EV)과 전방 차량(FV)의 상대 위치를 계산하고, 전방 차량(FV)의 헤드레스트 및 리어 뷰 미러 위치를 추정하여, 전방 차량(FV)의 후방 유리 영역에서 전방 차량(FV)의 헤드레스트 및 리어 뷰 미러 영역을 제거할 수 있다. 헤드레스트 및 리어 뷰 미러 영역에는 전방 차량(FV)의 운전석 및 조수석에 위치한 사람의 머리 움직임이 포함되어, 오브젝트를 추출하는데 노이즈로 작용할 수 있기 때문이다. 따라서 센서 투과 영역을 추출할 때, 전방 차량(FV)의 헤드레스트 및 리어 뷰 미러 영역을 제거하는 것이 바람직하다.
또한 프로세서는 자차량(EV)으로부터 전전방 차량(FFV)의 거리보다 가까운 오브젝트는 제거하여 오브젝트를 추출할 수 있다. 이는 전방 차량(FV) 내부에 존재하는 오브젝트와 전방 차량(FV)의 전방에 위치하는 오브젝트를 분류하기 위함이다.
프로세서는 오브젝트를 추적하여, 자차량(EV)의 전방에 긴급 상황 발생 여부를 판단할 수 있다. 예를 들면 프로세서는 오브젝트의 에지를 검출하여 오브젝트의 속도를 계산하고, 오브젝트의 횡방향 속도가 기준값보다 큰 경우, 오브젝트의 이상 거동으로 판단하여, 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단할 수 있다.
프로세서는 센서로부터 추출한 특징점을 사용하여 오브젝트의 이동 방향을 분석하고, 오브젝트가 심하게 비틀거리면 이상 거동으로 판단할 수 있다. 예를 들면 프로세서는 오브젝트 이동 경로의 흔들림이 기준값보다 큰 경우 이상 거동으로 판단하여, 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단할 수 있다.
또한 프로세서는 센서 투과 영역상의 이미지 분석 결과, 이미지의 적색 화소 데이터의 변화량이 기준값보다 큰 경우 이상 거동으로 판단할 수 있다. 이미지의 적색 화소 데이터의 변화량이 기준값보다 큰 경우는, 전방 차량(FV)의 전방에 위치하는 전전방 차량(FFV)가 급정거를 하여 브레이크등이 켜졌거나, 차량(FV)의 전방에 위치하는 신호등의 적색등이 켜진 경우일 수 있기 때문이다.
또한 프로세서는 센서 투과 영역상의 이미지의 특징점을 분석하고, 특징점 사이의 간격의 변화량에 기초하여 자차량(FV)의 전방 상황을 분석할 수 있다.
도 13은 다양한 실시예에 따른 프로세서가 오브젝트를 인식하는 세부 플로우 차트이고, 도 14는 다양한 실시예에 따른 카메라 영상을 도시한 것이고, 도 15는 다양한 실시예에 따라 오브젝트를 추적하는 것을 설명하기 위한 도면이다.
도 13을 참조하면, 프로세서가 오브젝트를 인식하는 방법은 전방 차량(FV)의 후방 유리(RWS) 영역을 추출하는 단계(S1310), 후방 유리(RWS)영역 내의 영상 밝기를 조절하는 단계(S1320), 전방 차량(FV)의 영상 정보와 추출된 후방 유리(RWS) 영역의 영상 정보를 비교하여 동일한 움직임을 가지는지 판단하는 단계(S1330), 동일하지 않은 움직임 정보를 추출하는 단계(S1350), 전방 차량(FV)의 헤드레스트 주변의 ROI 영역의 움직임 정보는 무시하는 단계(S1360), 전방 차량(FV)의 전방 유리(FWS)영역의 ROI를 재설정 하는 단계(S1370), 전방 차량(FV)의 전방 유리(FWS) 영역의 ROI를 재설정하여 오브젝트로 인식하는 단계(S1380)를 포함한다.
S1310단계는 프로세서가 전방 차량(FV)의 후방 유리(RWS) 영역을 추출하는 단계이다. 도 14를 참조하면, 프로세서가 카메라 영상(1410)에서 후방 유리(RWS) 영역(1420)을 추출한다.
S1330 단계에서 전방 차량(FV)의 영상 정보와 추출된 후방 유리(RWS) 영역의 영상 정보를 비교하여 동일한 움직임을 가지는 경우, 프로세서는 추적 관찰할 오브젝트가 없다고 판단할 수 있다.
S1370단계는 프로세서가 전방 차량(FV)의 전방 유리(FWS)영역의 ROI를 재설정 하는 단계이다. 도 14에서는 프로세서가 전방 유리(FWS) 영역의 ROI를 재설정한 영역은 도면부호 1430으로 도시되어 있다. 전방 유리(FWS) 영역의 ROI를 재설정하는 과정에서 헤드레스트 주변의 ROI영역 움직임 정보는 무시될 수 있다.
도 15는 다양한 실시예에 따라 오브젝트를 추적하는 것을 예시한 도면이며, 도 15를 참조하면, ROI영역에서 헤드레스트(HR) 주변의 ROI영역 움직임 정보는 무시된 것을 알 수 있다. 또한 ROI영역에서 전방 차량(FV)의 헤드레스트(HR) 및 리어 뷰 미러(RVM) 영역이 제거된 것을 알 수 있다. 도 15에서 프로세서는 오브젝트(OBJ)의 횡방향 속도가 기준값보다 큰 경우, 오브젝트(OBJ)의 이상 거동으로 판단하여, 자차량(EV)의 전방에 긴급 상황이 발생한 것으로 판단할 수 있다.
본 개시는 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다

Claims (15)

  1. 자율 주행 장치에 있어서,
    자차량의 전방 상황을 인지하는 적어도 하나의 센서; 및
    상기 센서와 전기적으로 연결된 프로세서;를 포함하고,
    상기 센서는 거리센서 및 카메라를 포함하고,
    상기 프로세서는
    상기 자차량의 전방 상황을 분석하여, 긴급 상황 발생 여부를 판단하고,
    상기 긴급 상황 발생시 상기 자차량을 제어하는 제어 신호를 생성하는,
    자율 주행 장치.
  2. 제1 항에 있어서,
    상기 프로세서는
    상기 센서를 이용하여 전방 차량의 위치를 추정하고, 상기 전방 차량의 위치 변화를 계산하며,
    상기 전방 차량의 위치 변화량이 기 설정된 값 보다 클 경우, 긴급 상황이 발생한 것으로 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  3. 제1항에 있어서,
    상기 프로세서는
    상기 센서 정보에 기초하여, 전방 차량이 방향 지시등을 켜지 않은 채 주행 차로를 벗어난 경우, 긴급 상황이 발생한 것으로 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  4. 제1항에 있어서,
    상기 프로세서는
    상기 센서 정보에 기초하여, 전방 차량이 지그재그로 주행하거나, 또는 한쪽 차선에 치우쳐서 주행하는 경우, 긴급 상황이 발생한 것으로 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  5. 제1항에 있어서,
    상기 프로세서는
    상기 센서 정보에 기초하여, 전방 차량을 인지하고,
    상기 전방 차량의 센서 투과 영역을 추출하고,
    상기 센서 투과 영역상에서 오브젝트(Object)를 추출하고,
    상기 오브젝트를 추적하여, 긴급 상황 발생 여부를 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  6. 제5항에 있어서,
    상기 센서 투과 영역 추출은,
    상기 프로세서가
    상기 전방 차량의 후방 유리 영역을 추출하고, 추출된 후방 유리 영역 중 상기 전방 차량의 전방 유리에 해당하는 영역을 추출하는 것을 특징으로 하는,
    자율 주행 장치.
  7. 제5항에 있어서,
    상기 오브젝트 추출은,
    상기 프로세서가
    상기 전방 차량의 영상 정보와 상기 센서 투과 영역의 영상 정보의 움직임을 비교하여, 동일하지 않은 움직임 정보를 추출하는 것을 특징으로 하는,
    자율 주행 장치.
  8. 제6항에 있어서,
    상기 센서 투과 영역 추출은,
    상기 프로세서가
    자차량과 상기 전방 차량의 상대 위치를 계산하고,
    상기 전방 차량의 헤드레스트 및 리어 뷰 미러 위치를 추정하여, 상기 전방 차량의 후방 유리 영역에서 상기 전방 차량의 헤드레스트 및 리어 뷰 미러 영역을 제거하는 것을 특징으로 하는,
    자율 주행 장치.
  9. 제5항에 있어서,
    상기 오브젝트 추출은,
    상기 프로세서가
    상기 자차량으로부터 전전방 차량의 거리 보다 가까운 오브젝트는 제거하는 것을 특징으로 하는,
    자율 주행 장치.
  10. 제5항에 있어서,
    상기 오브젝트 추출은
    상기 프로세서가
    상기 자차량으로부터 상기 전방 차량의 리어 뷰 미러까지의 거리보다 가까운 곳에 위치한 오브젝트는 제거하는 것을 특징으로 하는,
    자율 주행 장치.
  11. 제5항에 있어서,
    상기 자차량의 전방 상황 분석은,
    상기 프로세서가
    상기 오브젝트의 거동을 분석하고, 상기 오브젝트의 흔들림의 크기를 설정된 기준값과 비교하여 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  12. 제5항에 있어서,
    상기 자차량의 전방 상황 분석은,
    상기 프로세서가
    상기 센서 투과 영역상의 이미지를 분석하고, 상기 이미지의 적색 화소 데이터의 변화량을 기 설정된 기준값과 비교하여 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  13. 제5항에 있어서,
    상기 자차량의 전방 상황 분석은,
    상기 프로세서가
    상기 센서 투과 영역상의 이미지의 특징점을 분석하고, 상기 특징점 사이의 간격의 변화량에 기초하여 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  14. 제5항에 있어서,
    상기 자차량의 전방 상황 분석은,
    상기 프로세서가
    상기 오브젝트의 에지를 검출하여 상기 오브젝트의 속도를 계산하고, 상기 오브젝트의 횡방향 속도를 기 설정된 기준값과 비교하여 판단하는 것을 특징으로 하는,
    자율 주행 장치.
  15. 제1항에 있어서,
    상기 제어 신호는
    상기 프로세서가
    자차량의 속도를 감속하거나, 또는 자차량의 주행 경로를 변경하는 것을 특징으로 하는,
    자율 주행 장치.
KR1020200018175A 2020-02-14 2020-02-14 자율주행 차량 및 그 제어 방법 KR20210104199A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200018175A KR20210104199A (ko) 2020-02-14 2020-02-14 자율주행 차량 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200018175A KR20210104199A (ko) 2020-02-14 2020-02-14 자율주행 차량 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210104199A true KR20210104199A (ko) 2021-08-25

Family

ID=77495394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200018175A KR20210104199A (ko) 2020-02-14 2020-02-14 자율주행 차량 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20210104199A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055754A (ko) 2021-10-19 2023-04-26 한국전자통신연구원 전방 차량 상태에 기반한 차량 제어 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055754A (ko) 2021-10-19 2023-04-26 한국전자통신연구원 전방 차량 상태에 기반한 차량 제어 방법 및 장치

Similar Documents

Publication Publication Date Title
US20190391582A1 (en) Apparatus and method for controlling the driving of a vehicle
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
CN111292351B (zh) 车辆检测方法及执行其的电子设备
CN110573978A (zh) 用于自驾交通工具的动态传感器选择
US20220348217A1 (en) Electronic apparatus for vehicles and operation method thereof
KR20190105213A (ko) 자율 주행 시스템에서 차량의 브레이크 장치를 모니터링 하는 방법 및 장치
KR102492637B1 (ko) 주행 성향 분석 방법, 주행 성향 분석 장치 및 차량 제어 시스템
US11812197B2 (en) Information processing device, information processing method, and moving body
US20210146821A1 (en) Vehicle headlight system
KR20210095757A (ko) 복수의 센서들을 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
KR20210089809A (ko) 라이다 센서를 이용하여 주변 환경을 탐지하는 자율 주행 장치 및 그의 동작 방법
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20190115434A (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2019049828A1 (en) INFORMATION PROCESSING APPARATUS, CLEAN POSITION ESTIMATING METHOD, AND PROGRAM
CN111319610A (zh) 用于控制自主车辆的系统和方法
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
US20210055116A1 (en) Get-off point guidance method and vehicular electronic device for the guidance
JP7528927B2 (ja) 情報処理装置および情報処理方法
CN115668285A (zh) 信息处理装置、信息处理方法、信息处理系统及程序
KR20210100775A (ko) 노면 상태를 검출하기 위한 자율 주행 장치 및 그의 동작 방법
KR20210104199A (ko) 자율주행 차량 및 그 제어 방법
KR20210100776A (ko) 카메라를 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법
US20210056844A1 (en) Electronic device for vehicle and operating method of electronic device for vehicle