KR102414764B1 - 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법 - Google Patents

굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법 Download PDF

Info

Publication number
KR102414764B1
KR102414764B1 KR1020210031479A KR20210031479A KR102414764B1 KR 102414764 B1 KR102414764 B1 KR 102414764B1 KR 1020210031479 A KR1020210031479 A KR 1020210031479A KR 20210031479 A KR20210031479 A KR 20210031479A KR 102414764 B1 KR102414764 B1 KR 102414764B1
Authority
KR
South Korea
Prior art keywords
data
refraction angle
vehicle
vehicles
autonomous vehicle
Prior art date
Application number
KR1020210031479A
Other languages
English (en)
Inventor
김대현
윤혁진
조봉관
박찬호
Original Assignee
한국철도기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원 filed Critical 한국철도기술연구원
Priority to KR1020210031479A priority Critical patent/KR102414764B1/ko
Application granted granted Critical
Publication of KR102414764B1 publication Critical patent/KR102414764B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/417—Articulated frame vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G05D2201/0213—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 양상인 2개의 차량을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량에 있어서, 상기 2개의 차량 중 제 1 차량의 위치를 기준으로, 제 2 차량의 위치가 휘어진 정도를 나타내는 굴절각을 산출하는 추정부; 복수의 동종센서로부터 획득된 제 1 데이터를 전달 받고, 상기 제 1 데이터 상의 중복영역을 제거하고, 상기 산출된 굴절각을 기초로 왜곡을 보정하며, 상기 중복영역의 제거 및 보정 작업이 완료된 데이터의 경계를 잇는 작업을 통해, 제 2 데이터를 생성하는 스티칭부; 복수의 이종센서로부터 획득된 제 3 데이터를 전달 받고, 상기 산출된 굴절각을 이용하여 왜곡을 보정하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 통해, 제 4 데이터를 생성하는 매칭부; 및 상기 굴절각 정보, 상기 제 2 데이터 및 상기 제 4 데이터 중 적어도 하나를 이용하여 상기 자율주행차량 주변의 적어도 하나의 객체를 식별하는 검출부;를 포함할 수 있다.

Description

굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법 {System and Method for Automating Multi-Sensor Calibration of refraction vehicle}
본 발명은 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법에 관한 것으로, 굴절차량의 복수의 차량 간의 굴절각을 측정하여 동종 및 이종 센서 퓨전, 캘리브레이션, 매칭 등을 자동화하는 장치, 시스템 및 방법에 관한 것이다.
대중교통 자율주행 차량은 미리 정해진 경로에 따라 안정적으로 운행되어야 하고, 정차장에서 승객이 안전하게 탈수 있도록 정해진 구간에 정차를 할 수 있는 기술을 제공하여야 한다.
특히, 굴절차량의 자율주행을 위해 측면의 사물을 사각지대 없이 인지하기 위해서는 전후량에 인지센서의 부착이 필요하다는 문제점이 있다.
또한, 굴절차량은 좌우 회전 시 전후량 사이 각도가 변화하고 이에 따라 자율주행 인지를 위해 측면에 부착된 전량, 후량 센서들 간에 상대적 위치가 운행중 지속적으로 변화한다는 문제점이 있다.
따라서 이를 해소하기 위한 시스템 및 방법에 대한 니즈가 높아지고 있는 실정이다.
대한민국 특허청 등록번호 10-0873472 호 대한민국 특허청 등록번호 10-1017604 호
본 발명은 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법에 관한 것으로, 굴절차량의 복수의 차량 간의 굴절각을 측정하여 동종 및 이종 센서 퓨전, 캘리브레이션, 매칭 등을 자동화하는 장치, 시스템 및 방법을 사용자에게 제공하고자 한다.
구체적으로 본 발명은 굴절차량의 다중센서 운영을 위해 굴절각을 이용하여 센서 초기설정을 수행하고, 초기설정 수행을 자동화하기 위해 설정에 필요한 정보들을 LUT로 만들고 이를 참조하여 센서 데이터의 스티칭 및 매핑하며, 센서퓨전에 활용하고, 인지센서의 수량 증가에도 LUT를 확장할 수 있는 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법을 사용자에게 제공하고자 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 2개의 차량을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량에 있어서, 상기 2개의 차량 중 제 1 차량의 위치를 기준으로, 제 2 차량의 위치가 휘어진 정도를 나타내는 굴절각을 산출하는 추정부; 복수의 동종센서로부터 획득된 제 1 데이터를 전달 받고, 상기 제 1 데이터 상의 중복영역을 제거하고, 상기 산출된 굴절각을 기초로 왜곡을 보정하며, 상기 중복영역의 제거 및 보정 작업이 완료된 데이터의 경계를 잇는 작업을 통해, 제 2 데이터를 생성하는 스티칭부; 복수의 이종센서로부터 획득된 제 3 데이터를 전달 받고, 상기 산출된 굴절각을 이용하여 왜곡을 보정하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 통해, 제 4 데이터를 생성하는 매칭부; 및 상기 굴절각 정보, 상기 제 2 데이터 및 상기 제 4 데이터 중 적어도 하나를 이용하여 상기 자율주행차량 주변의 적어도 하나의 객체를 식별하는 검출부;를 포함할 수 있다.
또한, 상기 굴절각은, 상기 자율주행차량의 운행에 의해 변화되고, 상기 추정부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 굴절각을 산출할 수 있다.
또한, 상기 스티칭부는, 미리 상기 굴절각에 따른 스티칭 영역 정보를 Lookup Table(LUT)로 만들어 저장하고, 상기 제 2 데이터의 생성에 있어, 상기 LUT를 추가적으로 이용할 수 있다.
또한, 상기 매칭부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 산출된 굴절각에 따라 달라지는 트랜스폼 매트릭스(transform matrix)를 이용하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 수행할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 양상인 2개의 차량을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량의 제어방법에 있어서, 추정부가 상기 2개의 차량 중 제 1 차량의 위치를 기준으로, 제 2 차량의 위치가 휘어진 정도를 나타내는 굴절각을 산출하는 제 1 단계; 스티칭부가 복수의 동종센서로부터 획득된 제 1 데이터를 전달 받고, 상기 제 1 데이터 상의 중복영역을 제거하고, 상기 산출된 굴절각을 기초로 왜곡을 보정하며, 상기 중복영역의 제거 및 보정 작업이 완료된 데이터의 경계를 잇는 작업을 통해, 제 2 데이터를 생성하는 제 2 단계; 매칭부가 복수의 이종센서로부터 획득된 제 3 데이터를 전달 받고, 상기 산출된 굴절각을 이용하여 왜곡을 보정하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 통해, 제 4 데이터를 생성하는 제 3 단계; 및 검출부가 상기 굴절각 정보, 상기 제 2 데이터 및 상기 제 4 데이터 중 적어도 하나를 이용하여 상기 자율주행차량 주변의 적어도 하나의 객체를 식별하는 제 4 단계;를 포함할 수 있다.
또한, 상기 굴절각은, 상기 자율주행차량의 운행에 의해 변화되고, 상기 제 1 단계에서, 상기 추정부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 굴절각을 산출할 수 있다.
또한, 상기 제 2 단계에서, 상기 스티칭부는, 미리 상기 굴절각에 따른 스티칭 영역 정보를 Lookup Table(LUT)로 만들어 저장하고, 상기 제 2 데이터의 생성에 있어, 상기 LUT를 추가적으로 이용할 수 있다.
또한, 상기 제 3 단계에서, 상기 매칭부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 산출된 굴절각에 따라 달라지는 트랜스폼 매트릭스(transform matrix)를 이용하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 수행할 수 있다.
본 발명은 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법에 관한 것으로, 굴절차량의 복수의 차량 간의 굴절각을 측정하여 동종 및 이종 센서 퓨전, 캘리브레이션, 매칭 등을 자동화하는 장치, 시스템 및 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명은 굴절차량의 다중센서 운영을 위해 굴절각을 이용하여 센서 초기설정을 수행하고, 초기설정 수행을 자동화하기 위해 설정에 필요한 정보들을 LUT로 만들고 이를 참조하여 센서 데이터의 스티칭 및 매핑하며, 센서퓨전에 활용하고, 인지센서의 수량 증가에도 LUT를 확장할 수 있는 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법을 사용자에게 제공할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 자율주행차량에 대한 블록구성도의 일례를 도시한 것이다.
도 2는 본 발명과 관련하여, 도 1에서 설명한 자율주행차량의 구체적인 구성을 설명하는 블록구성도의 일례를 도시한 것이다.
도 3은 본 발명과 관련하여, 자율주행차량의 제어부의 구체적 구성을 설명하는 블록구성도의 일례를 도시한 것이다.
도 4는 본 발명과 관련하여, 중복영역이 넓어질수록 스티칭된 영상의 왜곡이 심해지는 것을 설명하기 위한 도면이다.
도 5는 본 발명과 관련하여, 센서에 따라 동일한 사물에 대한 데이터를 취득하더라도 그 모양이나 크기 등 세부적인 정보들은 달라지는 것을 설명하기 위한 도면이다.
도 6은 본 발명과 관련하여, 굴절각 정보를 이용하여 이종 및 동종센서 간 수행해야 할 캘리브레이션을 자동화한 시스템의 일례를 도시한 것이다.
도 7은 본 발명과 관련하여, 굴절차량의 다중센서 캘리브레이션 자동화 방법을 설명하는 순서도 일례를 도시한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 의도는 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 직접 연결되어 있다거나 직접 접속되어 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
자율주행차량은 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 정밀한 지도, 위성항법시스템(GPS) 등 차량의 각종 센서로 상황을 파악해 스스로 목적지까지 찾아가는 차량을 말한다.
자율주행 시장은 2020년부터 본격적인 성장세에 진입할 것으로 전망되고 있다.
시장조사업체 네비건트리서치에 따르면 세계 자율주행차 시장은 2020년 전체 자동차 시장의 2%인 2000억달러를 차지한 뒤 2035년까지 1조2000억달러에 달할 것으로 추정된다.
자율주행 자동차가 실현되기 위해선 여러 가지의 기술이 필요할 수 있는데, 차간 거리를 자동으로 유지해 주는 HDA 기술, 차선이탈 경보 시스템(LDWS), 차선유지 지원 시스템(LKAS), 후측방 경보 시스템(BSD), 어드밴스트 스마트 크루즈 컨트롤(ASCC), 자동 긴급제동 시스템(AEB) 등이 필요하다.
여기서 자율주행 차량은 미리 정해진 경로에 따라 안정적으로 운행되어야 하고, 특정 이벤트 발생시에도 해당 이벤트에 대응하는 바이패스 운행을 통해 안정적 서비스 기술을 제공하여야 한다.
특히, 굴절차량의 자율주행을 위해 측면의 사물을 사각지대 없이 인지하기 위해서는 전후량에 인지센서의 부착이 필요하다는 문제점이 있다.
또한, 굴절차량은 좌우 회전 시 전후량 사이 각도가 변화하고 이에 따라 자율주행 인지를 위해 측면에 부착된 전량, 후량 센서들 간에 상대적 위치가 운행중 지속적으로 변화한다는 문제점이 있다.
따라서 본 발명은 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법에 관한 것으로, 굴절차량의 복수의 차량 간의 굴절각을 측정하여 동종 및 이종 센서 퓨전, 캘리브레이션, 매칭 등을 자동화하는 장치, 시스템 및 방법을 사용자에게 제공하고자 한다.
구체적으로 본 발명은 굴절차량의 다중센서 운영을 위해 굴절각을 이용하여 센서 초기설정을 수행하고, 초기설정 수행을 자동화하기 위해 설정에 필요한 정보들을 LUT로 만들고 이를 참조하여 센서 데이터의 스티칭 및 매핑하며, 센서퓨전에 활용하고, 인지센서의 수량 증가에도 LUT를 확장할 수 있는 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법을 사용자에게 제공하고자 한다.
본 발명의 구체적인 설명에 앞서, 본 발명에 적용되는 자율주행차량에 대해 구체적으로 설명한다.
도 1은 본 발명에 따른 자율주행차량에 대한 블록구성도의 일례를 도시한 것이다.
도 1을 참조하면, 자율주행차량(100)는 무선 통신부(110), 구동부(120), 제동부(130), 센싱부(140), 출력부(150), 메모리(160), 제어부(180), 전원공급부(190) 등을 포함할 수 있다.
단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 자율주행차량(100)이 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 자율주행차량(100)과 무선 통신 시스템 사이 또는 기기와 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
무선 통신부(110)는 근거리 통신 또는 원거리 통신을 통해 외부의 기기와 통신을 수행할 수 있다.
여기서 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(UltraWideband), ZigBee 기술을 포함할 수 있다.
또한, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
또한, 도 1을 참조하면, 구동부(120)는 자율주행차량(100) 즉, 이동체를 구동시키는 기능을 제공한다.
즉, 모터, 인버터 등의 구성들을 기초로 자율주행차량(100)을 이동시키는 원동력을 제공할 수 있다.
또한, 도 1을 참조하면, 제동부(130)는 자율주행차량(100)의 이동을 중지시키는 브레이킹 기능을 제공하는 구성이다.
제동부(130)는, 운전자의 조작력이나 보조동력 따위를 이용해 제동에 필요한 힘을 발생시키는 제동력 발생장치, 제동력 발생장치에서 발생한 힘을 이용해 차량의 속도를 줄이거나, 차량을 직접 정지시키는 제동장치, 제동력 발생장치에서 발생한 힘을 제동장치에 전달하는 부수장치 등으로 구성될 수 있다.
제동력 발생장치에는 진공, 유압, 공기 브레이크 등 보조동력과 마스터 실린더, 부스터 등이 속하고, 제동장치에는 드럼, 디스크 브레이크 등이 속하며, 부수장치에는 진공펌프와 에어 컴프레셔 등이 속할 수 있다.
제동부(130)는 자동차의 주행 속도를 낮추거나 급정차하는 데 필요한 제동브레이크, 주차 또는 정차 상태를 유지하거나 비탈길에서 주정차한 자동차가 미끄러지지 않도록 하는 주차브레이크, 비탈길을 내려갈 때 속도를 제어하는 보조브레이크 따위로 분류된다. 또 마찰 방식에 따라 마찰식과 비마찰식으로 나뉠 수도 있다.
전자에는 주차, 중앙, 휠, 상용, 유압, 공기 브레이크 등이, 후자에는 감속, 배기, 엔진, 전자식, 유체식 브레이크 등이 있다.
또한, 센싱부(140)는 자율주행차량(100)의 개폐 상태, 자율주행차량(100)의 위치, 자율주행차량(100)의 방위, 자율주행차량(100)의 가속/감속 등과 같이 자율주행차량(100)의 현 상태를 감지하여 자율주행차량(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센싱부(140)는 전원 공급부(190)의 전원 공급 여부 을 센싱할 수도 있다.
본 발명에 따른 센싱부(140)는 근접 센서, 초음파 센서, 거리 센서 등을 더 포함할 수도 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152) 등이 포함될 수 있다.
디스플레이부(151)는 자율주행차량(100)에서 처리되는 정보를 표시(출력)한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 자율주행차량(100) 바디의 디스플레이부(151)가 차지하는 영역을 통해 자율주행차량(100) 바디의 후방에 위치한 사물을 볼 수 있다.
자율주행차량(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 자율주행차량(100)의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력 모듈(152)은 자율주행차량(100)에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 자율주행차량(100)은 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을
또한, 제어부(controller, 180)는 통상적으로 자율주행차량(100)의 전반적인 동작을 제어한다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
한편, 도 2는 본 발명과 관련하여, 굴절버스의 각 구성요소와 관련된 구체적 블록구성도의 일례를 도시한 것이다.
도 2를 참조하면, 2개의 차량(100a, 100b)을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량(1)이 도시된다.
2개의 차량(100a, 100b) 중 제 1 차량(100a)은, 제 1 차량(100a)의 위치정보를 획득하는 제 1 GPS(111a), 자율주행차량(100a) 주변의 정보를 수집하는 복수의 제 1 인지센서(141a, 142a, 143a), 복수의 제 1 인지센서가 획득한 정보를 수집 및 처리함으로써, 상기 자율주행차량 주변의 객체의 종류 및 위치 중 적어도 하나를 포함하는 제 1 정보를 생성하는 제 1 처리부(180a) 및 제 1 처리부(180a)로부터 상기 제 1 정보를 전달받고, 상기 제 1 GPS(111a)로부터 상기 제 1 차량의 위치정보를 전달받는 자율주행 제어부(200)를 포함할 수 있다.
또한, 2개의 차량(100a, 100b) 중 제 2 차량(100b)은, 제 2 차량(100b)의 위치정보를 획득하는 제 2 GPS(111b), 자율주행차량 주변의 정보를 수집하는 복수의 제 2 인지센서(141b, 142b, 143b), 복수의 제 2 인지센서가 획득한 정보를 수집 및 처리함으로써, 상기 자율주행차량 주변의 객체의 종류 및 위치 중 적어도 하나를 포함하는 제 2 정보를 생성하는 제 2 처리부(180b)를 포함할 수 있다.
또한, 제 1 차량(100a)의 자율주행 제어부(200)는, 제 2 처리부(180b)로부터 상기 제 2 정보를 전달받고, 제 2 GPS(111b)로부터 상기 제 2 차량의 위치정보를 전달받으며, 제 1 차량(100a)의 위치정보와 상기 제 2 차량(100b)의 위치정보를 기초로, 상기 제 1 정보와 상기 제 2 정보의 시간을 동기화하고, 동기화된 제 1 정보와 제 2 정보를 함께 이용하여 상기 자율주행차량(100)의 운행을 제어할 수 있다.
굴절차량은 2량 1편성으로 최대 100인승이고, 2량을 연결한 차량으로 길이가 길어서 자율주행을 위한 인지 센서의 개수도 그만큼 증가하며, 인지센서를 한꺼번에 처리하기에는 시스템 처리 용량에 무리가 있다는 문제점을 본 발명은 해결할 수 있다.
즉, 전량과 후량에 인치센서 처리 시스템을 별도로 구성하고, 이로부터 정보를 받아 판단 및 제어를 수행하고, 인지센서 처리 시스템에서는 센서정보를 가지고 객체의 종류, 위치정보를 추출하며, 전량과 후량의 GPS 신호를 각각 이용하여 두시스템의 시간 동기화를 통해 이를 해소할 수 있다.
한편, 복수의 제 1 인지센서(141a, 142a, 143a) 및 복수의 제 2 인지센서(141b, 142b, 143b)는, 적어도 하나의 카메라, 적어도 하나의 라이다 및 적어도 하나의 레이더를 포함할 수 있다.
종래 기술에 따르면, 굴절부가 없는 차량에서는 초기 설정이 완료되면 운행 중에는 센서위치 등의 변화가 없고, 굴절차량에서는 굴절각에 따라 센서 위치에 따른 초기설정과 관련된 값들이 지속적으로 변화하는 문제점이 있다.
따라서 센서정보 처리부에 굴절각 정보의 전달 또는 직접 추정이 필요하고, 본 발명은, 추정된 굴절각 정보를 이용하여 이종 및 다중센선 간 위치를 추정하고 해당 정보를 이용하여 센서 퓨전을 위한 초기설정을 자동화하는 장치에 대한 것이다.
구체적으로 본 발명은, 굴절각을 측정하여 동종 및 이종 센서 퓨전, 캘리브레이션, 매칭 등을 자동화하는 장치로서, 다중센서 캘리브레이션 시스템은 기능에 따라 굴절각 추정부, 동종센서 스티칭부, 이종센서 매칭부를 포함할 수 있다.
또한, 도 3은 본 발명과 관련하여, 자율주행차량의 제어부의 구체적 구성을 설명하는 블록구성도의 일례를 도시한 것이다.
도 3을 참조하면, 2개의 차량을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량(100)은, 추정부(181), 동종센서 스티칭부(182), 이종센서 매칭부(183), 센서퓨전 사물 검출부(184) 등을 포함할 수 있다.
먼저, 추정부(181)는, 2개의 차량 중 제 1 차량의 위치를 기준으로, 제 2 차량의 위치가 휘어진 정도를 나타내는 굴절각을 산출할 수 있다.
또한, 스티칭부(182)는, 복수의 동종센서로부터 획득된 제 1 데이터를 전달 받고, 상기 제 1 데이터 상의 중복영역을 제거하고, 상기 산출된 굴절각을 기초로 왜곡을 보정하며, 상기 중복영역의 제거 및 보정 작업이 완료된 데이터의 경계를 잇는 작업을 통해, 제 2 데이터를 생성할 수 있다.
또한, 매칭부(183)는, 복수의 이종센서로부터 획득된 제 3 데이터를 전달 받고, 상기 산출된 굴절각을 이용하여 왜곡을 보정하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 통해, 제 4 데이터를 생성할 수 있다.
또한, 검출부(184)는, 굴절각 정보, 상기 제 2 데이터 및 상기 제 4 데이터 중 적어도 하나를 이용하여 상기 자율주행차량 주변의 적어도 하나의 객체를 식별할 수 있다.
여기서 굴절각은, 상기 자율주행차량(100)의 운행에 의해 변화되고, 추정부(181)는, 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 굴절각을 산출할 수 있다.
또한, 굴절각 추정부(181)에서는 센서에서 고정데이터로 취득되는 차량 특징점을 이용하여 굴절각을 추정하고, 스티칭부(182)에서는 동종센서 데이터 간에 중복영역을 제거하고 경계를 이어 붙이는 작업을 수행하는데, 스티칭 경계선은 도 4와 같이, 굴절각에 따라서 달라질 수 있다.
도 4는 본 발명과 관련하여, 중복영역이 넓어질수록 스티칭된 영상의 왜곡이 심해지는 것을 설명하기 위한 도면이다.
중복영역이 넓어질수록 스티칭된 영상의 왜곡이 심해지는 것에 대한 보정 역시 굴절각 정보를 이용하여 수행할 수 있다.
매칭부(183)에서는 이종센서 간 퓨전의 전 단계로 각 센서가 취득한 데이터가 동일지점이 동일사물을 지칭하도록 시점을 일치시키는 작업을 수행한다.
도 5는 본 발명과 관련하여, 센서에 따라 동일한 사물에 대한 데이터를 취득하더라도 그 모양이나 크기 등 세부적인 정보들은 달라지는 것을 설명하기 위한 도면이다.
도 5에 도시된 것과 같이, 센서에 따라 동일한 사물에 대한 데이터를 취득하더라도 그 모양이나 크기 등 세부적인 정보들은 달라질 수 있다.
센서퓨전의 성능을 향상시키기 위해서는 이종센서라도 동일지점이 동일사물을 지칭하도록 매칭하는 작업이 필요하다.
이를 위해 특징점 정보를 이용하여 동일사물에 대해 동일지점을 가르치도록 매칭 작업을 수행할 수 있다.
이때, 매칭을 위한 트랜스폼 매트릭스(transform matrix)는 굴절각에 따라 달라지므로 굴절각 정보를 이용하여 효율적으로 매칭 작업을 수행할 수 있다.
또한, 센서퓨전 사물 검출부(184)는 다중센서 데이터로부터 사물을 검출하는데 이종 센서를 활용하여 검출하거나 동종센서를 통해 검출 후 종합판단에 퓨전을 이용할 수도 있다.
한편, 본 발명에 따른 스티칭부(182)는, 미리 상기 굴절각에 따른 스티칭 영역 정보를 Lookup Table(LUT)로 만들어 저장하고, 제 2 데이터의 생성에 있어, 상기 LUT를 추가적으로 이용할 수 있다.
또한, 매칭부(183)는, 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 산출된 굴절각에 따라 달라지는 트랜스폼 매트릭스(transform matrix)를 이용하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 수행할 수 있다.
도 6은 본 발명과 관련하여, 굴절각 정보를 이용하여 이종 및 동종센서 간 수행해야 할 캘리브레이션을 자동화한 시스템의 일례를 도시한 것이다.
도 6에 도시된 것과 같이, 캘리브레이션 자동화 시스템은 굴절각 정보를 이용하여 이종 및 동종센서 간 수행해야할 캘리브레이션을 자동화 할 수 있다.
도 6에서 인지센서1-1(311), 1-2(312)는 동종센서, 인지센서 2-1(321), 2-2(322)는 동종센서이며 인지센서1, 2는 서로 이종센서이다.
각 동종센서 간에 스티칭 수행시 굴절각에 따른 스티칭 영역 정보를 Lookup Table(LUT)로 만들어두고 참조해서 스티칭을 수행한다.
또한, 이종센서간 매칭 수행 시에도 굴절각에 따른 왜곡정보를 참조한다.
또한, 본 발명에 따르면 인지센서의 수가 늘어나면 해당 센서에 대한 LUT만 추가하여 확장이 가능하다.
한편, 도 7은 본 발명과 관련하여, 굴절차량의 다중센서 캘리브레이션 자동화 방법을 설명하는 순서도 일례를 도시한 것이다.
도 7을 참조하면, 2개의 차량을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량의 제어방법은, 가장 먼저, 추정부가 상기 2개의 차량 중 제 1 차량의 위치를 기준으로, 제 2 차량의 위치가 휘어진 정도를 나타내는 굴절각을 산출하는 제 1 단계(S10)을 수행한다.
또한, 스티칭부가 복수의 동종센서로부터 획득된 제 1 데이터를 전달 받고, 상기 제 1 데이터 상의 중복영역을 제거하고, 상기 산출된 굴절각을 기초로 왜곡을 보정하며, 상기 중복영역의 제거 및 보정 작업이 완료된 데이터의 경계를 잇는 작업을 통해, 제 2 데이터를 생성하는 제 2 단계(S20)을 수행한다.
또한, 매칭부가 복수의 이종센서로부터 획득된 제 3 데이터를 전달 받고, 상기 산출된 굴절각을 이용하여 왜곡을 보정하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 통해, 제 4 데이터를 생성하는 제 3 단계(S30)를 수행한다.
또한, 검출부가 상기 굴절각 정보, 상기 제 2 데이터 및 상기 제 4 데이터 중 적어도 하나를 이용하여 상기 자율주행차량 주변의 적어도 하나의 객체를 식별하는 제 4 단계(S40)를 수행한다.
여기서, 굴절각은, 상기 자율주행차량의 운행에 의해 변화되고, 상기 제 1 단계에서, 상기 추정부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 굴절각을 산출할 수 있다.
또한, 상기 제 2 단계에서, 상기 스티칭부는, 미리 상기 굴절각에 따른 스티칭 영역 정보를 Lookup Table(LUT)로 만들어 저장하고, 상기 제 2 데이터의 생성에 있어, 상기 LUT를 추가적으로 이용할 수 있다.
또한, 상기 제 3 단계에서, 상기 매칭부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 산출된 굴절각에 따라 달라지는 트랜스폼 매트릭스(transform matrix)를 이용하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 수행할 수 있다.
전술한 본 발명은 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법에 관한 것으로, 굴절차량의 복수의 차량 간의 굴절각을 측정하여 동종 및 이종 센서 퓨전, 캘리브레이션, 매칭 등을 자동화하는 장치, 시스템 및 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명은 굴절차량의 다중센서 운영을 위해 굴절각을 이용하여 센서 초기설정을 수행하고, 초기설정 수행을 자동화하기 위해 설정에 필요한 정보들을 LUT로 만들고 이를 참조하여 센서 데이터의 스티칭 및 매핑하며, 센서퓨전에 활용하고, 인지센서의 수량 증가에도 LUT를 확장할 수 있는 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법을 사용자에게 제공할 수 있다.
한편, 상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (8)

  1. 2개의 차량을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량에 있어서,
    상기 2개의 차량 중 제 1 차량의 위치를 기준으로, 제 2 차량의 위치가 휘어진 정도를 나타내는 굴절각을 산출하는 추정부;
    복수의 동종센서로부터 획득된 제 1 데이터를 전달 받고, 상기 제 1 데이터 상의 중복영역을 제거하고, 상기 산출된 굴절각을 기초로 왜곡을 보정하며, 상기 중복영역의 제거 및 보정 작업이 완료된 데이터의 경계를 잇는 작업을 통해, 제 2 데이터를 생성하는 스티칭부;
    복수의 이종센서로부터 획득된 제 3 데이터를 전달 받고, 상기 산출된 굴절각을 이용하여 왜곡을 보정하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 통해, 제 4 데이터를 생성하는 매칭부; 및
    상기 굴절각 정보, 상기 제 2 데이터 및 상기 제 4 데이터 중 적어도 하나를 이용하여 상기 자율주행차량 주변의 적어도 하나의 객체를 식별하는 검출부;를 포함하고,

    상기 굴절각은, 상기 자율주행차량의 운행에 의해 변화되고,
    상기 추정부는,
    상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 굴절각을 산출하며,

    상기 스티칭부는,
    미리 상기 굴절각에 따른 스티칭 영역 정보를 Lookup Table(LUT)로 만들어 저장하고,
    상기 제 2 데이터의 생성에 있어, 상기 LUT를 추가적으로 이용하고,

    상기 매칭부는,
    상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 산출된 굴절각에 따라 달라지는 트랜스폼 매트릭스(transform matrix)를 이용하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 수행하는 것을 특징으로 하는 자율주행차량.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 2개의 차량을 굴절마디로 연결해 곡선도로에서도 휘어지면서 달릴 수 있도록 만든 자율주행차량의 제어방법에 있어서,
    추정부가 상기 2개의 차량 중 제 1 차량의 위치를 기준으로, 제 2 차량의 위치가 휘어진 정도를 나타내는 굴절각을 산출하는 제 1 단계;
    스티칭부가 복수의 동종센서로부터 획득된 제 1 데이터를 전달 받고, 상기 제 1 데이터 상의 중복영역을 제거하고, 상기 산출된 굴절각을 기초로 왜곡을 보정하며, 상기 중복영역의 제거 및 보정 작업이 완료된 데이터의 경계를 잇는 작업을 통해, 제 2 데이터를 생성하는 제 2 단계;
    매칭부가 복수의 이종센서로부터 획득된 제 3 데이터를 전달 받고, 상기 산출된 굴절각을 이용하여 왜곡을 보정하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 통해, 제 4 데이터를 생성하는 제 3 단계; 및
    검출부가 상기 굴절각 정보, 상기 제 2 데이터 및 상기 제 4 데이터 중 적어도 하나를 이용하여 상기 자율주행차량 주변의 적어도 하나의 객체를 식별하는 제 4 단계;를 포함하고,

    상기 굴절각은, 상기 자율주행차량의 운행에 의해 변화되고,
    상기 제 1 단계에서, 상기 추정부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 굴절각을 산출하며,

    상기 제 2 단계에서, 상기 스티칭부는, 미리 상기 굴절각에 따른 스티칭 영역 정보를 Lookup Table(LUT)로 만들어 저장하고, 상기 제 2 데이터의 생성에 있어, 상기 LUT를 추가적으로 이용하고,

    상기 제 3 단계에서, 상기 매칭부는, 상기 자율주행차량의 운행에 의해 변화되지 않는 상기 2개의 차량 각각의 고정된 데이터를 기반으로, 상기 산출된 굴절각에 따라 달라지는 트랜스폼 매트릭스(transform matrix)를 이용하여, 상기 제 3 데이터가 동일지점에서 동일사물을 지칭하도록 시점을 일치시키는 작업을 수행하는 것을 특징으로 하는 자율주행차량의 제어방법.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020210031479A 2021-03-10 2021-03-10 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법 KR102414764B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210031479A KR102414764B1 (ko) 2021-03-10 2021-03-10 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031479A KR102414764B1 (ko) 2021-03-10 2021-03-10 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102414764B1 true KR102414764B1 (ko) 2022-07-04

Family

ID=82399164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031479A KR102414764B1 (ko) 2021-03-10 2021-03-10 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102414764B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873472B1 (ko) 2006-10-30 2008-12-15 한국전자통신연구원 무선 인식 기술을 이용한 위치 정보 제공 및 정보 수집장치 및 그 방법
KR101017604B1 (ko) 2009-10-16 2011-02-28 한국과학기술원 온라인 전기 자동차의 위치 인식 시스템
US20130236858A1 (en) * 2012-03-08 2013-09-12 Industrial Technology Research Institute Surrounding bird view monitoring image generation method and training method, automobile-side device, and training device thereof
US20150286878A1 (en) * 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
JP2020150306A (ja) * 2019-03-11 2020-09-17 いすゞ自動車株式会社 表示制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873472B1 (ko) 2006-10-30 2008-12-15 한국전자통신연구원 무선 인식 기술을 이용한 위치 정보 제공 및 정보 수집장치 및 그 방법
KR101017604B1 (ko) 2009-10-16 2011-02-28 한국과학기술원 온라인 전기 자동차의 위치 인식 시스템
US20130236858A1 (en) * 2012-03-08 2013-09-12 Industrial Technology Research Institute Surrounding bird view monitoring image generation method and training method, automobile-side device, and training device thereof
US20150286878A1 (en) * 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
JP2020150306A (ja) * 2019-03-11 2020-09-17 いすゞ自動車株式会社 表示制御装置

Similar Documents

Publication Publication Date Title
US20200160702A1 (en) System and method for driving assistance along a path
KR101850324B1 (ko) 램프 및 자율 주행 차량
KR101838968B1 (ko) 차량용 운전 보조 장치
US10133280B2 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
KR102275507B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10431069B2 (en) Apparatus, method and mobile terminal for providing object loss prevention service in vehicle
CN109507994B (zh) 安装在车辆上的车辆控制装置以及控制该车辆的方法
US10421391B2 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
KR102387614B1 (ko) 차량 운전 보조 장치 및 차량
KR20190041172A (ko) 자율주행 차량 및 그 제어 방법
KR20190041173A (ko) 자율주행 차량 및 그 제어 방법
US10768618B2 (en) Vehicle driving control apparatus and vehicle driving method
KR20180124685A (ko) 자율주행 차량 및 그 제어 방법
CN113844450A (zh) 调整超车触发器以阻止被围堵驾驶情形的系统和方法
KR101916427B1 (ko) 차량용 레이더 장치
JP2024518934A (ja) 車両ナビゲーション中の光干渉検出
KR102469413B1 (ko) 굴절버스 차량의 자율주행을 위한 제어 시스템 및 방법
KR102414764B1 (ko) 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법
KR101459493B1 (ko) 차량 전자 제어 장치 및 차량 제어방법
KR20190065043A (ko) 차량의 운행 시스템
KR102041682B1 (ko) 태그를 이용한 자율주행차량의 제어 시스템 및 그 제어방법
KR102188269B1 (ko) 카메라 줌 배율의 조정 방법
KR20190019681A (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20220088711A (ko) 차량용 디스플레이 장치 및 그 제어 방법
US11935200B2 (en) System and method for displaying infrastructure information on an augmented reality display

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant