KR102338989B1 - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR102338989B1
KR102338989B1 KR1020150179748A KR20150179748A KR102338989B1 KR 102338989 B1 KR102338989 B1 KR 102338989B1 KR 1020150179748 A KR1020150179748 A KR 1020150179748A KR 20150179748 A KR20150179748 A KR 20150179748A KR 102338989 B1 KR102338989 B1 KR 102338989B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
clustering
objects
acquired
Prior art date
Application number
KR1020150179748A
Other languages
English (en)
Other versions
KR20170071728A (ko
Inventor
오영철
신기철
유병용
허명선
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150179748A priority Critical patent/KR102338989B1/ko
Publication of KR20170071728A publication Critical patent/KR20170071728A/ko
Application granted granted Critical
Publication of KR102338989B1 publication Critical patent/KR102338989B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 실시예는 거리센서에서 획득한 데이터를 영상센서에서 획득한 이미지를 이용하여 물체 별로 구분하여 군집화하는 차량 및 그 제어방법을 제공한다. 일 실시예에 따른 차량은 거리센서; 차량 주변의 이미지를 획득하도록 마련된 영상센서; 및 상기 거리센서에서 획득한 데이터 중 제1영역에 포함된 데이터에 대한 1차 군집화를 수행하여 제1오브젝트를 생성하고, 상기 영상센서에서 획득한 이미지 중 상기 제1오브젝트에 대응되는 오브젝트를 분류하고, 상기 분류된 오브젝트에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행하여 제2오브젝트를 생성하는 프로세서;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROLLING METHOD FOR THE VEHICLE}
개시된 실시예는 차량에 관한 것이다.
일반적으로 운전 보조 장치들은 적응형 크루즈 컨트롤(ACC; Adaptive Cruise Control)과 같이 종방향에 대한 운전을 보조하거나, 차선 이탈 경보 시스템(LDWS; Lane Departure Warning System)이나 차선 유지 보조 시스템(LKAS; Lane Keeping Assist System)처럼 횡방향에 대해 운전을 보조하는 기능을 제공한다.
최근에는 운전자의 개입없이 차량을 종/횡방향으로 자동으로 제어하는 자율 주행 차량이 개발되고 있다.
개시된 실시예는 거리센서에서 획득한 데이터를 영상센서에서 획득한 이미지를 이용하여 물체 별로 구분하여 군집화하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은 거리센서; 차량 주변의 이미지를 획득하도록 마련된 영상센서; 및 상기 거리센서에서 획득한 데이터 중 제1영역에 포함된 데이터에 대한 1차 군집화를 수행하여 제1오브젝트를 생성하고, 상기 영상센서에서 획득한 이미지 중 상기 제1오브젝트에 대응되는 오브젝트를 분류하고, 상기 분류된 오브젝트에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행하여 제2오브젝트를 생성하는 프로세서;를 포함한다.
또한, 상기 제1영역은 상기 거리센서로부터 미리 정해진 제1기준거리 이내의 영역을 포함할 수 있다.
또한, 상기 프로세서는, 상기 영상센서의 FOV(Field Of View) 및 해상도에 기초하여 상기 제1영역을 결정할 수 있다.
또한, 상기 프로세서는, 상기 제1오브젝트를 상기 영상센세에서 획득한 이미지의 대응되는 오브젝트에 맵핑할 수 있다.
또한, 상기 프로세서는, 상기 이미지에서 맵핑된 오브젝트를 분류하고, 분류된 오브젝트의 크기를 추정할 수 있다.
또한, 상기 프로세서는, 상기 분류된 오브젝트의 추정된 크기에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행할 수 있다.
또한, 상기 프로세서는, 상기 분류 결과 단일 오브젝트로 결정된 오브젝트에 대응되는 제1오브젝트가 두 개 이상인 경우, 상기 두 개 이상의 제1오브젝트를 하나의 오브젝트로 합하는 2차 군집화를 수행할 수 있다.
또한, 상기 프로세서는, 상기 분류 결과 적어도 두 개 이상의 오브젝트로 결정된 오브젝트에 대응되는 제1오브젝트가 단일 오브젝트인 경우, 상기 단일 오브젝트를 적어도 두 개 이상의 오브젝트로 분리하는 2차 군집화를 수행할 수 있다.
또한, 상기 프로세서는, 상기 제2오브젝트가 생성되면, 상기 제2오브젝트를 제거하고, 상기 거리센서를 기준으로 상기 제1영역보다 먼 거리에서 획득된 데이터에 대한 군집화를 수행할 수 있다.
일 실시예에 따른 차량의 제어방법은 거리센서에서 획득한 데이터 중 제1영역에 포함된 데이터에 대한 1차 군집화를 수행하여 제1오브젝트를 생성하고; 영상센서에서 획득한 이미지 중 상기 제1오브젝트에 대응되는 오브젝트를 분류하고; 상기 분류된 오브젝트에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행하여 제2오브젝트를 생성하는 것;을 포함한다.
또한, 상기 영상센서의 FOV(Field Of View) 및 해상도에 기초하여 상기 제1영역을 결정하는 것;을 더 포함할 수 있다.
또한, 상기 제1오브젝트를 상기 영상센세에서 획득한 이미지의 대응되는 오브젝트에 맵핑하는 것;을 더 포함할 수 있다.
또한, 영상센서에서 획득한 이미지 중 상기 제1오브젝트에 대응되는 오브젝트를 분류하는 것은, 상기 이미지에서 맵핑된 오브젝트를 분류하고; 상기 분류된 오브젝트의 크기를 추정하는 것;을 포함할 수 있다.
또한, 상기 분류된 오브젝트에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행하여 제2오브젝트를 생성하는 것은, 상기 분류된 오브젝트의 추정된 크기에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행하여 제2오브젝트를 생성하는 것;을 포함할 수 있다.
또한, 상기 분류된 오브젝트에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행하여 제2오브젝트를 생성하는 것은, 상기 분류 결과 단일 오브젝트로 결정된 오브젝트에 대응되는 제1오브젝트가 두 개 이상인 경우, 상기 두 개 이상의 제1오브젝트를 하나의 오브젝트로 합하는 2차 군집화를 수행하는 것;을 포함할 수 있다.
또한, 상기 분류된 오브젝트에 기초하여 상기 제1오브젝트에 대한 2차 군집화를 수행하여 제2오브젝트를 생성하는 것은, 상기 분류 결과 적어도 두 개 이상의 오브젝트로 결정된 오브젝트에 대응되는 제1오브젝트가 단일 오브젝트인 경우, 상기 단일 오브젝트를 적어도 두 개 이상의 오브젝트로 분리하는 2차 군집화를 수행하는 것;을 포함할 수 있다.
또한, 상기 제2오브젝트가 생성되면, 상기 제2오브젝트를 제거하고; 상기 거리센서를 기준으로 상기 제1영역보다 먼 거리에서 획득된 데이터에 대한 군집화를 수행하는 것;을 더 포함할 수 있다.
개시된 실시예에 따른 차량 및 그 제어방법에 따르면, 거리센서의 군집화 성능이 향상되어, 차량 주변의 물체를 보다 정확하게 구분하여 인식할 수 있다.
도 1은 일 실시예에 따른 차량의 외관도이다.
도 2는 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이다.
도 3은 일 실시예에 따른 차량의 제어 블록도이다.
도 4는 일 실시예에 따른 차량의 거리센서에서 획득한 데이터의 제1영역을 나타낸 도면이다.
도 5는 일 실시예에 따른 차량의 거리센서에서 획득한 데이터에 1차 군집화를 수행한 도면이다.
도 6은 도 5의 군집화의 결과를 일 실시예에 따른 차량의 영상센서에서 획득한 이미지에 맵핑한 것을 나타낸 도면이다.
도 7은 도 6의 맵핑 결과에 기초하여 일 실시예에 따른 차량의 거리센서에서 획득한 데이터에 2차 군집화를 수행한 결과는 나타낸 도면이다.
도 8은 일 실시예에 따른 차량의 거리센서에서 획득한 데이터에 2차 군집화를 수행한 다른 예를 나타낸 도면이다.
도 9는 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량의 외관도이고, 도 2는 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(100)은 차량(100)의 외관을 형성하는 본체(1), 차량(100)을 이동시키는 차륜(51, 52), 차륜(51, 52)을 회전시키는 구동 장치(80), 차량(100) 내부를 외부로부터 차폐시키는 도어(71), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함한다.
차륜(51, 52)은 차량(100)의 전방에 마련되는 전륜(51), 차량(100)의 후방에 마련되는 후륜(52)을 포함한다.
구동 장치(80)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 포함할 수 있다.
도어(71)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다.
윈드쉴드 글래스(windshield glass)라고 불리는 전면 유리(30)는 본체(100)의 전방 상측에 마련된다. 차량(100) 내부의 운전자는 전면 유리(30)를 통해 차량(100)의 전방을 볼 수 있다. 또한, 사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함한다. 차량(100) 내부의 운전자는 사이드 미러(81, 82)를 통해 차량(100)의 측면 및 후방의 상황을 눈으로 확인할 수 있다.
이외에도 차량(100)은 차량(100) 주변의 장애물 등을 감지하여 차량(100) 주변의 상황을 운전자가 인식할 수 있도록 도움을 주는 다양한 센서를 포함할 수 있다. 또한, 차량(100)은 차량의 속도 등과 같은 차량의 주행정보를 감지할 수 있는 다양한 센서를 포함할 수 있다. 또한, 차량은 차선 등을 포함하는 차량의 주변 환경에 대한 영상을 획득하는 센서를 포함할 수 있다. 차량(100)의 주행정보나 차량(100) 주변의 상황을 감지할 수 있는 다양한 센서들에 대해서는 후술하도록 한다.
도 2에 도시된 바를 참조하면 차량(100)은 기어박스(120), 센터페시아(130), 스티어링 휠(140) 및 계기판(150) 등이 마련된 대시보드(dashboard)를 포함할 수 있다.
기어박스(120)에는 차량 변속을 위한 기어 레버(121)가 설치될 수 있다. 또한, 도면에 도시된 것처럼, 기어박스에는 사용자가 네비게이션(10)이나 오디오 장치(133) 등을 포함하는 멀티미디어 장치의 기능이나 차량(100)의 주요 기능의 수행을 제어할 수 있도록 마련된 다이얼 조작부(111)와 다양한 버튼들을 포함하는 입력부(110)가 설치될 수 있다.
센터페시아(130)에는 공조 장치(132), 오디오 장치(133) 및 네비게이션(10) 등이 설치될 수 있다.
공조 장치는 차량(100) 내부의 온도, 습도, 공기의 청정도, 공기의 흐름을 조절하여 차량(100)의 내부를 쾌적하게 유지한다. 공조 장치는 센터페시아(130)에 설치되고 공기를 토출하는 적어도 하나의 토출구를 포함할 수 있다. 센터페시아(130)에는 공조 장치 등을 제어하기 위한 버튼이나 다이얼 등이 설치될 수 있다. 운전자 등의 사용자는 센터페시아(130)에 배치된 버튼이나 다이얼을 이용하여 차량(100)의 공조 장치를 제어할 수 있다. 물론 기어박스(120)에 설치된 입력부(110)의 버튼들이나 다이얼 조작부(111)를 통해 공조장치를 제어할 수도 있다.
실시예에 따라서 센터페시아(130)에는 네비게이션(10)이 설치될 수 있다. 네비게이션(10)은 차량(100)의 센터페시아(130) 내부에 매립되어 형성될 수 있다. 일 실시예에 의하면 센터페시아(130)에는 네비게이션(10)을 제어하기 위한 입력부가 설치될 수도 있다. 실시예에 따라서 네비게이션(10)의 입력부는 센터페시아(130)가 아닌 다른 위치에 설치될 수도 있다. 예를 들어 네비게이션(10)의 입력부는 네비게이션(10)의 디스플레이(300) 주변에 형성될 수도 있다. 또한 다른 예로 네비게이션(10)의 입력부는 기어 박스(120) 등에 설치될 수도 있다.
스티어링 휠(140)은 차량(100)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림(141) 및 차량(100)의 조향 장치와 연결되고 림(141)과 조향을 위한 회전축의 허브를 연결하는 스포크(142)를 포함할 수 있다. 실시예에 따라서 스포크(142)에는 차량(100) 내의 각종 장치, 일례로 오디오 장치 등을 제어하기 위한 조작 장치(142a, 142b)가 마련될 수 있다. 또한 대시보드에는 차량(100)의 주행 속도, 엔진 회전수 또는 연료 잔량 등을 표시할 수 있는 각종 계기판(150)이 설치될 수 있다. 계기판(150)은 차량 상태, 차량 주행과 관련된 정보, 멀티미디어 장치의 조작과 관련된 정보 등을 표시하는 계기판 디스플레이(151)를 포함할 수 있다.
운전자는 대시보드에 마련된 전술한 다양한 장치들을 조작하여 차량(100)을 운행할 수 있다. 차량(100)에는 도 2에 도시된 것과 같이 차량(100)의 운행을 위해 운전자가 조작할 수 있는 장치들 외에도 차량(100)의 주행을 위해 필요한 차량(100) 외부의 정보나 차량(100) 자체의 주행정보들을 감지할 수 있는 다양한 센서들이 마련될 수 있다.
개시된 실시예에 따른 차량은 다양한 센서에서 감지한 정보에 기초하여 운전자의 개입없이 자율 주행을 수행할 수 있다. 특히, 거리센서에서 획득하는 주변 차량이나 기타 도로 구조물 등과의 거리정보는 자율주행의 수행에 필요한 기본적인 정보 중 하나이다. 개시된 실시예에 따른 거리센서는 라이다를 포함하는데, 라이다는 송신한 적외선 신호와 물체로부터 반사된 신호와의 시간차이를 이용하여 거리를 측정하는 센서이다. 라이다는 정밀한 분해능을 가지고 있어 측정 물체의 형태, 크기, 속도 등을 측정하는데 우수한 성능을 보인다. 하지만, 라이다는 거리 정보만을 이용하여 물체의 정보를 측정하기 때문에 포인트 형태의 데이터를 군집화하여 오브젝트를 생성하는 과정에서 다수의 물체가 뭉쳐 있는 경우 다수의 물체를 하나의 물체로 인지할 수 있다. 또는 하나의 물체를 다수의 물체로 인지할 수도 있다. 물체의 구분에 있어서는 거리센서의 데이터를 이용하는 것보다 영상센서에서 획득하는 이미지를 이용하는 것이 보다 효과적일 수 있다. 그러나, 이미지에 기반한 물체의 구분은 거리센서를 이용한 물체의 구분에 비해 많은 연산량이 요구될 수 있다. 그리고, 검출된 물체의 거리 정보는 거리센서의 데이터에 비해 부정확할 수 있다. 이에 개시된 실시예는 영상센서에서 획득하는 이미지를 이용하여 거리센서에서 획득하는 데이터를 서로 다른 물체로 군집화하는 차량 및 그 제어방법을 제공한다.
이하 도 3 내지 도 8을 참조하여 개시된 실시예에 따른 차량 및 그 제어방법에 대해 보다 구체적으로 설명한다.
도 3은 일 실시예에 따른 차량의 제어 블록도이다. 도 4는 일 실시예에 따른 차량의 거리센서에서 획득한 데이터의 제1영역을 나타낸 도면이고, 도 5는 일 실시예에 따른 차량의 거리센서에서 획득한 데이터에 1차 군집화를 수행한 도면이며, 도 6은 도 5의 군집화의 결과를 일 실시예에 따른 차량의 영상센서에서 획득한 이미지에 맵핑한 것을 나타낸 도면이다. 도 7은 도 6의 맵핑 결과에 기초하여 일 실시예에 따른 차량의 거리센서에서 획득한 데이터에 2차 군집화를 수행한 결과는 나타낸 도면이고, 도 8은 일 실시예에 따른 차량의 거리센서에서 획득한 데이터에 2차 군집화를 수행한 다른 예를 나타낸 도면이다.
도 3에 도시된 것처럼, 개시된 실시예에 따른 차량은 자율 주행 모드와 관련된 입력을 수신하는 입력부(303), 차량 외부의 이미지를 획득하는 영상센서(309), 전방의 차량이나 장애물을 감지하는 거리센서(307), 영상센서(309)에 획득한 이미지를 이용하여 거리센서(307)에서 획득한 데이터에 대한 군집화를 수행하는 프로세서(317), 차량의 주행과 관련된 다양한 정보를 표시하는 디스플레이(300) 및 자율 주행 모드 하에서 프로세서(317)의 제어 하에 차량을 주행시키는 구동장치(80)를 포함한다.
입력부(303)는, 사용자가 자율 주행 모드를 턴 온시키는 명령을 입력할 수 있도록 마련될 수 있다.
입력부(303)는 센터페시아, 기어박스 또는 스티어링 휠에 마련될 수 있고, 하드키나 소프트키 타입의 버튼, 토글 스위치, 다이얼, 음성인식장치, 동작인식장치 등의 다양한 형태로 구현될 수 있다.
입력부(303)는 자율주행모드와 운전자가 직접 차량을 운전하는 수동운전모드 중 어느 하나를 선택하는 입력을 수신할 수 있다. 즉, 운전자는 수동운전모드로 직접 차량을 운전하다가 입력부(303)를 조작하여 자율주행모드를 선택할 수 있고, 자율주행모드에 따라 차량이 운행되는 중에 수동운전모드를 선택하여 다시 직접 차량을 운전할 수 있다. 프로세서(317)는 자율주행모드와 수동운전모드 간의 전환이 이루어질 때, 디스플레이(300)나 스피커 등을 통해 모드의 전환이 이루어졌음을 운전자에게 알려줄 수 있다.
영상센서(309)는 차량 외부의 이미지를 획득하여 프로세서(317)로 전송한다. 영상센서는(309)는 차량 전방의 영상을 획득하는 전방 카메라를 포함하고, 차량 좌우 측방의 영상을 획득하는 좌측 카메라와 우측 카메라, 차량 후방의 영상을 획득하는 후방 카메라 중 적어도 하나를 더 포함할 수도 있다. 카메라는 CCD 또는 CMOS센서를 포함할 수 있다.
거리센서(307)는 차량 외부의 객체, 예를 들면 차량의 전방에서 주행하는 선행차량, 도로, 도로 주변에 설치된 구조물 등을 포함하는 정지물체, 반대 차선에서 다가오는 차선 등을 감지할 수 있다. 개시된 실시예에 따른 거리센서(307)는 전술한 차량 외부의 객체를 감지하여 감지된 객체들과의 거리를 산출할 수 있다. 개시된 실시예에 따른 차량의 거리센서(307)는 레이더(radar) 또는 라이다(Light detection and Ranging, Lidar)를 포함할 수 있으나, 정밀한 측정을 위해 라이다로 구현되는 것이 바람직하다. 이하 개시된 실시예는 거리센서(307)가 수직방향으로 멀티 레이어의 레이저를 송출하는 멀티 레이어 라이다로 구현된 경우를 가정하여 설명한다
프로세서(317)는 입력부(303)를 통해 자율주행모드를 선택하는 명령이 입력되거나, 크루즈 컨트롤 기능, 차선 이탈 경보 기능, 차선 유지 보조 기능 등을 선택하는 명령이 입력되면, 거리센서 및 영상센서에서 획득한 데이터를 이용하여 선행차량을 포함한 주변의 다양한 물체를 검출할 수 있다. 또는, 프로세서(317)는 전술한 기능들을 실행시키기 위한 별도의 명령이 입력되지 않아도, 차량이 주행 중이면 거리센서에서 획득한 데이터와 영상센서(309)에서 획득한 이미지를 이용하여 차량의 주변상황을 감지할 수도 있다.
전술한 것처럼, 개시된 실시예에 따른 차량은 거리센서에서 획득한 데이터와 영상센서에서 획득한 이미지를 이용하여 거리센서의 데이터를 군집화하여 물체를 구분한다. 거리센서에서 획득한 데이터는 점 데이터(point data)로, 이런 점 데이터들을 점데이터가 구성하는 물체들 별로 분류하는 과정을 군집화라고 한다.
우선, 프로세서는 군집화를 수행하기 전에, 도 4에 도시된 것처럼, 군집화의 대상이 되는 데이터를 한정한다. 즉, 거리센서로부터 미리 정해진 거리 이내의 영역(이하 제1영역(R1)이라 함)에 포함되는 점 데이터들을 결정하고, 제1영역에 포함되는 점 데이터들에 대해서만 군집화(이하 1차 군집화라 함)를 수행한다. 제1영역은 근거리 영역으로, 거리센서를 기준으로 제1영역보다 멀리서 획득된 점 데이터들의 경우, 즉 원거리 영역에 포함된 점 데이터들의 경우 물체의 측면을 제대로 나타내지 못하기 때문에 정확한 군집화가 어렵다. 또한, 전술한 것처럼, 영상센서에서 획득한 이미지에 기초하여 물체를 분류할 경우, 요구되는 연산량이 많다. 따라서, 군집화 대상이 되는 데이터를 제1영역의 데이터로 한정함으로써 보다 정확한 군집화가 가능하고, 이미지에 기초한 물체 분류에 요구되는 연산량도 줄일 수 있다. 프로세서는 영상센서의 FOV(Field Of View) 및 해상도에 기초하여 제1영역을 결정할 수 있다
프로세서는 군집화 대상 데이터가 포함되는 영역이 제1영역으로 한정되면, 도 5에 도시된 것처럼 제1영역에 포함된 점 데이터에 대한 군집화를 수행하여 박스 형태의 제1오브젝트(Ob1)를 생성한다. 프로세서는 제1오브젝트를 생성하면, 도 6에 도시된 것처럼, 생성된 제1오브젝트를 영상센서에서 획득한 이미지에 맵핑한다. 도 6을 참조하면, Ob1-1이 나타내고 있는 오브젝트는 이미지 상에서 자차량과 같은 도로에서 주행 중인 선행차량에 맵핑되고, Ob1-2와 Ob1-3이 나타내고 있는 각 오브젝트는 상기 선행차량의 우측 차선에서 주행 중인 차량에 맵핑된다.
프로세서는 제1오브젝트의 이미지 맵핑이 완료되면, 제1오브젝트가 맵핑된 이미지 상의 오브젝트를 이미지 프로세싱을 통해 분류한다. 즉, 맵핑된 오브젝트를 차량, 사람, 가드레일 등으로 분류하고, 차량일 경우, 트럭, 버스, 세단(sedan) 등으로 구체적으로 분류한다. 프로세서는 맵핑된 오브젝트가 이미지 프로세싱을 통해 각각 분류되면, 분류된 오브젝트의 크기를 추정한다.
메모리는 다양한 종류의 오브젝트의 크기를 미리 저장할 수 있고, 프로세서는 메모리에 저장된 정보를 이용하여 분류된 오브젝트의 크기를 추정할 수 있다.
프로세서는 제1오브젝트가 맵핑된 이미지에 기초하여, Ob1-1이 나타내는 오브젝트는 세단으로 Ob1-2과 Ob1-2가 나타내는 오브젝트는 트럭으로 분류할 수 있다. 그리고, 분류된 오브젝트의 크기를 추정할 수 있다.
분류된 오브젝트의 크기가 추정되면, 프로세서는 추정된 오브젝트의 크기에 기초하여 2차 군집화의 수행여부를 결정한다. 즉, 맵핑된 오브젝트의 분류 및 크기 추정 결과 두 개 이상의 제1오브젝트가 하나의 오브젝트를 나타내는 것으로 결정되거나, 하나의 제1오브젝트가 두 개 이상의 오브젝트를 나타내는 것으로 결정되면, 두 개 이상의 제1오브젝트를 하나의 오브젝트로 합치는 2차 군집화를 수행하거나, 하나의 제1오브젝트를 두 개 이상의 오브젝트로 분리하는 2차 군집화를 수행한다.
예를 들면, 도 7에 도시된 것처럼, Ob1-2와 Ob1-3이 나타내고 있는 오브젝트가 단일 차량, 예를 들어 트럭으로 분류되고, 그 크기가 추정되면, 트럭의 크기를 고려하여 Ob1-2와 Ob1-3이 나타내고 있는 오브젝트를 하나의 오브젝트(Ob2)로 합치는 2차 군집화를 수행한다.
또는 도 8에 도시된 것처럼, Ob1이 나타내고 있는 오브젝트가 두 명의 사람으로 분류되고, 그 크기가 추정되면, 이에 기초하여 Ob1이 나타내고 있는 오브젝트를 두 개의 오브젝트(Ob2)로 분리하는 2차 군집화를 수행한다.
전술한 과정을 통해, 제1영역에 대한 1차 군집화 및 2차 군집화를 수행하여 2차 오브젝트가 생성되면, 프로세서는 거리센서로부터 근거리 영역이 제1영역보다 먼 거리(이하 원거리라고 함)에서 획득된 점 데이터에 대한 군집화를 수행한다. 원거리에서 획득된 점 데이터들은 근거리의 오브젝트에 의해 불연속적인 분포를 갖는 경우가 있다. 이 경우, 정확한 군집화가 수행되기 어렵다. 이에 개시된 실시예에 따른 차량의 프로세서는 2차 오브젝트를 제거한 상태에서 원거리 점 데이터들에 대한 군집화를 수행한다. 2차 오브젝트가 제거됨으로써 원거리의 점 데이터들의 불연속적인 분포가 감소되므로, 원거리 점 데이터들에 대한 보다 정확한 군집화가 가능하다.
도 9는 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
도 9을 참조하면, 거리센서에서 데이터를 획득하면(900), 프로세서는 1차 군집화를 수행할 제1영역을 설정하고(910), 설정된 제1영역에 포함되는 데이터에 대한 1차 군집화를 수행한다(920).
프로세서는 군집화를 수행하기 전에, 도 4에 도시된 것처럼, 군집화의 대상이 되는 데이터를 한정한다. 즉, 제1영역(R1)에 포함되는 점 데이터들을 결정하고, 제1영역에 포함되는 점 데이터들에 대해서만 1차 군집화를 수행한다. 프로세서는 영상센서의 FOV(Field Of View) 및 해상도에 기초하여 제1영역을 결정할 수 있다. 프로세서는 군집화 대상 데이터가 포함되는 영역이 제1영역으로 한정되면, 도 5에 도시된 것처럼 제1영역에 포함된 점 데이터에 대한 군집화를 수행하여 박스 형태의 제1오브젝트(Ob1)를 생성한다.
프로세서는 1차 군집화 결과 생성된 제1오브젝트를 영상센서에서 획득된 이미지에 맵핑하고(930), 맵핑된 오브젝트를 분류하고 그 크기를 추정한다(940). 프로세서는 오브젝트의 분류 및 크기에 기초하여 1차 군집화 결과에 대한 2차 군집화를 수행한다(950).
프로세서는 제1오브젝트를 생성하면, 도 6에 도시된 것처럼, 생성된 제1오브젝트를 영상센서에서 획득한 이미지에 맵핑한다. 도 6을 참조하면, Ob1-1이 나타내고 있는 오브젝트는 이미지 상에서 자차량과 같은 도로에서 주행 중인 선행차량에 맵핑되고, Ob1-2와 Ob1-3이 나타내고 있는 각 오브젝트는 상기 선행차량의 우측 차선에서 주행 중인 차량에 맵핑된다.
프로세서는 제1오브젝트의 이미지 맵핑이 완료되면, 제1오브젝트가 맵핑된 이미지 상의 오브젝트를 이미지 프로세싱을 통해 분류한다. 즉, 맵핑된 오브젝트를 차량, 사람, 가드레일 등으로 분류하고, 차량일 경우, 트럭, 버스, 세단(sedan) 등으로 구체적으로 분류한다. 프로세서는 맵핑된 오브젝트가 이미지 프로세싱을 통해 각각 분류되면, 분류된 오브젝트의 크기를 추정한다.
메모리는 다양한 종류의 오브젝트의 크기를 미리 저장할 수 있고, 프로세서는 메모리에 저장된 정보를 이용하여 분류된 오브젝트의 크기를 추정할 수 있다. 프로세서는 제1오브젝트가 맵핑된 이미지에 기초하여, Ob1-1이 나타내는 오브젝트는 세단으로 Ob1-2과 Ob1-2가 나타내는 오브젝트는 트럭으로 분류할 수 있다. 그리고, 분류된 오브젝트의 크기를 추정할 수 있다.
분류된 오브젝트의 크기가 추정되면, 프로세서는 추정된 오브젝트의 크기에 기초하여 2차 군집화의 수행여부를 결정한다. 즉, 맵핑된 오브젝트의 분류 및 크기 추정 결과 두 개 이상의 제1오브젝트가 하나의 오브젝트를 나타내는 것으로 결정되거나, 하나의 제1오브젝트가 두 개 이상의 오브젝트를 나타내는 것으로 결정되면, 두 개 이상의 제1오브젝트를 하나의 오브젝트로 합치는 2차 군집화를 수행하거나, 하나의 제1오브젝트를 두 개 이상의 오브젝트로 분리하는 2차 군집화를 수행한다.
예를 들면, 도 7에 도시된 것처럼, Ob1-2와 Ob1-3이 나타내고 있는 오브젝트가 단일 차량, 예를 들어 트럭으로 분류되고, 그 크기가 추정되면, 트럭의 크기를 고려하여 Ob1-2와 Ob1-3이 나타내고 있는 오브젝트를 하나의 오브젝트(Ob2)로 합치는 2차 군집화를 수행한다.
또는 도 8에 도시된 것처럼, Ob1이 나타내고 있는 오브젝트가 두 명의 사람으로 분류되고, 그 크기가 추정되면, 이에 기초하여 Ob1이 나타내고 있는 오브젝트를 두 개의 오브젝트(Ob2)로 분리하는 2차 군집화를 수행한다.
프로세서는 2차 군집화가 수행되면, 2차 군집화 결과가 제거된 데이터에 대한 군집화를 수행한다(960).
전술한 과정을 통해, 제1영역에 대한 1차 군집화 및 2차 군집화를 수행하여 2차 오브젝트가 생성되면, 프로세서는 거리센서로부터 근거리 영역이 제1영역보다 먼 거리(이하 원거리라고 함)에서 획득된 점 데이터에 대한 군집화를 수행한다. 원거리에서 획득된 점 데이터들은 근거리의 오브젝트에 의해 불연속적인 분포를 갖는 경우가 있다. 이 경우, 정확한 군집화가 수행되기 어렵다. 이에 개시된 실시예에 따른 차량의 프로세서는 2차 오브젝트를 제거한 상태에서 원거리 점 데이터들에 대한 군집화를 수행한다. 2차 오브젝트가 제거됨으로써 원거리의 점 데이터들의 불연속적인 분포가 감소되므로, 원거리 점 데이터들에 대한 보다 정확한 군집화가 가능하다.
303: 입력부
317: 프로세서
307: 거리센서
309: 영상센서
300: 디스플레이
315: 메모리

Claims (17)

  1. 거리센서;
    차량 주변의 이미지를 획득하도록 마련된 영상센서;
    오브젝트 종류들 각각의 크기를 저장하는 메모리; 및
    상기 거리센서를 통해 획득한 데이터 중 제1영역에 포함된 데이터에 대한 1차 군집화를 수행하여 제1오브젝트를 생성하고,
    상기 영상센서를 통해 획득한 이미지에서 상기 제1오브젝트에 대응되는 오브젝트를 분류하고,
    상기 오브젝트 종류들 중 상기 분류된 오브젝트에 대응하는 오브젝트 종류의 크기를 이용하여 상기 분류된 오브젝트의 크기를 추정하고,
    상기 획득한 이미지에서 상기 제1 오브젝트에 대응되는 오브젝트의 분류 및 상기 분류된 오브젝트의 크기 추정의 결과에 따라, 상기 제1 오브젝트가 두 개 이상의 오브젝트를 나타내는 것으로 결정하고,
    상기 제1 오브젝트가 상기 두 개 이상의 오브젝트를 나타내는 것으로 결정하면, 상기 제1오브젝트를 상기 두 개 이상의 제2오브젝트로 분리하는 2차 군집화를 수행하고,
    상기 거리센서를 통해 획득한 데이터에서 상기 두 개 이상의 제2 오브젝트를 제거한 상태에서, 상기 제1 영역보다 먼 원거리 데이터에 대한 군집화를 수행하는 프로세서;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 제1영역은 상기 거리센서로부터 미리 정해진 제1기준거리 이내의 영역을 포함하는 차량.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 영상센서의 FOV(Field Of View) 및 해상도에 기초하여 상기 제1영역을 결정하는 차량.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1오브젝트를 상기 영상센서에서 획득한 이미지의 대응되는 오브젝트에 맵핑하여, 상기 획득한 이미지에서 상기 제1오브젝트에 대응되는 상기 오브젝트를 분류하는 차량.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 거리센서에서 획득한 데이터 중 제1영역에 포함된 데이터에 대한 1차 군집화를 수행하여 제1오브젝트를 생성하고;
    영상센서를 통해 획득한 이미지에서 상기 제1오브젝트에 대응되는 오브젝트를 분류하고;
    미리 저장된 오브젝트 종류들 중 상기 분류된 오브젝트에 대응하는 오브젝트 종류의 미리 저장된 크기를 이용하여 상기 분류된 오브젝트의 크기를 추정하고;
    상기 획득한 이미지에서 상기 제1 오브젝트에 대응되는 오브젝트의 분류 및 상기 분류된 오브젝트의 크기 추정의 결과에 따라, 상기 제1 오브젝트가 두 개 이상의 오브젝트를 나타내는 것으로 결정하고,
    상기 제1 오브젝트가 상기 두 개 이상의 오브젝트를 나타내는 것으로 결정하면, 상기 제1오브젝트를 상기 두 개 이상의 제2오브젝트로 분리하는 2차 군집화를 수행하고,
    상기 거리센서에서 획득한 데이터에서 상기 두 개 이상의 제2 오브젝트를 제거한 상태에서, 상기 제1 영역보다 먼 원거리 데이터에 대한 군집화를 수행하는 것;을 포함하는 차량의 제어방법.
  11. 제10항에 있어서,
    상기 영상센서의 FOV(Field Of View) 및 해상도에 기초하여 상기 제1영역을 결정하는 것;을 더 포함하는 차량의 제어방법.
  12. 제10항에 있어서,
    상기 제1오브젝트를 상기 영상센서에서 획득한 이미지의 대응되는 오브젝트에 맵핑하여, 상기 획득한 이미지에서 상기 제1오브젝트에 대응되는 상기 오브젝트로 분류하는 것;을 더 포함하는 차량의 제어방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020150179748A 2015-12-16 2015-12-16 차량 및 그 제어방법 KR102338989B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150179748A KR102338989B1 (ko) 2015-12-16 2015-12-16 차량 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150179748A KR102338989B1 (ko) 2015-12-16 2015-12-16 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170071728A KR20170071728A (ko) 2017-06-26
KR102338989B1 true KR102338989B1 (ko) 2021-12-14

Family

ID=59282331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150179748A KR102338989B1 (ko) 2015-12-16 2015-12-16 차량 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102338989B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192689B1 (ko) * 2015-12-16 2020-12-17 현대자동차주식회사 차량 및 그 제어방법
KR20220156335A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 전자 장치 및 이를 이용한 뎁스 정보에 기반한 이미지 처리 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273212A1 (en) 2004-06-07 2005-12-08 Darrell Hougen Object classification system for a vehicle
JP2007316790A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2007334751A (ja) 2006-06-16 2007-12-27 Honda Motor Co Ltd 車両周辺監視装置
JP2011027457A (ja) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
US20150003670A1 (en) 2013-06-28 2015-01-01 Bendix Commercial Vehicle Systems Llc Measuring the range to an object, in an image, using size categorization

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273212A1 (en) 2004-06-07 2005-12-08 Darrell Hougen Object classification system for a vehicle
JP2007316790A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2007334751A (ja) 2006-06-16 2007-12-27 Honda Motor Co Ltd 車両周辺監視装置
JP2011027457A (ja) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
US20150003670A1 (en) 2013-06-28 2015-01-01 Bendix Commercial Vehicle Systems Llc Measuring the range to an object, in an image, using size categorization

Also Published As

Publication number Publication date
KR20170071728A (ko) 2017-06-26

Similar Documents

Publication Publication Date Title
US10239528B2 (en) Vehicle and method of controlling the vehicle
CN108688656B (zh) 车辆及用于控制车辆的方法
Ingle et al. Tesla autopilot: semi autonomous driving, an uptick for future autonomy
JP6327423B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US9910157B2 (en) Vehicle and lane detection method for the vehicle
US20200066160A1 (en) Lane Change Assistance Method and Lane Change Assistance Device
US9227635B1 (en) Method and system of assisting a driver of a vehicle
US20180267530A1 (en) Automated driving system
CN111225845A (zh) 驾驶辅助系统以及包括驾驶辅助系统的车辆
US20160091325A1 (en) Method and system of assisting a driver of a vehicle
JP2016084094A (ja) 駐車支援装置
KR101999079B1 (ko) 표시 장치의 제어 방법 및 표시 장치
US9586593B2 (en) Method and system of assisting a driver of a vehicle
KR101754072B1 (ko) 차량 및 그 제어방법
US20170267286A1 (en) Method and system of assisting a driver of a vehicle
US20180201315A1 (en) Method and system of assisting a driver of a vehicle
KR20180071575A (ko) 차량 및 그 제어방법
KR101736104B1 (ko) 차량 및 그 제어방법
KR102338989B1 (ko) 차량 및 그 제어방법
JP6772940B2 (ja) 自動運転システム
US20170267287A1 (en) Method and system of assisting a driver of a vehicle
US20160090086A1 (en) Method and system of assisting a driver of a vehicle
KR102218532B1 (ko) 차량 및 그 제어방법
JP2024056653A (ja) オブジェクト検出システム
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant