KR102192689B1 - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR102192689B1
KR102192689B1 KR1020150179752A KR20150179752A KR102192689B1 KR 102192689 B1 KR102192689 B1 KR 102192689B1 KR 1020150179752 A KR1020150179752 A KR 1020150179752A KR 20150179752 A KR20150179752 A KR 20150179752A KR 102192689 B1 KR102192689 B1 KR 102192689B1
Authority
KR
South Korea
Prior art keywords
data
distance
vehicle
angle
information
Prior art date
Application number
KR1020150179752A
Other languages
English (en)
Other versions
KR20170071731A (ko
Inventor
허명선
신기철
오영철
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150179752A priority Critical patent/KR102192689B1/ko
Publication of KR20170071731A publication Critical patent/KR20170071731A/ko
Application granted granted Critical
Publication of KR102192689B1 publication Critical patent/KR102192689B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

개시된 실시예는 거리센서에서 획득한 데이터를 영상센서에서 획득한 이미지를 이용하여 물체 별로 구분하여 군집화하는 차량 및 그 제어방법을 제공한다. 일 실시예에 따른 차량은 차량 주변의 물체를 감지하여 거리 및 각도 정보를 포함하는 데이터를 획득하도록 마련된 거리센서; 차량 주변의 이미지를 획득하도록 마련된 영상센서; 및 상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터의 색상정보를 획득하고, 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 프로세서;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROLLING METHOD FOR THE VEHICLE}
개시된 실시예는 차량에 관한 것이다.
일반적으로 운전 보조 장치들은 적응형 크루즈 컨트롤(ACC; Adaptive Cruise Control)과 같이 종방향에 대한 운전을 보조하거나, 차선 이탈 경보 시스템(LDWS; Lane Departure Warning System)이나 차선 유지 보조 시스템(LKAS; Lane Keeping Assist System)처럼 횡방향에 대해 운전을 보조하는 기능을 제공한다.
최근에는 운전자의 개입없이 차량을 종/횡방향으로 자동으로 제어하는 자율 주행 차량이 개발되고 있다.
개시된 실시예는 거리센서에서 획득한 데이터를 영상센서에서 획득한 이미지를 이용하여 물체 별로 구분하여 군집화하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은 차량 주변의 물체를 감지하여 거리 및 각도 정보를 포함하는 데이터를 획득하도록 마련된 거리센서; 차량 주변의 이미지를 획득하도록 마련된 영상센서; 및 상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터의 색상정보를 획득하고, 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 프로세서;를 포함한다.
또한, 상기 프로세서는, 상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터가 나타내는 물체를 구분할 수 있는 물체정보를 획득한 경우, 상기 거리, 각도, 색상정보 및 물체정보에 기초하여 상기 데이터를 서로 다른 물체로 구분할 수 있다.
또한, 상기 프로세서는, 상기 거리, 각도 및 색상정보에 기초하여 구분된 물체 중 상기 물체정보에 기초하여 두 개 이상의 물체가 포함된 물체가 있는 경우, 사기 두 개 이상의 물체가 포함된 물체를 상기 물체정보에 기초하여 구분할 수 있다.
또한, 상기 프로세서는, 상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분할 수 있다.
또한, 상기 프로세서는, 상기 거리센서에서 획득한 데이터 중 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분할 수 있다.
또한, 상기 거리센서에서 획득한 데이터 중 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분할 수 있다.
또한, 상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크거나, 상기 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크거나, 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면 상기 인접한 데이터를 서로 다른 물체로 구분할 수 있다.
일 실시예에 따른 차량의 제어방법은 거리센서에서 차량 주변의 물체를 감지하여 거리 및 각도 정보를 포함하는 데이터를 획득하고; 영상센서에서 차량 주변의 이미지를 획득하고; 상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터의 색상정보를 획득하고; 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것;을 포함한다.
또한, 상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터가 나타내는 물체를 구분할 수 있는 물체정보를 획득하는 것;을 더 포함할 수 있다.
또한, 상기 거리, 각도 및 색상정보에 기초하여 구분된 물체 중 상기 물체정보에 기초하여 두 개 이상의 물체가 포함된 물체가 있는지 여부를 결정하고; 두 개 이상의 물체가 포함된 물체가 있는 경우, 상기 두 개 이상의 물체가 포함된 물체를 상기 물체정보에 기초하여 구분하는 것;을 더 포함할 수 있다.
또한, 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은, 상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함할 수 있다.
또한, 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은, 상기 거리센서에서 획득한 데이터 중 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함할 수 있다.
또한, 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은, 상기 거리센서에서 획득한 데이터 중 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함할 수 있다.
또한, 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은, 상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크거나, 상기 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크거나, 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함할 수 있다.
개시된 실시예에 따른 차량 및 그 제어방법에 따르면, 거리센서의 군집화 성능이 향상되어, 차량 주변의 물체를 보다 정확하게 구분하여 인식할 수 있다.
도 1은 일 실시예에 따른 차량의 외관도이다.
도 2는 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이다.
도 3은 일 실시예에 따른 차량의 제어 블록도이다.
도 4 내지 도 6은 일 실시예에 따른 차량의 거리센서에서 획득한 데이터를 영상센서에서 획득한 이미지를 이용하여 군집화하는 방법을 개념적으로 도시한 도면이다.
도 7은 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량의 외관도이고, 도 2는 일 실시예에 따른 차량의 내부의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(100)은 차량(100)의 외관을 형성하는 본체(1), 차량(100)을 이동시키는 차륜(51, 52), 차륜(51, 52)을 회전시키는 구동 장치(80), 차량(100) 내부를 외부로부터 차폐시키는 도어(71), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함한다.
차륜(51, 52)은 차량(100)의 전방에 마련되는 전륜(51), 차량(100)의 후방에 마련되는 후륜(52)을 포함한다.
구동 장치(80)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 포함할 수 있다.
도어(71)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다.
윈드쉴드 글래스(windshield glass)라고 불리는 전면 유리(30)는 본체(100)의 전방 상측에 마련된다. 차량(100) 내부의 운전자는 전면 유리(30)를 통해 차량(100)의 전방을 볼 수 있다. 또한, 사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함한다. 차량(100) 내부의 운전자는 사이드 미러(81, 82)를 통해 차량(100)의 측면 및 후방의 상황을 눈으로 확인할 수 있다.
이외에도 차량(100)은 차량(100) 주변의 장애물 등을 감지하여 차량(100) 주변의 상황을 운전자가 인식할 수 있도록 도움을 주는 다양한 센서를 포함할 수 있다. 또한, 차량(100)은 차량의 속도 등과 같은 차량의 주행정보를 감지할 수 있는 다양한 센서를 포함할 수 있다. 또한, 차량은 차선 등을 포함하는 차량의 주변 환경에 대한 영상을 획득하는 센서를 포함할 수 있다. 차량(100)의 주행정보나 차량(100) 주변의 상황을 감지할 수 있는 다양한 센서들에 대해서는 후술하도록 한다.
도 2에 도시된 바를 참조하면 차량(100)은 기어박스(120), 센터페시아(130), 스티어링 휠(140) 및 계기판(150) 등이 마련된 대시보드(dashboard)를 포함할 수 있다.
기어박스(120)에는 차량 변속을 위한 기어 레버(121)가 설치될 수 있다. 또한, 도면에 도시된 것처럼, 기어박스에는 사용자가 네비게이션(10)이나 오디오 장치(133) 등을 포함하는 멀티미디어 장치의 기능이나 차량(100)의 주요 기능의 수행을 제어할 수 있도록 마련된 다이얼 조작부(111)와 다양한 버튼들을 포함하는 입력부(110)가 설치될 수 있다.
센터페시아(130)에는 공조 장치(132), 오디오 장치(133) 및 네비게이션(10) 등이 설치될 수 있다.
공조 장치는 차량(100) 내부의 온도, 습도, 공기의 청정도, 공기의 흐름을 조절하여 차량(100)의 내부를 쾌적하게 유지한다. 공조 장치는 센터페시아(130)에 설치되고 공기를 토출하는 적어도 하나의 토출구를 포함할 수 있다. 센터페시아(130)에는 공조 장치 등을 제어하기 위한 버튼이나 다이얼 등이 설치될 수 있다. 운전자 등의 사용자는 센터페시아(130)에 배치된 버튼이나 다이얼을 이용하여 차량(100)의 공조 장치를 제어할 수 있다. 물론 기어박스(120)에 설치된 입력부(110)의 버튼들이나 다이얼 조작부(111)를 통해 공조장치를 제어할 수도 있다.
실시예에 따라서 센터페시아(130)에는 네비게이션(10)이 설치될 수 있다. 네비게이션(10)은 차량(100)의 센터페시아(130) 내부에 매립되어 형성될 수 있다. 일 실시예에 의하면 센터페시아(130)에는 네비게이션(10)을 제어하기 위한 입력부가 설치될 수도 있다. 실시예에 따라서 네비게이션(10)의 입력부는 센터페시아(130)가 아닌 다른 위치에 설치될 수도 있다. 예를 들어 네비게이션(10)의 입력부는 네비게이션(10)의 디스플레이(300) 주변에 형성될 수도 있다. 또한 다른 예로 네비게이션(10)의 입력부는 기어 박스(120) 등에 설치될 수도 있다.
스티어링 휠(140)은 차량(100)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림(141) 및 차량(100)의 조향 장치와 연결되고 림(141)과 조향을 위한 회전축의 허브를 연결하는 스포크(142)를 포함할 수 있다. 실시예에 따라서 스포크(142)에는 차량(100) 내의 각종 장치, 일례로 오디오 장치 등을 제어하기 위한 조작 장치(142a, 142b)가 마련될 수 있다. 또한 대시보드에는 차량(100)의 주행 속도, 엔진 회전수 또는 연료 잔량 등을 표시할 수 있는 각종 계기판(150)이 설치될 수 있다. 계기판(150)은 차량 상태, 차량 주행과 관련된 정보, 멀티미디어 장치의 조작과 관련된 정보 등을 표시하는 계기판 디스플레이(151)를 포함할 수 있다.
운전자는 대시보드에 마련된 전술한 다양한 장치들을 조작하여 차량(100)을 운행할 수 있다. 차량(100)에는 도 2에 도시된 것과 같이 차량(100)의 운행을 위해 운전자가 조작할 수 있는 장치들 외에도 차량(100)의 주행을 위해 필요한 차량(100) 외부의 정보나 차량(100) 자체의 주행정보들을 감지할 수 있는 다양한 센서들이 마련될 수 있다.
개시된 실시예에 따른 차량은 다양한 센서에서 감지한 정보에 기초하여 운전자의 개입없이 자율 주행을 수행할 수 있다. 특히, 거리센서에서 획득하는 주변 차량이나 기타 도로 구조물 등과의 거리정보는 자율주행의 수행에 필요한 기본적인 정보 중 하나이다. 개시된 실시예에 따른 거리센서는 라이다를 포함하는데, 라이다는 송신한 적외선 신호와 물체로부터 반사된 신호와의 시간차이를 이용하여 거리를 측정하는 센서이다. 라이다는 정밀한 분해능을 가지고 있어 측정 물체의 형태, 크기, 속도 등을 측정하는데 우수한 성능을 보인다. 하지만, 라이다는 거리 정보만을 이용하여 물체의 정보를 측정하기 때문에 포인트 형태의 데이터를 군집화하여 오브젝트를 생성하는 과정에서 다수의 물체가 뭉쳐 있는 경우 다수의 물체를 하나의 물체로 인지할 수 있다. 이에 개시된 실시예는 영상센서에서 획득하는 이미지를 이용하여 거리센서에서 획득하는 데이터를 서로 다른 물체로 군집화하는 차량 및 그 제어방법을 제공한다.
이하 도 3 내지 도 6을 참조하여 개시된 실시예에 따른 차량 및 그 제어방법에 대해 보다 구체적으로 설명한다.
도 3은 일 실시예에 따른 차량의 제어 블록도이고, 도 4 내지 도 6은 일 실시예에 따른 차량의 거리센서에서 획득한 데이터를 영상센서에서 획득한 이미지를 이용하여 군집화하는 방법을 개념적으로 도시한 도면이다.
도 3에 도시된 것처럼, 개시된 실시예에 따른 차량은 자율 주행 모드와 관련된 입력을 수신하는 입력부(303), 차량 외부의 이미지를 획득하는 영상센서(309), 전방의 차량이나 장애물을 감지하는 거리센서(307), 영상센서(309)에 획득한 이미지를 이용하여 거리센서(307)에서 획득한 데이터에 대한 군집화를 수행하는 프로세서 (317), 차량의 주행과 관련된 다양한 정보를 표시하는 디스플레이(300) 및 자율 주행 모드 하에서 프로세서(317)의 제어 하에 차량을 주행시키는 구동장치(80)를 포함한다.
입력부(303)는, 사용자가 자율 주행 모드를 턴 온시키는 명령을 입력할 수 있도록 마련될 수 있다.
입력부(303)는 센터페시아, 기어박스 또는 스티어링 휠에 마련될 수 있고, 하드키나 소프트키 타입의 버튼, 토글 스위치, 다이얼, 음성인식장치, 동작인식장치 등의 다양한 형태로 구현될 수 있다.
입력부(303)는 자율주행모드와 운전자가 직접 차량을 운전하는 수동운전모드 중 어느 하나를 선택하는 입력을 수신할 수 있다. 즉, 운전자는 수동운전모드로 직접 차량을 운전하다가 입력부(303)를 조작하여 자율주행모드를 선택할 수 있고, 자율주행모드에 따라 차량이 운행되는 중에 수동운전모드를 선택하여 다시 직접 차량을 운전할 수 있다. 프로세서(317)는 자율주행모드와 수동운전모드 간의 전환이 이루어질 때, 디스플레이(300)나 스피커 등을 통해 모드의 전환이 이루어졌음을 운전자에게 알려줄 수 있다.
영상센서(309)는 차량 외부의 이미지를 획득하여 프로세서(317)로 전송한다. 영상센서는(309)는 차량 전방의 영상을 획득하는 전방 카메라를 포함하고, 차량 좌우 측방의 영상을 획득하는 좌측 카메라와 우측 카메라, 차량 후방의 영상을 획득하는 후방 카메라 중 적어도 하나를 더 포함할 수도 있다. 카메라는 CCD 또는 CMOS센서를 포함할 수 있다.
거리센서(307)는 차량 외부의 객체, 예를 들면 차량의 전방에서 주행하는 선행차량, 도로, 도로 주변에 설치된 구조물 등을 포함하는 정지물체, 반대 차선에서 다가오는 차선 등을 감지할 수 있다. 개시된 실시예에 따른 거리센서(307)는 전술한 차량 외부의 객체를 감지하여 감지된 객체들과의 거리를 산출할 수 있다. 개시된 실시예에 따른 차량의 거리센서(307)는 레이더(radar) 또는 라이다(Light detection and Ranging, Lidar)를 포함할 수 있으나, 정밀한 측정을 위해 라이다로 구현되는 것이 바람직하다. 이하 개시된 실시예는 거리센서(307)가 수직방향으로 멀티 레이어의 레이저를 송출하는 멀티 레이어 라이다로 구현된 경우를 가정하여 설명한다
프로세서(317)는 입력부(303)를 통해 자율주행모드를 선택하는 명령이 입력되거나, 크루즈 컨트롤 기능, 차선 이탈 경보 기능, 차선 유지 보조 기능 등을 선택하는 명령이 입력되면, 거리센서 및 영상센서에서 획득한 데이터를 이용하여 선행차량을 포함한 주변의 다양한 물체를 검출할 수 있다. 또는, 프로세서(317)는 전술한 기능들을 실행시키기 위한 별도의 명령이 입력되지 않아도, 차량이 주행 중이면 거리센서에서 획득한 데이터와 영상센서(309)에서 획득한 이미지를 이용하여 차량의 주변상황을 감지할 수도 있다.
도 4를 참조하여 거리센서에서 획득한 데이터를 군집화하는 방법을 설명한다. 거리센서에서 획득한 데이터는 점 데이터(point data)로, 이런 점 데이터들을 점데이터가 구성하는 물체들 별로 분류하는 과정을 군집화라고 한다. 도 4의 (a)를 참조하면, 거리센서의 감지 대상으로 벽, 차량 및 두 명의 사람이 도시되어 있다. 거리센서에서 벽, 차량 및 두 명의 사람을 감지한 데이터는 도 4의 (b)에 도시된 것처럼, 점으로 획득된다. 거리센서에서 획득한 데이터 중 벽을 나타내는 데이터와 차량 및 사람을 나타내는 데이터는 군집화를 통해 서로 다른 물체로 구분될 수 있다. 도 5에는 점 데이터를 군집화할 때 점 데이터를 서로 다른 물체로 구분하는 기준이 도시되어 있다. 군집화 시, 인접한 점 데이터 사이의 거리가 미리 정해진 기준 거리보다 크거나, 인접한 점 데이터가 형성하는 각도가 미리 정해진 기준 각도보다 큰 경우, 인접한 점 데이터를 서로 다른 물체로 구분한다. 도 5를 참조하면, 제1점 데이터(P1)까지 군집화가 진행된 상태에서 제2점 데이터(P2)를 군집화할 때, 제1 점 데이터와 제2점 데이터 사이의 거리(d1)가 미리 정해진 기준거리보다 크면 프로세서는 제2점 데이터를 제1점 데이터와 다른 물체로 구분한다.
또한, 제5점 데이터(P5)까지 군집화가 진행된 상태에서 제6점 데이터(P6)를 군집화할 때, 제4점 데이터(P4)와 제5 점 데이터를 연결하는 직선의 연장선과 제5점 데이터와 제6점 데이터(P6)를 연결하는 직선이 이루는 각도(a1)가 미리 정해진 기준각도보다 크면 프로세서는 제6점 데이터를 제5점 데이터와 다른 물체로 구분한다.
따라서, 전술한 군집화 기준에 따라 차량을 나타내는 데이터와 벽을 나타내는 데이터 중 서로 인접한 두 점 데이터 사이의 거리나 두 점 데이터가 형성하는 각도가 전술한 기준거리나 기준각도보다 클 경우 벽을 나타내는 데이터와 차량 및 사람을 나타내는 데이터는 군집화를 통해 서로 다른 물체로 구분될 수 있다.
그러나, 차량을 나타내는 데이터와 두 명의 사람을 나타내는 데이터는 인접한 점 데이터 사이의 거리나 각도가 전술한 기준거리나 기준각도보다 작으므로, 프로세서는 거리정보와 각도정보만으로는 차량을 나타내는 데이터와 두 명의 사람을 나타내는 데이터를 서로 다른 물체로 구분하지 못할 수 있다. 이에 개시된 실시예는 도 4에 도시된 것처럼, 영상센서에서 획득한 이미지를 이용하여 각 점 데이터에 대응하는 색상정보를 획득하고, 이러한 색상정보를 이용하여 물체를 구분할 수 있다. 프로세서는, 거리센서에서 획득한 데이터에 색상정보를 추가하기 위해, 거리센서의 좌표계를 영상센서의 좌표계로 변환하고, 영상센서의 좌표계를 이미지의 좌표계로 변환한다. 이러한 과정을 통해 프로세서는 거리센서에서 획득한 각 점 데이터에 색상정보를 추가할 수 있다. 도 4의 (b)는 벽, 차량 및 사람을 나타내는 점 데이터를 서로 다른 색상으로 나타내어 각 데이터가 해당 물체의 색상정보를 포함하고 있음을 나타내었다.
프로세서는 이러한 색상정보를 이용하여 군집화를 수행함으로써 차량을 나타내는 데이터와 사람을 나타내는 데이터를 서로 다른 물체로 구분할 수 있다. 도 5를 참조하면, 프로세서는 전술한 것처럼 거리 및 각도 정보로는 구분이 안되는 점 데이터(예를 들면, 제3점 데이터(P3) 및 제4점 데이터(P4))를 색상정보를 이용하여 구분할 수 있다. 즉, 인접한 점 데이터의 색상값의 차이가 미리 정해진 기준 색상값보다 크면 인접한 점 데이터를 다른 물체로 구분한다. 도 5를 참조하면, 제3점 데이터(P3)까지 군집화가 진행된 상태에서 제4점 데이터(P4)를 군집화할 때, 제3 점 데이터의 색상값(C3)과 제4점 데이터의 색상값(C4)의 차이가 미리 정해진 기준 색상값보다 크면 프로세서는 제4점 데이터를 제3점 데이터와 다른 물체로 구분한다.
따라서, 전술한 군집화 기준에 따라 차량을 나타내는 데이터와 사람을 나타내는 데이터 중 서로 인접한 두 점 데이터의 색상값의 차이가 전술한 기준 색상값보다 클 경우, 도 4의 (C)에 도시된 것처럼 차량을 나타내는 데이터와 사람을 나타내는 데이터는 군집화를 통해 서로 다른 물체로 구분될 수 있다.
그러나, 두 명의 사람(H1, H2)을 나타내는 데이터는 인접한 점 데이터 사이의 거리정보, 각도정보, 색상값의 차이가 각각 전술한 기준거리, 기준각도, 기준 색상값보다 작으므로, 프로세서는 거리정보, 각도정보, 색상정보만으로는 두 명의 사람을 나타내는 데이터를 서로 다른 물체로 구분하지 못할 수 있다. 이에 개시된 실시예는 도 6에 도시된 것처럼, 영상센서에서 획득한 이미지에 이미지 프로세싱을 수행하여 이미지에 나타난 서로 다른 물체(네 명의 사람)를 각각 구분할 수 있는 경우, 각 물체를 구분할 수 있는 물체정보(ob1, ob2, ob3, ob4)를 획득하고, 이러한 물체정보를 이용하여 물체를 구분할 수 있다.
도 6을 참조하면, 프로세서는 전술한 것처럼 거리정보, 각도정보, 색상정보로는 구분이 안되는 점 데이터(O)를 물체정보를 이용하여 구분할 수 있다. 즉, 프로세서는 이미지 프로세싱을 통해, 단일 물체로 군집화된 데이터(O)에 대응하는 이미지에 서로 다른 네 개의 물체가 존재한다는 물체정보를 획득하면, 추가적으로 군집화를 수행하여 단일 물체를 네 개의 서로 다른 물체(O1, O2, O3, O4)로 구분한다.
따라서, 도 4의 (c)에 도시된 O3에 대응하는 이미지에 두 명의 사람이 존재한다는 물체정보를 획득할 수 있으면, 프로세서는 이러한 물체정보를 이용하여 O3에 대한 추가적인 군집화를 수행함으로써, O3를 서로 다른 물체(O3-1, O3-2)로 구분할 수 있다.
전술한 것처럼, 프로세서는 영상센서에서 획득한 이미지로부터 색상정보 및 물체정보를 획득하고, 거리정보 및 각도정보를 포함하는 거리센서에서 획득한 데이터에 대한 군집화에 상기 색상정보 및 물체정보를 이용함으로써, 거리정보 및 각도정보만으로는 구분하기 어려운 물체를 보다 정확하게 구분할 수 있다.
도 7은 일 실시예에 따른 차량의 제어방법을 나타낸 순서도이다.
도 7에 도시된 것처럼, 거리센서에서 거리 및 각도정보를 포함하는 데이터를 획득하고(700), 영상센서에서 이미지를 획득하면(710), 프로세서는 이미지로부터 색상정보를 획득한다(720). 프로세서는 거리, 각도 및 색상정보를 이용하여 거리센서에서 획득한 데이터를 서로 다른 물체로 구분한다(730).
도 4의 (a)를 참조하면, 거리센서의 감지 대상으로 벽, 차량 및 두 명의 사람이 도시되어 있다. 거리센서에서 벽, 차량 및 두 명의 사람을 감지한 데이터는 도 4의 (b)에 도시된 것처럼, 점으로 획득된다. 거리센서에서 획득한 데이터 중 벽을 나타내는 데이터와 차량 및 사람을 나타내는 데이터는 군집화를 통해 서로 다른 물체로 구분될 수 있다. 군집화 시, 인접한 점 데이터 사이의 거리가 미리 정해진 기준 거리보다 크거나, 인접한 점 데이터가 형성하는 각도가 미리 정해진 기준 각도보다 큰 경우, 인접한 점 데이터를 서로 다른 물체로 구분한다. 도 5를 참조하면, 제1점 데이터(P1)까지 군집화가 진행된 상태에서 제2점 데이터(P2)를 군집화할 때, 제1 점 데이터와 제2점 데이터 사이의 거리(d1)가 미리 정해진 기준거리보다 크면 프로세서는 제2점 데이터를 제1점 데이터와 다른 물체로 구분한다.
또한, 제5점 데이터(P5)까지 군집화가 진행된 상태에서 제6점 데이터(P6)를 군집화할 때, 제4점 데이터(P4)와 제5 점 데이터를 연결하는 직선의 연장선과 제5점 데이터와 제6점 데이터(P6)를 연결하는 직선이 이루는 각도(a1)가 미리 정해진 기준각도보다 크면 프로세서는 제6점 데이터를 제5점 데이터와 다른 물체로 구분한다.
따라서, 전술한 군집화 기준에 따라 차량을 나타내는 데이터와 벽을 나타내는 데이터 중 서로 인접한 두 점 데이터 사이의 거리나 두 점 데이터가 형성하는 각도가 전술한 기준거리나 기준각도보다 클 경우 벽을 나타내는 데이터와 차량 및 사람을 나타내는 데이터는 군집화를 통해 서로 다른 물체로 구분될 수 있다.
그러나, 차량을 나타내는 데이터와 두 명의 사람을 나타내는 데이터는 인접한 점 데이터 사이의 거리나 각도가 전술한 기준거리나 기준각도보다 작으므로, 프로세서는 거리정보와 각도정보만으로는 차량을 나타내는 데이터와 두 명의 사람을 나타내는 데이터를 서로 다른 물체로 구분하지 못할 수 있다. 이에 개시된 실시예는 도 4에 도시된 것처럼, 영상센서에서 획득한 이미지를 이용하여 각 점 데이터에 대응하는 색상정보를 획득하고, 이러한 색상정보를 이용하여 물체를 구분할 수 있다. 프로세서는, 거리센서에서 획득한 데이터에 색상정보를 추가하기 위해, 거리센서의 좌표계를 영상센서의 좌표계로 변환하고, 영상센서의 좌표계를 이미지의 좌표계로 변환한다. 이러한 과정을 통해 프로세서는 거리센서에서 획득한 각 점 데이터에 색상정보를 추가할 수 있다. 프로세서는 이러한 색상정보를 이용하여 군집화를 수행함으로써 차량을 나타내는 데이터와 사람을 나타내는 데이터를 서로 다른 물체로 구분할 수 있다. 도 5를 참조하면, 프로세서는 전술한 것처럼 거리 및 각도 정보로는 구분이 안되는 점 데이터(예를 들면, 제3점 데이터(P3) 및 제4점 데이터(P4))를 색상정보를 이용하여 구분할 수 있다. 즉, 인접한 점 데이터의 색상값의 차이가 미리 정해진 기준 색상값보다 크면 인접한 점 데이터를 다른 물체로 구분한다. 도 5를 참조하면, 제3점 데이터(P3)까지 군집화가 진행된 상태에서 제4점 데이터(P4)를 군집화할 때, 제3 점 데이터의 색상값(C3)과 제4점 데이터의 색상값(C4)의 차이가 미리 정해진 기준 색상값보다 크면 프로세서는 제4점 데이터를 제3점 데이터와 다른 물체로 구분한다.
따라서, 전술한 군집화 기준에 따라 차량을 나타내는 데이터와 사람을 나타내는 데이터 중 서로 인접한 두 점 데이터의 색상값의 차이가 전술한 기준 색상값보다 클 경우, 도 4의 (C)에 도시된 것처럼 차량을 나타내는 데이터와 사람을 나타내는 데이터는 군집화를 통해 서로 다른 물체로 구분될 수 있다.
프로세서는 이미지로부터 물체정보를 획득하면(740), 물체정보를 이용하여 추가적으로 물체를 구분한다(750).
도 4의 (C)에 도시된 것처럼 두 명의 사람(H1, H2)을 나타내는 데이터는 인접한 점 데이터 사이의 거리정보, 각도정보, 색상값의 차이가 각각 전술한 기준거리, 기준각도, 기준 색상값보다 작으므로, 프로세서는 거리정보, 각도정보, 색상정보만으로는 두 명의 사람을 나타내는 데이터를 서로 다른 물체로 구분하지 못할 수 있다. 이에 개시된 실시예는 도 6에 도시된 것처럼, 영상센서에서 획득한 이미지에 이미지 프로세싱을 수행하여 이미지에 나타난 서로 다른 물체(네 명의 사람)를 각각 구분할 수 있는 경우, 각 물체를 구분할 수 있는 물체정보(ob1, ob2, ob3, ob4)를 획득하고, 이러한 물체정보를 이용하여 물체를 구분할 수 있다.
도 6을 참조하면, 프로세서는 전술한 것처럼 거리정보, 각도정보, 색상정보로는 구분이 안되는 점 데이터(O)를 물체정보를 이용하여 구분할 수 있다. 즉, 프로세서는 이미지 프로세싱을 통해, 단일 물체로 군집화된 데이터(O)에 대응하는 이미지에 서로 다른 네 개의 물체가 존재한다는 물체정보를 획득하면, 추가적으로 군집화를 수행하여 단일 물체를 네 개의 서로 다른 물체(O1, O2, O3, O4)로 구분한다.
따라서, 도 4의 (c)에 도시된 O3에 대응하는 이미지에 두 명의 사람이 존재한다는 물체정보를 획득할 수 있으면, 프로세서는 이러한 물체정보를 이용하여 O3에 대한 추가적인 군집화를 수행함으로써, O3를 서로 다른 물체(O3-1, O3-2)로 구분할 수 있다.
303: 입력부
317: 프로세서
307: 거리센서
309: 영상센서
300: 디스플레이
315: 메모리

Claims (14)

  1. 차량 주변의 물체를 감지하여 거리 및 각도 정보를 포함하는 데이터를 획득하도록 마련된 거리센서;
    차량 주변의 이미지를 획득하도록 마련된 영상센서; 및
    상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터의 색상정보를 획득하고, 상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 프로세서;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터가 나타내는 물체를 구분할 수 있는 물체정보를 획득한 경우, 상기 거리, 각도, 색상정보 및 물체정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 차량.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 거리, 각도 및 색상정보에 기초하여 구분된 물체 중 상기 물체정보에 기초하여 두 개 이상의 물체가 포함된 물체가 있는 경우, 상기 두 개 이상의 물체가 포함된 물체를 상기 물체정보에 기초하여 구분하는 차량.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 차량.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 차량.
  6. 제1항에 있어서,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 차량.
  7. 제1항에 있어서,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크거나, 상기 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크거나, 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면 상기 인접한 데이터를 서로 다른 물체로 구분하는 차량.
  8. 거리센서에서 차량 주변의 물체를 감지하여 거리 및 각도 정보를 포함하는 데이터를 획득하고;
    영상센서에서 차량 주변의 이미지를 획득하고;
    상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터의 색상정보를 획득하고;
    상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것;을 포함하는 차량의 제어방법.
  9. 제8항에 있어서,
    상기 영상센서에서 획득한 이미지를 이용하여 상기 거리센서에서 획득한 데이터가 나타내는 물체를 구분할 수 있는 물체정보를 획득하는 것;을 더 포함하는 차량의 제어방법.
  10. 제9항에 있어서,
    상기 거리, 각도 및 색상정보에 기초하여 구분된 물체 중 상기 물체정보에 기초하여 두 개 이상의 물체가 포함된 물체가 있는지 여부를 결정하고;
    두 개 이상의 물체가 포함된 물체가 있는 경우, 상기 두 개 이상의 물체가 포함된 물체를 상기 물체정보에 기초하여 구분하는 것;을 더 포함하는 차량의 제어방법.
  11. 제8항에 있어서,
    상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함하는 차량의 제어방법.
  12. 제8항에 있어서,
    상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함하는 차량의 제어방법.
  13. 제8항에 있어서,
    상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면, 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함하는 차량의 제어방법.
  14. 제8항에 있어서,
    상기 거리, 각도 및 색상정보에 기초하여 상기 데이터를 서로 다른 물체로 구분하는 것은,
    상기 거리센서에서 획득한 데이터 중 인접한 데이터 사이의 거리가 미리 정해진 거리보다 크거나, 상기 인접한 데이터가 이루는 각도가 미리 정해진 각도보다 크거나, 인접한 데이터의 색상값의 차이가 미리 정해진 색상값보다 크면 상기 인접한 데이터를 서로 다른 물체로 구분하는 것;을 포함하는 차량의 제어방법.
KR1020150179752A 2015-12-16 2015-12-16 차량 및 그 제어방법 KR102192689B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150179752A KR102192689B1 (ko) 2015-12-16 2015-12-16 차량 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150179752A KR102192689B1 (ko) 2015-12-16 2015-12-16 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170071731A KR20170071731A (ko) 2017-06-26
KR102192689B1 true KR102192689B1 (ko) 2020-12-17

Family

ID=59282414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150179752A KR102192689B1 (ko) 2015-12-16 2015-12-16 차량 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102192689B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102195164B1 (ko) * 2019-04-29 2020-12-24 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101439019B1 (ko) 2013-04-18 2014-09-05 현대오트론 주식회사 차량 제어 장치 및 그 자율 주행 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405327B1 (ko) * 2012-04-20 2014-06-27 주식회사 에스엘 서봉 차량용 감지장치
KR101387189B1 (ko) * 2012-05-30 2014-04-29 삼성전기주식회사 운행 보조정보 표시장치 및 운행 보조정보 표시방법
KR101641491B1 (ko) * 2014-01-02 2016-07-29 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR102338989B1 (ko) * 2015-12-16 2021-12-14 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101439019B1 (ko) 2013-04-18 2014-09-05 현대오트론 주식회사 차량 제어 장치 및 그 자율 주행 방법

Also Published As

Publication number Publication date
KR20170071731A (ko) 2017-06-26

Similar Documents

Publication Publication Date Title
US10239528B2 (en) Vehicle and method of controlling the vehicle
US11008016B2 (en) Display system, display method, and storage medium
US10789845B2 (en) Parking assistance method and parking assistance device
JP6096156B2 (ja) 駐車支援装置
EP2620330B1 (en) Driving assistance device
CN109643439B (zh) 周边监视装置
KR102329444B1 (ko) 자동차의 제어 시스템 및 제어방법
US10150486B2 (en) Driving assistance device and driving assistance system
US9845092B2 (en) Method and system for displaying probability of a collision
JP2016084094A (ja) 駐車支援装置
CN102933428A (zh) 驾驶支援装置
US20170305345A1 (en) Image display control apparatus and image display system
CN112298038B (zh) 周边监视装置
JP2015133603A (ja) 周辺監視装置、及びプログラム
JP2016124398A (ja) 駐車支援装置
CN115123281A (zh) 图像显示系统
JP2022023870A (ja) 表示制御装置
KR102192689B1 (ko) 차량 및 그 제어방법
KR102338989B1 (ko) 차량 및 그 제어방법
JP7395913B2 (ja) 物体検知装置
JP2013086614A (ja) 駐車支援装置
JP2020140603A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
KR102322924B1 (ko) 차량 및 차량의 제어방법
JP7259377B2 (ja) 車両用表示装置、車両、表示方法及びプログラム
US20240326911A1 (en) Driving assistance device and driving assistance method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right