KR20200139056A - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR20200139056A
KR20200139056A KR1020190065633A KR20190065633A KR20200139056A KR 20200139056 A KR20200139056 A KR 20200139056A KR 1020190065633 A KR1020190065633 A KR 1020190065633A KR 20190065633 A KR20190065633 A KR 20190065633A KR 20200139056 A KR20200139056 A KR 20200139056A
Authority
KR
South Korea
Prior art keywords
vehicle
region
area
contact line
forming
Prior art date
Application number
KR1020190065633A
Other languages
English (en)
Other versions
KR102621257B1 (ko
Inventor
박종희
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190065633A priority Critical patent/KR102621257B1/ko
Publication of KR20200139056A publication Critical patent/KR20200139056A/ko
Application granted granted Critical
Publication of KR102621257B1 publication Critical patent/KR102621257B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/005—Sampling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량의 바운딩 박스를 변경하여 효율적인 연산량을 기초로 정확한 차량 주변 물체의 위치 정보를 획득할 수 있는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은 차량 주변의 적어도 하나의 물체가 포함된 주변 영상을 획득하는 카메라; 및 상기 영상 정보에 포함된 상기 적어도 하나의 물체에 대응되는 제1영역을 형성하고, 상기 물체의 윤곽선을 검출하고, 상기 물체의 윤곽선의 정사영을 기초로 상기 물체와 지면 사이의 접촉선을 형성하고, 상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하고, 상기 제1영역 및 상기 제2영역을 기초로 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 제어부;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD THEREOF}
본 발명은 차량의 충돌 방지 시스템에 있어서 차량 주변에 물체의 위치 정보를 획득하는 차량 및 그 제어방법에 관련된 기술이다.
차량에 마련된 주차 충돌방지 보조-후방 (Parking Collision-Avoidance Assist, PCA-R)는 저속으로 후진 중 후방의 보행자 및 장애물과의 충돌 위험을 판단하여 사용자에게 경고 메시지를 출력하거나, 제동제어를 수행하는 시스템이다.
차량이 주변의 물체의 위치 정보를 획득하기 위해서 차량에 마련된 카메라를 사용할 수 있다. 구체적으로 차량은 차량에 장착된 카메라에서 물체 검출 결과, 물체를 포함하는 바운딩 박스(Bounding Box)를 이용할 수 있다.
한편 이러한 바운딩 박스는 차량이 주변의 물체의 위치관계를 판단하는데 있어서 연산량을 줄일 수 있는 장점이 있으나 차량과 물체 사이의 정확한 위치 관계를 파악하기 어렵다.
반면, 바운딩 박스를 사용하지 않고 차량이 획득한 영상 자체로 각각의 물체의 영상을 샘플링하여 차량과 물체 사이의 위치 관계를 파악한다면, 바운딩 박스를 이용하여 물체의 위치 정보를 파악하는 것보다 더 정확한 물체의 위치 정보를 획득할 수 있으나, 많은 연산량이 요구된다.
따라서, 차량이 획득한 영상을 효율적인 연산을 통하여 차량 주변 물체의 위치 정보를 획득하는 기술이 요구되고 있는 실정이다.
본 발명은 차량의 바운딩 박스를 변경하여 효율적인 연산량을 기초로 정확한 차량 주변 물체의 위치 정보를 획득할 수 있는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은 차량 주변의 적어도 하나의 물체가 포함된 주변 영상을 획득하는 카메라; 및 상기 영상 정보에 포함된 상기 적어도 하나의 물체에 대응되는 제1영역을 형성하고, 상기 물체의 윤곽선을 검출하고, 상기 물체의 윤곽선의 정사영을 기초로 상기 물체와 지면 사이의 접촉선을 형성하고, 상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하고, 상기 제1영역 및 상기 제2영역을 기초로 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 제어부;를 포함한다.
상기 제어부는, 상기 물체의 복수개의 윤곽선을 검출하고, 상기 복수개의 윤곽선 각각과 상기 제1영역을 이루는 선의 각도에 기초하여 상기 복수의 윤곽선을 클러스터링(clustering) 할 수 있다.
상기 제어부는, 상기 클러리스터링 된 상기 복수의 윤곽선의 양 말단의 정사영을 기초로 상기 접촉선을 결정할 수 있다.
상기 제1영역은, 적어도 하나의 직선으로 구성되며 상기 적어도 하나의 물체 일부를 포함하는 바운딩 박스(Bounding Box)형태로 형성될 수 있다.
상기 제어부는, 상기 접촉선과 상기 제1영역을 구성하는 상기 적어도 하나의 직선과의 접점을 기준점으로 결정하고, 상기 기준점에서 상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도에 대응되도록 상기 제1영역을 변경하여 상기 제2영역을 형성할 수 있다.
상기 제어부는, 상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도를 기초로 상기 제1영역 중 일부를 상기 제2영역으로 결정하고, 상기 제2영역에 포함된 상기 접촉선을 미리 결정된 간격으로 샘플링하여 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정할 수 있다.
상기 제어부는, 상기 차량과 상기 적어도 하나의 물체의 위치관계를 기초로 위치 맵을 형성할 수 있다.
일 실시예에 따른 차량 제어방법은, 차량 주변의 적어도 하나의 물체가 포함된 주변 영상을 획득하고, 상기 영상 정보에 포함된 상기 적어도 하나의 물체에 대응되는 제1영역을 형성하고, 상기 물체의 윤곽선을 검출하고, 상기 물체의 윤곽선의 정사영을 기초로 상기 물체와 지면 사이의 접촉선을 형성하고, 상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하고, 상기 제1영역 및 상기 제2영역을 기초로 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 것을 포함한다.
상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하는 것은,
상기 물체의 복수개의 윤곽선을 검출하고, 상기 복수개의 윤곽선 각각과 상기 제1영역을 이루는 선의 각도에 기초하여 상기 복수의 윤곽선을 클러스터링(clustering)하는 것을 포함할 수 있다.
상기 접촉선을 결정하는 것은, 상기 클러스터링 된 상기 복수의 윤곽선의 양 말단의 정사영을 기초로 상기 접촉선을 결정하는 것을 포함할 수 있다.
상기 제1영역은, 적어도 하나의 직선으로 구성되며 상기 적어도 하나의 물체 일부를 포함하는 바운딩 박스(Bounding Box)형태로 형성될 수 있다.
상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하는 것은, 상기 접촉선과 상기 제1영역을 구성하는 상기 적어도 하나의 직선과의 접점을 기준점으로 결정하고, 상기 기준점에서 상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도에 대응되도록 상기 제1영역을 변경하여 상기 제2영역을 형성할 수 있다.
상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 것은,
상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도를 기초로 상기 제1영역 중 일부를 상기 제2영역으로 결정하고,
상기 제2영역에 포함된 상기 접촉선을 미리 결정된 간격으로 샘플링하여 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 것을 포함할 수 있다.
일 실시예에 따른 차량 제어방법은, 상기 차량과 상기 적어도 하나의 물체의 위치관계를 기초로 위치 맵을 형성하는 것을 더 포함할 수 있다.
일 실시예에 따른 차량 및 그 제어방법은 바운딩 박스를 변경하여 효율적인 연산량을 기초로 정확한 차량 주변 물체의 위치 정보를 획득할 수 있다.
도1은 일 실시예에 따른 차량이 주변 물체의 위치 정보를 획득하는 동작을 설명하기 위한 도면이다.
도2는 일 실시예에 따른 차량의 제어블럭도이다.
도3은 일 실시예에 따른 차량 주변 물체의 윤곽선을 결정하는 동작을 설명하기 위한 도면이다.
도4는 일 실시예에 따른 물체의 윤곽선을 클러스터링 하는 동작을 설명하기 위한 도면이다.
도5는 일 실시예에 따른 윤곽선의 양 말단의 정사영하는 동작을 설명하기 위한 도면이다.
도6은 일 실시예에 따른 기준점을 결정하는 동작을 설명하기 위한 도면이다.
도7은 일 실시예에 따른 제1영역 및 제2영역을 결정하는 동작을 설명하기 위한 도면이다.
도8은 일 실시예에 따른 위치 맵을 형성하는 동작을 설명하기 위한 도면이다.
도9는 일 실시예에 따른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1은 일 실시예에 따른 차량이 주변 물체의 위치 정보를 획득하는 동작을 설명하기 위한 도면이다.
도1을 참고하면, 차량은 차량 주변의 물체(O11, O12)의 위치 정보를 획득할 수 있다.
한편 각 물체의 위치 정보를 획득하는데 있어서 차량은 가가 물체에 대응되는 바운딩 박스(Bounding Box, BB11, BB12)를 형성할 수 있다. 바운딩 박스는 차량이 획득한 영상에 포함된 물체의 적어도 일부를 포함하는 영역으로 정의될 수 있다. 또한 일 실시예에 따르면 각 바운딩 박스는 직사각형 형태로 구현될 수 있다. 또한 본 명세서에서는 바운딩 박스에 대응되는 영역을 제1영역으로 명명하고 설명한다.
도1에서 차량은 한 물체(O11)에 대응되는 바운딩 박스(BB11)를 형성하고, 다른 물체(O12)에 대응되는 바운딩 박스(BB12)를 형성한 것을 나타내고 있다.
차량은 직접적으로 차량 주변의 물체(O11, O12)의 위치를 샘플링하지 않고 각 바운딩 박스(BB11, BB12)의 위치 정보를 획득하여 각 물체에 대응되는 위치 정보로 결정할 수 있다.
한편 상술한 방법으로 각 물체의 위치 정보를 획득한 차량은 위치 맵(M1)을 형성할 수 있다.
구체적으로 O11물체의 위치 정보는 P11로 형성되어 위치 맵에 나타날 수 있고, O12물체의 위치 정보는 P12로 형성되어 위치 맵에 형성될 수 있다.
한편 차량 주변의 물체(O11, O12)의 위치 정보는 차량과의 배치를 고려했을 때, 상대적으로 부정확한 위치 정보일 수 있으며, 후술하는 동작을 기초로 변경될 수 있다.
한편 도1에서 설명한 동작은 본 발명의 동작을 설명하기 위한 일 실시예에 불과하며 차량의 주변 물체의 위치 정보를 획득하는 동작의 제한은 없다.
도2는 일 실시예에 따른 차량(1)의 제어블럭도이다.
일 실시예에 따른 차량(1)은 카메라(100)와 제어부(200)를 포함할 수 있다.
카메라(100)는 차량 주변의 적어도 하나의 물체가 포함된 주변 영상을 획득할 수 있다.
카메라(100)는 차량 주변의 물체의 영상 정보를 획득할 수 있다.
카메라(100)는 차량의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있다.
차량에 설치된 카메라는 CCD(Charge-Coupled Device) 카메라(120) 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다. 구체적으로CCD(Charge-Coupled Device) 카메라는 전하 결합 소자를 사용하여 영상을 전기 신호로 변환하는 장치이다. 또한, CIS(CMOS Image Sensor)는 CMOS 구조를 가진 저소비, 저전력형의 촬상소자를 의미하며, 디지털 기기의 전자 필름 역할을 수행한다. 일반적으로 CCD는 CIS보다 감도가 좋아 차량에 많이 쓰이지만, 반드시 이에 한정되는 것은 아니다.
제어부(200)는 카메라가 획득한 영상 정보에 포함된 상기 적어도 하나의 물체에 대응되는 제1영역을 형성할 수 있다. 제1영역은 상술한 바와 같이 바운딩 박스(Bounding Box)로 구현될 수 있다.
또한 제어부(200)는 물체의 윤곽선을 검출할 수 있다. 일 실시예에 따르면 제어부는 차량이 획득한 영상의 일정 영역의 콘트라스트가 미리 결정된 범위를 초과하면 해당 부분을 윤곽선으로 결정할 수 있다.
제어부(200)는 물체의 윤곽선의 정사영을 기초로 상기 물체와 지면 사이의 접촉선을 형성할 수 있다. 구체적으로 제어부(200)는 물체의 윤곽선과 물체가 위치한 지면사이의 각도를 기초로 윤곽선의 정사영을 도출할 수 있다. 일 실시예에 따르면 정사영은 윤곽선과 물체가 위치한 지면사이의 각도의 코사인 값을 윤곽선에 곱하여 결정될 수 있다.
제어부(200)는 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성할 수 있다. 제2영역은 제1영역의 일부로 구성될 수 있는데 이와 관련된 자세한 설명은 후술한다.
제어부(200)는 제1영역 및 제2영역을 기초로 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정할 수 있다.
또한 제어부(200)는 차량과 주변 물체와의 위치 관계를 기초로 차량이 물체를 회피하도록 제어할 수 있다.
제어부(200)는 물체의 복수개의 윤곽선을 검출하고 복수개의 윤곽선 각각과 상기 제1영역을 이루는 선의 각도에 기초하여 상기 복수의 윤곽선을 클러스터링(clustering) 할 수 있다. 구체적으로 윤곽선이 제1영역을 이루는 각도를 미리 결정된 영역에 다라 분류하고 해당 영역에 포함되는 윤곽선을 클러스터링 할 수 있다. 클러스터링은 해당 범위에 포함되는 윤곽선을 그루핑하는 동작으로 이루어질 수 있다.
제어부(200)는 클러리스터링 된 상기 복수의 윤곽선의 양 말단의 정사영을 기초로 접촉선을 결정할 수 있다.
제어부(200)는 상술한 바와 같이 윤곽선과 지면과의 각도를 기초로 결정된 정사영에서 윤곽선의 말단과 지면의 접접을 접촉선으로 결정할 수 있다.
또한 상술한 바와 같이 제1영역은 적어도 하나의 직선으로 구성되며 상기 적어도 하나의 물체 일부를 포함하는 바운딩 박스(Bounding Box)형태로 형성될 수 있다.
제어부(200)는 접촉선과 상기 제1영역을 구성하는 상기 적어도 하나의 직선과의 접점을 기준점으로 결정할 수 있다.
제어부(200)는 기준점에서 제1영역을 구성하는 적어도 하나의 직선과 접촉선이 이루는 각도에 대응되도록 제1영역을 변경하여 제2영역을 형성할 수 있다.
구체적으로 제어부(200)는 윤곽선과 제1영역이 이루는 각도를 기초로 제1영역을 제2영역으로 변경할 때 해당 각도에 제1영역이 이루는 직선이 대응되도록 변경할 수 있다.
제어부(200)는 제1영역을 구성하는 적어도 하나의 직선과 상기 접촉선이 이루는 각도를 기초로 상기 제1영역 중 일부를 상기 제2영역으로 결정하고,
제2영역에 포함된 접촉선을 미리 결정된 간격으로 샘플링하여 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정할 수 있다.
즉, 상술한 동작을 기초로 제1영역을 제2영역으로 변경된 부분은 상술한 바운딩 박스를 이용하여 정확한 위치 정보를 획득하기 어려우므로 해당 영역은 샘플링을 통하여 해당 물체의 위치정보를 획득할 수 있다.
또한 제어부(200)는 차량과 상기 적어도 하나의 물체의 위치관계를 기초로 위치 맵을 형성할 수 있다. 형성된 위치 맵에 관련된 자세한 설명은 후술한다.
제어부(200)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도 2에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도3은 일 실시예에 따른 차량 주변 물체의 윤곽선을 결정하는 동작을 설명하기 위한 도면이다.
도3을 참고하면 차량이 획득한 영상에 포함된 물체(O31)의 윤곽선(l31 내지 l38)을 획득하는 동작을 나타내고 있다.
도3은 제1영역(BB31)에 포함된 물체(O31)을 나타내고 있고 제어부는 물체(O31)의 윤곽선을 검출할 수 있다. 특히 해당 윤곽선은 영상에 나타난 물체에서 대비가 미리 결정된 값을 초과하는 부분을 의미할 수 있다.
예를 들어 l32윤곽선은 물체 외부 영역과 물체의 경계 영역으로서 대비가 미리 결정된 영역을 초과하는 부분에 해당될 수 있고, 제어부는 이 부분을 윤곽선(l32)으로 결정할 수 있다.
한편 같은 물체에 포함된 윤곽선이라도 검출에 이용될 수 있다. 도3의 l36윤곽선은 물체 내부에 포함되어 있는 윤곽선이지만 대비가 미리 결정된 영역을 초과하면 해당 부분을 물체의 윤곽선(l63)으로 결정할 수 있다.
한편 후술하는 바와 같이 해당 윤곽선은 제어부에 의하여 클러스터링 될 수 있다.
도4는 일 실시예에 따른 물체의 윤곽선을 클러스터링 하는 동작을 설명하기 위한 도면이다.
도4를 참고하면 상술한 동작을 기초로 도출된 윤곽선(L41 내지 L49)를 나타내고 있다.
한편 복수개의 윤곽선 각각과 제1영역을 이루는 선의 각도에 기초하여 복수의 윤곽선을 클러스터링(clustering)할 수 있다.
도4에서 L41 및 L42는 제1영역, 바운딩 박스(BB1)를 이루는 밑 직선과 평행한 각도를 이루고 있어 같은 그룹으로 클러스터링 될 수 있다.
또한, L44내지 L48의 윤곽선은 물체(O41)의 옆면에 해당되는 것으로 상호 윤곽선은 평행적으로 위치할 수 있으며 각 윤곽선이 제1영역, 바운딩 박스(BB1)와 이루는 각도는 일정 각도(A41)를 이룰 수 있다.
또한L43과 L49는 해당 물체(O41)의 높이를 구성하는 윤곽선으로 구성될 수 있다. 또한 L43과 L49의 윤곽선이 바운딩 박스(BB1)를 이루는 밑 직선과 이루는 각도(미도시)는 L44내지 L48의 윤곽선이 제1영역, 바운딩 박스(BB1)와 이루는 일정 각도(A41)와는 상이할 것으로 L43과 L49는 L44내지 L48와 다른 클러스터링으로 구성될 수 있다.
정리하면 제어부는 물체의 윤곽선을 도출할 수 있고 도출된 윤곽선 중 상호 평행한 것 및 바운딩 박스와의 각도가 같은 윤곽선들 끼리 클러스터링 할 수 있다.
도5는 일 실시예에 따른 윤곽선의 양 말단의 정사영하는 동작을 설명하기 위한 도면이다.
도5를 참고하면, 각 윤곽선의 말단을 검출하는 동작(P501 내지 P511)을 설명하고 있다. 즉 제어부는 윤곽선을 결정하고 윤곽선의 말단을 도출할 수 있다. 차량은 물체와의 거리정보를 얻기위해 윤곽선의 말단을 이용할 수 있다.
도6은 일 실시예에 따른 기준점을 결정하는 동작을 설명하기 위한 도면이다.
도6를 함께 참고하면, 도5의P501,P501가 정사영되어 P601을 형성할 수 있다.
또한 도5의 P503, P504, P505 및 P506은 정사영되어 P604를 형성할 수 있다.
한편P604는 제1영역과 닿아 있을 수 있으며, 제어부는 윤곽선의 말단을 정사영한 부분이 제1영역, 바운딩 박스와 닿으면 해당 부분을 물체와 지면이 닿아 있는 기준점으로 결정할 수 있다.
제어부는 후술하는 바와 같이 기준점을 기준으로 제2영역을 결정할 수 있다.
한편 제1영역과 제2영역을 나누는 기준점을 결정하는 동작에는 제한이 없으며 본 명세서에서 설명하는 동작은 후술하는 제1영역을 변경하는데 이용될 수 있는 지점을 결정하는 동작을 포함한다.
도7은 일 실시예에 따른 제1영역 및 제2영역을 결정하는 동작을 설명하기 위한 도면이다.
제어부는 접촉선과 제1영역을 구성하는 적어도 하나의 직선과의 접점을 기준점으로 결정하고, 기준점에서 제1영역을 구성하는 적어도 하나의 직선과 접촉선이 이루는 각도에 대응되도록 제1영역을 변경하여 제2영역을 형성할 수 있다.
도7에서는 기준점(P71)이 설정되었으며, 기준점에서 미리 결정된 접촉선(L71)과 제1영역을 구성하는 직선(R71)이 이루는 각도(A71)를 나타내고 있다.
한편 제어부는 이 경우 제1영역을 이루고 있던 직선(R71)를 각도(A71)에 대응되도록 변경할 수 있다. 한편 변경된 제1영역은 제2영역(Z72)로 결정될 수 있다. 제어부는 기존의 R71이 포함된 제1영역이 아닌 변경된 제2영역으로 변경하여 물체와의 위치 관계를 판단하여 정확하게 차량과 물체 사이의 위치 관계를 결정할 수 있다. 또한 제어부는 제2영역에 해당되는 물체의 부분은 미리 결정된 간격으로 샘플링하여 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정할 수 있다.
도8은 일 실시예에 따른 위치 맵을 형성하는 동작을 설명하기 위한 도면이다.
도8을 참고하면, V1은 차량에 마련된 카메라가 획득한 영상 정보이며, M1은 이러한 영상 정보를 기초로 획득된 위치 맵이다.
도1에서 나타낸 것 처럼 기존의 동작을 기초로 위치 맵을 형성하면 바운딩 박스를 기초로 위치 맵을 형성하여 부정확한 위치 맵이 형성될 수 있다.
한편 도3내지 도7의 방법으로 기존 바운딩 박스를 변경한다면 위치 맵에 있어서도 기존의 P11의 위치 정보가 P81로 변경될 수 있어 제어부는 더욱 정확한 위치 정보를 획득할 수 있다. 상술한 동작을 기초로 기존의 위치 정보 P12도 P82로 변경할 수 있다.
정리하면 제어부는 상술한 방법을 기초로 제1영역에 해당하는 바운딩 박스를 변경하여 물체의 위치 정보를 획득하고 , 획득한 물체 정보를 위치 맵에 반영하여 차량 주변의 물체의 위치 정보를 획득할 수 있다.
한편 상술한 동작은 본 발명의 동작을 설명하기 위한 일 실시예에 불과하며 차량 주변 물체의 정확한 위치 정보를 획득하는 동작이면 그 동작의 제한은 없다.
도9는 일 실시예에 따른 순서도이다.
도9를 참고하면, 차량은 물체를 검출할 수 있다(1001). 또한 차량은 물체의 일부가 포함된 영역을 바운딩 박스로 형성하여 제1영역으로 형성할 수 있다(1002).
또한 차량은 물체의 윤곽선을 검출할 수 있다(1003). 또한 제어부는 윤곽선과 제1영역이 이루는 각도를 기초로 해당 윤곽선을 클러스터링 할 수 있다(1004).
또한 클러스터링한 윤곽선의 말단의 정사영을 기초로 해당 부분이 제1영역을 이루는 직선과 접하는 부분을 기준점으로 결정할 수 있다(1005). 또한 제어부는 기준점에서 제1영역을 이루는 직선과 윤곽선의 각도를 기초로 제1영역을 제2영역으로 변경할 수 있다(1006).
한편 제어부는 상술한 방법으로 변경된 제2영역 부분의 미리 결정된 간격으로 샘플링하여 차량과 적어도 하나의 물체 사이 위치 관계를 결정할 수 있고, 결정된 위치 관계를 기초로 위치 맵을 형성할 수 있다(1007).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 차량
100 : 카메라
200 : 제어부

Claims (14)

  1. 차량 주변의 적어도 하나의 물체가 포함된 주변 영상을 획득하는 카메라; 및
    상기 영상 정보에 포함된 상기 적어도 하나의 물체에 대응되는 제1영역을 형성하고,
    상기 물체의 윤곽선을 검출하고,
    상기 물체의 윤곽선의 정사영을 기초로 상기 물체와 지면 사이의 접촉선을 형성하고,
    상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하고,
    상기 제1영역 및 상기 제2영역을 기초로 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 물체의 복수개의 윤곽선을 검출하고,
    상기 복수개의 윤곽선 각각과 상기 제1영역을 이루는 선의 각도에 기초하여 상기 복수의 윤곽선을 클러스터링(clustering) 하는 차량.
  3. 제2항에 있어서,
    상기 제어부는.
    상기 클러리스터링 된 상기 복수의 윤곽선의 양 말단의 정사영을 기초로 상기 접촉선을 결정하는 차량.
  4. 제1항에 있어서,
    상기 제1영역은,
    적어도 하나의 직선으로 구성되며 상기 적어도 하나의 물체 일부를 포함하는 바운딩 박스(Bounding Box)형태로 형성되는 차량.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 접촉선과 상기 제1영역을 구성하는 상기 적어도 하나의 직선과의 접점을 기준점으로 결정하고,
    상기 기준점에서 상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도에 대응되도록 상기 제1영역을 변경하여 상기 제2영역을 형성하는 차량.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도를 기초로 상기 제1영역 중 일부를 상기 제2영역으로 결정하고,
    상기 제2영역에 포함된 상기 접촉선을 미리 결정된 간격으로 샘플링하여 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 차량.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 차량과 상기 적어도 하나의 물체의 위치관계를 기초로 위치 맵을 형성하는 차량.
  8. 차량 주변의 적어도 하나의 물체가 포함된 주변 영상을 획득하고,
    상기 영상 정보에 포함된 상기 적어도 하나의 물체에 대응되는 제1영역을 형성하고,
    상기 물체의 윤곽선을 검출하고,
    상기 물체의 윤곽선의 정사영을 기초로 상기 물체와 지면 사이의 접촉선을 형성하고,
    상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하고,
    상기 제1영역 및 상기 제2영역을 기초로 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 것을 포함하는 차량 제어방법.
  9. 제8항에 있어서,
    상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하는 것은,상기 물체의 복수개의 윤곽선을 검출하고,
    상기 복수개의 윤곽선 각각과 상기 제1영역을 이루는 선의 각도에 기초하여 상기 복수의 윤곽선을 클러스터링(clustering) 하는 차량 제어방법.
  10. 제9항에 있어서,
    상기 접촉선을 결정하는 것은, 상기 클러스터링 된 상기 복수의 윤곽선의 양 말단의 정사영을 기초로 상기 접촉선을 결정하는 것을 포함하는 차량 제어방법.
  11. 제8항에 있어서,
    상기 제1영역은,
    적어도 하나의 직선으로 구성되며 상기 적어도 하나의 물체 일부를 포함하는 바운딩 박스(Bounding Box)형태로 형성되는 차량 제어방법.
  12. 제11항에 있어서,
    상기 접촉선을 기초로 상기 제1영역을 변경하여 제2영역을 형성하는 것은,상기 접촉선과 상기 제1영역을 구성하는 상기 적어도 하나의 직선과의 접점을 기준점으로 결정하고,
    상기 기준점에서 상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도에 대응되도록 상기 제1영역을 변경하여 상기 제2영역을 형성하는 차량 제어방법.
  13. 제11항에 있어서,
    상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 것은,상기 제1영역을 구성하는 상기 적어도 하나의 직선과 상기 접촉선이 이루는 각도를 기초로 상기 제1영역 중 일부를 상기 제2영역으로 결정하고,
    상기 제2영역에 포함된 상기 접촉선을 미리 결정된 간격으로 샘플링하여 상기 차량과 상기 적어도 하나의 물체 사이 위치 관계를 결정하는 것을 포함하는 차량 제어방법.
  14. 제8항에 있어서,
    상기 차량과 상기 적어도 하나의 물체의 위치관계를 기초로 위치 맵을 형성하는 것을 더 포함하는 차량 제어방법.
KR1020190065633A 2019-06-03 2019-06-03 차량 및 그 제어방법 KR102621257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190065633A KR102621257B1 (ko) 2019-06-03 2019-06-03 차량 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190065633A KR102621257B1 (ko) 2019-06-03 2019-06-03 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20200139056A true KR20200139056A (ko) 2020-12-11
KR102621257B1 KR102621257B1 (ko) 2024-01-08

Family

ID=73786577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190065633A KR102621257B1 (ko) 2019-06-03 2019-06-03 차량 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102621257B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387920B1 (ko) * 2021-04-08 2022-04-20 조병우 지능형 모빌리티 및 그의 자율주행 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250651A (ja) * 2009-04-17 2010-11-04 Toyota Motor Corp 車両検出装置
JP2016068712A (ja) * 2014-09-29 2016-05-09 クラリオン株式会社 車載用画像処理装置
KR101795270B1 (ko) * 2016-06-09 2017-11-07 현대자동차주식회사 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250651A (ja) * 2009-04-17 2010-11-04 Toyota Motor Corp 車両検出装置
JP2016068712A (ja) * 2014-09-29 2016-05-09 クラリオン株式会社 車載用画像処理装置
KR101795270B1 (ko) * 2016-06-09 2017-11-07 현대자동차주식회사 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387920B1 (ko) * 2021-04-08 2022-04-20 조병우 지능형 모빌리티 및 그의 자율주행 방법

Also Published As

Publication number Publication date
KR102621257B1 (ko) 2024-01-08

Similar Documents

Publication Publication Date Title
US10890445B2 (en) Ground plane estimation in a computer vision system
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
JP6589926B2 (ja) 物体検出装置
JP2021185548A (ja) 物体検出装置、物体検出方法およびプログラム
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
US20180336697A1 (en) Monocular localization in urban environments using road markings
JP5440461B2 (ja) 校正装置、距離計測システム、校正方法および校正プログラム
US10104359B2 (en) Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program
KR20190047595A (ko) 색 선별 거울을 이용하는 자율 주행 차량용 3d lidar 시스템
EP3637142A1 (en) Automatic lidar calibration based on cross validation for autonomous driving
JP2020021326A (ja) 情報処理方法、情報処理装置およびプログラム
US10180318B2 (en) Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium
KR102428765B1 (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
JP7343054B2 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
JP2018073275A (ja) 画像認識装置
US20200364470A1 (en) Traveling lane recognition apparatus and traveling lane recognition method
KR102621257B1 (ko) 차량 및 그 제어방법
JP7103324B2 (ja) 物体認識用異常検出装置及び物体認識用異常検出プログラム
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
JP7384158B2 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
KR101911860B1 (ko) 깊이 영상에서 카메라 모델 및 필터를 이용한 도로 검출 방법 및 장치
US20210402616A1 (en) Information processing apparatus, information processing method, mobile robot, and non-transitory computer-readable storage medium
US20230260080A1 (en) Object detection method and device
JP2019106166A (ja) 情報処理方法、情報処理装置およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190603

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220401

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190603

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230627

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231215

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240103

End annual number: 3

Start annual number: 1

PG1601 Publication of registration