KR101637716B1 - 차량의 장애물 위치 인식 장치 및 방법 - Google Patents

차량의 장애물 위치 인식 장치 및 방법 Download PDF

Info

Publication number
KR101637716B1
KR101637716B1 KR1020140151564A KR20140151564A KR101637716B1 KR 101637716 B1 KR101637716 B1 KR 101637716B1 KR 1020140151564 A KR1020140151564 A KR 1020140151564A KR 20140151564 A KR20140151564 A KR 20140151564A KR 101637716 B1 KR101637716 B1 KR 101637716B1
Authority
KR
South Korea
Prior art keywords
camera
obstacle
image data
straight
edge
Prior art date
Application number
KR1020140151564A
Other languages
English (en)
Other versions
KR20160051462A (ko
Inventor
최재섭
류성숙
윤대중
최진욱
장유진
정호기
서재규
Original Assignee
현대자동차주식회사
기아자동차주식회사
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사, 한양대학교 산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020140151564A priority Critical patent/KR101637716B1/ko
Priority to US14/743,957 priority patent/US10186039B2/en
Priority to CN201510388800.XA priority patent/CN106183990B/zh
Publication of KR20160051462A publication Critical patent/KR20160051462A/ko
Application granted granted Critical
Publication of KR101637716B1 publication Critical patent/KR101637716B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B60R2021/01345—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems using mechanical sensing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 장애물 위치 인식 장치 및 방법에 관한 것으로, 본 발명은 카메라 및 초음파 센서를 통해 영상 데이터 및 초음파 센서 데이터를 획득하고, 상기 영상 데이터에서 지표면에 수직한 직선 에지를 검출하며, 상기 초음파 센서 데이터가 연속되지 않는 불연속 위치를 검출하고, 상기 불연속 위치가 카메라 위치와 일치하면 상기 영상 데이터부터 연속한 영상에서 검출한 직선 에지들의 교점을 검출하여 장애물의 위치로 추정한다.

Description

차량의 장애물 위치 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING POSITION OF OBSTACLE IN VEHICLE}
본 발명은 차량의 장애물 위치 인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 영상 정보를 이용하여 장애물의 위치를 정밀하게 측정하는 차량의 장애물 위치 인식 장치 및 방법에 관한 것이다.
자동차는 IT(Information Technology) 기술과 접목되면서 지능형 자동차 기술에 대한 많은 연구가 진행되고 있다. 그 중에서 차량의 주차를 도와주는 주차 지원 시스템은 자동차에 적용되어 상용화되고 있다.
이러한 주차 지원 시스템은 초음파 센서, 레이저 스캐너, 카메라 등을 이용하여 장애물의 위치를 측정하여 주차공간을 인식한다.
초음파 센서를 이용하는 주차 지원 시스템은 초음파 센서의 물리적 특성 상 장애물(예: 차량)의 에지(모서리) 위치를 정확하게 검출할 수 없다. 특히, 주차 지원 시스템은 초음파 센서를 통해 좁은 기둥이나 원형 기둥의 위치를 정밀하게 측정하기 어렵다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출한 것으로, 영상 정보에서 지표면에 수직한 장애물의 직선 에지를 검출하여 장애물의 위치를 정밀하게 측정하는 차량의 장애물 위치 인식 장치 및 방법을 제공하는데 그 목적이 있다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량의 장애물 위치 인식 방법은 카메라 및 초음파 센서를 통해 영상 데이터 및 초음파 센서 데이터를 획득하는 단계와, 상기 영상 데이터에서 지표면에 수직한 직선 에지를 검출하는 단계와, 상기 초음파 센서 데이터가 연속되지 않는 불연속 위치를 검출하는 단계와, 상기 불연속 위치가 카메라 위치와 일치하면 상기 영상 데이터부터 연속한 영상에서 검출한 직선 에지들의 교점을 검출하는 단계와, 상기 교점을 장애물의 위치로 추정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 직선 에지 검출 단계는, 상기 영상 데이터의 에지 영상을 기준으로 거리 변환(distance transform)하는 단계와, 상기 거리 변환한 영상에서 폴라 히스토그램을 생성하는 단계와, 상기 폴라 히스토그램을 통해 에지 픽셀이 가장 많이 분포된 직선 에지를 추출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 직선 에지 검출 단계는, 카메라 정보 및 장애물 정보에 근거하여 영상 데이터에서 상기 장애물의 직선 에지 시작 위치와 끝 위치를 추정하여 직선 에지를 검출하는 것을 특징으로 한다.
또한, 상기 불연속 위치 검출 단계는, 상기 카메라 위치와 일치하는 불연속 위치가 장애물 감지 시작 위치인지를 확인하는 것을 특징으로 한다.
또한, 상기 검출한 직선 에지들의 교점 검출 단계는, 상기 카메라 위치가 상기 장애물 감지 시작 위치이면, 상기 영상 데이터 및 이후 영상에서 검출된 직선 에지들을 상기 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징으로 한다.
또한, 상기 불연속 위치 검출 단계는, 상기 카메라 위치와 일치하는 불연속 위치가 상기 카메라 위치가 장애물 감지 끝 위치인지를 확인하는 것을 특징으로 한다.
또한, 상기 검출한 직선 에지들의 교점 검출 단계는, 상기 카메라 위치가 상기 장애물 감지 끝 위치이면 상기 영상 데이터 및 이전 영상에서 검출된 직선 에지들을 상기 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징으로 한다.
또한, 상기 검출한 직선 에지들의 교점 검출 단계는, 상기 직선들과의 수직 거리가 최소가 되는 한 점을 검출하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 차량의 장애물 위치 인식 장치는 차량 주변의 영상 데이터를 촬영하는 카메라와, 상기 차량 주변의 장애물을 감지하는 초음파 센서와, 상기 영상 데이터에서 지표면에 수직한 직선 에지를 검출하여 차량의 움직임 정보를 기반으로 저장수단에 등록하고, 상기 초음파 센서로부터 출력되는 초음파 센서 데이터의 불연속 위치를 검출하여 그 불연속 위치와 카메라 위치가 일치하면 해당 카메라 위치를 기준으로 일정 거리 내에서 획득한 연속된 영상 데이터에서 검출한 직선 에지들의 교점을 검출하여 장애물의 에지 위치로 인식하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 영상 데이터를 에지 영상으로 변환하고 상기 에지 영상에 대해 거리 변환한 후 폴라 히스토그램을 생성하여 에지 픽셀이 가장 많이 분포된 직선 에지를 추출하는 것을 특징으로 한다.
또한, 상기 제어부는, 카메라 정보 및 장애물 정보에 근거하여 영상 데이터에서 상기 장애물의 직선 에지 시작 위치와 끝 위치를 추정하여 직선 에지를 검출하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 초음파 센서 데이터에 근거하여 설정된 관심영역 내에서 상기 직선 에지들의 교점을 검출하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 카메라 위치가 장애물 감지 시작 위치와 일치하면 상기 영상 데이터 및 이후 영상 데이터에서 검출된 직선 에지들을 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 카메라 위치가 장애물 감지 끝 위치와 일치하면 상기 영상 데이터 및 이전 영상 데이터에서 검출된 직선 에지들을 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징을 한다.
또한, 상기 제어부는, 상기 카메라 위치가 장애물 감지 끝 위치와 일치하면 상기 영상 데이터 및 이전 영상 데이터에서 검출된 직선 에지들을 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징을 한다.
또한, 상기 제어부는, 상기 직선들과의 수직 거리를 최소화하는 직선 상의 한 점을 산출하는 것을 특징으로 한다.
본 발명은 실세계에서 지표면에 수직한 장애물의 직선 에지를 연속한 영상에서 검출하고 그 검출한 직선 에지들의 교점을 장애물의 에지 위치로 추정하므로, 초음파 센서의 단점을 보완하여 장애물의 위치를 정밀하게 측정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 장애물 위치 인식 장치를 도시한 블록구성도.
도 2는 본 발명과 관련된 관심영역 설정 예를 도시한 도면.
도 3은 본 발명에 따른 장애물 에지 위치 검출 예를 도시한 도면.
도 4는 본 발명과 관련된 실세계에서 지표면에 수직한 장애물의 직선 에지를 촬영한 영상 데이터를 도시한 예시도.
도 5는 본 발명과 관련된 실세계에서 지표면에 수직한 장애물의 직선 에지와 영상 데이터 내 직선 에지의 관계를 도식화한 도면.
도 6은 본 발명에 따른 폴라 히스토그램 생성 예를 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 차량의 장애물 위치 인식 방법을 도시한 흐름도.
이하, 본 발명의 실시예들을 첨부한 도면들을 참조하여 상세하게 설명한다.
본 발명은 장애물의 곡률이 작은 경우 실세계에서 지표면에 수직한 장애물의 직선 에지들이 AVM(Around View Monitoring) 영상 상의 한 점에서 만나게 되며 이 위치가 장애물의 윤곽점 위치가 된다는 특징을 이용하여 장애물의 위치를 정밀하게 추정하는 것이다.
도 1은 본 발명의 일 실시예에 따른 차량의 장애물 위치 인식 장치를 도시한 블록구성도이고, 도 2는 본 발명과 관련된 관심영역 설정 예를 도시한 도면이며, 도 3은 본 발명에 따른 장애물 에지 위치 검출 예를 도시한 도면이다.
도 1을 참조하면, 차량의 장애물 위치 인식 장치는 운전자 조작 검출부(10), 카메라(20), 초음파 센서(30), 제어부(40), 표시부(50)를 포함한다.
운전자 조작 검출부(10)는 운전자 조작에 따른 입력정보를 검출한다. 여기서, 입력정보는 주차 지원 기능 활성 여부, 변속레버 위치 정보, 스티어링 휠의 조향각 등을 포함한다.
카메라(20)는 차량 주변의 영상을 촬영하는 것으로, 차량에 복수 개 설치될 수 있다. 예를 들어, 카메라(20)는 차량의 전방, 후방, 양쪽 사이드 미러에 각각 설치될 수 있다.
또한, 카메라(20)는 광시야각 확보가 가능한 초광각 카메라로 구현될 수 있다.
초음파 센서(30)는 차량 주변에 위치하는 장애물을 탐지하는 역할을 한다. 초음파 센서(30)는 초음파를 발생시켜 송신하고 장애물에 반사되어 돌아오는 반사파를 수신할 때까지의 시간을 계측하거나 또는 반사파의 신호크기를 측정한다. 또한, 초음파 센서(30)는 초음파 송신 후 반사파 수신까지의 시간을 이용하여 차량으로부터 장애물까지의 거리를 산출할 수 있다.
제어부(40)는 카메라(20) 및 초음파 센서(30)를 통해 차량 주변의 영상 데이터와 초음파 센서 데이터를 획득한다. 이때, 제어부(40)는 일정 시간 또는 차량이 일정 거리 이동 시마다 상기 카메라(20) 및 초음파 센서(30)를 통해 영상 데이터와 초음파 센서 데이터를 획득한다.
제어부(40)는 초음파 센서(30)로부터 출력되는 초음파 센서 데이터를 이용하여 장애물 에지를 인식하기 위한 관심영역을 설정한다. 여기서, 관심영역은 장애물 위치 추정을 수행할 영역으로, 장애물과 빈 공간 사이의 경계 위치를 기준으로 일정 영역을 설정한다.
즉, 제어부(40)는 초음파 센서 데이터가 급격히 변하는 불연속 위치를 검출하여 그 불연속 위치를 기준으로 기설정된 크기의 영역을 관심영역으로 설정한다. 예를 들어, 제어부(40)는 도 2에 도시된 바와 같이 초음파 센서 데이터가 급격하게 하락하는 하락 위치(101)와 초음파 센서 데이터가 급격하게 상승하는 상승 위치(102)를 각각 검출하고, 그 검출한 위치(101, 102)를 중심으로 가로 140㎝×세로 100㎝의 크기로 관심영역(103, 104)를 각각 설정한다.
제어부(40)는 영상 데이터에서 지표면에 수직한 장애물의 직선 에지를 검출한다. 영상에서 지표면에 수직한 장애물의 직선 에지를 검출하는 구체적인 방법은 별도로 후술한다.
제어부(40)는 차량의 움직임 정보를 기반으로 영상 데이터에서 검출한 직선 에지를 저장수단(미도시)를 저장한다.
또한, 제어부(40)는 초음파 센서 데이터에 근거하여 불연속 위치가 검출되면 불연속 위치와 카메라 위치가 일치하는지를 확인한다. 즉, 제어부(40)는 직선 에지들의 교점을 검출할 시점인지를 확인한다. 이때, 제어부(40)는 불연속 위치가 장애물이 감지되기 시작한 시작 위치(장애물 윤곽 시작점)인지 장애물 감지가 끝나는 끝 위치(장애물 윤곽 끝점)인지를 확인한다.
제어부(40)는 카메라(20)의 중심 위치(카메라 위치)와 일치하는 불연속 위치가 장애물 감지 시작 위치(상승 위치)이면 현재 영상 데이터 및 이후 영상 데이터에서 검출된 직선 에지들의 교점을 검출한다. 이때, 제어부(40)는 현재 카메라 위치로부터 차량 이동 방향으로 일정 거리 이내에서 획득한 영상 테이터에서 검출한 직선 에지를 이용한다.
한편, 제어부(40)는 카메라 위치와 일치하는 불연속 위치가 장애물 감지 끝 위치(하강 위치)이면 현재 영상 데이터 및 이전 영상 데이터에서 검출된 직선 에지들의 교점을 검출한다. 이때, 제어부(40)는 제어부(40)는 현재 카메라 위치로부터 차량 이동 방향과 반대방향으로 일정 거리 이내에서 획득한 영상 테이터에서 검출한 직선 에지를 이용한다.
직선 에지의 교점을 검출하기 위해서, 제어부(40)는 차량 움직임 정보에 근거하여 연속 영상(현재 영상과 이전 영상 또는 현재 영상과 이후 영상)에서 검출한 직선 에지들을 통합한다. 예를 들어, 제어부(40)는 이전 영상(영상 데이터)에서 검출된 직선 에지의 현재 영상 상의 위치를 차량 움직임 정보에 근거하여 추정한 후 현재 영상에서 검출한 직선 에지와 통합한다. 도 3에 도시된 바와 같이, 이전 영상들에서 검출된 직선 에지를 카메라 중심 위치와 연결한 직선(노란색선)과 현시점에서 획득한 영상에서 검출된 직선 에지와 카메라(20)의 중심 위치를 연결하는 직선(녹색선)을 통합한다.
제어부(40)는 연속 영상에서 검출한 직선 에지와 카메라 중심 위치를 연결하는 직선들의 교점을 관심영역 내에서 검출한다. 이때, 제어부(40)는 직선들과의 수직 거리를 최소화하는 점을 교점으로 검출한다. 다시 말해서, 제어부(40)는 RANSAC(RANdom SAmple Consensus) 방식을 이용하여 이상치(outlier)를 제거하고 관심영역(R) 내에서 검출한 직선 에지들(파란색선)의 교점(P)을 산출한다(도 3 참조).
제어부(40)는 검출된 교점을 장애물의 에지 위치로 추정한다. 즉, 제어부(40)는 검출된 교점을 장애물의 위치로 인식한다.
표시부(50)는 제어부(40)의 제어에 따라 영상 데이터에 중첩하여 장애물의 에지 위치를 표시한다. 이때, 표시부(50)는 특정 형상, 막대모양, 숫자, 텍스트, 기호, 그래픽, 이미지 등의 형태로 에지 위치를 표시한다.
표시부(50)는 파일럿 램프(pilot lamp), 발광다이오드(light emitting diode: LED), 전계발광소자(electro-luminescence element: EL), 진공형광 디스플레이(vacuum fluorescence display: VFD), 음극선 관(cathode ray tube: CRT), 플라즈마 디스플레이(plasma display), 액정 디스플레이(liquid crystal display: LCD), 헤드업디스플레이(head up display, HUD) 등으로 구현될 수 있다.
이하, 영상에서 지표면에 수직한 장애물의 직선 에지를 검출하는 방법을 상세하게 설명한다.
직선 에지 검출 방법에는 2가지가 있다. 첫째는 실세계의 카메라와 장애물 위치 정보에 근거하여 영상 데이터에서 장애물의 직선 에지 시작과 끝 위치를 추정하여 직선 에지를 검출하는 방법이다. 둘째는 영상에서 지표면에 수직한 직선이 분포할 가능성이 있는 영역을 예측하여 해당 영역에서만 폴라 히스토그램을 생성하여 직선 에지를 검출하는 방법이다.
먼저, 도 4 및 도 5를 참조하여 첫번째 직선 에지 검출 방법을 설명한다. 여기서, 도 4는 본 발명과 관련된 실세계에서 지표면에 수직한 장애물의 직선 에지를 촬영한 영상 데이터를 도시한 예시도이고, 도 5는 본 발명과 관련된 실세계에서 지표면에 수직한 장애물의 직선 에지와 영상 데이터 내 직선 에지의 관계를 도식화한 도면이다.
도 4에 도시된 바와 같이, 실세계에서 지표면에 수직한 장애물의 직선 에지는 영상 내에서 사선의 형태로 나타난다. 이러한 직선 에지의 시작 위치 S와 끝 위치 E는 다음 [수학식 1] 및 [수학식 2]를 이용하여 연산한다.
Figure 112014105879414-pat00001
Figure 112014105879414-pat00002
여기서, H는 지표면으로부터 카메라(20)가 설치된 지점까지의 거리인 카메라 높이를 의미한다. 카메라 높이는 카메라 캘리브레이션 과정을 통해 사전에 알 수 있다.
D는 초음파 센서(30)를 통해 측정한 차량으로부터 장애물까지의 거리이고, T는 장애물의 상단 높이이며 B는 장애물의 하단 높이이다. 장애물의 상단 높이 T와 하단 높이 B는 일반적인 기준(예컨대, 차량의 범퍼)으로 가정할 수 있다.
다음으로, 영상에서 지표면에 수직한 직선이 분포할 가능성이 있는 영역을 예측하여 해당 영역에서만 폴라 히스토그램을 생성하여 직선 에지를 검출하는 방법을 설명한다.
먼저, 제어부(40)는 카메라(20)를 통해 획득한 영상 데이터를 영상 처리하여 에지 영상(이진 데이터)을 추출한다. 여기서, 제어부(40)는 소벨 에지 추출 방식 등과 같은 소정의 에지 추출 방식을 이용하여 영상 데이터를 에지 영상으로 변환한다.
그리고, 제어부(40)는 영상 데이터에서 검출한 에지 영상에 대해 거리변환(distance transform)을 수행한 후 폴라 히스토그램을 생성한다. 즉, 제어부(40)는 카메라(20)의 중심 위치에서 방사형으로 영상을 검색하여 에지의 분포를 추출한다. 이때, 제어부(40)는 초음파 센서 데이터가 없는 영역에 대해 폴라 히스토그램을 생성하지 않는다.
제어부(40)는 폴라 히스토그램에서 누적값(픽셀값의 누적)이 임계치보다 작은 지역 최소점(local minima)의 위치를 지표면에 수직한 장애물 직선 에지(이하, 직선 에지)로 검출한다. 여기서, 누적값이 작을수록 에지 픽셀이 다수 존재한다는 것을 의미한다.
이와 같이, 제어부(40)는 폴라 히스토그램(polar histogram)의 지역 최소점을 이용하여 영상 데이터에서 지표면에 수직한 장애물의 직선 에지를 검출한다. 실세계에서 지표면에 수직한 직선 에지는 전방위 영상(조감도 영상)에서 해당 직선 에지를 연장하면 카메라(20)의 위치를 지나게 된다. 즉, 제어부(40)는 폴라 히스토그램을 이용하여 영상 데이터에서 카메라(20)의 중심을 향하는 직선 에지를 검출하는 것이다.
예를 들어, 도 6에 도시된 바와 같이, 제어부(40)는 초음파 센서 데이터(201)가 존재하는 영역에서 폴라 히스토그램을 생성하고, 폴라 히스토그램의 지역 최소점(202)을 직선 에지로 검출한다.
도 7은 본 발명의 일 실시예에 따른 차량의 장애물 위치 인식 방법을 도시한 흐름도이다.
먼저, 제어부(40)는 카메라(20) 및 초음파 센서(30)를 통해 차량 주변의 영상 데이터 및 초음파 센서 데이터를 획득한다(S11).
제어부(40)는 폴라 히스토그램의 지역 최소점을 이용하여 영상 데이터에서 지표면에 수직한 직선 에지를 검출한다(S12). 다시 말해서, 제어부(40)는 영상 데이터에서 카메라(20)를 향하는 직선 에지를 검출한다.
여기서, 영상 내 직선 에지를 검출하기 위하여, 제어부(40)는 카메라(20)를 통해 촬영한 영상 데이터를 에지 영상으로 변환하고, 변환한 에지 영상에 대해 거리변환을 수행한다. 그리고, 제어부(40)는 거리변환된 영상에서 폴라 히스토그램을 생성하고 폴라 히스토그램에서 임계치 미만인 최소점을 검출하여 직선 에지를 검출한다. 즉, 제어부(40)는 폴라 히스토그램을 통해 에지 픽셀이 가장 많이 분포된 직선 에지를 추출한다.
제어부(40)는 검출한 직선 에지를 차량의 움직임에 따른 카메라 위치 정보와 함께 메모리(미도시)에 저장한다.
제어부(40)는 초음파 센서 데이터가 급격하게 변하는 불연속 위치를 검출한다(S13).
제어부(40)는 불연속 위치가 검출되면 불연속 위치와 카메라 위치가 일치하는지를 확인하는데, 이때, 카메라 위치가 장애물이 감지되기 시작한 시작 위치인지를 확인한다(S14).
제어부(40)는 카메라 위치가 장애물 감지 시작 위치이면 현시점의 영상 데이터 및 이후 영상 데이터에서 검출되는 직선 에지들의 교점을 검출한다(S15).
그리고, 제어부(40)는 검출한 교점을 장애물의 에지 위치로 추정한다(S16).
한편, 제어부(40)는 카메라 위치가 장애물 감지 시작 위치가 아니면, 카메라 위치가 장애물이 감지되지 않기 시작한 위치인 장애물 감지 끝 위치인지를 확인하다(S24).
제어부(40)는 카메라 위치가 장애물 감지 끝 위치이면 현시점의 영상 데이터 및 이전 영상 데이터에서 검출된 직선 에지들의 교점을 검출한다(S25). 직선 에지들의 교점을 검출하기 위해서는 연속된 영상들에서 검출된 직선 에지들을 차량의 움직임 정보에 근거하여 통합한 후, 검출된 직선 에지들을 카메라 중심 위치로 연장한 직선들의 교점을 검출한다. 이때, 본 발명은 직선들과의 수직 거리를 최소화하는 직선 상의 한 점을 교점으로 검출하는 RANSAC 방식을 이용하여 직선들의 교점을 검출한다.
또한, 본 발명의 제어부(40)는 초음파 센서 데이터에 근거하여 설정된 관심영역 내에서 직선 에지들의 교점을 검출한다.
본 발명에 따르면, 지표면에 수직한 직선 에지들의 교점을 다수 검출하고 그 검출된 교점들 중 차량 표면에서 생성된 교점들을 제거하므로, 장애물의 위치 뿐만 아니라 장애물의 측면 윤곽에 대한 정보를 추정할 수 있다. 이에, 본 발명을 주차공간 인식기술에 적용할 경우 보다 정밀한 주차환경을 인식하도록 할 수 있다.
또한, 본 발명은 늘어져서 측정된 초음파 센서 데이터가 장애물의 어떤 위치에서 측정된 것인가를 역추적하고 늘어져서 측정된 초음파 센서 데이터와 초음파 로브(lobe) 모델 정보를 활용하면 장애물의 에지 위치에 대한 추가적인 정보를 획득할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 운전자 조작 검출부
20: 카메라
30: 초음파 센서
40: 제어부
50: 표시부

Claims (16)

  1. 카메라 및 초음파 센서를 통해 영상 데이터 및 초음파 센서 데이터를 획득하는 단계와,
    상기 영상 데이터에서 지표면에 수직한 직선 에지를 검출하는 단계와,
    상기 초음파 센서 데이터가 연속되지 않는 불연속 위치를 검출하는 단계와,
    상기 불연속 위치가 카메라 위치와 일치하면 상기 영상 데이터부터 연속한 영상에서 검출한 직선 에지들의 교점을 검출하는 단계와,
    상기 교점을 장애물의 위치로 추정하는 단계를 포함하고,
    상기 카메라 위치는 촬영된 영상의 중심인 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  2. 제1항에 있어서,
    상기 직선 에지 검출 단계는,
    상기 영상 데이터의 에지 영상을 기준으로 거리 변환(distance transform)하는 단계와,
    상기 거리 변환한 영상에서 폴라 히스토그램을 생성하는 단계와,
    상기 폴라 히스토그램을 통해 에지 픽셀이 가장 많이 분포된 직선 에지를 추출하는 단계를 포함하는 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  3. 제1항에 있어서,
    상기 직선 에지 검출 단계는,
    카메라 정보 및 장애물 정보에 근거하여 영상 데이터에서 상기 장애물의 직선 에지 시작 위치와 끝 위치를 추정하여 직선 에지를 검출하는 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  4. 제1항에 있어서,
    상기 불연속 위치 검출 단계는,
    상기 카메라 위치와 일치하는 불연속 위치가 장애물 감지 시작 위치인지를 확인하는 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  5. 제4항에 있어서,
    상기 검출한 직선 에지들의 교점 검출 단계는,
    상기 카메라 위치가 상기 장애물 감지 시작 위치이면, 상기 영상 데이터 및 이후 영상에서 검출된 직선 에지들을 상기 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  6. 제1항에 있어서,
    상기 불연속 위치 검출 단계는,
    상기 카메라 위치와 일치하는 불연속 위치가 상기 카메라 위치가 장애물 감지 끝 위치인지를 확인하는 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  7. 제6항에 있어서,
    상기 검출한 직선 에지들의 교점 검출 단계는,
    상기 카메라 위치가 상기 장애물 감지 끝 위치이면 상기 영상 데이터 및 이전 영상에서 검출된 직선 에지들을 상기 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  8. 제5항 또는 제7항에 있어서,
    상기 검출한 직선 에지들의 교점 검출 단계는,
    상기 직선들과의 수직 거리가 최소가 되는 한 점을 검출하는 것을 특징으로 하는 차량의 장애물 위치 인식 방법.
  9. 차량 주변의 영상 데이터를 촬영하는 카메라와,
    상기 차량 주변의 장애물을 감지하는 초음파 센서와,
    상기 영상 데이터에서 지표면에 수직한 직선 에지를 검출하여 차량의 움직임 정보를 기반으로 저장수단에 등록하고, 상기 초음파 센서로부터 출력되는 초음파 센서 데이터의 불연속 위치를 검출하여 그 불연속 위치와 카메라 위치가 일치하면 해당 카메라 위치를 기준으로 일정 거리 내에서 획득한 연속된 영상 데이터에서 검출한 직선 에지들의 교점을 검출하여 장애물의 에지 위치로 인식하는 제어부를 포함하고,
    상기 카메라 위치는 촬영된 영상의 중심인 것을 특징으로 하는 차량의 장애물 위치 인식 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 영상 데이터를 에지 영상으로 변환하고 상기 에지 영상에 대해 거리 변환한 후 폴라 히스토그램을 생성하여 에지 픽셀이 가장 많이 분포된 직선 에지를 추출하는 것을 특징으로 하는 차량의 장애물 위치 인식 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    카메라 정보 및 장애물 정보에 근거하여 영상 데이터에서 상기 장애물의 직선 에지 시작 위치와 끝 위치를 추정하여 직선 에지를 검출하는 것을 특징으로 하는 차량의 장애물 위치 인식 장치.
  12. 제9항에 있어서,
    상기 제어부는,
    상기 초음파 센서 데이터에 근거하여 설정된 관심영역 내에서 상기 직선 에지들의 교점을 검출하는 것을 특징으로 하는 차량의 장애물 위치 인식 장치.
  13. 제9항에 있어서,
    상기 제어부는,
    상기 카메라 위치가 장애물 감지 시작 위치와 일치하면 상기 영상 데이터 및 이후 영상 데이터에서 검출된 직선 에지들을 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징으로 하는 차량의 장애물 위치 인식 장치.
  14. 제9항에 있어서,
    상기 제어부는,
    상기 카메라 위치가 장애물 감지 끝 위치와 일치하면 상기 영상 데이터 및 이전 영상 데이터에서 검출된 직선 에지들을 카메라 방향으로 연장한 직선들의 교점을 검출하는 것을 특징을 하는 차량의 장애물 위치 인식 장치.
  15. 삭제
  16. 제14항에 있어서,
    상기 제어부는,
    상기 직선들과의 수직 거리를 최소화하는 직선 상의 한 점을 산출하는 것을 특징으로 하는 차량의 장애물 위치 인식 장치.
KR1020140151564A 2014-11-03 2014-11-03 차량의 장애물 위치 인식 장치 및 방법 KR101637716B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140151564A KR101637716B1 (ko) 2014-11-03 2014-11-03 차량의 장애물 위치 인식 장치 및 방법
US14/743,957 US10186039B2 (en) 2014-11-03 2015-06-18 Apparatus and method for recognizing position of obstacle in vehicle
CN201510388800.XA CN106183990B (zh) 2014-11-03 2015-07-03 用于在车辆中识别障碍物位置的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140151564A KR101637716B1 (ko) 2014-11-03 2014-11-03 차량의 장애물 위치 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160051462A KR20160051462A (ko) 2016-05-11
KR101637716B1 true KR101637716B1 (ko) 2016-07-07

Family

ID=55853204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140151564A KR101637716B1 (ko) 2014-11-03 2014-11-03 차량의 장애물 위치 인식 장치 및 방법

Country Status (3)

Country Link
US (1) US10186039B2 (ko)
KR (1) KR101637716B1 (ko)
CN (1) CN106183990B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861338B2 (en) * 2016-05-05 2020-12-08 Harman International Industries, Incorporated Systems and methods for driver assistance
KR101932041B1 (ko) * 2017-03-02 2018-12-24 충북대학교 산학협력단 듀얼 라이다 센서 캘리브레이션 방법 및 장치
CN106951861A (zh) * 2017-03-20 2017-07-14 上海与德科技有限公司 超声波手势识别方法及装置
US10453220B1 (en) 2017-12-29 2019-10-22 Perceive Corporation Machine-trained network for misalignment-insensitive depth perception
DE102018205532A1 (de) * 2018-04-12 2019-10-17 Robert Bosch Gmbh Verfahren zum Erkennen eines Hindernisses vor einem Fahrzeug
US20200063401A1 (en) * 2018-08-22 2020-02-27 Deere & Company Terrain Feed Forward Calculation
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
CN109784344B (zh) * 2019-01-24 2020-09-29 中南大学 一种用于地平面标识识别的图像非目标滤除方法
US11847833B2 (en) 2020-02-12 2023-12-19 Strattec Security Corporation Broad coverage non-contact obstacle detection
CN112946661B (zh) * 2021-02-08 2023-10-20 同致电子科技（厦门）有限公司 一种基于360°环视系统多目视觉的路沿检测方法及装置
CN113486836B (zh) * 2021-07-19 2023-06-06 安徽江淮汽车集团股份有限公司 针对低通度障碍物的自动驾驶操控方法
CN117148363A (zh) * 2023-09-06 2023-12-01 广州优创电子有限公司 一种超声波探测障碍物高度的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140852A (ja) 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2009083743A (ja) 2007-10-02 2009-04-23 Alpine Electronics Inc 車両用警報装置
JP2011180688A (ja) 2010-02-26 2011-09-15 Mitsubishi Electric Corp 車両周辺障害物検出装置
JP2013504830A (ja) 2009-09-14 2013-02-07 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 自動車の駐車支援システムにおける障害物表示方法及び装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP2001315603A (ja) * 2000-05-09 2001-11-13 Matsushita Electric Ind Co Ltd 運転支援装置
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
SE526913C2 (sv) * 2003-01-02 2005-11-15 Arnex Navigation Systems Ab Förfarande i form av intelligenta funktioner för fordon och automatiska lastmaskiner gällande kartläggning av terräng och materialvolymer, hinderdetektering och styrning av fordon och arbetsredskap
JP3915746B2 (ja) * 2003-07-01 2007-05-16 日産自動車株式会社 車両用外界認識装置
DE102005013225A1 (de) * 2005-03-18 2006-09-28 Fluyds Gmbh Objektverfolgungs- und Situationsanalysesystem
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP4352034B2 (ja) * 2005-09-13 2009-10-28 株式会社東芝 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
JP4760272B2 (ja) * 2005-09-30 2011-08-31 アイシン精機株式会社 車両周辺監視装置及びセンサユニット
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
JP4835459B2 (ja) * 2007-02-16 2011-12-14 富士通株式会社 表認識プログラム、表認識方法および表認識装置
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP5050735B2 (ja) * 2007-08-27 2012-10-17 マツダ株式会社 車両用運転支援装置
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP5177510B2 (ja) * 2008-03-27 2013-04-03 アイシン精機株式会社 超音波センサ
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
US8442755B2 (en) * 2008-09-29 2013-05-14 GM Global Technology Operations LLC Systems and methods for preventing motor vehicle side doors from coming into contact with obstacles
KR101244605B1 (ko) 2008-12-02 2013-03-25 주식회사 만도 주차공간 인식 방법 및 그 장치
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
KR101283792B1 (ko) 2009-11-17 2013-07-08 주식회사 만도 주차공간 인식 방법 및 장치
JP5511431B2 (ja) 2010-02-22 2014-06-04 本田技研工業株式会社 駐車支援装置
WO2011145141A1 (ja) * 2010-05-19 2011-11-24 三菱電機株式会社 車両後方監視装置
JP2012071635A (ja) * 2010-09-28 2012-04-12 Aisin Seiki Co Ltd 駐車支援装置
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
MY180606A (en) * 2011-08-02 2020-12-03 Nissan Motor Driving assistance device and driving assistance method
US8842495B2 (en) * 2011-09-23 2014-09-23 Rethink Robotics, Inc. Ultrasonic motion detection
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
CN102508246B (zh) 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
JP5986364B2 (ja) * 2011-10-17 2016-09-06 キヤノン株式会社 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム
US9740943B2 (en) * 2011-12-19 2017-08-22 Nissan Motor Co., Ltd. Three-dimensional object detection device
KR20130072709A (ko) 2011-12-22 2013-07-02 현대자동차주식회사 영상인식 및 초음파 센서 기술 융합기반 주차 지원 시스템
DE102012001554A1 (de) 2012-01-26 2013-08-01 Connaught Electronics Ltd. Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug
US9429650B2 (en) 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
DE102012022336A1 (de) * 2012-11-14 2014-05-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Kraftfahrzeugs in eine Garage, Parkassistenzsystem und Kraftfahrzeug
WO2014192137A1 (ja) * 2013-05-31 2014-12-04 トヨタ自動車株式会社 移動軌跡予測装置及び移動軌跡予測方法
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
US9020442B1 (en) * 2013-10-10 2015-04-28 Dizic Co., Ltd. Ranging method, ranging device, location device and location method
US9529074B2 (en) * 2013-10-10 2016-12-27 Dizic Co., Ltd. Ranging method, ranging device, location device and location method
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
DE102013021326A1 (de) * 2013-12-17 2015-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren einer auf einem Boden aufgebrachten Markierung, Fahrerassistenzeinrichtung und Kraftfahrzeug
US10192122B2 (en) * 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US9792688B2 (en) * 2015-10-02 2017-10-17 Mitsubishi Electric Corporation Position detection device
US10859395B2 (en) * 2016-12-30 2020-12-08 DeepMap Inc. Lane line creation for high definition maps for autonomous vehicles
US10410340B2 (en) * 2017-03-04 2019-09-10 Wipro Limited Method and system for marking content on the surface of an object using laser

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140852A (ja) 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2009083743A (ja) 2007-10-02 2009-04-23 Alpine Electronics Inc 車両用警報装置
JP2013504830A (ja) 2009-09-14 2013-02-07 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 自動車の駐車支援システムにおける障害物表示方法及び装置
JP2011180688A (ja) 2010-02-26 2011-09-15 Mitsubishi Electric Corp 車両周辺障害物検出装置

Also Published As

Publication number Publication date
US10186039B2 (en) 2019-01-22
CN106183990B (zh) 2019-09-06
CN106183990A (zh) 2016-12-07
US20160125588A1 (en) 2016-05-05
KR20160051462A (ko) 2016-05-11

Similar Documents

Publication Publication Date Title
KR101637716B1 (ko) 차량의 장애물 위치 인식 장치 및 방법
US10318826B2 (en) Rear obstacle detection and distance estimation
US8320628B2 (en) Method and system for assisting driver
JP4337929B2 (ja) 移動状態推定装置
US20220262130A1 (en) Vehicular vision system with object detection
US9460352B2 (en) Lane boundary line recognition device
US9230165B2 (en) Object detection apparatus, vehicle-mounted device control system and storage medium of program of object detection
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US11014566B2 (en) Object detection apparatus
GB2555699A (en) Object distance estimation using data from a single camera
KR101656162B1 (ko) 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차
GB2561448A (en) Free space detection using monocular camera and deep learning
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
US11361457B2 (en) Annotation cross-labeling for autonomous control systems
CN110612562A (zh) 车载用监视摄像头装置
JP2013216307A (ja) Ａｖ画像基盤の駐車位置設定装置及びその方法
JP2010039634A (ja) 画像処理装置
JP6325927B2 (ja) 物体検知装置及びそれを用いた車両制御システム
KR20140076415A (ko) 차량의 사각지대 정보 제공 장치 및 방법
CN104076363A (zh) 基于多传感器的自动导引小车障碍物快速检测方法
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
KR20160129487A (ko) 2차원 레이저 스캐너를 이용한 차선 검출 장치 및 방법
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
KR101612822B1 (ko) 차선 인식 장치 및 그 방법
JP2017117105A (ja) 見通し判定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant