KR20190066396A - 이종 카메라를 이용한 충돌 경고 방법 및 장치 - Google Patents

이종 카메라를 이용한 충돌 경고 방법 및 장치 Download PDF

Info

Publication number
KR20190066396A
KR20190066396A KR1020170166080A KR20170166080A KR20190066396A KR 20190066396 A KR20190066396 A KR 20190066396A KR 1020170166080 A KR1020170166080 A KR 1020170166080A KR 20170166080 A KR20170166080 A KR 20170166080A KR 20190066396 A KR20190066396 A KR 20190066396A
Authority
KR
South Korea
Prior art keywords
image
narrow
angle
collision
wide angle
Prior art date
Application number
KR1020170166080A
Other languages
English (en)
Inventor
이윤희
이문성
김성록
나경환
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020170166080A priority Critical patent/KR20190066396A/ko
Publication of KR20190066396A publication Critical patent/KR20190066396A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

이종 카메라를 이용한 충돌 경고 방법 및 장치가 개시된다. 충돌 경고 장치는 하나 이상의 광각 카메라를 포함하여 광각 영상을 생성하는 광각 카메라 유닛; 하나 이상의 협각 카메라를 포함하여 협각 영상을 생성하는 협각 카메라 유닛; 및 상기 협각 영상을 이용하여 차선의 곡률값을 산출하고, 상기 곡률값이 미리 지정된 제1 임계값 이하인 경우에는 광각 영상을 충돌 예상 정보의 생성을 위한 기본 영상으로 선택하고, 상기 곡률값이 상기 제1 임계값보다 큰 경우에는 협각 영상을 상기 기본 영상으로 선택하는 컨트롤 유닛을 포함한다.

Description

이종 카메라를 이용한 충돌 경고 방법 및 장치{Collision warning method and device using heterogeneous cameras}
본 발명은 이종 카메라를 이용한 충돌 경고 방법 및 장치에 관한 것이다.
일반적으로, 차량 내부에 탑승한 운전자의 시계는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다.
이러한 문제를 해결하기 위하여, 사이드 미러 등의 시계 보조수단이 사용되고 있으며, 최근에는 차량의 외부 영상을 촬영하여 운전자에게 제공하는 카메라 수단을 포함하는 기술들이 차량에 적용되고 있는 추세이다.
그 중에서 차량에 복수의 카메라를 설치하여 차량 주변의 360ㅀ전방향의 영상을 보여주는 어라운드 뷰 모니터링(Around View Monitoring) 시스템(이하, AVM 시스템이라 칭함)이 있다.
AVM 시스템은 차량 각 위치에 구비된 카메라들에 의해 촬영된 차량 주변의 영상을 조합하여, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지를 제공함으로써, 차량 주변 장애물을 표시하고 사각지대를 해소할 수 있는 장점이 있다.
또한 최근에는 차량 전방의 원거리 도로 상황까지 운전자가 효과적으로 인식할 수 있도록 하기 위해 협각 카메라 시스템도 추가적으로 구비되고 있다.
그러나, 차량에 구비되는 AVM 시스템, 협각 카메라 시스템 등은 각각 개별적인 동작을 수행하기 위하여 구비되는 것일 뿐, 주행 방향에 존재하는 물체를 감지하여 충돌 가능성을 인식하기 위해 상호 보완적으로 기능하지 못하는 한계가 있었다.
한국등록특허 제10-1739394호(이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법) 미국등록특허 제8,633,810호(Rear-view multi-functional camera system) 미국공개특허 제2017/0113611호(Method for stereo map generation with novel optical resolutions)
B-spline-based road model for 3D lane recognition(IEEE conference on intelligent transportation system October 2010) 탑뷰(top view) 영상을 이용한 곡선 템플릿 정합 기반 차선 및 곡률 검출 알고리즘(2010년 11월 전자공학회 논문지 제47권 SP편 제6호)
본 발명은 서로 다른 화각 범위를 가지는 이종의 카메라에서 각각 촬영된 영상들을 함께 고려함으로써 오버랩 영역에 포함되는 정보량을 증가시킬 수 있고, 이를 통해 객체 검출 정확도를 향상시킬 수 있는 이종 카메라를 이용한 충돌 경고 방법 및 장치를 제공하기 위한 것이다.
본 발명은 생성된 광각 영상과 협각 영상 중 주행 중인 차선의 곡률에 따라 적절한 영상을 주된 영상으로 선택함으로써, 차량의 주행 상황에 최적인 영상의 활용이 가능한 이종 카메라를 이용한 충돌 경고 방법 및 장치를 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 하나 이상의 광각 카메라를 포함하여 광각 영상을 생성하는 광각 카메라 유닛; 하나 이상의 협각 카메라를 포함하여 협각 영상을 생성하는 협각 카메라 유닛; 및 상기 협각 영상을 이용하여 차선의 곡률값을 산출하고, 상기 곡률값이 미리 지정된 제1 임계값 이하인 경우에는 광각 영상을 충돌 예상 정보의 생성을 위한 기본 영상으로 선택하고, 상기 곡률값이 미리 지정된 제1 임계값보다 큰 경우에는 협각 영상을 상기 기본 영상으로 선택하는 컨트롤 유닛을 포함하는 충돌 경고 장치가 제공된다.
하나 이상의 광각 카메라와 하나 이상의 협각 카메라는 각각의 촬영 영역에서 오버랩 영역이 존재하도록 설치되고, 상기 컨트롤 유닛은 기본 영상의 오버랩 영역과 기타 영역에 존재하는 물체에 대해 상기 충돌 예상 정보를 생성하며, 상기 오버랩 영역은 기본 영상으로 선택되지 않은 광각 영상과 협각 영상 중 어느 하나인 보조 영상과 상기 기본 영상을 합성하여 생성한 오버랩 영상을 이용하여 충돌 예상 정보를 생성할 수 있다.
상기 오버랩 영상은 깊이 맵(depth map)으로 생성될 수 있다.
상기 충돌 예상 정보는 상기 물체와의 이격 거리 및 상기 물체와 충돌하기까지의 잔여 시간 중 하나 이상을 포함하도록 생성되고, 상기 컨트롤 유닛은 상기 충돌 예상 정보가 미리 지정된 제2 임계값 이하인 경우 출력부를 통한 알람이 실시되도록 처리할 수 있다.
상기 컨트롤 유닛은 광각 영상 및 협각 영상 중 하나 이상에 충돌 가능한 물체가 존재하는지 판단하고, 충돌 가능한 물체가 존재하는 경우에만 상기 차선의 곡률값 산출 및 상기 기본 영상의 선택을 수행하도록 설정될 수 있다.
상기 광각 카메라는 어라운드 뷰 모니터링 시스템용 카메라일 수 있다.
본 발명의 다른 측면에 따르면, 충돌 경고 장치에서 수행되는 충돌 경고 방법에 있어서, (a) 광각 카메라에 의해 생성된 광각 영상과 협각 카메라에 의해 생성되는 협각 영상 중 협각 영상을 이용하여 차선의 곡률값을 산출하는 단계; (b) 상기 산출된 차선의 곡률값을 미리 지정된 제1 임계값과 비교하는 단계; 및 (c) 상기 곡률값이 상기 제1 임계값 이하인 경우에는 광각 영상을 충돌 예상 정보의 생성을 위한 기본 영상으로 선택하고, 상기 곡률값이 미리 지정된 제1 임계값보다 큰 경우에는 협각 영상을 상기 기본 영상으로 선택하는 단계를 포함하는 충돌 경고 방법이 제공된다.
미리 지정된 판단 방법에 따라 광각 영상 및 협각 영상 중 하나 이상에 존재하는 물체가 충돌 가능한 물체인 것으로 판단된 경우에만 상기 단계 (a) 내지 (c)가 실시되도록 미리 설정될 수 있다.
상기 충돌 경고 방법은, 기본 영상으로 선택되지 않은 광각 영상과 협각 영상 중 어느 하나인 보조 영상과 상기 기본 영상을 합성하여 상기 기본 영상과 상기 보조 영상의 오버랩 영역에 대한 오버랩 영상을 생성하는 단계; 및 상기 오버랩 영상과 상기 기본 영상의 기타 영역에 존재하는 물체에 대한 충돌 예상 정보를 생성하는 단계를 더 포함할 수 있다. 여기서, 상기 충돌 예상 정보는 상기 물체와의 이격 거리 및 상기 물체와 충돌하기까지의 잔여 시간 중 하나 이상을 포함하도록 생성될 수 있다.
상기 충돌 경고 방법은, 상기 충돌 예상 정보를 미리 지정된 제2 임계값과 대비하는 단계; 및 상기 충돌 예상 정보가 미리 지정된 제2 임계값 이하인 경우, 출력부를 통한 알람이 실시되도록 처리하는 단계를 더 포함할 수도 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 서로 다른 화각 범위를 가지는 이종의 카메라에서 각각 촬영된 영상들을 함께 고려함으로써 오버랩 영역에 포함되는 정보량을 증가시킬 수 있고, 이를 통해 객체 검출 정확도를 향상시킬 수 있는 효과가 있다.
또한, 생성된 광각 영상과 협각 영상 중 주행 중인 차선의 곡률에 따라 적절한 영상을 주된 영상으로 선택함으로써, 차량의 주행 상황에 최적인 영상의 활용이 가능해지는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 충돌 경고 장치의 블록 구성도.
도 2는 본 발명의 일 실시예에 따른 광각 카메라부와 협각 카메라부의 촬영 영상을 설명하기 위한 도면.
도 3은 B 스플라인 기반의 로드 모델을 활용하여 검출한 3차원 경로의 검출 예.
도 4는 오버랩 영상의 생성을 위한 광각 영상과 협각 영상의 합성 개념을 설명하기 위한 도면.
도 5 및 도 6은 본 발명의 일 실시예에 따른 충돌 경고 방법을 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 충돌 경고 장치의 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 광각 카메라부와 협각 카메라부의 촬영 영상을 설명하기 위한 도면이다. 도 3은 B 스플라인 기반의 로드 모델을 활용하여 검출한 3차원 경로의 검출 예이고, 도 4는 오버랩 영상의 생성을 위한 광각 영상과 협각 영상의 합성 개념을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 충돌 경고 장치(100)는 광각 카메라 유닛(110), 협각 카메라 유닛(120), 컨트롤 유닛(130) 및 출력부(140)을 포함할 수 있다.
광각 카메라 유닛(110)은 하나 이상의 광각 카메라와, 각 광각 카메라의 촬영 동작에 따른 촬영 이미지(이하, 광각 영상이라 칭함)를 생성하는 처리부를 포함할 수 있다. 처리부에 의해 생성된 광각 영상은 컨트롤 유닛(130) 등에서 이용될 수 있도록 저장부(도시되지 않음)에 저장될 수 있다.
광각 카메라는 차량에 근접한 넓은 범위의 영역을 촬영 영역으로 할 수 있도록 예를 들어 화각이 180도 내외인 광각 렌즈(또는 어안 렌즈)가 이용되는 카메라이다. 광각 카메라에 의해 생성된 광각 영상은 도 2의 (a)와 (b)에 각각 예시되어 있다.
광각 카메라는 예를 들어 AVM 시스템용 카메라로서 차량의 복수 개소(예를 들어, 전방, 후방, 좌측 및 우측을 각각 촬영하도록 지정된 위치)에 각각 설치된 광각 카메라들(211, 213, 215, 217)일 수도 있다.
광각 카메라 유닛(110)은 미리 지정된 조건에서 또는/및 실시간으로 광각 영상을 생성하도록 제어부(134)에 의해 제어될 수 있다.
협각 카메라 유닛(120)은 하나 이상의 협각 카메라와, 각 협각 카메라의 촬영 동작에 따른 촬영 이미지(이하, 협각 영상이라 칭함)를 생성하는 처리부를 포함할 수 있다. 처리부에 의해 생성된 협각 영상은 컨트롤 유닛(130) 등에서 이용될 수 있도록 저장부(도시되지 않음)에 저장될 수 있다.
협각 카메라는 광각 카메라에 비해 상대적으로 차량에서 먼 영역까지 촬영 영역으로 할 수 있도록 예를 들어 30 내지 50도의 화각을 가지는 협각 렌즈가 이용되는 카메라이다. 협각 카메라에 의해 생성된 촬영 이미지는 도 2의 (c)에 예시되어 있다.
도 2의 (d)에는 차량의 전방을 촬영하기 위한 하나의 협각 카메라(240)가 구비된 경우가 예시되었으나, 협각 카메라(240)는 차량의 후방 등 다른 방향을 촬영할 수 있도록 하나 이상 더 구비될 수도 있다.
다시 도 1을 참조하면, 컨트롤 유닛(130)은 영상 처리부(132) 및 제어부(134)를 포함할 수 있다.
영상 처리부(132)는 광각 영상과 협각 영상에 촬영된 물체가 충돌 가능한 물체가 존재하는지 여부를 판단하고, 충돌 가능한 물체로 판단되면 차량 주행로의 차선을 인식하고 차선의 곡률값을 산출하여 기본 영상과 보조 영상을 각각 선정한다.
또한 영상 처리부(132)는 기본 영상과 보조 영상 간의 오버랩 영역과 기본 영상의 기타 영역에 존재하는 물체와의 충돌 예상 정보를 생성한다. 충돌 예상 정보는 후술되는 바와 같이, 물체와의 이격 거리, 충돌까지의 잔여 시간 등 중 하나 이상을 포함할 수 있다.
이하, 영상 처리부(132)의 동작을 구체적으로 설명한다.
우선, 영상 처리부(132)는 광각 카메라에 의해 생성된 광각 영상과 협각 카메라에 의해 생성된 협각 영상에 촬영된 물체를 인식하고 인식된 물체와 충돌 가능성이 있는지 여부를 판단한다.
예를 들어, 영상 처리부(132)는 촬영된 물체가 실시간 생성되는 광각 영상 또는/및 협각 영상을 참조할 때 크기가 증가되는 변화를 가지는 물체인지, 해당 물체가 충돌 경고 장치(100)가 구비된 자기 차량과 동일한 차선 내에 존재하는지 등을 고려하여 해당 물체가 충돌 가능한 물체인지 여부를 판단하도록 미리 설정될 수 있다. 여기서, 광각 영상 및/또는 협각 영상에서 에지 검출 등의 영상 처리 기법에 의해 차선이 검출될 수 있으며, 이는 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다. 다만, 광각 영상의 경우 정확한 차선 검출 및 물체 검출이 가능하도록 하기 위해 탑뷰 이미지로 변환하는 처리 등이 실시될 수도 있다.
예를 들어, 영상 처리부(132)는 광각 영상 또는/및 협각 영상에 존재하는 물체가 자기 차량과 동일 차선에 위치하고 지속적으로 그 크기가 증가한다면 충돌 가능성이 있는 것으로 판단할 수 있다. 그러나, 해당 물체의 크기가 점차 감소하거나, 그 크기가 증가하지만 상이한 차선에 존재하는 경우라면 충돌 가능성이 없는 것으로 판단할 수 있을 것이다.
충돌 가능한 물체가 존재하는 것으로 판단하면, 영상 처리부(132)는 협각 영상을 이용하여 검출된 차선의 곡률값을 산출한다.
도 3에 예시된 바와 같이, 차선의 곡률값은 예를 들어 일반적으로 사용되는 하나의 B-스프라인(spline) 곡선에 의한 클로소이드 모델(clothoid model)을 가로 방향으로 확장하고, 두 개의 B-스프라인 곡선으로 도로의 높이 프로파일을 모델링하는 등의 3D 모델을 이용하여 산출될 수 있다.
평면 도로를 가정한 클로소이드 모델은 하기 수학식 1로 표현될 수 있다.
Figure pat00001
참고로, 수학식 1에서 X(L)은 길이 L에서 차선의 중심점의 위치, xoffset는 자기 차량(ego vehicle)의 차선과의 거리, Δψ는 요 앵글(yaw angle), c0는 차선의 곡률, c1은 곡률 변화량(클로소이드 파라미터)을 의미하며, 여기서 차선의 폭은 미리 지정된다. 클로소이드 모델을 이용하여 인식된 차선의 곡률값(c0)을 산출하는 방법 등에 대해서는 관련 논문(B-spline-based road model for 3D lane recognition, IEEE conference on intelligent transportation system October 2010)에 이미 상세히 기재되어 있으므로 이에 대한 설명은 생략한다.
이외에도, 영상 내에서 인식된 차선의 곡률을 산출하는 방식은 더 다양할 수 있다. 일 예로, 인식된 차선이 직선 차선인지 곡선 차선인지 여부를 판별하고, 곡선 차선인 경우 곡선 템플릿의 정합 과정 등을 통해 곡률을 검출하는 기법이 적용될 수도 있을 것이다(관련 논문 참조 - 탑뷰 영상을 이용한 곡선 템플릿 정합 기반 차선 및 곡률 검출 알고리즘 - 2010년 11월 전자공학회 논문지 제47권 SP편 제6호).
영상 처리부(132)는 협각 영상을 이용하여 산출한 차선의 곡률값이 미리 지정된 제1 임계값보다 작은지 여부를 판단한다. 곡률값은 곡면이 휜 정도를 표시하는 변화율이며, 곡률이 작을수록 급격한 곡선의 휨을 나타내고, 곡률이 클수록 완만한 곡선의 휨을 나타낸다.
만일 산출된 곡률값이 미리 지정된 제1 임계값보다 작은 경우(즉, 휨 정도가 기준보다 큰 경우) 영상 처리부(132)는 광각 영상과 협각 영상 중 광각 영상을 기본 영상으로 선택한다.
이는, 곡률이 작은 경우에는 급격한 각도의 차량 회전이 필요한 상황이므로 차량 주변의 정보가 보다 중요할 수 있고, 따라서 차량 주변을 중심으로 촬영된 광각 영상을 중심으로 후술될 주행 방향상의 물체와의 충돌 예상 정보를 생성하는 것이 효과적이기 때문이다.
그러나, 이와 달리 만일 산출된 곡률값이 미리 지정된 제1 임계값보다 큰 경우(즉, 휨 정도가 기준보다 작은 경우) 영상 처리부(132)는 광각 영상과 협각 영상 중 협각 영상을 기본 영상으로 선택한다.
이는, 곡률이 큰 경우에는 직선 주행 또는 완만한 각도의 차량 회전이 필요한 상황이므로 차량 주변보다는 먼 거리의 정보가 보다 중시되기 때문에, 차량에서 멀리 떨어진 위치까지 촬영된 협각 영상을 중심으로 후술될 주행 방향상의 물체와의 충돌 예상 정보를 생성할 수 있도록 하기 위한 것이다.
영상 처리부(132)는 기본 영상으로 선택된 광각 영상과 협각 영상 중 어느 하나와, 기본 영상으로 선택되지 않은 보조 영상인 광각 영상과 협각 영상 중 다른 하나의 오버랩 영역(260)에 대한 합성 영상(즉, 오버랩 영상)을 생성한다.
도 4의 (a)에는 광각 영상이, (b)에는 협각 영상이 예시되어 있고, (c)는 기본 영상인 광각 영상을 대상으로 보조 영상인 협각 영상과의 오버랩 영역(260)을 합성하는 개념이 도시되어 있다.
일 예로, 광각 영상과 협각 영상의 합성은 하기 수학식 2 내지 4에 따른 과정으로 수행될 수 있다.
Figure pat00002
Figure pat00003
참고로, 수학식 2는 광각 카메라의 H 행렬(즉, H1)을 산출하여 실 세계의 평면 바닥과 광각 카메라의 관계를 구하기 위한 것이고, 수학식 3는 협각 카메라의 H 행렬(즉, H2)을 산출하여 실 세계의 평면 바닥과 협각 카메라의 관계를 구하기 위한 것이다.
여기서, x, y는 촬영 영상에서의 픽셀 좌표이고, x', y'는 차량에서 이격된 거리, 위치 등에 대한 실세계 좌표(측정 좌표)를 나타내며, w는 미리 지정된 가중치이다. 따라서, 수학식 2 및 3에 의해 미지의 행렬인 H1, H2가 각각 산출될 수 있다.
또한 산출된 H1과 H2가 동일한 대상(즉, 평면 바닥)을 기준하여 산출된 것으로서, 광각 카메라에 의한 광각 영상과 협각 카메라에 의한 협각 영상은 하기 수학식 4와 같은 관계를 가지게 된다.
Figure pat00004
따라서, 협각 영상의 임의의 픽셀 위치(PNarrow)는 수학식 4에 의해 광각 영상의 한 픽셀 위치(PWide)로 투영될 수 있고, 영상 처리부(132)는 이러한 관계를 이용하여 광각 영상과 협각 영상의 오버랩 영역(260)의 합성 처리한 오버랩 영상을 생성할 수 있다.
이때, 도 4의 (c)에는 개념을 설명하기 위해 광각 영상 자체를 대상으로 협각 영상이 합성되는 것처럼 도시되었으나, 광각 영상은 미리 지정된 룩업 테이블(LUT)을 이용하여 통상의 렌즈로 촬영된 영상의 형태로 보정된 후 이용될 수 있음은 당연하다.
이때 광각 영상과 협각 영상을 이용하여 오버랩 영역(260)에 대한 오버랩 영상을 생성함에 있어, 영상 처리부(132)는 광각 카메라와 협각 카메라를 스테레오 비젼으로 간주하여 깊이 맵(depth map)으로 생성할 수도 있다. 깊이 맵을 생성하는 구체적인 방법은 미국등록특허 제8,633,810호, 미국공개특허 제2017/0113611호 등에 상세히 설명되어 있으므로 이에 대한 구체적인 설명은 생략한다.
또한 영상 처리부(132)는 깊이 맵 등으로 생성된 오버랩 영상에서 물체의 검출을 시도하고, 검출된 물체와의 공간상 이격 거리를 산출한다. 물체와의 이격 거리는 실시간 생성되는 광각 영상과 협각 영상을 이용하여 생성되는 오버랩 영상을 이용하여 실시간 검출될 수 있다.
영상 처리부(132)는 충돌 가능성이 있는 물체로서 오버랩 영역에 존재하는 물체의 크기 변화량 및/또는 물체와의 이격 거리 변화량을 이용하여 해당 물체와의 충돌까지 소요되는 잔여 시간도 산출할 수 있다.
이와 같이, 영상 처리부(132)는 서로 다른 화각 범위를 가지는 이종의 카메라에서 각각 촬영된 영상들(즉, 광각 영상과 협각 영상)을 함께 이용하여 오버랩 영역에 포함되는 정보량을 증가시킬 수 있고, 이를 통해 객체 검출 정확도를 향상시킬 수 있는 장점이 있다.
또한 영상 처리부(132)는 기본 영상에서 오버랩 영역 이외의 기타 영역에 대해서도 물체의 검출을 시도한다. 예를 들어, 기본 영상이 광각 영상인 경우 도 2의 ①과 ②가 기타 영역에 해당되고, 기본 영상이 협각 영상인 경우 도 2의 ③이 기타 영역에 해당된다.
만일 기타 영역에서 충돌 가능한 물체가 검출되면 전술한 바와 같이 해당 물체의 크기 변화량 및/또는 물체와의 이격 거리 변화량을 이용하여 해당 물체와의 충돌까지 소요되는 잔여 시간 등을 산출할 수 있다.
제어부(134)는 영상 처리부(132)에 의해 생성된 충돌 예상 정보(즉, 잔여 시간 및/또는 이격 거리)가 미리 지정된 제2 임계값보다 작은 경우에는 사용자에게 알람 처리를 실시되도록 제어할 수 있다
여기서, 알람 처리는 시각적 또는/및 청각적 방식으로 실시될 수 있으며, 예를 들어 디스플레이 장치, 스피커 장치 등인 출력부(140)를 통해 처리될 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 충돌 경고 방법을 나타낸 순서도이다.
도 5 및 도 6을 참조하면, 단계 510에서 충돌 경고 장치(100)의 컨트롤 유닛(130)은 차량에 구비된 광각 카메라 및 협각 카메라에 의해 각각 생성된 광각 영상과 협각 영상을 제공받는다.
단계 515에서 컨트롤 유닛(130)은 제공된 광각 영상 및/또는 협각 영상 내에 물체가 검출되는지 여부를 판단한다. 영상에서 차량이나 신호등 등의 물체를 검출하는 방법은 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.
만일 광각 영상 및/또는 협각 영상에서 물체가 검출되었다면, 단계 520에서 컨트롤 유닛(130)은 해당 물체가 자기 차량과 충돌 가능한 물체인지 여부를 판단한다. 예를 들어 자기 차량이 주행하는 차선과 동일한 차선에 위치한 물체이고 해당 물체가 실시간 생성되는 광각 영상이나 협각 영상에서 크기가 증가하는 방향의 변화를 가지는 경우 충돌 가능한 것으로 판단될 수 있을 것이다.
만일 검출된 물체가 충돌 가능한 물체인 것으로 판단되면, 단계 525에서 컨트롤 유닛(130)은 협각 영상을 이용하여 인식된 차선의 곡률값을 산출한다. 차선의 곡률이 예를 들어 클로소이드 모델을 이용하거나 곡선 템플릿의 정합 과정 등을 통해 산출될 수 있음은 앞서 설명한 바와 같다.
단계 530에서 컨트롤 유닛(130)은 산출된 곡률값이 미리 지정된 제1 임계값 이하인지 여부를 판단한다. 여기서 곡률값은 차선의 휨 정도를 나타내는 값으로서, 곡률값이 작을수록 급격하게 차선이 휘는 것을 의미한다.
곡률값이 제1 임계값 이하인 경우, 단계 535에서 컨트롤 유닛(130)은 입력되는 광각 영상과 협각 영상 중 광각 영상을 기본 영상으로 선택하고, 광각 영상을 기준으로 하여 광각 영상과 협각 영상의 오버랩 영역(260)에 대한 오버랩 영상을 생성한다. 여기서, 오버랩 영상은 깊이 맵(depth map)으로 생성될 수도 있다.
컨트롤 유닛(130)은 생성된 오버랩 영상에서 물체를 검출을 시도하고, 검출된 물체와의 공간상 이격 거리를 산출한다. 산출된 이격 거리는 해당 물체의 크기 변화량 및/또는 물체와의 이격 거리 변화량을 이용하여 해당 물체와의 충돌까지 소요되는 잔여 시간을 산출하기 위한 정보로 활용될 수 있다.
또한 컨트롤 유닛(130)은 단계 540에서 기본 영상인 광각 영상에서 오버랩 영역 이외의 기타 영역(도 2의 ①과 ② 참조)에서 물체의 검출을 추가적으로 시도한다. 만일 기타 영역에서 충돌 가능한 물체가 검출되면, 컨트롤 유닛(130)은 전술한 바와 같이 해당 물체와의 이격 거리 및/또는 충돌까지의 잔여 시간을 더 산출한다.
그러나 만일 단계 530에 의해 곡률값이 제1 임계값 이상인 것으로 판단되면, 단계 545에서 컨트롤 유닛(130)은 입력되는 광각 영상과 협각 영상 중 협각 영상을 기본 영상으로 선택하고, 협각 영상을 기준으로 하여 광각 영상과 협각 영상의 오버랩 영역(260)에 대한 오버랩 영상을 생성한다.
또한 컨트롤 유닛(130)은 생성된 오버랩 영상에서 물체를 검출을 시도하고, 검출된 물체와의 공간상 이격 거리 및/또는 해당 물체와의 충돌까지 소요되는 잔여 시간을 산출한다.
또한, 단계 550에서, 컨트롤 유닛(130)은 기본 영상인 협각 영상에서 오버랩 영역 이외의 기타 영역(도 2의 ③ 참조)에서 물체의 검출을 추가적으로 시도하고, 물체가 검출되면, 컨트롤 유닛(130)은 전술한 바와 같이 해당 물체와의 이격 거리 및/또는 충돌까지의 잔여 시간을 더 산출한다.
단계 555에서, 컨트롤 유닛(130)은 단계 535 내지 단계 550에서 산출된 충돌 가능한 물체와의 이격 거리 및/또는 충돌까지 소요되는 잔여 시간이 미리 지정된 제2 임계값 이하인지 여부를 판단한다. 제2 임계값이 거리값 또는/및 시간값으로 미리 지정될 것임은 당연하다.
만일 이격 거리 및/또는 잔여 시간이 제2 임계값 이하인 경우라면, 컨트롤 유닛(130)은 운전자를 환기시키기 위해 출력부(140)를 통해 시각적 또는/및 청각적 방법으로 알람이 실시되도록 처리한다(단계 560).
상술한 이종 카메라를 이용한 충돌 경고 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 충돌 경고 장치 110 : 광각 카메라 유닛
120 : 협각 카메라 유닛 130 : 컨트롤 유닛
132 : 영상 처리부 134 : 제어부
140 : 출력부 211, 213, 215, 217 : 광각 카메라
240 : 협각 카메라 260 : 오버랩 영역

Claims (12)

  1. 하나 이상의 광각 카메라를 포함하여 광각 영상을 생성하는 광각 카메라 유닛;
    하나 이상의 협각 카메라를 포함하여 협각 영상을 생성하는 협각 카메라 유닛; 및
    상기 협각 영상을 이용하여 차선의 곡률값을 산출하고, 상기 곡률값이 미리 지정된 제1 임계값 이하인 경우에는 광각 영상을 충돌 예상 정보의 생성을 위한 기본 영상으로 선택하고, 상기 곡률값이 상기 제1 임계값보다 큰 경우에는 협각 영상을 상기 기본 영상으로 선택하는 컨트롤 유닛을 포함하는 충돌 경고 장치.
  2. 제1항에 있어서,
    하나 이상의 광각 카메라와 하나 이상의 협각 카메라는 각각의 촬영 영역에서 오버랩 영역이 존재하도록 설치되고,
    상기 컨트롤 유닛은 기본 영상의 오버랩 영역과 기타 영역에 존재하는 물체에 대해 상기 충돌 예상 정보를 생성하며,
    상기 오버랩 영역은 기본 영상으로 선택되지 않은 광각 영상과 협각 영상 중 어느 하나인 보조 영상과 상기 기본 영상을 합성하여 생성한 오버랩 영상을 이용하여 충돌 예상 정보를 생성하는 것을 특징으로 하는 충돌 경고 장치.
  3. 제2항에 있어서,
    상기 오버랩 영상은 깊이 맵(depth map)으로 생성되는 것을 특징으로 하는 충돌 경고 장치.
  4. 제2항에 있어서,
    상기 충돌 예상 정보는 상기 물체와의 이격 거리 및 상기 물체와 충돌하기까지의 잔여 시간 중 하나 이상을 포함하도록 생성되고,
    상기 컨트롤 유닛은 상기 충돌 예상 정보가 미리 지정된 제2 임계값 이하인 경우 출력부를 통한 알람이 실시되도록 처리하는 것을 특징으로 하는 충돌 경고 장치.
  5. 제1항에 있어서,
    상기 컨트롤 유닛은 광각 영상 및 협각 영상 중 하나 이상에 충돌 가능한 물체가 존재하는지 판단하고, 충돌 가능한 물체가 존재하는 경우에만 상기 차선의 곡률값 산출 및 상기 기본 영상의 선택을 수행하는 것을 특징으로 하는 충돌 경고 장치.
  6. 제1항에 있어서,
    상기 광각 카메라는 어라운드 뷰 모니터링 시스템용 카메라인 것을 특징으로 하는 충돌 경고 장치.
  7. 충돌 경고 장치에서 수행되는 충돌 경고 방법에 있어서,
    (a) 광각 카메라에 의해 생성된 광각 영상과 협각 카메라에 의해 생성되는 협각 영상 중 협각 영상을 이용하여 차선의 곡률값을 산출하는 단계;
    (b) 상기 산출된 차선의 곡률값을 미리 지정된 제1 임계값과 비교하는 단계; 및
    (c) 상기 곡률값이 상기 제1 임계값 이하인 경우에는 광각 영상을 충돌 예상 정보의 생성을 위한 기본 영상으로 선택하고, 상기 곡률값이 상기 제1 임계값보다 큰 경우에는 협각 영상을 상기 기본 영상으로 선택하는 단계를 포함하는 충돌 경고 방법.
  8. 제7항에 있어서,
    미리 지정된 판단 방법에 따라 광각 영상 및 협각 영상 중 하나 이상에 존재하는 물체가 충돌 가능한 물체인 것으로 판단된 경우에만 상기 단계 (a) 내지 (c)가 실시되는 것을 특징으로 하는 충돌 경고 방법.
  9. 제7항에 있어서,
    기본 영상으로 선택되지 않은 광각 영상과 협각 영상 중 어느 하나인 보조 영상과 상기 기본 영상을 합성하여 상기 기본 영상과 상기 보조 영상의 오버랩 영역에 대한 오버랩 영상을 생성하는 단계; 및
    상기 오버랩 영상과 상기 기본 영상의 기타 영역에 존재하는 물체에 대한 충돌 예상 정보를 생성하는 단계를 더 포함하되,
    상기 충돌 예상 정보는 상기 물체와의 이격 거리 및 상기 물체와 충돌하기까지의 잔여 시간 중 하나 이상을 포함하도록 생성되는 것을 특징으로 하는 충돌 경고 방법.
  10. 제9항에 있어서,
    상기 충돌 예상 정보를 미리 지정된 제2 임계값과 대비하는 단계; 및
    상기 충돌 예상 정보가 상기 제2 임계값 이하인 경우, 출력부를 통한 알람이 실시되도록 처리하는 단계를 더 포함하는 충돌 경고 방법.
  11. 제9항에 있어서,
    상기 오버랩 영상은 깊이 맵(depth map)으로 생성되는 것을 특징으로 하는 충돌 경고 방법.
  12. 제7항 내지 제11항 중 어느 한 항에 기재된 충돌 경고 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.
KR1020170166080A 2017-12-05 2017-12-05 이종 카메라를 이용한 충돌 경고 방법 및 장치 KR20190066396A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170166080A KR20190066396A (ko) 2017-12-05 2017-12-05 이종 카메라를 이용한 충돌 경고 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170166080A KR20190066396A (ko) 2017-12-05 2017-12-05 이종 카메라를 이용한 충돌 경고 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190066396A true KR20190066396A (ko) 2019-06-13

Family

ID=66847865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170166080A KR20190066396A (ko) 2017-12-05 2017-12-05 이종 카메라를 이용한 충돌 경고 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190066396A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758267B2 (en) 2021-07-22 2023-09-12 Hyundai Motor Company Device and method for controlling image of vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101739394B1 (ko) 2016-12-30 2017-05-26 재단법인대구경북과학기술원 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101739394B1 (ko) 2016-12-30 2017-05-26 재단법인대구경북과학기술원 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
B-spline-based road model for 3D lane recognition(IEEE conference on intelligent transportation system October 2010)
미국공개특허 제2017/0113611호(Method for stereo map generation with novel optical resolutions)
미국등록특허 제8,633,810호(Rear-view multi-functional camera system)
탑뷰(top view) 영상을 이용한 곡선 템플릿 정합 기반 차선 및 곡률 검출 알고리즘(2010년 11월 전자공학회 논문지 제47권 SP편 제6호)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758267B2 (en) 2021-07-22 2023-09-12 Hyundai Motor Company Device and method for controlling image of vehicle

Similar Documents

Publication Publication Date Title
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
EP2336999B1 (en) Device for detecting/judging road boundary
US9151626B1 (en) Vehicle position estimation system
US20160019429A1 (en) Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
US9886636B2 (en) Enhanced top-down view generation in a front curb viewing system
US10093247B2 (en) Enhanced front curb viewing system
US9834143B2 (en) Enhanced perspective view generation in a front curb viewing system
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US20170297488A1 (en) Surround view camera system for object detection and tracking
US10477102B2 (en) Method and device for determining concealed regions in the vehicle environment of a vehicle
JPH1139596A (ja) 車外監視装置
JPH05265547A (ja) 車輌用車外監視装置
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
JP2004056763A (ja) 監視装置、監視方法および監視用プログラム
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP4151890B2 (ja) 車両監視装置および車両監視方法
JP2019067116A (ja) 立体物接地判定装置
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP7077726B2 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
JP4721278B2 (ja) 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置
JPH07225893A (ja) 車間距離制御装置
CN109895697B (zh) 一种行车辅助提示系统及方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application