KR20120086577A - 카메라를 이용한 측면차량 검출 장치 및 방법 - Google Patents

카메라를 이용한 측면차량 검출 장치 및 방법 Download PDF

Info

Publication number
KR20120086577A
KR20120086577A KR1020110007896A KR20110007896A KR20120086577A KR 20120086577 A KR20120086577 A KR 20120086577A KR 1020110007896 A KR1020110007896 A KR 1020110007896A KR 20110007896 A KR20110007896 A KR 20110007896A KR 20120086577 A KR20120086577 A KR 20120086577A
Authority
KR
South Korea
Prior art keywords
side vehicle
camera
wheel
roi
vehicle
Prior art date
Application number
KR1020110007896A
Other languages
English (en)
Other versions
KR101748646B1 (ko
Inventor
고경우
김회율
강형섭
백열민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020110007896A priority Critical patent/KR101748646B1/ko
Publication of KR20120086577A publication Critical patent/KR20120086577A/ko
Application granted granted Critical
Publication of KR101748646B1 publication Critical patent/KR101748646B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/1755—Brake regulation specially adapted to control the stability of the vehicle, e.g. taking into account yaw rate or transverse acceleration in a curve
    • B60T8/17551—Brake regulation specially adapted to control the stability of the vehicle, e.g. taking into account yaw rate or transverse acceleration in a curve determining control parameters related to vehicle stability used in the regulation, e.g. by calculations involving measured or detected parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265—Automatic obstacle avoidance by steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 카메라를 이용한 측면차량을 검출하는 장치 및 방법에 관한 것으로서, 본 발명에 따른 측면차량 검출 장치는 측면 물체로부터 특정 ROI를 검출하고, 검출된 특정 ROI가 모든 차량에 공통으로 나타나는 바퀴인지 여부로 측면의 물체를 인식하며, 측면 물체가 차량으로 검출될 경우 검출된 차량과의 거리를 파악하여 그 거리가 가까워지면 운전자에게 경고를 주거나 강제로 핸들을 조작하여 사고를 예방하는 것을 특징으로 한다. 본 발명에 따르면, 측면 물체가 존재하는지 여부를 확인할 수 있고, 차량의 측면에 물체가 존재하는 것으로 확인될 경우 존재하는 물체가 차량인지 여부도 확인할 수 있다. 또한, 센서와 같은 고가의 장비 대신 저가의 카메라를 사용함으로써 원가를 절감할 수 있는 이점이 있다.

Description

카메라를 이용한 측면차량 검출 장치 및 방법{Apparatus And Method Detecting Side Vehicle Using Camera}
본 발명은 측면의 차량을 검출하는 장치 및 방법에 관한 것으로서, 보다 구체적으로는 카메라를 이용하여 측면에 위치한 차량을 검출하여 대응할 수 있도록 하는 장치 및 방법에 관한 것이다.
종래의 측면 차량 검출 기술은 크게 카메라를 이용한 방법과 센서를 이용하는 방법으로 나눌 수 있다.
카메라를 이용하는 방법은 좌우측에 일정한 크기와 위치를 지니는 ROI(Region Of Interest, 관심영역)를 두고 해당 ROI 내에서 모션벡터를 구하여 배경과 물체의 상반된 움직임을 통해 물체를 인식하는 것이다. 차량이 주행중일 경우 배경의 모션벡터는 전방에서 후방으로 나타나지만, 측면에 물체가 있을 경우엔 일어나지 않거나 후방에서 전방으로 나타나게 되므로, 이를 통해 측면에 물체의 존재 여부를 파악할 수 있다.
센서를 이용한 방법은 레이저, 적외선 또는 초음파를 이용한 센서를 사용하고, 센서로부터 쏘아진 전파 또는 레이저가 닿은 후 다시 돌아오는 시간을 측정하여 해당 영역에 물체의 존재 여부를 파악하는 것이다.
그러나, 카메라를 이용한 방법은 카메라를 통해 입력되는 영상에서 특정 영역의 모션벡터를 통해 측면 물체의 존재 여부를 판단하고 있어서, 측면에 물체가 존재하더라도 정지해 있을 경우엔 물체와 배경의 모션벡터가 동일하게 나타나 물체를 검출할 수 없고, 카메라가 장착된 차량이 정지할 경우엔 측면에 물체가 존재하더라도 모션벡터가 일어나지 않아 물체를 검출할 수 없는 문제점이 있다.
또한, 센서를 이용하는 방법은 일반적인 도로환경에서는 센서에서 출력되는 적외선 또는 초음파 이외에 유사한 전파가 많기 때문에 물체 검출의 정확도가 떨어지고, 차량이 고속 주행중일 경우 전파를 쏘는 위치와 받아들이는 위치가 다르기 때문에 이에 대한 보정이 필요하다. 레이저 센서의 경우 정확도는 신뢰할 수 있지만 고가이기 때문에 대중화하기엔 어려운 문제점이 있다.
마지막으로 종래기술들의 공통적인 문제는 물체의 존재 여부를 판단할 수 있지만 해당 물체가 차량인지 여부를 판단할 수 없다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 감안하여 창출한 것으로서, 측면 물체로부터 특정 ROI를 검출하고, 검출된 특정 ROI가 모든 차량에 공통으로 나타나는 바퀴인지 여부로 측면의 물체를 인식하는 카메라를 이용한 측면차량 검출 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 측면 물체가 차량으로 검출될 경우 검출된 차량과의 거리를 파악하여 그 거리가 가까워지면 운전자에게 경고를 주거나 강제로 핸들을 조작하여 사고를 예방하는 카메라를 이용한 측면차량 검출 장치 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 카메라를 이용한 측면차량 검출 장치는 영상을 촬영하여 전달하는 카메라; 상기 카메라로부터 전달된 영상에서 측면차량 검출을 위한 ROI(Region Of Interest)영역을 추출하여 측면차량 존재 여부를 판단하는 측면차량 검출부; 상기 측면차량 검출부에 의해 상기 측면차량이 존재하는 것으로 판단되면, 상기 측면차량과의 충돌을 회피하도록 조향각을 제어하거나 또는 운전자에게 이를 경고 하는 ECU; 및 상기 운전자에게 측면차량과의 충돌을 회피할 것을 알리거나 상기 측면차량과의 충돌가능성을 경고하는 경고부를 포함한다.
본 발명의 다른 면에 따른 카메라를 이용한 측면차량 검출 방법은 카메라로 촬영된 영상에서 측면차량 검출을 위한 ROI(Region Of Interest)영역을 추출하여 측면차량 존재 여부를 판단하는 단계; 상기 측면차량이 존재하는 것으로 판단되면, 상기 측면차량과의 충돌 회피를 위해 조향각을 제어하는 단계; 및 운전자에게 측면차량과의 충돌을 회피할 것을 알리거나 상기 측면차량과의 충돌가능성을 경고하는 단계를 포함한다.
본 발명에 따르면, 측면 물체가 존재하는지 여부를 확인할 수 있고, 차량의 측면에 물체가 존재하는 것으로 확인될 경우 존재하는 물체가 차량인지 여부도 확인할 수 있는 효과가 있다.
또한, 센서와 같은 고가의 장비 대신 저가의 카메라를 사용함으로써 원가를 절감할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 카메라를 이용한 측면차량 검출 장치를 설명하기 위한 블럭도.
도 2는 측면 차량의 위치를 설명하기 위한 예시도.
도 3은 실제 영상에서 측면 차량을 설명하기 위한 예시도.
도 4는 측면차량 검출부의 동작을 설명하기 위한 흐름도.
도 5는 카메라로부터 입력된 영상에서 ROI의 위치를 설명하기 위한 예시도.
도 6은 바퀴 하단의 위치를 설명하기 위한 예시도.
도 7은 영상에서 각도에 따른 바퀴 휠의 보이는 정도를 설명하기 위한 예시도.
도 8은 카메라와 바퀴가 이루는 사이각을 설명하기 위한 예시도.
도 9는 바퀴 ROI에서 4등분하는 것을 설명하기 위한 예시도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명은 주행중인 차량에서 카메라를 통한 영상을 통해 측면 차량을 인식하고 그 거리에 따라 충돌 경보 또는 강제적인 차량 조작을 통해 사고를 방지하는 장치에 과한 것이다.
이하, 도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 카메라를 이용한 측면차량 검출 장치를 설명한다. 도 1은 본 발명의 일 실시예에 따른 카메라를 이용한 측면차량 검출 장치를 설명하기 위한 블럭도이고, 도 2는 측면 차량의 위치를 설명하기 위한 예시도이며, 도 3은 실제 영상에서 측면 차량을 설명하기 위한 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 카메라를 이용한 측면차량 검출 장치(100)는 카메라(110), 측면차량 검출부(120), ECU(130), 조향각 제어부(140), 브레이크 제어부(150) 및 경고부(160)를 포함한다.
카메라(110)는 실시간으로 영상을 촬영하여 측면차량 검출부(120)에 전달한다. 여기서 카메라(110)는 calibration된 카메라로서, 카메라(110)에 calibration이 필요한 이유는 인식된 차량과의 거리 및 영상에서 거리에 따른 바퀴의 크기를 산출하기 위해서이다.
측면차량 검출부(120)는 카메라(110)로부터 전달된 영상에서 측면 차량이존재하는지 여부를 판단한다. 측면 차량에 대한 위치 표시는 도 2에 도시된 바와 같이 할 수 있으며, 2번 영역에 위치한 차량을 측면 차량이라 하고, 1 번 영역에 위치한 차량을 전방 차량이라 한다. 이를 실제 영상에 적용하면, 도 3에 도시된 바와 같이, 5번 및 6번 차량을 측면 차량이라 하고, 1 내지 4번 차량을 전방 차량이라 한다.
측면차량 검출부(120)는 측면에 차량이 검출되고, 검출된 차량과 거리가 기설정된 위험거리 이내이면, 위험 신호를 ECU(130)에 전달한다.
ECU(130)는 측면차량 검출부(120)로부터 위험 신호를 전달받으면, 조향각 제어부(140)가 측면 차량이 존재하는 반대 방향으로 조향각을 조절하도록 하거나 브레이크 제어부(150)가 브레이크를 작동시키도록 하는 등 차량의 주행 상황에 따라 적절한 방법으로 측면 차량과의 충돌을 회피할 수 있도록 한다. 동시에 ECU(130)는 경고부(160)로 신호를 보내 경고부(160)가 운전자에 측면 차량과의 충돌 가능성을 경고하도록 한다.
전술된 바와 같이, 본 발명에 따르면, 측면 물체가 존재하는지 여부를 확인할 수 있고, 차량의 측면에 물체가 존재하는 것으로 확인될 경우 존재하는 물체가 차량인지 여부도 확인할 수 있으며, 차량일 경우 충돌을 회피하도록 조치를 취할 수 있고 운전자에게 충돌 가능성을 경고할 수 있다. 또한, 센서와 같은 고가의 장비 대신 저가의 카메라를 사용함으로써 원가를 절감할 수 있는 이점이 있다.
이상, 도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 카메라를 이용한 측면차량 검출 장치를 설명하였고, 이하에서는 도 4 내지 도 9를 참조하여 본 발명의 일 실시예에 따른 카메라를 이용한 측면차량 검출 방법을 설명한다. 도 4는 측면차량 검출부의 동작을 설명하기 위한 흐름도이고, 도 5는 카메라로부터 입력된 영상에서 ROI의 위치를 설명하기 위한 예시도이며, 도 6은 바퀴 하단의 위치를 설명하기 위한 예시도이다. 도 7은 영상에서 각도에 따른 바퀴 휠의 보이는 정도를 설명하기 위한 예시도이고, 도 8은 카메라와 바퀴가 이루는 사이각을 설명하기 위한 예시도이며, 도 9는 바퀴 ROI에서 4등분하는 것을 설명하기 위한 예시도이다.
도 4에 도시된 바와 같이, 카메라(110)로부터 영상이 입력되면(S400), 도 5에 도시된 바와 같이, ROI(Region Of Interest) 영역을 추출한다(S410). 예컨대, 카메라(110)로부터 영상이 전달되면, 크기가 M x N 인 ROI영역을 R(x,y)에 저장한다.
추출된 ROI영역을 전처리한다(S420). 예컨대, 추출된 ROI R(x,y)에서 전처리 과정으로 수학식 1과 같이 평탄화와 영상의 절반 크기로 축소한다. 즉, 수학식 1은 영상의 평탄화와 축소를 동시에 수행하는 것이다. 이는 영상의 잡음을 제거하며 계산속도를 빠르게 하기 위함이다.
수학식 1에서 x=0,2,4,...M-1 이고, y=0,2,4,...,N-1 이다.
구해진 P(x,y) 에서 sobel operator 중 vertical 필터만을 사용하여 수학식 2 및 수학식 3과 같이, vertical edge map인 VE(x,y)를 구한다.
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
수학식 4에서 max는 픽셀 (x,y)에서 8-neighborhood 픽셀들 중 가장 큰 밝기값을 나타내고, min은 가장 낮은 밝기값을 나타낸다. 이렇게 구해진 VE(x,y)에서 vertical 방향으로 수학식 5와 같이 profile을 구한다.
Figure pat00006
수학식 5에서 i=0,1,2,...,(M/2)-1 이다.
바퀴 ROI를 추출한다(S430). 예컨대, 전술된 바와 같이 구해진 profile에서 가장 빈도수가 높은 위치를 Xp라 하고 바퀴 중심의 x 방향의 위치라 가정한다. 해당 Profile(Xp)의 값을 사용하여 바퀴의 하단 부분의 y 위치를 구한다. 예컨대, ROI에서 구하고자 하는 Xp 와 Yp의 위치는 도 6에 도시된 바와 같다. Yp를 구하기 위해 VE(x,y)에서 Xp 위치의 값을 수학식 6과 같이 YE(i)에 저장한 후 수학식 7과 같이 KDE를 통해 YE'(i)를 구한다.
Figure pat00007
Figure pat00008
수학식 6과 7에서 i=0,1,2,…,(N/2)-1 이다.
이렇게 구해진 YE'(i)가 수학식 8과 같은 조건을 만날 경우, i의 값을 Yp로 사용한다.
Figure pat00009
수학식 8에서 i=(N/2)-1, (N/2)-2,…,1 이다.
전술한 바와 같은 과정을 통해 구해진 좌표 (Xp,Yp)와 카메라 calibration 정보를 통해 바퀴의 크기를 계산한다. 바퀴의 크기를 계산하기 위해 다음과 같은 가정을 한다.
도 7에 도시된 바와 같이, θ의 값이 0도 일 때 영상에 들어오는 바퀴 휠의 모양은 원이고, θ값이 90도일 때 휠은 전혀 보이지 않는다. 이를 위해 θ가 0도일 때 실제 휠의 직경을 Rx cm라 가정하고, θ에 따른 휠의 직경을 cosine 함수에 따라 변화되어 90도일 때에는 휠의 직경은 0이 되는 것으로 가정한다.
전술된 가정은 도 8에 도시된 바와 같다. 이를 통해 바퀴의 크기는 카메라(110)와 영상에서의 좌표 (Xp,Yp)의 real world에서 좌표인 (RXp,RYp)와의 각도는 수학식 9와 같이 구한다.
Figure pat00010
따라서, 바퀴 영역의 real world에서 좌우측 좌표는 (RXp - Rx × θ/2, RYp)와 (RXp + Rx × θ/2, RYp)가 되며 바퀴의 높이는 real world에서 Ry cm라 가정하여 real world에서 (RXp, RYp - Ry)가 된다. 이러한 real world의 좌표를 calibration 정보에 따라 영상 좌표로 전환하는 것으로 바퀴 ROI를 추출할 수 있다.
특징을 검출한다(S440). 예컨대, 추출된 바퀴 ROI에서 특징을 검출하며 사용된 특징은 Histogram Of Gradient(HOG)를 사용한다. HOG를 추출하기 위해 도 9에 도시된 바와 같이, 바퀴 ROI를 4등분 한 후 각각의 영역에서 18 dimension의 HOG를 추출한 후 순서대로 연결하여 총 72 dimension의 특징을 추출한다.
추출된 특징을 Adaboost, SVM 또는 Neural Network와 같이 널리 알려진 분류기(450)를 통해 바퀴의 존재 여부를 판단한다(460).
판단결과, 바퀴가 존재할 경우, 해당 ROI에는 측면 차량이 위치하는 것으로 판단하고, 운전자 차량과 측면차량의 거리는 카메라 calibration 정보로 구한다(470).
운전자 차량과 측면차량의 거리가 기 설정된 위험거리 내에 있는지 여부를 판단한다(S480).
판단결과 위험거리 내에 있으면, 경보 신호를 송출한다(S490).
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
110 : 카메라 120 : 측면차량 검출부
130 : ECU 140 : 조향각 제어부
150 : 브레이크 제어부 160 : 경고부

Claims (6)

  1. 영상을 촬영하여 전달하는 카메라;
    상기 카메라로부터 전달된 영상에서 측면차량 검출을 위한 ROI(Region Of Interest)영역을 추출하여 측면차량 존재 여부를 판단하는 측면차량 검출부;
    상기 측면차량 검출부에 의해 상기 측면차량이 존재하는 것으로 판단되면, 상기 측면차량과의 충돌을 회피하도록 조향각을 제어하거나 또는 운전자에게 이를 경고 하는 ECU; 및
    상기 운전자에게 측면차량과의 충돌을 회피할 것을 알리거나 상기 측면차량과의 충돌가능성을 경고하는 경고부
    를 포함하는 카메라를 이용한 측면차량 검출 장치.
  2. 제1항에 있어서,
    상기 측면차량 검출부는 상기 전달된 영상에서 ROI(Region Of Interest)를 추출하고, 추출된 ROI를 특정 크기로 축소하여 바퀴의 x축 및 y축 좌표를 추출하며, 추출된 각 좌표를 근거로 바퀴의 크기를 계산하여 바퀴의 존재 여부를 판단하고, 판단결과 바퀴가 존재하고, 존재하는 바퀴와의 거리가 기설정된 위험거리 이내이면, 상기 측면차량이 존재하는 것으로 판단하는 것
    인 카메라를 이용한 측면차량 검출 장치.
  3. 제1항에 있어서,
    상기 ECU는 상기 측면 차량이 존재하는 반대 방향으로 조향각을 조절하거나 또는 브레이크를 작동시켜 상기 측면 차량과의 충돌을 회피하도록 하는 것
    인 카메라를 이용한 측면차량 검출 장치.
  4. 카메라로 촬영된 영상에서 측면차량 검출을 위한 ROI(Region Of Interest)영역을 추출하여 측면차량 존재 여부를 판단하는 단계;
    상기 측면차량이 존재하는 것으로 판단되면, 상기 측면차량과의 충돌 회피를 위해 조향각을 제어하는 단계; 및
    운전자에게 측면차량과의 충돌을 회피할 것을 알리거나 상기 측면차량과의 충돌가능성을 경고하는 단계
    를 포함하는 카메라를 이용한 측면차량 검출 방법.
  5. 제4항에 있어서, 상기 판단하는 단계는,
    상기 전달된 영상에서 ROI(Region Of Interest)를 추출하고, 추출된 ROI를 특정 크기로 축소하여 바퀴의 x축 및 y축 좌표를 추출하는 단계;
    추출된 각 좌표를 근거로 바퀴의 크기를 계산하여 바퀴의 존재 여부를 판단하는 단계; 및
    판단결과 바퀴가 존재하고, 존재하는 바퀴와의 거리가 기설정된 위험거리 이내이면, 상기 측면차량이 존재하는 것으로 판단하는 단계를 포함하는 것
    인 카메라를 이용한 측면차량 검출 방법.
  6. 제4항에 있어서, 상기 제어하는 단계는,
    상기 측면차량이 존재하는 반대 방향으로 조향각을 조절하거나 또는 상기 측면차량이 존재하는 방향으로의 주행을 방지하기 위해 브레이크를 작동시키는 것 중 적어도 어느 하나를 수행하는 단계인 것
    인 카메라를 이용한 측면차량 검출 방법.
KR1020110007896A 2011-01-26 2011-01-26 카메라를 이용한 측면차량 검출 장치 및 방법 KR101748646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110007896A KR101748646B1 (ko) 2011-01-26 2011-01-26 카메라를 이용한 측면차량 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110007896A KR101748646B1 (ko) 2011-01-26 2011-01-26 카메라를 이용한 측면차량 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120086577A true KR20120086577A (ko) 2012-08-03
KR101748646B1 KR101748646B1 (ko) 2017-07-04

Family

ID=46872352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110007896A KR101748646B1 (ko) 2011-01-26 2011-01-26 카메라를 이용한 측면차량 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101748646B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
US10013618B2 (en) 2016-06-09 2018-07-03 Hyundai Motor Company Method and apparatus for detecting side of object using ground boundary information of obstacle
EP3543086A1 (en) * 2018-03-22 2019-09-25 Visteon Global Technologies, Inc. Method for predicting a change in the direction of travel of a vehicle
KR20190123248A (ko) 2019-10-11 2019-10-31 엘지전자 주식회사 차량 사고 방지 장치 및 방법
KR20200059475A (ko) * 2018-11-21 2020-05-29 현대모비스 주식회사 초음파 센서의 높이 보상장치 및 그 방법
KR20210050925A (ko) 2019-10-29 2021-05-10 엘지전자 주식회사 차량 충돌 회피 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174728B1 (ko) * 2018-11-28 2020-11-05 한국교통대학교산학협력단 단안 카메라 기반 위험 지역 검출 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004054720A1 (de) * 2004-11-12 2006-05-18 Daimlerchrysler Ag Verfahren zum Betreiben eines Fahrzeugs mit einem Kollisionsvermeidungssystem und Vorrichtung zur Durchführung eines solchen Verfahrens
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
US10013618B2 (en) 2016-06-09 2018-07-03 Hyundai Motor Company Method and apparatus for detecting side of object using ground boundary information of obstacle
EP3543086A1 (en) * 2018-03-22 2019-09-25 Visteon Global Technologies, Inc. Method for predicting a change in the direction of travel of a vehicle
KR20200059475A (ko) * 2018-11-21 2020-05-29 현대모비스 주식회사 초음파 센서의 높이 보상장치 및 그 방법
KR20190123248A (ko) 2019-10-11 2019-10-31 엘지전자 주식회사 차량 사고 방지 장치 및 방법
KR20210050925A (ko) 2019-10-29 2021-05-10 엘지전자 주식회사 차량 충돌 회피 장치 및 방법

Also Published As

Publication number Publication date
KR101748646B1 (ko) 2017-07-04

Similar Documents

Publication Publication Date Title
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US11267461B2 (en) Driving assistance apparatus and driving assistance method
JP6424263B2 (ja) 大型車両の移動オブジェクト衝突警告装置および方法
US9623869B2 (en) Vehicle driving support control apparatus
EP2352136B1 (en) System for monitoring the area around a vehicle
US10246038B2 (en) Object recognition device and vehicle control system
KR101748646B1 (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
US20160107643A1 (en) Object recognition apparatus
CN106845332B (zh) 利用轮胎旁溅的基于视觉的潮湿路面状况检测
EP3726500A1 (en) Vehicle merge assistance system and method
CN110045736B (zh) 一种基于无人机的弯道障碍物避让方法
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
CN101131321A (zh) 一种实时测量安全车距用于汽车防撞预警的方法及装置
KR20160087273A (ko) 차량 안전 주행 장치
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP2014056295A (ja) 車両周辺監視装置
JP5003473B2 (ja) 注意喚起装置
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
JP5717416B2 (ja) 運転支援制御装置
US20210403020A1 (en) Vehicular control system with detection and prevention of unintended motion
EP3938245B1 (en) Driver assistance method and apparatus
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
KR20120103980A (ko) 선행 차량의 사각지역 알림 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant