KR101449160B1 - 차량의 사각지대 정보 제공 장치 및 방법 - Google Patents

차량의 사각지대 정보 제공 장치 및 방법 Download PDF

Info

Publication number
KR101449160B1
KR101449160B1 KR1020120144896A KR20120144896A KR101449160B1 KR 101449160 B1 KR101449160 B1 KR 101449160B1 KR 1020120144896 A KR1020120144896 A KR 1020120144896A KR 20120144896 A KR20120144896 A KR 20120144896A KR 101449160 B1 KR101449160 B1 KR 101449160B1
Authority
KR
South Korea
Prior art keywords
image
view
vehicle
side area
camera
Prior art date
Application number
KR1020120144896A
Other languages
English (en)
Other versions
KR20140076415A (ko
Inventor
이병준
정호철
안준식
성갑제
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120144896A priority Critical patent/KR101449160B1/ko
Priority to US13/858,530 priority patent/US20140160289A1/en
Priority to CN201310145318.4A priority patent/CN103863190A/zh
Publication of KR20140076415A publication Critical patent/KR20140076415A/ko
Application granted granted Critical
Publication of KR101449160B1 publication Critical patent/KR101449160B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

본 발명은 차량의 사각지대 정보 제공 장치 및 방법에 관한 것으로, 본 발명에 따른 장치는 차량의 사각지대를 포함하는 영상을 촬영하는 사이드 카메라에 의해 촬영된 촬영 영상으로부터 기 정의된 사이드 영역 및 후측방 영역을 검출하는 뷰 변환 영역 검출부 및 상기 사이드 영역 및 상기 후측방 영역의 영상을 기 설정된 뷰 변환 파라미터에 따라 뷰 변환하여 상기 사이드 영역 및 상기 후측방 영역의 영상에 대응하는 뷰 변환 영상을 생성하는 뷰 변환부를 포함한다.

Description

차량의 사각지대 정보 제공 장치 및 방법{Apparatus and method for providing information of blind spot}
본 발명은 차량의 사각지대 정보 제공 장치 및 방법에 관한 것으로, 초광각 측면 영상으로부터 사각지대에 위치한 사이드 영역 및 후측방 영역의 물체를 검출하도록 하는 기술에 관한 것이다.
일반적으로, 차량에 탑승한 운전자는 사이드 미러를 통해 후측방의 상태를 확인하게 된다. 하지만, 사이드 미러가 수용할 수 있는 범위가 한정적이어서, 사이드 미러를 통해 감시할 수 없는 사각지대가 발생하게 된다. 따라서, 운전자는 사각지대의 상태를 확인할 수 없어 사고 발생이 증대되는 문제가 있다.
이를 위해, 차량에 센서를 배치하여, 센서를 통해 사각지대의 물체를 검출하고, 이로써 운전자는 사각지대의 상황을 사전에 인지할 수 있게 된다. 하지만, 별도의 센서를 차량에 부착해야할 뿐만 아니라, 기상악화 등의 외부환경에 의한 영향 및 센서 자체의 특성 상 센서값 측정에 오차가 발생할 수 있는 문제가 있다.
[특허문헌] 국내등록특허 제10-0062301호.
본 발명의 목적은, 초광각의 사이드 카메라 영상으로부터 사각지대에 위치한 사이드 영역 및 후측방 영역의 물체를 검출하도록 하는 차량의 사각지대 정보 제공 장치 및 방법을 제공함에 있다.
특히, 본 발명은, 하나의 사이드 카메라 영상 내에서 물체의 위치에 따른 형상의 변화가 최소화될 수 있는 사이드 영역 및 후측방 영역을 지정하고, 지정된 두 영역의 영상을 각각 뷰 변환함으로써, 물체 검출 정확도가 증대되도록 하는데 그 목적이 있다.
또한, 본 발명의 다른 목적은, 초광각의 사이드 카메라 영상으로부터 분할된 사이드 영역 및 후측방 영역의 영상을 뷰 변환한 영상들로부터 특징점을 추출하여 사각지대의 물체를 검출하여 물체의 위치 검출정확도가 향상되도록 하는 차량의 사각지대 정보 제공 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 차량의 사각지대 정보 제공 장치는, 차량의 사각지대를 포함하는 영상을 촬영하는 사이드 카메라로부터 입력된 촬영 영상으로부터 기 정의된 사이드 영역 및 후측방 영역을 검출하는 뷰 변환 영역 검출부, 및 상기 사이드 영역 및 상기 후측방 영역의 영상을 기 설정된 뷰 변환 파라미터에 따라 뷰 변환하여 상기 사이드 영역 및 상기 후측방 영역의 영상에 대응하는 뷰 변환 영상을 생성하는 뷰 변환부를 포함하는 것을 특징으로 한다.
상기 뷰 변환부는, 상기 뷰 변환 파라미터의 값이 룩업 테이블(Look up table)에 정의되어, 상기 룩업 테이블에 정의된 상기 뷰 변환 파라미터의 값에 따라 상기 사이드 영역 및 상기 후측방 영역의 영상을 각각 뷰 변환하는 것을 특징으로 한다.
상기 사이드 카메라는 초광각 카메라이고, 상기 뷰 변환부는 초광각의 촬영 영상을 촬영각 보다 좁은 각의 영상으로 뷰 변환하는 것을 특징으로 한다.
상기 뷰 변환부는, 상기 사이드 영역의 영상을 제1 뷰 변환 파라미터로 뷰 변환하여 제1 뷰 변환영상을 생성하는 제1 뷰 변환부, 및 상기 후측방 영역의 영상을 제2 뷰 변환 파라미터로 뷰 변환하여 제2 뷰 변환영상을 생성하는 제2 뷰 변환부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 장치는, 상기 뷰 변환 영상으로부터 특징점을 추출하는 특징점 추출부, 및 상기 뷰 변환 영상으로부터 추출된 특징점에 근거하여 상기 사각지대의 물체를 검출하는 검출부를 더 포함하는 것을 특징으로 한다.
상기 검출부는, 상기 뷰 변환 영상으로부터 추출된 특징점과 기 저장된 차량의 특징점을 비교하여, 비교 결과에 따라 상기 사각지대에 위치한 차량을 검출하는 것을 특징으로 한다. 여기서, 상기 차량의 특징점은, 상기 차량의 전면, 측면, 하단 및 바퀴의 형상과 상기 차량의 모션 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차량의 사각지대 정보 제공 방법은, 차량의 사각지대를 포함하는 영상을 촬영하는 사이드 카메라로부터 입력된 촬영 영상으로부터 기 정의된 사이드 영역 및 후측방 영역을 검출하는 단계, 및 상기 사이드 영역 및 상기 후측방 영역의 영상을 기 설정된 뷰 변환 파라미터에 따라 뷰 변환하여 상기 사이드 영역 및 상기 후측방 영역의 영상에 대응하는 뷰 변환 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 뷰 변환 영상을 생성하는 단계는, 상기 뷰 변환 파라미터의 값이 룩업 테이블(Look up table)에 정의되어, 상기 룩업 테이블에 정의된 상기 뷰 변환 파라미터의 값에 따라 상기 사이드 영역 및 상기 후측방 영역의 영상을 각각 뷰 변환하는 것을 특징으로 한다.
상기 뷰 변환 영상을 생성하는 단계는, 상기 사이드 영역의 영상을 제1 뷰 변환 파라미터로 뷰 변환하여 제1 뷰 변환영상을 생성하는 단계, 및 상기 후측방 영역의 영상을 제2 뷰 변환 파라미터로 뷰 변환하여 제2 뷰 변환영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 방법은, 상기 뷰 변환 영상으로부터 특징점을 추출하는 단계, 및 상기 뷰 변환 영상으로부터 추출된 특징점에 근거하여 상기 사각지대의 물체를 검출하는 단계를 포함하는 것을 특징으로 한다.
상기 사각지대의 물체를 검출하는 단계는, 상기 뷰 변환 영상으로부터 추출된 특징점과 기 저장된 차량의 특징점을 비교하여, 비교 결과에 따라 상기 사각지대에 위치한 차량을 검출하는 것을 특징으로 한다. 여기서, 상기 차량의 특징점은, 상기 차량의 전면, 측면, 하단 및 바퀴의 형상과 상기 차량의 모션 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 초광각의 사이드 카메라 영상으로부터 사각지대에 위치한 사이드 영역 및 후측방 영역의 물체를 검출함으로써 사각지대의 물체를 용이하게 검출할 수 있는 이점이 있다.
특히, 본 발명은, 하나의 사이드 카메라 영상 내에서 물체의 위치에 따른 형상의 변화가 최소화될 수 있는 사이드 영역 및 후측방 영역을 지정하고, 지정된 두 영역의 영상을 각각 뷰 변환함으로써, 물체 검출 정확도를 향상시키는 효과가 있다.
또한, 본 발명은, 초광각의 사이드 카메라 영상으로부터 분할된 사이드 영역 및 후측방 영역의 영상을 뷰 변환한 영상들로부터 특징점을 추출하여 사각지대의 물체를 검출함으로써 물체의 위치 검출 정확도가 향상되는 이점이 있다.
도 1은 본 발명에 따른 사각지대 정보 제공 장치가 적용된 차량의 동작을 도시한 도이다.
도 2는 본 발명에 따른 사각지대 정보 제공 장치의 구성을 도시한 블록도이다.
도 3 및 도 4는 본 발명에 따른 사각지대 정보 제공 장치의 뷰 변환 동작을 설명하는데 참조되는 예시도이다.
도 5는 본 발명에 따른 사각지대 정보 제공 장치의 특징점 추출 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 사각지대 정보 제공 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 사각지대 정보 제공 장치가 적용된 차량의 동작을 도시한 도이다. 도 1을 참조하면, 본 발명에 적용되는 차량(10)은 측면에 카메라(11a, 11b)가 배치되어, 차량(10) 주행 시 사이드 영상을 촬영한다. 이때, 차량(10)에 배치된 카메라(11a, 11b)는 AVM 시스템에 적용되는 카메라일 수 있으며, 초광각 카메라일 수 있다. 특히, 초광각 카메라는 왜곡이 심한 190° 초광각의 영상을 촬영할 수 있다. 따라서, 차량(10)의 사이드 카메라(11a, 11b)를 통해 촬영된 영상은 차량(10)의 측면과 후측방 영역에 위치한 물체, 예를 들어, 다른 차량(21, 25)의 영상을 포함할 수 있다.
이때, 차량(10)의 사이드 카메라(11a, 11b)로부터 사이드 영상이 촬영되면, 촬영된 사이드 영상은 차량의 사각지대 정보 제공 장치(이하, '정보 제공 장치'라 칭한다.)(100)로 전달된다.
여기서, 본 발명에 따른 정보 제공 장치(100)는 사각지대(B)에 위치한 물체를 검출하기 위해, 사이드 카메라(11a, 11b)로부터 촬영된 영상이 입력되면, 입력된 촬영 영상을 사이드 영역과 후측방 영역으로 분할하여, 분할된 각 영역의 영상으로부터 물체를 검출하도록 한다. 이때, 사이드 영역 및 후측방 영역은 그 위치 및 범위가 사전에 설정되는 것으로 하며, 사이드 영역은 차량의 위치로부터 근거리에, 후측방 영역은 차량의 위치로부터 원거리에 설정되는 것으로 한다. 또한, 사이드 영역 및 후측방 영역은 사각지대(B)를 포함할 수 있으며, 각 영역이 서로 교차될 수 있다.
이에, 정보 제공 장치의 구성은 도 2를 참조하여 보다 상세히 설명하도록 한다.
도 2는 본 발명에 따른 사각지대 정보 제공 장치의 구성을 도시한 블록도이다. 도 2를 참조하면, 본 발명에 따른 정보 제공 장치는 뷰 변환 영역 검출부(120), 뷰 변환부(130), 특징점 추출부(140) 및 검출부(150)를 포함한다.
뷰 변환 영역 검출부(120)는 차량에 구비된 카메라, 즉, 사이드 카메라로부터 촬영된 영상을 입력 받아, 해당 영상 내에서 사이드 영역 및 후측방 영역을 검출한다. 이때, 사이드 영역 및 후측방 영역은 일부 겹쳐질 수 있으며, 사이드 영역과 후측방 영역의 위치 및 크기는 영상 내의 물체의 위치에 따른 형상의 변화가 최소화되도록 하는 범위 내에서 사전에 설정된 것으로 한다. 물론, 사이드 영역과 후측방 영역의 위치 및 크기는 사용자의 패턴에 따라 가변 설정될 수도 있다.
뷰 변환부(130)는 뷰 변환 영역 검출부(120)로부터 검출된 각 검출 영역의 영상에 대해 기 설정된 뷰 변환 파라미터에 따라 뷰 변환한다. 여기서, 뷰 변환 파라미터는 공지된 카메라 캘리브레이션 과정을 통해 추출되는 것으로, 카메라의 화각을 결정하는 카메라 내부 파라미터와 카메라 장착 위치 및 촬영방향 등 시점을 결정하는 카메라 외부 파라미터로 구분된다. 상기 카메라 내부 파라미터는 초점거리, 주점, 비대칭계수를 포함하고, 카메라 외부 파라미터는 회전 변환 및 평행이동 변환을 포함한다. 예를 들어, 카메라 캘리브레이션은 R. Y. Tsai의 논문 "A Versatile Camera Calibration Technique for High Accuracy 3-D Maching Vision Metrology Using Off-the-shelf TV Cameras and Lenses", IEEE Journal of Robotics & Automation 3 (1987), pp. 323-344. 및 http://darkpgmr.tistory.com/32 등에 공지된 기법을 이용한다. 또한, 뷰 변환부(130)는 제1 뷰 변환부(131) 및 제2 뷰 변환부(135)를 포함한다. 제1 뷰 변환부(131)는 사이드 영역의 영상(이하, '제1 영상'이라 칭한다.)에 대해 뷰 변환하고, 제2 뷰 변환부(135)는 후측방 영역의 영상(이하, '제2 영상'이라 칭한다.)에 대해 뷰 변환한다.
이때, 제1 뷰 변환부(131) 및 제2 뷰 변환부(135)는 뷰 변환 파라미터의 값이 룩업 테이블(Look up table)에 정의되고, 룩업 테이블에 정의된 뷰 변환 파라미터의 값에 따라 사이드 영역 및 후측방 영역의 영상을 각각 뷰 변환한다.
일 예로서, 190° 초광각 영상에 대해 60° 협각 영상으로 뷰 변환되도록 뷰 변환 파라미터의 값이 정의될 수 있다.
이에 따라, 제1 뷰 변환부(131)는 제1 영상을 기 설정된 뷰 변환 파라미터에 따라 뷰 변환하여 제1 뷰 변환 영상을 생성하고, 제2 뷰 변환부(135)는 제2 영상을 기 설정된 뷰 변환 파라미터에 따라 뷰 변환하여 제2 뷰 변환 영상을 생성하도록 한다.
제1 뷰 변환부(131) 및 제2 뷰 변환부(135)는 제1 뷰 변환 영상 및 제2 뷰 변환 영상을 각각 특징점 추출부(140)로 전달한다.
특징점 추출부(140)는 입력된 제1 뷰 변환 영상 및 제2 뷰 변환 영상을 분석하여, 특정 물체, 예를 들어, 차량 또는 사람 등에 대한 특징점을 추출한다.
일 예로서, 특징점 추출부(140)는 제1 뷰 변환 영상으로부터 차량의 앞단, 측면 형상, 하단부, 전방 측면의 모서리 및 바퀴 형상 중 적어도 하나의 특징을 추출한다. 이때, 특징점 추출부(140)는 제1 뷰 변환 영상으로부터 추출된 특징점을 통해 물체의 전고, 전장 및 내 차로부터의 횡방향 거리 및 종방향 거리를 정확히 검출할 수 있다.
또한, 특징점 추출부(140)는 제2 뷰 변환 영상으로부터 차량의 전면 형상, 하단부 및 전방 모서리 중 적어도 하나의 특징을 추출한다. 이때, 특징점 추출부(140)는 제2 뷰 변환 영상으로부터 추출된 특징점을 통해 물체의 전고, 전장 및 내 차로부터의 횡방향 거리 및 종방향 거리를 정확히 검출할 수 있다.
이때, 특징점 추출부(140)는 제1 뷰 변환 영상으로부터 추출된 특징점 및 제2 뷰 변환 영상으로부터 추출된 특징점을 검출부(150)로 전달한다.
검출부(150)는 특징점 추출부(140)로부터 입력된 각각의 특징점들을 분석하여 사각지대에 위치한 물체(차량, 사람)를 검출하고, 그 위치를 정확도 높게 인식한다. 다시 말해서, 검출부(150)는 추출된 특징점이 사전에 정의된 물체의 특징점과 유사하거나 일치하는 경우에 사각지대에 위치한 해당 물체를 검출한다.
삭제
도 2에는 도시하지 않았으나, 본 발명에 따른 정보 제공 장치는 차량의 사이드 영역 및 후측방 영역, 특히, 사각지대에서 차량과 같은 물체가 검출된 경우, 검출 결과에 따라 부저 등을 통해 경보음이 출력되도록 할 수 있다. 또한, 본 발명에 따른 정보 제공 장치는 차량에 구비된 모니터 또는 내비게이션 화면 등을 통해 검출된 차량 등의 영상이 표시되도록 할 수도 있다.
도 3 및 도 4는 본 발명에 따른 사각지대 정보 제공 장치의 뷰 변환 동작을 설명하는데 참조되는 예시도이다.
먼저, 도 3은 사이드 영상에서 후측방 영역을 뷰 변환하는 동작을 나타낸 것이다. 도 3을 참조하면, 정보 제공 장치는 (a)와 같은 사이드 카메라 영상이 입력되면, 기 설정된 값에 따라 사이드 카메라 영상에서 지정된 후측방 영역을 검출한다. 이때, 정보 제공 장치는 검출된 후측방 영역의 영상을 뷰 변환하여 (b)와 같은 후측방 영역의 뷰 변환 영상을 생성한다.
여기서, 도 3의 (a)는 초광각의 영상, 예를 들어, 190° 초광각의 영상에서 검출된 후측방 영역의 영상을 더 좁은 각의 영상, 예를 들어, 60° 협각의 영상으로 뷰 변환하도록 한다.
이로써, (b)와 같은 후측방 영역의 뷰 변환 영상은 물체의 형상이 선명해지게 되며, 후측방 영역의 뷰 변환 영상으로부터 보다 정확한 물체의 위치를 검출할 수 있게 된다.
한편, 도 4는 사이드 카메라 영상에서 사이드 영역을 뷰 변환하는 동작을 나타낸 것이다. 도 4를 참조하면, 정보 제공 장치는 (a)와 같은 사이드 카메라 영상이 입력되면, 기 설정된 값에 따라 사이드 카메라 영상에서 지정된 사이드 영역을 검출한다. 이때, 정보 제공 장치는 검출된 사이드 영역의 영상을 뷰 변환하여 (b)와 같은 사이드 영역의 뷰 변환 영상을 생성한다.
여기서, 도 4의 (a)는 초광각의 영상, 예를 들어, 190° 초광각의 영상에서 검출된 사이드 영역의 영상을 더 좁은 각의 영상, 예를 들어, 60° 협각의 영상으로 뷰 변환하도록 한다.
이로써, (b)와 같은 사이드 영역의 뷰 변환 영상은 물체의 형상이 선명해지게 되며, 사이드 영역의 뷰 변환 영상으로부터 보다 정확한 물체의 위치를 검출할 수 있게 된다.
도 5는 본 발명에 따른 사각지대 정보 제공 장치의 특징점 추출 동작을 설명하는데 참조되는 예시도이다. 특히, 도 5의 (a)는 도 3에서 설명한 후측방 영역(C2)과 도 4에서 설명한 사이드 영역(C1)을 나타낸 것으로, 각 영역(C1, C2)의 영상에 대한 뷰 변환 영상은 (b) 및 (c)와 같다.
이때, 정보 제공 장치는 도 5의 (b) 및 (c)와 같은 뷰 변환 영상에서 사이드 영역 및 후측방 영역에 위치한 물체의 특징점을 추출하고, 추출된 특징점으로부터 차량 등을 검출한다.
상기와 같이 구성되는 본 발명에 따른 차량의 사각지대 정보 제공 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 6은 본 발명에 따른 차량의 사각지대 정보 제공 방법에 대한 동작 흐름을 도시한 순서도이다. 도 6을 참조하면, 본 발명에 따른 정보 제공 장치는, 차량의 측면에 구비된 카메라로부터 사이드 카메라 영상이 입력되면(S100), 입력된 사이드 카메라 영상 내에서 지정된 사이드 영역 및 후측방 영역을 검출한다(S120).
이때, 정보 제공 장치는 'S120' 과정에서 검출된 각 검출 영역의 영상을 뷰 변환하도록 한다(S130). 'S130' 과정에서 뷰 변환하는 동작에 대한 구체적인 설명은 도 3 및 도 4의 실시예를 참조하도록 한다.
한편, 정보 제공 장치는 'S130' 과정에서 생성된 각각의 뷰 변환영상, 즉, 사이드 영역에 대한 뷰 변환영상과 후측방 영역에 대한 뷰 변환영상으로부터 각각 특징점을 추출하고(S140), 'S140' 과정에서 추출된 특징점으로부터 사각지대의 물체, 예를 들어, 차량 또는 사람 등을 검출한다(S150).
여기서, 'S150' 과정은, 예를 들어, 차량에 대한 특징점이 사전에 정의되고, 'S140' 과정에서 추출된 특징점과 기 정의된 차량의 특징점을 비교하여 서로 일치하면 사각지대에 위치한 차량을 검출할 수 있게 된다.
이와 같이, 정보 제공 장치는 'S100' 내지 'S150' 과정을 통해 차량의 사이드 영역 및 후측방 영역, 특히 사각지대에 위치한 물체를 용이하게 검출할 수 있으며, 'S100' 내지 'S150' 과정은 별도의 동작 종료 명령이 입력되기 이전까지 반복해서 수행하도록 한다. 만일, 사각지대의 정보 제공 동작에 대한 동작 종료 명령이 입력되면(S160), 정보 제공 장치는 관련 동작을 종료하도록 한다.
이상과 같이 본 발명에 의한 차량의 사각지대 정보 제공 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 차량 11, 11a, 11b: 카메라
100: 사각지대 정보 제공 장치
120: 뷰 변환 영역 검출부 130: 뷰 변환부
131: 제1 뷰 변환부 135: 제2 뷰 변환부
140: 특징점 추출부 150: 검출부
C1: 사이드 영역 C2: 후측방 영역

Claims (14)

  1. 차량의 사각지대를 포함하는 영상을 촬영하는 사이드 카메라에 의해 촬영된 촬영 영상으로부터 기 정의된 사이드 영역 및 후측방 영역을 검출하는 뷰 변환 영역 검출부; 및
    상기 사이드 영역 및 상기 후측방 영역의 영상을 기 설정된 뷰 변환 파라미터에 따라 뷰 변환하여 상기 사이드 영역 및 상기 후측방 영역의 영상에 대응하는 뷰 변환 영상을 생성하는 뷰 변환부를 포함하고,
    상기 뷰 변환 파라미터는 상기 사이드 카메라에 대한 카메라 캘리브레이션을 통해 추출되는 것을 특징으로 하는 차량의 사각지대 정보 제공 장치.
  2. 청구항 1에 있어서,
    상기 뷰 변환부는,
    상기 뷰 변환 파라미터의 값이 룩업 테이블(Look up table)에 정의되어, 상기 룩업 테이블에 정의된 상기 뷰 변환 파라미터의 값에 따라 상기 사이드 영역 및 상기 후측방 영역의 영상을 각각 뷰 변환하는 것을 특징으로 하는 차량의 사각지대 정보 제공 장치.
  3. 청구항 1에 있어서,
    상기 사이드 카메라는 초광각 카메라이고,
    상기 뷰 변환부는 초광각의 촬영 영상을 촬영각 보다 더 좁은 각의 영상으로 뷰 변환하는 것을 특징으로 하는 차량의 사각지대 정보 제공 장치.
  4. 청구항 3에 있어서,
    상기 뷰 변환부는,
    상기 사이드 영역의 영상을 제1 뷰 변환 파라미터로 뷰 변환하여 제1 뷰 변환영상을 생성하는 제1 뷰 변환부; 및
    상기 후측방 영역의 영상을 제2 뷰 변환 파라미터로 뷰 변환하여 제2 뷰 변환영상을 생성하는 제2 뷰 변환부를 포함하는 것을 특징으로 하는 차량의 사각지대 정보 제공 장치.
  5. 청구항 1에 있어서,
    상기 뷰 변환 영상으로부터 특징점을 추출하는 특징점 추출부; 및
    상기 뷰 변환 영상으로부터 추출된 특징점에 근거하여 상기 사각지대의 물체를 검출하는 검출부를 더 포함하는 것을 특징으로 하는 차량의 사각지대 정보 제공 장치.
  6. 청구항 5에 있어서,
    상기 검출부는,
    상기 뷰 변환 영상으로부터 추출된 특징점과 기 저장된 차량의 특징점을 비교하여, 비교 결과에 따라 상기 사각지대에 위치한 차량을 검출하는 것을 특징으로 하는 사각지대 정보 제공 장치.
  7. 청구항 6에 있어서,
    상기 차량의 특징점은,
    상기 차량의 전면, 측면, 하단 및 바퀴의 형상과 상기 차량의 모션 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 사각지대 정보 제공 장치.
  8. 차량의 사각지대를 포함하는 영상을 촬영하는 사이드 카메라에 의해 촬영된 촬영 영상으로부터 기 정의된 사이드 영역 및 후측방 영역을 검출하는 단계; 및
    상기 사이드 영역 및 상기 후측방 영역의 영상을 기 설정된 뷰 변환 파라미터에 따라 뷰 변환하여 상기 사이드 영역 및 상기 후측방 영역의 영상에 대응하는 뷰 변환 영상을 생성하는 단계를 포함하고,
    상기 뷰 변환 파라미터는 상기 사이드 카메라에 대한 카메라 캘리브레이션을 통해 추출되는 것을 특징으로 하는 차량의 사각지대 정보 제공 방법.
  9. 청구항 8에 있어서,
    상기 뷰 변환 영상을 생성하는 단계는,
    상기 뷰 변환 파라미터의 값이 룩업 테이블(Look up table)에 정의되어, 상기 룩업 테이블에 정의된 상기 뷰 변환 파라미터의 값에 따라 상기 사이드 영역 및 상기 후측방 영역의 영상을 각각 뷰 변환하는 것을 특징으로 하는 차량의 사각지대 정보 제공 방법.
  10. 청구항 8에 있어서,
    상기 사이드 카메라는 광각 또는 초광각 카메라이고,
    상기 뷰 변환 영상을 생성하는 단계는, 초광각의 촬영 영상을 협각의 영상으로 뷰 변환하는 것을 특징으로 하는 차량의 사각지대 정보 제공 방법.
  11. 청구항 10에 있어서,
    상기 뷰 변환 영상을 생성하는 단계는,
    상기 사이드 영역의 영상을 제1 뷰 변환 파라미터로 뷰 변환하여 제1 뷰 변환영상을 생성하는 단계; 및
    상기 후측방 영역의 영상을 제2 뷰 변환 파라미터로 뷰 변환하여 제2 뷰 변환영상을 생성하는 단계를 포함하는 것을 특징으로 하는 차량의 사각지대 정보 제공 방법.
  12. 청구항 8에 있어서,
    상기 뷰 변환 영상으로부터 특징점을 추출하는 단계; 및
    상기 뷰 변환 영상으로부터 추출된 특징점에 근거하여 상기 사각지대의 물체를 검출하는 단계를 포함하는 것을 특징으로 하는 차량의 사각지대 정보 제공 방법.
  13. 청구항 12에 있어서,
    상기 사각지대의 물체를 검출하는 단계는,
    상기 뷰 변환 영상으로부터 추출된 특징점과 기 저장된 차량의 특징점을 비교하여, 비교 결과에 따라 상기 사각지대에 위치한 차량을 검출하는 것을 특징으로 하는 사각지대 정보 제공 방법.
  14. 청구항 13에 있어서,
    상기 차량의 특징점은,
    상기 차량의 전면, 측면, 하단 및 바퀴의 형상과 상기 차량의 모션 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 사각지대 정보 제공 방법.
KR1020120144896A 2012-12-12 2012-12-12 차량의 사각지대 정보 제공 장치 및 방법 KR101449160B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120144896A KR101449160B1 (ko) 2012-12-12 2012-12-12 차량의 사각지대 정보 제공 장치 및 방법
US13/858,530 US20140160289A1 (en) 2012-12-12 2013-04-08 Apparatus and method for providing information of blind spot
CN201310145318.4A CN103863190A (zh) 2012-12-12 2013-04-24 用于提供盲区的信息的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144896A KR101449160B1 (ko) 2012-12-12 2012-12-12 차량의 사각지대 정보 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140076415A KR20140076415A (ko) 2014-06-20
KR101449160B1 true KR101449160B1 (ko) 2014-10-08

Family

ID=50880550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144896A KR101449160B1 (ko) 2012-12-12 2012-12-12 차량의 사각지대 정보 제공 장치 및 방법

Country Status (3)

Country Link
US (1) US20140160289A1 (ko)
KR (1) KR101449160B1 (ko)
CN (1) CN103863190A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084470A (ko) 2018-12-27 2020-07-13 주식회사 아이에이 차량용 지능형 사이드 뷰 카메라 시스템
US10764510B2 (en) 2017-05-08 2020-09-01 Hyundai Motor Company Image conversion device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014109062A1 (de) * 2014-06-27 2015-12-31 Connaught Electronics Ltd. Verfahren zum Verfolgen eines sich einem Kraftfahrzeug nähernden Zielfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
KR102239014B1 (ko) * 2014-11-10 2021-04-13 현대모비스 주식회사 사각지대 경보 제어 시스템 및 방법
GB201608886D0 (en) * 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
KR20180060753A (ko) * 2016-11-29 2018-06-07 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
JP6954749B2 (ja) * 2017-03-03 2021-10-27 株式会社Ｓｏｋｅｎ 付着検知装置
KR102265796B1 (ko) * 2017-06-15 2021-06-17 한국전자통신연구원 사각지역 차량 추적 장치 및 그 방법
CN108764115B (zh) * 2018-05-24 2021-12-14 东北大学 一种卡车危险提醒方法
KR102044098B1 (ko) * 2018-05-30 2019-11-12 주식회사 와이즈오토모티브 Bsd 캘리브레이션 장치 및 방법
US10970878B2 (en) * 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311272A (ja) * 2005-04-28 2006-11-09 Denso Corp 車両用映像表示装置
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
US8694195B2 (en) * 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
WO2011070641A1 (ja) * 2009-12-07 2011-06-16 クラリオン株式会社 車両周辺監視システム
CN103237685B (zh) * 2010-12-30 2017-06-13 明智汽车公司 盲区显示装置及方法
CN102632839B (zh) * 2011-02-15 2015-04-01 香港生产力促进局 一种基于后视图像认知的车载盲区预警系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764510B2 (en) 2017-05-08 2020-09-01 Hyundai Motor Company Image conversion device
KR20200084470A (ko) 2018-12-27 2020-07-13 주식회사 아이에이 차량용 지능형 사이드 뷰 카메라 시스템

Also Published As

Publication number Publication date
KR20140076415A (ko) 2014-06-20
US20140160289A1 (en) 2014-06-12
CN103863190A (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
KR101449160B1 (ko) 차량의 사각지대 정보 제공 장치 및 방법
US9378553B2 (en) Stereo image processing device for vehicle
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP6614247B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US20150341629A1 (en) Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2008039491A (ja) ステレオ画像処理装置
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
JP2007172540A (ja) 移動体判定システム、移動体判定方法、及びコンピュータプログラム
WO2017104574A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6793608B2 (ja) ステレオ画像処理装置
WO2017094300A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6035620B2 (ja) 車載ステレオカメラシステム及びそのキャリブレーション方法
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
JP6516012B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6617150B2 (ja) 物体検出方法及び物体検出装置
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JPWO2017099199A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR20150101806A (ko) 그리드 패턴의 자동인식을 이용한 어라운드뷰 모니터링 시스템 및 방법
WO2011016257A1 (ja) 車両用距離算出装置
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP7278846B2 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
US20190139177A1 (en) Device for detecting road surface state

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 6