KR101371875B1 - 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치 - Google Patents

스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치 Download PDF

Info

Publication number
KR101371875B1
KR101371875B1 KR1020110125372A KR20110125372A KR101371875B1 KR 101371875 B1 KR101371875 B1 KR 101371875B1 KR 1020110125372 A KR1020110125372 A KR 1020110125372A KR 20110125372 A KR20110125372 A KR 20110125372A KR 101371875 B1 KR101371875 B1 KR 101371875B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
distance
detection
stereo vision
Prior art date
Application number
KR1020110125372A
Other languages
English (en)
Other versions
KR20130059190A (ko
Inventor
김기태
전재욱
진정동
이상준
뉴엔덩투이
뉴엔덕융
김동균
Original Assignee
현대자동차주식회사
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 성균관대학교산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020110125372A priority Critical patent/KR101371875B1/ko
Publication of KR20130059190A publication Critical patent/KR20130059190A/ko
Application granted granted Critical
Publication of KR101371875B1 publication Critical patent/KR101371875B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 스테레오 비전 시스템을 통해 취득한 거리영상(Depth Image) 정보와 컴퓨터 기반의 차량검출 기술에 의해 추출된 캐니 에지(Canny Edge) 영상을 바탕으로, 유효성 판단을 통해 상기 영상정보에서 검출된 차량후보 영역에 대해서 차량을 인식해내고 이를 근거로 차량간 거리를 산출하는 방법 및 그 장치에 관한 것이다.
본 발명에 따른 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출기술은 차량에 설치된 좌우 카메라에 의해 촬영된 영상신호로부터 교정된(Rectified) 좌측 영상과 거리 영상(Depth Image)을 검출해내고, 검출된 좌측 영상과 거리 영상을 근거로 에지 정보를 추출해낸 이후, 추출된 에지 정보를 근거로 차량 코너를 검출하고 차량 영역 확장과 그룹화 및 유효성 검사를 통해 영상정보로부터 차량 검출과 차간 거리를 산출해내도록 된 것을 특징으로 한다.
상기한 구성으로 된 본 발명에 의하면, 도로 및 조명변화와 같은 여러 예측 가능한 환경 변화에 대해서, 차량검출 및 차간 거리 추정이 효과적으로 수행될 수 있으며, 영상 면에 존재하는 차량의 수나 다양한 차량의 크기에 제약없이 차량 검출 및 거리 추정이 가능하게 된다.

Description

스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치{A VEHICLE DETECTION AND DISTANCE MEASUREMENT SYSTEM AND METHOD BETWEEN THE VEHICLES USING STEREO VISION}
본 발명은 차량검출과 차간거리 추정기술에 관한 것으로, 특히 스테레오 비전 시스템을 통해 취득한 거리영상(Depth Image) 정보와 컴퓨터 기반의 차량검출 기술에 의해 추출된 캐니 에지(Canny Edge) 영상을 바탕으로, 유효성 판단을 통해 상기 영상정보에서 검출된 차량후보 영역에 대해서 차량을 인식해내고 이를 근거로 차량간 거리를 산출하는 방법 및 그 장치에 관한 것이다.
차량검출 및 차간 거리 추정 기술은 도로상의 안전을 향상시키고, 사고의 발생을 줄이는데 도움을 주는 유용한 기술 중의 하나로 부각되어 왔으며, 최근까지 이와 관련한 많은 연구성과가 제시되어 왔다.
이 가운데 G. Toulminet의 방식(Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis - IEEE Transactions on Image Processing, 2006)은 도로상의 물체에 대해서, 오직 수직성분에 대해 3차원(3-Dimension) 에지(Edge)를 추출하는 방법을 제시하고 있고, 차량 후면을 검출하기 위해, 추출된 수직성분들을 이용하여 대칭연산(Symmetric Operator)을 적용하는 바, 이 연구에서는 신뢰성 있는 검출결과를 얻을 수는 있으나, 연산이 복잡하다는 단점이 있다.
한편, 종래의 기술 가운데 Y. Li의 방식(Vehicle detection based on the stereo concept of (axis, width, disparity) symmetry map, IEEE International Conference on Intelligent Transportation Systems, 2008)은 차량을 검출하기 위해 시메트릭 맵(Symmetric Map), 즉 축(Axis), 넓이(Width), 시차(Disparity)의 요소를 갖는 새로운 개념을 제시한다. 하지만, 이 연구 또한 연산이 복잡하고, 오직 근접한 하나의 차량만을 검출할 수 있다는 단점이 있다.
즉, 상기한 방식의 기술의 경우, 차량검출 및 차간 거리를 추정함에 있어서, 연산이 복잡하고, 차량에 대한 부분적인 검출이 이루어지며, 차량 검출의 수가 제한적이라는 단점들이 여전히 해결되지 못한 상태에 있었다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 스테레오 비전 시스템을 통해 취득한 거리영상(Depth Image) 정보와 컴퓨터 기반의 차량검출 기술에 의해 추출된 캐니 에지(Canny Edge) 영상을 바탕으로, 유효성 판단을 통해 상기 영상정보에서 검출된 차량후보 영역에 대해서 비교적 간단한 방법으로 차량을 인식해내고 이를 근거로 차량간 거리를 산출하는 방법 및 그 장치를 제공함에 그 목적이 있다.
상기 목적을 실현하기 위한 본 발명에 따른 스테레오 비전을 이용한 차량검출과 차간거리 산출 장치는 스테레오 비전을 이용한 차량검출 및 차간 거리 산출 장치에 있어서, 차량에 설치된 좌우 카메라에 의해 촬영된 영상신호로부터 교정된(Rectified) 좌측 영상과 거리 영상(Depth Image)을 검출해내는 스테레오 비전부와, 상기 스테레오 비전부의 출력신호를 근거로 에지 정보를 추출해내는 전처리부, 상기 전처리부에서 추출된 에지 정보를 근거로 차량 코너를 검출하고 차량 영역 확장과 그룹화 및 유효성 검사를 통해 영상정보로부터 차량 검출과 차간 거리를 산출하는 차량 검출 및 차간거리 산출부를 포함하여 구성된 것을 특징으로 한다.
본 발명에 따른 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 장치에 있어서, 상기 스테레오 비전부는 좌/우 카메라와 이 카메라에 의해 촬영된 영상신호로부터 교정된 좌측 영상과 거리 영상을 검출해내는 스테레오 비전 모듈을 구비하고, 상기 전처리부는 교정된 좌측 영상으로부터 멀티 스케일 영상을 생성하는 멀티 스케일 영상 모듈과, 멀티 스케일에 의해 생성된 영상을 히스토그램 평활화하는 히스토그램 평활화 모듈, 이 히스토그램 평활화 모듈에 의해 처리된 영상으로부터 캐니 에지를 검출하는 캐니 에지 검출 모듈로 구성되며, 상기 차량검출 및 차간 거리 산출부는 상기 에지 정보를 근거로 차량 코너를 검출하는 차량 코너 검출 모듈과, 검출된 차량영역을 약정된 로직에 따라 확장하는 차량 영역 확장 모듈, 선별된 차량영역을 그룹화하는 차량 영역 그룹화 모듈, 검출된 차량영역의 유효성을 검사하여 차량 영역을 최종 확정하는 유효성 검사 모듈, 및 처리된 영상정보로부터 차간 거리를 산출하는 차간 거리 산출 모듈로 구성된 것을 특징으로 한다.
본 발명에 있어서, 상기 전처리부 또는 상기 차량검출 및 차간 거리 산출부 가운데 적어도 어느 하나는 디지털 신호처리 프로세서(Digital Signal Processor)에 구현된 것을 특징으로 한다.
또한, 본 발명에 따른 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 방법은 스테레오 비전을 이용한 차량검출 및 차간 거리 산출 방법에 있어서, 차량에 설치된 좌우 카메라에 의해 촬영된 영상신호로부터 교정된(Rectified) 좌측 영상과 거리 영상(Depth Image)을 검출해내는 영상정보 검출단계와; 상기 영상정보 검출단계에서 검출된 좌측 영상과 거리 영상을 근거로 에지 정보를 추출해내는 영상 전처리 단계; 상기 영상 전처리 단계에서 추출된 에지 정보를 근거로 차량 코너를 검출하고 차량 영역 확장과 그룹화 및 유효성 검사를 통해 영상정보로부터 차량 검출과 차간 거리를 산출하는 차량 검출 및 차간거리 산출 단계를 포함하여 구성된 것을 특징으로 한다.
본 발명에 따른 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 방법에 있어서, 상기 차량 검출 및 차간 거리 산출단계는 차량 코너를 검출하는 차량 코너 검출단계와, 검출된 차량 코너로부터 차량영역을 확장하는 차량 영역 확장단계, 검출된 차량 영역을 그룹화하는 차량 영역 그룹화 단계, 검출된 차량 영역에 대한 유효성 검사를 실행하여 차량 영역을 최종 확정짓는 유효성 검사단계 및 검출된 거리 영상을 근거로 차간 거리를 산출해내는 차간 거리 산출단계를 포함하여 구성된 것을 특징으로 한다.
상기한 구성으로 된 본 발명에 의하면, 스테레오 비전 시스템을 통해 취득한 거리영상(Depth Image) 정보와 컴퓨터 기반의 차량검출 기술에 의해 추출된 캐니 에지(Canny Edge) 영상을 바탕으로, 비교적 간단한 방법으로 차량을 인식해내고 이를 근거로 차량간 거리를 산출할 수 있게 된다.
또한, 본 발명에 의하면, 도로 및 조명변화와 같은 여러 예측 가능한 환경 변화에 대해서, 차량검출 및 차간 거리 추정이 효과적으로 수행될 수 있으며, 영상 면에 존재하는 차량의 수나 다양한 차량의 크기에 제약없이 차량 검출 및 거리 추정이 가능하게 된다.
도 1은 본 발명의 1실시예에 따른 스테레오 비전을 이용한 차량검출과 차간거리 산출 장치의 주요 구성을 나타낸 블럭구성도.
도 2는 본 발명에 따른 멀티 스케일(Multi-scale)에 의해 취득된 영상을 예시한 도면.
도 3은 교정된 좌측 영상(300)에서 추출된 에지 영상을 히스토그램 평활화를 통해 처리한 과정을 설명하기 위한 도면.
도 4는 마스크를 이용한 차량의 코너 검출과정을 설명하기 위한 도면.
도 5는 차량의 코너 영역을 확장하는 과정을 설명하기 위한 도면.
도 6은 차량 영역 유효성 검사과정을 설명하기 위한 도면.
도 7은 차량의 코너 검출(700), 차량영역 확장(710), 중첩된 차량영역 그룹화(720), 차량 유효성 검사 과정의 단계별 진행상황을 예시한 도면.
도 8은 차량 검출 및 차간 거리 산출 결과를 예시한 도면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 설명한다.
도 1은 본 발명의 1실시예에 따른 스테레오 비전을 이용한 차량검출과 차간거리 산출 장치의 주요 구성을 나타낸 블럭구성도이다. 도 1에 도시된 바와 같이, 본 발명에 따른 장치는 크게 스테레오 비전부(100), 전처리부(110), 차량검출 및 차간거리 산출부(120)로 구성된다.
먼저, 차량에 설치된 두 대의 카메라(101, 102)는 외부의 피사체를 촬영하기 위한 것이다. 상기 두 대의 카메라(101, 102)에서 촬영되는 영상은 스테레오 비전 모듈(103)에 입력된다. 스테레오 비전 모듈(103)의 처리 결과, 교정(Rectified)된 좌측 영상(104)과 스테레오 매칭(Matching)으로부터 얻어진 거리영상(Depth Image)(105)이 산출된다.
이어, 스테레오 비전부(100)는 상기 교정된 좌측 영상(104)을 이용하여 멀티 스케일(Multi-scale) 영상(111)이 생성되어지고, 영상의 에지(Edge) 성분을 강화하기 위한 히스토그램 평활화(Histogram Equalization)(112) 작업을 수행하게 된다.
히스토그램 평활화 작업이 수행된 이후, 전처리부(110)는 캐니 에지(Canny Edge) 검출(113)기법을 적용하여, 영상정보로부터 피사체의 에지(Edge)를 검출하게 된다.
차량검출 및 차간거리 산출부(120)의 차량 코너 검출모듈(121)은 상기 교정된 좌측 영상 모듈(104)의 출력신호에서 차량의 코너를 검출하게 되고, 차량 영역 확장 모듈(122)은 상기 거리영상을 기반으로 기검출된 차량의 코너영역을 차량의 전체 영역으로 확장한다.
이어, 차량 영역 그룹화 모듈(123)은 중첩되어 있는 영역들을 결합하기 위한 구성으로서, 차량 영역 내에 존재하는 여러 영역들을 하나의 차량 영역으로 그룹화하게 된다.
차량 영역 유효성 검사 모듈(124)은 도로 주변의 건물, 정보표지판, 횡단보도 등과 같은 비 차량 영역을 영상정보에서 제거하는 구성이고, 차간 거리 산출 모듈(125)은 상술한 과정에 의해 확인된 차량 인식정보를 근거로 차량간 거리를 산출해내는 모듈이다.
이어, 상기한 구성으로 된 장치의 동작을 설명한다.
차량에 설치된 좌/우 카메라(101,102)에 의해 촬영된 영상신호는 스테레오 비전 모듈(103)에 입력된다. 스테레오 비전 모듈(103)은 미리 계산된 캘리브레이션(Calibration) 정보를 통해, 교정된 좌측 영상과 거리영상(Depth Image)을 획득하게 된다.
상기 교정된 좌측 영상은 차량을 검출하는데 이용되고, 상기 거리영상은 차간 거리를 산출하는데 이용되는데, 0～255 값의 범위를 갖는 그레이 레벨로 표현되게 된다.
즉, 가까운 거리일수록 밝은 색으로 표현되고, 먼 거리일수록 어두운 색으로 표현되는 것이다. 차간 거리와 거리영상과의 상관관계는 아래의 수학식 1과 같이 정의되고, 이 수식을 적용하여 차간 거리를 추정하게 된다.
Figure 112011094410161-pat00001
여기서, Z는 차간 거리(M), f는 카메라의 초점 길이(픽셀), d는 차간 거리(픽셀), b는 스테레오 카메라 사이의 거리(M)이다.
한편, 상기 스테레오 비전부(100)에서 생성된 거리영상과 교정된 좌측 영상은 전처리부(110)로 입력되게 되는 바, 전처리부(110)의 멀티 스케일(Multi-scale) 영상모듈은 상기 교정된 좌측 영상을 기반으로 하여, 이 보다 작은 크기의 영상들을 생성한다.
교정된 좌측 영상의 영상크기는 640x480 이며, 새롭게 생성되는 4개의 영상들은 각각 480x360, 360x270, 270x200, 200x150의 영상크기를 갖는다.
이 영상들은 서로 다른 거리에 있는 차량을 검출하는데 사용되는데, 이것은 고정된 마스크를 이용하여 차량의 코너를 검출하는데 소요되는 처리시간을 단축시키고, 차량검출에 대한 정확성을 증가시킨다.
고해상도의 영상일수록 먼 거리의 차량 검출에 사용되며, 저해상도의 영상일수록 가까운 거리의 차량을 검출하는데 이용된다. 도 2는 멀티 스케일한 영상의 예를 나타내고 있다. 480x360 크기를 갖는 영상(200)의 차량 검출 처리시간은 10 ms, 360x270 크기를 갖는 영상(210)의 차량 검출 처리시간은 5 ms, 270x200 크기를 갖는 영상(220)의 차량 검출 처리시간은 3 ms, 200x150 크기를 갖는 영상(230)의 차량 검출 처리시간은 2 ms로 영상 크기에 따라 차량의 코너 검출 처리시간이 다르게 적용된다.
히스토그램 평활화(Histogram Equalization) 모듈(112)에서 처리되는 영상정보의 평활화 작업은 캐니 에지(Canny Edge) 검출을 실행하기 전에 수행되는 공정으로서, 조명변화에 대해서 강인한 특성을 얻기 위해 처리되는 과정이다. 즉, 히스토그램 평활화 과정은 교정된 좌측 영상의 에지 성분을 강화하는데 사용된다.
캐니 에지 검출 모듈(113)은 교정된 좌측 영상에서 에지(Edge)를 검출하는데 적용된다.
도 3은 교정된 좌측 영상신호에서 추출된 에지 영상을 히스토그램 평활화한 것을 나타낸 것이다.
히스토그램 평활화하기 전의 에지 영상(310)에 비하여 히스토그램 평활화한 이후의 에지 영상(320)이 더 명확히 검출되는 실험결과를 보여준다.
상기한 과정에 의해 검출된 에지 영상은 차량검출 및 차간 거리 산출부(120) 내부의 차량 코너 검출 모듈(121)로 인가되게 된다.
한편, 차량이 갖는 코너 성분들은 차량이 아닌 물체들과의 구별성을 가지는 고유한 특징으로 고려된다. 따라서, 차량 코너 검출 모듈(121)은 차량을 검출하기 위해 차량의 코너 특징을 활용한다.
도 4에서 두 개의 정의된 마스크(Mask)(400,410)들은 차량의 코너를 검출하기 위해 사용되어 진다. 세부적인 코너 검출절차를 설명하면, 먼저 차량의 코너를 검출하기 위해 좌측 마스크(401)가 에지 영상의 전체를 스캔한다.
이때, 에지 영상에서 좌측 마스크(401)와 일치하는 에지 영역이 검출되면, 검출된 에지 영역이 차량의 코너가 맞는지 확인하기 위해, 같은 수평선상에 대해 우측 마스크(402)와 일치하는 에지 영역이 존재하는지 스캔하게 된다.
만약 일치하는 에지가 검출되면, 상단 마스크(400)의 조건이 모두 충족된 것이므로 차량의 코너가 검출된 것으로 처리된다. 그러나 만일 상단 마스크(400)의 조건이 충족되지 않을 경우에는 하단 마스크(410)의 좌측 및 우측 마스크(411,412)를 가지고 위와 같은 절차의 검사를 실행하여 차량의 코너를 검출하게 된다.
한편, 상기 마스크를 통한 스캔과정에서는 상기 에지 영상에서 상단 마스크(400)와 하단 마스크(410) 중 어느 하나라도 일치하게 되면, 차량의 코너가 검출된 것으로 처리되게 된다.
상술한 과정에 의해 코너가 획득되면, 차량의 코너 영역은 인근 영역 픽셀의 거리(Depth)값을 고려함으로써 좌측, 우측, 아래 방향으로 확장되어진다. 확장을 위한 인근 영역 픽셀들은 아래의 수학식 2의 조건을 만족해야 한다.
Figure 112011094410161-pat00002
여기서, Dv는 거리(Depth)값, Dn은 인근영역의 거리(Depth)값, ep는 거리(Depth) 오류(고정값: 8)이다.
도 5는 차량의 코너 영역을 확장하는 예를 보여준다. 확장은 좌측확장(520), 우측확장(530), 아래확장(540) 순으로 진행된다. 먼저 거리영상(510) 위에 기검출된 차량의 코너 영역(511)을 표시한다. 그런 다음 기검출된 코너 영역(511)의 모든 수직 픽셀들(521)에 대해 상기 수학식 1이 성립하는 지점까지 확장 가능영역(522)을 계산하고, 그 중 가장 먼 영역까지 계산된 지점을 기준으로 좌측확장(520)을 한다. 우측확장(530) 또한 좌측확장과 같은 방법으로 확장을 진행한다.
아래확장(540)은 기검출된 코너의 수평 픽셀들(541)에 대해 상기 수학식 1이 성립하는 지점까지 확장 가능영역(542)을 계산하고, 가장 먼 영역까지 계산된 지점을 기준으로 아래확장을 진행한다.
모든 차량확장이 완료된 후에는 교정된 좌측 영상(500)의 차량 영역(501)과 거리영상(550)의 차량 영역(551)의 크기가 유사한 것을 알 수 있다.
차량영역 그룹화 모듈(123)에서는 하나의 차량영역 안에 한 개 이상의 영역이 중첩으로 나타날 때, 검출된 영역들을 하나로 그룹화해서 차량검출 결과의 성능을 높이게 된다.
이 단계에서는 더 작거나 중첩된 영역들을 하나의 영역으로 그룹화하게 된다.
차량영역 유효성 검사 모듈(124)은 아래의 4가지 검사로 나뉘어 진행되게 되는데, 이 검사들 중에 하나라도 충족하지 못한 차량 후보 영역들은 제거되거나 변경되어 진다.
첫번째 검사는 차량 영역안의 에지 중에서 "U"모양 에지의 존재여부에 대한 검사이다. 도 6에 도시된 바와 같이, "U"자 모양의 마스크(601)가 검출된 차량 후보 영역(600)의 하단에 대해, 일치하는 에지 영역이 있는지 스캔한다.
여기서 마스크(601)의 양 끝단의 높이는 5픽셀, 폭은 3픽셀로 고정된다. 마스크(601)의 전체 폭은 검출된 차량 후보 영역의 폭과 일치되게 맞추어 진다.
도 6에서 이러한 예를 볼 수 있는데, 흰색영역이 에지를 나타내고, 검은색 영역이 논에지(Non-Edge)를 나타낸다. 이 검사에서 "U"자 모양의 마스크(601)와 일치하는 영역이 없으면 차량 후보 영역에서 제거된다.
두번째 검사는 차량 영역 안쪽의 에지 픽셀에 대한 밀도검사이다.
차량 영역 안쪽의 에지 픽셀에 대한 밀도검사는 아래의 수학식 3과 같이 적용된다.
Figure 112011094410161-pat00003
여기서 H는 차량의 높이, W는 차량의 폭, P(i,j)는 차량 후보 영역안에 존재하는 픽셀의 위치를 나타낸다. 그리고 임계값인 α는 0.05(5%)로 고정된다.
상기 수학식 3을 간략히 설명하면, 각각의 위치에 해당하는 픽셀에 대해 에지가 존재하면 1, 존재하지 않으면 0으로 대입된다. 그런 다음, 대입된 모든 픽셀 값들을 합한 값과 임계값 α와의 관계를 수학식 3과 같이 비교한다. 이 수학식을 만족하지 못하면 차량 후보 영역에서 제거된다.
세번째 검사는 차량의 폭과 차간 거리(Depth) 사이의 관계 검사이다.
Figure 112011094410161-pat00004
스테레오 비전에서의 차량 폭과 차간 거리(Depth) 사이의 관계는 상기 수학식 4와 같이 정의되고, 이때 Wm는 차량의 폭(M), Wp는 차량의 폭(픽셀), b는 스테레오 카메라 사이의 거리(M), d는 거리(Depth)(픽셀)를 의미한다. 이 수식을 만족하지 못하면 차량 후보 영역에서 제거된다.
마지막으로 네번째 검사는 차량의 폭과 높이를 기반으로 하는 기하학적 특징 검사이다.
Figure 112011094410161-pat00005
Figure 112011094410161-pat00006
차량의 기하학적 특징은 차량의 폭과 높이의 비율로 나타낼 수 있다. 차량의 폭과 높이를 기반으로 하는 기하학적 검사의 정의는 상기 수학식 5와 같으며, 여기서 H는 차량의 높이, W는 차량의 폭을 나타낸다.
만일 상기 수학식 5를 만족하지 못하는 경우에는 수학식 6이 적용된다. 이는 차량의 폭은 변화하지 않으며, 차량의 높이가 차량 폭의 비율에 맞추어 가감되는 것을 의미한다.
도 7은 기 설명된 차량의 코너 검출(700), 차량 영역 확장(710), 중첩된 차량영역 그룹화(720), 차량 유효성 검사후의 결과(730)에 대한 실제 실험 진행과정을 보여주고 있다. 최초의 코너 검출의 결과(700)에서는 차량영역(702; 범퍼와 후면 유리)과 비 차량영역(701,703; 횡단보도와 정보 표지판)들이 모두 검출되어 진다.
먼저, 거리영상을 기반으로 하는 차량의 영역확장(710) 단계에서, 각 검출되어진 차량 후보 영역들은 차량영역(711)에 맞추어 확장된다. 그런 다음 차량 영역 그룹화 단계(720)에서는 차량에 속해 있는 차량 후보 영역들을 하나의 영역(721)으로 그룹화 된 것을 볼 수 있다.
하지만 아직 많은 비 차량 영역들이 남아있는데, 이 비 차량 영역들은 기 설명한 유효성 검사 단계에서 제거된다. 영상정보(730)의 예에서 비 차량영역(731,732;횡단보도와 정보 표지판)이 제거된 것과, 차량영역(733)만 검출된 것이 확인된다.
차간 거리 산출 모듈(125)에서 거리영상은 검출된 차량들의 거리 정보를 담고 있는 스테레오 비전 모듈에 의해 산출된다. 차간 거리와 거리영상과의 상관관계는 스테레오 비전 모듈(103)에서 설명되었다. 도 8은 차량 검출 및 차간거리 산출 실험의 결과(800)를 나타내고 있는데, 실험 차량(801)과 승합차(802)가 정확한 추정거리로 산출된 것이 확인된다.
이상 설명한 바와 같이, 상기 실시예에 의하면 스테레오 비전 시스템을 통해 취득한 거리영상(Depth Image) 정보와 컴퓨터 기반의 차량검출 기술에 의해 추출된 캐니 에지(Canny Edge) 영상을 바탕으로, 비교적 간단한 방법으로 차량을 인식해내고 이를 근거로 차량간 거리를 산출할 수 있게 된다.
한편, 본 발명은 상기 실시예에 한정되지 않으며, 본 발명의 기술적 요지를 벗어나지 않는 범위내에서 다양하게 변형하여 실시할 수 있다.
100 : 스테레오 비전부 101 : 좌측 카메라
102 : 우측 카메라 103 : 스테레오 비전 모듈
104 : 교정 좌측 영상 모듈 105 : 거리영상 모듈
110 : 전처리부 111 : 멀티 스케일 영상 모듈
112 : 히스토그램 평활화 모듈 113 : 캐니 에지 검출 모듈
120 : 차량검출 및 차간거리 산출부 121 : 차량 코너 검출 모듈
122 : 차량 영역 확장 모듈 123 : 차량 영역 그룹화 모듈
124 : 차량 영역 유효성 검사 모듈 125 : 차간 거리 산출 모듈

Claims (5)

  1. 스테레오 비전을 이용한 차량검출 및 차간 거리 산출 장치에 있어서,
    차량에 설치된 좌우 카메라에 의해 촬영된 영상신호로부터 교정된(Rectified) 좌측 영상과 거리 영상(Depth Image)을 검출해내는 스테레오 비전부와,
    상기 스테레오 비전부의 출력신호를 근거로 에지 정보를 추출해내는 전처리부,
    상기 전처리부에서 추출된 에지 정보를 근거로 차량의 코너영역을 검출하고, 검출된 코너영역을 상기 거리 영상 위에 표시한 후 표시된 코너영역의 수직 픽셀과 수평 픽셀을 확장시켜 차량영역을 검출하여 상기 차량을 검출하고 차간 거리를 산출하는 차량 검출 및 차간거리 산출부를 포함하는 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 장치.
  2. 청구항 1에 있어서,
    상기 스테레오 비전부는 좌/우 카메라와 이 카메라에 의해 촬영된 영상신호로부터 교정된 좌측 영상과 거리 영상을 검출해내는 스테레오 비전 모듈을 구비하고,
    상기 전처리부는 교정된 좌측 영상으로부터 멀티 스케일 영상을 생성하는 멀티 스케일 영상 모듈과, 멀티 스케일에 의해 생성된 영상을 히스토그램 평활화하는 히스토그램 평활화 모듈, 이 히스토그램 평활화 모듈에 의해 처리된 영상으로부터 캐니 에지를 검출하는 캐니 에지 검출 모듈로 구성되며,
    상기 차량검출 및 차간 거리 산출부는 상기 에지 정보를 근거로 차량 코너를 검출하는 차량 코너 검출 모듈과, 검출된 차량영역을 약정된 로직에 따라 확장하는 차량 영역 확장 모듈, 선별된 차량영역을 그룹화하는 차량 영역 그룹화 모듈, 검출된 차량영역의 유효성을 검사하여 차량 영역을 최종 확정하는 유효성 검사 모듈, 및 처리된 영상정보로부터 차간 거리를 산출하는 차간 거리 산출 모듈로 구성된 것을 특징으로 하는 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 장치.
  3. 청구항 1에 있어서,
    상기 전처리부 또는 상기 차량검출 및 차간 거리 산출부 가운데 적어도 어느 하나는 디지털 신호처리 프로세서(Digital Signal Processor)에 구현된 것을 특징으로 하는 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 장치.
  4. 스테레오 비전을 이용한 차량검출 및 차간 거리 산출 방법에 있어서,
    차량에 설치된 좌우 카메라에 의해 촬영된 영상신호로부터 교정된(Rectified) 좌측 영상과 거리 영상(Depth Image)을 검출해내는 영상정보 검출단계와;
    상기 영상정보 검출단계에서 검출된 좌측 영상과 거리 영상을 근거로 에지 정보를 추출해내는 영상 전처리 단계;
    상기 영상 전처리 단계에서 추출된 에지 정보를 근거로 차량의 코너영역을 검출하고, 검출된 코너영역을 상기 거리 영상 위에 표시한 후 표시된 코너영역의 수직 픽셀과 수평 픽셀을 확장시켜 차량영역을 검출하여 상기 차량을 검출하고 차간 거리를 산출하는 차량 검출 및 차간거리 산출 단계를 포함하는 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 방법.
  5. 청구항 4에 있어서,
    상기 차량 검출 및 차간 거리 산출단계는 차량 코너를 검출하는 차량 코너 검출단계와, 검출된 차량 코너로부터 차량영역을 확장하는 차량 영역 확장단계, 검출된 차량 영역을 그룹화하는 차량 영역 그룹화 단계, 검출된 차량 영역에 대한 유효성 검사를 실행하여 차량 영역을 최종 확정짓는 유효성 검사단계 및 검출된 거리 영상을 근거로 차간 거리를 산출해내는 차간 거리 산출단계를 포함하여 구성된 것을 특징으로 하는 스테레오 비전을 이용한 차량 검출 및 차간 거리 산출 방법.
KR1020110125372A 2011-11-28 2011-11-28 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치 KR101371875B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110125372A KR101371875B1 (ko) 2011-11-28 2011-11-28 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110125372A KR101371875B1 (ko) 2011-11-28 2011-11-28 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20130059190A KR20130059190A (ko) 2013-06-05
KR101371875B1 true KR101371875B1 (ko) 2014-03-07

Family

ID=48858195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110125372A KR101371875B1 (ko) 2011-11-28 2011-11-28 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101371875B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646363B2 (en) 2014-02-28 2017-05-09 Kyungpook National University Industry-Academic Cooperation Foundation Image processing apparatus and method for detecting object using equi-height mosaicking image, and vehicle operation assisting system employing same
US10015595B2 (en) 2016-08-26 2018-07-03 Hyundai Motor Company Method and apparatus for controlling sound system included in at least one vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9404742B2 (en) * 2013-12-10 2016-08-02 GM Global Technology Operations LLC Distance determination system for a vehicle using holographic techniques

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021922A (ko) * 2006-01-26 2006-03-08 한민홍 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
KR20080004832A (ko) * 2006-07-06 2008-01-10 삼성전자주식회사 차량 검출 방법 및 장치
KR20090072523A (ko) * 2007-12-28 2009-07-02 재단법인대구경북과학기술원 거리 추정 장치 및 추정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021922A (ko) * 2006-01-26 2006-03-08 한민홍 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
KR20080004832A (ko) * 2006-07-06 2008-01-10 삼성전자주식회사 차량 검출 방법 및 장치
KR20090072523A (ko) * 2007-12-28 2009-07-02 재단법인대구경북과학기술원 거리 추정 장치 및 추정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646363B2 (en) 2014-02-28 2017-05-09 Kyungpook National University Industry-Academic Cooperation Foundation Image processing apparatus and method for detecting object using equi-height mosaicking image, and vehicle operation assisting system employing same
US10015595B2 (en) 2016-08-26 2018-07-03 Hyundai Motor Company Method and apparatus for controlling sound system included in at least one vehicle

Also Published As

Publication number Publication date
KR20130059190A (ko) 2013-06-05

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
KR102058001B1 (ko) 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법
JP4363295B2 (ja) ステレオ画像による平面推定方法
US20070127778A1 (en) Object detecting system and object detecting method
US20130128001A1 (en) Method and system for detecting object on a road
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
US10339396B2 (en) Vehicle accessibility determination device
US20150363668A1 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
JPWO2013129361A1 (ja) 立体物検出装置
KR101224027B1 (ko) 영상의 장면 정보를 이용한 전방 차량 검출 방법
WO2016059643A1 (en) System and method for pedestrian detection
JPH11351862A (ja) 前方車両検出方法及び装置
Kim et al. System and method for detecting potholes based on video data
KR101716973B1 (ko) 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
JPH11175880A (ja) 車輌高さ計測装置およびこの装置を用いた車輌監視システム
KR101371875B1 (ko) 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
Ryu et al. Feature-based pothole detection in two-dimensional images
KR101402089B1 (ko) 장애물 검출 장치 및 방법
JP2020095623A (ja) 画像処理装置および画像処理方法
JP5091897B2 (ja) 停止線検出装置
CN104299219A (zh) 物体检测方法和装置
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
JP5786793B2 (ja) 車両検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 7