KR101491305B1 - 장애물 검출 장치 및 방법 - Google Patents

장애물 검출 장치 및 방법 Download PDF

Info

Publication number
KR101491305B1
KR101491305B1 KR1020130101733A KR20130101733A KR101491305B1 KR 101491305 B1 KR101491305 B1 KR 101491305B1 KR 1020130101733 A KR1020130101733 A KR 1020130101733A KR 20130101733 A KR20130101733 A KR 20130101733A KR 101491305 B1 KR101491305 B1 KR 101491305B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
difference value
obstacle
unit
Prior art date
Application number
KR1020130101733A
Other languages
English (en)
Inventor
류성숙
최재섭
장유진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130101733A priority Critical patent/KR101491305B1/ko
Priority to US14/098,422 priority patent/US9418443B2/en
Priority to DE201310227099 priority patent/DE102013227099A1/de
Priority to CN201310741357.0A priority patent/CN104417454B/zh
Application granted granted Critical
Publication of KR101491305B1 publication Critical patent/KR101491305B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 장애물 검출 장치 및 방법에 관한 것으로, 본 발명에 따른 장애물 검출 장치는 연속하여 촬영된 영상들 중 서로 다른 시점의 제1 영상 및 제2 영상을 제공하는 카메라, 상기 카메라에 의해 제공된 두 영상 간 차이를 비교하여 차량의 이동거리 및 회전량을 산출하는 산출부, 상기 제2 영상을 기준으로 상기 제1 영상의 회전량을 보상하는 회전량 보상부, 상기 산출된 차량의 이동거리에 근거하여 상기 회전량이 보상된 제1 영상 및 상기 제2 영상 간 차이값을 계산하는 차이값 계산부, 및 기 설정된 기대치를 초과하는 차이값을 갖는 영역을 추출하여 장애물을 검출하는 장애물 검출부를 포함한다.

Description

장애물 검출 장치 및 방법{Apparatus and method for detecting obstacle}
본 발명은 장애물 검출 장치 및 방법에 관한 것으로, 특히 두 영상 간 차이값을 이용하여 장애물을 검출하는 기술에 관한 것이다.
일반적으로, 차량의 장애물 검출 기술은 차량에 구비된 초음파 센서를 이용한다. 하지만, 이러한 초음파 센서는 장착 위치 및 주변 환경에 따라 장애물을 오감지할 수 있다. 또한, 초음파 센서를 이용하여 장애물을 검출하는 경우, 지면의 요청 혹은 음원 교란으로 인해서도 장애물이 없는 곳에 장애물이 위치한 것으로 오감지하여 오경보를 발생할 수 있어, 장애물 검출에 따른 신뢰도가 저하된다.
더욱이, 초음파 센서를 이용하여 장애물을 검출하는 경우, 초음파 센서가 장착된 방향에 대해서만 장애물 검출이 가능하며, 차량의 전방향에 대해 장애물을 검출하기 위해서는 차량의 전방향에 각각 초음파 센서를 장착해야만 한다.
본 발명의 목적은, 시점이 서로 다른 탑 뷰(Top-view) 영상 간 차량 이동에 따른 차이값을 이용하여 바닥면을 구분하고, 차량 주변의 장애물을 검출하도록 하는 장애물 검출 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 장애물 검출 장치는, 연속하여 촬영된 영상들 중 서로 다른 시점의 제1 영상 및 제2 영상을 제공하는 카메라, 상기 카메라에 의해 제공된 두 영상 간 차이를 비교하여 차량의 이동거리 및 회전량을 산출하는 산출부, 상기 제2 영상을 기준으로 상기 제1 영상의 회전량을 보상하는 회전량 보상부, 상기 산출된 차량의 이동거리에 근거하여 상기 회전량이 보상된 제1 영상 및 상기 제2 영상 간 차이값을 계산하는 차이값 계산부, 및 기 설정된 기대치를 초과하는 차이값을 갖는 영역을 추출하여 장애물을 검출하는 장애물 검출부를 포함하는 것을 특징으로 한다.
상기 차이값 계산부는, 기준 이미지를 특정 픽셀 단위로 이동시켜 이동된 픽셀 단위별 각 블록에서의 평균값에 근거하여 픽셀 이동량에 따른 차이값 크기의 관계식을 결정하는 것을 특징으로 한다.
상기 차이값 계산부는, CAN 정보에 따른 차량의 이동거리를 영상 내 픽셀값으로 환산하여 픽셀 이동량을 계산하고, 상기 계산된 픽셀 이동량을 상기 결정된 관계식에 적용하여 차이값에 대한 기대치를 산정하는 것을 특징으로 한다.
또한, 본 발명에 따른 장애물 검출 장치는, 상기 제1 영상 및 상기 제2 영상으로부터 계산된 차이값과 상기 제1 영상 및 상기 제2 영상 간 속도장의 크기를 매핑하는 매핑부를 더 포함하는 것을 특징으로 한다.
상기 장애물 검출부는, 상기 매핑된 차이값 및 속도장의 크기로부터 동일한 속도를 갖고 차량의 움직임에 대응하는 차이값을 갖는 영역을 바닥면으로 구분하는 것을 특징으로 한다.
상기 산출부는, 상기 차량이 위치한 영역으로부터 기준치를 초과하는 속도장 영역까지의 영상 내 픽셀값을 단위 거리로 환산하여 상기 장애물까지의 거리를 산출하는 것을 특징으로 한다.
여기서, 상기 산출부는 상기 차량의 CAN 정보를 이용하여 상기 두 영상 간 차량의 이동거리 및 회전량을 산출하며, 상기 CAN 정보는 상기 차량의 휠 반지름, 휠 원주, 후륜의 톱니, 상기 두 영상 간 차이에 따른 휠 펄스값 및 조향값 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 제1 영상 및 제2 영상은, 탑 뷰(Top-View) 영상인 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 장애물 검출 방법은, 서로 다른 시점의 제1 영상 및 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 간 차이를 비교하여 차량의 이동거리 및 회전량을 산출하는 단계, 상기 제2 영상을 기준으로 상기 제1 영상의 회전량을 보상하는 단계, 상기 산출된 차량의 이동거리에 근거하여 회전량이 보상된 제1 영상 및 상기 제2 영상 간 차이값을 계산하는 단계, 상기 제1 영상 및 상기 제2 영상으로부터 계산된 차이값과 상기 제1 영상 및 상기 제2 영상 간 속도장의 크기를 매핑하는 단계, 및 상기 차이값 및 상기 속도장의 크기에 근거하여 기 설정된 기대치를 초과하는 차이값을 갖는 영역으로부터 장애물을 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 시점이 서로 다른 탑 뷰(Top-view) 영상 간 차량 이동에 따른 차이값을 이용하여 바닥면 및 차량 주변의 장애물을 검출함으로써 센서 오감지에 따른 바닥면 및 장애물 검출 오차를 최소화할 수 있으며, 차량의 전방향에 대해 인식할 수 있는 이점이 있다.
도 1은 본 발명에 따른 장애물 검출 장치의 구성을 도시한 블록도이다.
도 2 내지 도 10은 본 발명에 따른 장애물 검출 장치의 동작을 설명하는데 참조되는 예시도이다.
도 11은 본 발명에 따른 장애물 검출 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 장애물 검출 장치의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 장애물 검출 장치는 신호 처리부(110), 카메라(120), 출력부(130), 저장부(140), 산출부(150), 회전량 보상부(160), 차이값 계산부(170), 매핑부(180) 및 장애물 검출부(190)를 포함한다. 여기서, 신호 처리부(110)는 장애물 검출 장치의 각 부간의 신호 흐름을 제어한다.
카메라(120)는 차량에 배치되어 차량 주변의 영상을 촬영하는 수단으로서, 차량의전, 후, 좌, 우측에 배치된 카메라일 수 있다. 여기서, 카메라(120)는 차량 주변의 영상을 연속해서 촬영하며, 서로 다른 시점에 촬영된 제1 영상 및 제2 영상을 제공한다. 여기서, 제1 영상이 이전 시점에 촬영된 영상이고, 제2 영상이 제1 영상보다 이후 시점에 촬영된 영상인 것으로 한다. 이때, 제1 영상 및 제2 영상은 차량의 전, 후, 좌, 우측의 영상을 합성한 탑 뷰(Top-view) 영상으로서, 카메라(120)에 의해 촬영된 전, 후, 좌, 우측의 영상을 합성 및 뷰 변환하여 이용할 수 있다. 한편, 차량에 AVM 시스템이 구비된 경우에는 AVM 시스템으로부터 탑 뷰 영상을 제공받을 수도 있다.
출력부(130)는 장애물 검출 장치의 동작 상태 및 장애물 검출 결과를 출력하는 수단으로서, 차량에 구비된 모니터 및 내비게이션 화면 등과 같은 디스플레이수단일 수 있으며, 스피커 및 부저와 같은 음성출력수단일 수 있다.
저장부(140)는 장애물 검출 장치의 동작을 위한 설정값이 저장될 수 있으며, 카메라(120)로부터 획득한 영상이 저장될 수 있다.
산출부(150)는 제1 영상과 제2 영상을 비교하여, 제1 영상 및 제2 영상 간 차이에 따라 차량의 이동거리 및 회전량을 산출한다. 여기서, 산출부(150)는 차량의 CAN 정보를 이용하여 두 영상 간 차량의 이동거리 및 회전량을 산출할 수 있다. 다시 말해, 산출부(150)는 도 2에 도시된 바와 같이, 차량의 휠 반지름(R), 휠 원주(2ΠR), 후륜의 톱니 수(N) 및 두 영상 간 차량 이동에 따른 휠 펄스값(P)을 이용하여 차량의 이동거리(L)를 산출할 수 있다.
이때, CAN 정보를 이용하여 두 영상간 차량의 이동거리(L)는 아래 [수학식 1]을 참조하여 산출할 수 있다.
Figure 112013078072316-pat00001
또한, 산출부(150)는 두 영상 간 차량 이동에 따른 조향값을 이용하여 차량의 회전량을 산출할 수 있다.
한편, 산출부(150)는 영상 내에서 검출된 장애물에 대하여 차량으로부터 장애물까지의 거리를 산출할 수 있다. 이 경우, 산출부(150)는 차량이 위치한 영역으로부터 장애물이 검출된 영역까지의 영상 내 픽셀값을 각 픽셀의 단위 거리로 환산함으로써, 장애물까지의 거리를 산출하는 것이 가능하다.
회전량 보상부(160)는 산출부(150)에 의해 산출된 차량의 회전량을 이용하여 획득 영상의 회전량을 보상한다. 이때, 회전량 보상부(160)는 제2 영상을 기준으로 제1 영상의 회전량을 보상한다. 이에 대한 실시예는 도 3 및 도 4를 참조하여 보다 상세히 설명하도록 한다.
차이값 계산부(170)는 카메라(120)로부터 획득한 탑 뷰 영상의 기준 영상을 특정 픽셀 단위로 이동시켜 이동된 픽셀 단위별 각 블록에서의 평균값에 근거하여 픽셀 이동량에 따른 차이값 크기의 관계식을 결정한다. 이에 대한 실시예는 도 5 및 도 6을 참조하여 보다 상세히 설명하도록 한다.
이때, 차이값 계산부(170)는 제1 영상 및 제2 영상 간 차량의 이동거리를 영상 내 픽셀값으로 환산하여 픽셀 이동량을 계산하고, 계산된 픽셀 이동량을 앞서 결정된 관계식에 적용하여 차이값에 대한 기대치를 산정한다.
또한, 차이값 계산부(170)는 산출부(150)에 의해 산출된 제1 영상 및 제2 영상 간 차량의 이동거리에 근거하여, 회전량 보상부(160)에 의해 회전량이 보상된 제1 영상 및 제2 영상 간 차이값을 계산한다. 여기서, 회전량이 보상된 제1 영상 및 제2 영상 간 차이값은 옵티컬 플로우(optical flow)의 크기가 될 수 있으나 이에 한정되는 것은 아니다. 다만, 이하의 실시예에서는 회전량이 보상된 제1 영상 및 제2 영상 간 차이값이 옵티컬 플로우의 크기인 것으로 가정하여 설명하도록 한다.
매핑부(180)는 제1 영상 및 상기 제2 영상으로부터 계산된 차이값과 제1 영상 및 상기 제2 영상 간 속도장의 크기를 매핑한다. 이때, 장애물 검출부(190)는 계산된 차이값과 속도장의 크기가 매핑된 영상으로부터 장애물 영역을 검출할 수 있다.
다시 말해, 장애물 검출부(190)는 매핑된 차이값 및 속도장의 크기로부터 동일한 속도를 갖고 차량의 움직임에 대응하는 차이값을 갖는 영역을 바닥면으로 구분한다. 또한, 장애물 검출부(190)는 제1 영상 및 제2 영상의 차이에 의해 계산된 차이값이 기 설정된 기대치를 초과하는 영역을 추출하고, 해당 영역을 장애물이 존재하는 영역으로 인식한다. 또한, 장애물 검출부(190)는 속도장의 크기가 기준치를 초과하는 속도장 영역을 장애물이 존재하는 영역으로 인식한다.
따라서, 장애물 검출부(190)는 장애물이 존재하는 영역을 장애물로 검출하고, 장애물 검출 결과가 출력부(130)를 통해 출력되도록 한다. 이때, 산출부(150)는 차량이 위치한 영역으로부터 기준치를 초과하는 속도장 영역까지의 영상 내 픽셀값을 단위 거리로 환산하여 장애물까지의 거리를 산출할 수 있다. 이때 산출된 장애물까지의 거리 정보도 출력부(130)를 통해 출력되게 된다.
도 2 내지 도 10은 본 발명에 따른 장애물 검출 장치의 동작을 설명하는데 참조되는 예시도이다.
도 2는 후륜의 일 실시예를 나타낸 것으로서, 차량의 휠 반지름(R)이 0.33436m이고, 후륜의 톱니 수(N)가 47개라고 가정하면, 상술한 [수학식 1]에 의해 L≒0.045P가 된다. 여기에, CAN 정보로부터 획득한 두 영상 간 차량 이동에 따른 휠 펄스값(P)을 대입하면 L을 쉽게 산출할 수 있다.
도 3의 (a)는 제1 영상의 원본 영상을 나타낸 것이고, (b)는 제2 영상의 원본 영상을 나타낸 것이다. 한편, 도 4의 (a)는 회전량이 보상된 제1 영상을 나타낸 것이고, (b)는 제2 영상의 원본 영상을 나타낸 것이다.
도 3에서와 같이, 차량이 회전 이동한 경우 제1 영상과 제2 영상에서 자차를 제외한 나머지 영역에 모두 차이가 발생하기 때문에 차이값에도 영상을 미치게 된다. 따라서, 도 3과 같이 제1 영상의 회전량을 보상하지 않은 채 두 영상 간 차량 이동에 따른 차이값을 계산하면 실제 차량의 이동량에 비해 오차가 크게 발생할 수 있다.
반면, 도 4에서와 같이 차량이 회전 이동한 경우, 제2 영상의 주변 영역을 기준으로 제1 영상의 회전량을 보상하면, 자차 주변의 고정된 장애물 또는 바닥면 등의 위치가 두 영상 간에 서로 일치하기 때문에 도 3에 비해 차량 이동에 따른 차이값을 정확하게 계산할 수 있다.
도 5는 픽셀 이동량에 따른 차이값을 나타낸 것이고, 도 6은 도 5로부터 픽셀 이동량에 따른 차이값의 관계 그래프를 나타낸 것이다.
본 발명에 따른 장애물 검출 장치는 기준 영상을 특정 픽셀 단위로 이동시켜 이동된 픽셀 단위별 각 블록에서의 평균값에 근거하여 픽셀 이동량에 따른 차이값 크기를 계산하게 된다.
이때, 도 5는 기준 영상을 5px 단위로 이동시킨 영상을 나타낸 것이다.
먼저, 도 5의 (a)는 기준 영상을 5px 이동시킨 것으로서, 이때 차이값은 Vxi=4.6928이 된다. 도 5의 (b)는 기준 영상을 10px 이동시킨 것으로서, 이때 차이값은 Vxi=8.9629가 된다. 도 5의 (c)는 기준 영상을 15px 이동시킨 것으로서, 이때 차이값은 Vxi=13.6205가 된다. 도 5의 (d)는 기준 영상을 20px 이동시킨 것으로서, 이때 차이값은 Vxi=18.0932가 된다. 도 5의 (e)는 기준 영상을 25px 이동시킨 것으로서, 이때 차이값은 Vxi=22.8412가 된다.
도 5의 (a) 내지 (e)에서의 픽셀 이동량과 차이값을 그래프로 나타내면 도 6과 같다. 도 6에서와 같이, 픽셀 이동량과 차이값이 선형 그래프로 나타나게 되고, 이를 통해 픽셀 이동량과 차이값의 관계식을 결정할 수 있다. 따라서, 장애물 검출 장치는 CAN 정보에 따른 차량의 이동거리를 영상 내 픽셀값으로 환산하여 픽셀 이동량을 계산하고, 계산된 픽셀 이동량을 결정된 관계식에 적용하여 차이값에 대한 기대치를 산정할 수 있다.
도 7 내지 도 10은 차량 주변에서 획득한 두 영상 간 차량 이동에 따른 차이값과 속도장을 나타낸 것이다.
도 7 내지 도 10의 각 (a)는 차량 이동에 따른 두 영상 간 차이값을 나타낸 것으로서, 장애물이 위치한 영역의 차이값이 장애물이 없는 영역의 차이값 보다 큰 것을 확인할 수 있다.
또한, 도 7 내지 도 10의 각 (b)는 차량 이동에 따른 두 영상 간 속도장의 크기를 나타낸 것으로서, 차이값과 마찬가지로, 장애물이 위치한 영역의 속도장의 크기가 장애물이 없는 영역의 속도장의 크기 보다 큰 것을 확인할 수 있다.
상기와 같이 구성되는 본 발명에 따른 장애물 검출 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 11은 본 발명에 따른 장애물 검출 방법에 대한 동작 흐름을 도시한 순서도이다. 도 11에 도시된 바와 같이, 본 발명에 따른 장애물 검출 장치는 서로 다른 시점의 제1 영상 및 제2 영상을 획득하고(S100), 'S100' 과정에서 획득한 두 영상 간 차량 이동거리 및 회전량을 산출하여(S110), 'S110' 과정에서 산출된 회전량에 따라 제2 영상을 기준으로 제1 영상의 회전량을 보상한다(S120).
이때, 장애물 검출 장치는 사전에 결정된 픽셀 이동량과 차이값에 따른 관계식을 이용하여 해당 영상에서의 차량 이동거리에 따른 차이값의 기대값을 산정하고(S130), 'S100' 과정에서 획득한 두 영상 간 차이에 따라 차이값을 계산한다(S140).
이때, 'S140' 과정에서 계산된 차이값과 'S130' 과정에서 산정된 기대값을 비교하여, 계산된 차이값이 기대값을 초과하는 영역을 추출하고(S150). 'S150' 과정에서 추출된 영역으로부터 장애물을 검출한다(S160). 장애물 검출 장치는 'S160' 과정에서의 장애물 검출 결과를 사용자가 확인할 수 있도록 출력수단을 통해 출력하도록 한다(S170).
이상과 같이 본 발명에 의한 장애물 검출 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
110: 신호 처리부 120: 카메라
130: 출력부 140; 저장부
150: 산출부 160: 회전량 보상부
170: 차이값 계산부 180: 매핑부
190: 장애물 검출부

Claims (9)

  1. 연속하여 촬영된 영상들 중 서로 다른 시점의 제1 영상 및 제2 영상을 제공하는 카메라;
    상기 카메라에 의해 제공된 두 영상에서 차량의 이동거리 및 회전량을 산출하는 산출부;
    상기 제2 영상을 기준으로 상기 제1 영상의 회전량을 보상하는 회전량 보상부;
    상기 산출된 차량의 이동거리에 근거하여 상기 회전량이 보상된 제1 영상 및 상기 제2 영상 간 상기 차량의 이동에 따른 차이값을 계산하는 차이값 계산부; 및
    상기 회전량이 보상된 제1 영상 및 상기 제2 영상 간에 기 설정된 기대치를 초과하는 차이값을 갖는 영역을 추출하여 장애물을 검출하는 장애물 검출부를 포함하는 것을 특징으로 하는 장애물 검출 장치.
  2. 청구항 1에 있어서,
    상기 차이값 계산부는,
    기준 이미지를 특정 픽셀 단위로 이동시켜 이동된 픽셀 단위별 각 블록에서의 평균값에 근거하여 픽셀 이동량에 따른 차이값의 관계식을 결정하는 것을 특징으로 하는 장애물 검출 장치.
  3. 청구항 2에 있어서,
    상기 차이값 계산부는,
    CAN 정보에 따른 차량의 이동거리를 영상 내 픽셀값으로 환산하여 픽셀 이동량을 계산하고, 상기 계산된 픽셀 이동량을 상기 결정된 관계식에 적용하여 상기 차이값에 대한 기대치를 산정하는 것을 특징으로 하는 장애물 검출 장치.
  4. 삭제
  5. 삭제
  6. 청구항 3에 있어서,
    상기 산출부는,
    상기 차량이 위치한 영역으로부터 기대치를 초과하는 속도장 영역까지의 영상 내 픽셀값을 단위 거리로 환산하여 상기 장애물까지의 거리를 산출하는 것을 특징으로 하는 장애물 검출 장치.
  7. 청구항 1에 있어서,
    상기 산출부는, 상기 차량의 CAN 정보를 이용하여 상기 두 영상 간 차량의 이동거리 및 회전량을 산출하며,
    상기 CAN 정보는, 상기 차량의 휠 반지름, 휠 원주, 후륜의 톱니 수, 상기 두 영상 간 차량 이동에 따른 휠 펄스값 및 조향값 중 적어도 하나를 포함하는 것을 특징으로 하는 장애물 검출 장치.
  8. 청구항 1에 있어서,
    상기 제1 영상 및 제2 영상은,
    탑 뷰(Top-View) 영상인 것을 특징으로 하는 장애물 검출 장치.
  9. 서로 다른 시점의 제1 영상 및 제2 영상을 획득하는 단계;
    상기 제1 영상 및 상기 제2 영상에서 차량의 이동거리 및 회전량을 산출하는 단계;
    상기 제2 영상을 기준으로 상기 제1 영상의 회전량을 보상하는 단계;
    상기 산출된 차량의 이동거리에 근거하여 회전량이 보상된 제1 영상 및 상기 제2 영상 간 상기 차량의 이동에 따른 차이값을 계산하는 단계;
    상기 차량의 이동에 따른 차이값에 근거하여 기 설정된 기대치를 초과하는 차이값을 갖는 영역으로부터 장애물을 검출하는 단계를 포함하는 것을 특징으로 하는 장애물 검출 방법.
KR1020130101733A 2013-08-27 2013-08-27 장애물 검출 장치 및 방법 KR101491305B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130101733A KR101491305B1 (ko) 2013-08-27 2013-08-27 장애물 검출 장치 및 방법
US14/098,422 US9418443B2 (en) 2013-08-27 2013-12-05 Apparatus and method for detecting obstacle
DE201310227099 DE102013227099A1 (de) 2013-08-27 2013-12-23 Vorrichtung und Verfahren zum Detektieren eines Hindernisses
CN201310741357.0A CN104417454B (zh) 2013-08-27 2013-12-27 用于检测障碍物的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130101733A KR101491305B1 (ko) 2013-08-27 2013-08-27 장애물 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101491305B1 true KR101491305B1 (ko) 2015-02-06

Family

ID=52470507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130101733A KR101491305B1 (ko) 2013-08-27 2013-08-27 장애물 검출 장치 및 방법

Country Status (4)

Country Link
US (1) US9418443B2 (ko)
KR (1) KR101491305B1 (ko)
CN (1) CN104417454B (ko)
DE (1) DE102013227099A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101825687B1 (ko) * 2015-04-24 2018-02-05 한국전자통신연구원 차영상을 이용한 장애물 검출장치 및 그 방법
US10019805B1 (en) * 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
KR101866075B1 (ko) * 2016-10-20 2018-06-08 현대자동차주식회사 차선 추정 장치 및 방법
WO2019202627A1 (ja) * 2018-04-16 2019-10-24 三菱電機株式会社 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法
CN109050391B (zh) * 2018-07-26 2020-06-05 北京经纬恒润科技有限公司 一种远光灯控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030087960A (ko) * 2002-05-09 2003-11-15 마츠시타 덴끼 산교 가부시키가이샤 감시장치, 감시방법 및 감시용 프로그램
JP2004237983A (ja) * 2004-05-10 2004-08-26 Honda Motor Co Ltd 車両の操舵力補正装置
JP2010239190A (ja) * 2009-03-30 2010-10-21 Aisin Seiki Co Ltd 障害物検出装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3250083B2 (ja) 1992-12-07 2002-01-28 富士通株式会社 オプティカルフロー算出方式
JP3543912B2 (ja) 1997-09-08 2004-07-21 矢崎総業株式会社 オプティカルフロー検出方法
JP4425495B2 (ja) * 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
JP3739693B2 (ja) * 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
US7248718B2 (en) * 2004-02-19 2007-07-24 Siemens Corporate Research, Inc. System and method for detecting a passing vehicle from dynamic background using robust information fusion
US7190282B2 (en) * 2004-03-26 2007-03-13 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Nose-view monitoring apparatus
KR100630088B1 (ko) 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
DE102007022524A1 (de) * 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
JP4776587B2 (ja) * 2007-06-13 2011-09-21 国立大学法人北海道大学 画像処理装置，運転支援装置
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
WO2013038818A1 (ja) * 2011-09-12 2013-03-21 日産自動車株式会社 立体物検出装置
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
US10071687B2 (en) * 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US8977007B1 (en) * 2013-04-23 2015-03-10 Google Inc. Detecting a vehicle signal through image differencing and filtering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030087960A (ko) * 2002-05-09 2003-11-15 마츠시타 덴끼 산교 가부시키가이샤 감시장치, 감시방법 및 감시용 프로그램
JP2004237983A (ja) * 2004-05-10 2004-08-26 Honda Motor Co Ltd 車両の操舵力補正装置
JP2010239190A (ja) * 2009-03-30 2010-10-21 Aisin Seiki Co Ltd 障害物検出装置

Also Published As

Publication number Publication date
US20150063630A1 (en) 2015-03-05
DE102013227099A1 (de) 2015-03-05
CN104417454A (zh) 2015-03-18
CN104417454B (zh) 2018-05-15
US9418443B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
JP4876118B2 (ja) 立体物出現検知装置
US9547795B2 (en) Image processing method for detecting objects using relative motion
US20160104047A1 (en) Image recognition system for a vehicle and corresponding method
KR101491305B1 (ko) 장애물 검출 장치 및 방법
KR101439052B1 (ko) 장애물 검출 장치 및 방법
JP5353455B2 (ja) 周辺監視装置
JP2017096777A (ja) ステレオカメラ装置
JP6171593B2 (ja) 視差図からの対象追跡方法及びシステム
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
KR20180041524A (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
WO2019202628A1 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP2009014445A (ja) 測距装置
US20130182896A1 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
JP2013137767A (ja) 障害物検出方法及び運転者支援システム
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP3961584B2 (ja) 区画線検出装置
JP5056861B2 (ja) 測距装置
JP2015179066A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2007280387A (ja) 物体移動の検出方法及び検出装置
KR20180041525A (ko) 차량의 물체 트래킹 시스템 및 그 제어 방법
JP4997604B2 (ja) 個人用移動車両運転支援装置
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치
KR102189502B1 (ko) 객체 추적 장치 및 객체 추적 방법
KR20070070671A (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
JP7064400B2 (ja) 物体検知装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 5