KR101439052B1 - 장애물 검출 장치 및 방법 - Google Patents

장애물 검출 장치 및 방법 Download PDF

Info

Publication number
KR101439052B1
KR101439052B1 KR1020130106719A KR20130106719A KR101439052B1 KR 101439052 B1 KR101439052 B1 KR 101439052B1 KR 1020130106719 A KR1020130106719 A KR 1020130106719A KR 20130106719 A KR20130106719 A KR 20130106719A KR 101439052 B1 KR101439052 B1 KR 101439052B1
Authority
KR
South Korea
Prior art keywords
image
difference
images
obstacle
area
Prior art date
Application number
KR1020130106719A
Other languages
English (en)
Inventor
류성숙
최재섭
장유진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130106719A priority Critical patent/KR101439052B1/ko
Priority to US14/099,157 priority patent/US9183449B2/en
Priority to CN201310718788.5A priority patent/CN104424477B/zh
Application granted granted Critical
Publication of KR101439052B1 publication Critical patent/KR101439052B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 장애물 검출 장치 및 방법에 관한 것으로, 본 발명에 따른 장애물 검출 장치는, 서로 다른 시점의 제1 영상 및 제2 영상 간 차량의 이동거리에 근거하여 상기 제1 영상을 기준으로 상기 제2 영상의 위치를 보상하는 위치 보상부, 상기 제1 영상과 상기 제2 영상 간, 상기 제1 영상과 위치 보상된 제2 영상 간 차이에 따라 차영상을 각각 생성하는 차영상 생성부, 각 차영상의 차이값에 따라 상기 차영상을 각각 이진화하고, 이진화된 두 차영상 간 서로 대응하는 픽셀의 비트값에 근거하여 두 차영상에 대한 합성 영상을 생성하는 연산부, 및 상기 합성 영상에서 비트값이 검출된 영역에 대응하는 픽셀을 선택하여 장애물을 검출하는 장애물 검출부를 포함한다.

Description

장애물 검출 장치 및 방법{Apparatus and method for detecting obstacle}
본 발명은 장애물 검출 장치 및 방법에 관한 것으로, 특히 두 영상 간 차이를 이용하여 장애물을 검출하는 기술에 관한 것이다.
일반적으로, 차량의 장애물 검출 기술은 차량에 구비된 초음파 센서를 이용한다. 하지만, 이러한 초음파 센서는 장착 위치 및 주변 환경에 따라 장애물을 오감지할 수 있다. 또한, 초음파 센서를 이용하여 장애물을 검출하는 경우, 지면의 요청 혹은 음원 교란으로 인해서도 장애물이 없는 곳에 장애물이 위치한 것으로 오감지하여 오경보를 발생할 수 있어, 장애물 검출에 따른 신뢰도가 저하된다.
더욱이, 초음파 센서를 이용하여 장애물을 검출하는 경우, 초음파 센서가 장착된 방향에 대해서만 장애물 검출이 가능하며, 차량의 전방향에 대해 장애물을 검출하기 위해서는 차량의 전방향에 각각 초음파 센서를 장착해야만 한다.
본 발명의 목적은, 시점이 서로 다른 탑 뷰(Top-view) 영상 간 차량 이동에 따른 차이를 이용하여 그림자영역을 제거하고, 그림자가 제거된 상태에서 차량 주변의 장애물을 검출하도록 하는 장애물 검출 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 장애물 검출 장치는, 서로 다른 시점의 제1 영상 및 제2 영상 간 차량의 이동거리에 근거하여 상기 제1 영상을 기준으로 상기 제2 영상의 위치를 보상하는 위치 보상부, 상기 제1 영상과 상기 제2 영상 간, 상기 제1 영상과 위치 보상된 제2 영상 간 차이에 따라 차영상을 각각 생성하는 차영상 생성부, 각 차영상의 차이값에 따라 상기 차영상을 각각 이진화하고, 이진화된 두 차영상 간 서로 대응하는 픽셀의 비트값에 근거하여 두 차영상에 대한 합성 영상을 생성하는 연산부, 및 상기 합성 영상에서 비트값이 검출된 영역에 대응하는 픽셀을 선택하여 장애물을 검출하는 장애물 검출부를 포함하는 것을 특징으로 한다.
상기 차영상 생성부는, 상기 제1 영상 및 상기 제2 영상 간 차이에 따라 제1 차영상을 생성하고, 상기 제1 영상 및 상기 위치 보상된 제2 영상 간 차이에 따라 제2 차영상을 생성하는 것을 특징으로 한다.
또한, 본 발명에 따른 장애물 검출 장치는, 상기 제1 차영상 및 상기 제2 차영상에 대응하는 차분 맵을 각각 생성하는 차분 맵 생성부를 더 포함하는 것을 특징으로 한다.
상기 연산부는, 상기 제1 차영상 및 상기 제2 차영상에 대응하는 차분 맵에서 각 영역의 차분값에 따라 상기 제1 차영상 및 상기 제2 차영상을 각각 이진화하는 것을 특징으로 한다.
상기 연산부는, 상기 연산부는, 상기 제1 차영상 및 상기 제2 차영상에 대응하는 차분 맵에서 기준치를 초과하는 차분값을 갖는 영역의 픽셀을 1(bit), 기준치 이하의 차분값을 갖는 영역의 픽셀을 0(bit)으로 이진화하는 것을 특징으로 한다.
상기 연산부는, 상기 제1 차영상 및 제2 차영상의 이진화 영상에서 서로 대응하는 두 픽셀의 비트값에 대해 AND 연산을 수행하여 상기 이진화 영상에 대한 합성 영상을 생성하는 것을 특징으로 한다.
상기 장애물 검출부는, 상기 합성 영상에서 비트값이 1인 영역을 추출하고, 상기 제1 차영상 또는 상기 제2 차영상의 차분 맵에서 상기 추출된 영역에 대응하는 픽셀을 선택하여 장애물을 검출하는 것을 특징으로 한다.
상기 장애물 검출부는, 상기 제1 차영상 또는 상기 제2 차영상의 차분 맵에서 선택된 픽셀의 주변 m x n 영역을 선택하고 선택된 영역으로부터 장애물을 검출하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 장애물 검출 방법은, 서로 다른 시점의 제1 영상 및 제2 영상 간 차량의 이동거리에 근거하여 상기 제1 영상을 기준으로 상기 제2 영상의 위치를 보상하는 단계, 상기 제1 영상 및 상기 제2 영상 간 차이에 따라 제1 차영상을 생성하고, 상기 제1 영상 및 상기 위치 보상된 제2 영상 간 차이에 따라 제2 차영상을 생성하는 단계, 상기 제1 차영상 및 상기 제2 차영상 각각에 대한 차분 맵을 생성하는 단계, 상기 차분 맵의 차분값에 대응하는 비트값을 상기 제1 차영상 및 상기 제2 차영상의 각 픽셀에 적용하는 단계, 상기 비트값이 적용된 제1 차영상 및 제2 차영상에서 서로 대응하는 두 픽셀의 비트값에 대해 AND 연산을 수행하여 상기 제1 차영상 및 상기 제2 차영상의 합성 영상을 생성하는 단계, 및 상기 합성 영상에서 비트값이 1인 영역을 추출하고, 상기 제1 차영상 또는 상기 제2 차영상의 차분 맵에서 상기 추출된 영역에 대응하는 픽셀을 선택하여 장애물을 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 시점이 서로 다른 탑 뷰(Top-view) 영상 간 차량 이동에 따른 차이를 이용하여 그림자영역을 제거하고, 그림자가 제거된 상태에서 차량 주변의 장애물을 검출함으로써 그림자에 의한 장애물 오감지를 해소할 수 잇으며, 차량의 전방향에 대해 인식할 수 있는 이점이 있다.
도 1은 본 발명에 따른 장애물 검출 장치의 구성을 도시한 블록도이다.
도 2 내지 도 7은 본 발명에 따른 장애물 검출 장치의 동작을 설명하는데 참조되는 예시도이다.
도 8은 본 발명에 따른 장애물 검출 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 장애물 검출 장치의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 장애물 검출 장치는 신호 처리부(110), 카메라(120), 출력부(130), 저장부(140), 위치 보상부(150), 차영상 생성부(160), 차분 맵 생성부(170), 연산부(180) 및 장애물 검출부(190)를 포함한다. 여기서, 신호 처리부(110)는 장애물 검출 장치의 각 부간의 신호 흐름을 제어한다.
카메라(120)는 차량에 배치되어 차량 주변의 영상을 촬영하는 수단으로서, 차량의 전, 후, 좌, 우측에 배치된 카메라일 수 있다. 여기서, 카메라(120)는 차량 주변의 영상을 연속해서 촬영하며, 서로 다른 시점에 촬영된 제1 영상 및 제2 영상을 제공한다. 여기서, 제1 영상이 현재 시점에 촬영된 영상이고, 제2 영상이 제1 영상보다 이전 시점에 촬영된 영상인 것으로 한다. 이때, 제1 영상 및 제2 영상은 차량의 전, 후, 좌, 우측의 영상을 합성한 탑 뷰(Top-view) 영상으로서, 카메라(120)에 의해 촬영된 전, 후, 좌, 우측의 영상을 합성 및 뷰 변환하여 이용할 수 있다. 한편, 차량에 AVM 시스템이 구비된 경우에는 AVM 시스템으로부터 탑 뷰 영상을 제공받을 수도 있다.
출력부(130)는 장애물 검출 장치의 동작 상태 및 장애물 검출 결과를 출력하는 수단으로서, 차량에 구비된 모니터 및 내비게이션 화면 등과 같은 디스플레이수단일 수 있으며, 스피커 및 부저와 같은 음성출력수단일 수 있다.
저장부(140)는 장애물 검출 장치의 동작을 위한 설정값이 저장될 수 있으며, 카메라(120)로부터 획득한 영상이 저장될 수 있다. 또한, 저장부(140)에는 차영상, 차분 맵 등을 생성하는데 적용되는 알고리즘이 저장될 수도 있다.위치 보상부(150)는 CAN 데이터를 이용하여 제1 영상이 촬영된 시점으로부터 제2영상이 촬영된 시점까지 산출된 차량의 이동거리에 근거하여 제1 영상을 기준으로 제2 영상의 위치를 보상한다. 이때, 위치 보상부(150)는 차량의 CAN 정보, 예를 들어, 차량의 휠 반지름(R), 휠 원주(2ΠR), 후륜의 톱니 수(N) 및 두 영상 간 차량 이동에 따른 휠 펄스값(P)을 이용하여 두 영상 간 차량의 이동거리를 산출할 수 있다.
차영상 생성부(160)는 제1 영상과, 제2 영상 및 위치 보상된 제2 영상 간 차이에 따라 차영상을 생성할 수 있다. 구체적으로, 차영상 생성부(160)는 제1 영상 및 제2 영상 간 차이에 따라 제1 차영상을 생성하고, 제1 영상 및 위치 보상된 제2 영상 간 차이에 따라 제2 차영상을 생성할 수 있다. 여기서, 차영상 생성부(160)는 제1 영상과, 제2 영상 및 위치 보상된 제2 영상 간 대응하는 픽셀의 픽셀값(예를 들어, 색상, 명도, 채도 등)의 차이를 계산하여 제1 차영상 및 제2 차영상을 생성할 수 있다.
차분 맵 생성부(170)는 차영상 생성부(160)에 의해 생성된 제1 차영상 및 제2 차영상에 대한 차분 맵을 생성한다. 여기서, 차분 맵 생성부(170)는 센서스 변환(Census Transform) 알고리즘을 이용하여 제1 차영상 및 제2 차영상에 대한 차분 맵을 생성할 수 있다. 물론, 센서스 변환 알고리즘 외에도 특정 영상에 대한 차분 맵을 생성하는 알고리즘이라면 어느 것이라도 적용 가능함은 당연한 것이다. 여기서, 차분 맵 생성부(170)에 의해 생성된 차분 맵에 대한 실시예는 도 4를 참조하도록 한다.
연산부(180)는 제1 차영상 및 제2 차영상의 차이값에 따라 제1 차영상 및 제2 차영상을 각각 이진화한다. 이때, 연산부(180)는 차분 맵 생성부(170)에 의해 생성된 두 개의 차분 맵에 대하여 각 영역의 차분값에 따라 제1 차영상 및 제2 차영상을 이진화하도록 한다.
일 예로서, 연산부(180)는 제1 차영상에 대응하는 차분 맵에서 기준치를 초과하는 차분값을 갖는 영역의 픽셀을 1(bit), 기준치 이하의 차분값을 갖는 영역의 픽셀을 0(bit)으로 이진화할 수 있다. 마찬가지로, 연산부(180)는 제2 차영상에 대응하는 차분 맵에서 기준치를 초과하는 차분값을 갖는 영역의 픽셀을 1(bit), 기준치 이하의 차분값을 갖는 영역의 픽셀을 0(bit)으로 이진화할 수 있다. 여기서, 제1 차영상 및 제2 차영상에 대한 이진화 영상에 대한 실시예는 도 5를 참조하도록 한다.
이때, 연산부(180)는 제1 차영상 및 제2 차영상에 대응하는 두 개의 이진화 영상 간 서로 대응하는 두 픽셀의 비트값에 대해 AND 연산을 수행하며, AND 연산 수행 결과로서 두 개의 이진화 영상에 대한 합성 영상을 생성할 수 있다. 여기서, 두 개의 이진화 영상에 대한 합성 영상에 대한 실시예는 도 6을 참조하도록 한다.
장애물 검출부(190)는 연산부(180)에 의해 생성된 합성 영상에서 비트값이 검출된 영역, 다시 말해, 1비트 영역을 추출한다. 이때 추출된 1비트 영역은 제1 차영상의 차분 맵과 제2 차영상의 차분 맵에서 서로 공통되는 영역이 된다. 따라서, 장애물 검출부(190)는 제1 차영상 또는 제2 차영상의 차분 맵에서 합성 영상으로부터 추출된 1비트 영역에 대응하는 픽셀을 선택하여 장애물을 검출할 수 있다. 한편, 장애물 검출부(190)는 제1 차영상 또는 제2 차영상의 차분 맵에서 합성 영상의 1비트 영역에 대응하여 선택된 픽셀 주변의 m x n 영역을 선택하여, 선택된 영역으로부터 장애물을 검출할 수도 있다. 여기서, 장애물 검출 영역에 대한 실시예는 도 7을 참조하도록 한다.
도 2 및 도 3은 본 발명에 따른 장애물 검출 장치의 위치 보상 동작을 설명하는데 참조되는 예시도이다. 여기서, 도 2는 서로 다른 두 시점에 획득한 두 영상의 원본 영상을 나타낸 것으로서, 도 2의 (a)는 제1 영상의 원본 영상을, (b)는 제2 영상의 원본 영상을 나타낸 것이다.
기본적으로, 차량에서 획득한 탑 뷰 영상은 자차의 위치를 중심으로 차량의 전, 후, 좌, 우측에서 촬영된 영상을 뷰 변환하여 합성한 것이기 때문에, 도 2의 (a) 및 (b)에서와 같이, 서로 다른 두 시점에 획득한 제1 영상 및 제2 영상의 원본 영상은 영상 내 동일한 위치에 자차가 배치된다. 따라서, 제1 영상 및 제2 영상의 원본 영상은 동일한 물체가 포함되어 있다고 하더라도, 두 영상 간 해당 물체의 위치는 서로 상이하다.
다시 말해, 도 2의 (a) 및 (b)에서 제1 영상에 포함된 주차구획선을 수평방향으로 연장한 연장선을 기준으로 제2 영상에 포함된 주차구획선은 연장선 보다 아래에 위치한 것을 확인할 수 있다.
한편, 도 3은 서로 다른 두 시점에 획득한 두 영상의 위치를 보상한 영상을 나타낸 것으로서, 도 3의 (a)는 제1 영상의 원본 영상을, (b)는 위치 보상된 제2 영상의 위치를 보상한 원본 영상을 나타낸 것이다.
여기서, 장애물 검출 장치는 도 2의 제2 영상이 촬영된 시점에서 제1 영상이 촬영된 시점까지 해당 차량이 이동한 거리에 근거하여 제2 영상의 위치를 이동시킨다.
도 4는 본 발명에 따른 차분 맵을 설명하는데 참조되는 예시도이다. 여기서, 도 4의 (a)는 도 3에서 제1 영상 및 위치 보상된 제2 영상에 대해 생성된 제2 차영상에 대한 차분 맵을 나타낸 것이고, 도 4의 (b)는 도 2에서 제1 영상 및 제2 영상의 원본 영상에 대해 생성된 제2 차영상에 대한 차분 맵을 나타낸 것이다.
이때, 제1 영상 및 위치 보상된 제2 영상은 주변차의 그림자 위치가 동일하고, 자차의 그림자 위치에는 차이가 있다. 따라서, 도 4의 (a)에 도시된 바와 같이, 제2 차영상의 차분 맵에는 주차구획선에 주차된 주변차의 그림자 영역(411)에서 주변차의 그림자는 검출되지 않고, 반면에 자차의 그림자 영역(415)에서 자차의 그림자는 검출된다.
한편, 제1 영상 및 제2 영상의 원본 영상은 자차의 위치를 중심으로 획득된 것이기 때문에, 제1 영상과 제2 영상은 자차의 그림자 위치는 동일하고, 주차구획선에 주차된 주변차의 그림자 위치에는 차이가 있다. 따라서, 도 4의 (b)에 도시된 바와 같이, 제1 차영상의 차분 맵에는 주차구획선에 주차된 주변차의 그림자 영역(421)에서 주변차의 그림자가 검출되고, 반면에 자차의 그림자 영역(425)에서는 자차의 그림자가 검출되지 않는다.
도 5 및 도 6은 도 5의 차분 맵을 이용한 연산 동작을 설명하는데 참조되는 예시도이다. 여기서, 도 5는 제1 차영상 및 제2 차영상의 차분 맵을 이진화한 것이고, 도 6은 도 5의 이진화 영상에 대한 합성 영상을 나타낸 것이다.
먼저, 도 5를 참조하면, 장애물 검출 장치는 도 4의 (a)에 도시된 차분 맵의 차분값에 근거하여 기준치를 초과하는 차분값을 갖는 영역에 대응하는 픽셀을 1(bit), 기준치 이하의 차분값을 갖는 영역에 대응하는 픽셀을 0(bit)으로 이진화하여 도 5의 (a)와 같이 제2 차영상의 차분 맵에 대한 이진화 영상을 생성한다. 마찬가지로, 장애물 검출 장치는 도 4의 (b)에 도시된 차분 맵의 차분값에 근거하여 기준치를 초과하는 차분값을 갖는 영역에 대응하는 픽셀을 1(bit), 기준치 이하의 차분값을 갖는 영역에 대응하는 픽셀을 0(bit)으로 이진화하여 도 5의 (b)와 같이 제1 차영상의 차분 맵에 대한 이진화 영상을 생성한다.
여기서, 장애물 검출 장치는 도 5의 (a) 및 (b)에 도시된 두 개의 이진화 영상에서 서로 대응하는 두 픽셀의 비트값에 대해 AND 연산을 수행하고, 이진화 결과로 얻은 불리언(Boolean) 값에서 참에 해당하는 픽셀 위치를 참조하여 도 6과 같이 이진화 영상에 대한 합성영상을 생성한다. 도 6에서와 같이, 이진화 영상에 대한 합성 영상은 1 및 0으로 구성되며, 이때 1비트 영역은 붉은색으로 표시하였다.
도 7은 본 발명에 따른 장애물 검출 장치의 장애물 검출 동작을 설명하는데 참조되는 예시도로서, 장애물 검출 영역을 나타낸 것이다. 장애물 검출 장치는 제1 차영상 또는 제2 차영상의 차분 맵으로부터 도 6의 합성 영상에서 붉은색으로 표시된 1비트 영역에 대응하는 픽셀을 선택하고, 선택된 픽셀의 주변 m x n 영역을 선택하여 선택된 영역으로부터 장애물을 검출할 수 있다.
상기와 같이 구성되는 본 발명에 따른 장애물 검출 방법의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 8은 본 발명에 따른 장애물 검출 방법에 대한 동작 흐름을 도시한 순서도이다. 도 8을 참조하면, 장애물 검출 장치는 서로 다른 두 시점의 제1 영상 및 제2 영상을 획득하고(S100), 'S100' 과정에서 획득한 두 영상 간 차량 이동거리를 산출하여(S110), 'S110' 과정에서 산출된 이동거리에 따라 제2 영상의 위치를 보상한다(S120). 이때, 장애물 검출 장치는 제1 영상을 기준으로 제2 영상의 위치를 보상할 수 있다.
장애물 검출 장치는 제1 영상 및 제2 영상의 차이에 따른 제1 차영상을 생성하고(S130), 제1 영상 및 'S120' 과정에서 위치 보상된 제2 영상의 차이에 따른 제2 차영상을 생성한다(S140).
이후, 장애물 검출 장치는 'S130' 과정에서 생성된 제1 차영상 및 'S140' 과정에서 생성된 제2 차영상 각각에 대응하는 차분 맵을 생성하고(S150), 'S150' 과정에서 생성된 각 차분 맵의 차분값과 기준치(N)를 비교하여(S160), 차분값이 기준치(N)를 초과하는 픽셀을 1비트로 이진화하고(S170), 차분값이 기준치(N) 이하인 픽셀을 0으로 이진화한다(S180).
이때, 장애물 검출 장치는 'S170' 및 'S180' 과정의 이진화 동작에 의해 생성된 이진화 영상에서 서로 대응하는 픽셀의 비트값에 대해 AND 연산을 수행한다(S180). 'S180' 과정에 의해 두 개의 이진화 영상에 대한 합성 영상이 생성된다. 장애물 검출 장치는 합성 영상에서 비트값이 1인 영역에 대응하는 픽셀의 주변 영역, 예를 들어, m x n 영역을 제1 차영상 또는 제2 차영상의 차분 맵으로부터 선택하고(S190), 'S190' 과정에서 선택된 영역으로부터 장애물을 검출한다(S200).
이상과 같이 본 발명에 의한 장애물 검출 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
110: 신호 처리부 120: 카메라
130: 출력부 140; 저장부
150: 위치 보상부 160: 차영상 생성부
170: 차분 맵 생성부 180: 연산부
190: 장애물 검출부

Claims (9)

  1. 서로 다른 시점의 제1 영상 및 제2 영상 간 차량의 이동거리에 근거하여 상기 제1 영상을 기준으로 상기 제2 영상의 위치를 보상하는 위치 보상부;
    상기 제1 영상과 상기 제2 영상 간, 상기 제1 영상과 위치 보상된 제2 영상 간 차이에 따라 차영상을 각각 생성하는 차영상 생성부;
    각 차영상의 차이값에 따라 상기 차영상을 각각 이진화하고, 이진화된 두 차영상 간 서로 대응하는 픽셀의 비트값에 근거하여 두 차영상에 대한 합성 영상을 생성하는 연산부; 및
    상기 합성 영상에서 비트값이 검출된 영역에 대응하는 픽셀을 선택하여 장애물을 검출하는 장애물 검출부를 포함하는 것을 특징으로 하는 장애물 검출 장치.
  2. 청구항 1에 있어서,
    상기 차영상 생성부는,
    상기 제1 영상 및 상기 제2 영상 간 차이에 따라 제1 차영상을 생성하고, 상기 제1 영상 및 상기 위치 보상된 제2 영상 간 차이에 따라 제2 차영상을 생성하는 것을 특징으로 하는 장애물 검출 장치.
  3. 청구항 2에 있어서,
    상기 제1 차영상 및 상기 제2 차영상에 대응하는 차분 맵을 각각 생성하는 차분 맵 생성부를 더 포함하는 것을 특징으로 하는 장애물 검출 장치.
  4. 청구항 3에 있어서,
    상기 연산부는,
    상기 제1 차영상 및 상기 제2 차영상에 대응하는 차분 맵에서 각 영역의 차분값에 따라 상기 제1 차영상 및 상기 제2 차영상을 각각 이진화하는 것을 특징으로 하는 장애물 검출 장치.
  5. 청구항 4에 있어서,
    상기 연산부는,
    상기 제1 차영상 및 상기 제2 차영상에 대응하는 차분 맵에서 기준치를 초과하는 차분값을 갖는 영역의 픽셀을 1(bit), 기준치 이하의 차분값을 갖는 영역의 픽셀을 0(bit)으로 이진화하는 것을 특징으로 하는 장애물 검출 장치.
  6. 청구항 5에 있어서,
    상기 연산부는,
    상기 제1 차영상 및 제2 차영상의 이진화 영상에서 서로 대응하는 두 픽셀의 비트값에 대해 AND 연산을 수행하여 상기 이진화 영상에 대한 합성 영상을 생성하는 것을 특징으로 하는 장애물 검출 장치.
  7. 청구항 6에 있어서,
    상기 장애물 검출부는,
    상기 합성 영상에서 비트값이 1인 영역을 추출하고, 상기 제1 차영상 또는 상기 제2 차영상의 차분 맵에서 상기 추출된 영역에 대응하는 픽셀을 선택하여 장애물을 검출하는 것을 특징으로 하는 장애물 검출 장치.
  8. 청구항 7에 있어서,
    상기 장애물 검출부는,
    상기 제1 차영상 또는 상기 제2 차영상의 차분 맵에서 선택된 픽셀의 주변 m x n 영역을 선택하고 선택된 영역으로부터 장애물을 검출하는 것을 특징으로 하는 장애물 검출 장치.
  9. 서로 다른 시점의 제1 영상 및 제2 영상 간 차량의 이동거리에 근거하여 상기 제1 영상을 기준으로 상기 제2 영상의 위치를 보상하는 단계;
    상기 제1 영상 및 상기 제2 영상 간 차이에 따라 제1 차영상을 생성하고, 상기 제1 영상 및 상기 위치 보상된 제2 영상 간 차이에 따라 제2 차영상을 생성하는 단계;
    상기 제1 차영상 및 상기 제2 차영상 각각에 대한 차분 맵을 생성하는 단계;
    상기 차분 맵의 차분값에 따라 상기 제1 차영상 및 상기 제2 차영상을 이진화하는 단계;
    상기 제1 차영상 및 제2 차영상의 이진화 영상에서 서로 대응하는 두 픽셀의 비트값에 대해 AND 연산을 수행하여 상기 이진화 영상에 대한 합성 영상을 생성하는 단계; 및
    상기 합성 영상에서 비트값이 1인 영역을 추출하고, 상기 제1 차영상 또는 상기 제2 차영상의 차분 맵에서 상기 추출된 영역에 대응하는 픽셀을 선택하여 장애물을 검출하는 단계를 포함하는 것을 특징으로 하는 장애물 검출 방법.
KR1020130106719A 2013-09-05 2013-09-05 장애물 검출 장치 및 방법 KR101439052B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130106719A KR101439052B1 (ko) 2013-09-05 2013-09-05 장애물 검출 장치 및 방법
US14/099,157 US9183449B2 (en) 2013-09-05 2013-12-06 Apparatus and method for detecting obstacle
CN201310718788.5A CN104424477B (zh) 2013-09-05 2013-12-23 用于检测障碍物的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130106719A KR101439052B1 (ko) 2013-09-05 2013-09-05 장애물 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101439052B1 true KR101439052B1 (ko) 2014-09-05

Family

ID=51759723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130106719A KR101439052B1 (ko) 2013-09-05 2013-09-05 장애물 검출 장치 및 방법

Country Status (3)

Country Link
US (1) US9183449B2 (ko)
KR (1) KR101439052B1 (ko)
CN (1) CN104424477B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788291A (zh) * 2016-02-23 2016-07-20 中山大学 一种车辆速度和位置的检测方法和装置
CN110945866A (zh) * 2017-08-03 2020-03-31 三菱电机株式会社 车辆周边图像显示装置及车辆周边图像显示方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
KR101825687B1 (ko) * 2015-04-24 2018-02-05 한국전자통신연구원 차영상을 이용한 장애물 검출장치 및 그 방법
JP6008339B1 (ja) * 2015-04-28 2016-10-19 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
CN105913438B (zh) * 2016-04-21 2019-11-22 清华大学 空间光调制器缺陷检测中保护膜损伤的提取方法
DE102016210632A1 (de) * 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
WO2019111371A1 (en) * 2017-12-07 2019-06-13 Renesas Electronics Corporation Data processing apparatus and data processing method
CN109188419B (zh) * 2018-09-07 2021-06-15 百度在线网络技术(北京)有限公司 障碍物速度的检测方法、装置、计算机设备及存储介质
US10990834B2 (en) 2018-12-13 2021-04-27 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
US11352010B2 (en) * 2019-09-30 2022-06-07 Baidu Usa Llc Obstacle perception calibration system for autonomous driving vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030024354A (ko) * 2001-09-18 2003-03-26 주식회사 아이캔텍 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경보상 장치 및 방법
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
KR100954884B1 (ko) 2009-10-29 2010-04-28 주식회사 힘스코리아 영상 이진화 장치
JP2011103058A (ja) 2009-11-11 2011-05-26 Daihatsu Motor Co Ltd 誤認識防止装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04134316U (ja) 1991-03-28 1992-12-14 清水建設株式会社 天井の下地構造
JPH0997395A (ja) 1995-09-29 1997-04-08 Nec Corp ステレオ撮像型車両感知器と車両感知方法
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
JP3739693B2 (ja) * 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
JP3868876B2 (ja) * 2002-09-25 2007-01-17 株式会社東芝 障害物検出装置及び方法
JP4134316B2 (ja) 2003-02-21 2008-08-20 株式会社還元溶融技術研究所 バイオマス資源等を利用した複合型メタン発酵炭化方法およびシステム
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
US7248718B2 (en) * 2004-02-19 2007-07-24 Siemens Corporate Research, Inc. System and method for detecting a passing vehicle from dynamic background using robust information fusion
DE102005013920B4 (de) * 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
KR100630088B1 (ko) * 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
JP2006304818A (ja) 2005-04-26 2006-11-09 Hitachi Medical Corp 画像合成方法及び磁気共鳴イメージング装置
SE529157C2 (sv) * 2005-07-01 2007-05-15 Daniel Forsgren Bildförbättring vid registrering av sporthändelser
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP2007235642A (ja) 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
DE102007022524A1 (de) * 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
JP4776587B2 (ja) * 2007-06-13 2011-09-21 国立大学法人北海道大学 画像処理装置,運転支援装置
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
CN102175222B (zh) * 2011-03-04 2012-09-05 南开大学 基于立体视觉的吊车避障系统
JP5614504B2 (ja) * 2011-09-12 2014-10-29 日産自動車株式会社 立体物検出装置
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030024354A (ko) * 2001-09-18 2003-03-26 주식회사 아이캔텍 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경보상 장치 및 방법
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
KR100954884B1 (ko) 2009-10-29 2010-04-28 주식회사 힘스코리아 영상 이진화 장치
JP2011103058A (ja) 2009-11-11 2011-05-26 Daihatsu Motor Co Ltd 誤認識防止装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788291A (zh) * 2016-02-23 2016-07-20 中山大学 一种车辆速度和位置的检测方法和装置
CN105788291B (zh) * 2016-02-23 2018-07-31 中山大学 一种车辆速度和位置的检测方法和装置
CN110945866A (zh) * 2017-08-03 2020-03-31 三菱电机株式会社 车辆周边图像显示装置及车辆周边图像显示方法
CN110945866B (zh) * 2017-08-03 2021-07-27 三菱电机株式会社 车辆周边图像显示装置及车辆周边图像显示方法

Also Published As

Publication number Publication date
US9183449B2 (en) 2015-11-10
CN104424477B (zh) 2019-05-17
CN104424477A (zh) 2015-03-18
US20150063647A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
KR101439052B1 (ko) 장애물 검출 장치 및 방법
JP4899424B2 (ja) 物体検出装置
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US11518390B2 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
KR101371893B1 (ko) 차량 주변의 영상을 이용한 입체물 검출 장치 및 방법
JP4553072B1 (ja) 画像統合装置および画像統合方法
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
JP6589313B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR20090109437A (ko) 차량주행중 영상정합 방법 및 그 시스템
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2008026998A (ja) 障害物位置算出システム、及び障害物位置算出方法
KR101491305B1 (ko) 장애물 검출 장치 및 방법
JP6519138B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP2009186301A (ja) 車両用物体検出装置
JP2008165595A (ja) 障害物検出方法、障害物検出装置、障害物検出システム
WO2010113253A1 (ja) 3次元情報表示装置および3次元情報表示方法
JP4404047B2 (ja) 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム
KR101470198B1 (ko) 영상 합성 장치 및 방법
JP2007286873A (ja) 車載周辺他車検出装置
JP2007131178A (ja) 障害物位置特定システム
KR20130052405A (ko) 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치
JP6515547B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 5