KR20150091779A - 다중 센서를 이용한 영상 처리 시스템 - Google Patents

다중 센서를 이용한 영상 처리 시스템 Download PDF

Info

Publication number
KR20150091779A
KR20150091779A KR1020140012417A KR20140012417A KR20150091779A KR 20150091779 A KR20150091779 A KR 20150091779A KR 1020140012417 A KR1020140012417 A KR 1020140012417A KR 20140012417 A KR20140012417 A KR 20140012417A KR 20150091779 A KR20150091779 A KR 20150091779A
Authority
KR
South Korea
Prior art keywords
infrared ray
camera
image
frame
image processing
Prior art date
Application number
KR1020140012417A
Other languages
English (en)
Inventor
김종덕
권기구
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140012417A priority Critical patent/KR20150091779A/ko
Publication of KR20150091779A publication Critical patent/KR20150091779A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 서로 다른 센서들로부터 획득된 영상을 처리하여 제공함으로써, 야간이나 악천후의 상황에서도 차량 전방의 장애물들을 높은 확률로 검출할 수 있는 다중 센서를 이용한 영상 처리 시스템에 관한 것으로, 상기 영상 처리 시스템은, 가시광선 카메라, 근적외선 라디아 및 원적외선 카메라로 구성되는 다중 센서부; 및 상기 근적외선 라이다로부터 제공되는 영상 프레임을 다수의 서브 프레임으로 분할하고, 상기 가시광선 카메라 및 상기 원적외선 카메라로부터 제공되는 영상의 단일 프레임과 상기 분할된 다수의 서브 프레임을 서로 맵핑하고, 상기 가시광선 카메라과 상기 근적외선 라이다를 기반으로 분석된 정보와 상기 원적외선 카메라와 근적외선 라이다를 기반으로 분석된 정보를 비교 합성하여 영상 정보를 생성하는 영상 처리부를 포함한다.

Description

다중 센서를 이용한 영상 처리 시스템{Image processing system using multiple sensor}
본 발명은 다중 센서를 이용한 영상 처리 시스템에 관한 것으로, 상세하게는 서로 다른 센서들로부터 획득된 영상을 처리하여 제공함으로써, 야간이나 악천후의 상황에서도 차량 전방의 장애물들을 높은 확률로 검출할 수 있는 다중 센서를 이용한 영상 처리 시스템에 관한 것이다.
공간 상에 분포하는 사물의 형상과 위치를 실시간으로 검출함으로써 보다 지능화된 기기와 서비스의 개발을 위한 노력들이 진행되고 있다. 이를 위한 다양한 센서 중에서 카메라 비전은 사물의 2차원 이미지와 색상 정보를 높은 해상도로 검출할 수 있으며, 양안식 카메라의 경우 비교적 가까운 사물에 대한 위치 정보를 추가하여 3차원 이미지의 구성이 가능하다.
RF 신호를 이용하는 레이더(radar) 센서는 원거리에 존재하는 검출 가능한 크기 이상의 사물들에 대하여 위치와 이동 속도에 대한 정보를 제공하는 것이 가능하고, 이와 유사하게 빛을 이용하는 레이저 스캐너 또는 라이다(lidar) 센서는 사물의 위치 및 이동 속도와 함께 형상에 대한 정보를 실시간으로 제공하는 것이 가능하다.
그러나, 일반적으로 사용되는 카메라의 경우, 가시(visible) 영역의 광 파장을 검출하므로 야간이나 악천후의 상황에서 가시 거리가 매우 짧아지는 단점이 있다.
이러한 상황에서는 적외선(infra-red, IR) 영역의 광 파장을 검출하는 IR 카메라가 유용하다. IR 카메라는 다시 근적외선(NIR) 영역의 카메라와 원적외선(FIR) 영역의 카메라로 구분된다.
근적외선 카메라는 상대적으로 선명한 화질을 제공하지만 가시 거리가 짧고, 원적외선 카메라는 일정 온도 이상의 물체에 대하여 상대적으로 먼 거리까지 볼 수 있으나 사물의 구분이 어렵다.
라이다 센서는 가시 광 또는 적외선 영역의 레이저 빔을 방출하고, 사물로부터 수신되는 신호를 검출하는 방식을 사용하므로 주변 환경 변화에 무관하게 3D 정보를 획득할 수 있지만, 카메라 수준의 해상도와 프레임 속도를 제공하는 것이 어렵다.
한편, eye-safety 문제로 비교적 안전하고 저가의 광원 공급이 가능한 근적외선 파장 영역의 라이다 센서가 개발되고 있다. 하지만, 근적외선 파장의 경우 수분에 잘 흡수되므로 안개 및 우천 시에 검출 거리가 짧아지는 단점이 있다.
따라서, 지능형 자동차에서와 같이 주행 중에 전방 충돌 방지 및 보행자 검출 등의 운전자 보조수단을 제공하기 위하여 현재 개발된 각각의 센서들이 가지는 단점들을 보완하기 위한 다중 센서의 사용이 불가피하다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은 서로 다른 센서들로부터 획득된 영상을 처리하여 제공함으로써, 야간이나 악천후의 상황에서도 차량 전방의 장애물들을 높은 확률로 검출할 수 있는 다중 센서를 이용한 영상 처리 시스템을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 다중 센서를 이용한 영상 처리 시스템은, 가시광선 카메라, 근적외선 라디아 및 원적외선 카메라로 구성되는 다중 센서부; 및 상기 근적외선 라이다로부터 제공되는 영상 프레임을 다수의 서브 프레임으로 분할하고, 상기 가시광선 카메라 및 상기 원적외선 카메라로부터 제공되는 영상의 단일 프레임과 상기 분할된 다수의 서브 프레임을 서로 맵핑하고, 상기 가시광선 카메라과 상기 근적외선 라이다를 기반으로 분석된 정보와 상기 원적외선 카메라와 근적외선 라이다를 기반으로 분석된 정보를 비교 합성하여 영상 정보를 생성하는 영상 처리부로 구성될 수 있다.
이와 같은 본 발명에 따른 다중 센서를 이용한 영상 처리 시스템은, 서로 다른 센서들로부터 획득된 영상을 처리하여 제공함으로써, 야간이나 악천후의 상황에서도 차량 전방의 장애물들을 높은 확률로 검출할 수 있다.
도 1은 본 발명의 실시 예에 따른 다중 센서를 이용한 영상 처리 시스템의 구성도이다.
도 2는 본 발명의 실시 예에 따른 영상 처리 시스템의 영상 처리부로 입력되는 프레임 단위의 영상 흐름을 도시한 것이다.
도 3은 근적외선 라이다의 영상 프레임을 다수의 서브 프레임으로 분할하는 방법을 설명하기 위한 상태도이다.
도 4는 본 발명의 실시 예에 따른 다중 센서를 이용한 영상 처리 시스템을 이용한 영상 처리 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시 예에 따른 영상 처리 방법의 프레임 매칭 단계를 세부적으로 나타낸 순서도이다.
이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 다중 센서를 이용한 영상 처리 시스템의 구성도이고, 도 2는 본 발명의 실시 예에 따른 영상 처리 시스템의 영상 처리부로 입력되는 프레임 단위의 영상 흐름을 도시한 것이고, 도 3은 근적외선 라이다의 영상 프레임을 다수의 서브 프레임으로 분할하는 방법을 설명하기 위한 상태도이다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 다중 센서를 이용한 영상 처리 시스템(1)은 다수의 영상 획득 장치로 구성되는 다중 센서부(100), 상기 다중 센서부(100)에 의해 획득되는 영상의 프레임 픽셀 정보들을 서로 맵핑 및 합성하여 영상 정보를 생성하는 영상 처리부(200) 및 상기 데이터 처리부(200)에 의해 생성된 영상 정보를 출력하는 영상 출력부(300)를 포함한다.
상기 다중 센서부(100)는 가시광선 카메라(110), 근적외선 라이다(120) 및 원적외선 카메라(130)를 포함한다.
한편, 상기 가시광선 카메라(110), 상기 근적외선 라이다(120) 및 상기 원적외선 카메라(130)는 각각 서로 다른 측정 시야각 범위, 가시 거리 및 프레임 속도를 갖는다. 이때, 상기 가시광선 카메라(110)는 60Hz의 프레임 속도로 영상을 획득하여 출력하고, 상기 근적외선 라이다(120)는 15Hz의 프레임 속도로 영상을 획득하여 출력하고, 상기 원적외선 카메라(130)는 30Hz의 프레임 속도로 영상을 획득하여 출력한다.
상기 가시광선 카메라(110), 상기 근적외선 라이다(120) 및 상기 원적외선 카메라(130)에 의해 획득된 영상은 프레임 단위로 상기 영상 처리부(200)로 제공된다.
따라서, 상기 근적외선 라이다(120)로부터 1 프레임(121)이 상기 영상 처리부(200)로 입력되는 동안, 상기 가시광선 카메라(110)로부터 4 프레임(111)이 상기 영상 처리부(200)로 입력되고, 상기 원적외선 카메라(130)로부터 2 프레임(131)이 상기 영상 처리부(200)로 입력된다.
상기 영상 처리부(200)는 다중 센서부(100), 즉 상기 가시광선 카메라(110), 상기 근적외선 라이다(120) 및 상기 원적외선 카메라(130)로부터 제공되는 영상 프레임의 픽셀 정보들을 서로 맵핑 및 합성하여 영상 정보를 생성한다.
실시간 신호처리를 가정할 경우, 일반적으로 가시광선 카메라(110)의 1 프레임 2D 정보로부터 관심 영역에 대한 설정을 4 프레임 동안 반복 및 중첩한 후에 근적외선 라이다(120)의 1 프레임으로부터 거리 정보를 획득하여 위치 인식과 이동 객체에 대한 추출이 가능하다.
하지만, 실제 데이터 처리에 있어서는 많은 양의 데이터를 제한된 하드웨어 사양 범위 내에서 연산을 수행하게 되므로 그 만큼 시간 지연이 불가피하게 된다.
따라서, 상기 영상 처리부(200)는 가장 느린 프레임 속도로 프레임을 제공하는 상기 근적외선 라이다(120)의 영상 프레임을 상기 가시광선 카메라(110) 및 상기 원적외선 카메라(130)가 제공하는 영상 프레임에 매칭하여 연산하도록 구성된다.
따라서, 상기 근적외선 라이다(120)의 영상 프레임(121)을 상기 가시광선 카메라(110) 및 상기 원적외선 카메라(130)가 제공하는 영상 프레임(111, 131)에 매칭하도록 하기 위해서는 상기 근적외선 라이다(120)의 영상 프레임(121)을 분할하여 픽셀 정보를 획득할 필요가 있다.
상기 근적외선 라이다(120)의 영상 프레임(121)을 다수의 서브 프레임으로 분할하는 방법은 도 3을 참조하면 다음과 같다. 이때, 도 3은 상기 근적외선 라이다(120)의 영상 프레임이 8×16 픽셀로 구성된 경우를 예로 들어 도시하고 있다.
도 3(a)과 같이, 상기 근적외선 라이다(120)의 영상 프레임(121)을 좌우로 분할하는 방법이 있다. 즉, 상기 영상 처리부(200)는 상기 근적외선 라이다(120)의 영상 프레임(121)은 좌에서 우로 이동하거나, 우에서 좌로 이동하면서 4개의 서브 프레임(121-1 ~ 121-4)으로 분할하여 픽셀 정보를 획득한다.
또한, 도 3(b)와 같이, 상기 근적외선 라이다(120)의 영상 프레임(121)을 상하로 분할하는 방법이 있다. 즉, 상기 영상 처리부(200)는 상기 근적외선 라이다(120)의 영상 프레임(121)은 위에서 아래로 이동하거나, 아래에서 위로 이동하면서 4개의 서브 프레임(121-5 ~121-8)으로 분할하여 픽셀 정보를 획득한다.
또한, 도 3(c)와 같이, 상기 근적외선 라이다(120)의 영상 프레임(121)을 이웃한 4개의 픽셀마다 1 픽셀로 구성되는 서브 프레임(121-9 ~ 121-12)으로 분할하는 방법이 있다.
스캐너 타입의 근적외선 라이다(120)의 경우에는 다수의 레이저 어레이를 활용하여 도 3(a)와 같은 분할 방법으로 픽셀 정보를 획득거나 단일 레이저 빔을 이용하여 도 2(b)와 같은 분할 방법으로 픽셀 정보를 획득하는 것이 바람직하다.
이때, 효과적으로 픽셀 정보를 실시간으로 획득하기 위해서는 도 3(a)에 도시된 바와 같이 우에서 좌로 이동하면서 픽셀 정보를 획득하거나, 도 3(b)에 도시된 바와 같이 아래에서 위로 이동하면서 픽셀 정보를 획득하는 것이 바람직하다.
이 경우에 가시광선 카메라(110)의 단일 프레임과, 근적외선 라이다(120)의 영상 프레임의 서브프레임의 해당하는 영역에 대하여 거리 정보의 합성이 가능하다.
한편, 플래시(Flash) 타입의 근적외선 라이다(120)의 경우에는 단일 프레임 데이터의 모든 픽셀들이 같은 시간 간격 동안에 측정이 가능하므로, 도 3(c)의 분할 방법으로 픽셀 정보를 획득하는 것이 바람직하다.
도 3(c)와 같은 분할 방법으로 픽셀 정보를 획득하는 경우, 가시광선 카메라(110)의 단일 프레임보다 넓은 영역에 걸쳐 근적외선 라이다(120)의 거리 정보를 보다 실시간으로 제공하는 것이 가능하다.
실제적으로는 라이다에 비하여 카메라 센서의 해상도가 높으므로, 라이다의 단일 픽셀의 거리정보는 카메라의 다수 픽셀에 맵핑이 될 것이다.
따라서, 도 3(c)와 같이 분할하여 획득되는 픽셀 정보는 카메라의 단일 프레임에서 설정되는 관심 영역이 큰 물체일 경우에 빠른 거리 정보의 합성이 가능하게 한다.
근적외선 라이다(120)의 해상도보다는 크지만 서브 프레임의 해상도보다는 작은 관심 영역의 거리 정보는 121-9에서 121-12까지의 서브 프레임들에 대한 순차적인 맵핑을 필요로 할 것이다.
도 4는 본 발명의 실시 예에 따른 다중 센서를 이용한 영상 처리 시스템을 이용한 영상 처리 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 다중 센서부를 이용하여 영상을 획득하는 영상 획득단계(S100)가 이루어진다.
이때, 상기 다중 센서부(100)는 가시광선 카메라(110), 근적외선 라이다(120) 및 원적외선 카메라(130)로 구성될 수 있는 바, 가시광선 카메라(110)에 의한 2D 영상, 근적외선 라이다(120)에 의한 3D 영상 및 원적외선 카메라(130)에 의한 2D 영상을 획득하게 된다.
다음으로, 상기 근적외선 라이다(120)의 영상 프레임을 다수의 서브 프레임으로 분할하는 프레임 분할단계(S200)가 이루어지며, 이때, 상기 근적외선 라이다(120)의 영상 프레임은 4개의 서브 프레임으로 분할될 수 있다.
이때, 영상 프레임의 분할은 도 3에 도시된 분할 방법 중 어느 하나의 분할 방법에 따라 이루어질 수 있다.
다음으로, 가시광선 카메라(110) 및 원적외선 카메라(130)의 단위 프레임과 근적외선 라이다(120)의 서브 프레임을 매칭하여 위치 인식을 하는 프레임 매칭단계(S300)가 이루어진다.
이때, 가시광선 카메라(110)의 1개의 단위 프레임과 근적외선 라이다(120)의 4개의 서브 프레임 중 하나의 서브 프레임이 매칭되고, 원적외선 카메라(120)의 1개의 단위 프레임과 근적외선 라이다(120)의 4개의 프레임 중 2개의 서브 프레임이 매칭된다.
따라서, 상기 프레임 매칭단계(S300)에 있어서, 4번의 매칭 과정을 통하여 가시광선 카메라(110)의 4개 단위 프레임과 상기 근적외선 라이다(120)의 하나의 프레임이 매칭되어 위치 인식이 이루어진다.
즉, 상기 근적외선 라이다(120)의 4개의 서브 프레임 중 1개의 서브 프레임은 가시광선 카메라(110)의 4개 단위 프레임 중 1개의 단위 프레임과 각각 매칭된다.
또한, 상기 프레임 매칭단계(S300)에 있어서, 2번의 매칭 과정을 통하여, 원적외선 카메라(130)의 2개의 단위 프레임과 근적외선 라이다(120)의 하나의 프레임이 매칭되어 위치 인식이 이루어진다.
즉, 상기 근적외선 라이다(120)의 4개의 서브 프레임 중 2개의 서브 프레임은 원적외선 카메라(130)의 2개 단위 프레임 중 1개의 단위 프레임과 각각 매칭된다.
이때, 가시광선 카메라(110) 및 원적외선 카메라(130)의 영상은 프레임 단위로 영상신호 처리되어 관심 영역이 설정되고, 근적외선 라이다(120)의 서브 프레임 정보를 기반으로 거리정보 획득이 가능한 관심 영역들에 대하여 우선 위치를 인식한다.
이러한 관심 영역의 설정과 우선 위치 인식은 근적외선 라이다의 영상 프레임을 분할하는 방법에 따라 결정될 수 있으며, 시스템 설계 시에 설정 정보로서 입력되어, 이에 따라 이루어지도록 할 수 있다.
한편, 프레임 매칭단계(S300)를 수행하기 전에 상기 원적외선 카메라(130)의 영상으로부터 온도를
추출하는 단계를 수행할 수 있다.
다음으로, 위치 인식을 기반으로 다음 그룹의 프레임 연산에서 이동 영역의 구분 및 이동 영역에 대한 속도를 프레임 단위로 추출하는 속도 추출단계(S400)를 수행한다.
결과적으로, 근적외선 라이다의 단일 프레임 단위로 거리 정보를 맵핑 및 연산하는 것보다 서브 단위로 거리 정보를 맵핑 및 연산하는 것이 이동 영역과 속도를 추출하는데 있어 최소 1배에서 최대 4배까지 빠른 결과를 줄 수가 있다.
다음으로, 가시광선 카메라 및 근적외선 라이다를 기반으로 분석된 정보와 원적외선 카메라 및 근적외선 라이다를 기반으로 분석된 정보를 비교 합성하는 정보 합성단계(S500)가 이루어진다.
이때, 가시광선 카메라 및 근적외선 라이다를 기반으로 분석된 관심 영역 및 이동 영역에 대한 정보와 원적외선 카메라 및 근적외선 라이다를 기반으로 분석된 관심 영역 및 이동 영역에 대한 정보를 비교 합성한다.
도 5는 본 발명의 실시 예에 따른 영상 처리 방법의 프레임 매칭단계를 세부적으로 나타낸 순서도이다.
도 5를 참조하면, 가시광선 및 원적외선 카메라의 단위 프레임으로부터 관심 영역을 설정하는 관심 영역 설정단계(S310)가 이루어진다.
다음으로, 관심 영역을 근적외선 라이다와 매칭되는 프레임 시야각에 해당하는 프레임 영역과 그 외의 영역으로 구분하는 영역 구분단계(S320)가 이루어진다. 이때, 그 외의 영역으로 구분된 영역은 주변 정보로 분류된다.
다음으로, 프레임 영역 중 근적외선 라이다의 서브 프레임으로부터 거리정보가 획득 가능한 영역이 존재하는지를 판단하는 거리 정보 획득 판단단계(S330)가 이루어진다.
이때, 상기 거리 정보 획득 판단단계(S330)에서, 근적외선 라이다의 서브 프레임으로부터 거리정보가 획득 가능한 영역이 존재하는 경우, 해당 영역에 대해서 위치 인식을 하는 위치 인식단계(S340)가 이루어진다.
한편, 상기 거리 정보 획득 판단단계(S330)에서, 근적외선 라이다의 서브 프레임으로부터 거리정보를 획득할 수 없는 영역에 대해서는 다음의 서브 프레임 정보를 기반으로 상기 관심 영역 설정단계(S310) 및 상기 영역 구분단계(S320)를 거치도록 한다.
한편, 상기와 같은 과정을 거쳐, 가시광선 카메라 및 원적외선 카메라에 대하여 최대 서브 프레임 번호, 즉 4 또는 2에 해당하는 거리정보까지 분석 후 위치 인식이 안 되는 매칭 프레임 시야각 이내의 관심 영역은 근적외선 라이다의 최대측정 거리보다 큰 원거리 정보로 표시된다. 이때, 근적외선 라이다의 최대측정 거리는 고정된 값이 아니라 근적외선 라이다의 단일 프레임마다 측정되는 최대 거리를 기준으로 계산된다.
한편, 본 발명에 따른 다중 센서를 이용한 영상 처리 시스템을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 다중 센서부 110 : 가시광선 카메라
120 : 근적외선 라이다 130 : 원적외선 카메라
200 : 영상 처리부 300 : 영상 출력부

Claims (1)

  1. 가시광선 카메라, 근적외선 라디아 및 원적외선 카메라로 구성되는 다중 센서부; 및
    상기 근적외선 라이다로부터 제공되는 영상 프레임을 다수의 서브 프레임으로 분할하고, 상기 가시광선 카메라 및 상기 원적외선 카메라로부터 제공되는 영상의 단일 프레임과 상기 분할된 다수의 서브 프레임을 서로 맵핑하고, 상기 가시광선 카메라과 상기 근적외선 라이다를 기반으로 분석된 정보와 상기 원적외선 카메라와 근적외선 라이다를 기반으로 분석된 정보를 비교 합성하여 영상 정보를 생성하는 영상 처리부;
    를 포함하는 영상 처리 시스템.
KR1020140012417A 2014-02-04 2014-02-04 다중 센서를 이용한 영상 처리 시스템 KR20150091779A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140012417A KR20150091779A (ko) 2014-02-04 2014-02-04 다중 센서를 이용한 영상 처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140012417A KR20150091779A (ko) 2014-02-04 2014-02-04 다중 센서를 이용한 영상 처리 시스템

Publications (1)

Publication Number Publication Date
KR20150091779A true KR20150091779A (ko) 2015-08-12

Family

ID=54056508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140012417A KR20150091779A (ko) 2014-02-04 2014-02-04 다중 센서를 이용한 영상 처리 시스템

Country Status (1)

Country Link
KR (1) KR20150091779A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066668A (ko) * 2016-12-09 2018-06-19 동의대학교 산학협력단 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법
KR20190001723A (ko) * 2017-06-28 2019-01-07 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
KR20190074769A (ko) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 라이다 장치
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
US10534079B2 (en) 2016-02-26 2020-01-14 Hyundai Motor Company Vehicle and controlling method thereof integrating radar and lidar
KR20200055600A (ko) * 2018-11-13 2020-05-21 한국기계연구원 가시광선 레이저와 근적외선 펄스 레이저를 이용한 거리 측정 장치 및 측정 방법
CN112464853A (zh) * 2020-12-09 2021-03-09 辽宁省视讯技术研究有限公司 一种基于多数据输入的场景分析系统
KR20210098594A (ko) * 2020-01-31 2021-08-11 경북대학교 산학협력단 차량 위치 정보 획득 장치 및 제어 방법
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534079B2 (en) 2016-02-26 2020-01-14 Hyundai Motor Company Vehicle and controlling method thereof integrating radar and lidar
KR20180066668A (ko) * 2016-12-09 2018-06-19 동의대학교 산학협력단 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법
KR20190001723A (ko) * 2017-06-28 2019-01-07 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module
KR20190074769A (ko) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 라이다 장치
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
KR20200055600A (ko) * 2018-11-13 2020-05-21 한국기계연구원 가시광선 레이저와 근적외선 펄스 레이저를 이용한 거리 측정 장치 및 측정 방법
KR20210098594A (ko) * 2020-01-31 2021-08-11 경북대학교 산학협력단 차량 위치 정보 획득 장치 및 제어 방법
CN112464853A (zh) * 2020-12-09 2021-03-09 辽宁省视讯技术研究有限公司 一种基于多数据输入的场景分析系统
CN112464853B (zh) * 2020-12-09 2024-02-23 辽宁省视讯技术研究有限公司 一种基于多数据输入的场景分析系统

Similar Documents

Publication Publication Date Title
KR20150091779A (ko) 다중 센서를 이용한 영상 처리 시스템
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
CN108370438B (zh) 范围选通的深度相机组件
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US10176543B2 (en) Image processing based on imaging condition to obtain color image
JP5353455B2 (ja) 周辺監視装置
US20200404224A1 (en) Multispectrum, multi-polarization (msmp) filtering for improved perception of difficult to perceive colors
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
CN106919895B (zh) 用于运动目标的跟踪方法和系统
US20190266425A1 (en) Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program
CN105975923B (zh) 用于跟踪人体对象的方法和系统
JP6782433B2 (ja) 画像認識装置
CN107076553B (zh) 使用结构光的增强对象检测
KR20190019840A (ko) 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법
JP2016009487A (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
JP2013137767A (ja) 障害物検出方法及び運転者支援システム
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
US20190213427A1 (en) Detection and Validation of Objects from Sequential Images of a Camera
Hosseini et al. A system design for automotive augmented reality using stereo night vision
KR102588386B1 (ko) 라이더를 이용하는 가려진 객체 탐지 방법 및 장치
Müller et al. Multi-camera system for traffic light detection: About camera setup and mapping of detections
KR101789294B1 (ko) 차량용 어라운드 뷰 시스템 및 그 동작 방법
JP6466679B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination