KR20170119167A - 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법 - Google Patents

도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20170119167A
KR20170119167A KR1020160046998A KR20160046998A KR20170119167A KR 20170119167 A KR20170119167 A KR 20170119167A KR 1020160046998 A KR1020160046998 A KR 1020160046998A KR 20160046998 A KR20160046998 A KR 20160046998A KR 20170119167 A KR20170119167 A KR 20170119167A
Authority
KR
South Korea
Prior art keywords
image
depth
road
stereo
depth map
Prior art date
Application number
KR1020160046998A
Other languages
English (en)
Inventor
엄태정
백장운
이은령
박미룡
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160046998A priority Critical patent/KR20170119167A/ko
Publication of KR20170119167A publication Critical patent/KR20170119167A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/0007—
    • G06K9/00677—
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H04N13/0203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

본 발명에 따른 도로 상의 객체를 검출하는 객체 검출 시스템은 통신 모듈, 객체 검출 프로그램이 저장된 메모리 및 상기 프로그램을 실행시키는 프로세서를 포함하되, 상기 통신 모듈은 차량의 전방 영역을 촬영하는 스테레오 카메라로부터 촬영된 스테레오 영상을 수신하고, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 스테레오 영상으로부터 깊이 영상을 생성하고, 상기 깊이 영상으로부터 깊이맵을 추출하며, 상기 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로 영역을 인식하고, 상기 도로 영역을 상기 깊이 영상의 깊이맵과 대응되도록 공간 정합을 수행하며, 상기 정합된 영상으로부터 노이즈를 제거하기 위하여 전처리한 뒤, 상기 전처리된 영상으로부터 객체를 추출한다.

Description

도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING OBJECT}
본 발명은 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법에 관한 것이다.
도로 상의 물체를 인지하는 기술은 종래부터 활발하게 연구되어 오고 있다.
객체의 위치를 탐지하는 알고리즘은 크게 정지되어 있는 카메라(예를 들어, CCTV 등)와 움직이는 카메라(예를 들어, 자동차의 블랙박스 등)에서의 기술로 구분될 수 있다.
각 환경에 따라서 알고리즘의 목적 또한 달라지게 되는데, 정지되어 있는 환경에서는 주로 보안의 목적을 가지고 있으며, 자동차와 같이 움직이는 환경에서는 충돌을 감지하고, 충돌이 감지된 물체와의 회피를 예방하기 위한 목적, 즉 안전성을 보장하려는 목적을 가지고 있다.
따라서, 객체의 위치를 탐지하는 알고리즘들은 각 환경에 따라 만족해야 하는 성능이 다르고, 각 알고리즘마다 사용되는 센서들도 각각 상이하다.
자동차에 적용되는 객체(예를 들어, 보행자, 차량 등)의 탐지 기술은 안전과 밀접하게 관련되어 있으므로, 고신뢰성 및 실시간성이 요구된다. 이러한 자동차에 적용되는 객체 탐지 기술에서 사용되는 센서들은 초음파 센서, 레이더 센서, 라이다 센서, 비전 센서(단일 또는 스테레오 등) 등 다양한 센서들이 이용되고 있으며, 각 센서들마다 장단점이 존재한다.
레이더 센서의 경우 레이더의 반사파를 이용하므로 위치와 거리 정보를 손쉽게 알아낼 수 있지만, 그 물체의 형태나 모양을 감지하는데는 한계가 있다.
또한, 단일 비전 센서를 사용하는 방법은 단일 카메라로 큰 영역에 대한 대응이 가능하다는 장점이 있으나, 거리 및 위치 정보를 직접적으로 얻을 수 없어 연산을 통해 추론해야 하기 때문에 연산량이 많다는 단점이 있다. 그리고 빛과 같은 외부 환경 변화에 민감한 단점이 있다.
또한, 스테레오 비전 센서의 경우 2개의 단일 비전 센서를 이용하여 거리 정보를 획득할 수 있으나, 단일 비전 센서와 같이 외부 환경 변화에 민감하다는 단점이 있다.
이와 관련하여, 한국등록특허공보 제10-1569411호(발명의 명칭: 보행자 인식 장치 및 그 방법)는 카메라로부터 수신된 영상에 있는 객체의 이동성을 기초로 보행자 여부를 결정하여 차량과의 충돌 가능성을 결정할 수 있는 보행자 인식 장치를 개시하고 있다.
본 발명의 실시예는 스테레오 카메라에 의해 촬영된 스테레오 영상으로부터 추출된 깊이 영상과, 단일 영상으로부터 획득된 도로 색상 정보를 이용하여 주변 물체를 감지함으로써 도로 상의 객체를 추출할 수 있는 객체 검출 시스템 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 도로 상의 객체를 검출하는 객체 검출 시스템은 통신 모듈, 객체 검출 프로그램이 저장된 메모리 및 상기 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 통신 모듈은 차량의 전방 영역을 촬영하는 스테레오 카메라로부터 촬영된 스테레오 영상을 수신하고, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 스테레오 영상으로부터 깊이 영상을 생성하고, 상기 깊이 영상으로부터 깊이맵을 추출하며, 상기 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로 영역을 인식하고, 상기 도로 영역을 상기 깊이 영상의 깊이맵과 대응되도록 공간 정합을 수행하며, 상기 정합된 영상으로부터 노이즈를 제거하기 위하여 전처리한 뒤, 상기 전처리된 영상으로부터 객체를 추출한다.
또한, 본 발명의 제 2 측면에 따른 객체 검출 시스템에서의 객체 검출 방법은 차량의 전방 영역을 촬영하는 스테레오 카메라에 의해 촬영된 스테레오 영상으로부터 깊이 영상을 생성하는 단계; 상기 생성된 깊이 영상으로부터 깊이맵을 추출하는 단계; 상기 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로 영역을 인식하는 단계; 상기 추출된 도로 영역을 상기 깊이맵과 대응되도록 공간 정합을 수행하는 단계; 상기 정합된 영상을 전처리 하는 단계 및 상기 전처리된 영상으로부터 객체를 추출하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 스테레오 카메라에 의해 촬영된 스테레오 영상 및 단일 영상으로부터 깊이 영상 추출 및 도로 영역을 동시에 인식함으로써, 도로 위의 객체를 정확한 거리 및 크기 정보로 추출할 수 있다.
이에 따라, 보행자, 차량 자전거 등 도로 상에 존재하는 객체 식별시, 도로 위에 존재하지 않거나 위험성이 없는 객체에 대한 연산량을 줄일 수 있으며, 대상 객체를 영상 내에서 추출하기 위한 연산량 또한 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 시스템의 블록도이다.
도 2는 스테레오 카메라에 의해 촬영된 단일 영상과 깊이 영상의 예시도이다.
도 3은 깊이 영상에 대응하는 깊이맵의 일 예시를 도시한 도면이다.
도 4는 인식된 도로 영역의 일 예시를 도시한 도면이다.
도 5는 추출된 uv-시차맵의 일 예시를 도시한 도면이다.
도 6는 깊이맵과 도로 영역을 정합시켜 객체를 추출하는 각 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 일 실시예는 도로 상의 객체를 검출하기 위한 객체 검출 시스템(100) 및 방법에 관한 것이다.
이하에서는 도 1 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 객체 검출 시스템에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 객체 검출 시스템(100)은 통신 모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신 모듈(110)은 차량의 전방 영역을 촬영하는 스테레오 카메라(10)로부터 촬영된 스테레오 영상을 수신한다. 즉, 통신 모듈(110)은 두 개의 모노 카메라로 구성된 스테레오 카메라(10)로부터 좌우 단일 영상을 수신한다.
이와 같은 스테레오 카메라(10)를 통해 촬영된 영상은 도 2에 도시된 바와 같다.
도 2는 스테레오 카메라(10)에 의해 촬영된 단일 영상과 깊이 영상의 예시도이다.
도 2의 (a)는 스테레오 카메라(10)로부터 촬영된 단일 영상으로서, 도로 영역을 인식하는데 사용된다. 그리고 도 2의 (b)는 스테레오 카메라(10)로부터 촬영된 스테레오 영상으로부터 생성된 깊이 영상으로서, 이로부터 깊이맵을 생성하여 도로의 깊이 정보를 획득하고 객체의 유무를 판단할 수 있다.
한편, 통신 모듈(110)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
메모리(120)에는 객체 검출 프로그램이 저장된다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
또한, 메모리(120)에 저장된 프로그램은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
프로세서(130)는 객체 검출 프로그램을 실행시킨다. 프로세서(130)는 객체 검출 프로그램을 실행시킴에 따라, 통신 모듈(110)이 수신한 스테레오 영상으로부터 깊이 영상을 생성하고, 생성된 깊이 영상으로부터 깊이맵을 추출한다.
프로세서(130)는 스테레오 영상에 포함된 각 단일 영상 간의 차이에 기초하여 바닥과 객체의 거리값을 추출함으로써 깊이 영상으로부터 깊이맵을 추출할 수 있다.
이와 같이 추출된 깊이맵은 도 3에 도시된 바와 같다.
도 3은 깊이 영상에 대응하는 깊이맵의 일 예시를 도시한 도면이다.
도 3을 참조하면, 깊이 영상으로부터 추출된 깊이맵에서 지면의 깊이값은 깊이 영상의 밝기값에 기초하여 표시되고, 밝기값은 거리에 따라 상이한 값을 가질 수 있다. 예를 들어, 지면의 깊이값은 회색 음영의 밝기값으로 표시될 수 있으며, 회색 음영으로 표시된 밝기값은 거리에 따라 상이하게 표시될 수 있다.
그리고 깊이맵에 포함된 평면 객체(P1)는, 깊이 영상에서 평면 객체(P1)에 대응하는 거리의 밝기값에서 객체의 크기에 대응하는 영역을 가질 수 있다.
도 4는 인식된 도로 영역(P2)의 일 예시를 도시한 도면이다.
도 4를 참조하면, 프로세서(130)는 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로 영역(P2)을 인식한다. 이때, 프로세서(130)는 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로의 재질에 따른 색상 정보를 추출한다. 즉, 흙, 아스팔트, 시멘트 등의 도로의 재질에 따라 다른 색상 정보가 추출되게 된다.
메모리(120)에는 도로의 재질에 따른 색상 정보가 미리 저장되어 있다. 이에 따라, 프로세서(130)는 메모리(120)에 저장된 도로의 재질에 따른 색상 정보와의 비교 결과에 기초하여 도로 영역(P2)을 인식할 수 있다.
도 5는 추출된 uv-시차맵의 일 예시를 도시한 도면이다.
프로세서(130)는 도 5에 도시된 바와 같이, 깊이 영역으로부터 추출된 깊이맵으로부터 방향성을 가지는 히스토그램을 누적시켜 uv-시차맵을 추출할 수 있다. 그리고 추출된 uv-시차맵과 인식된 도로 영역으로부터 추출된 객체 후보 영역으로부터 객체를 추출한다.
이때, uv-시차맵은 거리 정보를 밝기값으로 표현한 것으로서, 가까운 곳은 밝은값으로, 먼 곳은 어두운 값으로 나타날 수 있다.
이와 같은 시차맵은 스테레오 영상으로부터 얻어진 깊이맵을 이용하여, 도로를 촬영한 스테레오 영상에 맺힌 물체의 시차 정보를 획득하고, 획득된 시차 정보를 이용하여 거리 정보를 추출하며, 추출된 거리 정보를 그레이값(Gray Value)으로 표현함으로써 생성될 수 있다.
본 발명의 일 실시예에 따른 객체 검출 시스템(100)은 이와 같은 시차맵 추출 단계를 포함함으로써, 깊이맵에서 보다 쉽게 객체를 추출할 수 있도록 데이터를 가공할 수 있다.
프로세서(130)는 인식된 도로 영역을 깊이 영상의 깊이맵과 대응되도록 공간 정합을 수행하고, 정합된 영상에 대하여 잡음 등의 노이즈를 제거하는 전처리 과정을 수행한 뒤, 전처리된 영상으로부터 객체를 추출할 수 있다.
도 6는 깊이맵과 도로 영역을 정합시켜 객체를 추출하는 각 과정을 도시한 도면이다.
도 6의 (a)에 도시된 바와 같이 깊이 영상으로부터 객체(P1)가 포함된 깊이맵을 추출하면, 도 6의 (b)와 같이 단일 영상으로부터 인식된 도로 영역(P2)과 깊이맵이 서로 대응되도록 공간 정합을 수행한다. 이와 같이 정합된 영상에 대하여 객체 추출에 문제가 되는 잡음이 되는 영역을 제거하는 전처리 과정을 수행한 뒤, 도 6의 (c)와 (d)에 도시된 바와 같이 도로 영역(P2)을 추출하고, 도로 상의 객체(P1)를 추출할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 객체 검출 시스템(100)을 이용하면, 스테레오 영상을 통해 객체를 인식하는 방법과 단일 영상으로부터 객체를 인식하는 방법을 각각 개별적으로 사용해오던 종래 기술에서 발생하던 문제점을 해결할 수 있다.
즉, 스테레오 영상을 통해 얻어진 깊이맵은 객체의 크기 정보와 거리 정보를 획득할 수 있으나, 차선 등 색상으로 구분된 도로 영역의 탐지에는 어려움이 있다. 그리고 색상 정보를 획득할 수 있는 도로 영역 탐지는 빠른 연산 처리가 가능하나, 그림자 또는 도로와 비슷한 색상의 물체 등 색상에 따른 잡음에 취약하고 정확한 거리 정보의 추출이 불가능하다.
그러나 본 발명의 일 실시예에 따르면 두 방법을 동시에 적용함으로써, 도로 영역에 존재하는 객체를 정확히 추출함과 동시에, 객체의 거리 및 크기 정보를 보다 정확히 추출할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 7을 참조하여 본 발명의 일 실시예에 따른 객체 검출 시스템(100)에서의 객체 검출 방법에 대하여 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.
본 발명의 일 실시예에 따른 객체 검출 방법은 먼저, 스테레오 카메라(10)에 의해 차량의 전방 영역이 촬영되면(S710), 촬영된 스테레오 영상으로부터 깊이 영상을 생성한다(S720).
다음으로, 생성된 깊이 영상으로부터 깊이맵을 추출한다(S730). 이때, 스테레오 영상에 포함된 각 단일 영상간의 차이에 기초하여 바닥 및 객체의 거리값을 추출함으로써 깊이 영상으로부터 깊이맵을 추출할 수 있다.
한편, 추출된 깊이맵의 경우 지면의 깊이값은 깊이 영상의 밝기값에 기초하여 표시되고, 밝기값은 거리에 따라 상이한 값을 가질 수 있다.
또한, 깊이맵에 포함된 평면 객체는 깊이 영상에서 평면 객체에 대응하는 거리의 밝기값에서 객체의 크기에 대응하는 영역을 가질 수 있다.
다음으로, 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로 영역을 인식한다(S740). 이때, 도로 영역을 인식하는 단계는, 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로의 재질에 따른 색상 정보를 추출하고, 메모리에 미리 저장된 도로의 재질에 따른 색상 정보와의 비교 결과에 기초하여 도로 영역을 인식할 수 있다.
한편, 본 발명의 일 실시예에 따른 객체 검출 방법은 깊이 영역으로부터 추출된 깊이맵으로부터 방향성을 가지는 히스토그램을 누적시켜 uv-시차맵을 추출할 수 있다.
다음으로, 도로 영역을 깊이맵과 대응되도록 공간 정합을 수행하고(S750), 정합된 영상에 대하여 잡음 등을 제거하는 전처리 과정을 수행한 뒤(S760), 전처리된 영상으로부터 객체를 추출한다(S770). 이때, 본 발명의 일 실시예는 추출된 uv-시차맵과 인식된 도로 영역으로부터 추출된 객체 후보 영역으로부터 객체를 추출할 수 있다.
한편 상술한 설명에서, 단계 S710 내지 S770는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 6에서의 객체 검출 시스템(100)에 관하여 이미 기술된 내용은 도 7의 객체 검출 방법에도 적용된다.
전술한 본 발명의 일 실시예에 따르면, 스테레오 카메라(10)에 의해 촬영된 스테레오 영상 및 단일 영상으로부터 깊이 영상 추출 및 도로 영역을 동시에 인식함으로써, 도로 위의 객체를 정확한 거리 및 크기 정보로 추출할 수 있다.
이에 따라, 보행자, 차량 자전거 등 도로 상에 존재하는 객체 식별시, 도로 위에 존재하지 않거나 위험성이 없는 객체에 대한 연산량을 줄일 수 있으며, 대상 객체를 영상 내에서 추출하기 위한 연산량 또한 줄일 수 있다.
본 발명의 일 실시예에 따른 객체 검출 시스템(100)에서의 객체 검출 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 스테레오 카메라 100: 객체 검출 시스템
110: 통신 모듈 120: 메모리
130: 프로세서

Claims (11)

  1. 도로 상의 객체를 검출하는 객체 검출 시스템에 있어서,
    통신 모듈,
    객체 검출 프로그램이 저장된 메모리 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 통신 모듈은 차량의 전방 영역을 촬영하는 스테레오 카메라로부터 촬영된 스테레오 영상을 수신하고,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 스테레오 영상으로부터 깊이 영상을 생성하고, 상기 깊이 영상으로부터 깊이맵을 추출하며, 상기 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로 영역을 인식하고, 상기 도로 영역을 상기 깊이 영상의 깊이맵과 대응되도록 공간 정합을 수행하며, 상기 정합된 영상으로부터 노이즈를 제거하기 위하여 전처리한 뒤, 상기 전처리된 영상으로부터 객체를 추출하는 것인 객체 검출 시스템.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 스테레오 영상에 포함된 각 단일 영상 간의 차이에 기초하여 바닥 및 객체의 거리값을 추출함으로써 상기 깊이 영상으로부터 깊이맵을 추출하는 것인 객체 검출 시스템.
  3. 제 2 항에 있어서,
    상기 깊이맵에서 지면의 깊이값은, 상기 깊이 영상의 밝기값에 기초하여 표시되고, 상기 밝기값은 거리에 따라 상이한 값을 가지는 것인 객체 검출 시스템.
  4. 제 2 항에 있어서,
    상기 깊이맵에 포함된 평면 객체는, 상기 깊이 영상에서 상기 평면 객체에 대응하는 거리의 밝기값에서 상기 객체의 크기에 대응하는 영역을 가지는 것인 객체 검출 시스템.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 스테레오 영상 중 어느 하나의 단일 영상으로부터 상기 도로의 재질에 따른 색상 정보를 추출하고, 상기 메모리에 저장된 도로의 재질에 따른 색상 정보와의 비교 결과에 기초하여 상기 도로 영역을 인식하는 것인 객체 검출 시스템.
  6. 제 1 항에 있어서,
    상기 프로세서는 상기 깊이맵으로부터 방향성을 가지는 히스토그램을 누적시켜 uv-시차맵을 추출하되,
    상기 uv-시차맵과 상기 인식된 도로 영역으로부터 추출된 객체 후보 영역으로부터 상기 객체를 추출하는 것인 객체 검출 시스템.
  7. 객체 검출 시스템에서의 객체 검출 방법에 있어서,
    차량의 전방 영역을 촬영하는 스테레오 카메라에 의해 촬영된 스테레오 영상으로부터 깊이 영상을 생성하는 단계;
    상기 생성된 깊이 영상으로부터 깊이맵을 추출하는 단계;
    상기 스테레오 영상 중 어느 하나의 단일 영상으로부터 도로 영역을 인식하는 단계;
    상기 추출된 도로 영역을 상기 깊이맵과 대응되도록 공간 정합을 수행하는 단계;
    상기 정합된 영상 으로부터 노이즈를 제거하기 위한 전처리 하는 단계 및
    상기 전처리된 영상으로부터 객체를 추출하는 단계를 포함하는 객체 검출 방법.
  8. 제 7 항에 있어서,
    상기 생성된 깊이 영상으로부터 깊이맵을 추출하는 단계는,
    상기 스테레오 영상에 포함된 각 단일 영상 간의 차이에 기초하여 바닥 및 객체의 거리값을 추출함으로써 상기 깊이 영상으로부터 깊이맵을 추출하는 것인 객체 검출 방법.
  9. 제 8 항에 있어서,
    상기 깊이맵에서 지면의 깊이값은, 상기 깊이 영상의 밝기값에 기초하여 표시되고, 상기 밝기값은 거리에 따라 상이한 값을 가지며,
    상기 깊이맵에 포함된 평면 객체는, 상기 깊이 영상에서 상기 평면 객체에 대응하는 거리의 밝기값에서 상기 객체의 크기에 대응하는 영역을 가지는 것인 객체 검출 방법.
  10. 제 7 항에 있어서,
    상기 도로 영역을 인식하는 단계는,
    상기 스테레오 영상 중 어느 하나의 단일 영상으로부터 상기 도로의 재질에 따른 색상 정보를 추출하는 단계 및
    미리 저장된 도로의 재질에 따른 색상 정보와의 비교 결과에 기초하여 상기 도로 영역을 인식하는 단계를 포함하는 것인 객체 검출 방법.
  11. 제 7 항에 있어서,
    상기 깊이맵으로부터 방향성을 가지는 히스토그램을 누적시켜 uv-시차맵을 추출하는 단계를 더 포함하되,
    상기 전처리된 영상으로부터 객체를 추출하는 단계는,
    상기 uv-시차맵과 상기 인식된 도로 영역으로부터 추출된 객체 후보 영역으로부터 상기 객체를 추출하는 것인 객체 검출 방법.
KR1020160046998A 2016-04-18 2016-04-18 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법 KR20170119167A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160046998A KR20170119167A (ko) 2016-04-18 2016-04-18 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160046998A KR20170119167A (ko) 2016-04-18 2016-04-18 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170119167A true KR20170119167A (ko) 2017-10-26

Family

ID=60301125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160046998A KR20170119167A (ko) 2016-04-18 2016-04-18 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20170119167A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158077A1 (ko) * 2020-02-05 2021-08-12 삼성전자 주식회사 건물의 상부 구조를 모델링하기 위한 장치 및 방법
US11314972B2 (en) 2019-02-26 2022-04-26 Hyundai Mobis Co., Ltd. Object detection apparatus and method for vehicle
US11417007B2 (en) 2019-11-20 2022-08-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11314972B2 (en) 2019-02-26 2022-04-26 Hyundai Mobis Co., Ltd. Object detection apparatus and method for vehicle
US11721033B2 (en) 2019-02-26 2023-08-08 Hyundai Mobis Co., Ltd. Object detection apparatus and method for vehicle
US11417007B2 (en) 2019-11-20 2022-08-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
WO2021158077A1 (ko) * 2020-02-05 2021-08-12 삼성전자 주식회사 건물의 상부 구조를 모델링하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US9940527B2 (en) Driving assist system for vehicle and method thereof
Eum et al. Enhancing light blob detection for intelligent headlight control using lane detection
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
CN110799918A (zh) 车辆用的方法、设备和计算机程序
WO2016125014A1 (en) Vehicle speed detection
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
WO2017098709A1 (ja) 画像認識装置および画像認識方法
KR101767237B1 (ko) 객체 검출 장치 및 방법
Li et al. Automatic parking slot detection based on around view monitor (AVM) systems
KR20170119167A (ko) 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
US9183748B2 (en) Apparatus for determining available parking space and method thereof
US11455710B2 (en) Device and method of object detection
US10839522B2 (en) Adaptive data collecting and processing system and methods
Kim et al. Illumination invariant road detection based on learning method
Mohottala et al. Fusion of a camera and a laser range sensor for vehicle recognition
Hwang et al. Vision-based vehicle detection and tracking algorithm design
US9940531B2 (en) Apparatus and method for setting region of interest
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
Itu et al. An efficient obstacle awareness application for android mobile devices
JP2020126304A (ja) 車外物体検出装置
CN107992789B (zh) 识别交通灯的方法、装置及车辆
JP7293100B2 (ja) カメラシステム