KR101611789B1 - 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법 - Google Patents

주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법 Download PDF

Info

Publication number
KR101611789B1
KR101611789B1 KR1020150038868A KR20150038868A KR101611789B1 KR 101611789 B1 KR101611789 B1 KR 101611789B1 KR 1020150038868 A KR1020150038868 A KR 1020150038868A KR 20150038868 A KR20150038868 A KR 20150038868A KR 101611789 B1 KR101611789 B1 KR 101611789B1
Authority
KR
South Korea
Prior art keywords
road surface
motion parameter
image
irregularity
motion
Prior art date
Application number
KR1020150038868A
Other languages
English (en)
Inventor
이상철
허유정
박보규
이현규
최민국
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020150038868A priority Critical patent/KR101611789B1/ko
Application granted granted Critical
Publication of KR101611789B1 publication Critical patent/KR101611789B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Abstract

본 발명은 차량에서 얻어지는 전면 영상에 대해 추출된 모션 파라미터 기반의 주행도로 노면 상태 시각화 기법을 제안한다. 제안된 시각화 기법은 영역별 수직 투영 히스토그램 매칭 및 선형 회귀모델을 통해 얻어진 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하였다. 이렇게 추출된 노면의 불규칙 정도는 차량에서 수집된 GPS 정보와 융합하여 시각화 지도를 생성하게 되고, 생성된 시각화 지도를 주행 영상과 비교하여 시각화 지도의 성능을 확인할 수 있다.

Description

주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법{ROAD SURFACE VISUALIZATION BY MOTION PARAMETER ANALYSIS}
아래의 설명은 노면 정보를 시각화하는 기술에 관한 것이다.
도로 노면의 균일 및 불규칙 정보는 도로면의 유지 및 보수를 위해 필수적으로 획득해야 하는 정보로서, 자동화된 도로 노면의 정보 추출 및 시각화 연구는 사회 간접시설의 시설 유지/보수비용에 대한 커다란 이득을 가져다 줄 수 있다. 이러한 이점에도 불구하고 자동화된 도로 노면의 정보 추출에 대한 연구는 도로 노면 정보 추출을 위한 미가공 데이터의 획득에 대한 어려움을 가지고 있다.
이를 극복하기 위해 Toth 등은 항공에서 얻어진 LiDAR 데이터를 활용하여 자동화된 도로 노면의 모델링 기법을 제안하였다. LiDAR 데이터에 대한 필터링과 분류 알고리즘을 통해 정확도 높은 도로 노면의 모델링 결과를 달성하였지만, 항공 데이터가 갖는 미가공 데이터(raw data) 획득에 대한 높은 비용의 한계를 가지고 있다. Oniga 등의 연구에서는 높은 비용의 한계를 극복하기 위해 스테레오 매칭 기반의 도로 노면 정보 및 주행 환경 정보 추출을 위한 알고리즘을 제안하였다. 항공 데이터에 비해 상대적으로 낮은 비용을 갖는 스테레오 카메라 장비만으로 도로 노면의 정보를 추출할 수 있지만, 모든 차량에 스테레오 카메라를 보급할 수 없는 현실적인 한계점을 내포하고 있다.
이에 따라 미가공 데이터의 획득 및 특징 가공의 단점을 보완하기 위해 단일 전방 카메라 영상으로부터 얻어진 모션 파라미터 기반의 도로 노면 정보 추출 및 시각화 기법이 제안될 필요가 있다.
한국공개특허 제10-2002-0054751호는 노면경사 측정방법 및 이를 이용한 차량 속도 제어 시스템에 대하여 개시하고 있다.
일 실시예에 따른 주행 정보 제공 시스템은 미가공 데이터의 획득 및 특징 가공의 단점을 보완하기 위하여 단일 전방 카메라 영상으로부터 획득한 모션 파라미터 기반의 도로 노면 정보 추출 및 시각화 기법을 제안한다.
일 실시예에 따르면, 노면 정보를 제공하는 방법은, 영상을 획득하는 단계; 상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계; 및 상기 추정된 모션 파라미터 주행노면의 불규칙 정도를 GPS 정보와 융합하여 시각화 지도를 생성하는 단계를 포함할 수 있다.
일측에 따르면, 상기 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는, 상기 영상에 대한 영역별 수직 투영 히스토그램 매칭 및 선형 회귀모델을 통하여 상기 모션 파라미터를 획득하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는, 불규칙한 노면에서 촬영된 영상에서 수직 방향의 이동과 차량 축을 중심으로 발생하는 회전 변환을 동시에 고려하기 위하여 상기 영상의 n(n은 자연수)번째 프레임과 n+1번째 프레임에 대해 영역별 수직 투영 히스토그램을 추출하고, 상기 추출된 히스토그램을 매칭하는 단계; 및 상기 매칭을 통하여 전처리 기법을 적용한 영역에서의 수직 방향 이동 변환값을 추출하고, 상기 추출된 수직 방향 이동 변환값들을 요소로 갖는 수직 이동 변환 벡터를 추출하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는, 상기 영상의 n번째 프레임과 상기 n+1번째 프레임에 대한 모션 파라미터 추출을 위해 시간 영역 상에서 누적된 모션 파라미터를 사용하여 전체 시간 영역 상에서 연속적으로 발생하는 누적 모션을 고려하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는, 상기 수직 이동 변환 벡터의 요소 값들은 선형 관계를 가지며, 상기 요소 값을 특징 벡터로 선형 회귀모델 기반의 모션 파라미터를 추출하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 추정된 모션 파라미터 주행노면의 불규칙 정도를 GPS 정보와 융합하여 시각화 지도를 생성하는 단계는, 임의의 노면을 주행하는 차량 영상에서 추출된 수직 이동 및 회전 이동 변화 파라미터에 따른 주행 노면 상태를 반영하고, 상기 모션 파라미터의 값의 크기에 따라 주행 노면의 불규칙 정도를 반영하는 단계를 포함할 수 있다.
일 실시예에 따르면, 노면 정보를 제공하는 시스템에 있어서, 영상을 획득하는 획득부; 상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 추정부; 및 상기 추정된 모션 파라미터 주행노면의 불규칙 정도를 GPS 정보와 융합하여 시각화 지도를 생성하는 지도 생성부를 포함할 수 있다.
일 실시예에 따른 주행 정보 제공 시스템은 영상에 대해 추출된 모션 파라미터 기반의 주행도로 노면 상태 시각화를 통하여 시각화 지도를 생성할 수 있고, 생성된 시각화 지도와 주행 영상을 비교하였을 경우, 상기 생성된 시각화 지도의 성능이 뛰어남을 확인할 수 있다.
도 1은 일 실시예에 따른 노면 정보 제공 시스템의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 노면 정보 제공 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 노면 정보 제공 시스템의 주행 정보 제공 방법을 나타낸 흐름도이다.
도 4는 일 실시예에 따른 노면 정보 제공 시스템에서 추출된 영역별 모션 파라미터의 시각화를 나타낸 예이다.
도 5는 일 실시예에 따른 노면 정보 제공 시스템에서 임의의 한 영상에서 추출한 수직 이동 변환 파라미터와 회전 이동 변환 파라미터 값의 분포를 나타낸 도면이다.
도 6은 일 실시예에 따른 노면 정보 제공 시스템에서 도 5의 수직 이동 변환 및 회전 이동 변환 파라미터 분포에 색채 시각화 알고리즘을 적용한 색상값의 범위를 나타낸 도면이다.
도 7은 일 실시예에 따른 노면 정보 제공 시스템에서 추출된 최종 색상값을 GPS 센서 값에 대응하여 지도를 시각화한 것을 나타낸 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 노면 정보 제공 시스템의 동작을 설명하기 위한 도면이다.
노면 정보 제공 시스템(100)은 단말(110)을 통하여 동작될 수 있으며, 단말(110)은 노면 정보 기능을 제공할 수 있다. 이때, 단말(110)은 GPS(120)와의 통신을 수행할 수 있으며, GPS 정보를 송수신할 수 있다. 단말(110)은 단일 전방 카메라를 통하여 노면 정보를 판단할 수 있고, GPS 정보를 수신하기 위한 GPS 모듈 장착되어 있을 수 있다. 또한, 예를 들면, 노면 정보 제공 시스템(100)은 차량 차체에 포함되어 노면 정보를 제공하는 기능을 제공할 수도 있다.
GPS(Global Positioning System)(120)는 지구 위치측정 체계로서, 어느 지점의 위도, 경도, 고도 등을 수치를 통하여 신뢰성있는 위치정보를 제공하는 지구 전역에 사용 가능한 위성기반 항법시스템이다. GPS(120) 위성은 단말(110)의 위치를 제공하고, 생성된 시각화 지도와 융합될 수 있다.
단말(110)은 PC, 노트북, 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등의 노면 정보를 제공할 수 있는 기기로서 노면 정보 제공 시스템(100)과 관련된 웹/모바일 사이트의 접속 또는 서비스 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 이때, 단말(110)은 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.
노면 정보 제공 시스템(100)은 노면 정보 기능을 제공하는 노면 정보 제공 플랫폼 상에 구현될 수 있으며, 노면 정보 기능을 이용하는 클라이언트(client)인 단말(110)을 대상으로 노면 정보를 제공하는 환경을 제공할 수 있다.
노면 정보 제공 시스템(100)은 노면 정보 기능을 제공하는 노면 정보 서버(미도시)의 플랫폼에 포함되는 형태로 구현될 수 있고, 이에 한정되는 것은 아니며 노면 정보 서버와 별개의 시스템으로 구축되어 노면 정보 서버와의 연동을 통해 노면 정보를 제공하는 형태로 구현되는 것 또한 가능하다. 그리고, 노면 정보 제공 시스템(100)은 적어도 일부의 구성 요소가 단말(110) 상에 설치되는 어플리케이션 형태로 구현되거나, 혹은 클라이언트-서버 환경에서 서비스를 제공하는 플랫폼에 포함되는 형태로 구현되는 것 또한 가능하다.
도 2는 일 실시예에 따른 노면 정보 제공 시스템의 내부 구성을 설명하기 위한 블록도이다.
본 실시예에 따른 노면 정보 제공 시스템(200)은 프로세서(210), 버스(220), 네트워크 인터페이스(230), 메모리(240) 및 데이터베이스(250)를 포함할 수 있다. 메모리(240)는 운영체제(241) 및 서비스 제공 루틴(242)를 포함할 수 있다. 프로세서(210)는 획득부(211), 추정부(212) 및 지도 생성부(213)를 포함할 수 있다. 다른 실시예들에서 노면 정보 제공 시스템(200)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 노면 정보 제공 시스템(200)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(240)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(240)에는 운영체제(241)와 서비스 제공 루틴(242)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(240)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(230)를 통해 메모리(240)에 로딩될 수도 있다.
버스(220)는 노면 정보 제공 시스템(200)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(220)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(230)는 노면 정보 제공 시스템(200)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(230)는, 이더넷 카드와 같은 네트워크 인터페이스 카드, 광학 송수신기, 무선 주파수 송수신기, 혹은 정보를 송수신할 수 있는 임의의 다른 타입의 디바이스일 수 있다. 이러한 네트워크 인터페이스들의 다른 예들은 모바일 컴퓨팅 디바이스들 및 USB 내의 블루투스(Bluetooth), 3G 및 WiFi 등을 포함하는 무선기기일 수 있다. 일부 예들에서, 컴퓨팅 디바이스는, 서버, 모바일 폰, 혹은 다른 네트워크화된 컴퓨팅 디바이스와 같은 외부 디바이스와 무선으로 통신하기 위해 네트워크 인터페이스(230)를 사용할 수 있다. 네트워크 인터페이스(230)는 노면 정보 제공 시스템(200)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스(250)는 노면 정보를 제공하기 위하여 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 2에서 노면 정보 제공 시스템(200)의 내부에 데이터베이스(250)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서(210)는 기본적인 산술, 로직 및 노면 정보 제공 시스템(200)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(240) 또는 네트워크 인터페이스(230)에 의해, 그리고 버스(220)를 통해 프로세서(210)로 제공될 수 있다. 프로세서(210)는 획득부(211), 추정부(212) 및 지도 생성부(313)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(240)와 같은 기록 장치에 저장될 수 있다.
획득부(211)와 추정부(212) 및 지도 생성부(213)는 도 3의 단계들(310~310)을 수행하기 위해 구성될 수 있다.
노면 정보 제공 시스템에서 획득부(211)는 단일 전방 카메라는 블랙박스 장착으로 인하여 이미 널리 보급된 장비로 적은 비용으로 미가공 데이터의 획득이 가능하다(310). 단일 영상으로부터 특징 데이터를 얻기 위해, 기존 동영상 안정화 연구를 통하여 제안된 모션 파라미터 추출 기법을 활용하여 자동화된 도로 노면의 시각화를 달성할 수 있다.
동영상 안정화 기법은 특징점 모션 추적의 기반의 안정화 기법과 모션 분석 기반의 안정화 기법, 카메라 내부 파라미터 추정을 통한 안정화 기법 등이 널리 활용되고 있다. 본 발명에서는 실시간 동영상 안정화를 달성하기 위해 연산 사용량이 적은 영역별 수직 투영 히스토그램 매칭과 선형회귀 모델 기반의 모션 분석을 사용한다. 적용된 모션 분석 기법을 통해 추출된 모션 파라미터를 활용하여 도로 노면의 시각화를 달성하는 알고리즘을 제안할 수 있다.
노면 정보 제공 시스템에서 추정부(212)는 모션 파라미터를 추출할 수 있다(320). 이에 따라 모션 파라미터를 추출하는 방법에 대하서 설명하기로 한다.
불규칙한 노면에서 촬영된 차량 영상의 경우, 노면 정보 제공 시스템은 수직 방향의 이동과 차량 축을 중심으로 발생하는 회전 변환을 동시에 고려할 수 있다. 노면 정보 제공 시스템은 수직 및 회전 이동 변환에 대한 모션 파라미터 추출 알고리즘을 통하여 모션 파라미터를 추출할 수 있다.
입력 영상
Figure 112015027550346-pat00001
에 대하여 p개의 전처리 기법 수행 이후 수직 방향 이동 변환 벡터의 추정을 위해 영상 내 r개의 영역을 설정할 수 있다.
입력 영상의 s번째 프레임
Figure 112015027550346-pat00002
와 s+1 번째 프레임
Figure 112015027550346-pat00003
에 대해 영역별 수직 투영 히스토그램을 추출하고, 추출된 히스토그램을 매칭할 수 있다. 매칭을 통해 I 번째 전처리 기법을 적용한 j번째 영역에서의 수직 방향 이동 변환값
Figure 112015027550346-pat00004
를 추출하게 되며, 추출된 수직 방향 이동 변환값들을 요소로 가지는 수직 이동 변환 벡터
Figure 112015027550346-pat00005
을 추출할 수 있다.
임의의 프레임에 대해 총 p개의 전처리 과정을 적용했을 때, 각 전처리 과정에서 추출된 수직 이동 변환 벡터 v의 요소 값들은 선형 관계를 갖게 되므로, v의 요소 값을 특징 벡터로 선형 회귀모델 기반의 모션 파라미터를 추출한다.
Figure 112015027550346-pat00006
i번째 전처리를 적용하였을 때, 행렬 는 나눠진 영역의 픽셀 위치 값을 요소로 가지며, 총 p개의 전처리를 적용했을 때, 추출된 모든 행렬
Figure 112015027550346-pat00008
를 요소로 갖는 행렬
Figure 112015027550346-pat00009
는
Figure 112015027550346-pat00010
를 만족하며, 추출된 모든 수직 이동 벡터
Figure 112015027550346-pat00011
를 요소로 갖는
Figure 112015027550346-pat00012
이다.
Figure 112015027550346-pat00013
는 근사된 선형 회귀모델의 계수 값을 요소로 갖는 벡터로,
Figure 112015027550346-pat00014
과
Figure 112015027550346-pat00015
은 각각 수직 이동 변환과 회전 이동 변환을 근사하기 위한 파라미터로 활용된다.
모션 파라미터의 추출을 위해서는 두 프레임 사이에서 추출된 모션 파라미터 뿐 아니라 전체 시간 영역 상에서 연속적으로 발생하는 누적 모션을 고려해야 하므로, s번째 프레임과 s+1번째 프레임에 대한 모션 파라미터 추출을 달성하기 위해 최종적으로 시간 영역 상에서 누적된 모션 파라미터
Figure 112015027550346-pat00016
를 사용한다.
노면 정보 제공 시스템에서 지도 생성부(213)는 모션 파라미터를 활용한 시각화를 수행할 수 있다(330). 이에 따라 모션 파라미터를 활용한 시각화 방법에 대하서 설명하기로 한다.
노면 정보 제공 시스템은 앞서 설명한 바와 같이 영역별 수직 투영 히스토그램 매칭에 의해 추출된 수직 이동 변환 값을 특징 벡터로 선형 회귀모델을 적용하여 수직 이동 변환 파라미터
Figure 112015027550346-pat00017
와 회전 이동 변환 파라미터
Figure 112015027550346-pat00018
을 추출하였다. 임의의 노면을 주행하는 차량 영상에서 추출된 수직 이동 및 회전 이동 변환 파라미터는 주행 노면의 상태를 반영하고, 모션 파라미터의 값의 크기는 주행 노면의 불규칙 정도를 반영한다.
본 발명에서는 주행 도로의 노면의 불규칙 정도를 직관적으로 이해하기 위하여 Algorithm 1을 이용하여 모션 파라미터 값을 색채 시각화하여 나타낼 수 있다.
Figure 112015027550346-pat00019
이때,
Figure 112015027550346-pat00020
는 s번째 프레임
Figure 112015027550346-pat00021
에서의 수직 이동 변환 파라미터
Figure 112015027550346-pat00022
, 회전 이동 변환 파라미터
Figure 112015027550346-pat00023
값에 대응하는 색상을 의미하며, h는 추출된 모든 프레임에서의 색상값을 요소로 갖는 벡터이다.
제안한 알고리즘을 이용하여 노면의 불규칙 정도가 클수록 빨간색에서 불규칙 정도가 작을수록 보라색으로 표현하며, 직관적인 주행지도 제작에 사용할 수 있다.
노면 정보 제공 시스템의 동영상 안정화 기법의 강건한 모션 파라미터 추출을 위해 흑백 변환, 독립된 R, G, B 컬러 공간 변환, DoG(Difference of Gaussian) 이진화 변환의 전처리 기법을 선택하고, 최적화된 영역의 개수 r을 16으로 설정한 것을 나타낸 도면이다. 선택한 전처리 기법과 영역의 크기를 적용하여 수직 투영 히스토그램 추출 및 매칭을 수행할 수 있고, 추출된 수직 이동 모션을 기반으로 선형 회귀모델 기반의 모션 파라미터를 추출할 수 있다. 도 4는 추출된 영역별 모션 파라미터 시각화 예시를 나타낸 것이며, 임의의 한 영상에서 추출한 수직 이동 변환 파라미터
Figure 112015027550346-pat00024
와 회전 이동 변환 파라미터의 값
Figure 112015027550346-pat00025
의 분포는 도 5와 같다. 도 5는 연속된 1800 프레임에서 추출한 수직 이동 변환 파라미터
Figure 112015027550346-pat00026
와 회전 이동 변환 파라미터
Figure 112015027550346-pat00027
의 분포를 나타낸 것이다.
추출된 수직 이동 및 회전 이동 변환 파라미터 값을 기반으로 색채 시각화 알고리즘을 적용한 결과는 도 6과 같이 나타낼 수 있다. 추출한 색상값은 최소 0에서 최대 0.75의 값을 가지며 이는 빨간색에서 보라색까지의 범위를 의미할 수 있다. 이때, 채도와 명도는 최대값으로 동일하게 할당하였고, 추출한 색상, 채도, 명도 값으로 HSV 컬러 모델을 적용하였다. 노면의 색상이 붉을수록 주행 도로의 노면이 고르지 못함을 의미한다. 도 6은 도 5의 수직 이동 변환 및 회전 이동 변환 파라미터 분포에 색채 시각화 알고리즘을 적용한 색상값의 범위를 나타낸 것이다. 도 5에서 수직 이동 변환 값과 회전 이동 변환 값이 크게 나타난 프레임 구간과 대응하여 동일한 구간에서의 색상값의 변화 정도가 크게 나타나는 것을 확인할 수 있다. 도 6은 연속된 1800 프레임에서 추출된 수직 이동 변환 파라미터
Figure 112016025549499-pat00028
와 회전 이동 변환 파라미터
Figure 112016025549499-pat00029
에 색채 시각화 알고리즘을 적용한 색상 값의 범위를 나타낸 것이다.
추출된 최종 색상값을 주행 영상의 GPS 정보와 대응하여 지도에 시각화 한 결과는 도 7과 같다. 도 7의 상단 그림에 존재하는 빨간색 시각화 지역은 실제 영상 내에서 맨홀이 존재하여 노면이 불량한 도로이며, 하단 그림에서 빨간색 시각화 지역은 실제 영상 내에서 노면 상태가 불량한 교차로이다. 예를 들면, 도로를 벗어나는 반응지역은 초기 GPS 신호를 그대로 사용하기 때문에 발생하는 것으로 칼만필터를 이용하여 보정할 수 있다.
일 실시예에 따른 노면 정보 제공 시스템은 차량 영상에서 수집되는 GPS 정보와 동영상 안정화 알고리즘에서 추출한 수직 이동 및 회전 이동 변환 파라미터를 이용하여 구글 맵스 API를 활용한 지도에 주행 도로의 노면 상태를 시각화할 수 있다. 주어진 주행 영상과 영상을 기반으로 얻어진 시각화 지도를 대응 및 비교하여 분석한 시각화 지도의 성능을 확인할 수 있다.
또한, 주행 영상의 경우 차량 주행 운전자에 의하여 발생하는 노이즈가 존재할 수 있기 때문에 대규모 주행 데이터를 활용하여 다양하게 분석함으로써 보다 정확한 주행 도로의 노면 정보를 산출할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 노면 정보를 제공하는 방법에 있어서,
    영상을 획득하는 단계;
    상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계; 및
    상기 추정된 모션 파라미터 주행노면의 불규칙 정도를 GPS 정보와 융합하여 시각화 지도를 생성하는 단계
    를 포함하고,
    상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는,
    상기 영상에 대한 영역별 수직 투영 히스토그램 매칭 및 선형 회귀모델을 통하여 상기 모션 파라미터를 획득하는 단계
    를 포함하는 노면 정보 제공 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는,
    불규칙한 노면에서 촬영된 영상에서 수직 방향의 이동과 차량 축을 중심으로 발생하는 회전 변환을 동시에 고려하기 위하여 상기 영상의 n(n은 자연수)번째 프레임과 n+1번째 프레임에 대해 영역별 수직 투영 히스토그램을 추출하고, 상기 추출된 히스토그램을 매칭하는 단계; 및
    상기 매칭을 통하여 전처리 기법을 적용한 영역에서의 수직 방향 이동 변환값을 추출하고, 상기 추출된 수직 방향 이동 변환값들을 요소로 갖는 수직 이동 변환 벡터를 추출하는 단계
    를 포함하는 노면 정보 제공 방법.
  4. 제3항에 있어서,
    상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는,
    상기 영상의 n번째 프레임과 상기 n+1번째 프레임에 대한 모션 파라미터 추출을 위해 시간 영역 상에서 누적된 모션 파라미터를 사용하여 전체 시간 영역 상에서 연속적으로 발생하는 누적 모션을 고려하는 단계
    를 포함하는 노면 정보 제공 방법.
  5. 제4항에 있어서,
    상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 단계는,
    상기 수직 이동 변환 벡터의 요소 값들은 선형 관계를 가지며, 상기 요소 값을 특징 벡터로 선형 회귀모델 기반의 모션 파라미터를 추출하는 단계
    를 포함하는 노면 정보 제공 방법.
  6. 제1항에 있어서,
    상기 추정된 모션 파라미터 주행노면의 불규칙 정도를 GPS 정보와 융합하여 시각화 지도를 생성하는 단계는,
    임의의 노면을 주행하는 차량 영상에서 추출된 수직 이동 및 회전 이동 변화 파라미터에 따른 주행 노면 상태를 반영하고, 상기 모션 파라미터의 값의 크기에 따라 주행 노면의 불규칙 정도를 반영하는 단계
    를 포함하는 노면 정보 제공 방법.
  7. 노면 정보를 제공하는 시스템에 있어서,
    영상을 획득하는 획득부;
    상기 획득된 영상에 대한 영역별 모션 파라미터의 크기를 기반으로 주행 노면의 불규칙 정도를 추정하는 추정부; 및
    상기 추정된 모션 파라미터 주행노면의 불규칙 정도를 GPS 정보와 융합하여 시각화 지도를 생성하는 지도 생성부
    를 포함하고,
    상기 추정부는,
    상기 영상에 대한 영역별 수직 투영 히스토그램 매칭 및 선형 회귀모델을 통하여 상기 모션 파라미터를 획득하는
    것을 특징으로 하는 노면 정보 제공 시스템.
KR1020150038868A 2015-03-20 2015-03-20 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법 KR101611789B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150038868A KR101611789B1 (ko) 2015-03-20 2015-03-20 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150038868A KR101611789B1 (ko) 2015-03-20 2015-03-20 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법

Publications (1)

Publication Number Publication Date
KR101611789B1 true KR101611789B1 (ko) 2016-04-12

Family

ID=55801250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150038868A KR101611789B1 (ko) 2015-03-20 2015-03-20 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법

Country Status (1)

Country Link
KR (1) KR101611789B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200023692A (ko) * 2018-08-20 2020-03-06 현대자동차주식회사 노면 탐지 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013079937A (ja) * 2011-09-30 2013-05-02 Honda Research Inst Europe Gmbh 路面分析

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013079937A (ja) * 2011-09-30 2013-05-02 Honda Research Inst Europe Gmbh 路面分析

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200023692A (ko) * 2018-08-20 2020-03-06 현대자동차주식회사 노면 탐지 장치 및 방법
KR102485353B1 (ko) * 2018-08-20 2023-01-05 현대자동차주식회사 노면 탐지 장치 및 방법

Similar Documents

Publication Publication Date Title
US10817731B2 (en) Image-based pedestrian detection
US11042723B2 (en) Systems and methods for depth map sampling
US11064178B2 (en) Deep virtual stereo odometry
US10671068B1 (en) Shared sensor data across sensor processing pipelines
KR20200044108A (ko) 단안 이미지 깊이 추정 방법 및 장치, 기기, 프로그램 및 저장 매체
US11430199B2 (en) Feature recognition assisted super-resolution method
US20220027675A1 (en) Instance segmentation using sensor data having different dimensionalities
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN111339876B (zh) 用于识别场景中各区域类型的方法和装置
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN112258519A (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
WO2017200889A1 (en) Classifying entities in digital maps using discrete non-trace positioning data
US20230213636A1 (en) Sensor alignment
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法
CN115147328A (zh) 三维目标检测方法及装置
CN115019060A (zh) 目标识别方法、目标识别模型的训练方法及装置
CN111469781B (zh) 用于输出信息的方法和装置
KR101611789B1 (ko) 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법
CN112651351B (zh) 一种数据处理的方法和装置
CN113920174A (zh) 点云配准方法、装置、设备、介质和自动驾驶车辆
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
KR101643089B1 (ko) 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화
CN115019278B (zh) 一种车道线拟合方法、装置、电子设备和介质
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
CN113762001B (zh) 一种目标检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 4