KR101715211B1 - 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법 - Google Patents

영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법 Download PDF

Info

Publication number
KR101715211B1
KR101715211B1 KR1020160145772A KR20160145772A KR101715211B1 KR 101715211 B1 KR101715211 B1 KR 101715211B1 KR 1020160145772 A KR1020160145772 A KR 1020160145772A KR 20160145772 A KR20160145772 A KR 20160145772A KR 101715211 B1 KR101715211 B1 KR 101715211B1
Authority
KR
South Korea
Prior art keywords
road surface
image
laser
region
final
Prior art date
Application number
KR1020160145772A
Other languages
English (en)
Inventor
류승기
조영태
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020160145772A priority Critical patent/KR101715211B1/ko
Application granted granted Critical
Publication of KR101715211B1 publication Critical patent/KR101715211B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/62—
    • B60W2550/14—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법이 개시된다. 영상과 레이저를 융합한 도로 노면 상태 탐지 장치는, 라인 레이저를 도로 노면에 주사하는 레이저부와, 도로 노면을 촬영하여 촬영 영상을 출력하는 카메라와, 촬영 영상을 분석하여 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 포함하는 최종 노면 불량 영역을 추출하는 탐지부와, 추출된 최종 노면 불량 영역에 해당하는 촬영 영상과 추출된 최종 노면 불량 영역의 크기 정보 및 위치 정보를 매핑하여 저장부에 저장하는 제어부를 포함한다.

Description

영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법{Apparatus and method for detecting status of surface of road by using image and laser}
본 발명은 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법에 관한 것으로서, 보다 상세하게는, 레이저가 도로 노면에 주사되는 동안 촬영되는 영상을 분석하여 도로 노면의 불량 상태를 탐지할 수 있는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법에 관한 것이다.
도로노면의 상태정보 중 불량정보는 도로교통사고의 주요한 원인 중 하나이다. 도로와 관련된 불량정보는 포트홀, 맨홀, 노면변형 등을 예로 들 수 있다. 특히, 포트홀이나 맨홀 등은 차량파손이나 교통사고의 원인 중 하나이다. 포트홀 등의 노면 파손은 주로 해빙기나 장마기간에 많이 발생한다. 또한, 맨홀은 시간이 지남에 따라 주위 도로노면과 높낮이가 달라져 차량 파손의 원인이 된다.
기존의 도로 노면 불량 탐지를 위한 장비는 크게 진동방식, 레이저스캐닝방식, 영상방식으로 나뉜다.
진동방식은 차량에 가속도센서를 부착하여 차량이 도로 노면 불량 영역을 밟았을 때 발생하는 진동신호의 패턴을 분석하여 도로 노면 불량을 탐지한다. 그러나, 기존의 진동방식은 포트홀과 맨홀처럼 서로 유사한 진동데이터를 발생시킬 수 있는 곳에서는 정확한 탐지 분류가 어렵다. 또한, 도로 노면 불량을 탐지하기 위해서는 반드시 차량이 도로 노면 불량 지역을 지나가야 하는데, 일반적으로 차량 운전자들이 도로 노면 불량 지역은 회피운전을 하기 때문에 진동방식으로는 도로 노면 불량을 원천적으로 탐지하지 못하는 문제가 있다.
또한, 레이저스캐닝방식은 레이저 스캐너를 이용하여 도로노면을 스캐닝하는 방식으로 상세한 도로노면 정보를 추출할 수 있다. 그러나, 현재 개발 및 운용되는 도로 노면 레이저 스캐너는 굉장히 고가의 장비인 반면 도로 노면 불량은 전국적으로 발생한다. 특히, 포트홀은 임의의 시간과 위치에서 랜덤하게 발생하기 때문에 저비용의 많은 탐지 단말기를 이용하는 것이 효율적이다. 그러나, 기존의 레이저스캐닝방식은 도로 노면 불량을 탐지하는 장비로 활용하기에는 그 비용이 너무 고가이므로, 실제로 적용하는데는 한계가 있으며, 도로 노면 불량 탐지용이 아니라 짧은 구간의 상세한 도로노면 정보(예를 들어, 미세한 크렉)를 추출하는 목적으로 활용되는 것이 나을 수 있다.
마지막으로, 기존의 영상방식은 차량 블랙박스같이 소형 카메라로부터 입력되는 영상을 분석하여 도로 노면 불량을 탐지하는 방식이다. 기존의 영상방식은 레이저스캐닝방식에 비해 훨씬 저비용으로 구현할 수 있다. 그러나, 날씨의 변화에 따라 촬영되는 도로 노면 불량의 모양이나 재질감이 달라지므로, 영상인식의 특성상 정확도가 낮아진다. 또한, 기존의 영상방식 알고리즘을 이 모든 날씨 변화를 고려하여 설계하는 것은 어려운 일이다.
국내 공개특허 제10-2013-0068258호(2013.06.26. 공개)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 도로노면을 레이저로 주사하면서 촬영하여 노면 불량을 탐지할 수 있는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법을 제시하는 데 있다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는, 광범위한 도로의 노면불량 여부를 저비용의 장치로 탐지하면서, 날씨와 같은 주변 환경에 따라 탐지 결과의 정확도가 변하는 것을 방지할 수 있는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 영상과 레이저를 융합한 도로 노면 상태 탐지 장치는, 라인 레이저를 도로 노면에 주사하는 레이저부; 상기 도로 노면을 촬영하여 촬영 영상을 출력하는 카메라; 상기 촬영 영상을 분석하여 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 포함하는 최종 노면 불량 영역을 추출하는 탐지부; 및 상기 추출된 최종 노면 불량 영역에 해당하는 촬영 영상과 상기 추출된 최종 노면 불량 영역의 크기 정보 및 위치 정보를 매핑하여 저장부에 저장하는 제어부;를 포함한다.
상기 탐지부는, 상기 촬영 영상을 도로 노면 영상과 레이저 영상으로 분리하는 영상 분리부; 상기 도로 노면 영상을 분석하여 포트홀 후보 영역 및 맨홀 후보 영역을 추출하는 도로 노면 영상 분석부; 상기 레이저 영상을 분석하여 노면 변형 영역을 추출하는 레이저 영상 분석부; 및 상기 포트홀 후보 영역, 상기 맨홀 후보 영역 및 상기 레이저 영상을 합성한 후, 상기 레이저 영상에 포함된 라인 레이저의 모양을 이용하여 상기 최종 포트홀 영역, 상기 최종 맨홀 영역 및 상기 최종 노면 변형 영역을 결정하는 영역 결정부;를 포함한다.
상기 도로 노면 영상 분석부는, 상기 도로 노면 영상을 그레이 영상으로 변환하고, 밝기 조절, 영상 노이즈 제거 및 그림자 제거를 포함하는 필터링을 적용하여 상기 포트홀 후보 영역 및 상기 맨홀 후보 영역을 추출한다.
상기 레이저 영상 분석부는, 상기 레이저 영상의 라인 레이저 모양에서 굴곡이 발생한 부분을 추출하고, 상기 굴곡이 발생한 부분의 굴곡률이 기준 굴곡률보다 크면 상기 노면 변형 영역으로서 추출한다.
상기 영역 결정부는, 상기 라인 레이저의 끊어짐 패턴을 이용하여 상기 최종 포트홀 영역 및 상기 최종 맨홀 영역을 결정한다.
상기 영역 결정부는, 상기 레이저 영상 중 상기 라인 레이저가 단차된 부분을 단차 영역으로서 추출하고, 상기 추출된 단차 영역과 상기 포트홀 후보 영역의 영상을 포함하는 상기 최종 포트홀 영역을 결정하고, 상기 레이저 영상 중 상기 라인 레이저가 단속적으로 형성된 부분을 단속 영역으로서 추출하고, 상기 추출된 단속 영역과 상기 맨홀 후보 영역의 영상을 포함하는 상기 최종 맨홀 영역을 결정하며, 상기 노면 변형 영역을 포함하는 상기 최종 노면 변형 영역을 결정한다.
상기 레이저부와 카메라는, 상기 차량의 전면 및 후면 중 적어도 하나에 설치되며, 상기 제어부는, 상기 차량의 전면과 후면 모두에 설치된 경우, 태양이 상기 차량의 전방에 있으면 상기 전면에 설치된 레이저부를 제어하여 라인 레이저를 주사하도록 하고, 상기 태양이 상기 차량의 후방에 있으면 상기 후면에 설치된 레이저부를 제어하여 라인 레이저를 주사하도록 한다.
한편, 본 발명의 다른 실시 예에 따르면, 영상과 레이저를 융합한 도로 노면 상태 탐지 방법은, (A) 레이저 모듈로 라인 레이저를 도로 노면에 주사하는 단계; (B) 카메라가 상기 도로 노면을 촬영하여 촬영 영상을 출력하는 단계; (C) 상기 촬영 영상을 분석하여 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 포함하는 최종 노면 불량 영역을 추출하는 단계; 및 (D) 상기 추출된 최종 노면 불량 영역에 해당하는 촬영 영상과 상기 추출된 최종 노면 불량 영역의 크기 정보 및 위치 정보를 매핑하여 저장하는 단계;를 포함한다.
상기 (C) 단계는, (C1) 상기 촬영 영상을 도로 노면 영상과 레이저 영상으로 분리하는 단계; (C2) 상기 도로 노면 영상을 분석하여 포트홀 후보 영역 및 맨홀 후보 영역을 추출하는 단계; (C3) 상기 레이저 영상을 분석하여 노면 변형 영역을 추출하는 단계; 및 (C4) 상기 포트홀 후보 영역, 상기 맨홀 후보 영역 및 상기 레이저 영상을 합성한 후, 상기 레이저 영상에 포함된 라인 레이저의 모양을 이용하여 상기 최종 포트홀 영역, 상기 최종 맨홀 영역 및 상기 최종 노면 변형 영역을 결정하는 단계;를 포함한다.
본 발명에 따르면, 노면 불량 도로 위를 지나치기 전에 라인 레이저가 도달가능한 정도로 이격된 거리에서 노면 불량 도로로 라인 레이저를 주사하면서 촬영하여 불량을 탐지하고, 필요한 경우 노면 불량 도로를 피하여 주행함으로써 차량의 상태는 유지하면서 포트홀, 맨홀, 노면 변형 등과 같은 도로 상태를 보다 정확히 탐지할 수 있다.
또한, 본 발명에 따르면, 광범위한 도로의 노면불량 여부를 저비용의 장치로 탐지하면서, 날씨와 같은 주변 환경에 영향을 받지 않고도 탐지 결과의 정확도를 높일 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 영상과 레이저를 융합한 도로 노면 상태 탐지 장치가 설치된 차량을 도시한 도면,
도 2는 본 발명의 실시 예에 의한 영상과 레이저를 융합한 도로 노면 상태 탐지 장치의 블록도,
도 3은 본 발명의 실시 예에 따른 탐지부가 도로의 노면불량영역을 탐지하는 동작을 설명하기 위한 예시도,
도 4는 도로 노면 영상 분석부가 포트홀 후보 영역과 맨홀 후보 영역을 추출하는 일련의 과정을 보여주는 도면,
도 5는 포트홀 후보 영역, 맨홀 후보 영역 및 레이저 영상이 합성된 영상을 도시한 도면,
도 6은 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치가 설치되는 다른 예를 도시한 도면,
도 7은 태양의 위치에 따른 도로 노면 상태 탐지 장치를 선택하는 예를 설명하기 위한 도면,
도 8은 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치들이 설치되는 다른 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치가 스마트 폰에서도 응용되는 예를 보여주는 도면, 그리고,
도 10은 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 방법을 설명하기 위한 흐름도이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다.
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하고, 그 엘리먼트나 구성요소는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있을 것이다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 어떤 경우에는, 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
먼저, 도 1에 도시된 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(100)의 각각의 구성은 기능 및 논리적으로 분리될 수 있으며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(100)가 설치된 차량(10)을 도시한 도면이다.
도 1에 도시된 바와 같이, 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(100)는 차량(10)의 전면에 설치되어 주행 중에 라인 레이저를 주사하면서 동시에 도로 노면을 촬영하고, 촬영 결과를 이용하여 도로 노면 정보를 획득할 수 있다. 도로 노면 정보는 포트홀이나 맨홀이 있거나 굴곡에 의한 노면 변형이 일어난 곳을 노면 불량 영역으로서 판단하고, 노면 불량 영역과 관련된 정보를 포함한다.
도 2는 본 발명의 실시 예에 의한 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(100)의 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(100)는 레이저부(110), 카메라(120), 탐지부(130), 저장부(140), 통신부(150), 위치 측정부(160) 및 제어부(170)를 포함한다.
레이저부(110)는 라인 레이저를 도로 노면에 주사한다. 레이저부(110)는 레이저 다이오드를 광원으로 한 레이저 모듈로서, 선의 형태로 원하는 파장과 빔으로 레이저를 주사한다. 사용자는 레이저부(110)를 조작하여 도로폭(W)에 따라 라인 레이저가 주사되는 각도를 조절하고, 현재 차량(10)의 위치에서 라인 레이저가 도달할 도로 노면까지의 거리도 조절할 수 있다.
카메라(120)는 라인 레이저가 주사되는 동안 도로 노면을 촬영하여 촬영 영상을 출력한다.
탐지부(130)는 카메라(120)에 의해 촬영된 촬영 영상을 분석하여 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 포함하는 최종 노면 불량 영역을 추출할 수 있다.
이를 위하여, 탐지부(130)는 영상 분리부(132), 도로 노면 영상 분석부(134), 레이저 영상 분석부(136) 및 영역 결정부(138)를 포함한다. 탐지부(130)의 동작은 도 3을 참조하여 자세히 설명한다.
도 3은 본 발명의 실시 예에 따른 탐지부(130)가 도로의 노면불량영역을 탐지하는 동작을 설명하기 위한 예시도이다.
도 2 및 도 3을 참조하면, 영상 분리부(132)는 입력되는 촬영 영상(310)을 도로 노면 영상(320)과 레이저 영상(330)으로 분리한다. 촬영 영상(310) 중 초록색 선은 라인 레이저를 나타내며, 촬영 영상(310)에는 포트홀, 맨홀 및 노면 변형이 일어난 부분이 포함되어 있다. 영상 분리부(132)는 촬영 영상(310) 중 라인 레이저로 판단되는 부분을 제외한 나머지를 도로 노면 영상(320)으로서 분리할 수 있다. 라인 레이저는 일정한 색상을 가지고 있으므로, 영상 분리부(132)는 라인 레이저를 간단하게 판단할 수 있다.
도로 노면 영상 분석부(134)는 분리된 도로 노면 영상(320)을 분석하여 포트홀 후보 영역(340a) 및 맨홀 후보 영역(340b)을 추출한다(340). 도로 노면 영상 분석부(134)는, 도로 노면 영상(320)을 그레이 영상으로 변환하고, 밝기 조절, 영상 노이즈 제거 및 그림자 제거를 포함하는 필터링 등 다양한 과정을 적용하여 포트홀 후보 영역(340a) 및 맨홀 후보 영역(340b)을 추출한다.
도 4는 도로 노면 영상 분석부(134)가 포트홀 후보 영역(340a)과 맨홀 후보 영역(340b)을 추출하는 일련의 과정을 보여주는 도면이다.
도 4를 참조하면, 도로 노면 영상 분석부(134)는 크게는 1차 후보 추출과 2차 후보 추출 과정을 수행한다. 1차 후보 추출을 위하여, 도로 노면 영상 분석부(134)는 입력된 도로 노면 영상(320)을 흑백변환을 통해 컬러 정보를 없애고 데이터를 단순화한 그레이 영상을 생성한다. 그리고, 도로 노면 영상 분석부(134)는 외부 환경에 따라 변하는 영상 밝기의 영향을 줄이기 위하여 데이터 중간화를 하며, 이로써 광량에 따른 영상 분석 알고리즘의 영향을 최소화한다.
도로 노면 영상 분석부(134)는 가우시안 블러를 통해 중간화된 영상 중 고주파 성분을 제거하고, 명암 조절을 통해 도로노면의 밝은 성분(예를 들어, 차선)을 제거한다. 그리고, 도로 노면 영상 분석부(134)는 이진화를 통해 1차 포트홀 후보 영역과 1차 맨홀 후보 영역을 추출하고, 미디언 필터링과 모폴로지 연산을 통해 1차 포트홀 후보 영역과 1차 맨홀 후보 영역의 영상 노이즈를 제거한다. 이로써 1차 후보 추출이 완료된다.
다음으로, 도로 노면 영상 분석부(134)는 위치 필터링을 통해 관심 영역(ROI: Region Of Interest) 내의 1차 포트홀 후보 영역과 1차 맨홀 후보 영역만을 선택한다. 이후, 도로 노면 영상 분석부(134)는 크기 필터링을 통해 선택된 1차 포트홀 후보 영역과 1차 맨홀 후보 영역 중 임계값 이하의 작은 크기는 제거하고, 표준편차를 통해 그림자와 패치 등을 제거한다.
마지막으로, 도로 노면 영상 분석부(134)는 OHI(Ordered Histogram Intersection) 필터링을 통해 다시 그림자 및 패치를 제거하고, 비율 필터링을 통해 도로 구조물에 의해 만들어진 노이즈를 제거한다. 이로써, 2차 후보 추출이 완료되면, 그 결과 포트홀 후보 영역(340a)과 맨홀 후보 영역(340b)이 추출된다.
다시 도 3을 참조하면, 레이저 영상 분석부(136)는 레이저 영상(330)을 분석하여 노면 변형 영역을 추출한다.
레이저 영상 분석부(136)는, 레이저 영상(330)의 라인 레이저(330a) 모양에서 굴곡이 발생한 부분을 추출하고, 굴곡이 발생한 부분의 굴곡률이 기준 굴곡률보다 크면 노면 변형 영역(350a)으로서 추출한다(350). 이는, 노면이 변형되는 경우 라인 레이저(330a)는 노면의 굴곡에 의해 직선으로 주사되지 않고, 굴곡을 따라 휘는 형태로 주사되기 때문에, 촬영 영상에서도 휜 형태를 갖게 되기 때문이다.
영역 결정부(138)는 포트홀 후보 영역(340a), 맨홀 후보 영역(340b) 및 레이저 영상(330)을 융합, 즉, 합성한다.
영역 결정부(138)는 레이저 영상(330)에 포함된 라인 레이저(330a)의 모양을 이용하여 최종 포트홀 영역(370a), 최종 맨홀 영역(370b) 및 최종 노면 변형 영역(370c)을 결정한다. 영역 결정부(138)는, 라인 레이저(330a)의 끊어짐 현상을 이용하여 최종 포트홀 영역(370a) 및 최종 맨홀 영역(370b)을 결정한다. 이는 도 5를 참조하여 자세히 설명한다.
도 5는 포트홀 후보 영역(340a), 맨홀 후보 영역(340b) 및 레이저 영상(330)이 합성된 영상(360)을 도시한 도면이다.
도 5를 참조하면, 영역 결정부(138)는 레이저 영상(330) 중 라인 레이저(330a)가 단차된 부분을 단차 영역(360a)으로서 추출한다. 즉, 영역 결정부(138)는 레이저 영상(330) 중 라인 레이저(330a)가 단차지게 끊어진 후부터 다시 단차지게 연결된 부분까지를 단차 영역(360a)으로서 추출한다.
또한, 영역 결정부(138)는 레이저 영상(330) 중 라인 레이저(330a)가 단속적으로 형성된 부분을 단속 영역(360b)으로서 추출한다.
다시 도 3을 참조하면, 영역 결정부(138)는 추출된 단차 영역(360a)과 포트홀 후보 영역(340a)의 실제 영상을 이용하여 최종 포트홀 영역(370a)을 결정한다. 자세히 설명하면, 영역 결정부(138)는 단차 영역(360a)과 포트홀 후보 영역(340a)을 포함하는 사각 테두리를 형성하고, 사각 테두리, 단차 영역(360a), 포트홀 후보 영역(340a)의 영상을 포함하는 최종 포트홀 영역(370a)을 결정한다.
또한, 영역 결정부(138)는 추출된 단속 영역(360b)과 맨홀 후보 영역(340b)의 실제 영상을 이용하여 최종 맨홀 영역(370b)을 결정한다. 자세히 설명하면, 영역 결정부(138)는 단속 영역(360b)과 맨홀 후보 영역(340b)을 포함하는 사각 테두리를 형성하고, 사각 테두리, 단차 영역(360a), 맨홀 후보 영역(340b)의 영상을 포함하는 최종 포트홀 영역(370b)을 결정한다.
또한, 영역 결정부(138)는 노면 변형 영역(350a)의 영상을 포함하는 최종 노면 변형 영역(370c)을 결정한다. 자세히 설명하면, 영역 결정부(138)는 노면 변형 영역(350a)을 기준으로 사각 테두리를 형성하고, 사각 테두리와 노면 변형 영역(350a)의 영상을 포함하는 최종 노면 변형 영역(370c)을 결정한다.
저장부(140)는 탐지부(130)에서 탐지된 최종 노면 불량 영역의 크기 정보, 위치 정보 및 해당 촬영 영상을 매핑하여 저장한다. 최종 노면 불량 영역은 추출된 최종 포트홀 영역(370a), 최종 맨홀 영역(370b) 및 최종 노면 변형 영역(370c)을 포함한다.
상기 크기 정보는 최종 포트홀 영역(370a), 최종 맨홀 영역(370b) 및 최종 노면 변형 영역(370c)의 사각 테두리의 xy 좌표(즉, 촬영 영상 내에서의 좌표), 가로와 세로 길이 등을 포함한다.
상기 위치 정보는 위치 측정부(160)에서 측정된 최종 포트홀 영역(370a), 최종 맨홀 영역(370b) 및 최종 노면 변형 영역(370c)의 위치좌표이다.
상기 해당 촬영 영상은 도 3의 '370'에 도시된 것처럼, 촬영 영상(310) 중 실제 포트홀에 해당하는 영상, 실제 맨홀에 해당하는 영상, 실제 노면 변형이 일어난 곳에 해당하는 영상을 의미한다.
통신부(150)는 저장부(140)에 매핑저장된 최종 노면 불량 영역의 크기 정보, 위치 정보 및 해당 촬영 영상을 주기적으로 도로 노면 관리 서버(미도시)로 전송한다.
위치 측정부(160)는 카메라(120)가 도로의 노면을 촬영할 때 현재 차량(10)의 위치를 측정한다. 위치 측정부(160)는 GPS 모듈일 수 있다.
제어부(170)는 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(100)의 전반적인 동작을 제어한다.
예를 들어, 제어부(170)는 탐지부(130)에서 추출된 최종 노면 불량 영역의 크기 정보, 위치 정보 및 해당 촬영 영상을 매핑하여 저장부(140)에 저장되도록 한다. 예를 들어, 제어부(170)는 최종 노면 불량 영역에 해당하는 촬영 영상이 촬영된 시점과 동일한 시점에 측정된 위치 정보를 확인하여, 서로 매핑할 수 있다.
또한, 제어부(170)는 저장부(140)에 매핑저장된 최종 노면 불량 영역의 크기 정보, 위치 정보 및 해당 촬영 영상을 주기적으로 도로 노면 관리 서버(미도시)로 전송하도록 통신부(150)를 제어한다.
상술한 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(100)는 스마트 단말기 형태로 구현될 수 있으며, 레이저부(110)는 도로 노면 상태 탐지 장치(100)에 착탈가능할 수 있다.
도 6은 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(610, 620)가 설치되는 다른 예를 도시한 도면이다.
도 6을 참조하면, 영상과 레이저를 융합한 도로 노면 상태 탐지 장치(610, 620)는 차량(60)의 전면 및 후면에 설치될 수 있다. 이러한 경우, 두 개의 장치들(610, 620)를 이용하여 동일한 도로에 대해 라인 레이저(610a, 620a)를 두 번 조사하여 두 번씩 노면 상태를 탐지하고, 탐지된 두 결과를 이용함으로써 노면 상태의 탐지 결과에 대한 신뢰도를 향상시킬 수 있다.
도 7은 태양의 위치에 따른 도로 노면 상태 탐지 장치(610, 620)를 선택하는 예를 설명하기 위한 도면이다.
도 6 및 도 7과 같이 도로 노면 상태 탐지 장치들(610, 620)이 차량의 전면과 후면 모두에 설치된 경우, 사용자는 태양이 차량(60)의 전방(1번 위치)에 있으면 전면에 설치된 장치(610)를 이용하여 노면 상태를 탐지하도록 할 수 있다. 또한, 태양이 차량(60)의 후방(2번 위치)에 있으면 후면에 설치된 장치(620)를 이용하여 노면 상태를 탐지하도록 할 수 있다. 이는 태양의 위치에 따라 포트홀이 촬영되는 형태가 변화하기 때문이다. 레이저부(110)는 항시 라인 레이저를 주사하고 카메라(120)는 도로 노면을 촬영한다.
도 8은 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치들(810~840)이 설치되는 다른 예를 도시한 도면이다.
도 8을 참조하면, 영상과 레이저를 융합한 도로 노면 상태 탐지 장치들(810~840)은 차량(80)의 전면의 좌측 및 우측과, 후면의 좌측 및 우측에 설치될 수 있다. 이와 같이 장치들(810~840)을 멀티로 설치함으로써 도로의 탐지 영역을 도 8에 도시한 바와 같이 여러 차로(제1차로~제3차로)로 확대하는 것이 가능하다. 도 8의 경우, 장치(810)은 라인 레이저(810a)를 이용하여 차량(80)의 전방 제1차로 전체와 제2차로 일부를 탐지하고, 장치(820)은 라인 레이저(820a)를 이용하여 차량(80)의 전방 제2차로 일부와 제1차로 전체를 탐지한다. 장치(830, 840)도 각각 라인 레이저(830a)와 라인 레이저(840a)를 이용하여 이용하여 제3차로와 제4차로의 노면 상태를 탐지한다. 이로써, 도 8의 실시 예에 따르면, 장치들(810~840)이 동시에 탐지 가능한 영역을 확대하여 결과적으로 차량(80)이 동시에 탐지가능한 차로 수를 늘릴 수 있다.
도 9는 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 장치가 스마트 폰(900)에서도 응용되는 예를 보여주는 도면이다.
도9에 도시된 것처럼, 영상과 레이저를 융합한 도로 노면 상태 탐지 장치는 스마트 폰(900)으로 확장 가능하다. 이는, 스마트 폰(900)은 영상 카메라, GPS, 제어부, 저장부, 탐지부, 통신부 역할을 할 수 있는 컴퓨팅자원을 모두 갖추는 것이 가능하기 때문이다. 따라서, 스마트 폰(900)에 라인 레이저를 주사하는 레이저부(910)를 탈부착 형식으로 부착하고, 도로 노면 불량 탐지를 위한 영상분석 알고리즘(도 3 내지 도 5를 참조하여 설명)을 설치하여 영상과 레이저 융합 도로 노면 불량 탐지 단말기로 확장할 수 있다. 도 9의 표시부(920)에는 라인 레이저(930)를 포함한 도로 노면 영상이 표시되고 있다.
도 10은 본 발명의 실시 예에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 방법을 설명하기 위한 흐름도이다.
도 10의 영상과 레이저를 융합한 도로 노면 상태 탐지 방법을 구현하기 위한 도로 노면 상태 탐지 장치는 도 1 내지 도 9를 참조하여 설명한 도로 노면 상태 탐지 장치(100)를 예로 들 수 있다. 도로 노면 상태 탐지 장치는 도 2에 도시된 각 블록(110~170)을 포함한다.
도 10을 참조하면, 영상과 레이저를 융합한 도로 노면 상태 탐지 방법에 있어서, 사용자가 도로 노면에 주사할 레이저 각도를 조사한 후 도로 노면 상태 탐지를 개시하면, 제어부는 레이저부에게 레이저를 주사하도록 요청한다(S1010).
레이저부는 라인 레이저를 설정된 각도로 노면을 향해 주사한다(S1020).
이와 함께, 제어부는 카메라에게 라인 레이저가 주사된 도로 노면을 촬영하도록 요청한다(S1030).
카메라는 라인 레이저가 주사된 도로 노면을 촬영하여 촬영 영상을 제어부에게 전송한다(S1040). S1040단계에서 촬영된 영상은 도 3의 영상(310)과 같이 도로 노면과 라인 레이저를 포함한다.
제어부가 탐지부에게 도로의 노면 불량을 탐지하도록 요청하면(S1050), 탐지부는 촬영 영상을 도로 노면 영상과 레이저 영상으로 분리하고, 도로 노면 영상으로부터 포트홀 후보 영역과 맨홀 후보 영역을 추출한다(S1060). S1060단계에서, 탐지부는 도 4를 참조하여 설명한 것처럼 도로 노면 영상을 그레이 영상으로 변환하고, 밝기 조절, 영상 노이즈 제거 및 그림자 제거를 포함하는 필터링을 적용하여 포트홀 후보 영역 및 맨홀 후보 영역을 추출한다.
또한, 탐지부는 레이저 영상으로부터 도로의 노면 변형 영역을 추출한다(S1070). S1070단계에서, 탐지부는 레이저 영상의 라인 레이저 모양에서 굴곡이 발생한 부분을 추출하고, 굴곡이 발생한 부분의 굴곡률이 기준 굴곡률보다 크면 노면 변형 영역으로서 추출한다.
탐지부는 추출된 포트홀 후보 영역, 맨홀 후보 영역 및 노면 변형 영역으로부터 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 결정한다(S1080). S1080단계에서, 탐지부는 포트홀 후보 영역, 맨홀 후보 영역 및 레이저 영상을 융합, 즉, 합성한 후, 레이저 영상에 포함된 라인 레이저의 모양을 이용하여 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 결정한다.
예를 들어, 탐지부는 레이저 영상 중 라인 레이저가 단차된 부분을 단차 영역으로서 추출하고, 추출된 단차 영역과 포트홀 후보 영역의 영상을 포함하는 최종 포트홀 영역을 결정한다. 또한, 탐지부는 레이저 영상 중 라인 레이저가 단속적으로 형성된 부분을 단속 영역으로서 추출하고, 추출된 단속 영역과 맨홀 후보 영역의 영상을 포함하는 최종 맨홀 영역을 결정한다. 또한, 탐지부는 노면 변형 영역을 포함하는 최종 노면 변형 영역을 결정한다.
그리고, 탐지부는 추출된 노면 불량 탐지 결과, 즉, 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역 각각의 크기 정보와 실제 해당 촬영 영상을 제어부로 전송한다(S1090).
위치 측정부는 S1040단계에서 도로 노면 영상이 촬영되었을 때의 위치 정보(GPS 정보)를 제어부에게 제공한다(S1100).
제어부는 노면 불량 탐지 결과, 즉, 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역 각각의 크기 정보와 위치 정보를 실제 해당 촬영 영상과 매핑한 후 저장부에게 저장 요청한다(S1110).
저장부는 제어부에게 노면 불량 탐지 결과의 저장 완료 메시지를 전달한다(S1120).
저장부는 주기적으로, 예를 들어, 타이머에 의해 30초마다 노면 불량 탐지 결과에 대한 정보를 서버로 전송하도록 통신부에게 요청한다(S1130).
통신부는 도로 노면의 상태를 분석, 저장 및 관리하는 도로 노면 관리 서버에게 노면 불양 탐지 결과를 전송하고, 도로 노면 관리 서버로부터 노면 불량 정보의 전송이 완료되었음을 의미하는 메시지를 수신한다(S1140, S1150).
통신부는 저장부에게 또는 제어부에게 노면 불량 정보의 전송 완료 메시지를 전달한다(S1160).
한편 본 발명에 따른 스마트 단말기의 영상과 레이저를 융합한 도로 노면 상태 탐지 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다. 즉, 본 발명에 따른 영상과 레이저를 융합한 도로 노면 상태 탐지 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있으며, 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에는 하드 디스크와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
따라서, 본 발명은 영상과 레이저를 융합한 도로 노면 상태 탐지 방법을 구현하기 위하여 상기 영상과 레이저를 융합한 도로 노면 상태 탐지 장치를 제어하는 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.
10, 60, 80: 차량 100: 도로 노면 상태 탐지 장치
110: 레이저부 120: 카메라
130: 탐지부 140: 저장부
150: 통신부 160: 위치 측정부
170: 제어부

Claims (13)

  1. 영상과 레이저를 융합한 도로 노면 상태 탐지 장치에 있어서,
    라인 레이저를 도로 노면에 주사하는 레이저부;
    상기 도로 노면을 촬영하여 촬영 영상을 출력하는 카메라;
    상기 촬영 영상을 분석하여 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 포함하는 최종 노면 불량 영역을 추출하는 탐지부; 및
    상기 추출된 최종 노면 불량 영역에 해당하는 촬영 영상과 상기 추출된 최종 노면 불량 영역의 크기 정보 및 위치 정보를 매핑하여 저장부에 저장하는 제어부;를 포함하며,
    상기 탐지부는,
    상기 촬영 영상을 도로 노면 영상과 레이저 영상으로 분리하는 영상 분리부;
    상기 도로 노면 영상을 분석하여 포트홀 후보 영역 및 맨홀 후보 영역을 추출하는 도로 노면 영상 분석부;
    상기 레이저 영상을 분석하여 노면 변형 영역을 추출하는 레이저 영상 분석부; 및
    상기 포트홀 후보 영역, 상기 맨홀 후보 영역 및 상기 레이저 영상을 합성한 후, 상기 레이저 영상에 포함된 라인 레이저의 모양을 이용하여 상기 최종 포트홀 영역, 상기 최종 맨홀 영역 및 상기 최종 노면 변형 영역을 결정하는 영역 결정부;를 포함하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 도로 노면 영상 분석부는,
    상기 도로 노면 영상을 그레이 영상으로 변환하고, 밝기 조절, 영상 노이즈 제거 및 그림자 제거를 포함하는 필터링을 적용하여 상기 포트홀 후보 영역 및 상기 맨홀 후보 영역을 추출하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치.
  4. 제1항에 있어서,
    상기 레이저 영상 분석부는,
    상기 레이저 영상의 라인 레이저 모양에서 굴곡이 발생한 부분을 추출하고, 상기 굴곡이 발생한 부분의 굴곡률이 기준 굴곡률보다 크면 상기 노면 변형 영역으로서 추출하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치.
  5. 제1항에 있어서,
    상기 영역 결정부는,
    상기 라인 레이저의 끊어짐 패턴을 이용하여 상기 최종 포트홀 영역 및 상기 최종 맨홀 영역을 결정하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치.
  6. 제5항에 있어서,
    상기 영역 결정부는,
    상기 레이저 영상 중 상기 라인 레이저가 단차된 부분을 단차 영역으로서 추출하고, 상기 추출된 단차 영역과 상기 포트홀 후보 영역의 영상을 포함하는 상기 최종 포트홀 영역을 결정하고,
    상기 레이저 영상 중 상기 라인 레이저가 단속적으로 형성된 부분을 단속 영역으로서 추출하고, 상기 추출된 단속 영역과 상기 맨홀 후보 영역의 영상을 포함하는 상기 최종 맨홀 영역을 결정하며,
    상기 노면 변형 영역을 포함하는 상기 최종 노면 변형 영역을 결정하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치.
  7. 제1항에 있어서,
    상기 레이저부와 카메라는, 차량의 전면 및 후면 중 적어도 하나에 설치되며,
    상기 제어부는,
    상기 차량의 전면과 후면 모두에 설치된 경우, 태양이 상기 차량의 전방에 있으면 상기 전면에 설치된 레이저부를 제어하여 라인 레이저를 주사하도록 하고,
    상기 태양이 상기 차량의 후방에 있으면 상기 후면에 설치된 레이저부를 제어하여 라인 레이저를 주사하도록 하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 장치.
  8. 영상과 레이저를 융합한 도로 노면 상태 탐지 방법에 있어서,
    (A) 레이저 모듈로 라인 레이저를 도로 노면에 주사하는 단계;
    (B) 카메라가 상기 도로 노면을 촬영하여 촬영 영상을 출력하는 단계;
    (C) 상기 촬영 영상을 분석하여 최종 포트홀 영역, 최종 맨홀 영역 및 최종 노면 변형 영역을 포함하는 최종 노면 불량 영역을 추출하는 단계; 및
    (D) 상기 추출된 최종 노면 불량 영역에 해당하는 촬영 영상과 상기 추출된 최종 노면 불량 영역의 크기 정보 및 위치 정보를 매핑하여 저장하는 단계;를 포함하며,
    상기 (C) 단계는,
    (C1) 상기 촬영 영상을 도로 노면 영상과 레이저 영상으로 분리하는 단계;
    (C2) 상기 도로 노면 영상을 분석하여 포트홀 후보 영역 및 맨홀 후보 영역을 추출하는 단계;
    (C3) 상기 레이저 영상을 분석하여 노면 변형 영역을 추출하는 단계; 및
    (C4) 상기 포트홀 후보 영역, 상기 맨홀 후보 영역 및 상기 레이저 영상을 합성한 후, 상기 레이저 영상에 포함된 라인 레이저의 모양을 이용하여 상기 최종 포트홀 영역, 상기 최종 맨홀 영역 및 상기 최종 노면 변형 영역을 결정하는 단계;를 포함하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 (C2) 단계는,
    상기 도로 노면 영상을 그레이 영상으로 변환하고, 밝기 조절, 영상 노이즈 제거 및 그림자 제거를 포함하는 필터링을 적용하여 상기 포트홀 후보 영역 및 상기 맨홀 후보 영역을 추출하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 방법.
  11. 제8항에 있어서,
    상기 (C3) 단계는,
    상기 레이저 영상의 라인 레이저 모양에서 굴곡이 발생한 부분을 추출하고, 상기 굴곡이 발생한 부분의 굴곡률이 기준 굴곡률보다 크면 상기 노면 변형 영역으로서 추출하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 방법.
  12. 제8항에 있어서,
    상기 (C4) 단계는,
    상기 레이저 영상 중 상기 라인 레이저가 단차된 부분을 단차 영역으로서 추출하고, 상기 추출된 단차 영역과 상기 포트홀 후보 영역의 영상을 포함하는 상기 최종 포트홀 영역을 결정하는 단계;
    상기 레이저 영상 중 상기 라인 레이저가 단속적으로 형성된 부분을 단속 영역으로서 추출하고, 상기 추출된 단속 영역과 상기 맨홀 후보 영역의 영상을 포함하는 상기 최종 맨홀 영역을 결정하는 단계; 및
    상기 노면 변형 영역을 포함하는 최종 노면 변형 영역을 결정하는 단계;를 포함하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 방법.
  13. 제8항에 있어서,
    상기 레이저 모듈과 카메라가 차량의 전면과 후면 모두에 설치된 경우,
    상기 (A) 단계는,
    태양이 상기 차량의 전방에 있으면 상기 전면에 설치된 레이저 모듈이 라인 레이저를 주사하고,
    상기 태양이 상기 차량의 후방에 있으면 상기 후면에 설치된 레이저 모듈이 라인 레이저를 주사하는 것을 특징으로 하는 영상과 레이저를 융합한 도로 노면 상태 탐지 방법.
KR1020160145772A 2016-11-03 2016-11-03 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법 KR101715211B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160145772A KR101715211B1 (ko) 2016-11-03 2016-11-03 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160145772A KR101715211B1 (ko) 2016-11-03 2016-11-03 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101715211B1 true KR101715211B1 (ko) 2017-03-13

Family

ID=58411707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160145772A KR101715211B1 (ko) 2016-11-03 2016-11-03 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101715211B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101883295B1 (ko) 2017-11-14 2018-08-30 주식회사 한울씨앤비 노면 상태 감지기 및 이를 이용한 도로포장 유지관리 시스템
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200007165A (ko) 2018-07-12 2020-01-22 한국건설기술연구원 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법
KR20200048229A (ko) 2018-10-29 2020-05-08 한국건설기술연구원 차량센서 데이터를 이용한 노면 미끄럼정보 제공 시스템 및 그 방법
CN112014317A (zh) * 2019-05-29 2020-12-01 爱信精机株式会社 路面损伤检测装置以及道路信息提供系统
KR20210039935A (ko) * 2019-10-02 2021-04-12 (주)카네비컴 360도 주변을 탐지할 수 있는 라이다 시스템
KR20210067797A (ko) 2019-11-29 2021-06-08 주식회사 디투리소스 도로 노면 위험물 탐지를 위한 가중치 기반 인공지능 학습 시스템
KR20210067790A (ko) 2019-11-29 2021-06-08 주식회사 디투리소스 도로 노면 위험물 탐지 및 리워드 시스템
KR20210074433A (ko) 2019-12-11 2021-06-22 한국건설기술연구원 중력가속도 센서와 휠스피드 센서를 이용한 노면 미끄럼정보 제공 시스템 및 그 방법
KR102330612B1 (ko) 2021-08-31 2021-11-24 주식회사보다텍 도로 노면의 블랙아이스 및 블로우업 발생 예측장치
CN113901342A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 一种路网数据处理方法、装置、电子设备及存储介质
CN116704446A (zh) * 2023-08-04 2023-09-05 武汉工程大学 机场跑道路面异物实时检测方法及系统
KR102679794B1 (ko) * 2021-11-11 2024-07-01 한라대학교 산학협력단 맨홀 검사 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025577A (ko) * 2009-09-04 2011-03-10 현대자동차일본기술연구소 차량 주위 노면 정보 제공 장치
KR20130068258A (ko) 2011-12-15 2013-06-26 현대자동차주식회사 차량용 도로 노면 탐지시스템 및 도로 노면 탐지방법
KR20150012384A (ko) * 2013-07-25 2015-02-04 주식회사 솔루팜 도로 표면상의 포트홀 측정 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025577A (ko) * 2009-09-04 2011-03-10 현대자동차일본기술연구소 차량 주위 노면 정보 제공 장치
KR20130068258A (ko) 2011-12-15 2013-06-26 현대자동차주식회사 차량용 도로 노면 탐지시스템 및 도로 노면 탐지방법
KR20150012384A (ko) * 2013-07-25 2015-02-04 주식회사 솔루팜 도로 표면상의 포트홀 측정 시스템 및 방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101883295B1 (ko) 2017-11-14 2018-08-30 주식회사 한울씨앤비 노면 상태 감지기 및 이를 이용한 도로포장 유지관리 시스템
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR102109941B1 (ko) * 2018-01-23 2020-05-12 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200007165A (ko) 2018-07-12 2020-01-22 한국건설기술연구원 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법
KR20200048229A (ko) 2018-10-29 2020-05-08 한국건설기술연구원 차량센서 데이터를 이용한 노면 미끄럼정보 제공 시스템 및 그 방법
CN112014317A (zh) * 2019-05-29 2020-12-01 爱信精机株式会社 路面损伤检测装置以及道路信息提供系统
KR20210039935A (ko) * 2019-10-02 2021-04-12 (주)카네비컴 360도 주변을 탐지할 수 있는 라이다 시스템
KR102266155B1 (ko) * 2019-10-02 2021-06-17 (주)카네비컴 360도 주변을 탐지할 수 있는 라이다 시스템
KR20210067790A (ko) 2019-11-29 2021-06-08 주식회사 디투리소스 도로 노면 위험물 탐지 및 리워드 시스템
KR20210067797A (ko) 2019-11-29 2021-06-08 주식회사 디투리소스 도로 노면 위험물 탐지를 위한 가중치 기반 인공지능 학습 시스템
KR20210074433A (ko) 2019-12-11 2021-06-22 한국건설기술연구원 중력가속도 센서와 휠스피드 센서를 이용한 노면 미끄럼정보 제공 시스템 및 그 방법
KR102330612B1 (ko) 2021-08-31 2021-11-24 주식회사보다텍 도로 노면의 블랙아이스 및 블로우업 발생 예측장치
CN113901342A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 一种路网数据处理方法、装置、电子设备及存储介质
KR102679794B1 (ko) * 2021-11-11 2024-07-01 한라대학교 산학협력단 맨홀 검사 장치
CN116704446A (zh) * 2023-08-04 2023-09-05 武汉工程大学 机场跑道路面异物实时检测方法及系统
CN116704446B (zh) * 2023-08-04 2023-10-24 武汉工程大学 机场跑道路面异物实时检测方法及系统

Similar Documents

Publication Publication Date Title
KR101715211B1 (ko) 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법
KR102094341B1 (ko) 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
US7957559B2 (en) Apparatus and system for recognizing environment surrounding vehicle
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
RU2571871C2 (ru) Способ определения границ дороги, формы и положения объектов, находящихся на дороге, и устройство для его выполнения
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
KR101748524B1 (ko) 시정거리 산정을 이용한 안개 감지 장치 및 방법
JP2001216519A (ja) 交通監視装置
KR102267517B1 (ko) 도로 안개감지 장치 및 그 감지 방법
JP2014106704A (ja) 車載画像処理装置
CN103021061A (zh) 用于评估机动车的物体识别装置的方法
JP2012098045A (ja) クラック検出装置及びクラック検出プログラム
JP2007060273A (ja) 環境認識装置
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
EP2821935A2 (en) Vehicle detection method and device
KR20220074649A (ko) 인공지능(ai) 기반의 도로 노면 상태 관리 시스템 및 방법
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
CN111277956A (zh) 车辆盲区信息的采集方法及装置
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN111523368B (zh) 信息处理装置、服务器以及交通管理系统
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP2005338941A (ja) 視程検出方法および視程検出装置
CN107992789B (zh) 识别交通灯的方法、装置及车辆
KR102115792B1 (ko) 신호등에 설치된 카메라에 의한 상황감시 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant