KR101060152B1 - 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법 - Google Patents

재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법 Download PDF

Info

Publication number
KR101060152B1
KR101060152B1 KR1020110006572A KR20110006572A KR101060152B1 KR 101060152 B1 KR101060152 B1 KR 101060152B1 KR 1020110006572 A KR1020110006572 A KR 1020110006572A KR 20110006572 A KR20110006572 A KR 20110006572A KR 101060152 B1 KR101060152 B1 KR 101060152B1
Authority
KR
South Korea
Prior art keywords
image
road
road surface
real
hardware
Prior art date
Application number
KR1020110006572A
Other languages
English (en)
Inventor
박준석
이상철
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020110006572A priority Critical patent/KR101060152B1/ko
Application granted granted Critical
Publication of KR101060152B1 publication Critical patent/KR101060152B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법에 관한 것으로서, 보다 구체적으로는, (1) 차량에 부착된 카메라로부터 노면에 대한 영상을 수신하는 단계; (2) 상기 영상에서 노면 영역을 복수 개의 영상 세그먼트로 추출하는 단계; (3) 상기 영상 세그먼트에 대해 사영 기하학적 변형을 수행하여 직사각형화 하는 단계; (4) 원근법을 기반으로 하여 상기 영상 세그먼트의 크기를 동일하게 변환하는 단계; 및 (5) 상기 영상 세그먼트를 정합하여 직사각형 노면 영역을 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법에 따르면, 수신한 영상으로부터 노면 상태를 실시간으로 파악하여 노면 정보에 대한 운전자 알림 시스템을 구현함으로써 운전자의 안전을 도모할 수 있으며, 노면 정보의 실시간 업데이트를 통하여 다른 차량 운전자에게도 안전운전 가이드를 제공할 수 있다.
또한, 본 발명에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법은, 노면의 균열, 파손, 차선의 지워짐 등에 대한 고정밀도의 노면 정보를 수집 및 제공할 수 있기 때문에 도로운행의 안전성을 확보할 수 있으며, 노면 상태의 정보를 저장하여 다차원 지리정보시스템을 통해 국토 정보화를 구현할 수 있고, 중복 탐지를 회피함으로써 도로관리 비용을 혁신적으로 절감시킬 수 있다.

Description

재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법{A METHOD FOR OBSERVING ROAD STATUS USING RECONFIGURABLE HARDWARE}
본 발명은 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법에 관한 것으로서, 특히 자동차에 부착된 전방 카메라로부터 입력되는 영상을 분석함으로써 노면 표지를 검출하거나 또는 노면의 균열이나 파손 등을 효율적으로 감지할 수 있는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법에 관한 것이다.
일반적으로 자동차의 주행을 위하여 마련된 도로의 경우, 아스팔트 등의 재질로 이루어져 있으며, 표면에는 주행 경로를 구분하기 위한 차선뿐만 아니라 차량 운전자의 주행을 안내하기 위한 여러 종류의 노면 표지가 형성되어 있다. 이때 노면 표지는 좌회전이나 우회전 또는 직진 화살표, 도착지명 표지, 제한 속도 표지, 횡단보도 안내 표지 등을 포함한다.
종래의 차량 운전자들은 이와 같은 노면 표지와 표지판의 도움을 받아 목적지에 당도하였으나, 최근의 차량 운전자들은 더욱 신속하고 편리하게 목적지에 도달하기 위하여 자동차 내부에 설치된 내비게이션 장비의 안내를 받으며 운전을 하고 있다. 디스플레이를 구비한 일반적인 내비게이션의 경우, 목적지까지의 경로 안내, 제한 속도 알람, 휴게소 및 주유소 표시 등과 같이 차량 운전자의 편안한 운전을 위하여 다양한 기능을 구현하고 있다.
그러나 내비게이션은 도로를 단순한 선으로 파악하고 지도를 바탕으로 경로를 안내하여 주는 장비에 불과하기 때문에, 도로의 상태에 대한 직관적인 안내를 제공하여 주지 못한다는 단점이 있다. 일례로, 차선이나 노면 표지가 지워져 식별이 어려운 경우나 도로에 균열이 형성되어 있는 경우, 내비게이션 장비에만 의존한다면 도로의 낙후된 상태로 인하여 사고가 발생할 위험이 대폭 증가할 수 있다는 문제점이 있다. 따라서 이와 같은 문제점을 해결하기 위해서는 내비게이션을 통한 단순한 경로 안내 외에도, 노면의 상태에 대한 실질적인 가이드까지 제공해줄 수 있는 시스템이 필요하다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 수신한 영상으로부터 노면 상태를 실시간으로 파악하여 노면 정보에 대한 운전자 알림 시스템을 구현함으로써 운전자의 안전을 도모할 수 있으며, 노면 정보의 실시간 업데이트를 통하여 다른 차량 운전자에게도 안전운전 가이드를 제공할 수 있는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 노면의 균열, 파손, 차선의 지워짐 등에 대한 고정밀도의 노면 정보를 수집 및 제공할 수 있기 때문에 도로운행의 안전성을 확보할 수 있으며, 노면 상태의 정보를 저장하여 다차원 지리정보시스템을 통해 국토 정보화를 구현할 수 있고, 중복 탐지를 회피함으로써 도로관리 비용을 혁신적으로 절감시킬 수 있는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법은,
(1) 차량에 부착된 카메라로부터 노면에 대한 영상을 수신하는 단계;
(2) 상기 영상에서 노면 영역을 복수 개의 영상 세그먼트로 추출하는 단계;
(3) 상기 영상 세그먼트에 대해 사영 기하학적 변형을 수행하여 직사각형화 하는 단계;
(4) 원근법을 기반으로 하여 상기 영상 세그먼트의 크기를 동일하게 변환하는 단계; 및
(5) 상기 영상 세그먼트를 정합하여 직사각형 노면 영역을 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)는,
(2a) 상기 노면에 형성된 차선의 위치 및 각도를 파악하는 단계;
(2b) 상기 차선 사이의 공간을 노면 영역으로 판단하는 단계; 및
(2c) 상기 차선의 점선 형태를 이용하여 일정한 거리별로 상기 노면 영역을 상기 영상 세그먼트로 분할하는 단계를 포함할 수 있다.
바람직하게는,
(6) 상기 단계 (1) 내지 (5)를 반복하여 생성한 복수 개의 직사각형 노면 영역을 병합하여 노면의 평면 영상을 생성하는 단계를 더 포함할 수 있다.
바람직하게는,
(0) 복수 개의 노면 표지의 형태 및 의미를 데이터베이스에 저장하는 단계;
(7) 상기 저장된 노면 표지의 형태를 기반으로 상기 노면의 평면 영상에서 노면 표지를 추출하는 단계; 및
(8) 상기 추출된 노면 표지의 의미를 차량 운전자에게 전송하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 단계 (0) 내지 (8)은,
각 과정이 실시간으로 수행될 수 있다.
본 발명에서 제안하고 있는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법에 따르면, 수신한 영상으로부터 노면 상태를 실시간으로 파악하여 노면 정보에 대한 운전자 알림 시스템을 구현함으로써 운전자의 안전을 도모할 수 있으며, 노면 정보의 실시간 업데이트를 통하여 다른 차량 운전자에게도 안전운전 가이드를 제공할 수 있다.
또한, 본 발명에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법은, 노면의 균열, 파손, 차선의 지워짐 등에 대한 고정밀도의 노면 정보를 수집 및 제공할 수 있기 때문에 도로운행의 안전성을 확보할 수 있으며, 노면 상태의 정보를 저장하여 다차원 지리정보시스템을 통해 국토 정보화를 구현할 수 있고, 중복 탐지를 회피함으로써 도로관리 비용을 혁신적으로 절감시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 순서도.
도 2는 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 S300의 세부 순서도.
도 3은 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 노면 영역 생성 과정을 나타내는 도면.
도 4는 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 노면의 평면 영상 생성 과정을 나타내는 도면.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 순서도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법은, 복수 개의 노면 표지의 형태 및 의미를 데이터베이스에 저장하는 단계(S100), 차량에 부착된 카메라로부터 노면에 대한 영상을 수신하는 단계(S200), 영상에서 노면 영역을 복수 개의 영상 세그먼트로 추출하는 단계(S300), 영상 세그먼트에 대해 사영 기하학적 변형을 수행하여 직사각형화 하는 단계(S400), 원근법을 기반으로 하여 영상 세그먼트의 크기를 동일하게 변환하는 단계(S500), 영상 세그먼트를 정합하여 직사각형 노면 영역을 생성하는 단계(S600), 단계 S200 내지 S600을 반복하여 생성한 복수 개의 직사각형 노면 영역을 병합하여 노면의 평면 영상을 생성하는 단계(S700), 저장된 노면 표지의 형태를 기반으로 노면의 평면 영상에서 노면 표지를 추출하는 단계(S800), 추출된 노면 표지의 의미를 차량 운전자에게 전송하는 단계(S900)를 포함하여 구성될 수 있으며, 각 과정은 실시간으로 수행될 수 있다.
단계 S100에서는, 복수 개의 노면 표지의 형태 및 의미를 데이터베이스에 저장한다. 노면 표지라 함은 직진이나 좌우회전 화살표, 횡단보도 안내, 제한속도, 등을 포함한다. 노면 표지의 형태는 추후 단계 S800에서 노면에 형성된 노면 표지를 추출하기 위하여 사용되며, 노면 표지의 의미는 차량 운전자에게 알리기 위하여 사용된다. 이때 노면 표지는 시간이 지남에 따라 변경될 수 있으므로, 데이터베이스를 일정 기간마다 업데이트하여 도로에 표시될 수 있는 모든 노면 표지에 대한 정보를 저장할 수 있도록 한다.
다만 노면 표지 중 문자로 목적지를 표시한 것에 대해서는 데이터베이스에 저장하지 않는 것이 바람직하다. 이는 목적지의 경우 종류가 너무 많기 때문에 데이터베이스에 모두 저장한다면 효율이 떨어지며, 목적지는 문자의 일종이기 때문에 별도로 그 형태를 저장하지 않더라도 충분히 인식이 가능하기 때문이다.
단계 S200에서는, 차량에 부착된 카메라로부터 노면에 대한 영상을 수신한다. 이때 카메라는 자동차의 전방 중앙을 촬영하여야 하며, 영상의 수신은 실시간으로 이루어질 수 있다. 이때 노면에 대한 영상은, 반드시 카메라가 부착된 자동차가 현재 주행하고 있는 차선을 모두 포함할 정도의 화각이어야 한다.
단계 S300에서는, 영상에서 노면 영역을 복수 개의 영상 세그먼트로 추출한다. 수신한 영상에 포함된 도로는 원근법으로 인하여 이등변 삼각형 또는 사다리꼴의 형태를 나타내게 된다. 따라서 이를 직사각형 형태로 변환하여야 하는데, 단순히 노면 영역 자체를 직사각형으로 변환한다면 영상의 크기가 커짐에 따라 실시간적인 수행이 불가능할 수 있다. 따라서 본 발명은 단계 S300에서 노면 영역을 영상 세그먼트로 추출하는 과정을 선행하며, 영상 세그먼트 별로 구분된 영상 버퍼에 저장함으로써 영상처리 전용 하드웨어를 이용한 병렬 처리가 가능하도록 한다. 단계 S300에 대하여 도 2를 참조하여 더욱 상세하게 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 S300의 세부 순서도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 S300은, 노면에 형성된 차선의 위치 및 각도를 파악하는 단계(S310), 차선 사이의 공간을 노면 영역으로 판단하는 단계(S320), 차선의 점선 형태를 이용하여 일정한 거리별로 노면 영역을 영상 세그먼트로 분할하는 단계(S330)를 포함할 수 있다.
단계 S310에서는, 노면에 형성된 차선의 위치 및 각도를 파악한다. 앞서 설명한 바와 같이 노면 영역은 원근법으로 인해 거리에 따라 폭이 좁아지는 형태를 갖기 때문에, 이러한 점을 감안하여 노면 영역의 정확한 추출 과정이 수행되어야 한다. 이때 노면 영역은 차선에 의해 분리될 것이므로, 단계 S310에서는 차선의 위치와 각도를 먼저 확인할 수 있다. 보다 구체적으로 설명하자면, 차선의 위치는 영상의 중앙으로부터 (± 일정 거리)로 설정되며, 차선의 각도는 왼쪽 차선이 (일정 각도)일 경우 오른쪽 차선은 (180-일정 각도)가 된다.
단계 S320에서는, 차선 사이의 공간을 노면 영역으로 판단한다. 도로는 양측에 형성된 차선으로 구분되므로, 두 차선 사이의 공간을 하나의 노면 영역으로 판단한다면, 도로의 한 차선 부분에 대한 영상 추출이 수행될 수 있다. 이때 노면 영역은 직사각형이 아니라 사다리꼴 형태이다.
단계 S330에서는, 차선의 점선 형태를 이용하여 일정한 거리별로 노면 영역을 영상 세그먼트로 분할한다. 앞서 언급한 바와 같이 노면 영역은 사다리꼴 형태이며 이는 원근법에 의한 것이므로, 영상을 기준으로 노면 영역을 단순히 일정한 높이로 분할한다면 분할된 각 영상 세그먼트는 거리가 모두 상이하게 된다. 노면 영역에서 가까운 부분과 먼 부분은 거리가 동일하더라도 영상에서의 높이는 다르기 때문이다.
따라서 일정한 거리를 갖는 영상 세그먼트를 형성하기 위해서는, 차선의 점선 형태를 활용하는 것이 바람직하다. 즉 선이 도시된 부분과 도시되지 않은 부분이 번갈아 형성되는 점선 형태에서, 선의 유무를 기준으로 영상 세그먼트를 분할한다면 분할된 영상 세그먼트는 차선의 점선 형태가 비정상적이지 않은 이상 모두 동일한 거리에 대한 영상이 될 수 있다. 이는 차선의 점선 형태에도 동일하게 원근법이 적용될 것이기 때문이다.
단계 S400에서는, 영상 세그먼트에 대해 사영 기하학적 변형을 수행하여 직사각형화 한다. 각 영상 세그먼트는 사다리꼴의 형태이므로, 사영 기하학 파라미터를 이용하여 영상 세그먼트를 직사각형화 하는 작업이 필요하다. 이때 앞서 단계 S310에서 파악한 차선의 각도를 이용하여 사영 기하학 파라미터를 계산할 수 있다. 직사각형화 하는 과정은, 일반적인 영상이나 사진 수정 프로그램에서 사용되는 변형 툴을 이용하면 충분하므로 구체적인 설명은 생략하도록 한다. 이와 같이 직사각형화 한 영상 세그먼트는 단지 직사각형으로 영상 형태를 변형한 것에 불과하며, 거리에 따른 영상 세그먼트의 크기는 아직 원근법에 따른다.
단계 S500에서는, 원근법을 기반으로 하여 영상 세그먼트의 크기를 동일하게 변환한다. 먼 거리에 위치한 영상 세그먼트는 가까운 거리에 위치한 영상 세그먼트보다 그 크기가 크다. 따라서 영상 세그먼트의 병합을 위해서는 크기를 일치시켜야 하는데, 이때 가장 가까운 거리의 영상 세그먼트 크기를 기준으로 하여 다른 영상 세그먼트의 크기를 수정할 수 있다. 물론 이 경우 먼 거리의 영상 세그먼트의 화질이 저하될 수 있으나, 이는 단계 S700의 노면 영역을 병합하는 과정에서 일부 노면 영역이 겹치게 되어 저화질의 영상 세그먼트는 고화질의 영상 세그먼트로 대체될 수 있기 때문에 문제되지 않는다.
이와 같이 단계 S500에서는, 스카이뷰, 항공뷰 등 상단에서 내려다보는 노면의 모습을 구현하기 위하여 원근법적 영역 크기 변환을 수행하며, 영역별 원근 파라미터의 계산 값을 이용하여 실시간 고속 크기 변환을 수행할 수 있고, 이때 FPGA 내부의 로직셀을 메모리 블록화하여 블록별로 병렬 처리할 수 있다.
단계 S600에서는, 영상 세그먼트를 정합하여 직사각형 노면 영역을 생성한다. 중첩 영역의 영상 유사도를 분석하여 정합하며, 영상 픽셀별 병렬 처리 하드웨어를 이용하여 고속 영상 정합을 구현할 수 있다. 단계 S600에 대하여 도 3을 참조하여 더욱 상세하게 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 노면 영역 생성 과정을 나타내는 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 단계 S200에서 수신한 영상에 대하여, 단계 S300에서는 차선을 이용하여 노면 영역을 추출하며, 단계 S400에서는 사영 기하학적 변형을 통해 각 영상 세그먼트를 직사각형화 한다. 이후 단계 S500에서는 원근법을 기반으로 영상 세그먼트의 크기를 변환하며, 단계 S600에서는 동일한 크기를 갖는 복수 개의 영상 세그먼트를 정합함으로써 최종적으로 노면 영역을 생성할 수 있다. 이때 생성된 노면 영역은, 원근법이 적용되지 않은 노면으로서 노면의 상태를 감시하기 위한 자료로 다양하게 활용될 수 있다. 따라서 본 발명은, 단계 S600에서 생성된 노면 영역을 이용하여 도로의 균열이나 파손 등을 감시하고 차량 운전자들에게 실시간으로 관련 정보를 제공함으로써 도로 운행 안전성을 충분히 확보할 수 있으며, 또한 국토를 정보화하여 도로관리에 소모되는 비용을 혁신적으로 절감할 수 있다.
단계 S700에서는, 단계 S200 내지 S600을 반복하여 생성한 복수 개의 직사각형 노면 영역을 병합하여 노면의 평면 영상을 생성한다. 단계 S200 내지 S600을 반복할 경우 여러 개의 노면 영역이 생성되나, 노면 영역은 서로 일정 부분이 중첩될 수 있다. 따라서 단계 S700에서는 프레임별 중첩 영역에 대하여 잡음 처리 및 영상 유사도 분석을 통하여, 하나의 통합된 노면의 평면 영상을 구축하되, 카메라가 부착된 자동차의 속도 변화에 따라 발생하는 영상의 입력 속도를 감안하여, 노면 영역의 추출 빈도수를 변경시킴으로써 노면의 평면 영상의 연속성을 보장할 수 있다. 이하 단계 S700에 대하여 도 4를 참조하여 더욱 상세하게 설명하도록 한다.
도 4는 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 노면의 평면 영상 생성 과정을 나타내는 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법의 단계 S700에서는, 노면 영역에 대하여 중첩되는 부분을 파악하고, 중첩된 부분을 제거해 나가면서 복수 개의 노면 영역을 병합할 수 있다. 이때 중첩되는 부분에 대하여 먼 거리에 위치한 노면 영역의 일부분을 삭제하여 병합함으로써 최적의 화질을 구현할 수 있다.
단계 S800에서는, 저장된 노면 표지의 형태를 기반으로 노면의 평면 영상에서 노면 표지를 추출한다. 단계 S700에서 최종적으로 생성한 노면의 평면 영상에는 도로의 중앙에 노면 표지가 형성될 수 있으며, 이는 도로를 주행하고 있는 차량 운전자에게 반드시 안내되어야 하는 사항이다. 그러나 종래의 내비게이션 장비는 단순히 경로만을 안내해주는 것에 그치기 때문에 차량 운전자가 위치한 도로에 형성된 노면 표지까지는 구체적으로 알려주지 못한다는 단점이 있다. 따라서 본 발명은 단계 S800에서 노면 표지를 추출하여 차량 운전자에게 실시간으로 확인시켜 줌으로써, 차량 운전자의 현재 주행 상황에 적합한 효율적인 안전 운전 가이드 시스템을 제공할 수 있다.
단계 S900에서는, 추출된 노면 표지의 의미를 차량 운전자에게 전송한다. 차량 운전자의 휴대폰에 문자 등의 형식으로 전송할 수도 있으나, 이는 차량 운전자의 주의를 산만하게 할 수 있어 위험하므로, 본 발명은 별도의 디스플레이 장치나 스피커를 통하여 차량 운전자에게 노면 표지를 전송하는 것이 바람직하다. 따라서 본 발명은, 단순한 경로 안내뿐만 아니라 노면 표지에 대한 실질적인 안내까지 구현할 수 있으므로, 차량 운전자의 안전을 도모할 수 있다는 효과가 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S100: 복수 개의 노면 표지의 형태 및 의미를 데이터베이스에 저장하는 단계
S200: 차량에 부착된 카메라로부터 노면에 대한 영상을 수신하는 단계
S300: 영상에서 노면 영역을 복수 개의 영상 세그먼트로 추출하는 단계
S310: 노면에 형성된 차선의 위치 및 각도를 파악하는 단계
S320: 차선 사이의 공간을 노면 영역으로 판단하는 단계
S330: 차선의 점선 형태를 이용하여 일정한 거리별로 노면 영역을 영상 세그먼트로 분할하는 단계
S400: 영상 세그먼트에 대해 사영 기하학적 변형을 수행하여 직사각형화 하는 단계
S500: 원근법을 기반으로 하여 영상 세그먼트의 크기를 동일하게 변환하는 단계
S600: 영상 세그먼트를 정합하여 직사각형 노면 영역을 생성하는 단계
S700: 단계 S200 내지 S600을 반복하여 생성한 복수 개의 직사각형 노면 영역을 병합하여 노면의 평면 영상을 생성하는 단계
S800: 저장된 노면 표지의 형태를 기반으로 노면의 평면 영상에서 노면 표지를 추출하는 단계
S900: 추출된 노면 표지의 의미를 사용자에게 전송하는 단계

Claims (5)

  1. 재구성형 하드웨어를 이용하여 실시간으로 노면 상태를 감시하는 방법에 있어서,
    (1) 차량에 부착된 카메라로부터 노면에 대한 영상을 실시간으로 수신하는 단계;
    (2) 상기 수신된 영상에서 노면 영역을 복수 개의 영상 세그먼트로 추출하고, 상기 추출된 복수 개의 영상 세그먼트에 대하여 영상 세그먼트 별로 구분된 상기 재구성형 하드웨어의 영상 버퍼에 저장하는 단계;
    (3) 상기 추출되어 저장된 영상 세그먼트에 대해, 사영 기하학 파라미터를 이용하여 사영 기하학적 변형을 수행하여 직사각형화 하는 단계;
    (4) 원근법을 기반으로 하여 상기 직사각형화 된 영상 세그먼트의 크기를, 영역별 원근 파라미터의 계산 값을 이용하고 상기 재구성형 하드웨어 내부의 로직셀을 메모리 블록화하여 블록별로 병렬 처리하는 것에 의해, 동일하게 변환하는 단계; 및
    (5) 상기 크기가 동일하게 변환된 영상 세그먼트를, 영상 픽셀별 병렬 처리 하드웨어를 이용하여 정합함으로써 직사각형 노면 영역을 생성하는 단계를 포함하는 것을 특징으로 하는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법.
  2. 제1항에 있어서, 상기 단계 (2)는,
    (2a) 상기 노면에 형성된 차선의 위치 및 각도를 파악하는 단계;
    (2b) 상기 차선 사이의 공간을 노면 영역으로 판단하는 단계; 및
    (2c) 상기 차선의 점선 형태를 이용하여 일정한 거리별로 상기 노면 영역을 상기 영상 세그먼트로 분할하는 단계를 포함하는 것을 특징으로 하는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법.
  3. 제1항에 있어서,
    (6) 상기 단계 (1) 내지 (5)를 반복하여 생성한 복수 개의 직사각형 노면 영역을 병합하여 노면의 평면 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법.
  4. 제3항에 있어서,
    상기 단계 (1) 이전에,
    (0) 복수 개의 노면 표지의 형태 및 의미를 데이터베이스에 저장하는 단계를 더 포함하고,
    상기 단계 (6) 이후에,
    (7) 상기 단계 (0)에서 저장된 노면 표지의 형태를 기반으로, 상기 단계 (6)에서 생성된 상기 노면의 평면 영상에서 노면 표지를 추출하는 단계; 및
    (8) 상기 단계 (7)에서 추출된 노면 표지의 의미를 차량 운전자에게 전송하는 단계를 더 포함하는 것을 특징으로 하는 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법.
  5. 삭제
KR1020110006572A 2011-01-22 2011-01-22 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법 KR101060152B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110006572A KR101060152B1 (ko) 2011-01-22 2011-01-22 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110006572A KR101060152B1 (ko) 2011-01-22 2011-01-22 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법

Publications (1)

Publication Number Publication Date
KR101060152B1 true KR101060152B1 (ko) 2011-08-29

Family

ID=44933891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110006572A KR101060152B1 (ko) 2011-01-22 2011-01-22 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법

Country Status (1)

Country Link
KR (1) KR101060152B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101424211B1 (ko) 2013-05-22 2014-08-01 주식회사 베스트디지탈 감시 영역 설정 장치 및 방법, 이를 적용한 감시 시스템 및 방법
WO2016036126A1 (ko) * 2014-09-03 2016-03-10 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
KR101727987B1 (ko) * 2016-10-17 2017-04-18 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
WO2018199663A1 (ko) * 2017-04-26 2018-11-01 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
KR20180120122A (ko) * 2018-05-23 2018-11-05 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
KR101969842B1 (ko) 2017-12-18 2019-04-17 한국건설기술연구원 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
'노면상태 검지를 위한 레이더 신호 측정 및 분석', 최헌주, 경희대학교학위논문

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101424211B1 (ko) 2013-05-22 2014-08-01 주식회사 베스트디지탈 감시 영역 설정 장치 및 방법, 이를 적용한 감시 시스템 및 방법
EP3190565A4 (en) * 2014-09-03 2018-02-14 Shin, Dong-yun Long-range discernible image generating apparatus and method of operating same
KR20160028302A (ko) * 2014-09-03 2016-03-11 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
KR101668802B1 (ko) * 2014-09-03 2016-11-09 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
CN106796719A (zh) * 2014-09-03 2017-05-31 申东伦 远距离识别图像生成装置以及其动作方法
WO2016036126A1 (ko) * 2014-09-03 2016-03-10 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
US10373289B2 (en) 2014-09-03 2019-08-06 Dong-yun Shin Long-range discernible image generating apparatus and method of operating same
KR101727987B1 (ko) * 2016-10-17 2017-04-18 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
WO2018199663A1 (ko) * 2017-04-26 2018-11-01 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
US10970826B2 (en) 2017-04-26 2021-04-06 D Rection, Inc. Method and device for image correction in response to perspective
AU2018257146B2 (en) * 2017-04-26 2023-02-02 D Rection, Inc. Method and device for image correction in response to perspective
KR101969842B1 (ko) 2017-12-18 2019-04-17 한국건설기술연구원 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법
KR20180120122A (ko) * 2018-05-23 2018-11-05 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
KR101978271B1 (ko) * 2018-05-23 2019-05-14 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101060152B1 (ko) 재구성형 하드웨어를 이용한 실시간 노면 상태 감시 방법
US10684131B2 (en) Method and system for generating and updating vehicle navigation maps with features of navigation paths
CN109141464B (zh) 导航变道提示方法和装置
EP3673407B1 (en) Automatic occlusion detection in road network data
JP6217412B2 (ja) 自動運転支援装置、自動運転支援方法及びプログラム
CN107923132B (zh) 裂纹解析装置、裂纹解析方法以及记录介质
KR102026685B1 (ko) 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버
JP6365134B2 (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
US20150248837A1 (en) System and Method for Warning Lane Departure
US9410818B2 (en) Navigation device
JP2013123221A (ja) 道路分割体検知方法及び装置
EP1879163A1 (en) Road exit modeling using aerial image
JP2006112127A (ja) 道路管理システム
CN105549110A (zh) 一种机场跑道异物检测设备和方法
US10996070B2 (en) Route guidance apparatus and method
JP2014181927A (ja) 情報提供装置、及び情報提供プログラム
JP2007178358A (ja) 経路案内システム及び経路案内方法
JP2012128748A (ja) 車両運転支援装置
CN109931950B (zh) 一种实景导航方法、系统及终端设备
US20230085455A1 (en) Vehicle condition estimation method, vehicle condition estimation device, and vehicle condition estimation program
JP2022529337A (ja) 交通道路用のデジタル復元方法、装置及びシステム
CN113110462A (zh) 障碍物信息的处理方法及装置、作业设备
JP2023064093A (ja) 交通標識検出方法及び交通標識検出モデルのトレーニング方法
JP2015535106A5 (ko)
US20100030462A1 (en) Display control apparatus, display control method, display control program, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140612

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee