KR101393273B1 - 노면 텍스쳐 영상 고도화 시스템 - Google Patents

노면 텍스쳐 영상 고도화 시스템 Download PDF

Info

Publication number
KR101393273B1
KR101393273B1 KR1020120140349A KR20120140349A KR101393273B1 KR 101393273 B1 KR101393273 B1 KR 101393273B1 KR 1020120140349 A KR1020120140349 A KR 1020120140349A KR 20120140349 A KR20120140349 A KR 20120140349A KR 101393273 B1 KR101393273 B1 KR 101393273B1
Authority
KR
South Korea
Prior art keywords
road surface
image
surface texture
texture image
road
Prior art date
Application number
KR1020120140349A
Other languages
English (en)
Inventor
주영은
최준석
유강민
Original Assignee
이엔지정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이엔지정보기술 주식회사 filed Critical 이엔지정보기술 주식회사
Priority to KR1020120140349A priority Critical patent/KR101393273B1/ko
Application granted granted Critical
Publication of KR101393273B1 publication Critical patent/KR101393273B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G06T5/80—

Abstract

본 발명은 도로 노면 영상을 촬영한 후 촬영된 노면 영상의 왜곡을 보정하여 노면 텍스쳐 영상을 생성함으로써 도로 노화에 따른 유지 보수 등의 업무에 활용할 수 있도록 하는 노면 텍스쳐 영상 고도화 시스템에 관한 것이다.
본 발명에 따른 노면 텍스쳐 영상 고도화 시스템은 도로 노면 방향을 향하도록 차량에 설치된 카메라(121)를 통하여 장애물이 최소화된 도로 노면을 촬영하여 도로 노면 영상 데이터를 획득하는 영상 공간정보 구축장치(100)와; 상기 영상 공간정보 구축장치(100)를 통하여 획득되는 도로 노면 영상의 왜곡 현상을 보정하여 노면 텍스쳐 영상을 생성하는 노면 텍스쳐 영상 고도화장치(200);를 포함하여 이루어져, 다른 차량이나 장애물에 가려지지 않은 완전한 상태의 도로 노면 영상을 확보하여 왜곡 현상을 보정함으로써 보다 정확한 도로 노면 영상을 획득할 수 있게 된다.

Description

노면 텍스쳐 영상 고도화 시스템 {SYSTEM FOR ADVANCED ROAD TEXTURE IMAGE}
본 발명은 노면 텍스쳐 영상 고도화 시스템에 관한 것으로, 특히 도로 노면 영상을 촬영한 후 촬영된 노면 영상의 왜곡을 보정하여 노면 텍스쳐 영상을 생성함으로써 도로 노화에 따른 유지 보수 등의 업무에 활용할 수 있도록 하는 노면 텍스쳐 영상 고도화 시스템에 관한 것이다.
근래에 들어 정보 처리 및 통신 기술이 비약적으로 발달함에 따라 지리 정보를 지도 정보 데이터로 구축하여 교통이나 도로 관리에 활용하는 방법이 많이 이용되고 있다. 특히, 이러한 지도 정보 데이터는 실제 촬영된 영상 정보 및 기 구축된 수치 지형도 등을 바탕으로 제작되고 있다.
이러한 지도 정보 데이터에 포함되는 도로 정보는 실제 계측을 통하여 생성되는데, 이러한 도로 정보는 도로의 신설이나 교통 체계의 변경 등에 따라 변화하기 때문에 정기적 또는 비정기적으로 지도 정보를 갱신(Update) 하여야 한다.
이러한 도로 정보를 실제 계측하는 방법으로는 항공기를 이용하여 항공 사진을 촬영하는 방법이 있는데, 이러한 항공 사진을 이용하는 방법은 항공기 운행에 따라 비용이 많이 소요되고, 비교적 원거리에서 항공 사진을 촬영해야 하기 때문에 고가의 정밀한 카메라를 필요로 하며, 항공 촬영시 나무나 시설물 등의 장애물에 의해 정확한 도로 사진 촬영이 어려운 문제점이 있었다.
한편, 도로 정보를 계측하는 다른 방법으로는 차량에 카메라를 설치하여 도로를 실제 주행하면서 도로 사진을 촬영하는 방법이 있다. 이러한 차량 기반의 측량 방법은 차량의 주행 전방 및 측방을 촬영할 수 있도록 복수의 카메라를 차량에 설치한 후, 차량을 주행하면서 복수의 카메라로 도로 및 도로 시설물 영상을 촬영하여 촬영된 영상 정보를 위치 좌표와 함께 데이터베이스에 저장하여 도로 시설물 관리에 이용할 수 있도록 하고 있다.
하지만, 이러한 복수의 카메라를 차량에 차량의 전방 및 측방을 촬영하여 영상을 획득하는 경우, 도로를 주행하는 다른 차량에 의해 도로 영상의 일부가 가려지기 때문에 정확한 도로 노면 영상을 확보하기 어려운 문제점이 있었다. 또한, 차량을 이동시키면서 카메라를 통하여 도로 영상을 촬영하는 경우, 차량의 기울어짐이나 촬영 각도에 따른 원근감 등에 따라 촬영 영상에 왜곡 현상이 발생하게 되어 정확한 도로 영상을 획득하는데 어려움이 있었다.
본 발명은 상기 종래 도로 영상 획득에 따른 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 카메라가 설치된 차량을 이용하여 도로 영상을 획득하는 경우 장애물에 의해 가려지지 않은 완전한 형태의 도로 노면 영상을 획득할 수 있도록 하는 노면 텍스쳐 영상 고도화 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 차량에 설치된 카메라를 통하여 획득되는 도로 노면 영상에서 발생하는 왜곡 현상을 보정하여 정확한 노면 텍스쳐 영상을 획득할 수 있도록 하는 노면 텍스쳐 영상 고도화 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 노면 텍스쳐 영상 고도화 시스템은 도로 노면을 촬영하여 노면 텍스쳐 영상을 생성하는 시스템에 있어서, 도로 노면 방향을 향하도록 차량에 설치된 카메라를 통하여 장애물이 최소화된 도로 노면을 촬영하여 도로 노면 영상 데이터를 획득하는 영상 공간정보 구축장치와; 상기 영상 공간정보 구축장치를 통하여 획득되는 도로 노면 영상의 왜곡 현상을 보정하여 노면 텍스쳐 영상을 생성하는 노면 텍스쳐 영상 고도화장치;를 포함하여 이루어진다.
상기 영상 공간정보 구축장치는 차량의 후면 외측으로 돌출되어 차량에 설치되는 지지대에 도로 노면을 수직 방향으로 향하도록 설치되어 도로 노면 영상을 촬영하는 카메라와, 상기 차량의 일측에 설치되어 카메라를 통해 촬영되는 영상의 자세 정보 및 위치 정보를 측정하는 IMU(Inertial Measurement Unit)와 GPS(Global Positioning System)과, 상기 카메라를 통하여 촬영되는 영상 정보에 상기 IMU 및 GPS를 통하여 측정된 자세 정보 및 위치 정보를 매칭하여 영상 속성정보를 생성하는 후처리부를 포함하여 이루어진다.
또한, 상기 노면 텍스쳐 영상 고도화장치는 카메라를 통하여 촬영된 도로 노면 영상 중 카메라의 왜곡이 최소화된 영역을 선정하여 추출하는 관심영역 추출부와, 상기 관심영역 추출부를 통하여 추출된 도로 노면 영상의 왜곡 형태를 파악하고 파악되는 왜곡 형태에 따라 왜곡 보정을 수행하는 왜곡 보정부와, 상기 왜곡 보정부를 통하여 왜곡이 보정된 노면 영상과 상기 노면 영상의 자세 및 위치 정보를 이용하여 노면 텍스쳐 영상을 생성하는 노면 텍스쳐 영상 생성부를 포함하여 이루어진다.
상기 관심영역 추출부는 도로 노면 영상에서 중앙을 기준으로 기 설정된 범위의 영역을 선정하여 선정된 영역의 노면 영상을 추출하는 것이 바람직하다.
또한, 상기 왜곡 보정부에는 관심영역 추출부를 통하여 추출된 도로 노면 영상에 포함된 차선의 방향이 일치하는 않는 경우 차선의 방향을 기준 차선 방향과 동일하게 일치시키는 차선 방향 조절부와, 상기 도로 노면 영상에 포함된 차선의 간격이 일정하지 않은 경우 차선 간격을 동일하게 조절하는 차선 간격 조절부가 구비되는 것이 바람직하다.
뿐만 아니라, 상기 노면 텍스쳐 영상 생성부는 노면 영상의 위치 정보를 이용하여 왜곡이 보정된 노면 영상을 공간적으로 연속되게 배열한 후, 노면 영상의 자세 정보를 이용하여 연속 배열된 노면 영상의 자세를 조절함으로써 하나의 완성된 노면 텍스쳐 영상을 생성하게 된다.
한편, 상기 노면 텍스쳐 영상 고도화장치에는 노면 텍스쳐 영상 생성부를 통하여 생성된 도로 노면 텍스쳐 영상을 지도 영상에 포함시켜 지도 영상을 편집하는 지도 영상 편집부가 구비될 수 있다.
본 발명에 따른 노면 텍스쳐 영상 고도화 시스템은 차량에 설치된 카메라가 도로 노면을 수직 방향으로 촬영함으로써 다른 차량이나 장애물에 가려지지 않은 완전한 상태의 도로 노면 영상을 확보할 수 있는 효과가 있다. 또한, 본 발명에 따른 노면 텍스쳐 영상 고도화 시스템은 차량에 설치된 카메라를 통하여 촬영된 도로 노면 영상의 왜곡 현상을 보정하여 보다 정확한 도로 노면 영상을 획득할 수 있으므로 도로 노화에 따른 유지 보수 등의 업무에 활용할 수 있게 된다.
도 1은 본 발명에 따른 노면 텍스쳐 영상 고도화 시스템의 전체적인 블록 구성도,
도 2는 본 발명에 따른 영상 공간정보 구축장치의 블록 구성도,
도 3 및 도 4는 본 발명에 따른 영상 공간정보 구축장치에 구비된 카메라의 차량 설치 개념도,
도 5는 본 발명에 따른 노면 텍스쳐 영상 고도화장치의 블록 구성도,
도 6은 본 발명에 따른 카메라를 통하여 촬영된 영상 내에서 추출되는 왜곡이 최소화된 관심 영역 일례,
도 7은 본 발명에 따른 카메라가 설치된 차량과 도로 노면이 이루는 형태 일례,
도 8은 본 발명에 따른 차량이 뒤로 기울어졌을 경우 차량에 설치된 카메라의 화각 변화 일례,
도 9는 본 발명에 따른 차량의 자세 변경에 따라 변경되는 카메라의 위치 및 화각 변화 일례,
도 10은 상기 도 9에 도시된 두 카메라의 위치를 함께 표시한 일례,
도 11은 본 발명에 따른 차량이 옆으로 기울어졌을 경우 카메라의 화각 변화의 일례,
도 12는 본 발명에 따른 도로 노면 영상에서 차선 간격이 일정하지 않은 경우의 일례,
도 13은 본 발명에 따른 도로 노면 영상에서 차선의 방향이 위쪽으로 수렴하는 경우의 일례,
도 14는 본 발명에 따른 도로 노면 영상에서 차선이 아래쪽으로 수렴하는 경우의 일례,
도 15는 본 발명에 따른 도로 노면 영상에서 오른쪽 차선의 폭이 점차 줄어드는 경우의 일례,
도 16은 본 발명에 따른 도로 노면 영상에서 왼쪽 차선의 폭이 점차 줄어드는 경우의 일례,
도 17은 본 발명에 따른 왜곡 보정부를 통하여 차선의 방향이 조절된 후 차선 간격이 조절되는 과정을 나타낸 일례,
도 18는 본 발명에 따른 두 개의 노면 영상의 위치 정보 및 자세 정보를 이용하여 연속되게 배열하는 과정 일례,
도 19는 본 발명에 따른 노면 텍스쳐 영상 생성부를 통하여 하나의 완성된 노면 텍스쳐 영상이 생성되는 과정을 나타낸 일례,
도 20은 도로 노면에 대한 항공 사진의 일례,
도 21은 본 발명에 따라 상기 도 19의 항공 사진 중 일부 도로 노면 영상을 노면 텍스쳐 영상으로 대체한 일례,
도 22는 상기 도 20에서 기존 도로 노면 영상을 대체한 노면 텍스쳐 영상의 확대 영상 일례,
도 23은 본 발명의 실시 예에 따른 노면 텍스쳐 영상 고도화장치를 통하여 노면 텍스쳐 영상이 생성되는 과정을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 노면 텍스쳐 영상 고도화 시스템의 전체적인 블록 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 노면 텍스쳐 영상 고도화 시스템은 도로 노면을 촬영하여 도로 노면 영상 데이터를 구축하는 영상 공간정보 구축장치(100)와, 상기 영상 공간정보 구축장치(100)를 통하여 구축되는 도로 노면 영상의 왜곡 현상을 보정하여 고도화된 도로 노면 텍스쳐 영상을 생성하는 노면 텍스쳐 영상 고도화장치(200)를 포함하여 이루어진다.
상기 영상 공간정보 구축장치(100)는 도로 노면에 대하여 수직 방향을 향하도록 차량에 설치된 카메라를 통하여 장애물이 없는 도로 노면 영상을 촬영하여 노면 영상을 획득하며, 노면 영상 촬영점에서의 카메라 자세 정보 및 위치 정보 등의 속성 정보를 파악하여 노면 영상과 함께 데이터베이스에 등록하게 된다.
상기 노면 텍스쳐 영상 고도화장치(200)는 영상 공간정보 구축장치(100)로부터 노면 영상 데이터를 전송받고, 전송받은 노면 영상 데이터 중 카메라 왜곡이 최소화된 영역을 추출한 후 왜곡 현상을 보정하여 노면 텍스쳐 영상을 생성하는 장치이다. 상기 노면 텍스쳐 영상 고도화장치(200)를 통하여 생성되는 노면 텍스쳐 영상은 지도(Map) 정도와 결합되어 지도 정보로 제공됨으로써, 지도상에서 더욱 정확한 도로 노면 상태를 파악할 수 있어 도로 노면의 파손이나 노화에 따른 유지 보수 등의 업무에 활용할 수 있게 된다.
도 2는 본 발명의 실시예에 따른 영상 공간정보 구축장치의 블록 구성도이고, 도 3 및 도 4는 영상 공간정보 구축장치에 구비된 카메라의 차량 설치 개념도를 나타낸 것이다.
도 2에 도시된 바와 같이, 본 발명에 따른 영상 공간정보 구축장치(100)는 영상 정보를 수집하는 영상정보 수집부(120)와, 상기 영상정보 수집부(120)를 통하여 수집된 영상 정보를 후처리하는 후처리부(130)와, 노면 텍스쳐 영상 고도화장치(200)와 통신을 설정하여 상기 후처리부(130)를 통하여 후처리된 영상 정보를 노면 텍스쳐 영상 고도화장치(200)에 제공하는 통신 인터페이스(140)와, 상기 후처리부(130)를 통하여 처리된 영상 정보를 저장하는 데이터베이스(150)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(110))를 포함하여 이루어진다.
상기 영상정보 수집부(120)에는 차량에 설치되어 차량의 이동에 따라 도로 노면 영상을 촬영하는 카메라(121)와, 영상이 저장되는 시점에 차량의 자세 정보를 파악하는 IMU(Inertial Measurement Unit)(122)와, 영상이 저장되는 시점에 차량의 위치 정보를 파악하는 GPS(Global Positioning System)(123)가 구비되어 있다. 상기 카메라(121)와 IMU(122) 및 GPS(123)를 탑재하는 수집 차량은 계획된 수집 동선에 따라 이동하게 되며, 차량의 이동에 따라 카메라(121)와 IMU(122) 및 GPS(123)는 도로 노면 영상과 자세 정보 및 위치 정보를 수집하여 후처리부(130)로 전송하게 된다.
본 발명의 실시예에서 카메라(121)를 통하여 도로 노면 영상을 촬영하는 경우 다른 차량이나 기타 장애물에 의해 도로 노면 영상이 가려지는 것을 방지하기 위하여, 카메라(121)의 촬영 방향이 도로 노면에 대하여 수직 방향을 향하도록 차량에 설치된다. 즉, 도 3과 도 4에 도시된 바와 같이, 차량의 후면에는 수평 방향으로 돌출되도록 지지대(105)가 설치되고, 이 지지대(105)에 카메라(121)가 도로 노면을 향하도록 설치되어 차량의 주행에 따라 도로 노면 영상을 촬영하게 된다. 상기 카메라(121)는 노면과 이루는 각도가 수직을 이룰수록 카메라 자체 왜곡이 최소화된 노면 영상을 취득할 수 있기 때문에 상기 카메라(121)는 도로 노면에 최대한 수직으로 향하도록 설치되는 것이 바람직하다. 하지만, 본 발명에서 상기 카메라가 도로 노면에 대하여 정확히 수직을 향하도록 설치되어야만 하는 것은 아니며, 이는 카메라가 설치되는 차량의 종류 및 지지대의 위치에 따라 카메라의 설치 각도가 적절히 변경될 수 있음은 당연하다. 본 발명의 실시예에서는 카메라 자체의 왜곡과 주변 장애물에 의한 영상 왜곡을 최소화할 수 있도록 카메라가 도로 노면에 대하여 수직±10°의 범위 내에 설치되도록 하였는데, 본 발명에서 수직 방향이라 함은 이러한 오차 범위를 포함한 개념으로 명칭된다. 이에 따라, 지지대(105)에 설치대는 카메라(121)의 촬영 화각이 차량의 뒷부분에 형성됨으로써, 차량의 이동에 따라 도로 노면을 촬영하는 경우 촬영 범위 내에 다른 차량이 들어오지 않게 되어 촬영 영상에 불필요한 장애 영상이 포함되지 않게 된다. 이때 카메라(121)의 화각은 최대한 크게 형성되는 것이 바람직한데, 특히 이 카메라(121)의 좌우 화각은 최소 하나 이상의 차선을 완전하게 포함할 수 있도록 하여 도로 노면 영상을 결합하는 경우 전체적인 폭을 갖는 도로 노면 영상이 제작될 수 있도록 하는 것이 바람직하다.
한편, 상기 IMU(122) 및 GPS(123)는 차량에 설치되어 차량의 자세 정보 및 위치 정보를 측정하게 되는데, 상기 IMU(122)는 과속방지턱과 같은 도로 노면의 평탄도에 따른 차량의 흔들림에 의해 발생하는 취득 노면 영상의 자세 정보를 획득할 수 있도록 하며, 상기 GPS(123)는 노면 텍스쳐 영상 생성시 핵심 파라미터로 사용되는 차량의 위치정보를 획득할 수 있도록 한다.
상기 후처리부(130)는 영상정보 수집부(120)를 통하여 수집되는 영상 정보를 후처리하여 영상의 품질을 향상시킨 후 데이터베이스(150)에 저장하게 된다. 이 후처리부(130)는 카메라(121)로부터 촬영되어 획득되는 영상의 밝기를 상태 확인이 가능하도록 적절히 조절한 후, 영상 내에서 도로 노면의 갈라짐 등과 같은 노면 정보를 강화하게 된다. 또한, 후처리부(130)는 밝기가 조절되고 노면 정보가 강화된 영상 정보에 IMU(122)의 자세 정보 및 GPS(123)의 위치 정보를 1대 1로 매칭하여 영상 속성정보를 생성하게 된다. 상기 후처리부(130)를 통하여 생성되는 도로 노면 영상 정보 및 영상 속성 정보는 데이터베이스(150)에 최종 등록되는데, 다음의 표 1은 상기 후처리부(130)를 통하여 생성되는 영상 속성 정보 일례를 표로 나타낸 것이다.
Figure 112012100958044-pat00001
도 5는 본 발명의 실시예에 따른 노면 텍스쳐 영상 고도화장치의 블록 구성도를 나타낸 것이다.
도 5에 도시된 바와 같이, 본 발명에 따른 노면 텍스쳐 영상 고도화장치(200)는 데이터 입출력을 담당하는 입력부(220) 및 출력부(230)와, 통신망을 통하여 외부 장치와 통신을 수행하는 통신 인터페이스(240)와, 영상 공간정보 구축장치(100)를 통하여 생성된 도로 노면 영상 정보에서 왜곡이 최소화된 노면 영상 정보를 추출하는 관심영역 추출부(250)와, 상기 관심영역 추출부(250)를 통하여 추출된 노면 영상의 왜곡 현상을 보정하는 왜곡 보정부(260)와, 왜곡이 보정된 노면 영상과 공간정보를 이용하여 노면 텍스쳐 영상을 생성하는 노면 텍스쳐 영상 생성부(270)와, 상기 노면 텍스쳐 영상 생성부(270)를 통하여 생성된 노면 텍스쳐 영상을 지도 영상 데이터에 적용시켜 지도를 편집하는 지도 영상 편집부(280)와, 상기 노면 텍스쳐 영상 고도화장치(200)를 통하여 처리되는 데이터가 저장되어 있는 데이터베이스(290)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(210)를 포함하여 이루어진다.
상기 입력부(220)는 사용자로부터 조작 데이터를 입력받는 마우스나 키보드 등의 데이터 입력장치이고, 출력부(230)는 노면 텍스쳐 영상 고도화장치(200)에 의해 처리되는 데이터를 화면에 표시하는 모니터나 프린터 등의 출력장치이다. 또한, 상기 통신 인터페이스(240)는 영상 공간정보 구축장치(100)나 기타 외부 장치와 통신을 설정하여 데이터를 송수신하는 통신 장치이다.
상기 관심영역 추출부(250)는 카메라(121)를 통하여 촬영된 도로 노면 영상 중 카메라(121)의 왜곡이 최소화된 영역을 선정하는 프로그램 모듈로서, 이 관심영역 추출부(250)는 영상 공간정보 구축장치(100)를 통하여 취득된 영상의 모든 영역을 사용하는 것이 아니라, 각 영상 내에서 노면 영상 왜곡을 최소화하기 위하여 취득한 영상 중앙을 중심으로 카메라(121)의 왜곡이 최소화되는 영역만을 추출하여 이용하게 된다. 도 6은 상기 카메라를 통하여 촬영된 영상 내에서 왜곡이 최소화된 관심 영역 일례를 나타낸 것이다.
상기 왜곡 보정부(260)는 카메라(121)를 통하여 도로 노면 영상을 촬영하는 과정에서 발생하는 영상 왜곡을 보정하는 프로그램 모듈로서, 이 왜곡 보정부(260)는 노면 영상 분석을 통하여 왜곡 형태를 파악하고 파악되는 왜곡 형태에 따라 왜곡 보정을 수행하게 된다. 카메라(121)를 통하여 촬영되는 도로 노면 영상의 왜곡 현상은 카메라(121)가 설치된 차량과 도로 노면이 이루는 형태에 따라 다르게 표현된다.
도 7은 카메라가 설치된 차량과 도로 노면이 이루는 형태 일례를 나타낸 것이다. 도 7에 도시된 바와 같이, 도로 노면을 이루는 평면을 A(도로평면)라고 하고, 카메라(121)가 설치된 차량이 이루는 평면을 B(차량평면)라고 했을 때, A와 B 두 평면이 모두 평행하다면 취득 영상의 왜곡 현상이 발생하지 않게 된다, 하지만, 도로 노면 상태에 따라 A, B 두 평면이 이루는 형태가 달라지면 차량에 설치된 카메라(121)를 통하여 취득되는 영상의 노면 왜곡 형태가 달라지게 된다. 이러한 취득 영상의 왜곡 현상은 A 평면 자체의 왜곡이 발생하는 경우와, A 평면을 기준으로 B 평면이 오른쪽 또는 왼쪽으로 기울어졌을 경우와, A 평면을 기준으로 B 평면이 앞 또는 뒤로 기울어졌을 경우 발생하게 된다.
도 8은 차량이 뒤로 기울어졌을 경우 차량에 설치된 카메라의 화각 변화 일례를 나타낸 것이다. 도 8에 도시된 바와 같이, 차량이 뒤로 기울어졌을 경우 지지대(105)를 통하여 차량에 설치된 카메라(121)의 위치가 변경됨으로써 카메라(121)의 화각이 변경되게 된다. 이에 따라 카메라(121)를 통하여 촬영되는 영상에 왜곡이 발생하게 되는데, 도 9는 이러한 차량의 자세 변경에 따른 카메라의 위치 및 화각 변화를 표시한 것이다. 도 9의 좌측은 도로 노면과 차량이 평행을 이루는 경우 카메라(121)의 화각을 나타낸 것이고 우측은 차량이 기울어짐에 따른 카메라(121)의 화각 변경을 나타낸 것이다. 도 10은 상기 도 9에 도시된 두 카메라의 위치를 함께 표시한 것이다. 또한, 도 11은 차량이 옆으로 기울어졌을 경우 카메라의 화각 변화 일례를 나타낸 것으로, 차량이 옆으로 기울어진 경우에도 카메라(121)의 위치가 변경되기 때문에 카메라(121)의 위치 변경에 따른 영상 왜곡이 발생하게 된다.
이러한 차량의 기울어짐에 따른 카메라(121)의 영상 왜곡 현상은 취득된 영상의 분석을 통하여 확인할 수 있다. 즉, 카메라(121)를 통하여 취득되는 영상에 왜곡이 발생하게 되면 영상 속의 도로 노면 차선에 변형이 오게 되는데, 이 노면 차선을 분석함으로써 영상 왜곡 형태를 확인할 수 있다.
도 12는 도로 노면 영상에서 차선 간격이 일정하지 않은 경우를 나타낸 것으로, 이러한 차선 간격이 일정하지 않은 경우는 도로 노면이 곡면을 이루었을 때 발생하게 된다.
도 13은 도로 노면 영상에서 차선의 방향이 위쪽으로 수렴하는 경우를 나타낸 것으로, 이러한 영상 내 차선의 모양이 위쪽으로 수렴하는 경우는 차량이 뒤로 기울어졌을 때 발생하게 된다. 도 14는 도로 노면 영상에서 차선이 아래쪽으로 수렴하는 경우를 나타낸 것으로, 이러한 영상 내 차선의 모양이 아래쪽으로 수렴하는 경우는 차량이 앞으로 기울어졌을 때 발생하게 된다.
도 15는 도로 노면 영상에서 오른쪽 차선의 폭이 점차 줄어드는 경우를 나타낸 것으로, 오른쪽 차선의 폭이 점점 줄어드는 현상은 것은 차량이 왼쪽으로 기울어졌을 경우 발생하게 된다. 도 16은 도로 노면 영상에서 왼쪽 차선의 폭이 점차 줄어드는 경우를 나타낸 것으로, 왼쪽 차선의 폭이 점점 줄어드는 현상은 차량이 오른쪽으로 기울어졌을 경우 발생하게 된다.
이와 같이, 차량이 기울어진 상태에서 도로 노면 영상이 촬영되면 차선에 변형이 발생하게 되는데, 본 발명에 따른 왜곡 보정부(260)는 이러한 차선의 변형을 파악한 후 변형된 차선의 위치를 조절함으로써 왜곡된 도로 노면 영상을 보정하게 된다. 이를 위하여 상기 왜곡 보정부(260)에는 차선의 방향을 평행하게 조절하는 차선 방향 조절부(261)와, 차선의 간격을 일정하게 조절하는 차선 간격 조절부(262)가 구비된다. 상기 차선 방향 조절부(261)는 도로 노면 영상에 포함된 차선들의 방향이 일치하는 않는 경우 차선의 방향을 기준 차선 방향과 동일하게 일치시키게 되며, 상기 차선 간격 조절부(262)는 도로 노면 영상에 포함된 차선들의 간격이 일정하지 않은 경우 차선 간격을 동일하게 조절하게 된다. 본 발명의 실시예에서는 이러한 차선의 방향 및 간격을 조절하여 영상 왜곡을 보정하기 위하여 어파인 변환(affine transform), 호모그라피(homography) 등의 기하학적 변환(geometric transform)을 이용하게 된다. 도 17은 이러한 왜곡 보정부를 통하여 차선의 방향이 조절된 후 차선 간격이 조절되는 과정을 나타낸 것이다.
상기 노면 텍스쳐 영상 생성부(270)는 왜곡 보정부(260)를 통하여 왜곡이 보정된 도로 노면 영상과 해당 영상의 공간정보를 이용하여 노면 텍스쳐 영상을 생성하게 된다. 즉, 각각의 도로 노면 영상에는 도로 노면 영상이 촬영되는 시점의 위치 및 자세 정보가 포함된 공간정보가 존재하므로, 이러한 영상 공간정보와 왜곡이 보정된 해당 영상 정보를 이용하여 노면 텍스쳐 영상을 생성하게 된다. 즉, 상기 노면 텍스쳐 영상 생성부(270)는 하나의 완전한 도로 노면 텍스쳐 영상을 생성하기 위하여, 노면 영상의 위치 정보를 이용하여 왜곡이 보정된 노면 영상을 공간적으로 연속되게 배열한 후, 노면 영상의 자세 정보를 이용하여 연속 배열된 노면 영상의 자세를 조절하게 된다. 이러한 노면 텍스쳐 영상 생성은 하나의 완성된 노면 텍스쳐 영상을 생성하기 위하여 모든 입력 영상에 대해 반복 수행되는데, 도 18는 두 개의 노면 영상의 위치 정보 및 자세 정보를 이용하여 연속되게 배열하는 과정 일례를 나타낸 것이고, 도 19는 노면 텍스쳐 영상 생성부를 통하여 하나의 완성된 노면 텍스쳐 영상이 생성되는 과정을 나타낸 것이다. 상기 노면 텍스쳐 영상 생성부(270)를 통하여 생성된 영상은 노면 정사영상으로서, 취득 당시의 실제 도로 노면 상태로 도로 노화에 따른 유지 보수 등의 업무 등에 활용이 가능하다.
상기 지도 영상 편집부(280)는 노면 텍스쳐 영상 생성부(270)를 통하여 생성된 노면 텍스쳐 영상을 지도 영상에 포함시켜 편집함으로써 실제 노면 영상이 포함된 지도 영상을 제작할 수 있도록 하는 프로그램이다.
도 20은 도로 노면에 대한 항공 사진의 일례를 나타낸 것이고, 도 21은 상기 도 20의 항공 사진 중 일부 도로 노면 영상을 노면 텍스쳐 영상으로 대체한 일례를 나타낸 것이다. 또한, 도 22는 상기 도 21에서 기존 도로 노면 영상을 대체한 노면 텍스쳐 영상의 확대 영상 일례로서, 도 20에 표시된 항공 사진의 일반 도로 노면 영상에 비해 노면 텍스쳐 영상은 횡단보도의 노후 상태 등 도로 노면의 상태를 그대로 보여주고 있음을 확인할 수 있다.
이하, 상기의 구성으로 이루어진 노면 텍스쳐 영상 고도화장치를 통하여 노면 텍스쳐 영상이 생성되는 과정에 대하여 설명하기로 한다.
도 23은 본 발명의 실시 예에 따른 노면 텍스쳐 영상 고도화장치를 통하여 노면 텍스쳐 영상이 생성되는 과정을 나타낸 흐름도이다.
단계 S100, S200, S300 : 먼저, 노면 텍스쳐 영상 고도화장치(200)는 노면 텍스쳐 영상을 제작하기 위하여 영상 공간정보 구축장치(100)를 통하여 생성된 도로 노면 영상 정보를 검색하게 된다(S100).
단계 S200, S300 : 검색된 노면 영상 정보는 카메라(121)를 통하여 촬영된 노면 영상과 해당 영상이 촬영되는 시점에서 GPS(123) 및 IMU(122)로 측정된 차량의 공간정보(위치 및 자세 정보)가 되며, 이는 각각 인출되어 데이터베이스(290)에 임시 저장된다.
단계 S310, S320 : 한편, 인출된 노면 영상은 관심영역 추출부(250)에 의해 카메라(121)의 왜곡이 최소화된 영역이 추출되며(S310), 추출된 노면 영상은 왜곡 보정부(260)를 통하여 왜곡 현상이 보정되게 된다(S320). 본 발명의 실시예에서 상기 관심영역 추출부(250)는 노면 영상의 중심부를 기준으로 기 설정된 범위의 영상을 추출하게 된다. 또한, 상기 왜곡 보정부(260)에 구비된 차선 방향 조절부(261)는 관심영역 추출부(250)를 통하여 추출된 노면 영상에 포함된 차선의 방향이 일치하는 않는 경우 차선의 방향을 기준 차선 방향과 동일하게 일치시키게 되며, 차선 간격 조절부(262)는 노면 영상에 포함된 차선의 간격이 일정하지 않은 경우 차선 간격을 동일하게 조절함으로써 노면 영상의 왜곡 현상을 보정하게 된다.
단계 S400, S500: 상기 왜곡 보정부(260)를 통하여 노면 영상의 보정이 이루어지게 되면, 노면 텍스쳐 영상 생성부(270)는 왜곡이 보정된 도로 노면 영상과 공간정보를 이용하여 노면 텍스쳐 영상을 생성하게 된다(S400). 즉, 영상 공간정보에 포함된 노면 영상의 위치 및 자세 정보를 이용하여 노면 텍스쳐 영상의 좌표를 파악함으로써 각 좌표에 따른 노면 텍스쳐 영상이 생성되게 된다.
단계 S500, S600 : 이러한 노면 텍스쳐 영상 생성은 모든 영상에 대하여 반복 수행되는데(S500), 마지막 노면 영상이 노면 텍스쳐 영상으로 제작되면 노면 텍스쳐 영상 생성 과정은 종료된다(S600).
상기 과정을 통하여 생성된 노면 텍스쳐 영상은 지도 영상 편집부(280)를 통하여 지도 영상 데이터에 적용되어 장애물 및 왜곡 현상이 없는 노면 정보를 지도상에 표시할 수 있게 된다.
이와 같이, 본 발명에 따른 노면 텍스쳐 영상 고도화 시스템은 도로 노면에 대하여 수직 방향으로 차량에 설치된 카메라(121)를 통하여 도로 노면을 촬영하여 도로 노면 영상 데이터를 획득하며, 획득되는 노면 영상의 왜곡 현상을 보정함으로써 장애물이나 왜곡 현상이 없는 고도화된 도로 노면 텍스쳐 영상을 생성할 수 있게 된다.
이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
100 : 영상 공간정보 구축장치 105 : 지지대
110 : 중앙제어부 120 : 영상정보 수집부
121 : 카메라 122 : IMU
123 : GPS 130 : 후처리부
140 : 통신 인터페이스 150 : 데이터베이스
200 : 노면 텍스쳐 영상 고도화장치 210 : 중앙제어부)
220 : 입력입력부 230 : 출력부
240 : 통신 인터페이스 250 : 관심영역 추출부
260 : 왜곡 보정부 261 : 차선 방향 조절부
262 : 차선 간격 조절부 270 : 노면 텍스쳐 영상 생성부
280 : 지도 영상 편집부 290 : 데이터베이스

Claims (8)

  1. 도로 노면 영상을 촬영하는 카메라(121)가 구비된 영상 정보 구축장치(100)를 통하여 획득된 도로 노면 영상의 왜곡 현상을 보정하여 노면 텍스쳐 영상을 생성하는 노면 텍스쳐 영상 고도화장치(200)가 구비된 노면 텍스쳐 영상 고도화 시스템에 있어서,
    상기 노면 텍스쳐 영상 고도화장치(200)에는 상기 카메라(121)를 통하여 촬영된 도로 노면 영상 중 카메라(121)의 왜곡이 최소화된 영역을 선정하여 추출하는 관심영역 추출부(250)와, 상기 관심영역 추출부(250)를 통하여 추출된 도로 노면 영상의 왜곡 형태를 파악하고 파악되는 왜곡 형태에 따라 왜곡 보정을 수행하는 왜곡 보정부(260)와, 상기 왜곡 보정부(260)를 통하여 왜곡이 보정된 노면 영상과 상기 노면 영상의 자세 및 위치 정보를 이용하여 노면 텍스쳐 영상을 생성하는 노면 텍스쳐 영상 생성부(270)가 구비되며,
    상기 왜곡 보정부(260)에는 상기 관심영역 추출부(250)를 통하여 추출된 도로 노면 영상에 포함된 차선의 방향이 일치하는 않는 경우 차선의 방향을 기준 차선 방향과 동일하게 일치시키는 차선 방향 조절부(261)와, 상기 도로 노면 영상에 포함된 차선의 간격이 일정하지 않은 경우 차선 간격을 동일하게 조절하는 차선 간격 조절부(262)가 구비된 것을 특징으로 하는 노면 텍스쳐 영상 고도화 시스템.
  2. 제 1항에 있어서,
    상기 영상 공간정보 구축장치(100)는
    차량의 후면 외측으로 돌출되어 차량에 설치되는 지지대(105)에 도로 노면을 수직 방향으로 향하도록 설치되어 도로 노면 영상을 촬영하는 카메라(121)와,
    상기 차량의 일측에 설치되어 카메라(121)를 통해 촬영되는 영상의 자세 정보 및 위치 정보를 측정하는 IMU(122)(Inertial Measurement Unit)와 GPS(123)(Global Positioning System)와,
    상기 카메라(121)를 통하여 촬영되는 영상 정보에 상기 IMU(122) 및 GPS(123)를 통하여 측정된 자세 정보 및 위치 정보를 매칭하여 영상 속성정보를 생성하는 후처리부(130)를 포함하여 이루어지는 것을 특징으로 하는 노면 텍스쳐 영상 고도화 시스템.
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 관심영역 추출부(250)는 도로 노면 영상에서 중앙을 기준으로 기 설정된 범위의 영역을 선정하여 선정된 영역의 노면 영상을 추출하는 것을 특징으로 하는 노면 텍스쳐 영상 고도화 시스템.
  6. 삭제
  7. 제 1항에 있어서,
    상기 노면 텍스쳐 영상 생성부(270)는
    상기 노면 영상의 위치 정보를 이용하여 왜곡이 보정된 노면 영상을 공간적으로 연속되게 배열한 후, 노면 영상의 자세 정보를 이용하여 연속 배열된 노면 영상의 자세를 조절함으로써 하나의 완성된 노면 텍스쳐 영상을 생성하는 것을 특징으로 하는 노면 텍스쳐 영상 고도화 시스템.
  8. 제 1항에 있어서,
    상기 노면 텍스쳐 영상 고도화장치(200)에는
    상기 노면 텍스쳐 영상 생성부(270)를 통하여 생성된 도로 노면 텍스쳐 영상을 지도 영상에 포함시켜 지도 영상을 편집하는 지도 영상 편집부(280)가 구비된 것을 특징으로 하는 노면 텍스쳐 영상 고도화 시스템.
KR1020120140349A 2012-12-05 2012-12-05 노면 텍스쳐 영상 고도화 시스템 KR101393273B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120140349A KR101393273B1 (ko) 2012-12-05 2012-12-05 노면 텍스쳐 영상 고도화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120140349A KR101393273B1 (ko) 2012-12-05 2012-12-05 노면 텍스쳐 영상 고도화 시스템

Publications (1)

Publication Number Publication Date
KR101393273B1 true KR101393273B1 (ko) 2014-05-09

Family

ID=50893604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120140349A KR101393273B1 (ko) 2012-12-05 2012-12-05 노면 텍스쳐 영상 고도화 시스템

Country Status (1)

Country Link
KR (1) KR101393273B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637535B1 (ko) * 2015-04-14 2016-07-07 주식회사 와이즈오토모티브 탑뷰 영상 왜곡 보정 장치 및 방법
KR101872431B1 (ko) * 2017-05-11 2018-06-28 한국도로공사 교량 신축 이음부 유간 측정 장치
CN109191884A (zh) * 2018-11-01 2019-01-11 绥化学院 安全行车系统及安全行车提醒方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059104A (ja) 2006-08-30 2008-03-13 Toyota Mapmaster:Kk 道路画像生成システム
JP2009205403A (ja) 2008-02-27 2009-09-10 Hitachi Ltd 道路標示認識装置、および道路標示認識方法
JP2010072719A (ja) 2008-09-16 2010-04-02 Ricoh Co Ltd 車載用画像処理装置及びその画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059104A (ja) 2006-08-30 2008-03-13 Toyota Mapmaster:Kk 道路画像生成システム
JP2009205403A (ja) 2008-02-27 2009-09-10 Hitachi Ltd 道路標示認識装置、および道路標示認識方法
JP2010072719A (ja) 2008-09-16 2010-04-02 Ricoh Co Ltd 車載用画像処理装置及びその画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637535B1 (ko) * 2015-04-14 2016-07-07 주식회사 와이즈오토모티브 탑뷰 영상 왜곡 보정 장치 및 방법
KR101872431B1 (ko) * 2017-05-11 2018-06-28 한국도로공사 교량 신축 이음부 유간 측정 장치
CN109191884A (zh) * 2018-11-01 2019-01-11 绥化学院 安全行车系统及安全行车提醒方法

Similar Documents

Publication Publication Date Title
KR101942063B1 (ko) 영상이미지의 오류 지점을 자동으로 확인해 갱신 및 처리하는 영상이미지 검수시스템
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR101314120B1 (ko) 3차원 도시 모델링 장치 및 방법
CN106875467B (zh) 三维城市模型快速更新方法
JP5134784B2 (ja) 空中写真測量方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
JP2016194515A (ja) 点群データ生成用画像の撮影方法、及び当該画像を用いた点群データ生成方法
JP2007323615A (ja) 画像処理装置及びその処理方法
CN106780629A (zh) 一种三维全景数据采集、建模方法
JP2007122247A (ja) 自動ランドマーク情報作成方法及びシステム
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
KR101346192B1 (ko) 항공측량 전용 촬영이미지의 실시간 정사 보정용 항공측량시스템
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
JP3808833B2 (ja) 空中写真測量方法
KR101393273B1 (ko) 노면 텍스쳐 영상 고도화 시스템
Burkhard et al. Stereovision mobile mapping: System design and performance evaluation
KR101234917B1 (ko) 가중치 적용된 임계값에 의한 영상 보정을 이용하는 3차원 공간 데이터 생성 방법 및 시스템
KR101938400B1 (ko) 입체영상지도에서의 보안지역 연출 기능을 갖는 수치도화 처리시스템
JP4851240B2 (ja) 画像処理装置及びその処理方法
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
JP2007322404A (ja) 画像処理装置及びその処理方法
JP6773473B2 (ja) 測量情報管理装置および測量情報管理方法
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템
CN116051742A (zh) 一种基于倾斜摄影数据与点云数据融合的建模方法及系统
CN115950435A (zh) 无人机巡检影像的实时定位方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee