KR102125152B1 - 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법 - Google Patents

블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법 Download PDF

Info

Publication number
KR102125152B1
KR102125152B1 KR1020180168562A KR20180168562A KR102125152B1 KR 102125152 B1 KR102125152 B1 KR 102125152B1 KR 1020180168562 A KR1020180168562 A KR 1020180168562A KR 20180168562 A KR20180168562 A KR 20180168562A KR 102125152 B1 KR102125152 B1 KR 102125152B1
Authority
KR
South Korea
Prior art keywords
image
rigid body
road surface
panoramic image
frame
Prior art date
Application number
KR1020180168562A
Other languages
English (en)
Inventor
김형관
윤여산
방성덕
백승현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180168562A priority Critical patent/KR102125152B1/ko
Application granted granted Critical
Publication of KR102125152B1 publication Critical patent/KR102125152B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G06T3/0056—
    • G06K9/00798—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량용 블랙박스 카메라만을 활용하여 도로면에 대한 파노라마 이미지를 생성하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법에 관한 것으로,
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치는,
차량용 블랙박스에 의해 촬영된 영상 이미지를 입력하는 이미지 입력부; 상기 입력된 영상 이미지를 이용하여 고정된 기준 소실점을 설정하고, 상기 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 파노라마 이미지 생성부; 상기 생성된 파노라마 이미지를 출력하는 파노라마 이미지 출력부를 포함한다.

Description

블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법 {Apparatus for generating panoramic road pavement image using a vehicle-mounted camera and method of generating panoramic road pavement image}
본 발명은 도로면 파노라마 이미지 생성 장치 및 방법에 관한 것으로, 보다 구체적으로는 차량용 블랙박스 카메라만을 활용하여 도로면에 대한 파노라마 이미지를 생성하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법에 관한 것이다.
산업의 발달과 더불어 사회 간접 자본인 도로의 건설이 광범위하게 이루어지고 있다. 광범위한 도로의 건설로 인하여 그 유지 관리 비용과 시간의 소요도 국가 운영에 상당한 영향을 미치고 있다. 그로 인하여, 포장 도로의 보수에 있어서 효율적인 유지 관리가 요구되고 있다.
한편, 도로면 모니터링을 자동화하기 위해서 다양한 기기(RTK-GPS, INS, Laser scanner, Stereo camera 등)를 복합적으로 활용하는 기술이 개발되었다. 하지만 이들 기기는 모두 고가의 장비여서 그 유지 및 관리에 많은 비용에 소요되는 문제가 있다.
이러한 문제를 해결하기 위하여 저비용 기기(GPS, INS, Camera)를 활용하는 방법 또한 개발되었다. 하지만 상용 GPS의 오차는 신호가 방해 받지 않는 개활지에서도 최대 4.9m이다. 그리고 일반 차량에서 INS 정보를 얻을 수 있다는 보장이 없다.
이러한 문제를 해결하기 위하여 오직 차량용 블랙박스 카메라만을 활용하는 방법이 연구되고 있다.
(문헌1) 한국등록특허 제10-1896406호 (2018.09.03)
본 발명은 차량용 블랙박스 카메라만을 활용하여 도로면에 대한 파노라마 이미지를 생성하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치는,
차량용 블랙박스에 의해 촬영된 영상 이미지를 입력하는 이미지 입력부; 상기 입력된 영상 이미지를 이용하여 고정된 기준 소실점을 설정하고, 상기 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 파노라마 이미지 생성부; 상기 생성된 파노라마 이미지를 출력하는 파노라마 이미지 출력부를 포함한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치에 있어서, 상기 파노라마 이미지 생성부는, 상기 입력된 영상 이미지를 이용하여 고정된 기준 소실점을 설정하고, 상기 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하는 투영 변환 모듈; 상기 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하는 경로 추정 모듈; 상기 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출하는 강체 변환 모듈; 상기 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 이미지 생성 모듈을 포함한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치에 있어서, 상기 기준 소실점은, 상기 입력된 영상 이미지의 프레임 마다 존재하는 소실점들을 이용하여 정규분포 곡선을 형성하고, 상기 정규분포 곡선에서 기설정된 범위 내의 신뢰구간 내에 존재하는 소실점들에 대해 평균값을 산출하여 설정되는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치에 있어서, 상기 관심 영역은, 파노라마 이미지 생성을 위해 각각의 이미지 프레임에서 추출되는 영역으로, 상기 입력된 영상 이미지의 프레임 밑변으로부터 제1 높이에 위치하고 좌변 우변으로부터 제1 폭 만큼 떨어진 위치에 존재하는 두 점을 산출하고, 상기 기준 소실점과 상기 산출된 두 점을 연결하여 두 개의 직선을 형성한 후, 상기 두 개의 직선 상에 상기 프레임 밑변으로부터 상기 제1 높이 보다 높은 제2 높이에 존재하는 두 점을 산출한 다음, 상기 제1 높이의 두 점과 상기 제2 높이의 두 점으로 이루어진 사다리꼴 형상인 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치에 있어서, 상기 강체 변환 모듈은, 제1 프레임(#n-1)에서 추정된 차량의 이동 경로 곡선 상의 제1 픽셀로부터 상기 이동 경로 곡선 상의 제2 픽셀까지의 가로 변위, 세로 변위, 접선의 기울기 변위각을 각각 Δx, Δy, Δθ 라고 할 때, 상기 가로 변위, 세로 변위, 접선의 기울기 변위각 Δx, Δy, Δθ를 기반으로 상기 제1 프레임(#n-1)을 강체변환하고, 상기 제1 프레임(#n-1)이 배치되었던 자리에 새로운 후속의 제2 프레임(#n)을 배치하여 강체 변환을 수행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치에 있어서, 상기 강체 변환 모듈은, 상기 강체 변환된 제1 프레임과 상기 후속의 제2 프레임이 겹치는 영역에서의 픽셀 밝기값의 평균 제곱 오차(MSE)가 최소가 되는 최적 세로 변위(Δy')를 산출하고, 상기 이동 경로 곡선 상의 최적 세로 변위(Δy') 위치에서 기하학적 방법으로 최적 가로 변위(Δx')와 최적 변위각(Δθ')을 도출하여, 상기 도출된 최적 가로 변위(Δx'), 최적 세로 변위(Δy'), 최적 변위각(Δθ')을 강체변환 매개변수로 하는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치에 있어서, 상기 투영 변환된 이미지에 포함된 차선이 점선 차선 구간과 실선 차선 구간을 포함하는 경우, 상기 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 복수개 프레임의 강체변환 매개변수(Δx', Δy', Δθ')들의 평균값을, 상기 실선 차선 구간에서의 강체변환 매개변수로 설정하는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법은,
차량용 블랙박스에 의해 촬영된 영상 이미지를 입력하는 이미지 입력단계; 상기 입력된 영상 이미지를 이용하여 기준 소실점을 설정하고, 상기 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 파노라마 이미지 생성단계; 상기 생성된 파노라마 이미지를 출력하는 파노라마 이미지 출력단계;를 포함한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법에 있어서, 상기 파노라마 이미지 생성단계는, 상기 입력된 영상 이미지를 이용하여 고정된 기준 소실점을 설정하고, 상기 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하는 투영 변환 과정; 상기 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하는 경로 추정 과정; 상기 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출하는 강체 변환 과정; 상기 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 이미지 생성 과정을 포함한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법에 있어서, 상기 기준 소실점은, 상기 입력된 영상 이미지의 프레임 마다 존재하는 소실점들을 이용하여 정규분포 곡선을 형성하고, 상기 정규분포 곡선에서 기설정된 범위 내의 신뢰구간 내에 존재하는 소실점들에 대해 평균값을 산출하여 설정되는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법에 있어서, 상기 관심 영역은, 파노라마 이미지 생성을 위해 각각의 이미지 프레임에서 추출되는 영역으로, 상기 입력된 영상 이미지의 프레임 밑변으로부터 제1 높이에 위치하고 좌변 우변으로부터 제1 폭 만큼 떨어진 위치에 존재하는 두 점을 산출하고, 상기 기준 소실점과 상기 산출된 두 점을 연결하여 두 개의 직선을 형성한 후, 상기 두 개의 직선 상에 상기 프레임 밑변으로부터 상기 제1 높이 보다 높은 제2 높이에 존재하는 두 점을 산출한 다음, 상기 제1 높이의 두 점과 상기 제2 높이의 두 점으로 이루어진 사다리꼴 형상인 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법에 있어서, 상기 강체 변환 과정은, 제1 프레임(#n-1)에서 추정된 차량의 이동 경로 곡선 상의 제1 픽셀로부터 상기 이동 경로 곡선 상의 제2 픽셀까지의 가로 변위, 세로 변위, 접선의 기울기 변위각을 각각 Δx, Δy, Δθ 라고 할 때, 상기 가로 변위, 세로 변위, 접선의 기울기 변위각 Δx, Δy, Δθ를 기반으로 상기 제1 프레임(#n-1)을 강체변환하고, 상기 제1 프레임(#n-1)이 배치되었던 자리에 새로운 후속의 제2 프레임(#n)을 배치하여 강체 변환을 수행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법에 있어서, 상기 강체 변환 과정은, 상기 강체 변환된 제1 프레임과 상기 후속의 제2 프레임이 겹치는 영역에서의 픽셀 밝기값의 평균 제곱 오차(MSE)가 최소가 되는 최적 세로 변위(Δy')를 산출하고, 상기 이동 경로 곡선 상의 최적 세로 변위(Δy') 위치에서 기하학적 방법으로 최적 가로 변위(Δx')와 최적 변위각(Δθ')을 도출하여, 상기 도출된 최적 가로 변위(Δx'), 최적 세로 변위(Δy'), 최적 변위각(Δθ')을 강체변환 매개변수로 하는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법에 있어서, 상기 투영 변환된 이미지에 포함된 차선이 점선 차선 구간과 실선 차선 구간을 포함하는 경우, 상기 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 복수개 프레임의 강체변환 매개변수(Δx‘, Δy’, Δθ’)들의 평균값을, 상기 실선 차선 구간에서의 강체변환 매개변수로 설정하는 것을 특징으로 한다.
본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법은,
컴퓨터에 의해 실행되며, 차량용 블랙박스에 의해 촬영된 영상 이미지를 입력하는 이미지 입력단계; 상기 입력된 영상 이미지를 이용하여 기준 소실점을 설정하고, 상기 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 파노라마 이미지 생성단계; 상기 생성된 파노라마 이미지를 출력하는 파노라마 이미지 출력단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능한 기록 매체에 의해 실행될 수 있다.
기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.
본 발명의 실시 형태에 따르면, 차량용 블랙박스 카메라만을 활용하여 도로면에 대한 파노라마 이미지를 생성할 수 있다.
또한, 본 발명에 의해 설정된 관심 영역은 프레임마다 가변하는 소실점이 아니라 고정된 기준 소실점을 기반으로 설정되는 것이므로, 후속하는 일련의 이미지 프레임 상에서 관심 영역은 고정되게 되어 안정적인 투영 변환을 수행할 수 있다.
또한, 기존의 방법으로는 실선 차선 구간에서 최적의 강체변환 매개변수를 구할 수 없어서, 실선 차선 구간에서는 유의미한 파노라마 이미지 생성이 어려웠으나, 본 발명에서는 합리적이고 간접적인 추정에 의해 실선 차선 구간에서의 강체변환 매개변수를 설정하게 되어 유의미한 파노라마 이미지 생성이 가능하다.
도 1은 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 장치가 도시된 블록도이다.
도 2는 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 장치의 파노라마 이미지 생성부가 도시된 블록도이다.
도 3은 본 발명의 일 실시예에 따른 투영 변환 모듈의 동작 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 경로 추정 모듈의 동작 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 강체 변환 모듈의 동작 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 이미지 생성 모듈의 동작 과정을 설명하기 위한 도면이다.
도 7은 실선 차선 구간에서의 강체변환 매개변수(Δy’) 도출 과정을 한계를 설명하기 위한 도면이다.
도 8은 실선 차선 구간에서의 강체변환 매개변수(Δy’) 설정 과정을 도시적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 방법이 도시된 순서도이다.
도 10은 파노라마 이미지 생성 단계가 도시된 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 장치가 도시된 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 파노라마 이미지 생성 장치는, 이미지 입력부(100), 파노라마 이미지 생성부(200), 파노라마 이미지 출력부(300)를 포함한다.
이미지 입력부(100)는 차량용 블랙박스에 의해 촬영된 전방 도로면에 대한 영상 이미지(Input)를 입력한다. 영상 이미지는 차량용 블랙박스의 사양 및 사용자 설정에 따라 다양한 용량으로 촬영될 수 있다. 영상 이미지는 도로의 특정 구간 동안 촬영된 영상 이미지, 또는 차량 주행 중 촬영된 모든 도로면에 대한 영상 이미지일 수 있다.
이미지 입력부(100)는 예를 들어, 유선 또는 무선 통신망을 통해 실시간으로 차량용 블랙박스와 연결되어 영상 이미지를 수집 입력하거나, 차량용 블랙박스에 내장 또는 외장되는 저장 매체를 통해 수집된 영상 이미지를 입력할 수 있다.
파노라마 이미지 생성부(200)는 입력된 영상 이미지를 이용하여 기준 소실점을 설정하고, 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성한다. 이에 대해, 도 2를 참조하여 후술한다.
파노라마 이미지 출력부(300)는 파노라마 이미지 생성부(200)에 의해 생성된 파노라마 이미지(Output)를 모니터, 스크린 등의 이미지 출력 수단을 통해 출력한다.
이하, 도 2를 참조하여 파노라마 이미지 생성부(200)에 대해 설명한다. 도 2는 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 장치의 파노라마 이미지 생성부가 도시된 블록도이다.
파노라마 이미지 생성부(200)는, 차량용 블랙박스에 의해 촬영된 영상 이미지를 도로면 위에서 바라본 파노라마 이미지로 변환하여 생성한다. 이를 위해, 파노라마 이미지 생성부(200)는, 투영 변환 모듈(210)과 경로 추정 모듈(220)과 강체 변환 모듈(230)과 이미지 생성 모듈(240)을 포함한다. 상기의 모듈들(210 ~ 240)은 각각 소정의 기능을 수행하는 구성 요소로서, 하드웨어, 소프트웨어, 혹은 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 예를 들어, 상기 모듈들(210 ~ 240)은 프로그램 모듈을 의미할 수 있으며, 이는 프로세서(Processor)에 의해 실행되어 소정의 기능을 수행하는, 소프트웨어 구성요소들일 수 있다. 각각의 모듈(210 ~ 240)들의 기능에 대하여 도 3 내지 도 7을 참조하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 투영 변환 모듈의 동작 과정을 설명하기 위한 도면으로, 전방을 향하고 있는 블랙박스 영상을 하늘에서 내려다보는 관점으로 투영 변환하는 과정을 나타낸 것이다.
투영 변환 모듈(210)은 입력된 영상 이미지를 이용하여 기준 소실점을 설정하고, 기준 소실점을 기초로 설정된 관심 영역을 투영 변환한다.
먼저, 투영 변환 모듈(210)은 기준 소실점을 설정한다. 기준 소실점은 영상 이미지에 관심 영역을 특정하기 위해 사용된다. 입력된 영상 이미지에는 초당 프레임 수 X 러닝 타임(초) 만큼의 소실점(vanishing point)이 존재한다. 이상적인 상황에서는 소실점은 프레임에 관계없이 동일한 지점이어야 하는데, 차량 운행 상황, 카메라 성능 등의 외부 요인에 의해 실제로는 프레임마다 달라질 수 있다. 소실점이 프레임마다 다른 경우, 관심 영역을 특정할 수 없게 되어 적절한 투영 변환을 수행할 수 없다.
이에, 본 발명에서 투영 변환 모듈(210)은 영상 이미지의 프레임 마다 존재하는 소실점에 대해 평균과 표준편차를 산출하고, 소실점들의 분포를 정규분포로 가정하여 정규분포 내에서 기설정된 신뢰구간에 속하지 않는 소실점을 이상치로 분류하여 기준 소설점 설정이 이를 제외한다. 투영 변환 모듈(210)은 이상치를 제외한 소실점들의 평균값을 산출하고, 이를 기준 소실점으로 설정한다. 여기서, 기설정된 신뢰구간은 설정에 따라 다르게 설정될 수 있으며, 일 예로 신뢰구간은 90%일 수 있다.
이때, 기준 소실점을 설정하기 위해 영상 이미지에서 기설정된 시간 동안의 소실점들을 이용한다. 예를 들어, 10초 동안의 영상 이미지의 프레임들을 색상 및 모서리 기반으로 차선을 검출한 후, 프레임 별로 소실점(V)을 도출한다. (도 3의 (a) ~ (c) 참조) 이때, 도출된 소실점은 프레임 별로 상이하여, 파노라마 이미지 생성을 위한 관심 영역 설정은 프레임 별로 수행되어야 하기에, 시간과 비용이 많이 들게 된다.
투영 변환 모듈(210)은 프레임 별로 도출된 소실점들을 정규분포 곡선으로 나타내고, 정규분포 곡선에서 신뢰구간 내의 소실점들에 대해 평균값(평균 좌표)을 산출하여 이를 기준 소실점으로 설정한다. (도 3의 (d) 참조)
기준 소실점은 프레임에 따라 변하지 않는 고정된 소실점이다. 이러한 기준 소실점 설정은, 동일한 영상 내에서는 계속 유지되도록 하거나, 동일한 영상 내에서도 일정한 주기로 재설정될 수 있다. 또한 새로운 영상이 입력될 때마다 재설정될 수도 있다.
기준 소실점이 설정되면, 투영 변환 모듈(210)은 기준 소실점을 기반으로로 관심 영역을 설정한다. 관심 영역이라 함은, 하나의 파노라마 이미지 생성을 위해 각각의 이미지 프레임에서 추출되는 영역을 의미한다. (도 3의 (e) 참조)
관심 영역은 다음과 같이 설정한다.
먼저, 영상 이미지를 구성하는 직사각형 형상 이미지 프레임의 밑변으로부터 제1 높이에 위치하고, 좌변 우변으로부터 제1 폭 만큼 떨어진 위치에 존재하는 두 점(H1)을 산출한다.
다음, 기준 소실점과 산출된 두 점을 연결하여 두 개의 직선을 형성한다. 두 개의 직선에 대해 이미지 프레임에서 밑변으로부터 제2 높이(제1 높이 보다 높은 위치)가 되는 2개의 점(H2)을 산출한다. 제1 높이의 두 점(H1)을 연결한 선은 투영 변환될 사각형의 밑변이 되는 부분이고, 제2 높이의 두 점(H2)을 연결한 선은 투영 변환될 사각형의 윗변이 되는 부분이다.
여기서, 이미지 프레임의 세로 크기를 100이라 할 때, 상기 제1 높이는 10일 수 있고, 제2 높이는 40일 수 있다. 또한 이미지 프레임의 가로 크기를 100이라 할 때, 상기 제1 폭은 10일 수 있다.
이미지 프레임의 밑변으로부터 전체 높이 대비 10% 이내의 영역은 대부분 차량의 본넷이 촬영되는 영역이기 때문에, 파노라마 이미지 생성시 불필요한 영역이다. 또한, 이미지 프레임의 양측 변으로부터 안쪽으로 10% 이내의 영역은 대부분 도로변 주위의 구조물이나 나무 등이 촬영되는 영역이기 때문에 파노라마 이미지 생성시 불필요한 영역이다. 또한, 이미지 프레임의 밑변으로부터 전체 높이 대비 40%를 초과하는 부분은 선행 차량이 촬영될 수 있는 영역이므로 파노라마 이미지 생성시 불필요한 영역이다. 따라서, 투영 변환 모듈(210)은 이 영역들을 제외한 나머지 영역을 관심 영역으로 설정한다. 상기에서 예시한 수치들은 도로 환경 및 사용자 설정에 따라 변경될 수도 있다.
상기와 같은 과정으로 산출된 관심 영역 - 즉 제1 높이의 두 점 및 제2 높이의 두 점이 형성하는 사다리꼴 형상의 사각형 - 에 대해 직사각형 형상으로 변환하는 투영 변환을 수행하여, 차량 주행 방향 전방을 향하는 블랙박스 영상 이미지를 도로면 위에서 바라본 이미지로 변환한다. (도 3의 (f) 참조)
본 발명의 투영 변환 모듈(210)에 의해 설정된 관심 영역은 프레임마다 가변하는 소실점이 아니라 고정된 기준 소실점을 기반으로 설정되는 것이므로, 후속하는 일련의 이미지 프레임 상에서 고정되어 안정적인 투영 변환을 수행할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 경로 추정 모듈의 동작 과정을 설명하기 위한 도면으로, 차선을 검출함으로써 차량의 이동 경로를 추정하는 과정을 나타낸 것이다.
경로 추정 모듈(220)은 투영 변환된 이미지에 포함된 차선으로부터 차량의 이동 경로를 추정한다. 투영 변환 모듈(210)에 의해 투영 변환된 이미지는 검정색 계열의 어두운 도로면과 밝은 색(흰색, 주황색 등) 계열의 차선을 포함한다. 점선 차선인 경우, 차선을 이루는 밝은 색에 의해 밝기값이 크게 증가하였다가 도로면 부분에서 다시 크게 감소하는 부분이 생기므로, 이 부분을 차선으로 판단한다. 직선 차선인 경우에도, 주변의 색보다 밝기값이 큰 부분이 있으므로, 이 부분을 차선으로 판단한다. 이와 같은 방법으로 투영 변환된 이미지에서 차량 좌우측의 차선을 검출한다. (도 4의 (a), (b) 참조)
이때, 검출된 좌우 차선은 좌우 차선을 나타내는 복수 개의 점들로 이루어질 수 있다. 이 경우, 복수 개의 점들에 대해 곡선 추정법(Curve Estimation)을 수행하여 이어진 차선 형태로 변환할 수 있다. 단, 곡선 추정법 수행시, 이상치에 의한 영향을 최소화하도록 RANSAC(RANdom SAmple Consensus) 기법을 사용한다. (도 4의 (c) 참조)
이와 같이 좌우측의 차선이 검출되면, 좌우측 차선의 중점을 산출하고, 산출된 중점들에 대해 다시 RANSAC 기법을 적용하여 중앙 곡선을 도출하고, 이를 투영 변환 모듈(210)에 의해 투영 변환된 이미지 위에 표시한다. 이 중앙 곡선(녹색으로 표시된 선)은 차량의 추정된 이동 경로이다. (도 4의 (d) 참조)
도 5는 본 발명의 일 실시예에 따른 강체 변환 모듈의 동작 과정을 설명하기 위한 도면으로, 이미지 정합을 위하여 최적의 프레임 이동 및 회전량을 결정하는 과정을 나타낸 것이다.
강체 변환 모듈(230)은 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한다. 전술한 투영 변환 모듈(210)에 의해 고정된 기준 소실점을 기반으로 안정적인 차량 전방 방향(y 방향)의 투영 변환을 하였으므로, 강체 변환 모듈(230)은 평행이동(x 방향) 및 회전(θ 방향)에 대한 변환만을 수행한다.
평행이동량(Δx)과 회전량(Δθ)을 결정하기 위해 경로 추정 모듈(220)에서 추정된 차량 이동 경로 곡선을 다음과 같이 이용한다.
투영 변환된 기존 프레임(#n-1)에서 추정된 차량의 이동 경로 곡선은 이미지 상에서 픽셀로 표현된다. (도 5의 (a) 참조) 이동 경로 곡선 상의 임의의 제1 픽셀(도면에서는 맨 아래 픽셀)로부터 이동 경로 곡선 상의 임의의 제2 픽셀까지의 가로 변위, 세로 변위, 접선의 기울기 변위각을 각각 Δx, Δy, Δθ 라고 할 때, 도출된 변위 및 변위각 Δx, Δy, Δθ를 기반으로 투영 변환된 기존 프레임(#n-1)을 강체변환하고, 기존 프레임(#n-1)이 배치되었던 자리에 새로운 후속의 투영 변환된 프레임(#n)을 배치시킨다. (도 5의 (b), (c) 참조)
그 다음, 강체 변환된 기존 프레임(#n-1)과 새로운 프레임(#n)이 겹치는 영역을 도출하고, 겹치는 영역에서의 평균 제곱 오차(Mean Square Error, MSE, 식(1) 참조)를 산출한다. 즉, 겹치는 영역에서의 픽셀 밝기값 차이를 제곱하고 이를 평균하여, 겹쳐진 영역의 유사도를 측정한다. (도 5의 (d) 참조)
식 (1) :
Figure 112018129858826-pat00001
여기서, MSE는 구하고자 하는 픽셀 밝기값 차이 제곱의 평균, P는 연속된 두 프레임이 겹치는 구간의 픽셀의 개수, In는 프레임(#n)의 밝기값, qi는 겹치는 영역에 존재하는 임의의 픽셀이다.
연속된 두 프레임이 가장 유사한 순간은 MSE값이 최소가 되는 때이므로, Δy를 독립변수로 하고, MSE를 종속변수로 하여, MSE가 최소가 되는 Δy'를 구한다. Δy’가 결정되면, Δy’에서의 차량의 이동 곡선으로부터 기하학적 방법에 의해 Δx‘, Δθ’를 도출한다. 이와 같이 도출된 변위값들(Δx‘, Δy’, Δθ’)이 강체변환 매개변수이다. (도 5의 (e) 참조)
한편, 도로면이 곡선이 아닌 직선인 경우, 연속되는 두 프레임에서 Δx‘, Δθ’는 0이 된다. 따라서, 식 (1)의 결과값이 최소가 되는 Δy’가 강체변환 매개변수가 되고, 다음과 같이 표현된다. (0, Δy’, 0)
도 6은 본 발명의 일 실시예에 따른 이미지 생성 모듈의 동작 과정을 설명하기 위한 도면으로, 최적의 프레임 이동 및 회전량을 기반으로 도로면 파노라마 이미지를 생성하는 과정을 나타낸 것이다.
이미지 생성 모듈(240)은 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성한다.
먼저, 1번째 프레임에서 (n-1)번째 프레임까지 정합된 파노라마 이미지(#n-1)에 대해 강체 변환 모듈(230)에 의해 도출된 강체변환 매개변수를 이용하여 강체변환을 수행한다.
그 다음, (n-1)번째 프레임이 있던 자리에 투영 변환된 새로운 프레임(#n)을 배치하여 정합한다. 이러한 과정을 반복하여 순차적으로 영상 이미지의 모든 프레임을 정합하여 도로면 파노라마 이미지를 생성한다.
한편, 도 7에 예시된 바와 같이, 점선 차선 구간이 끝나고 실선 차선 구간이 시작될 경우, 실선 차선 구간의 연속된 두 프레임은 유사하여, 상기 식 (1)의 결과값이 아래로 볼록한 2차 함수 형태(도 5의 (d) 참조)가 되지 않아서, Δy’값을 결정할 수 없게 되는 문제가 있다. 그 결과, 강체변환 매개변수(Δx‘, Δy’, Δθ’)는 도출되지 않게 되어 파노라마 이미지 생성에 문제가 생기게 된다.
본 발명에서는 이를 해결하기 위해 합리적이고 간접적인 추정에 의해 실선 차선 구간에서의 강체변환 매개변수(Δx‘, Δy’, Δθ’)를 “설정”한다. 즉, 실선 차선 구간에서는 식 (1)을 수행하지 않는다.
본 발명에서는 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 n개 프레임의 강체변환 매개변수(Δx‘, Δy’, Δθ’)들의 평균값을 해당 실선 차선 구간에서의 강체변환 매개변수(Δx‘, Δy’, Δθ’)로 “설정”한다. 예를 들어, 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 100개의 강체변환 매개변수(Δx‘, Δy’, Δθ’)를 평균하여, 그 평균값을 해당 실선 차선 구간에서의 강체변환 매개변수(Δx‘, Δy’, Δθ’)로 “설정”한다.
도 8에는 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 강체변환 매개변수(Δx‘, Δy’, Δθ’)를 평균한 값을 Δy1’으로 표시하였고, 실선 구간의 강체변환 매개변수를 Δy2’로 표시하였다. 본 발명에 따르면, 실선 구간의 강체변환 매개변수 Δy2’ = Δy1’이다.
상기와 같이, 실제로 도출된 강체변환 매개변수가 아니라, 설정된 강체변환 매개변수를 사용하더라도, 직선 차선 구간은 유한한 길이를 갖는 것이므로, 유효한 도로면 파노라마 이미지를 생성할 수 있게 된다. 더 나아가, 해당 직선 차선 구간에서의 차량의 속도가 일정한 경우, 설정에 의한 강체변환 매개변수를 적용하더라도 실제 파노라마 이미지와 더욱 유사하게 생성될 수 있음을 본 발명의 발명자들은 확인하였다.
다음으로, 도 9 및 도 10을 참조하여 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 방법을 설명한다. 도 9는 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 방법이 도시된 순서도이고, 도 10은 파노라마 이미지 생성 단계가 도시된 순서도이다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 도로면 파노라마 이미지 생성 방법은, 이미지 입력 단계(S100), 파노라마 이미지 생성 단계(S200), 파노라마 이미지 출력 단계(S300)를 포함한다.
이미지 입력 단계(S100)에서는 차량용 블랙박스에 의해 촬영된 전방 도로면에 대한 영상 이미지(Input)를 입력한다. 이미지 입력은, 예를 들어, 유선 또는 무선 통신망을 통해 실시간으로 차량용 블랙박스와 연결되어 영상 이미지를 수집 입력하거나, 차량용 블랙박스에 내장 또는 외장되는 저장 매체를 통해 수집된 영상 이미지를 입력할 수 있다.
파노라마 이미지 생성 단계(S200)는 입력된 영상 이미지를 이용하여 기준 소실점을 설정하고, 기준 소실점을 기초로 설정된 관심 영역을 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성한다. 이에 대해, 도 10을 참조하여 후술한다.
파노라마 이미지 출력 단계(S300)는 파노라마 이미지 생성 단계(S200)에서 생성된 파노라마 이미지(Output)를 모니터, 스크린 등의 이미지 출력 수단을 통해 출력한다.
이하, 도 10을 참조하여 파노라마 이미지 생성 단계(S200)를 설명한다.
파노라마 이미지 생성 단계(S200)는, 차량용 블랙박스에 의해 촬영된 영상 이미지를 도로면 위에서 바라본 파노라마 이미지로 변환하여 생성한다. 이를 위해, 파노라마 이미지 생성 단계(S200)는, 투영 변환 과정(S210)과 경로 추정 과정(S220)과 강체 변환 과정(S230)과 이미지 생성 과정(S240)을 포함한다.
투영 변환 과정(S210)은 입력된 영상 이미지를 이용하여 기준 소실점을 설정하고, 기준 소실점을 기초로 설정된 관심 영역을 투영 변환한다.
투영 변환 과정(S210)은 영상 이미지의 프레임 마다 존재하는 소실점에 대해 평균과 표준편차를 산출하고, 소실점들의 분포를 정규분포로 가정하여 정규분포 내에서 기설정된 신뢰구간에 속하지 않는 소실점을 이상치로 분류하여 기준 소설점 설정이 이를 제외한다.
투영 변환 과정(S210)은 이상치를 제외한 소실점들의 평균값을 산출하고, 이를 기준 소실점으로 설정한다. 여기서, 기설정된 신뢰구간은 설정에 따라 다르게 설정될 수 있으며, 일 예로 신뢰구간은 90%일 수 있다. 기준 소실점을 기초로 관심 영역을 설정하는 방법은 전술한 바와 같다.
투영 변환 과정(S210)에서 산출된 관심 영역에 대해 직사각형 형상으로 변환하는 투영 변환을 수행하여, 차량 주행 방향 전방을 향하는 블랙박스 영상 이미지를 도로면 위에서 바라본 이미지로 변환한다.
경로 추정 과정(S220)은 투영 변환된 이미지에 포함된 차선으로부터 차량의 이동 경로를 추정한다. 투영 변환된 이미지는 검정색 계열의 어두운 도로면과 밝은 색(흰색, 주황색 등) 계열의 차선을 포함한다. 점선 차선인 경우, 차선을 이루는 밝은 색에 의해 밝기값이 크게 증가하였다가 도로면 부분에서 다시 크게 감소하는 부분이 생기므로, 이 부분을 차선으로 판단한다. 직선 차선인 경우에도, 주변의 색보다 밝기값이 큰 부분이 있으므로, 이 부분을 차선으로 판단한다. 이와 같은 방법으로 투영 변환된 이미지에서 차량 좌우측의 차선을 검출하고, 차량 좌우측 차선의 중앙 곡선을 차량의 이동 경로로 추정한다.
강체 변환 과정(S230)은 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한다. 전술한 투영 변환 과정(S210)에서 고정된 기준 소실점을 기반으로 안정적인 차량 전방 방향(y 방향)의 투영 변환을 하였으므로, 강체 변환 과정(S230)은 평행이동(x 방향) 및 회전(θ 방향)에 대한 변환만을 수행한다.
강체 변환 과정(S230)은, 제1 프레임(#n-1)에서 추정된 차량의 이동 경로 곡선 상의 제1 픽셀로부터 이동 경로 곡선 상의 제2 픽셀까지의 가로 변위, 세로 변위, 접선의 기울기 변위각을 각각 Δx, Δy, Δθ 라고 할 때, 가로 변위, 세로 변위, 접선의 기울기 변위각 Δx, Δy, Δθ를 기반으로 제1 프레임(#n-1)을 강체변환하고, 제1 프레임(#n-1)이 배치되었던 자리에 새로운 후속의 제2 프레임(#n)을 배치하여 강체 변환을 수행한다.
또한, 강체 변환 과정(S230)은, 강체 변환된 제1 프레임과 후속의 제2 프레임이 겹치는 영역에서의 픽셀 밝기값의 평균 제곱 오차(MSE)가 최소가 되는 최적 세로 변위(Δy')를 산출하고, 이동 경로 곡선 상의 최적 세로 변위(Δy') 위치에서 기하학적 방법으로 최적 가로 변위(Δx')와 최적 변위각(Δθ')을 도출하여, 도출된 최적 가로 변위(Δx'), 최적 세로 변위(Δy'), 최적 변위각(Δθ')을 강체변환 매개변수로 하여 강체 변환을 수행한다.
한편, 투영 변환된 이미지에 포함된 차선이 점선 차선 구간과 실선 차선 구간을 포함하는 경우, 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 복수개 프레임의 강체변환 매개변수(Δx‘, Δy’, Δθ’)들의 평균값을, 실선 차선 구간에서의 강체변환 매개변수로 설정하여 강체 변환을 수행한다.
상기와 같은 본 발명의 실시예들에 따르면, 차량용 블랙박스 카메라만을 활용하여 도로면에 대한 파노라마 이미지를 생성할 수 있다. 또한, 본 발명에 의해 설정된 관심 영역은 프레임마다 가변하는 소실점이 아니라 고정된 기준 소실점을 기반으로 설정되는 것이므로, 후속하는 일련의 이미지 프레임 상에서 관심 영역은 고정되게 되어 안정적인 투영 변환을 수행할 수 있다. 또한, 기존의 방법으로는 실선 차선 구간에서 최적의 강체변환 매개변수를 구할 수 없어서, 실선 차선 구간에서는 유의미한 파노라마 이미지 생성이 어려웠으나, 본 발명에서는 합리적이고 간접적인 추정에 의해 실선 차선 구간에서의 강체변환 매개변수를 설정하게 되어 유의미한 파노라마 이미지 생성이 가능하다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100 : 이미지 입력부 200 : 파노라마 이미지 생성부
300 : 파노라마 이미지 출력부
210 : 투영 변환 모듈 220 : 경로 추정 모듈
230 : 강체 변환 모듈 240 : 이미지 생성 모듈

Claims (15)

  1. 차량용 블랙박스에 의해 촬영된 전방 도로면에 대한 영상 이미지를 입력하는 이미지 입력부;
    상기 입력된 전방 도로면에 대한 영상 이미지의 프레임 마다 존재하는 소실점들을 이용하여 정규분포 곡선을 형성하고 상기 정규분포 곡선에서 기설정된 범위 내의 신뢰구간 내에 존재하는 소실점들에 대해 평균값을 산출하여 고정된 기준 소실점을 설정하고 상기 기준 소실점을 기초로 설정된 관심 영역을 도로면 위에서 바라본 이미지로 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 파노라마 이미지 생성부; 및
    상기 생성된 파노라마 이미지를 출력하는 파노라마 이미지 출력부를 포함하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치.
  2. 청구항 1에 있어서, 상기 파노라마 이미지 생성부는,
    상기 입력된 전방 도로면에 대한 영상 이미지의 프레임 마다 존재하는 소실점들을 이용하여 정규분포 곡선을 형성하고 상기 정규분포 곡선에서 기설정된 범위 내의 신뢰구간 내에 존재하는 소실점들에 대해 평균값을 산출하여 고정된 기준 소실점을 설정하고 상기 기준 소실점을 기초로 설정된 관심 영역을 도로면 위에서 바라본 이미지로 투영 변환하는 투영 변환 모듈;
    상기 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하는 경로 추정 모듈;
    상기 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출하는 강체 변환 모듈; 및
    상기 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 이미지 생성 모듈을 포함하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치.
  3. 삭제
  4. 청구항 2에 있어서, 상기 관심 영역은,
    파노라마 이미지 생성을 위해 각각의 이미지 프레임에서 추출되는 영역으로,
    상기 입력된 영상 이미지의 프레임 밑변으로부터 제1 높이에 위치하고 좌변 우변으로부터 제1 폭 만큼 떨어진 위치에 존재하는 두 점을 산출하고, 상기 기준 소실점과 상기 산출된 두 점을 연결하여 두 개의 직선을 형성한 후, 상기 두 개의 직선 상에 상기 프레임 밑변으로부터 상기 제1 높이 보다 높은 제2 높이에 존재하는 두 점을 산출한 다음, 상기 제1 높이의 두 점과 상기 제2 높이의 두 점으로 이루어진 사다리꼴 형상인 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치.
  5. 청구항 2에 있어서, 상기 강체 변환 모듈은,
    제1 프레임(#n-1)에서 추정된 차량의 이동 경로 곡선 상의 제1 픽셀로부터 상기 이동 경로 곡선 상의 제2 픽셀까지의 가로 변위, 세로 변위, 접선의 기울기 변위각을 각각 Δx, Δy, Δθ 라고 할 때,
    상기 가로 변위, 세로 변위, 접선의 기울기 변위각 Δx, Δy, Δθ를 기반으로 상기 제1 프레임(#n-1)을 강체변환하고, 상기 제1 프레임(#n-1)이 배치되었던 자리에 새로운 후속의 제2 프레임(#n)을 배치하여 강체 변환을 수행하는 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치.
  6. 청구항 5에 있어서, 상기 강체 변환 모듈은,
    상기 강체 변환된 제1 프레임과 상기 후속의 제2 프레임이 겹치는 영역에서의 픽셀 밝기값의 평균 제곱 오차(MSE)가 최소가 되는 최적 세로 변위(Δy')를 산출하고,
    상기 이동 경로 곡선 상의 최적 세로 변위(Δy') 위치에서 기하학적 방법으로 최적 가로 변위(Δx')와 최적 변위각(Δθ')을 도출하여,
    상기 도출된 최적 가로 변위(Δx'), 최적 세로 변위(Δy'), 최적 변위각(Δθ')을 강체변환 매개변수로 하는 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치.
  7. 청구항 6에 있어서,
    상기 투영 변환된 이미지에 포함된 차선이 점선 차선 구간과 실선 차선 구간을 포함하는 경우,
    상기 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 복수개 프레임의 강체변환 매개변수(Δx‘, Δy’, Δθ’)들의 평균값을, 상기 실선 차선 구간에서의 강체변환 매개변수로 설정하는 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치.
  8. 차량용 블랙박스에 의해 촬영된 전방 도로면에 대한 영상 이미지를 입력하는 이미지 입력단계;
    상기 입력된 전방 도로면에 대한 영상 이미지의 프레임 마다 존재하는 소실점들을 이용하여 정규분포 곡선을 형성하고 상기 정규분포 곡선에서 기설정된 범위 내의 신뢰구간 내에 존재하는 소실점들에 대해 평균값을 산출하여 고정된 기준 소실점을 설정하고 상기 기준 소실점을 기초로 설정된 관심 영역을 도로면 위에서 바라본 이미지로 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 파노라마 이미지 생성단계;
    상기 생성된 파노라마 이미지를 출력하는 파노라마 이미지 출력단계;
    를 포함하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법.
  9. 청구항 8에 있어서, 상기 파노라마 이미지 생성단계는,
    상기 입력된 전방 도로면에 대한 영상 이미지의 프레임 마다 존재하는 소실점들을 이용하여 정규분포 곡선을 형성하고 상기 정규분포 곡선에서 기설정된 범위 내의 신뢰구간 내에 존재하는 소실점들에 대해 평균값을 산출하여 고정된 기준 소실점을 설정하고 상기 기준 소실점을 기초로 설정된 관심 영역을 도로면 위에서 바라본 이미지로 투영 변환하는 투영 변환 과정;
    상기 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하는 경로 추정 과정;
    상기 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출하는 강체 변환 과정;
    상기 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 이미지 생성 과정
    을 포함하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법.
  10. 삭제
  11. 청구항 9에 있어서, 상기 관심 영역은,
    파노라마 이미지 생성을 위해 각각의 이미지 프레임에서 추출되는 영역으로,
    상기 입력된 영상 이미지의 프레임 밑변으로부터 제1 높이에 위치하고 좌변 우변으로부터 제1 폭 만큼 떨어진 위치에 존재하는 두 점을 산출하고, 상기 기준 소실점과 상기 산출된 두 점을 연결하여 두 개의 직선을 형성한 후, 상기 두 개의 직선 상에 상기 프레임 밑변으로부터 상기 제1 높이 보다 높은 제2 높이에 존재하는 두 점을 산출한 다음, 상기 제1 높이의 두 점과 상기 제2 높이의 두 점으로 이루어진 사다리꼴 형상인 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법.
  12. 청구항 9에 있어서, 상기 강체 변환 과정은,
    제1 프레임(#n-1)에서 추정된 차량의 이동 경로 곡선 상의 제1 픽셀로부터 상기 이동 경로 곡선 상의 제2 픽셀까지의 가로 변위, 세로 변위, 접선의 기울기 변위각을 각각 Δx, Δy, Δθ 라고 할 때,
    상기 가로 변위, 세로 변위, 접선의 기울기 변위각 Δx, Δy, Δθ를 기반으로 상기 제1 프레임(#n-1)을 강체변환하고, 상기 제1 프레임(#n-1)이 배치되었던 자리에 새로운 후속의 제2 프레임(#n)을 배치하여 강체 변환을 수행하는 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법.
  13. 청구항 12에 있어서, 상기 강체 변환 과정은,
    상기 강체 변환된 제1 프레임과 상기 후속의 제2 프레임이 겹치는 영역에서의 픽셀 밝기값의 평균 제곱 오차(MSE)가 최소가 되는 최적 세로 변위(Δy')를 산출하고,
    상기 이동 경로 곡선 상의 최적 세로 변위(Δy') 위치에서 기하학적 방법으로 최적 가로 변위(Δx')와 최적 변위각(Δθ')을 도출하여,
    상기 도출된 최적 가로 변위(Δx'), 최적 세로 변위(Δy'), 최적 변위각(Δθ')을 강체변환 매개변수로 하는 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법.
  14. 청구항 13에 있어서,
    상기 투영 변환된 이미지에 포함된 차선이 점선 차선 구간과 실선 차선 구간을 포함하는 경우,
    상기 실선 차선 구간 진입 직전의 점선 차선 구간에서 도출된 복수개 프레임의 강체변환 매개변수(Δx‘, Δy’, Δθ’)들의 평균값을, 상기 실선 차선 구간에서의 강체변환 매개변수로 설정하는 것을 특징으로 하는 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 방법.
  15. 컴퓨터에 의해 실행되며,
    차량용 블랙박스에 의해 촬영된 전방 도로면에 대한 영상 이미지를 입력하는 이미지 입력단계;
    상기 입력된 전방 도로면에 대한 영상 이미지의 프레임 마다 존재하는 소실점들을 이용하여 정규분포 곡선을 형성하고 상기 정규분포 곡선에서 기설정된 범위 내의 신뢰구간 내에 존재하는 소실점들에 대해 평균값을 산출하여 고정된 기준 소실점을 설정하고 상기 기준 소실점을 기초로 설정된 관심 영역을 도로면 위에서 바라본 이미지로 투영 변환하고, 투영 변환된 이미지에 포함된 차선으로부터 차량 이동 경로를 추정하고, 추정된 차량 이동 경로를 이용하여 연속된 프레임 간의 기하학적 관계를 표현하는 강체변환 매개변수를 도출한 후, 도출된 강체변환 매개변수를 이용하여 일련의 연속된 프레임을 정합시켜서 파노라마 이미지를 생성하는 파노라마 이미지 생성단계;
    상기 생성된 파노라마 이미지를 출력하는 파노라마 이미지 출력단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능한 기록 매체.
KR1020180168562A 2018-12-24 2018-12-24 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법 KR102125152B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180168562A KR102125152B1 (ko) 2018-12-24 2018-12-24 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168562A KR102125152B1 (ko) 2018-12-24 2018-12-24 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법

Publications (1)

Publication Number Publication Date
KR102125152B1 true KR102125152B1 (ko) 2020-06-19

Family

ID=71137151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168562A KR102125152B1 (ko) 2018-12-24 2018-12-24 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법

Country Status (1)

Country Link
KR (1) KR102125152B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2011073529A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 車両制御装置
KR20150102525A (ko) * 2014-02-28 2015-09-07 경북대학교 산학협력단 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
KR101896406B1 (ko) 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2011073529A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 車両制御装置
KR20150102525A (ko) * 2014-02-28 2015-09-07 경북대학교 산학협력단 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
KR101896406B1 (ko) 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yang et al. Panorama based multilane recognition for advanced navigation map generation. Mathematical Problems in Engineering, 2015년, pp. 1-14. 1부.* *

Similar Documents

Publication Publication Date Title
US10970566B2 (en) Lane line detection method and apparatus
US10452928B2 (en) Road vertical contour detection using a stabilized coordinate frame
US11138750B2 (en) Distance estimating method and apparatus
Nieto et al. Stabilization of inverse perspective mapping images based on robust vanishing point estimation
WO2018225446A1 (ja) 地図変化点検出装置
JP4406381B2 (ja) 障害物検出装置及び方法
US8311287B2 (en) Validation and correction of map data using oblique images
JP4800455B2 (ja) 車速計測方法および装置
US8204278B2 (en) Image recognition method
EP3539288B1 (en) Method of automatically correcting projection area based on image photographed by photographing device and system therefor
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
JP6060682B2 (ja) 路面画像生成システム並びに影除去装置、方法及びプログラム
US11295426B2 (en) Image processing system, server apparatus, image processing method, and image processing program
JP6408434B2 (ja) 道路標示体劣化検出方法
JP2000011133A (ja) 移動物体検出装置及びその方法
KR20130030208A (ko) 에고모션 추정 시스템 및 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
JPWO2005093657A1 (ja) 道路景観解析装置及び方法
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
KR100965800B1 (ko) 차량 영상 검지 및 속도 산출방법
JP2016206801A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
CN110414392B (zh) 一种障碍物距离的确定方法及装置
JP7236857B2 (ja) 画像処理装置および画像処理方法
KR102125152B1 (ko) 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법
JP2020095627A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant