KR101261409B1 - 영상 내 노면표시 인식시스템 - Google Patents

영상 내 노면표시 인식시스템 Download PDF

Info

Publication number
KR101261409B1
KR101261409B1 KR1020120042434A KR20120042434A KR101261409B1 KR 101261409 B1 KR101261409 B1 KR 101261409B1 KR 1020120042434 A KR1020120042434 A KR 1020120042434A KR 20120042434 A KR20120042434 A KR 20120042434A KR 101261409 B1 KR101261409 B1 KR 101261409B1
Authority
KR
South Korea
Prior art keywords
image
information
road marking
road
recognition
Prior art date
Application number
KR1020120042434A
Other languages
English (en)
Inventor
주영은
허정민
문형득
최준석
유강민
Original Assignee
이엔지정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이엔지정보기술 주식회사 filed Critical 이엔지정보기술 주식회사
Priority to KR1020120042434A priority Critical patent/KR101261409B1/ko
Application granted granted Critical
Publication of KR101261409B1 publication Critical patent/KR101261409B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

본 발명은 차량 주행 중 촬영을 통하여 취득되는 영상 내에서 교통의 안전과 원활한 소통을 확보하기 위하여 설치되는 교통안전 시설 중 노면 표시를 자동으로 추출하여 인식할 수 있도록 하는 영상 내 노면표시 인식시스템에 관한 것이다.
본 발명에 따른 영상 내 노면표시 인식시스템은 영상 내에 포함된 노면표시를 인식하는 노면표시 인식시스템에 있어서, 영상 정보를 수집하여 영상공간정보 데이터를 구축하는 영상공간정보 구축장치(100)와; 상기 영상공간정보 구축장치(100)를 통하여 제작되는 영상공간정보 데이터에 포함된 영상 내 객체의 코너 디텍션을 수행하여 노면표시 후보 영역을 추출하고, 추출된 노면표시 후보 영역의 패턴 인식을 수행하여 노면표시로 인식하는 노면표시 인식장치(200);를 포함하여 이루어지는 것을 특징으로 한다.

Description

영상 내 노면표시 인식시스템 {SYSTEM FOR RECOGNIZING ROAD MARKINGS OF IMAGE}
본 발명은 노면표시 인식시스템에 관한 것으로, 특히 촬영을 통하여 획득되는 영상 내에서 노면표시를 자동으로 추출하여 인식할 수 있도록 하는 영상 내 노면표시 인식시스템에 관한 것이다.
최근 정보처리 및 통신기술이 비약적으로 발달함에 따라 지형공간정보를 지도 정보 데이터로 구축하고, 이를 내비게이션 맵 제작 및 안전운전, 무인 자율운전 등과 같은 교통관련 분야에 활용하는 사례가 많아지고 있다. 특히, 이러한 지도 정보 데이터는 실제 촬영된 영상정보 및 기 구축된 수치지형도 등을 바탕으로 제작되어지고 있다.
이러한 지도 데이터를 활용하는 내비게이션은 차량 운전편의장치로써, 위성신호의 위치정보를 수신하여 현 위치를 파악하는 GPS를 이용해 목적지까지의 길안내를 음성 및 모니터 화면으로 제공하는 장치이다. 이러한 내비게이션 장치에는 GPS 위성으로부터 차량의 현재 위치 정보를 제공받는 GPS 수신기와, 도로 및 교통 정보가 포함되어있는 지도(Map) 정보가 등록되는 맵 DB, 상기 GPS 수신기를 통하여 파악되는 현재 위치에 따라 맵 DB의 정보를 맵핑시켜 화면에 표시하는 운영 프로그램 등으로 구성된다.
상기 내비게이션의 맵 DB에 구축되는 지도 정보는 실제 지리 정보의 계측을 통하여 생성되는데, 이러한 지도 정보는 도로의 신설이나 교통 체계의 변경 등에 따라 변화하기 때문에 정기적 또는 비정기적으로 지도 정보를 갱신(Update) 하여야 한다. 이러한 내비게이션의 지도 정보 갱신은 통상적으로 수작업에 의해 진행되는데, 특히 차선이나 교통 진행 방향 또는 진입 금지 등의 차량 운행 안내를 도로상에 표시하는 노면표시(Road Mark)의 경우 지속적으로 변경되기 때문에 작업자가 수시로 지도상의 위치로 실제 이동하여 노면표시를 일일이 확인하는 현장작업을 수행한 후, 맵 DB 관리자가 지도 정보에 포함되는 노면표시 정보를 일일이 검색하고 갱신하여야 하는 번거로움이 있어, 작업자의 안전성과 정보 갱신의 효율성 등에서 여러 가지 문제점을 가지고 있다.
또한, 근래 차량에 적용되고 있는 안전운전 장치 및 무인 자율운전 시스템은 사람을 대신하여 자동으로 차량을 운행하는 시스템으로, 이러한 자율운전 시스템은 안전운전에 필요한 각종 노면표시를 자동으로 인식하여야 하고, 인식된 결과를 이용하여 각종 상황에 따른 대처를 수행할 수 있어야 한다.
위와 같이, 내비게이션이나 차량의 안전운전 장치 및 무인 자율운전 시스템 등에서는 영상 내에서 노면표시를 자동으로 추출하여 신속하고 정확하게 인식할 수 있도록 하는 시스템이 요구되고 있는 실정이다.
본 발명은 상기 종래 기술의 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 도로를 이동하면서 촬영하여 획득되는 영상 내에 포함된 노면표시를 자동으로 추출하여 신속하고 정확하게 인식할 수 있도록 하는 영상 내 노면표시 인식시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 영상 내 노면표시 인식시스템은 영상 내에 포함된 노면표시를 인식하는 노면표시 인식시스템에 있어서, 영상 정보를 수집하여 영상공간정보 데이터를 제작하는 영상공간정보 구축장치와; 상기 영상공간정보 구축장치를 통하여 제작되는 영상공간정보 데이터에 포함된 영상 내에서 객체의 코너 디텍션을 수행하여 노면표시 후보 영역을 추출하고, 추출된 노면표시 후보 영역에 대한 패턴 인식을 수행하여 노면표시로 인식하는 노면표시 인식장치; 를 포함하여 이루어진다.
상기 노면표시 인식장치에는 영상공간정보 구축장치를 통하여 제작된 영상공간정보 데이터 중 노면표시 인식 대상 영상을 선택하여 화면에 표시하는 영상 뷰어기와, 상기 인식 대상 영상에 대한 노면표시 후보 영역을 추출하고 추출된 노면표시 후보 영역에 대해 오류역전파 알고리즘이 적용된 신경망을 통하여 패턴 인식을 수행하여 패턴 인식 결과에 따라 노면표시를 인식하는 노면표시 인식기와, 상기 노면표시 인식기를 통하여 인식되는 노면표시 정보를 화면에 표시하는 결과 표출기를 포함하는 노면표시 인식장치가 구비된다.
여기에서, 상기 노면표시 인식기에는 인식 대상 영상의 역원근 변환(IPM ; Inverse Perspective Mapping)을 수행하는 역원근 변환모듈과, 상기 역원근 변환된 영상에 포함된 객체의 윤곽선을 추출하는 윤곽선 추출모듈과, 상기 윤곽선이 추출된 객체의 라벨링을 수행하는 라벨링 모듈과, 상기 라벨링 된 객체의 코너 디텍션을 수행하여 노면표시 후보 영역을 추출하는 코너 디텍션 모듈과, 상기 오류역전파 알고리즘이 적용된 신경망을 통하여 상기 코너 디텍션 모듈을 통하여 추출된 노면표시 후보 영역에 대한 패턴 인식을 수행하여 노면표시로 인식하는 노면표시 인식모듈이 구비된다.
상기 역원근 변환모듈은 인식 대상 영상을 촬영하는 카메라의 위치와 높이 정보가 포함되어있는 파라미터 정보를 활용하는 역원근 영상 변환기법을 통해 인식 대상 영상을 왜곡이 보정된 정사영상(orthogonal image)으로 변환하게 된다.
또한, 상기 윤곽선 추출모듈은 캐니 에지 검출(Canny edge detection)을 통해 상기 역원근 변환모듈에 의해 변환된 역원근 영상의 잡음을 제거하고 노면표시의 윤곽선을 추출하게 되며, 상기 코너 디텍션 모듈은 라벨링 모듈에 의해 라벨링 된 객체에 대한 코너 디텍션을 수행하여 검출된 코너 개수가 설정된 기준 범위 내에 분포하는 경우 노면표시 후보 영역으로 분류하게 된다.
상기 노면표시 인식모듈에 의해 인식되는 노면표시는 안전운전과 밀접하게 관련된 좌회전, 좌회전금지, 우회전금지, 직진, 직진금지, 유턴 표시를 포함하는 것이 바람직하다.
한편, 상기 노면표시 인식장치에는 노면표시 인식부를 통하여 인식되는 노면표시 정보를 안전운전을 위하여 노면표시 정보를 필요로 하는 영상 서비스 장치에 제공하는 노면표시 정보 제공부가 구비되는데, 상기 노면표시 정보 제공부로부터 노면표시 정보를 제공받는 영상 서비스 장치는 내비게이션 맵 정보가 저장되는 맵 DB 또는 무인 자율운전을 수행하는 안전운전 장치가 될 수 있다.
한편, 상기 영상공간정보 구축장치는 영상 수집 동선에 따라 이동하면서 카메라를 통하여 영상을 촬영하여 영상 정보를 수집하는 영상정보 수집부와; 상기 영상정보 수집부를 통하여 수집되는 영상의 밝기를 조절하고, 영상 내의 객체를 구분할 수 있도록 영상을 강화하는 후처리부;를 포함하여 이루어진다.
여기에서, 상기 영상정보 수집부에는 상기 카메라의 촬영 시의 자세 정보 및 위치 정보를 측정하는 IMU(Inertial Measurement Unit)와 GPS(Global Positioning System)가 구비되고, 상기 후처리부에는 상기 밝기가 조절되고 객체가 구분될 수 있도록 강화된 영상 정보에 상기 IMU 및 GPS를 통하여 측정된 자세 정보 및 위치 정보를 매칭하여 영상 속성정보를 생성하는 영상 속성정보 생성모듈이 구비되는 것이 바람직하다.
본 발명에 따른 노면표시 인식시스템은 영상 내에 포함된 객체의 윤곽선을 추출한 후 코너 디텍션 및 패턴 인식을 통하여 노면표시를 자동으로 추출하여 인식할 수 있도록 함으로써 영상 내의 신속하고 정확한 노면표시 인식이 가능하여, 내비게이션의 맵 DB에 대한 자동 갱신이나 차량의 안전운전 및 무인 자율운전 시스템 등 다양한 분야에 적용될 수 있는 효과가 있다.
도 1은 본 발명에 따른 영상 내 노면표시 인식시스템의 전체적인 네트워크 연결도,
도 2는 본 발명에 따른 영상공간정보 구축장치의 블록 구성도,
도 3은 본 발명에 따른 노면표시 인식장치의 블록 구성도,
도 4는 일반적인 노면표시의 종류 일례,
도 5는 본 발명에 따른 노면표시 인식장치의 인식 대상이 되는 노면표시 일례,
도 6은 본 발명에 따라 노면표시를 추출하고 인식하는 노면표시 인식기의 블록 구성도,
도 7은 노면표시가 포함된 촬영 영상 일례,
도 8은 영상 취득 시 사용된 카메라 촬영 파라미터(parameter) 정보 일례,
도 9는 본 발명에 따른 역원근 변환모듈에 의해 카메라를 통하여 촬영된 영상이 역원근 영상으로 변환된 일례,
도 10은 본 발명에 따른 윤곽선 추출 시 영상의 단면 부를 평면 그래프로 나타낼 때 명도(Intensity)의 차이에 의해 경계(Edge)가 나타나는 모습을 나타낸 일례,
도 11은 본 발명에 따른 윤곽선 추출모듈의 캐니 에지 검출 수행 결과 영상 일례,
도 12는 본 발명의 따라 윤곽선이 추출된 영상에 대한 라벨링 결과 영상 일례,
도 13은 본 발명에 따라 이루어지는 코너 디텍션의 기본 개념도,
도 14는 발명에 적용된 오류역전파 알고리즘의 네트워크 구성도,
도 15는 본 발명에 따른 오류역전파 알고리즘의 학습을 위한 트레이닝 셋 일례,
도 16은 본 발명에 따른 학습된 네트워크를 통하여 노면표시가 인식되는 과정을 나타낸 네트워크 구성도,
도 17은 본 발명에 따른 영상공간정보 구축장치를 통하여 영상공간정보가 생성되는 과정을 나타낸 흐름도,
도 18은 본 발명에 따른 노면표시 인식장치를 통하여 영상 내의 노면표시 정보가 추출되어 인식되는 과정을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 영상 내 노면 마트 인식시스템의 전체적인 네트워크 연결도를 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명에 따른 노면표시 인식시스템은 노면표시가 포함된 영상공간정보 데이터를 구축하는 영상공간정보 구축장치(100)와, 상기 영상공간정보 구축장치(100)를 통하여 구축되는 영상공간정보에 포함된 노면표시 영상을 추출하여 인식하는 노면표시 인식장치(200)를 포함하여 이루어진다. 한편, 상기 노면표시 인식장치(200)에 의해 인식되는 노면표시 정보는 노면표시 정보를 필요로 하는 영상 서비스 장치(300)에 제공될 수 있다.
상기 영상공간정보 구축장치(100)는 카메라 등의 영상 촬영장치를 통하여 영상을 촬영하여 파일로 저장하며, 촬영점에서의 카메라의 자세 정보 및 위치 정보 등의 속성 정보를 파악하여 데이터베이스에 등록하는 영상공간정보 획득장치이다.
상기 노면표시 인식장치(200)는 영상공간정보 구축장치(100)로부터 영상 정보를 전송받아 영상 정보에 포함된 노면표시를 역원근 변환, 윤곽선 추출, 라벨링 및 코너 디텍션 등의 과정을 통하여 자동으로 추출하고 패턴 인식기를 통하여 인식하는 장치로서, 이 노면표시 인식장치(200)는 독립된 서버 컴퓨터로 운영되거나, 영상 서비스 장치(300)에 종속되게 설치되어 운영될 수도 있다.
상기 영상 서비스 장치(300)는 노면표시 인식장치(200)로부터 인식되는 노면표시 정보를 제공받아 이를 활용하는 장치로서, 이 영상 서비스 장치(300)의 일례로는 내비게이션 맵 정보가 저장되는 맵 DB(310)와, 무인 자율운전 시스템과 같은 안전운전 장치(320) 등이 있다. 상기 맵 DB(310)에 등록되어있는 맵 정보는 노면표시 인식장치(200)에 의해 인식된 노면표시 정보로 자동으로 갱신되어 관리되며, 상기 안전 운전장치(320)는 노면표시 정보를 참조하여 운행에 따라 발생하는 각종 상황에 대처하게 된다.
도 2는 본 발명의 실시 예에 따른 영상공간정보 구축장치의 블록 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 영상공간정보 구축장치(100)는 영상 정보를 수집하는 영상정보 수집부(120)와, 상기 영상정보 수집부(120)를 통하여 수집된 영상 정보를 후처리하는 후처리부(130)와, 노면표시 인식장치(200)와 통신을 설정하여 상기 후처리부(130)를 통하여 처리된 영상 정보를 노면표시 인식장치(200)에 전송하는 통신 인터페이스(140)와, 상기 후처리부(130)를 통하여 처리된 영상 정보를 저장하는 데이터베이스(150)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(110)를 포함하여 이루어진다.
상기 영상정보 수집부(120)에는 차량에 설치되어 차량의 이동에 따라 영상을 촬영하는 카메라(121)와, 영상이 저장되는 시점에 차량의 자세 정보를 파악하는 IMU(Inertial Measurement Unit)(122)와, 영상이 저장되는 시점에 차량의 위치 정보를 파악하는 GPS(Global Positioning System)(123)가 구비되어 있다. 상기 카메라(121)와 IMU(122) 및 GPS(123)를 탑재하는 수집 차량은 계획된 수집 동선에 따라 이동하게 되며, 차량의 이동에 따라 카메라(121)와 IMU(122) 및 GPS(123)는 영상과 자세 정보 및 위치 정보를 수집하여 후처리부(130)로 전송하게 된다. 한편, 상기 영상정보 수집부(120)에 구비되는 IMU(122) 및 GPS(123)는 카메라(121)를 통하여 촬영되는 영상에 자세 정보 및 위치 정보가 포함되어야 하는 경우(예를 들면, 내비게이션 맵을 갱신하기 위한 영상 정보 등)에는 필요하나, 단순히 실시간으로 영상의 내용만 파악하면 되는 경우(예를 들면, 안전운전을 위해 실시간으로 노면표시 내용을 파악하여 경고하기 위한 영상 정보 등)에는 필요하지 않을 수 있다. 따라서, 이러한, IMU(122) 및 GPS(123)는 카메라(121)에 의해 촬영되어 활용되는 영상의 종류에 따라 영상정보 수집부(120)에 구비되거나 생략될 수 있다.
본 발명에서는 촬영되어 획득되는 영상 내에서 노면표시를 자동으로 추출하여 인식하기 때문에 영상의 품질(Quality)이 매우 중요한 요소가 된다. 이를 위하여 상기 후처리부(130)는 영상정보 수집부(120)를 통하여 수집되는 영상 정보를 후처리하여 영상의 품질을 향상시킨 후 데이터베이스(150)에 저장하게 되는데, 이 후처리부(130)에는 영상의 밝기를 조절하는 밝기 조절모듈(131)과, 영상에 포함된 객체를 뚜렷하게 구분하기 위한 영상 강화모듈(132)과, 영상의 속성정보를 생성하는 영상 속성정보 생성모듈(133)이 구비되어 있다. 상기 밝기 조절모듈(131)은 영상정보 수집부(120)의 카메라(121)로부터 촬영되어 획득되는 영상 내에서 노면표시를 정확하게 추출하고 인식할 수 있도록 영상의 밝기를 조절하는 프로그램 모듈이고, 영상 강화모듈(132)은 획득된 영상 내에서 각 객체가 가지고 있는 특징 성분을 강화하는 프로그램 모듈이다. 또한, 영상 속성정보 생성모듈(133)은 밝기가 조절되고 객체가 가진 특징 성분을 강화하는 후처리 과정을 거친 영상 정보에 IMU(122)의 자세 정보 및 GPS(123)의 위치 정보를 1대 1로 매칭하여 영상 속성정보를 생성하는 프로그램 모듈이다. 상기 후처리부(130)를 통하여 영상 파일 및 영상 속성 정보가 생성되며, 생성된 영상 파일 및 영상 속성 정보는 데이터베이스(150)에 최종 등록되는데, 다음의 표 1은 상기 후처리부를 통하여 생성되는 영상 속성 정보 일례를 표로 나타낸 것이다.
Figure 112012032478001-pat00001
상기 통신 인터페이스(140)는 노면표시 인식장치(200)와 통신을 설정하여, 데이터베이스(150)에 등록된 영상 파일 및 영상 속성 정보를 노면표시 인식장치(200)에 전송하는 통신 장치이다.
상기 데이터베이스(150)는 영상정보 수집부(120) 및 후처리부(130)를 통하여 생성되는 정보를 저장하는 기억장치로서, 이 데이터베이스(150)에는 후처리부(130)를 통하여 생성된 영상 파일 및 영상 속성 정보 등이 저장되어 관리된다.
도 3은 본 발명의 실시 예에 따른 노면표시 인식장치의 블록 구성도를 나타낸 것이다.
도 3에 도시된 바와 같이, 본 발명에 따른 노면표지 인식장치(200)는 사용자로부터 조작 신호를 입력받는 입력부(220)와, 노면표시 인식장치(200)를 통하여 처리되는 데이터를 화면에 표시하는 출력부(225)와, 통신망을 통하여 외부 장치와 통신을 수행하는 통신 인터페이스(230)와, 영상공간정보 구축장치(100)를 통하여 생성된 영상 정보를 분석하여 노면표시 정보를 추출하고 인식하는 노면표시 인식부(240)와, 상기 노면표시 인식부(240)를 통하여 인식되는 노면표시 정보를 영상 서비스 장치(300)에 제공하는 노면표시 정보 제공부(280)와, 상기 노면표시 인식장치(200)를 통하여 처리되는 데이터가 저장되어 있는 데이터베이스(290)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(210)를 포함하여 이루어진다.
상기 입력부(220)는 사용자로부터 조작 데이터를 입력받는 마우스나 키보드 등의 데이터 입력장치이고, 출력부(225)는 노면표시 인식장치(200)에 의해 처리되는 데이터를 화면에 표시하는 모니터나 프린터 등의 출력장치이다. 또한, 상기 통신 인터페이스(230)는 영상공간정보 구축장치(100)와 영상 서비스 장치(300) 등의 외부 장치와 통신을 설정하여 데이터를 송수신하는 통신 장치이다.
상기 노면표시 인식부(240)는 영상공간정보 구축장치(100)로부터 영상 정보를 제공받아 이 영상 정보에 포함된 노면표시 정보를 추출하여 인식하는 프로그램이다. 이 노면표시 인식부(240)에는 인식 대상 영상을 선택하여 화면에 표시하는 영상 뷰어기(250)와, 인식 대상 영상 내에 포함된 노면표시를 자동으로 추출하고 인식하는 노면표시 인식기(260)와, 상기 노면표시 인식기(260)에 의해 인식되는 노면표시 정보를 화면에 표시하는 결과 표출기(270)가 구비되어 있다. 본 발명의 실시 예에서 상기 노면표시 인식기(260)는 영상 뷰어기(250)에 의해 화면에 표시되는 인식 대상 영상을 역원근 변환하고, 윤곽선을 추출한 후, 라벨링 및 코너 디텍션 과정을 수행하여 노면표시를 추출하며, 추출된 노면표시를 패턴 인식기를 통하여 인식하게 되는데, 인식되는 노면표시 정보는 결과 표출기(270)를 통하여 화면에 표시되어 사용자가 이를 확인할 수 있도록 제공된다.
상기 교통표지판 정보 제공부(280)는 노면표시 인식부(240)를 통하여 인식되는 노면표시 정보를 활용할 수 있도록 영상 서비스 장치(300)에 제공하는 프로그램이다. 이 노면표시 정보 제공부(280)에는 상기 노면표시 인식기(260)를 통하여 인식되는 노면표시 정보를 맵 정보로 변환하여 영상 서비스 장치(300)의 맵 DB(310)에 전송하여 맵 정보를 갱신하는 맵 DB 갱신모듈(281)과, 노면표시 정보를 안전 운행 장치(320)에 전송하는 안전운전 제공모듈(282) 등이 구비되어 있다.
한편, 상기 노면표시 인식부(240)에 의해 추출 및 인식되어 노면표시 정보 제공부(280)를 통하여 영상 서비스 장치(300)에 제공되는 노면표시 정보는 데이터베이스(290)에 등록되어 관리된다.
이하에서는 상기 노면표시 인식부(240)의 노면표시 인식기(260)를 통하여 영상 내에 포함된 노면표시가 추출되어 인식되는 방법에 대하여 설명한다.
일반적으로 노면에는 차량의 흐름을 원활히 하고 안전한 차량운전에 도움을 주기 위한 목적으로 다양한 표시가 표시되어 있는데, 도 4는 이러한 노면표시의 종류 일례를 나타낸 것이다.
본 발명의 실시 예에서는 이러한 다양한 노면표시의 종류 중, 안전운전과 관련된 차량의 진행 방향과 각종 금지 표시를 대상으로 인식할 수 있도록 하는데, 도 5는 본 발명에서 인식 대상이 되는 노면표시를 나타낸 것이다. 즉, 본 발명에서는 도 5에 도시된 바와 같이, 모든 노면표시를 대상으로 인식하는 것이 아니라, 실제 안전운전과 관련된 좌회전, 좌회전금지, 우회전금지, 직진, 직진금지, 유턴 표시를 인식 대상으로 하여, 영상 내에 포함된 상기 6가지의 노면표시를 인식하게 된다. 이를 위하여, 노면표시 인식부(240)의 노면표시 인식기(260)는 영상 뷰어기(250)를 통하여 표시되는 영상 내에서 상기 노면표시 후보들을 추출한 후, 추출된 여러 후보들을 패턴 인식기를 통하여 인식하고 그 결과를 결과 표출기(270)를 통하여 화면에 표시하고 데이터베이스(290)에 등록하여 관리하게 된다.
도 6은 본 발명의 실시 예에 따라 노면표시를 추출하고 인식하는 노면표시 인식기의 블록 구성도를 나타낸 것으로, 발명에 따른 노면표시 인식기(260)는 노면표시 추출모듈(261)과 노면표시 인식모듈(265)을 포함하여 이루어진다.
상기 노면표시 추출모듈(261)은 인식 대상 영상에 포함된 노면표시 후보 영상을 추출하는 프로그램 모듈로서, 이 노면표시 추출모듈(261)에는 인식 대상 영상의 역원근 변환을 수행하는 역원근 변환모듈(261a)과, 역원근 변환된 영상에 포함된 객체의 윤곽선을 추출하는 윤곽선 추출모듈(261b)과, 윤곽선이 추출된 객체의 라벨링을 수행하는 라벨링 모듈(261c)과, 라벨링 된 객체의 코너 디텍션을 수행하여 노면표시 후보 영역을 추출하는 코너 디텍션 모듈(261d)이 구비된다.
상기 노면표시 인식모듈(265)은 상기 노면표시 추출모듈(261)에 의해 추출된 노면표시 후보 영역에 대한 패턴 인식을 수행하여 최종적으로 노면표시를 인식하는 프로그램 모듈로서, 이 노면표시 인식모듈(265)은 노면표시 인식을 위해 패턴 인식기인 신경망의 학습을 수행한 후, 학습된 패턴 인식기를 통하여 노면표시 후보 영역에 대한 인식을 수행하여 최종 노면표시를 인식하게 된다.
이하에서는 이러한 노면표시 인식기(260)의 각 모듈의 수행 과정에 대하여 구체적으로 설명하기로 한다.
먼저, 노면표시 추출모듈(261)의 역원근 변환모듈(261a)에 의해 수행되는 역원근 변환 과정에 대하여 설명한다.
도 7은 노면표시가 포함된 촬영 영상 일례를 나타낸 것으로, 카메라를 이용하여 촬영된 디지털 영상에서 나타나는 노면표시는 도로를 촬영하는 카메라의 높이, 지면을 기준으로 기울어진 각도 등과 같은 외부 요소에 따라 본래의 형태가 아닌 왜곡된 형태로 영상 내에 존재한다. 이러한 왜곡된 영상을 제대로 인식하기 위해서는 역원근 변환을 통하여 왜곡이 없는 노면표시 본래의 형태를 보이도록 변환해 줄 필요가 있다.
이러한 역원근 변환을 위해서는 영상을 촬영한 카메라의 높이, 각도 등의 정보가 필요한데, 도 8은 영상 취득 시 사용된 카메라의 위치, 높이 등과 같은 파라미터(parameter)를 나타낸 것이다.
도 8에서 (a)는 XY 영역(XY-plane)에서의 카메라 위치 모형(model)를 나타낸 것이고, (b)는 Yη 영역(Yη-plane)에서의 카메라 위치 모형을 나타낸 것이다.
여기에서, 카메라의 위치(position)를 나타내는 파라미터는 다음과 같다.
d : z축을 기준으로 원점과 센서 간의 거리
h : 센서 높이
l : x축을 기준으로 원점과 센서 간의 거리
또한, 카메라의 요 각도(yaw angle) 및 틸트 각도(tilt angle)를 γ, θ라 하고, 카메라 구경(Aperture)을
Figure 112012032478001-pat00002
라 할 때, 상기 카메라 구경
Figure 112012032478001-pat00003
는 다음의 수학식 1과 같다.
Figure 112012032478001-pat00004
여기에서,
Figure 112012032478001-pat00005
는 각각 이미지의 폭(width) 및 높이(heigth)를 의미하며,
Figure 112012032478001-pat00006
는 초점 길이(focal length)를 의미한다.
본 발명에 따른 역원근 변환모듈(261a)은 이러한 영상이 촬영된 시점의 카메라 파라미터를 이용하여 역원근 변환을 수행하게 되는데, 이러한 역원근 변환은 다음의 수학식 2를 통하여 수행되어 도로면에 대한 왜곡없는 정사영상(orthogonal image)으로 변환된다.
Figure 112012032478001-pat00007
여기에서 M, N은 카메라 해상도(resolution)을 의미하는데, 상기 수학식 2를 통하여 역원근 변환된 정사영상은 다음의 수학식 3을 통하여 원 영상(original image)으로 다시 변환될 수 있다.
Figure 112012032478001-pat00008
도 9는 카메라를 통하여 촬영된 영상이 역원근 변환모듈에 의해 역원근 영상으로 변환된 일례를 나타낸 것으로, (a) 영상은 원본 영상을 나타내고, (b) 영상은 변환된 역원근 영상을 나타낸다.
상기의 과정을 통하여 역원근 변환이 수행되면, 변환된 역원근 영상은 윤곽선 추출모듈(261b)에 의해 윤곽선이 추출된다. 이러한 윤곽선 추출 기법은 영상에서 의미 없는 데이터를 제거하여 데이터의 크기를 줄이고 영상의 구조적인 정보를 보존한다는 측면에서 영상 처리에서 많이 사용하는 방법이다.
도 10은 왼쪽 영상의 단면 부를 IX 평면 그래프로 나타내었을 때, 명도(Intensity)의 차이에 의해 경계(Edge)가 나타나는 모습을 나타낸 것이다.
역원근 변환 결과 영상 내에는 노면표시뿐만 아니라 지면과 건물 등에 의해 미세 잡음이 존재하므로, 본 발명의 실시 예에 따른 윤곽선 추출모듈(261b)은 캐니 에지 검출(Canny edge detection)을 통해 1차적으로 잡음을 제거함과 동시에 노면표시의 윤곽선을 검출하게 된다. 도 11은 이러한 캐니 에지 검출 수행 결과 영상 일례를 나타낸 것이다.
상기 역원근 영상의 윤곽선 추출이 이루어지면 라벨링 모듈(261c)에 의해 라벨링 과정이 수행되는데, 라벨링 과정은 픽셀 범위 내에서 현재 자기 자신의 픽셀과 연결된 픽셀이거나 또는 같은 색상 범위를 갖는 픽셀들을 하나의 객체(Object)로 취급하여 모든 대상에 대해 각각 개별적인 객체로 저장하는 과정이다. 본 발명의 실시 예에 따른 라벨링 모듈(261c)은 윤곽선 추출 결과 영상에 존재하는 객체들을 모두 라벨링하여 저장한 후, 다음 단계인 코너 디텍션을 통한 노면표시 검출 과정에 이용하게 된다.
도 12는 본 발명의 실시 예에 따라 윤곽선 추출된 영상에 대한 라벨링 결과 영상을 나타낸 것으로, 일부 객체들에 대해서는 빨간색 사각 영역으로 표시하였다.
상기 라벨링 된 객체들은 코너 디텍션 모듈(261d)을 통하여 노면표시 후보 영역으로 추출된다. 즉, 라벨링 된 객체들은 노면표시 인식 수행 전에 코너 디텍션 과정을 통하여 1차적으로 잡음과 노면표시 후보 영역으로 걸러지게 되는데, 기본적으로 라벨링 된 객체가 노면표시라면 코너 디텍션을 수행한 후 나타나는 코너 개수는 13∼16개 사이에 분포하게 되므로 이에 해당되지 않는 객체는 잡음으로 분류하게 된다.
도 13은 본 발명에 적용된 코너 디텍션의 기본 개념도로서, 해리스 코너 디텍션(Harris Corner Detector)의 예를 나타낸 것이다. 도 11에 도시된 바와 같이, 코너 디텍션은 일반적으로 영상에서 임의의 영역(Window)을 생성하여 탐색하였을 때, (a)에서처럼 모든 방향에서 변화가 없거나, (b)처럼 경계(Edge)를 따라 일정한 방향으로만 변화되는 것이 아닌, (c)에서와 같이 모든 방향에서 변화가 생기는 지점을 코너점으로 인식하게 된다.
다음의 표 2는 본 발명의 실시 예에 따라 영상에 대해 윤곽선이 추출된 후, 코너 디텍션 모듈(261d)에 의해 도로상에 존재하는 객체들의 코너 디텍션이 수행되어 노면표시 후보 영역만이 추출된 결과를 단적으로 나타낸 일례이다.
Figure 112012032478001-pat00009
상기 코너 디텍션 모듈(261d)을 통하여 노면표시 후보 영역 추출이 완료되면, 노면표시 인식모듈(265)에 의해 패턴 인식이 수행되어 최종적으로 인식 결과가 산출된다.
상기 노면표시 인식모듈(265)은 패턴 인식기를 통하여 코너 디텍션 모듈(261d)을 통하여 추출된 노면표시 후보 영역을 인식하여 결과를 산출하게 되는데, 본 발명의 실시 예에서 이러한 패턴 인식기로 오류역전파 알고리즘이 적용된 신경망이 이용되는데, 일반적으로 오류역전파 알고리즘으로 입력층, 은닉층, 출력층으로 구성된 3층 네트워크로 이루어진다.
도 14는 이러한 본 발명에 적용된 오류역전파 알고리즘의 네트워크 구성도 일례를 나타낸 것으로, 상기 오류역전파 알고리즘은 먼저 트레이닝 셋(Training set)을 통하여 학습이 수행되고, 학습이 완료되면 이를 토대로 입력에 따른 결과를 출력하게 된다.
도 15는 본 발명의 실시 예에 따른 오류역전파 알고리즘의 학습을 위한 트레이닝 셋 일례를 나타낸 것으로, 본 발명의 실시 예에서 상기 트레이닝 셋은 총 6개의 노면표시를 대상으로 하였다. 본 발명의 실시 예에서 상기 트레이닝 셋이 적용된 오류역전파 알고리즘의 네트워크 학습 파라미터는 다음의 표 3과 같다.
Figure 112012032478001-pat00010
상기 도 15 및 표 3에 표시된 트레이닝 셋과 학습 파라미터에 따라 오류역전파 알고리즘의 네트워크 학습이 완료되면, 학습된 네트워크에 코너 디텍션을 통하여 검출된 노면표시 후보 영역이 입력되어 결과가 출력되게 된다.
도 16은 본 발명의 실시 예에 따른 학습된 네트워크를 통하여 노면표시가 인식되는 과정을 나타낸 네트워크 구성도 일례로서, 학습된 네트워크 입력층의 입력값으로는 코너 디텍션까지 수행된 이진화된 노면표시 후보 영상 패턴이 입력되고, 이를 이미 학습이 되어있는 오류역전파 알고리즘 네트워크를 거치면서 출력층의 출력 값이 도출되어, 입력된 영상이 어떤 노면표시를 의미하는지가 최종 판별되게 된다.
상기의 과정을 통하여 카메라에 의해 촬영된 영상 내에 포함된 노면표시가 인식되게 되며, 인식되는 노면표시 정보는 결과 표출기(270)에 의해 화면에 표시되어 사용자가 확인할 수 있도록 제공된다. 한편, 상기 노면표시 인식부(240)를 통하여 인식되는 영상 내 노면표시 정보는 노면표시 정보 제공부(280)를 통하여 노면표시 정보를 필요로 하는 장치로 제공되어 활용되게 된다.
이하, 상기의 구성으로 이루어진 영상공간정보 구축장치 및 노면표시 인식장치를 통하여 노면표시 인식이 이루어지는 과정에 대하여 설명하기로 한다.
도 17은 본 발명의 실시 예에 따른 영상공간정보 구축장치를 통하여 영상공간정보가 생성되는 과정을 나타낸 흐름도이다.
도 17에 도시된 바와 같이, 먼저 영상공간정보 구축을 위한 데이터 수집 동선이 계획되면(S110), 수집 동선에 따라 영상정보 수집부(120)가 이동하면서 영상공간정보를 수집하게 되고(S120), 수집된 영상공간정보는 후처리부(130)를 통하여 영상 밝기 조절과 영상 강화 및 영상 속성 정보 생성 등의 후처리 과정을 거치게 된다(S130). 상기 후처리부(130)를 통하여 후처리되는 영상공간정보는 영상 파일 및 영상 속성 정보로 데이터베이스(150)에 저장됨으로써 최종적으로 영상공간정보 데이터가 구축된다.
이러한 일련의 과정은 영상공간정보 데이터에 자세 정보 및 위치 정보가 포함된 경우의 일례를 나타낸 것으로, 만약 영상공간정보 데이터에 자세 정보 및 위치 정보가 불필요하다면 자세 정보 및 위치 정보를 수집하여 영상 속성 정보를 생성하는 과정은 생략될 수 있다.
도 18은 본 발명의 실시 예에 따른 노면표시 인식장치를 통하여 영상 내의 노면표시 정보가 추출되어 인식되는 과정을 나타낸 흐름도이다.
단계 S210 : 먼저, 노면표시 인식장치(200)에 구비된 노면표시 인식부(240)는 영상공간정보 구축장치(100)를 통하여 생성된 영상 정보 중 인식하고자 하는 영상을 선택하여 입력하게 되는데, 선택되어 입력되는 영상은 영상 뷰어기(250)를 통하여 화면에 표시된다.
단계 S220, S230, S240, S250 : 인식 대상 영상이 입력되면, 노면표시 인식부(240)의 노면표시 인식기(260)에 구비된 역원근 변환모듈(261a)은 인식 대상 영상의 역원근 변환을 수행하게 되고(S220), 역원근 변환이 이루어지면 윤곽선 추출모듈(261b)은 객체의 윤곽선을 추출하게 된다(S230). 객체의 윤곽선이 추출되면 라벨링 모듈(261c)은 개별 객체에 대한 라벨링을 수행하며(S240), 이후 코너 디텍션 모듈(261d)이 코너 디텍션을 수행하여 노면표시 후보 영역을 추출하게 된다(S250).
단계 S260, S270 : 코너 디텍션을 통하여 노면표시 후보 영역이 추출되면(S260), 노면표시 인식모듈(265)은 신경망을 이용하여 노면표시 후보 영역에 대한 인식을 수행하여 최종 노면표시를 인식하게 된다(S270).
단계 280, S290 : 노면표시 인식모듈(265)에 의해 인식된 노면표시 정보는 결과 표출기(270)를 통하여 화면에 표시되는데(S280), 이러한 노면표시 인식 과정은 입력되는 영상이 없을 때까지 반복 수행된다(S290).
한편, 상기 노면표시 인식부(240)의 노면표시 인식기(260)를 통하여 인식되는 노면표시 정보는 노면표시 정보 제공부(280)를 통하여 영상 서비스 장치(300)의 맵 DB(310) 또는 안전 운행 장치(320)에 전송되어 이용된다.
이와 같이, 본 발명에 따른 노면표시 인식시스템은 영상공간정보 구축장치(100)를 통하여 영상공간정보를 생성하고, 노면표시 인식장치(200)를 통하여 영상 내에 포함된 노면표시를 추출하여 인식하게 되며, 인식되는 노면표시 정보는 해당 정보를 필요로 하는 영상 서비스 장치(300) 등에 제공하여 이용할 수 있도록 한다.
이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
100 : 영상공간정보 구축장치 110 : 중앙제어부
120 : 영상정보 수집부 121 : 카메라
122 : IMU 123 : GPS
130 : 후처리부 131 : 밝기 조절모듈
132 : 영상 강화모듈 133 : 영상 속성정보 생성모듈
140 : 통신 인터페이스 150 : 데이터베이스
200 : 노면표시 인식장치 210 : 중앙제어부
220 : 입력부 225 : 출력부
230 : 통신 인터페이스 240 : 노면표시 인식부
250 : 영상 뷰어기 260 : 노면표시 인식기
261 : 노면표시 추출모듈 261a : 역원근 변환모듈
261b : 윤곽선 추출모듈 261c : 라벨링 모듈
261d : 코너 디텍션 모듈 265 : 노면표시 인식모듈
270 : 결과 표출기 280 : 노면표시 정보 제공부
281 : 맵 DB 갱신모듈 282 : 안전운전 제공모듈
290 : 데이터베이스 300 : 영상 서비스 장치
310 : 맵 DB 320 : 안전 운행 장치

Claims (11)

  1. 삭제
  2. 삭제
  3. 영상공간정보 구축장치(100)를 통하여 제작되는 영상공간정보 데이터에 포함된 영상 내 객체의 코너 디텍션을 수행하여 노면표시 후보 영역을 추출하고, 추출된 노면표시 후보 영역의 패턴 인식을 수행하여 노면표시로 인식하는 노면표시 인식장치(200)를 포함하는 노면표시 인식시스템에 있어서,
    상기 노면표시 인식장치(200)에는
    상기 영상공간정보 구축장치(100)를 통하여 제작된 영상공간정보 데이터 중 노면표시 인식 대상 영상을 선택하여 화면에 표시하는 영상 뷰어기(250)와;
    상기 인식 대상 영상을 촬영하는 카메라의 위치와 높이 정보가 포함된 파라미터 정보를 활용하는 역원근 영상 기법을 통해 인식대상 영상을 왜곡이 보정된 정사영상으로 변환하는 역원근 변환모듈(261a)과, 상기 역원근 변환된 영상을 캐니 애지 검출(Canny edge detection)을 통해 잡음을 제거하고 노면표시의 윤곽선을 추출하는 윤곽선 추출모듈(261b)과, 상기 윤곽선이 추출된 객체의 라벨링을 수행하는 라벨링 모듈(261c)과, 상기 라벨링 된 객체에 대한 코너 디텍션을 수행하여 검출된 코너 개수가 설정된 기준 범위 내에 분포하는 경우 노면표시 후보 영역으로 분류하여 추출하는 코너 디텍션 모듈(261d)과, 상기 추출된 노면표시 후보 영역에 대해 오류역전파 알고리즘이 적용된 신경망을 통하여 패턴 인식을 수행하여 노면표시로 인식하는 노면표시 인식모듈(265)이 구비된 노면표시 인식기(260)와;
    상기 노면표시 인식기(260)를 통하여 인식되는 노면표시 정보를 화면에 표시하는 결과 표출기(270);를 포함하는 노면표시 인식부(240)가 구비된 것을 특징으로 하는 노면표시 인식시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 3항에 있어서,
    상기 노면표시 인식모듈(265)에 의해 인식되는 노면표시는 안전운전과 관련된 좌회전, 좌회전금지, 우회전금지, 직진, 직진금지, 유턴 표시를 포함하는 것을 특징으로 하는 노면표시 인식시스템.
  8. 제 3항에 있어서,
    상기 노면표시 인식장치(200)에는
    상기 노면표시 인식부(240)를 통하여 인식되는 노면표시 정보를 안전운전을 위하여 노면표시 정보를 필요로 하는 영상 서비스 장치(300)에 제공하는 노면표시 정보 제공부(280)가 구비된 것을 특징으로 하는 노면표시 인식시스템.
  9. 제 8항에 있어서,
    상기 노면표시 정보 제공부(280)로부터 노면표시 정보를 제공받는 영상 서비스 장치(300)는 내비게이션 맵 정보가 저장되는 맵 DB(310) 또는 무인 자율운전을 수행하는 안전운전 장치(320)인 것을 특징으로 하는 노면표시 인식시스템.
  10. 삭제
  11. 제 3항에 있어서,
    상기 영상 공간정보 구축장치(100)는
    영상 수집 동선에 따라 이동하면서 카메라(121)를 통하여 영상을 촬영하고, 상기 카메라(121)를 통하여 촬영되는 영상의 자세 정보 및 위치 정보를 측정하는 IMU(Inertial Measurement Unit)(122)와 GPS(Global Positioning System)(123)가 구비된 영상정보 수집부(120)와;
    상기 영상정보 수집부(120)를 통하여 수집되는 영상의 밝기를 조절하고, 영상 내의 객체를 구분하며, 상기 밝기가 조절되고 객체가 구분되는 영상 정보에 상기 IMU(122) 및 GPS(123)를 통하여 측정된 자세 정보 및 위치 정보를 매칭하여 영상 속성정보를 생성하는 영상 속성정보 생성모듈(133)이 구비된 후처리부(130);를 포함하여 이루어지는 것을 특징으로 하는 노면표시 인식시스템.
KR1020120042434A 2012-04-24 2012-04-24 영상 내 노면표시 인식시스템 KR101261409B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120042434A KR101261409B1 (ko) 2012-04-24 2012-04-24 영상 내 노면표시 인식시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120042434A KR101261409B1 (ko) 2012-04-24 2012-04-24 영상 내 노면표시 인식시스템

Publications (1)

Publication Number Publication Date
KR101261409B1 true KR101261409B1 (ko) 2013-05-10

Family

ID=48665610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120042434A KR101261409B1 (ko) 2012-04-24 2012-04-24 영상 내 노면표시 인식시스템

Country Status (1)

Country Link
KR (1) KR101261409B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484856B1 (ko) * 2013-08-30 2015-01-20 현대엠엔소프트 주식회사 차량의 위험 감지 장치 및 그 방법
KR20150124355A (ko) * 2014-04-28 2015-11-05 한양대학교 산학협력단 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
WO2016036126A1 (ko) * 2014-09-03 2016-03-10 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
US9483700B1 (en) 2015-05-13 2016-11-01 Honda Motor Co., Ltd. System and method for lane vehicle localization with lane marking detection and likelihood scoring
CN106415602A (zh) * 2016-08-25 2017-02-15 深圳市锐明技术股份有限公司 一种成对车道线的检测方法和装置
US9802599B2 (en) 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
WO2018199663A1 (ko) * 2017-04-26 2018-11-01 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
CN109285167A (zh) * 2018-09-20 2019-01-29 西北大学 一种基于深度学习的提取彩绘陶器图案方法
US10489684B2 (en) 2015-12-14 2019-11-26 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
KR20210148773A (ko) 2020-06-01 2021-12-08 네이버랩스 주식회사 도로 영상에서의 노면 기호 방향 판단 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102345987B1 (ko) 2020-11-09 2021-12-31 주식회사 해담디앤씨 포장도로면 표식 관리방법 및 관리방법 운용프로그램 기록매체
KR20220155500A (ko) * 2021-05-14 2022-11-23 주식회사 에이치엘클레무브 유턴 중 후진 시 충돌 방지 억제 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100292895A1 (en) * 2007-04-27 2010-11-18 Aisin Aw Co. Ltd Driving support device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100292895A1 (en) * 2007-04-27 2010-11-18 Aisin Aw Co. Ltd Driving support device

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484856B1 (ko) * 2013-08-30 2015-01-20 현대엠엔소프트 주식회사 차량의 위험 감지 장치 및 그 방법
KR20150124355A (ko) * 2014-04-28 2015-11-05 한양대학교 산학협력단 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
KR101595317B1 (ko) * 2014-04-28 2016-02-18 한양대학교 산학협력단 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
WO2016036126A1 (ko) * 2014-09-03 2016-03-10 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
US10373289B2 (en) 2014-09-03 2019-08-06 Dong-yun Shin Long-range discernible image generating apparatus and method of operating same
US9483700B1 (en) 2015-05-13 2016-11-01 Honda Motor Co., Ltd. System and method for lane vehicle localization with lane marking detection and likelihood scoring
US11341375B2 (en) 2015-12-14 2022-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US10489684B2 (en) 2015-12-14 2019-11-26 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US9802599B2 (en) 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
CN106415602A (zh) * 2016-08-25 2017-02-15 深圳市锐明技术股份有限公司 一种成对车道线的检测方法和装置
WO2018199663A1 (ko) * 2017-04-26 2018-11-01 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
US10970826B2 (en) 2017-04-26 2021-04-06 D Rection, Inc. Method and device for image correction in response to perspective
CN109285167A (zh) * 2018-09-20 2019-01-29 西北大学 一种基于深度学习的提取彩绘陶器图案方法
CN109285167B (zh) * 2018-09-20 2021-09-17 西北大学 一种基于深度学习的提取彩绘陶器图案方法
KR20210148773A (ko) 2020-06-01 2021-12-08 네이버랩스 주식회사 도로 영상에서의 노면 기호 방향 판단 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102345987B1 (ko) 2020-11-09 2021-12-31 주식회사 해담디앤씨 포장도로면 표식 관리방법 및 관리방법 운용프로그램 기록매체
KR20220155500A (ko) * 2021-05-14 2022-11-23 주식회사 에이치엘클레무브 유턴 중 후진 시 충돌 방지 억제 장치 및 그 방법
KR102553473B1 (ko) 2021-05-14 2023-07-11 주식회사 에이치엘클레무브 유턴 중 후진 시 충돌 방지 억제 장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
WO2018153304A1 (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
US7965904B2 (en) Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
EP2874097A2 (en) Automatic scene parsing
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
JP2019087229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP4363295B2 (ja) ステレオ画像による平面推定方法
CN111241988B (zh) 一种结合定位信息的大场景内运动目标检测识别方法
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
US20200200545A1 (en) Method and System for Determining Landmarks in an Environment of a Vehicle
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP4517003B2 (ja) 道路標識自動認識システム
JP4762026B2 (ja) 道路標識データベース構築装置
CN116030194A (zh) 一种基于目标检测规避的空地协同实景三维建模优化方法
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
CN111626241A (zh) 一种人脸检测方法及装置
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
JP6916975B2 (ja) 標識位置特定システム及びプログラム
KR101199959B1 (ko) 영상 내 교통표지판 인식 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 7